JP2017169022A - 動画像符号化装置、方法、プログラム、および動画像符号化システム - Google Patents

Abstract

【課題】動画像を保存するキャッシュ機構が不要であり、かつ遅延が生じない動画像符号化装置を提供する。【解決手段】動画符号化装置１００は、外部記憶装置から符号化対象画像に対応する参照画像の所定の領域の画像データを読み出して内部バッファに格納する参照画像読み出し部と、前記内部バッファに格納された画像データを用いてそれぞれ範囲の異なる複数の探索範囲について動き探索を実施して複数の動きベクトルを生成し、評価関数を用いて最も良好な動きベクトルを評価動きベクトルとして出力するベクトル探索部とを備える。参照画像読み出し部は、前記外部記憶装置から前記評価動きベクトルに対応する探索範囲と前記ベクトル探索部が動き探索を実行する動きベクトルに対応する探索範囲とに対して、それら探索範囲の縦と横とを少なくとも２倍した領域を前記所定の領域として前記画像データを読み出し、前記内部バッファに格納する。【選択図】図１

Description

本発明は、動画像符号化装置、方法、プログラム、および動画像符号化システムに関する。

動画像を圧縮する方法として、動画像を構成する複数のフレーム（動画像を構成する各静止画像）間の類似性を利用し、動画像を符号化する方法が知られている。この方法は、例えば基準となる静止画像（以下、符号化対象画像と呼ぶ）の前後（過去、または未来）のいずれかの静止画像（以下、参照画像と呼ぶ）との差分を算出することで動画像を符号化する。一般的に、動画像を符号化する際には、各静止画像をブロック単位で複数の領域に分割し、符号化対象画像と参照画像との類似点をブロック単位ごとの画素データを比較することで予測画像を生成する。

図１０を参照して、動画像を符号化する方法について説明する。図１０は動画像を符号化する方法を説明するための概念図であり、図１０（ａ）は参照画像を使用しないで動画像を符号化する方法を示し、図１０（ｂ）は参照画像を使用して動画像を符号化する方法を示している。

図１０（ａ）において、符号化対象画像１０の中央部の正方形で囲まれたブロック１１（以下、符号化対象ブロックと呼ぶ）を符号化する場合を考える。符号化対象ブロック１１を、そのまま符号化すると符号量は大きくなる。

一方、図１０（ｂ）のように、参照画像１２を使用して符号化対象ブロック１１を符号化する方法を考える。この場合、まず符号化対象画像１０の前後のフレームを参照画像１２として定義し、符号化対象ブロック１１と類似する画素データのブロック（以下、予測対象ブロックと呼ぶ）を参照画像内から探索（以下、動き探索と呼ぶ）する。そして、動き探索の探索結果に基づいて予測対象ブロック１４を含む予測画像１３を生成する。

次に、予測対象ブロック１４と符号化対象ブロック１１との間の差分値に基づいて、符号化対象画像を符号化する。このとき、最終的な符号量は、参照画像の位置を示す動きベクトルに、予測画像と参照画像との間の差分値を加えた値になる。

符号化対象画像と符号化対象画像に類似する予測画像との間の差分は小さいので、参照画像を使用して符号化する方法は、参照画像を使用しないで符号化する場合と比べて符号量は小さい。

しかしながら、参照画像を使用して動画像を符号化する方法は、参照画像の全ての範囲について動き探索を実行する必要がある。参照画像の全ての範囲について動き探索を実行するには時間が掛かるので、高速に符号化する必要のあるエンコーダ、ハードウェアエンコーダ等において、参照画像を使用して動画像を符号化することは困難である。このため、動き探索には、動きベクトルの取り得る範囲を限定する方法が検討されている。以下では、この動きベクトルが取り得る範囲を探索許可範囲と呼ぶ。また、探索許可範囲内を全て探索するのではなく、符号化対象ブロックとの類似点が存在する可能性の高い範囲のみを探索するために、探索許可範囲の中心から一定範囲に限定して探索する手法も検討されている。以下では、実際に動き探索を実行する範囲のことを探索範囲と呼ぶ。

特許文献１に記載の動画像符号化装置は、符号化画像と同一フレーム内の周辺画像の類以度を判別することで動き探索の中心を決定し、動きベクトルの探索範囲を最適化している。

非特許文献１に記載の動き探索は、動き探索の中心を、複数の候補から選択して導出することで、動きベクトルの探索範囲を限定している。

特開２００６−１６６２４７号公報

L.-F. Ding, W.-Y. Chen, P.-K. Tsung, T.-D. Chuang, P.-H. Hsiao, Y.-H. Chen, H.-K. Chiu, S.-Y. Chien, and L.-G. Chen, "A 212 Mpixels/s 4096x2160p multiview video encoder chip for 3D/quad full HDTV applications," IEEE Journal of Solid-State Circuits, vol. 45, no. 1, pp. 46-58, Jan. 2010.

Ｆｕｌｌ ＨＤ(High Definition Video)，４Ｋ，８Ｋ等の画面サイズの大きい動画像を符号化する場合、動き探索の探索範囲を探索中心から一定範囲に限定する手法を用いたとしても、探索許可範囲の参照箇所は、ブロックによって異なる。そのため、動画像を高速に符号化するためには、探索範囲の画像データを装置の内部に格納する必要がある。しかしながら、探索許可範囲が大きい場合は、情報量も膨大となるので探索許可範囲の画像データ全てを格納できるような記憶装置を内部に設置することは困難である。したがって、画像データが大きい場合には、通常、外部記憶装置に画像データを格納する。ここで、外部記憶装置は、例えばハードウェアエンコーダの場合、エンコーダコア外部に設置されているＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等である。しかしながら、外部記憶装置に画像データを格納した場合、外部記憶装置はアクセス遅延が大きく、画像データの読み出しに時間が掛かるので符号化の際に遅延が生じる問題がある。

特許文献１は、符号化画像を出力する符号化画像メモリと、参照画像を出力する参照画像メモリを備えている。そのため、特許文献１は、画面サイズが大きくなった場合に、符号化に必要な画像データを外部記憶装置に格納する必要があるので、符号化に遅延が生じる可能性がある。

非特許文献１は、キャッシュ機構により全データを保持しない方式をとっているものの、キャッシュ機構が複雑になり、かつハードウェアエンコーダでは回路規模が増大したり、キャッシュヒットしない場合に遅延が生じたりする可能性がある。

本発明の目的は、動画像を符号化する際に、動画像を保持するキャッシュ機構が不要であり、かつ遅延が生じない動画像符号化装置、方法、プログラム、および動画像符号化システムを提供することにある。

本発明の一態様の動画像符号化装置は、動画像を構成する複数の静止画像を保持する外部記憶装置から、符号化対象画像に対応する参照画像の所定の領域の画像データを読み出して、内部バッファに格納する参照画像読み出し部と、前記内部バッファに格納された前記参照画像の所定の領域の画像データを用いて、前記符号化対象画像の符号化対象領域に対して、それぞれ範囲の異なる第１〜第Ｎ（Ｎは２以上の整数）の探索範囲について動き探索を実行し、探索結果をそれぞれ第１〜第Ｎの動きベクトルとして生成するベクトル探索部と、を備え、前記ベクトル探索部は、前記第１〜前記第Nの動きベクトルの評価関数値を比較し、前記評価関数値が最も良好な動きベクトルを選択して、評価動きベクトルとして出力し、前記参照画像読み出し部は、前記外部記憶装置から、前記評価動きベクトルに対応する探索範囲と前記ベクトル探索部が動き探索を実行する動きベクトルに対応する探索範囲とに対して、それら探索範囲の縦と横とを少なくとも２倍した領域を前記所定の領域として前記画像データを読みだし、前記内部バッファに格納する。

本発明の他の態様の動画像符号化方法は、動画像を構成する複数の静止画像を保持する外部記憶装置から、符号化対象画像に対応する参照画像の所定の領域の画像データを読み出して、内部バッファに格納し、前記内部バッファに格納された前記参照画像の所定の領域の画像データを用いて、前記符号化対象画像の符号化対象領域に対して、それぞれ範囲の異なる第１〜第Ｎ（Ｎは２以上の整数）の探索範囲について動き探索を実行し、探索結果をそれぞれ第１〜第Ｎの動きベクトルとして生成し、前記第１〜前記第Nの動きベクトルの評価関数値を比較し、前記評価関数値が最も良好な動きベクトルを選択して、評価動きベクトルとして出力し、前記外部記憶装置から、前記評価動きベクトルに対応する探索範囲と前記ベクトル探索部が動き探索を実行する動きベクトルに対応する探索範囲とに対して、それら探索範囲の縦と横とを少なくとも２倍した領域を前記所定の領域として前記画像データを読みだし、前記内部バッファに格納する。

本発明の他の態様の動画像符号化プログラムは、コンピュータを、動画像を構成する複数の静止画像を保持する外部記憶装置から、符号化対象画像に対応する参照画像の所定の領域の画像データを読み出して、内部バッファに格納する参照画像読み出し手段と、前記内部バッファに格納された前記参照画像の所定の領域の画像データを用いて、前記符号化対象画像の符号化対象領域に対して、それぞれ範囲の異なる第１〜第Ｎ（Ｎは２以上の整数）の探索範囲について動き探索を実行し、探索結果をそれぞれ第１〜第Ｎの動きベクトルとして生成するベクトル探索手段と、前記第１〜前記第Nの動きベクトルの評価関数値を比較し、前記評価関数値が最も良好な動きベクトルを選択して、評価動きベクトルとして出力する手段と、前記外部記憶装置から、前記評価動きベクトルに対応する探索範囲と前記ベクトル探索部が動き探索を実行する動きベクトルに対応する探索範囲とに対して、それら探索範囲の縦と横とを少なくとも２倍した領域を前記所定の領域として前記画像データを読みだし、前記内部バッファに格納する手段として機能させる。

本発明の他の態様の動画像符号化システムは、動画像を構成する複数の静止画像を保持する外部記憶装置と、前記外部記憶装置から符号化対象画像に対応する参照画像の所定の領域の画像データを読み出して、内部バッファに格納する参照画像読み出し部と、前記内部バッファに格納された前記参照画像の所定の領域の画像データを用いて、前記符号化対象画像の符号化対象領域に対して、それぞれ範囲の異なる第１〜第Ｎ（Ｎは２以上の整数）の探索範囲について動き探索を実行し、探索結果をそれぞれ第１〜第Ｎの動きベクトルとして生成するベクトル探索部と、を備え、前記ベクトル探索部は、前記第１〜前記第Nの動きベクトルの評価関数値を比較し、前記評価関数値が最も良好な動きベクトルを選択して、評価動きベクトルとして出力し、前記参照画像読み出し部は、前記外部記憶装置から、前記評価動きベクトルに対応する探索範囲と前記ベクトル探索部が動き探索を実行する動きベクトルに対応する探索範囲とに対して、それら探索範囲の縦と横とを少なくとも２倍した領域を前記所定の領域として前記画像データを読みだし、前記内部バッファに格納する。

本発明によれば、動画像を符号化する際に、動画像を保持するキャッシュ機構が不要であり、かつ遅延が生じない動画像符号化装置、方法、プログラム、および動画像符号化システムを提供することができる。

本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図である。 本発明に係る動きベクトルの概念を説明するための概念図である。 本発明の第１の実施形態に係る動画像符号化装置の動作を説明するための模式図である。 本発明に係る動き探索の探索範囲を説明するための模式図である。 本発明の第１の実施形態に係る動画像符号化装置の動作の流れを示すフローチャートである。 本発明の第２の実施形態に係る動画像符号化装置の構成を示すブロック図である。 本発明の第２の実施形態に係る動画像符号化装置の動作の流れを示すフローチャートである。 本発明の第３の実施形態に係る動画像符号化システムの構成を示すブロック図である。 本発明に係る動画像符号化装置を構成する情報処理装置の構成を示すブロック図である。 動画を符号化する方法を説明するための概念図であり、（ａ）は参照画像を使用しないで動画像を符号化する方法を示し、（ｂ）は参照画像を使用して動画像を符号化する方法を示している。

以下、図面を参照しながら、本発明の実施形態について詳細に説明する。なお、繰り返し説明することによる煩雑さを避けるため、各図において同一、または相当する部分には同一の符号を付して適宜説明は省略する。

［第１の実施形態］
［動画像符号化装置］
図１を参照して、本発明の第１の実施形態に係る動画像符号化装置１００について説明する。

動画像符号化装置１００は、参照画像読み出し部１１０と、ベクトル探索部１２０と、を備える。

参照画像読み出し部１１０は、複数の静止画像（フレーム）から構成された動画像を保持する外部記憶装置（図示しない）から、符号化対象画像の参照画像を読み出す。参照画像とは、符号化対象画像に対して過去、または未来の静止画像を意味している。また、参照画像読み出し部１１０は、外部記憶装置から読み出した参照画像を内部バッファに格納する。ここで、内部バッファは、参照画像読み出し部１１０が備えていてもよいし、参照画像読み出し部１１０とは独立に動画像符号化装置１００が備えていてもよい。

ベクトル探索部１２０は、符号化対象画像と内部バッファに格納された参照画像に基づいて、符号化対象画像の符号化対象領域に対して任意の探索範囲で動き探索を実行し、探索結果を動きベクトルとして生成する。ここで、ベクトル探索部１２０は、探索範囲の中心を位置座標で指定してもよいし、符号化対象領域からのベクトルで指定してもよい。また、ベクトル探索部１２０は、任意のそれぞれ範囲の異なるＮ（Ｎは２以上の整数）個の探索範囲を第１〜第Ｎの探索範囲とした場合に、それぞれの探索範囲について動き探索を実行し、探索結果を第１〜第Nの動きベクトルとして生成する。さらに、ベクトル探索部１２０は、第１〜第Nの動きベクトルの評価関数値を比較し、評価関数値が最も良好な１つの動きベクトルを選択して評価動きベクトルして出力する。

ここで、評価関数値としては、例えば符号化対象画像と参照画像との間の類似度が高い点を探索するＳＡＤ（Sum of Absolute Difference）を利用することができる。この場合、最も良好な動きベクトルとはＳＡＤの値が最も小さい動きベクトルのことを意味する。なお、評価関数値の比較の方法は上記に限定されず、符号化対象画像２０と参照画像３０とを比較できる評価方法であればよい。

［動きベクトルの概念］
図２を参照して、動画像符号化装置１００が生成する動きベクトルの概念について説明する。図２は、符号化対象画像２０と、参照画像３０とを示している。

符号化対象画像２０は、動画像を構成する複数の静止画像の内、動画像を符号化する際の基準となる任意の静止画像である。図２において、符号化対象画像２０は、符号化対象ブロック２１を含んでいる。符号化対象ブロック２１は、符号化対象画像２０の中で符号化対象となる領域である。

参照画像３０は、動画を構成する複数の静止画像の内、例えば符号化対象画像２０に対して１フレーム分過去（または未来）の静止画像である。探索範囲３１は、参照画像３０内において、動画像符号化装置１００が動き探索を実行する範囲である。探索範囲３１は、特に限定しないが、符号化対象ブロック２１の近傍であることが好ましい。これは、参照画像３０が符号化対象画像２０に対して１フレーム分過去の静止画像である場合、符号化対象ブロック２１の位置は大きく変化しない可能性が高いためである。また、動き探索を実行する範囲を符号化対象ブロック２１のゼロベクトルとすることで、参照画像３０において符号化対象画像ブロック２１と同じ位置で動き探索を実行してもよい。予測対象ブロック３２は、探索範囲３１内において、符号化対象ブロック２１と最も類似する領域である。つまり、動画像符号化装置１００は、探索範囲３１内を探索することで予測対象ブロック３２の位置を探索する。

動きベクトル４０は、予測対象ブロック３２に対する符号化対象ブロック２１の動きを示している。なお、図２において、動きベクトルは動きベクトル４０のみを示しているが、動き探索を実行する範囲を複数設定することで、動画像符号化装置１００は複数の動きベクトルを生成することができる。

［動画像符号化装置の動作］
図３を参照して、動画像符号化装置１００の動作の具体例について説明する。図３は、複数の領域を有する符号化対象画像２０’、および参照画像３０’を示している。

図３に示すように、符号化対象画像２０’は、横４ブロック×縦３ブロックのブロック１〜１２の計１２個の領域を含んでいる。参照画像３０’は、ブロック１’〜１２’の計１２個の領域を含んでいる。ここで、ブロック１’〜１２’の位置は、ブロック１〜１２の位置にそれぞれ対応している。

ブロック１〜１２の内、符号化対象ブロックの動きベクトルを生成するためには、その符号化対象ブロックの近傍のブロックを探索範囲として動き探索を実行することが効果的である。例えば符号化対象ブロックをブロック２とした場合に、ブロック２の動きベクトルを生成する際には、左に隣接しているブロック１’のベクトル（位置）を探索範囲として動き探索を実行することが効果的である。この場合、動画像符号化装置１００は、外部記憶装置から参照画像３０’の内、探索範囲としてブロック１’を読み出して動き探索を実行する。なお、ブロック１’の動き探索では動きベクトルを生成できなかった場合、動画像符号化装置１００は、ブロック１’の探索の終了後、ブロック２’、ブロック３’、およびブロック４’の順に横一列のブロックに対して動き探索を実行するものとする。

ここで、ブロック１’のベクトルを中心として動き探索を実行し、次のブロック２について動き探索をする場合、動画像復号化装置１００は、ブロック１’の動き探索が終了した後に、外部記憶装置から動き探索の範囲としてブロック２’を参照画像として読み出す。そのため、動画像符号化装置１００は、外部記憶装置から参照画像を読み出した後にブロック２の動き探索を実行するので、外部記憶装置から参照画像を読み出すまでの時間は遅延時間となり符号化の効率は悪化する。これは、例えば符号化対象ブロックをブロック６とした場合に、上に隣接するブロック２’に対して動き探索を実行した場合にも、横一列のブロックに対して動き探索を実行した時と同様の遅延が生じる場合には、動き探索を実行するまでに遅延が生じる。

そのため、第１の実施形態の動画像符号化装置１００は、例えば符号化対象ブロックの２つ左の近接ブロックの動きベクトルの情報を先読みすることで遅延時間を解消する。具体的には、第１の実施形態は、動画像符号化装置１００のベクトル探索部１２０の動き探索の結果を参照画像読み出し部１１０が利用することで遅延時間を解消することができる。

以下では、動画像符号化装置１００が符号化対象ブロックに対して２つの探索範囲について動き探索を実行することで、遅延時間を解消する方法を説明する。

２つの探索範囲については、特に限定しないが、例えば符号化対象ブロックの左に隣接するブロックのベクトル（位置）を動き探索の中心とする探索と、左に隣接するブロックのベクトルとは異なるベクトル（位置）を中心とする動き探索である。ここで、符号化対象ブロックの左に隣接するブロックのベクトルとは異なるベクトルとしては、特に限定しないが、例えば符号化対象ベクトルのゼロベクトルとすることができる。また、左に隣接するブロックの動きベクトルと異なるベクトルとして、例えば縮小画像や画素を間引いた画像を用いて、事前に広い範囲を探索して得られた動きベクトルを用いてもよい。

なお、簡単のため２つの動きベクトルに基づいて動画像を符号化する場合について説明するが、これは例示であり、本発明を限定するものではない。本発明は、N個の動きベクトルに基づいて符号化対象画像を符号化することができる。

まず、参照画像読み出し部１１０は、符号化対象画像に対応する参照画像を外部記憶装置から読み出し内部バッファに格納する。

ベクトル探索部１２０は、符号化対象画像と内部バッファに格納された参照画像に基づいて、符号化対象ブロックの左に隣接するブロックのベクトルを中心に動き探索を実行し、探索結果を第１の動きベクトルとして生成する。ここで、ベクトル探索部１２０は、第１の動きベクトルを生成する際に２種類の動き探索を実行している。具体的には、符号化対象ブロック左に隣接するブロックのゼロベクトルを中心とした動き探索と、符号化対象ブロックの２つ左の近接ブロックのベクトルを中心とした動き探索である。

また、ベクトル探索部１２０は、符号化対象ブロックのゼロベクトルを中心に動き探索を実行し探索結果を第２の動きベクトルとして出力する。そして、ベクトル探索部１２０は、第１の動きベクトルの評価関数値と、および第２の動きベクトルの評価関数値とを比較し、評価関数値の良好の方を評価動きベクトルして出力する。ここで、評価動きベクトルは、例えば符号化対象ブロックの２つ左の近接ブロックの動きベクトルとする。また、評価動きベクトルで指定される参照画像内のブロックを予測対象ブロックとする。さらに、ベクトル探索部１２０は、第１の動きベクトル、および第２の動きベクトルに対応する探索範囲とは異なる探索範囲において動き探索し、第３の動きベクトルとして生成する。

参照画像読み出し部１１０は、評価動きベクトル、および第３の動きベクトルのそれぞれについて、ベクトル探索部１２０における探索範囲の縦と横が少なくとも２倍の領域を追加した参照画像を外部記憶装置から読み出す。そして、参照画像読み出し部１２０は、読み出した参照画像を内部バッファに格納する。

次に、ベクトル探索部１２０は、予測対象ブロックについて動き探索を実行する。ここで、ベクトル探索部１２０は、符号化対象ブロックの左に隣接するブロックの動きベクトルを生成する際に２つの探索範囲について動き探索を実行している。そのため、ベクトル探索部１２０は、予測対象ブロックに対して３つの探索範囲について動き探索を実行する。

１個目は、予測対象ブロックをゼロベクトルとした動き探索（以下、探索Ａと呼ぶ）である。２個目は、符号化対象ブロックの左に隣接するブロックのゼロベクトルを中心とした動き探索で生成された動きベクトルを中心とした動き探索（以下、探索Ｂと呼ぶ）である。そして、３個目は、符号化対象ブロックの２つ左の近接ブロックのベクトルを中心とした動き探索で生成された動きベクトル中心とした動き探索（以下、探索Ｃと呼ぶ）である。

参照画像読み出し部１１０は、符号化対象ブロックの左に隣接するブロックのゼロベクトルを中心とする探索範囲に対して、探索範囲の少なくとも縦と横とを２倍した領域を追加した参照画像を読み出す（以下、読み出しＡと呼ぶ）。また、参照画像読み出し部１２０は、符号化対象ブロックの２つ左の近接ブロックの動きベクトルを中心とする探索の探索結果（予測対象ブロック）に対して、探索範囲を追加した参照画像を読み出す（以下、読み出しＢと呼ぶ）。

上述の通り、ベクトル探索部１２０は、読み出しＢの前に、探索Ｃを実行している。つまり、読み出しＢによって読み出す参照画像の範囲は、読み出しＡによって読み出す参照画像の範囲に含まれている。すなわち、参照画像読み出し部１２０は、符号化対象ブロックの２つ左の近接ブロックの動きベクトル探索結果に対して追加領域を追加することで、読み出しＢの処理を省略できる。

したがって、動画像符号化装置１００は、予測対象ブロックの動き探索をする際に、外部記憶装置から予測対象ブロックの探索範囲についての参照画像を読み出す必要がないので、参照画像を読み出す際の遅延を解消することができる。

図４は、ベクトル探索部１１０における探索範囲と、参照画像読み出し部１２０における読み出した領域の関係を示す模式図である。以下、図４を参照しつつ、参照画像読み出し部１２０が参照画像を先読みする方法を具体的に説明する。

参照画像５０は、符号化対象ブロックの隣接ブロック５１を含んでいる。隣接ブロック５１は、隣接ブロック５１のゼロベクトル、または符号化対象ブロックの２つ左の近接ブロックのベクトルを中心とする動き探索で指定することができる。探索範囲５２は、隣接ブロック５１の探索範囲を示している。

参照画像６０は、参照画像５０において探索範囲５２に対して動き探索を実行した結果を示しており、予測対象ブロック５３を含んでいる。予測対象ブロック５３は、探索範囲５２の右下に位置していることを示している。

参照画像７０は、参照画像６０に対して、隣接ブロック５１のゼロベクトルを中心とする探索範囲に対して、探索範囲の少なくとも縦と横とを２倍した領域と、予測対象ブロック５３の探索範囲を追加した結果を示している。ここで、探索範囲５４は予測対象ブロック５３の動き探索の探索範囲であり、追加領域５５は隣接ブロック５１の探索範囲５２に対して縦と横を２倍した領域である。

上述の探索Ａの探索範囲は、図４において隣接ブロック５１のゼロベクトルに対応する。すなわち、探索Ａの探索範囲は、探索範囲５２に含まれるので読み出しＡの範囲内である。また、上述の探索Ｂの探索範囲は、図４において探索範囲５２に対応する。すなわち、探索Ｂの探索範囲は、探索Ａと同様に読み出しＡの範囲内である。さらに、上述の探索Ｃは、符号化対象ブロックの２つ左の近接ブロックのベクトルを中心とした動き探索で生成された動きベクトル中心とした動き探索なので、図４において予測対象ブロック５３に対応する。したがって、探索Ｃの探索範囲は探索範囲５４に対応する。ここで、探索範囲５４は、追加領域５５の範囲内である。すなわち、探索Ｃの探索範囲は、追加領域５５の範囲に含まれるので読み出しＢの範囲である。

したがって、動画像符号化装置１００は、予測対象ブロック５３の探索範囲の参照画像を読み出す前に、予め、予測対象ブロック５３の探索範囲を含む参照画像を読みだしている。そのため、動画像符号化装置１００は、予測対象ブロック５３の探索範囲の参照画像を読み出す時間を省略できるので、符号化対象画像を符号化する際の遅延を解消できる。

図５は、本発明の第１実施形態に係る動画像符号化装置１０の動作の流れを示すフローチャートである。以下、図５を参照し、本発明の第１実施形態に係る動画像符号化装置１００の動作の流れについて説明する。

まず、参照画像読み出し部１１０は、動画像を構成する複数の静止画像を保持する外部記憶装置から、符号化対象画像に対応する参照画像の所定の領域の画像データを読み出す（ステップＳ１０１）。ここで、参照画像の探索範囲は、参照画像読み出し部１１０が任意の探索範囲を指定してもよいし、動画符号化装置１００の使用者等が自由に指定してもよい。

次に、参照画像読み出し部１１０は、外部記憶装置から読み出した参照画像を内部バッファに格納する（ステップＳ１０２）。ここで、ステップＳ１０１、およびステップＳ１０２において、符号化対象画像に対応する参照画像の所定の領域の画像データを内部バッファに格納することで、符号化の際に外部記憶装置を参照する必要がなくなるので、遅延を解消することができる。

次に、ベクトル探索部１２０は、ステップＳ１０２において参照画像読み出し部１１０が読み出した参照画像の所定の領域の探索範囲を探索し探索範囲ごとに動きベクトルを算出する（ステップＳ１０３）。

次に、ベクトル探索部１２０は、探索範囲ごとに算出した動きベクトルのそれぞれについて評価関数を算出し、それぞれの評価関数を比較する（ステップＳ１０４）。

次に、ベクトル探索部１２０は、比較の結果、最も良好な評価関数の動きベクトルを選択して、選択した動きベクトルを評価動きベクトルとして出力する（ステップＳ１０５）。

そして、参照画像読み出し部１１０は、評価動きベクトルに対応する探索範囲に、探索範囲の縦と横が少なくとも２倍の領域を追加した参照画像を外部記憶装置から読み出す（ステップＳ１０６）。

最後に、参照画像読み出し部１１０は、ステップＳ１０６において読み出した参照画像を内部バッファに格納する（ステップＳ１０７）。

［第２の実施形態］
図６は、本発明の第２の実施形態に係る動画像符号化装置を示すブロック図である。

第２の実施形態に係る動画像符号化装置１００Ａは、参照画像読み出し部１１０と、ベクトル探索部１２０と、ベクトル設定部１３０と、を備える。すなわち、動画像符号化装置１００Ａは、ベクトル設定部１３０を備えている点で動画像符号化装置１００と異なる。

ベクトル設定部１３０は、ベクトル探索部１２０が生成する第１〜第Nの動きベクトルとは異なる動きベクトルを設定動きベクトルとして生成する。ここで、ベクトル設定部１３０の設定動きベクトルを生成する方法は、ベクトル探索部１２０が第１〜第Nの動きベクトルを生成する方法よりも簡易な方法でよい。ベクトル設定部１３０は、例えば縮小した画像や、画像の画素を間引く等の方法によって画面の広い範囲をベクトル探索部１２０よりも荒く検索することで設定動きベクトルを生成する。また、ベクトル設定部１３０は、画像解析によって得た静止画像の座標ごとに異なる特徴量に基づいて、画面の位置に応じた特定の動きベクトルを設定動きベクトルして生成してもよい。この場合、ベクトル探索部１２０は、第１〜第Nの動きベクトルの評価関数値と、設定動きベクトルの評価関数値とを比較し、評価関数値が最も良好な１つの動きベクトルを選択して評価動きベクトルして出力する。

図７は、本発明の第２の実施形態に係る動画像符号化装置１００Ａの動作の流れを示すフローチャートである。以下、図７を参照し、本発明の第２の実施形態に係る動画像符号化装置１００Ａの動作の流れについて説明する。

まず、参照画像読み出し部１１０は、動画像を構成する複数の静止画像を保持する外部記憶装置から、符号化対象画像に対応する参照画像の所定の領域の画像データを読み出す（ステップＳ２０１）。

次に、参照画像読み出し部１１０は、外部記憶装置から読み出した参照画像を内部バッファに格納する（ステップＳ２０２）。

次に、ベクトル探索部１２０は、ステップＳ２０２において参照画像読み出し部１１０が読み出した参照画像の所定の領域の探索範囲を探索し探索範囲ごとに動きベクトルを算出する（ステップＳ２０３）。

次に、ベクトル設定部１３０は、ステップＳ２０３においてベクトル探索部１２０が生成した動きベクトルとは異なる動きベクトルを設定動きベクトルとして生成する（ステップＳ２０４）。

次に、ベクトル探索部１２０は、ステップＳ２０３において探索範囲ごとに算出した動きベクトルのそれぞれと、設定動きベクトルについて評価関数を算出し、算出した評価関数を比較する（ステップＳ２０５）。

次に、ベクトル探索部１２０は、比較の結果、最も良好な評価関数の動きベクトルを選択して、選択した動きベクトルを評価動きベクトルとして出力する（ステップＳ２０６）。

そして、参照画像読み出し部１１０は、評価動きベクトルに対応する探索範囲に、ベクトル探索部１１０における探索範囲の縦と横が少なくとも２倍の領域を外部記憶装置から参照画像として読み出す（ステップＳ２０７）。

最後に、参照画像読み出し部１１０は、ステップＳ２０７において読み出した参照画像を内部バッファに格納する（ステップＳ２０８）。

［動画像符号化システム］
図８は、本発明の第３の実施形態に係る動画像符号化システムの構成を示す模式図を示している。

図８に示すように、動画像符号化システム３００は、動画像符号化装置１００と、外部記憶装置２００とを備える。

外部記憶装置２００は、特に限定しないが、例えば動画像符号化装置１００の内部、または外部に有するＨＤＤ（Hard Disk Drive）等で構成することができる。また、外部記憶装置２００は、動画像符号化装置１００がインターネット等の通信ネットワークに接続されている場合には、例えば通信ネットワーク上に存在するクラウドストレージであってもよい。

なお、動画像符号化システム３００の動作は、動画像符号化装置１００と同様なので、説明は省略する。また、動画像符号化システム３００は、動画像符号化装置１００Ａと、外部記憶装置２００とを組み合わせて構成してもよい。

［その他の実施形態］
動画像復号化装置１００（図１）、および動画像復号化装置１００Ａ（図６）は、ハードウエアによって実現してもよいし、ソフトウエアによって実現してもよい。また、動画像符号化装置１００、および動画像符号化装置１００Ａは、ハードウエアとソフトウエアの組み合わせによって実現してもよい。

図９は、動画像符号化装置１００（図１）、および動画像符号化装置１００Ａ（図６）を構成する情報処理装置（コンピュータ）の一例である。

図９に示すように、情報処理装置４００は、制御部４０１と、記憶装置４０２と、ROM（Read Only Memory）４０３と、RAM(Random Access Memory)４０４と、通信インターフェース４０５を備えている。

制御部４０１は、CPU（Central Processing Unit）等の演算処理装置で構成することができる。制御部４０１は、記憶装置４０２、またはROM４０３が保持する制御部４０１が読み取り可能なプログラムをRAM４０４に展開して実行することで、動画像符号化装置１００、および動画像符号化装置１００Aを構成する各部を実現することができる。また、制御部４０１は、データ等を一時的に格納できる内部バッファを備えていてもよい。

記憶装置４０２は、各種のデータを保持できる大容量の記憶媒体であって、例えば光磁気ディスク、HDD（Hard Disc Drive）、およびSSD（Solid State Drive）等の記憶媒体で実現することができる。また、記憶装置４０２は、情報処理装置４００が通信インターフェース４０５を介して通信ネットワークと接続されている場合には、通信ネットワーク上に存在するクラウドストレージであってもよい。また、記憶装置４０１は、制御部４０１が読み取り可能なプログラムを保持していてもよい。

ROM４０３は、記憶装置４０１と比べると小容量な、フラッシュメモリ等で構成できる不揮発性の記憶装置である。また、ROM４０１は、制御部４０１が読み取り可能なプログラムを保持していてもよい。なお、制御部４０１が読み取り可能なプログラムは、記憶装置４０２、およびROM４０３の少なくとも一方が保持していればよい。

RAM４０４は、DRAM（Dynamic Random Access Memory）、およびSRAM（Static Random Access Memory）等の半導体メモリであり、データ等を一時的に格納する内部バッファとして用いることができる。

通信インターフェース４０５は、有線、または無線を介して、情報処理装置４００と、通信ネットワークとを接続するインターフェースである。

上記の各実施形態の一部、または全部は、以下の付記のようにも記載されうる。なお、以下の付記は本発明をなんら限定するものではない。

［付記１］
動画像を構成する複数の静止画像を保持する外部記憶装置から、符号化対象画像に対応する参照画像の所定の領域の画像データを読み出して、内部バッファに格納する参照画像読み出し部と、
前記内部バッファに格納された前記参照画像の所定の領域の画像データを用いて、前記符号化対象画像の符号化対象領域に対して、それぞれ範囲の異なる第１〜第Ｎ（Ｎは２以上の整数）の探索範囲について動き探索を実行し、探索結果をそれぞれ第１〜第Ｎの動きベクトルとして生成するベクトル探索部と、を備え、
前記ベクトル探索部は、前記第１〜前記第Nの動きベクトルの評価関数値を比較し、前記評価関数値が最も良好な動きベクトルを選択して、評価動きベクトルとして出力し、
前記参照画像読み出し部は、前記外部記憶装置から、前記評価動きベクトルに対応する探索範囲と前記ベクトル探索部が動き探索を実行する動きベクトルに対応する探索範囲とに対して、それら探索範囲の縦と横とを少なくとも２倍した領域を前記所定の領域として前記画像データを読みだし、前記内部バッファに格納する、動画像符号化装置。

［付記２］
前記第１〜第Ｎの動きベクトルの１つとして設定動きベクトルを予め生成するベクトル設定部を備える、付記１に記載の動画像符号化装置。

［付記３］
前記ベクトル設定部は、前記所定の領域の前記画像データに基づいて前記参照画像の座標ごとの特徴量を抽出するとともに、前記特徴量に応じて前記設定動きベクトルを設定する、付記２に記載の動画像符号化装置。

［付記４］
動画像を構成する複数の静止画像を保持する外部記憶装置から、符号化対象画像に対応する参照画像の所定の領域の画像データを読み出して、内部バッファに格納し、
前記内部バッファに格納された前記参照画像の所定の領域の画像データを用いて、前記符号化対象画像の符号化対象領域に対して、それぞれ範囲の異なる第１〜第Ｎ（Ｎは２以上の整数）の探索範囲について動き探索を実行し、探索結果をそれぞれ第１〜第Ｎの動きベクトルとして生成し、
前記第１〜前記第Nの動きベクトルの評価関数値を比較し、前記評価関数値が最も良好な動きベクトルを選択して、評価動きベクトルとして出力し、
前記外部記憶装置から、前記評価動きベクトルに対応する探索範囲と前記ベクトル探索部が動き探索を実行する動きベクトルに対応する探索範囲とに対して、それら探索範囲の縦と横とを少なくとも２倍した領域を前記所定の領域として前記画像データを読みだし、前記内部バッファに格納する、動画像符号化方法。

［付記５］
前記第１〜第Ｎの動きベクトルの１つとして設定動きベクトルを予め生成する、付記４に記載の動画像符号化方法。

［付記６］
前記所定の領域の前記画像データに基づいて前記参照画像の座標ごとの特徴量を抽出するとともに、前記特徴量に応じて前記設定動きベクトルを設定する、付記５に記載の動画像符号化方法。

［付記７］
コンピュータを、
動画像を構成する複数の静止画像を保持する外部記憶装置から、符号化対象画像に対応する参照画像の所定の領域の画像データを読み出して、内部バッファに格納する参照画像読み出し手段と、
前記内部バッファに格納された前記参照画像の所定の領域の画像データを用いて、前記符号化対象画像の符号化対象領域に対して、それぞれ範囲の異なる第１〜第Ｎ（Ｎは２以上の整数）の探索範囲について動き探索を実行し、探索結果をそれぞれ第１〜第Ｎの動きベクトルとして生成するベクトル探索手段と、
前記第１〜前記第Nの動きベクトルの評価関数値を比較し、前記評価関数値が最も良好な動きベクトルを選択して、評価動きベクトルとして出力する手段と、
前記外部記憶装置から、前記評価動きベクトルに対応する探索範囲と前記ベクトル探索部が動き探索を実行する動きベクトルに対応する探索範囲とに対して、それら探索範囲の縦と横とを少なくとも２倍した領域を前記所定の領域として前記画像データを読みだし、前記内部バッファに格納する手段として機能させる、動画像符号化プログラム。

［付記８］
前記コンピュータを、前記第１〜第Ｎの動きベクトルの１つとして設定動きベクトルを予め生成するベクトル設定手段としてさらに機能させる、付記７に記載の動画像符号化プログラム。

［付記９］
前記コンピュータを、前記所定の領域の前記画像データに基づいて前記参照画像の座標ごとの特徴量を抽出するとともに、前記特徴量に応じて前記設定動きベクトルを設定する手段としてさらに機能させる、付記８に記載の動画像符号化プログラム。

［付記１０］
動画像を構成する複数の静止画像を保持する外部記憶装置と、
前記外部記憶装置から符号化対象画像に対応する参照画像の所定の領域の画像データを読み出して、内部バッファに格納する参照画像読み出し部と、
前記内部バッファに格納された前記参照画像の所定の領域の画像データを用いて、前記符号化対象画像の符号化対象領域に対して、それぞれ範囲の異なる第１〜第Ｎ（Ｎは２以上の整数）の探索範囲について動き探索を実行し、探索結果をそれぞれ第１〜第Ｎの動きベクトルとして生成するベクトル探索部と、を備え、
前記ベクトル探索部は、前記第１〜前記第Nの動きベクトルの評価関数値を比較し、前記評価関数値が最も良好な動きベクトルを選択して、評価動きベクトルとして出力し、
前記参照画像読み出し部は、前記外部記憶装置から、前記評価動きベクトルに対応する探索範囲と前記ベクトル探索部が動き探索を実行する動きベクトルに対応する探索範囲とに対して、それら探索範囲の縦と横とを少なくとも２倍した領域を前記所定の領域として前記画像データを読みだし、前記内部バッファに格納する、動画像符号化システム。

［付記１１］
前記第１〜第Ｎの動きベクトルの１つとして設定動きベクトルを予め生成するベクトル設定部を備える、付記１０に記載の動画像符号化システム。

［付記１２］
前記ベクトル設定部は、前記所定の領域の前記画像データに基づいて前記参照画像の座標ごとの特徴量を抽出するとともに、前記特徴量に応じて前記設定動きベクトルを設定する、付記１１に記載の動画像符号化システム。

１０・・・符号化対象画像
１１・・・符号化対象ブロック
１２・・・参照画像
１３・・・予測画像
１４・・・予測対象ブロック
２０，２０’・・・符号化対象画像
２１・・・符号化対象ブロック
３０，３０’・・・参照画像
３１・・・探索範囲
３２・・・予測対象ブロック
４０・・・動きベクトル
５０，６０，７０・・・参照画像
５１・・・隣接ブロック
５２・・・探索範囲
５３・・・予測対象ブロック
５４・・・探索範囲
５５・・・追加領域
１００，１００Ａ・・・動画像符号化装置
１１０・・・参照画像読み出し部
１２０・・・ベクトル探索部
１３０・・・ベクトル設定部
２００・・・外部記憶装置
３００・・・動画像符号化システム
４００・・・情報処理装置
４０１・・・制御部
４０２・・・記憶装置
４０３・・・ROM
４０４・・・RAM
４０５・・・通信インターフェース

Claims (10)

1. 動画像を構成する複数の静止画像を保持する外部記憶装置から、符号化対象画像に対応する参照画像の所定の領域の画像データを読み出して、内部バッファに格納する参照画像読み出し部と、
   前記内部バッファに格納された前記参照画像の所定の領域の画像データを用いて、前記符号化対象画像の符号化対象領域に対して、それぞれ範囲の異なる第１〜第Ｎ（Ｎは２以上の整数）の探索範囲について動き探索を実行し、探索結果をそれぞれ第１〜第Ｎの動きベクトルとして生成するベクトル探索部と、を備え、
   前記ベクトル探索部は、前記第１〜前記第Nの動きベクトルの評価関数値を比較し、前記評価関数値が最も良好な動きベクトルを選択して、評価動きベクトルとして出力し、
   前記参照画像読み出し部は、前記外部記憶装置から、前記評価動きベクトルに対応する探索範囲と前記ベクトル探索部が動き探索を実行する動きベクトルに対応する探索範囲とに対して、それら探索範囲の縦と横とを少なくとも２倍した領域を前記所定の領域として前記画像データを読みだし、前記内部バッファに格納する、動画像符号化装置。
2. 前記第１〜第Ｎの動きベクトルの１つとして設定動きベクトルを予め生成するベクトル設定部を備える、請求項１に記載の動画像符号化装置。
3. 前記ベクトル設定部は、前記所定の領域の前記画像データに基づいて前記参照画像の座標ごとの特徴量を抽出するとともに、前記特徴量に応じて前記設定動きベクトルを設定する、請求項２に記載の動画像符号化装置。
4. 動画像を構成する複数の静止画像を保持する外部記憶装置から、符号化対象画像に対応する参照画像の所定の領域の画像データを読み出して、内部バッファに格納し、
   前記内部バッファに格納された前記参照画像の所定の領域の画像データを用いて、前記符号化対象画像の符号化対象領域に対して、それぞれ範囲の異なる第１〜第Ｎ（Ｎは２以上の整数）の探索範囲について動き探索を実行し、探索結果をそれぞれ第１〜第Ｎの動きベクトルとして生成し、
   前記第１〜前記第Nの動きベクトルの評価関数値を比較し、前記評価関数値が最も良好な動きベクトルを選択して、評価動きベクトルとして出力し、
   前記外部記憶装置から、前記評価動きベクトルに対応する探索範囲と前記ベクトル探索部が動き探索を実行する動きベクトルに対応する探索範囲とに対して、それら探索範囲の縦と横とを少なくとも２倍した領域を前記所定の領域として前記画像データを読みだし、前記内部バッファに格納する、動画像符号化方法。
5. 前記第１〜第Ｎの動きベクトルの１つとして設定動きベクトルを予め生成する、請求項４に記載の動画像符号化方法。
6. 前記所定の領域の前記画像データに基づいて前記参照画像の座標ごとの特徴量を抽出するとともに、前記特徴量に応じて前記設定動きベクトルを設定する、請求項５に記載の動画像符号化方法。
7. コンピュータを、
   動画像を構成する複数の静止画像を保持する外部記憶装置から、符号化対象画像に対応する参照画像の所定の領域の画像データを読み出して、内部バッファに格納する参照画像読み出し手段と、
   前記内部バッファに格納された前記参照画像の所定の領域の画像データを用いて、前記符号化対象画像の符号化対象領域に対して、それぞれ範囲の異なる第１〜第Ｎ（Ｎは２以上の整数）の探索範囲について動き探索を実行し、探索結果をそれぞれ第１〜第Ｎの動きベクトルとして生成するベクトル探索手段と、
   前記第１〜前記第Nの動きベクトルの評価関数値を比較し、前記評価関数値が最も良好な動きベクトルを選択して、評価動きベクトルとして出力する手段と、
   前記外部記憶装置から、前記評価動きベクトルに対応する探索範囲と前記ベクトル探索部が動き探索を実行する動きベクトルに対応する探索範囲とに対して、それら探索範囲の縦と横とを少なくとも２倍した領域を前記所定の領域として前記画像データを読みだし、前記内部バッファに格納する手段として機能させる、動画像符号化プログラム。
8. 前記コンピュータを、前記第１〜第Ｎの動きベクトルの１つとして設定動きベクトルを予め生成するベクトル設定手段としてさらに機能させる、付記７に記載の動画像符号化プログラム。
9. 動画像を構成する複数の静止画像を保持する外部記憶装置と、
   前記外部記憶装置から符号化対象画像に対応する参照画像の所定の領域の画像データを読み出して、内部バッファに格納する参照画像読み出し部と、
   前記内部バッファに格納された前記参照画像の所定の領域の画像データを用いて、前記符号化対象画像の符号化対象領域に対して、それぞれ範囲の異なる第１〜第Ｎ（Ｎは２以上の整数）の探索範囲について動き探索を実行し、探索結果をそれぞれ第１〜第Ｎの動きベクトルとして生成するベクトル探索部と、を備え、
   前記ベクトル探索部は、前記第１〜前記第Nの動きベクトルの評価関数値を比較し、前記評価関数値が最も良好な動きベクトルを選択して、評価動きベクトルとして出力し、
   前記参照画像読み出し部は、前記外部記憶装置から、前記評価動きベクトルに対応する探索範囲と前記ベクトル探索部が動き探索を実行する動きベクトルに対応する探索範囲とに対して、それら探索範囲の縦と横とを少なくとも２倍した領域を前記所定の領域として前記画像データを読みだし、前記内部バッファに格納する、動画像符号化システム。
10. 前記第１〜第Ｎの動きベクトルの１つとして設定動きベクトルを予め生成するベクトル設定部を備える、請求項９に記載の動画像符号化システム。

Images