JP2017028337A

JP2017028337A - 映像符号化装置及び映像符号化プログラム

Info

Publication number: JP2017028337A
Application number: JP2015141395A
Authority: JP
Inventors: 優也大森; Yuya Omori; 卓佐野; Taku Sano; 隆之大西; Takayuki Onishi; 淳清水; Atsushi Shimizu
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2015-07-15
Filing date: 2015-07-15
Publication date: 2017-02-02
Anticipated expiration: 2035-07-15
Also published as: JP6339977B2

Abstract

【課題】符号化効率を低下させずに演算量の削減を行う。【解決手段】対象符号化ブロックの大まかな動きを捕え、各符号化ブロックサイズにおける事前動き予測処理コストを算出する手段と、事前動き予測処理コストに基づいて、第１の符号化ブロックサイズ候補におけるブロックサイズ候補コストと第２の符号化ブロックサイズ候補におけるブロックサイズ候補コストを決定する手段と、動き統計パラメータを決定する手段と、動き統計パラメータと、符号化対象ピクチャの参照構造における階層の深さとに基づいて、コスト比較オフセット値を設定する手段と、第１のブロックサイズ候補コストと、第２のブロックサイズ候補コストと、コスト比較オフセット値とに基づいて、符号化対象ピクチャの符号化ブロックのサイズ候補を全ブロックサイズ候補の中から第１のブロックサイズ候補または第２のブロックサイズ候補のいずれかに決定する手段とを備える。【選択図】図１

Description

本発明は、動き予測を用いて映像符号化を行う映像符号化装置及び映像符号化プログラムに関する。

映像符号化技術は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣが多く用いられており、最近では次世代の映像符号化規格であるＨＥＶＣ（High Efficiency Video Coding）が規格化され、今後の普及が見込まれる。映像符号化規格では、１つのピクチャ内に閉じた情報を用いて符号化を行う画面内符号化と、時間的に連続した複数のピクチャを用いて符号化を行う画面間符号化が用いられている。画面間符号化には画面間の差分値を削減するために動き予測処理を行い、差分値と動きベクトル情報を符号化することで情報量を削減している。

画面間符号化における動き予測では、映像の正しい動きを捉えて動き予測を行い符号化すべき情報を小さくするため、動きベクトルの検出処理に膨大な演算量を必要とする。少ない演算量で高精度な動きベクトルを得る手法としては、階層的動きベクトル検出法等が用いられる。階層的動きベクトル検出法では、符号化対象ブロックの大まかな動きを捕える事前動き予測処理を行い、事前動き予測処理から得られた探索結果を元にして再度より高精度な動き予測を行うことで、動きベクトル探索に要する演算量を削減している。

また、動き予測処理では符号化ブロックごとにピクチャ間の動きベクトルを検出しているが、ＭＰＥＧ−４／ＡＶＣ、ＨＥＶＣでは各符号化ブロックのサイズを複数のブロックサイズ候補の中から選択することができる。ＭＰＥＧ−４／ＡＶＣでは、符号化処理はマクロブロックという１６×１６画素単位で行われ、予測処理単位は１６×１６、８×８、４×４の３種類のブロックサイズ候補が選択できる。ＨＥＶＣでは、符号化処理はコーディングユニット（ＣＵ）という単位で６４×６４、３２×３２、１６×１６、８×８の４種類のブロックサイズ候補で行われ、画面間予測においてはＣＵをさらに８種類の形状に分割してプレディクションユニット（ＰＵ）という単位で処理を行う。各ブロックサイズで動きベクトル探索を行うことで、より効率の高い画面間符号化が可能できる。

一方で、複数のブロックサイズ候補の全てを考慮して動きベクトル探索を行い最も高効率な画面間予測方法を決定する処理は、単一のブロックサイズに限定された動き予測処理の場合に比較し、演算処理量が大幅に増大するという問題がある。これに対し、小さいブロックサイズから順次統合してコストを比較していくのではなく、任意の２点のブロックサイズのコストを算出して比較することでブロックサイズを早期に決定し、動き予測に要する演算量を削減する手法が考案されている（例えば、特許文献１参照）。

特開２０１４−１２７８９１号公報

しかしながら、特許文献１に記載の手法はＲＤ（Rate Distortion）コストを用いるためコスト値取得に対象ブロックの符号化結果が必要であり、また、階層的動きベクトル検出法と併用する場合最後の階層の動き探索時までブロックサイズを絞込まないため、演算量が膨大となる。さらに、特許文献１に記載の映像符号化装置は符号化対象ブロックによって動き予測に要する演算量が変化するため、ハードウェア実装の観点では、ハードウェア規模増大やハードウェアの使用効率低下につながるという問題がある。

本発明は、このような事情に鑑みてなされたもので、符号化効率の低下を抑えつつ演算量の削減を行うことができる映像符号化装置及び映像符号化プログラムを提供することを目的とする。

本発明の一態様は、入力映像信号のピクチャの時間的相関を利用し、符号化対象ピクチャについて符号化ブロック単位に動き予測を行って差分信号の符号化処理を行う映像符号化装置であって、前記符号化対象ピクチャと動き予測先の復号映像信号の参照ピクチャを用いて、対象符号化ブロックの大まかな動きを捕える事前動き予測処理を全符号化ブロックサイズそれぞれについて行い、各符号化ブロックサイズにおける事前動き予測処理コストを算出する事前動き予測処理手段と、前記事前動き予測処理コストに基づいて、第１の符号化ブロックサイズ候補におけるブロックサイズ候補コストと第２の符号化ブロックサイズ候補におけるブロックサイズ候補コストを決定するブロックサイズ候補コスト手段と、前記入力映像信号の符号化済みピクチャの動きベクトル情報に基づいて、動き統計パラメータを決定するパラメータ決定手段と、前記動き統計パラメータと、前記符号化対象ピクチャの参照構造における階層の深さとに基づいて、コスト比較オフセット値を設定するオフセット値設定手段と、前記第１の符号化ブロックサイズ候補におけるブロックサイズ候補コストと、前記第２の符号化ブロックサイズ候補におけるブロックサイズ候補コストと、前記コスト比較オフセット値とに基づいて、前記符号化対象ピクチャの符号化ブロックのサイズ候補を全ブロックサイズ候補の中から第１のブロックサイズ候補または第２のブロックサイズ候補のいずれかに決定するブロックサイズ候補決定手段と、決定された符号化ブロックサイズ候補を用いて、前記符号化対象ピクチャの動き予測処理を行いブロックサイズ決定及び動きベクトル決定を行う動き探索手段とを備える映像符号化装置である。

本発明の一態様は、前記映像符号化装置であって、前記パラメータ決定手段は、前記入力映像信号の指定された符号化済みピクチャにおける全ての動きベクトルを算出し、前記動きベクトルの絶対値和を前記符号化対象ピクチャの動き統計パラメータとして決定する。

本発明の一態様は、前記映像符号化装置であって、前記パラメータ決定手段は、前記入力映像信号の指定された符号化済みピクチャにおける全ての動きベクトルを算出し、前記動きベクトルの分散値を前記符号化対象ピクチャの動き統計パラメータとして決定する。

本発明の一態様は、前記映像符号化装置であって、前記ブロックサイズ候補決定手段は、前記第２のブロックサイズ候補における動きベクトルのコストと前記コスト比較オフセット値との和を算出し、算出した前記和と前記第１のブロックサイズ候補における動きベクトルのコストとを比較した結果、前記第１のブロックサイズ候補におけるコストの方が大きいと判定された場合、前記符号化対象ピクチャのブロックサイズ候補を第２のブロックサイズ候補とし、前記第１のブロックサイズ候補におけるコストの方が小さいと判定された場合、前記符号化対象ピクチャのブロックサイズ候補を第１のブロックサイズ候補とする。

本発明の一態様は、コンピュータを、前記映像符号化装置として機能させるための映像符号化プログラムである。

本発明によれば、符号化ブロックサイズ候補が複数存在するような動き予測部を有する映像符号化方式において、符号化対象ピクチャの参照構造における階層の深さと符号化済みピクチャの動きベクトル情報に基づいてブロックサイズ候補を適切に決定することで、符号化効率の低下を抑えつつ演算量を削減することができるという効果が得られる。

本発明の一実施形態による映像符号化装置の構成を示すブロック図である。図１に示すインター予測処理部１０２の構成の示すブロック図である。図２に示すインター予測処理部１０２の動作を示すフローチャートである。ランダム・アクセス符号化モードにおける画面間参照構造を示す図である。図２に示すブロックサイズ候補決定部２０２の構成を示すブロック図である。図５に示すブロックサイズ候補決定部２０２の動作を示すフローチャートである。図５に示す候補コスト生成部３０１の詳細な動作を示すフローチャートである。図５に示すオフセット決定部３０２の詳細な動作を示すフローチャートである。図５に示す候補コスト比較部３０３の詳細な動作を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態による映像符号化装置を説明する。以下で用いる「符号化ブロック」については、ＭＰＥＧ−２やＨ．２６４／ＡＶＣ規格ではマクロブロックのことを示し、ＨＥＶＣについてはコーディングユニット（ＣＵ）又はプレディクションユニット（ＰＵ）のことを指し示す。図１は同実施形態による映像符号化装置の構成を示すブロック図である。図１に示す映像符号化装置１００において、インター予測処理１０２が従来技術と異なる部分であり、他の部分はＨ．２６４／ＡＶＣやＨＥＶＣ等の映像符号化装置として用いられている従来の一般的な構成と同様である。

映像符号化装置１００は、符号化対象の映像信号（原画像）を入力とし、入力映像信号のピクチャをブロックに分割してブロックごとに符号化し、そのビットストリームを符号化ストリームとして出力する。この符号化のため、予測残差信号生成部１０３は、入力映像信号とイントラ予測処理部あるいはインター予測処理部の出力である予測信号との差分を求め、それを予測残差信号として出力する。

変換・量子化処理部１０４は、予測残差信号を入力とし、入力された予測残差信号に対して離散コサイン変換等の直交変換を行い、変換係数を量子化し、その量子化された変換係数を出力する。エントロピー符号化処理部１０５は、量子化された変換係数を入力とし、入力された量子化された変換係数をエントロピー符号化し、符号化ストリームとして出力する。

一方、量子化された変換係数は、逆量子化・逆変換処理部１０６にも入力され、ここで逆量子化と逆直交変換され、予測残差復号信号を出力する。復号信号生成部１０７は、逆量子化・逆変換処理部１０６の出力である予測残差復号信号とイントラ予測処理部１０１またはインター予測処理部１０２の出力である予測信号とを加算し、符号化した符号化対象ブロックの復号信号を生成する。この復号信号は、インター予測処理部１０２で参照画像として用いるために、ループフィルタ処理部１０８に入力される。ループフィルタ処理部１０８では復号信号に対して符号化歪みを低減するフィルタリング処理を行い、このフィルタリング処理後の画像を参照画像としてインター予測処理部１０２に入力する。

本実施形態は、図１に示すインター予測処理部１０２において、ブロックサイズ候補を適切に絞り込んで動き探索処理を行うことで、符号化効率を低下させずにインター予測処理に要する処理量を削減するものである。

以下の説明は、ＨＥＶＣ規格に基づいた実施形態として説明する。以下の実施形態は、ＨＥＶＣにおける６４×６４、３２×３２、１６×１６、８×８の４種類のブロックサイズ候補から、３種類のブロックサイズ候補に絞り込む手法である。実施形態における処理は６４×６４の領域単位で実行される。以下の実施形態の中で用いているコスト値とは、原画像と動きベクトルが指し示す参照画像との差分絶対値和（ＳＡＤ）もしくは差分値に２次元アダマール変換を行った値の差分絶対値和（ＳＡＴＤ）と、動きベクトルを符号化した際に生じる符号量を簡易的に見積もった動きベクトルコスト値の和で表される値を表している。

次に、図１に示すインター予測処理部１０２の構成と動作を説明する。図２は、図１に示すインター予測処理部１０２の構成の示すブロック図である。インター予測処理部１０２は、事前動きを予測する事前動き予測処理部２０１と、ブロックサイズ候補を決定するブロックサイズ候補決定部２０２と、動き探索を行う動き探索処理部２０３とを備える。

次に、図３を参照して、図２に示すインター予測処理部１０２の動作を説明する。図３は、図２に示すインター予測処理部１０２の動作を示すフローチャートである。まず、事前動き予測処理部２０１は、入力映像信号（原画像）とループフィルタ処理部１０８より入力される復号信号を入力とし、入力映像信号の大まかな動きを捕える事前動き探索を行う（ステップＳ１）。

事前動き予測処理部２０１は、入力映像信号中の対象となる６４×６４領域における各ブロックサイズそれぞれで動き探索を行い、各ブロックサイズごとの動きベクトル及びそれに伴うコスト値を算出し、出力する。６４×６４ブロックサイズのコスト値とは、対象の６４×６４領域を分割せずに６４×６４ブロックとして処理した場合のコスト値である。３２×３２ブロックサイズのコスト値とは、対象の６４×６４領域を縦横それぞれ２分割した際の、４つの３２×３２ブロックにおける各コスト値である。１６×１６ブロックサイズのコスト値とは、対象の６４×６４領域を縦横それぞれ４分割した際の、１６つの１６×１６ブロックにおける各コスト値である。８×８ブロックサイズのコスト値とは、対象の６４×６４領域を縦横それぞれ８分割した際の、６４つの８×８ブロックにおける各コスト値である。また、事前動き予測処理部２０１は、入力映像信号（原画像）のフレーム番号から、ＴｅｍｐｏｒａｌＩＤを算出して符号化情報とし、この符号化情報をブロックサイズ候補決定部２０２に出力する。

次に、ブロックサイズ候補決定部２０２は、事前動き予測処理部２０１で算出された各ブロックサイズのコスト値と、動き探索処理部２０３で算出される符号化済みの過去のフレームである符号化済みピクチャにおける特定の場合の動きベクトル統計値、及び当該ピクチャの符号化情報を入力とし、ブロックサイズ候補の絞り込み処理を行う（ステップＳ２）。絞り込み処理とは、候補数を減らす処理のことである。例えば、後述するように複数のブロックサイズ候補を２つの候補のグループにし、いずれかの候補に決定することを指す。後述する説明では２つの候補のグループにし、いずれかの候補に決定する例で説明するが、候補数を減らす処理であればよく、これに限るものではない。事前動き予測処理部２０１で探索した結果である、各ブロックサイズごとの動きベクトル、及びブロックサイズ候補決定部２０２で絞り込まれたブロックサイズ候補は、動き探索処理部２０３に対してそれぞれ出力する。

次に、動き探索処理部２０３は事前動き予測処理部２０１で探索した結果を基に、ブロックサイズ候補決定部２０２で絞り込まれた候補内のサイズで動き探索処理を行う（ステップＳ３）。最終的に決定した動きベクトル情報と予測差分画像は予測残差信号生成部１０３へと出力される。さらに当該符号化対象ピクチャが特定の場合のみ、動き探索処理部２０３は決定した動きベクトルの統計値を算出しブロックサイズ候補決定部２０２へ出力する。

以下、動き探索処理部２０３が決定した動きベクトルの統計値を算出しブロックサイズ候補決定部２０２へ出力する、特定の場合について説明する。ＨＥＶＣにおけるランダム・アクセス符号化モードでは、時間軸上過去のピクチャだけでなく未来のピクチャからも予測可能とすることで、高い画面間符号化効率を得ることが可能である。図４は、ランダム・アクセス符号化モードにおける画面間参照構造を示す図である。図４では、各ピクチャが参照のパターンによって４つの階層に分類され、それぞれの階層にＴｅｍｐｏｒａｌＩＤ（時間識別子）とよばれる値を割り振っている。ＴｅｍｐｏｒａｌＩＤ＝０のピクチャから次のＴｅｍｐｏｒａｌＩＤ＝０のピクチャまでをＧＯＰ（Group of Picture）と呼ぶ。

図４は、ＧＯＰのサイズが８の場合のランダム・アクセス符号化モードの例を表している。動き探索処理部２０３では、当該符号化対象ピクチャの符号化順序がＴｅｍｐｏｒａｌＩＤ＝０のピクチャの１つ前の場合のみ、当該符号化対象ピクチャにおける全ての動きベクトルの分散を算出し、動きベクトル統計値としてブロックサイズ候補決定部２０２へ出力する。

ここでは動きベクトル統計値として動きベクトルの分散を算出したが、動きベクトルの算術平均や二乗和や絶対値和を動きベクトル統計値として出力する方法であってもよい。動きベクトル統計値として動きベクトルの分散を用いる場合は、画面間の動きが１ピクチャ内で均一的かばらけているかによって特定のブロックサイズ候補を選ばれやすくする効果が見込める。動きベクトル統計値として動きベクトルの絶対値和を用いる場合は、画面間の動きが全体的に大きいか小さいかによって特定のブロックサイズ候補が選ばれやすくする効果が見込める。

次に、図５を参照して、図２に示すブロックサイズ候補決定部２０２の構成を説明する。図５は、図２に示すブロックサイズ候補決定部２０２の構成を示すブロック図である。ブロックサイズ候補決定部２０２は、候補コスト生成部３０１、オフセット決定部３０２、候補コスト比較部３０３を備えている。

次に、図６を参照して、図５に示すブロックサイズ候補決定部２０２の動作を説明する。図６は、図５に示すブロックサイズ候補決定部２０２の動作を示すフローチャートである。まず、候補コスト生成部３０１は、各ブロックサイズのコストを入力とし、ブロックサイズ候補のコストを算出する（ステップＳ１１）。候補コスト生成部３０１は、算出したコスト（候補コスト１、候補コスト２）を候補コスト比較部３０３へ出力する。

一方、オフセット決定部３０２は、動き探索処理部２０３で算出された符号化済みピクチャの動きベクトル統計値と、符号化対象ピクチャの符号化情報とを入力として、符号化済みピクチャの動きベクトル統計値と、符号化対象ピクチャの符号化情報に基づいて、コスト比較のオフセット値を算出する（ステップＳ１２）。オフセット決定部３０２は、算出したコスト比較オフセット値を候補コスト比較部３０３へ出力する。

次に、候補コスト比較部３０３は、２つのコスト（候補コスト１、候補コスト２）とコスト比較オフセット値を入力とし、２つのコストに基づいて比較を行い、ブロックサイズ候補を決定する（ステップＳ１３）。候補コスト比較部３０３は、決定したブロックサイズ候補を動き探索処理部２０３へ出力する。

次に、図７を参照して、図５に示す候補コスト生成部３０１の詳細な動作を説明する。図７は、図５に示す候補コスト生成部３０１の詳細な動作を示すフローチャートである。まず、候補コスト生成部３０１は、事前動き予測処理部２０１で算出された各ブロックサイズのコスト値を入力する（ステップＳ２１）。そして、候補コスト生成部３０１は、ブロックサイズ候補１のコスト値（候補コスト１）を算出する（ステップＳ２２）。ブロックサイズ候補１は６４×６４のブロックサイズのみとする。ブロックサイズ候補１のコスト値は、事前動き予測処理部２０１で算出された６４×６４ブロックサイズのコスト値とする。

続いて、候補コスト生成部３０１は、ブロックサイズ候補２のコスト値（候補コスト２）を算出する（ステップＳ２３）。ブロックサイズ候補２は３２×３２、１６×１６、８×８の３つのブロックサイズとする。６４×６４領域を縦横４分割した際の１６×１６領域において、１６×１６ブロックサイズのコスト値と、１６×１６領域を縦横２分割した４つの８×８ブロックサイズのコスト値の和を比較し、１６×１６ブロックサイズのコスト値が小さい場合は１６×１６領域のコスト値を１６×１６ブロックサイズのコスト値とし、１６×１６ブロックサイズのコスト値が大きい場合は１６×１６領域のコスト値を４つの８×８ブロックサイズのコスト値の和とする。以上の１６×１６領域コスト算出処理を１６つの１６×１６領域で行う。

６４×６４領域を縦横２分割した際の３２×３２領域において、３２×３２ブロックサイズのコスト値と、３２×３２領域を縦横２分割した４つの１６×１６領域コストの和を比較し、３２×３２ブロックサイズのコスト値が小さい場合は３２×３２領域のコスト値を３２×３２ブロックサイズのコスト値とし、３２×３２ブロックサイズのコスト値が大きい場合は３２×３２領域のコスト値を４つの１６×１６領域コストの和とする。対象の６４×６４領域を縦横２分割した４つの３２×３２領域全てで上記の３２×３２領域コスト算出手順を行い、４つの３２×３２領域コスト値の和をブロックサイズ候補２のコスト値とする。

最後に、候補コスト生成部３０１は、算出したブロックサイズ候補１、２のコスト値を出力する（ステップＳ２４）。

次に、図８を参照して、図５に示すオフセット決定部３０２の詳細な動作を説明する。図８は、図５に示すオフセット決定部３０２の詳細な動作を示すフローチャートである。まず、動き探索処理部２０３が算出したピクチャ単位の動きベクトル分散の最新値σ_ＭＶ ^２と、閾値ＴＨとを比較し、動きベクトル分散の最新値σ_ＭＶ ^２が閾値ＴＨより小さいか否かを判定する（ステップＳ３１）。この判定の結果、動きベクトル分散σ_ＭＶ ^２が閾値ＴＨより小さい場合、すなわち物体の動きが１ピクチャ内で均一的な場合、コスト比較オフセット値λ_{ｏｆｆｓｅｔ}を０に設定する（ステップＳ３２）。

一方、動きベクトル分散σ_ＭＶ ^２が閾値ＴＨより大きい場合、すなわち物体の動きが１ピクチャ内でばらけている場合、コスト比較オフセット値λ_{ｏｆｆｓｅｔ}を０でない実数（例えば、α・ＴｅｍｐｏｒａｌＩＤ）に設定する（ステップＳ３３）。この場合のλ_{ｏｆｆｓｅｔ}は負の実数を用いるとよい。これにより動きがばらけているピクチャではブロックサイズ候補１、すなわち６４×６４のブロックサイズが選ばれやすくなり、この結果としてブロックサイズが動きのばらけによって小さくなりすぎることを防ぎ、符号量削減が望める。

また、この場合のλ_{ｏｆｆｓｅｔ}の決定方法としては、符号化情報より当該符号化対象ピクチャのＴｅｍｐｏｒａｌＩＤを取得し、コスト比較オフセット値λ_{ｏｆｆｓｅｔ}をＴｅｍｐｏｒａｌＩＤの定数倍α・ＴｅｍｐｏｒａｌＩＤに設定するとよい。αは負の実数定数がよい。ＴｅｍｐｏｒａｌＩＤが大きいピクチャでは動き予測の精度が高い傾向があるが、コスト比較オフセット値λ_{ｏｆｆｓｅｔ}をＴｅｍｐｏｒａｌＩＤの定数倍α・ＴｅｍｐｏｒａｌＩＤに設定することで、ＴｅｍｐｏｒａｌＩＤが大きいピクチャではブロックサイズ候補１、すなわち６４×６４のブロックサイズが選ばれやすくなり、より大きなブロックで動き予測が行われることで符号量削減が望める。

ここでは、動き探索処理部２０３で算出された動きベクトル統計値が閾値ＴＨより大きい場合のコスト比較オフセット値λ_{ｏｆｆｓｅｔ}をＴｅｍｐｏｒａｌＩＤの定数倍α・ＴｅｍｐｏｒａｌＩＤとしたが、ＴｅｍｐｏｒａｌＩＤごとに適切なλ_{ｏｆｆｓｅｔ}を固定値として予め用意しておき、符号化対象ピクチャのＴｅｍｐｏｒａｌＩＤに応じてλ_{ｏｆｆｓｅｔ}を切り替えるようにしてもよい。

また、ここでは動きベクトル統計値と閾値ＴＨの大小を比較してコスト比較オフセット値λ_{ｏｆｆｓｅｔ}の計算式の切り替えを行ったが、ＧＯＰ構造を考慮するために動きベクトル統計値をＧＯＰサイズで割った値と閾値ＴＨを比較してλ_{ｏｆｆｓｅｔ}の計算式を切り替えるようにしてもよい。これにより、動きベクトル統計値がＧＯＰサイズと比較されたスケーリング済みの値となり、ＧＯＰサイズの大小によって閾値ＴＨを変化させる必要がなくなる。

候補コスト生成部３０１で算出された２つの候補コスト値とオフセット決定部３０２で算出されたコスト比較オフセット値は、候補コスト比較部３０３へ入力され、符号化ブロックのサイズ候補を２つのブロックサイズ候補の内のいずれかに決定する。

次に、図９を参照して、図５に示す候補コスト比較部３０３の詳細な動作を説明する。図９は、図５に示す候補コスト比較部３０３の詳細な動作を示すフローチャートである。まず、候補コスト比較部３０３は、ブロックサイズ候補１、２のコスト値とコスト比較オフセット値とを入力とする（ステップＳ４１）。

次に、候補コスト比較部３０３は、ブロックサイズ候補１の候補コスト値とオフセット決定部３０２で決定されたコスト比較オフセット値の和と、ブロックサイズ候補２の候補コスト値とを比較し、ブロックサイズ候補１コスト値＋コスト比較オフセット値＜ブロックサイズ候補２コスト値であるか否かを判定する（ステップＳ４２）。この判定の結果、ブロックサイズ候補２の候補コスト値が大きい場合はブロックサイズ候補を候補１に決定し（ステップＳ４３）、ブロックサイズ候補２の候補コスト値が小さい場合はブロックサイズ候補を候補２に決定する（ステップＳ４４）。

以上説明したように、符号化ブロックサイズ候補が複数存在するような動き予測部を有する映像符号化方式において、符号化対象ピクチャの参照構造における階層の深さ、すなわちＴｅｍｐｏｒａｌＩＤと、符号化済みピクチャの動きベクトルの統計値情報に基づき、ブロックサイズ候補のコスト比較におけるオフセット値を決定し、コスト比較によりブロックサイズ候補を適切に絞り込むことで、動き探索に要する演算量を削減することが可能となる。

前述した実施形態における映像符号化装置１００の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

動き探索処理に要する演算量が限られている映像符号化装置及び映像符号化プログラムに適用できる。

１０２・・・インター予測処理部、２０１・・・事前動き予測処理部、２０２・・・ブロックサイズ候補決定部、２０３・・・動き探索処理部、３０１・・・候補コスト生成部、３０２・・・オフセット決定部、３０３・・・候補コスト比較部

Claims

入力映像信号のピクチャの時間的相関を利用し、符号化対象ピクチャについて符号化ブロック単位に動き予測を行って差分信号の符号化処理を行う映像符号化装置であって、
前記符号化対象ピクチャと動き予測先の復号映像信号の参照ピクチャを用いて、対象符号化ブロックの大まかな動きを捕える事前動き予測処理を全符号化ブロックサイズそれぞれについて行い、各符号化ブロックサイズにおける事前動き予測処理コストを算出する事前動き予測処理手段と、
前記事前動き予測処理コストに基づいて、第１の符号化ブロックサイズ候補におけるブロックサイズ候補コストと第２の符号化ブロックサイズ候補におけるブロックサイズ候補コストを決定するブロックサイズ候補コスト手段と、
前記入力映像信号の符号化済みピクチャの動きベクトル情報に基づいて、動き統計パラメータを決定するパラメータ決定手段と、
前記動き統計パラメータと、前記符号化対象ピクチャの参照構造における階層の深さとに基づいて、コスト比較オフセット値を設定するオフセット値設定手段と、
前記第１の符号化ブロックサイズ候補におけるブロックサイズ候補コストと、前記第２の符号化ブロックサイズ候補におけるブロックサイズ候補コストと、前記コスト比較オフセット値とに基づいて、前記符号化対象ピクチャの符号化ブロックのサイズ候補を全ブロックサイズ候補の中から第１のブロックサイズ候補または第２のブロックサイズ候補のいずれかに決定するブロックサイズ候補決定手段と、
決定された符号化ブロックサイズ候補を用いて、前記符号化対象ピクチャの動き予測処理を行いブロックサイズ決定及び動きベクトル決定を行う動き探索手段と
を備える映像符号化装置。
前記パラメータ決定手段は、
前記入力映像信号の指定された符号化済みピクチャにおける全ての動きベクトルを算出し、前記動きベクトルの絶対値和を前記符号化対象ピクチャの動き統計パラメータとして決定する請求項１に記載の映像符号化装置。
前記パラメータ決定手段は、
前記入力映像信号の指定された符号化済みピクチャにおける全ての動きベクトルを算出し、前記動きベクトルの分散値を前記符号化対象ピクチャの動き統計パラメータとして決定する請求項１に記載の映像符号化装置。
前記ブロックサイズ候補決定手段は、
前記第２のブロックサイズ候補における動きベクトルのコストと前記コスト比較オフセット値との和を算出し、算出した前記和と前記第１のブロックサイズ候補における動きベクトルのコストとを比較した結果、前記第１のブロックサイズ候補におけるコストの方が大きいと判定された場合、前記符号化対象ピクチャのブロックサイズ候補を第２のブロックサイズ候補とし、前記第１のブロックサイズ候補におけるコストの方が小さいと判定された場合、前記符号化対象ピクチャのブロックサイズ候補を第１のブロックサイズ候補とする請求項１から３のいずれか１項に記載の映像符号化装置。
コンピュータを、請求項１から４のいずれか１項に記載の映像符号化装置として機能させるための映像符号化プログラム。