JP2017200054A - 映像符号化装置、映像符号化方法及び映像符号化プログラム - Google Patents

Abstract

【課題】演算量を増大させずに符号化量を削減する。【解決手段】映像符号化装置は、近方方向参照画像を用いた符号化対象画像に対する動き予測結果、及び、近方方向参照画像の参照距離に対する遠方方向参照画像の参照距離の比に基づいて、遠方方向参照画像を用いた符号化対画像に対する動き予測を行うときの遠方方向参照画像における探索中心を決定して動き予測を行い、近方方向参照画像を用いた符号化対象画像に対する動き予測結果と、遠方方向参照画像を用いた符号化対象画像に対する動き予測結果とに基づいて符号化対象画像を符号化する。【選択図】図３

Description

本発明は、映像符号化装置、映像符号化方法及び映像符号化プログラムに関する。

映像符号化の技術には、MPEG-2、MPEG-4、MPEG-4/AVCなどの映像符号化規格が多く用いられており、最近では次世代の映像符号化規格であるHEVC（High Efficiency Video Coding）が規格化され、今後の普及が見込まれる。

デジタル放送における映像符号化方式として、ARIB（Association of Radio Industries and Broadcast：一般社団法人電波産業会）は、各種の電波利用システムに関する無線設備の標準的な仕様を策定しており、ARIB STD-B32において「デジタル放送における映像符号化、音声符号化及び多重化方式」として映像符号化方式の標準規格を策定している。ARIB STD-B32 3.3版では、MPEG-2 Video、MPEG-4 AVC、HEVCの３つの映像符号化規格に準拠した映像符号化方式が策定され、さらに、HEVCに準拠した２１６０／１２０／Ｐ映像及び４３２０／１２０／Ｐ映像の時間方向階層符号化方式が規定されている（非特許文献１）。

ARIBの規定の時間方向階層符号化において１２０／Ｐビットストリームは、２１６０／６０／Ｐもしくは４３２０／６０／Ｐに準拠した６０／Ｐサブビットストリームと、残りの１２０／Ｐサブセットとに分離されて伝送される。１２０Ｈｚ対応受信機は、分離伝送される６０／Ｐサブビットストリームと１２０／Ｐサブセットとを１２０／Ｐビットストリームに合成した後、合成された１２０／Ｐビットストリームを復号し、１２０Ｈｚの復号画像を出力する。一方、６０Ｈｚ対応受信機では、６０／Ｐサブビットストリームのみを抽出して復号し、６０Ｈｚの復号画像を出力する。

一般に映像符号化では、１つのピクチャ内に閉じた情報を用いて符号化を行う画面内符号化と、時間的に異なる複数のピクチャを用いて符号化を行う画面間符号化とが用いられている。画面間符号化では、画面間の差分値を削減するために符号化対象ピクチャ（以下「符号化対象画像」という。）と参照ピクチャ（以下「参照画像」という。）との間で動き予測処理を行い、差分値と動きベクトルとを符号化することで情報量を削減している。ARIBの規定における時間方向階層符号化では、１２０／Ｐサブセットの復号時刻が等間隔になるように画面間符号化における参照構造が決定され、それぞれの符号化対象画像において前方向の参照画像と後方向の参照画像それぞれ１つずつの合計２つの参照画像を用いる双方向動き探索が行われる。

画面間符号化における動き予測においては、符号化すべき情報を小さくするために、映像の動きを正しく捉えた正確な予測を行うことが望ましい。一方で、精確な動きベクトル検出処理には一般的に膨大な演算量が必要となる。ハードウェア実装の観点において演算量の増加はハードウェア規模に直結する要素であるため、演算量を抑えた効率的な動き探索が不可欠である。

特に符号化部における回路規模を小さく実装するためには、演算量削減のために動き探索点数を限定することが効果的であるが、符号量を抑えるためには、少ない動き探索点数であっても精度の高い動きベクトルを得る必要がある。しかし、動き探索点数が少なく、かつ画面間の動きが大きい場合には、理想的な動きベクトルが探索点からはみ出してしまうことで十分な動きベクトル精度が得られないことが多くなり、予測誤差が大きくなり符号量が増大する傾向にある。そのため、一般的には、動き探索を行う符号化対象ブロックの、周辺ブロック（左、上、左上、右上等に位置するブロック、もしくは過去に符号化済みのピクチャで同位置に存在するブロック）がもつ動きベクトル値を基に、符号化対象ブロックにおける動きベクトルの予測値を計算し、算出された動きベクトル予測値を探索中心として探索を行い、最適な動きベクトルを決定する、などの手法がとられている。

動き探索における探索中心の決定手法として、上記の周辺ブロックを利用する手法以外では、事前に符号化したピクチャの動きベクトルのヒストグラムや動きベクトルの統計情報を利用し、続いて符号化されるピクチャの探索中心を指定する手法がある（特許文献１）。

特開２０１６−０３９５３５号公報

「デジタル放送における映像符号化、音声符号化及び多重化方式 標準規格 ARIB STD-B32 3.3版」、一般社団法人電波産業会、２０１５年７月、ｐｐ．１６８−１８２

しかしながら、特許文献１に記載の動きベクトル探索方法では、動きベクトルの統計情報に基づいて当該ピクチャの動き探索中心点を適応的に設定することができるが、統計情報を算出するため別途縮小比率の高い画像を用いたプレ探索処理部を追加で設ける必要があり、符号化部の演算量及び回路規模が増大する問題がある。

また、ARIBの規定における時間方向階層符号化における１２０／Ｐサブセットのように、前方向動き予測・後方向動き予測において参照距離が非対称性である場合、動きベクトルの精度においても非対称性が生じる。近方方向の参照における動き探索では、画面間の動きが小さいため動きベクトルが正しく求まりやすく予測誤差を抑えることができる。一方、遠方方向の参照における動き探索では、少ない動き探索点数で動きベクトルを正しく求めることができずに予測誤差が大きくなり、全体として符号量が増大する場合がある。

さらに、前述のように、周辺ブロックから算出した予測ベクトルを探索中心に設定する方法を適用するとしても、符号化対象ブロックが周辺ブロックとは大きく異なる動きをしている場合、周辺ブロックを用いた予測ベクトルの算出は難しく、特に画面間の動きの大きい遠方方向動き探索では適切な探索中心設定が困難である。また、大きな動きに対して望むべき予測ベクトルを得るには、そもそも周辺ブロックにおいて精確な動きベクトルが得られている必要があるため、あるブロックで精度の低い動きベクトルが決定されてしまうと、その後のブロックについても予測ベクトル算出における精度劣化につながり、特に少ない探索点数の場合は全体として大きく符号量が増大する可能性がある。

また、４Ｋ、８Ｋなどの高品質な映像をフレームレート１２０ｆｐｓでリアルタイムにエンコードでき、少ないハードウェア（少数のＦＰＧＡ）で予測処理を行える装置を実現するためには、符号化処理における機能を削減する必要がある。符号化処理における機能の削減として、例えば予測処理を削減する手法がある。しかし、符号化処理において予測処理を削減すると符号化効率が劣化して符号量が増大するという問題もある。

前述の事情に鑑み、本発明は、符号化対象画像が複数の参照画像をもち、かつ同一の符号化対象画像における複数の参照画像の参照距離が異なる時間方向階層符号化において、演算量を増大させずに符号化量を削減できる映像符号化装置、映像符号化方法及び映像符号化プログラムを提供することを目的とする。

本発明の一態様は、符号化対象画像に対して複数の参照画像があり、前記符号化対象画像に対する前記参照画像の時間方向の参照距離が異なる時間方向階層符号化により前記符号化対象画像を符号化する映像符号化装置であって、前記複数の参照画像のうち参照距離が最も遠い参照画像以外の参照画像を近方方向参照画像とし、前記複数の参照画像のうち前記近方方向参照画像より参照距離が遠い参照画像を遠方方向参照画像とし、前記近方方向参照画像を用いた前記符号化対象画像に対する動き予測結果と、前記近方方向参照画像の参照距離に対する前記遠方方向参照画像の参照距離の比に基づいて、前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測を行うときの前記遠方方向参照画像における探索中心を決定して動き予測を行い、前記近方方向参照画像を用いた前記符号化対象画像に対する動き予測結果と、前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測結果とに基づいて前記符号化対象画像を符号化する、映像符号化装置である。

また、本発明の一態様は、上記の映像符号化装置において、前記近方方向参照画像と前記符号化対象画像とを用いて前記符号化対象画像を分割した符号化ブロックごとに近方方向動きベクトル及び近方方向予測残差を算出する近方方向動き探索処理部と、前記近方方向動きベクトルと前記遠方方向参照画像と前記符号化対象画像とを用いて前記符号化ブロックごとに遠方方向動きベクトル及び遠方方向予測残差を算出する遠方方向動き探索処理部と、を備え、前記遠方方向動き探索処理部は、前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測を行う際に、動き予測の対象となる前記符号化ブロックに対して算出された前記近方方向動きベクトルと前記比とに基づいて前記探索中心を決定し、前記近方方向動き探索処理部と前記遠方方向動き探索処理部とは並行して前記符号化ブロックそれぞれの動き予測を行い、前記近方方向動き探索処理部と前記遠方方向動き探索処理部とが並行して動き予測を行う際、前記近方方向動き探索処理部が動き予測の対象とする前記符号化ブロックと、前記遠方方向動き探索処理部が動き予測の対象とする前記符号化ブロックとは異なる。

また、本発明の一態様は、上記の映像符号化装置において、前記遠方方向動き探索処理部が動き予測の対象とする前記符号化ブロックは、前記近方方向動き探索処理部による動き予測が完了した前記符号化ブロックである。

また、本発明の一態様は、上記の映像符号化装置において、前記遠方方向動き探索処理部は、前記符号化対象から前記遠方方向参照画像までの参照距離を前記符号化対象から前記近方方向参照画像までの参照距離で除算したときの商で前記近方方向動きベクトルを伸長して得られるベクトルを中心オフセット量として算出する遠方方向探索中心候補算出部と、前記符号化ブロックの座標位置から前記中心オフセット量ずらした位置を前記探索中心として算出する遠方方向探索中心決定部と、を備える。

また、本発明の一態様は、上記の映像符号化装置において、前記遠方方向探索中心決定部は、前記参照画像それぞれの参照距離が異なり、かつ前記中心オフセット量から算される第１のパラメータが第１の閾値より大きく、かつ前記探索中心を算出した際の前記符号化ブロックに対して算出された前記近方方向予測残差から算出される第２のパラメータが第２の閾値より小さい場合に、前記符号化ブロックの座標位置から前記中心オフセット量ずらした位置を前記探索中心として算出し、前記参照画像それぞれの参照距離が同じ、又は前記第１のパラメータが前記第１の閾値以下であり、又は前記第２のパラメータが前記第２の閾値以上である場合に、対象の前記符号化ブロックの近傍の位置を前記探索中心として算出し、前記第１のパラメータは、前記中心オフセット量における水平方向成分又は垂直方向成分に基づいた値であり前記第１の閾値は、前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測における探索範囲の水平方向距離又は垂直方向距離により定められ、前記第２のパラメータは、前記近方方向予測残差における各画素の誤差値の絶対値和である。

また、本発明の一態様は、上記の映像符号化装置において、前記遠方方向探索中心決定部は、前記中心オフセット量の水平方向成分と垂直方向成分とのうち絶対値が大きい値を前記第１のパラメータの値とする。

また、本発明の一態様は、上記の映像符号化装置において、前記遠方方向探索中心決定部は、前記中心オフセット量の水平方向成分と垂直方向成分との絶対値和を前記第１のパラメータの値とする。

また、本発明の一態様は、上記の映像符号化装置が行う映像符号化方法である。

また、本発明の一態様は、上記の映像符号化装置としてコンピュータを機能させるための映像符号化プログラムである。

本発明によれば、符号化対象画像が複数の参照画像をもち、かつ同一の符号化対象画像における複数の参照画像の参照距離が異なる時間方向階層符号化において、演算量を増大させずに符号化量を削減することが可能となる。

本実施形態における映像符号化装置の構成例を示すブロック図。 ARIBの規定における時間方向階層符号化の参照構造の一例を示す図。 インター予測処理部の構成例を示すブロック図。 リアルタイム映像符号化の動き探索における符号化ブロックの処理順序例を示す図。 遠方方向動き探索処理部の構成例を示すブロック図。 遠方方向探索中心候補算出部が算出する探索中心候補の位置の概要を示す図。 遠方方向探索中心決定部が行う探索中心を決定する処理の一例を示すフローチャート。

以下、図面を参照して、本発明の実施形態における映像符号化装置、映像符号化方法及び映像符号化プログラムを説明する。本明細書における「符号化ブロック」は、MPEG-2やH.264/AVC規格におけるマクロブロック、あるいはHEVC規格におけるコーディングユニット（ＣＵ）又はプレディクションユニット（ＰＵ）に相当する。

図１は、本実施形態における映像符号化装置１００の構成例を示すブロック図である。映像符号化装置１００は、イントラ予測処理部１０１と、インター予測処理部１０２と、予測残差信号生成部１０３と、変換・量子化処理部１０４と、エントロピー符号化処理部１０５と、逆量子化・逆変換処理部１０６と、復号信号生成部１０７と、ループフィルタ処理部１０８とを備える。映像符号化装置１００が備える構成のうち、インター予測処理部１０２が行う動作に特徴があり、従来の公知技術における動作と異なる。他の構成は、H.264/AVCやHEVCなどの規格に準拠した映像符号化装置における構成と同様である。

映像符号化装置１００は、符号化対象の原画像を表す映像信号を入力する。映像符号化装置１００は、入力する映像信号の原画像を符号化ブロックに分割し、符号化ブロックごとに符号化する。映像符号化装置１００は、符号化により得られるビットストリームを符号化ビットストリームとして出力する。この符号化を行うために、各構成は、以下のような動作を行う。

予測残差信号生成部１０３は、イントラ予測処理部１０１又はインター予測処理部から出力される予測信号と、原画像を示す映像信号との差分を算出し、算出した差分を予測残差信号として出力する。変換・量子化処理部１０４は、離散コサイン変換などの直交変換を予測残差信号に対して行う。変換・量子化処理部１０４は、直交変換により得られた変換係数を量子化し、量子化した変換係数を出力する。エントロピー符号化処理部１０５は、量子化された変換係数をエントロピー符号化し、得られたビットストリームを符号化ビットストリームとして出力する。

また、量子化された変換係数は、エントロピー符号化処理部１０５へ入力されるとともに、逆量子化・逆変換処理部１０６へも入力される。逆量子化・逆変換処理部１０６は、量子化された変換係数に対して逆量子化と逆直交変換とを行うことにより、予測残差復号信号を得る。逆量子化・逆変換処理部１０６は、予測残差復号信号を復号信号生成部１０７へ出力する。復号信号生成部１０７は、イントラ予測処理部１０１又はインター予測処理部から出力される予測信号と、予測残差復号信号とを加算して復号信号を生成する。復号信号は、符号化した画像を表す信号である。

復号信号は、インター予測処理部１０２において参照画像として用いるために、ループフィルタ処理部１０８へ入力される。ループフィルタ処理部１０８は、符号化歪みを低減するためのフィルタリング処理を、復号信号が示す画像に対して行う。ループフィルタ処理部１０８は、フィルタリング処理により得られる画像を参照画像としてインター予測処理部１０２へ出力する。また、復号信号は、イントラ予測処理部１０１にも入力される。イントラ予測処理部１０１は、復号信号により得られる画像を参照画像として符号化ブロックのイントラ予測画像を生成し、生成したイントラ予測画像を示す予測信号を出力する。

インター予測処理部１０２は、適切な動き探索位置を指定することにより、インター予測処理に要する演算量を増大させずに符号量を削減する。本実施形態では、インター予測処理部１０２が、ARIBの規定における時間方向階層符号化の規格に基づいた動作を行い、ハードウェア実装によりリアルタイム映像符号化を実行する構成について説明する。

図２は、ARIBの規定における時間方向階層符号化の参照構造の一例を示す図である。同図において、横軸は表示順番及びＰＯＣ（Picture Order Count）を示し、縦軸は各画像（ピクチャともいう）に割り当てられる階層を示す。図２に示す参照構造では、参照のパターンによって各画像が５つの階層に分類され、それぞれの階層にはTemporal ID（時間識別子）と呼ばれる値が割り振られている。Temporal ID=0,1,2,3に属する画像が６０／Ｐサブビットストリームであり、Temporal ID=4に属する画像が１２０／Ｐサブセットである。

Temporal ID=0の画像から次のTemporal ID=0の画像までの各画像をＧＯＰ（Group of Picture）という。図２に示す例は、ＧＯＰのサイズ（画像枚数）が１６である場合のARIBの規定の時間方向階層符号化における参照構造が示されている。また、ＧＯＰにおける画像の表示順番をＰＯＣ（Picture Oder Count）という。図２に示す例では、０から１６までが各画像に割り振られている。画像間における矢印は、符号化における参照画像を示す。矢印の先の画像は符号化対象の画像を示し、矢印の根元の画像は参照画像を示す。例えば、ＰＯＣ＃４が符号化対象の画像である場合、ＰＯＣ＃０の画像とＰＯＣ＃８の画像とが参照画像になる。ＰＯＣ＃１からＰＯＣ＃１５までの各画像には、表示順序において前方向の画像と後方向の画像と１つずつの合計２つの画像を用いる双方向動き探索が行われる。

ARIBの規定における時間方向階層符号化では、６０／Ｐサブビットストリームの各画像の動き予測に用いる前方向の参照画像と後方向の参照画像との参照距離が等しい。ここで、参照距離とは、符号化対象の画像から参照画像までの時間方向の距離である。一方、１２０／Ｐサブセットの各画像の動き予測に用いる前方向の参照画像と後方向の参照画像との参照距離は異なっており、前方向の動き予測と後方向の動き予測とに非対称性がある。１２０／Ｐサブセットの動き予測における参照画像の参照距離の非対称性により、遠方方向の動き探索における動きベクトルの精度が近方方向の動き探索における動きベクトルの精度よりも低くなる傾向にある。そのため、１２０／Ｐサブセットの各画像には、動き探索の精度においても非対称性が存在する。

さらに、双方向動き探索を有する参照関係においてリアルタイム映像符号化が行われる場合、符号化処理のリアルタイム性を高めるために、同一符号化対象ブロックにおける前方向動き探索と後方向動き探索とが、同時に並列して実行されることが多い。このため、１２０／Ｐサブセットのように参照距離で非対称性が存在する場合においても、近方方向動き探索と遠方方向動き探索とが等価に扱われ同一の処理として実行され、遠方方向動き探索における動き探索精度が低下しやすい。

以下に説明する本実施形態の映像符号化装置１００は、ARIBの規定における時間方向階層符号化の１２０／Ｐサブセットの各画像に対する動き探索のリアルタイム映像符号化を以下のように行う。映像符号化装置１００は、精度の高い近方方向の動き探索を精度の低い遠方方向の動き探索よりも１符号化ブロック分ずらして先に実行する。映像符号化装置１００は、遠方方向動き探索の探索中心の決定において近方方向動き探索の結果を利用し、遠方方向動き探索の探索精度を向上させることで符号量を低減する。映像符号化装置１００は、ＧＯＰ単位で処理を行う。

図３は、インター予測処理部１０２の構成例を示すブロック図である。インター予測処理部１０２は、近方方向動き探索処理部３０１と、遠方方向動き探索処理部３０２と、双方向動き探索処理部３０３とを備える。インター予測処理部１０２は、原画像を示す映像信号と、ループフィルタ処理部１０８から出力される参照画像とを入力する。インター予測処理部１０２は、符号化ブロックごとに原画像と参照画像との間で動き予測を行うことにより、予測残差信号と動きベクトルとを算出する。前方向の参照画像と後方向の参照画像とが１つずつの合計２つの参照画像がある場合において、原画像と参照画像との時間的距離である参照距離が近い参照画像を用いた動き探索を、近方方向動き探索とする。また、原画像と参照画像との参照距離が遠い参照画像を用いた動き探索を、遠方方向動き探索とする。インター予測処理部１０２は、近方方向動き探索を遠方方向動き探索よりも先に実行する。また、参照距離が近い参照画像を近方方向参照画像といい、参照距離が遠い参照画像を遠方方向参照画像という。

図４は、リアルタイム映像符号化の動き探索における符号化ブロックの処理順序例を示す図である。図４（Ａ）は、公知の技術による通常のリアルタイム映像符号化の動き探索における処理順序を示す。リアルタイム映像符号化では、１つの符号化ブロックに対して近方方向と遠方方向との両方の動き探索が同一時刻に行われ、各符号化ブロックに対する近方方向と遠方方向との動き探索が順番に行われる。各符号化ブロックに対する両方の動き探索が前述のように行われることにより、符号化処理のリアルタイム性が高められている。一方で、１２０／Ｐサブセットの各画像のように近方方向と遠方方向との参照距離が異なり、非対称性が存在する場合でも、各符号化ブロックに対する両方の動き探索が同時に行われるため、近方方向と遠方方向との動き探索のうち一方の動き探索の探索結果を他方の動き探索に利用することはできない。

これに対して、本実施形態の映像符号化装置１００は、図４（Ｂ）に示すように、近方方向動き探索を同一符号化ブロックに対する遠方方向動き探索よりも１符号化ブロック分の処理時間だけずらして先に実行して完了させる。さらに、映像符号化装置１００は、ある符号化ブロックに対する近方方向動き探索と当該符号化ブロックよりも１つ前の符号化ブロックに対する遠方方向動き探索とを同一時刻に並行して行う。この処理により、近方方向動き探索の結果が同一符号化ブロックに対する遠方方向動き探索に利用でき、遠方方向動き探索の予測精度の向上が見込める。

さらに、符号化ブロックが処理される時刻は１符号化ブロックの処理時間分ずれるだけであり、画像単位で近方方向動き探索と遠方方向動き探索との処理時刻をずらす場合などと比べ、各符号化ブロックの符号化モードは早期に確定される。したがって、遠方方向動き探索の処理が、近方方向動き探索の処理に対して１符号化ブロック分遅れたとしても、映像符号化のリアルタイム性は損なわれない。ここでは、１符号化ブロックの処理時間分ずらす場合を説明したが、リアルタイム性が損なわれない範囲においてずらす符号化ブロック数を増やしてもよい。

図３に戻り、インター予測処理部１０２の構成の説明を続ける。近方方向動き探索処理部３０１は、ループフィルタ処理部１０８から出力される１ＧＯＰ分の参照画像と、原画像とを入力する。近方方向動き探索処理部３０１は、原画像と近方方向の参照画像とを用いた近方方向動き探索を実行し、近方方向予測残差信号と近方方向動きベクトルとを算出する。近方方向の参照画像は、原画像に対するＰＯＣが定まることにより一意に特定される。近方方向動き探索処理部３０１が行う近方方向動き探索は、公知の技術による動き探索と同じ探索である。

遠方方向動き探索処理部３０２は、近方方向動き探索処理部３０１による近方方向動き探索の結果と、ループフィルタ処理部１０８から出力される１ＧＯＰ分の参照画像と、原画像とを入力する。近方方向動き探索処理部３０１による近方方向動き探索の結果とは、近方方向予測残差信号及び近方方向動きベクトルである。遠方方向動き探索処理部３０２は、近方方向動き探索の結果を利用した遠方方向動き探索を実行し、遠方方向予測残差信号と遠方方向動きベクトルとを算出する。

双方向動き探索処理部３０３は、近方方向動き探索処理部３０１による近方方向動き探索の結果と、遠方方向動き探索処理部３０２による遠方方向動き探索の結果と、ループフィルタ処理部１０８から出力される１ＧＯＰ分の参照画像と、原画像とを入力する。双方向動き探索処理部３０３は、近方方向動き探索及び遠方方向動き探索それぞれの結果と参照画像と原画像とを用いた双方向動き探索を実行することで、予測残差信号及び動きベクトルを算出する。双方向動き探索処理部３０３が行う双方向動き探索は、公知の技術による双方向動き探索と同じ探索である。

図５は、遠方方向動き探索処理部３０２の構成例を示すブロック図である。遠方方向動き探索処理部３０２は、遠方方向探索中心候補算出部４０１と、遠方方向探索中心決定部４０２と、遠方方向動き探索実処理部４０３とを備える。遠方方向探索中心候補算出部４０１は、近方方向動き探索処理部３０１により算出された近方方向動きベクトルに基づいて、遠方方向動き探索における探索中心候補の位置を算出する。

遠方方向探索中心決定部４０２は、遠方方向探索中心候補算出部４０１により算出される探索中心候補の位置と、近方方向動き探索処理部３０１により算出された近方方向予測残差信号とを入力する。遠方方向探索中心決定部４０２は、探索中心候補の位置と近方方向予測残差信号とに基づいて、探索中心候補の位置を探索中心に採用するか否かを判定し、判定結果を出力する。遠方方向探索中心決定部４０２は、探索中心候補の位置を探索中心に採用する場合に探索中心候補の位置を探索中心として出力し、探索中心候補の位置を探索中心に採用しない場合に探索中心を変更しない指示を出力する。

遠方方向動き探索実処理部４０３は、遠方方向探索中心決定部４０２による判定結果と、ループフィルタ処理部１０８から出力される１ＧＯＰ分の参照画像と、原画像とを入力する。遠方方向動き探索実処理部４０３は、遠方方向探索中心決定部４０２による判定結果に基づいて原画像と参照画像とを用いた遠方方向動き探索を実行することにより、遠方方向予測残差信号と遠方方向動きベクトルとを算出する。このとき、遠方方向動き探索実処理部４０３は、遠方方向動き探索を実行する際に、遠方方向探索中心決定部４０２による判定結果に基づいた探索中心を用いる。

具体的には、遠方方向探索中心決定部４０２から探索中心が出力される場合、遠方方向動き探索実処理部４０３は、当該探索中心により定まる範囲に対する動き探索を行う。一方、遠方方向探索中心決定部４０２から探索中心を変更しない指示が出力される場合、遠方方向動き探索実処理部４０３は、対象とする符号化ブロックの近傍を探索中心とした動き探索、又は対象とする符号化ブロックの近傍の符号化ブロックにおける動きベクトルで定まる領域を探索中心とした動き探索を行う。すなわち、探索中心が変更されない場合、遠方方向動き探索実処理部４０３は、原画像及び参照画像などを用いる公知の技術による動き探索を行う。

図６は、遠方方向探索中心候補算出部４０１が算出する探索中心候補の位置の概要を示す図である。図６では、符号化対象画像のＰＯＣ（表示順番）をＡとし、ＰＯＣ Ａの画像に対する２枚の参照画像である近方方向及び遠方方向の参照画像のＰＯＣをそれぞれＢ、Ｃとしている。原画像と各参照画像との参照距離の関係性より、
｜Ａ−Ｂ｜≦｜Ａ−Ｃ｜
が満たされる。

ＰＯＣ Ａの符号化対象画像内の符号化ブロックに対して近方方向動き探索処理部３０１により算出された近方方向動きベクトルをＭＶ_Ａ→Ｂとする。このとき、遠方方向探索中心候補算出部４０１は、近方方向動きベクトルＭＶ_Ａ→Ｂを用いて中心オフセット量を算出する。中心オフセット量は、同じ符号化ブロックに対する遠方方向動き探索における探索中心の候補を算出する際に用いられる。具体的には、遠方方向探索中心候補算出部４０１は、近方方向動きベクトルＭＶ_Ａ→Ｂを参照距離の比に応じて逆向きに伸長したベクトルを、中心オフセット量とする。中心オフセット量は、
（（Ａ−Ｃ）／（Ａ−Ｂ））・ＭＶ_Ａ→Ｂ
で表される。

遠方方向探索中心候補算出部４０１は、ＰＯＣ Ａの符号化対象画像内の符号化ブロックの座標位置から中心オフセット量の分だけずらした位置を、当該符号化ブロックに対する遠方方向動き探索における探索中心候補の位置とする。探索中心候補は近方方向動きベクトルを参照距離の比に応じて線形に伸張して定められるため、原画像と参照画像との間における動きに時間的な線形性がある場合に、遠方方向予測残差を小さく抑える効果が見込まれる。

図７は、遠方方向探索中心決定部４０２が行う探索中心を決定する処理の一例を示すフローチャートである。遠方方向探索中心決定部４０２は、処理を開始すると、符号化対象の画像が１２０／Ｐサブセットに含まれる画像であるか否かを判定する（ステップＳ１０１）。符号化対象の画像が１２０／Ｐサブセットに含まれる画像でない場合、すなわち符号化対象の画像が６０／Ｐサブビットストリームに含まれる画像である場合（ステップＳ１０１：ＮＯ）、遠方方向探索中心決定部４０２は、処理をステップＳ１０７へ進める。

符号化対象の画像が１２０／Ｐサブセットに含まれる画像である場合（ステップＳ１０１：ＹＥＳ）、遠方方向探索中心決定部４０２は、遠方方向探索中心候補算出部４０１により算出された中心オフセット量のノルムＮを算出する（ステップＳ１０２）。ノルムＮには、例えば中心オフセット量（（Ａ−Ｃ）／（Ａ−Ｂ））・ＭＶ_Ａ→ＢのＸ方向（水平方向）成分の絶対値とＹ方向（垂直方向）成分の絶対値とのうち、大きい値が用いられる。また、中心オフセット量のＸ方向成分とＹ方向成分との二乗和、又は、中心オフセット量のＸ方向成分とＹ方向成分との絶対値和のいずれかをノルムＮとしてもよい。

遠方方向探索中心決定部４０２は、算出したノルムＮが閾値λ_１より大きいか否かを判定する（ステップＳ１０３）。閾値λ_１には、例えば遠方方向動き探索における探索範囲の水平方向距離もしくは垂直方向距離を用いてもよいし、複数の映像に対して符号化を行った結果から得られた、遠方方向動き探索における探索中心候補の位置の精度に基づいて定めた値を用いてもよい。探索範囲は、例えば予め定められた大きさであってもよいし、中心オフセット量に応じて定められる大きさであってもよい。ノルムＮが閾値λ_１以下である場合（ステップＳ１０３：ＮＯ）、遠方方向探索中心決定部４０２は、処理をステップＳ１０７へ進める。

ノルムＮが閾値λ_１より大きい場合（ステップＳ１０３：ＹＥＳ）、遠方方向探索中心決定部４０２は、近方方向動き探索処理部３０１により算出された近方方向予測残差信号からコストＹを算出する（ステップＳ１０４）。コストＹとして、例えば近方方向予測残差信号が示す各画素値の絶対値和を用いることにより、符号化ブロックの近方方向の原画像と参照画像とのＳＡＤ（差分絶対値）が用いられる。他にも近方方向予測残差信号の二乗和を、コストＹとしてもよい。

遠方方向探索中心決定部４０２は、算出したコストＹが閾値λ_２より小さいか否かを判定する（ステップＳ１０５）。閾値λ_２には、例えば近方方向の動き予測の精度が遠方方向の動き予測に用いたときに一定の精度を得ることができるか否かに基づいて予め定められた値が用いられる。コストＹが閾値λ_２以上である場合（ステップＳ１０５：ＮＯ）、遠方方向探索中心決定部４０２は、処理をステップＳ１０７へ進める。

コストＹが閾値λ_２より小さい場合（ステップＳ１０５：ＹＥＳ）、遠方方向探索中心決定部４０２は、遠方方向探索中心候補算出部４０１により算出された探索中心候補を、遠方方向動き探索における探索中心の位置にする変更を行うことを決定し（ステップＳ１０６）、処理を終了する。

ステップＳ１０７において、遠方方向探索中心決定部４０２は、遠方方向動き探索における探索中心の位置を変更しないこと、すなわち通常通りの探索中心のままで遠方方向動き探索を行うことを決定し（ステップＳ１０７）、処理を終了する。ここで、通常通りの探索中心とは、対象の符号化ブロックの近傍を探索の中心とすること、又は対象の符号化ブロック近傍の符号化ブロックの動きベクトルで定まる領域を探索の中心とすることである。通常通りの探索中心を用いた動き探索は、公知の技術に基づいた動き探索である。

遠方方向探索中心決定部４０２は、探索中心を探索中心候補に変更すると決定した場合、探索中心として探索中心候補を遠方方向動き探索実処理部４０３へ出力する。遠方方向探索中心決定部４０２は、探索中心を変更しないと決定した場合、探索中心を変更しない指示を遠方方向動き探索実処理部４０３へ出力する。

なお、遠方方向探索中心決定部４０２は、探索中心を変更しないと決定した場合、処理対象の符号化ブロックの座標などの情報を取得し、取得した情報から算出した通常通りの探索中心を遠方方向動き探索実処理部４０３へ出力してもよい。この場合、遠方方向動き探索実処理部４０３は、遠方方向探索中心決定部４０２の出力に応じて動作を変更せずに、遠方方向探索中心決定部４０２から出力される探索中心を用いて動き探索をする。

ステップＳ１０３において、遠方方向探索中心決定部４０２がノルムＮと閾値λ_１とを比較し、比較結果に応じて動作を切り替えることにより、以下の効果が見込める。中心オフセット量が小さい場合には通常通りの探索中心を用いた動き探索が行われ、中心オフセット量が通常の探索範囲内を超える場合には遠方方向動き探索の探索中心の位置を探索中心候補に変更することにより、遠方方向予測残差を小さく抑える効果が見込める。ここで、中心オフセット量が通常の探索範囲内を超える場合とは、近方方向の動きが大きい場合、遠方方向の参照距離が大きい場合、又は、遠方方向動き探索範囲が狭い場合などである。

また、ステップＳ１０５において、遠方方向探索中心決定部４０２がコストＹと閾値λ_２とを比較し、比較結果に応じて動作を切り替えることにより、以下の効果が見込める。近方方向の予測残差が大きく近方方向動きベクトルの予測精度が低い場合には通常通りの探索中心を用いた動き探索が行われ、近方方向の予測残差が小さく近方方向動きベクトルの予測精度が高い場合には探索中心を更新した動き探索が行われることにより、遠方方向予測残差を小さく抑える効果が見込める。

本実施形態では、ARIBの規定における時間方向階層符号化の１２０／Ｐサブセットを用いる構成を説明した。しかし、符号化対象画像が複数の参照画像をもち、かつ符号化対象画像に対する複数の参照画像の参照距離が異なる場合には、遠方方向動き探索処理部３０２が行う遠方方向動き探索における探索中心を決定する手法を適用できる。この場合、ステップＳ１０１における判定は、符号化対象画像における複数の参照画像の参照距離が異なるか否かの判定に置き換えられる。

なお、同一の符号化対象画像がもつ参照画像の枚数は３枚以上であってもよい。また、各参照画像の参照距離が異なっていれば、近方方向と遠方方向とが符号化対象画像に対して時間的に同じ方向（前方向又は後方向のいずれか）であってもよい。参照画像が３枚以上ある場合において複数の参照画像から２つの参照画像を選択したときに、参照距離が近い参照画像を近方方向参照画像とし、符号化対象画像に参照距離が遠い参照画像を遠方方向参照画像とする。すなわち、参照画像それぞれの参照距離に基づいて近方方向参照画像と遠方方向参照画像とが定まる。ただし、複数の参照画像のうち参照距離が最も近い参照画像は常に近方方向参照画像であり、最も遠い参照画像は常に遠方方向参照画像である。

本実施形態の映像符号化装置１００によれば、ARIBの規定における時間方向階層符号化のような、符号化対象画像が複数の参照画像をもち、かつ同一の符号化対象画像における複数の参照画像の参照距離が異なる映像符号化方式において、符号化ブロックの近方方向動き探索の結果に基づいて当該符号化ブロックの遠方方動き探索における探索位置を決定することにより、演算量を増大させずに遠方方向予測残差を抑えることができ、符号化量を削減できる。

また、動き探索が行われる対象の符号化ブロックの周辺ブロックがもつ動きベクトル値を基に、符号化ブロックにおける動きベクトルの予測値を算出し、算出された予測値を中心とした範囲内を探索する従来方式と比較すると、映像符号化装置１００は近方方向の動きベクトル遠方方向の動きベクトルとがもつ相関性に基づいて遠方方向動き探索の探索中心を得られる利点を有する。

さらには、過去に符号化済みの同位置に存在する符号化ブロックの動きベクトルを基に、画像間の距離の比率に相当する値を乗じて使用する方法、いわゆるテンポラル動きベクトル予測手法を用いる場合、過去に符号化した画像の動きベクトルをすべて保持する必要がある。これに対して、映像符号化装置１００は、近方方向動き探索の結果と遠方方向動き探索の結果とを符号化ブロックに対する処理を行っている期間で保持すればよく、画像全体にわたって動きベクトルを保持し続ける必要がなく、記憶領域を削減して回路規模を小さくすることができる。

本実施形態の映像符号化装置１００は、遠方方向動き探索の探索中心の決定において近方方向動き探索の結果を利用し、遠方方向動き探索の探索精度を向上させることができるので、符号化処理における事前動き探索を行わずとも、動きベクトルを精度よく算出でき、符号量の増加を抑えることができる。また、映像符号化装置１００は、符号化処理における事前動き探索を行わないことにより、回路規模を小さくすることができる。

前述した実施形態における映像符号化装置１００のすべて又は一部をコンピュータで実現するようにしてもよい。例えば、映像符号化装置１００が有する構成要素それぞれを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また、このプログラムは、前述した構成要素の一部を実現するためのものであってもよく、さらに前述した構成要素をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

符号化対象画像が複数の参照画像をもち、かつ同一の符号化対象画像における複数の参照画像の参照距離が異なる時間方向階層符号化において、演算量を増大させずに符号化量を削減することが不可欠な用途にも適用できる。

１００…映像符号化装置、１０１…イントラ予測処理部、１０２…インター予測処理部、１０３…予測残差信号生成部、１０４…変換・量子化処理部、１０５…エントロピー符号化処理部、１０６…逆量子化・逆変換処理部、１０７…復号信号生成部、１０８…ループフィルタ処理部、３０１…近方方向動き探索処理部、３０２…遠方方向動き探索処理部、３０３…双方向動き探索処理部、４０１…遠方方向探索中心候補算出部、４０２…遠方方向探索中心決定部、４０３…遠方方向動き探索実処理部

Claims (9)

1. 符号化対象画像に対して複数の参照画像があり、前記符号化対象画像に対する前記参照画像の時間方向の参照距離が異なる前記符号化対象画像を符号化する映像符号化装置であって、
   前記複数の参照画像のうち参照距離が最も遠い参照画像以外の参照画像を近方方向参照画像とし、前記複数の参照画像のうち前記近方方向参照画像より参照距離が遠い参照画像を遠方方向参照画像とし、
   前記近方方向参照画像を用いた前記符号化対象画像に対する動き予測結果と、前記近方方向参照画像の参照距離に対する前記遠方方向参照画像の参照距離の比に基づいて、前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測を行うときの前記遠方方向参照画像における探索中心を決定して動き予測を行い、
   前記近方方向参照画像を用いた前記符号化対象画像に対する動き予測結果と、前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測結果とに基づいて前記符号化対象画像を符号化する、
   映像符号化装置。
2. 前記近方方向参照画像と前記符号化対象画像とを用いて前記符号化対象画像を分割した符号化ブロックごとに近方方向動きベクトル及び近方方向予測残差を算出する近方方向動き探索処理部と、
   前記近方方向動きベクトルと前記遠方方向参照画像と前記符号化対象画像とを用いて前記符号化ブロックごとに遠方方向動きベクトル及び遠方方向予測残差を算出する遠方方向動き探索処理部と、
   を備え、
   前記遠方方向動き探索処理部は、
   前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測を行う際に、動き予測の対象となる前記符号化ブロックに対して算出された前記近方方向動きベクトルと前記比とに基づいて前記探索中心を決定し、
   前記近方方向動き探索処理部と前記遠方方向動き探索処理部とは並行して前記符号化ブロックそれぞれの動き予測を行い、
   前記近方方向動き探索処理部と前記遠方方向動き探索処理部とが並行して動き予測を行う際、前記近方方向動き探索処理部が動き予測の対象とする前記符号化ブロックと、前記遠方方向動き探索処理部が動き予測の対象とする前記符号化ブロックとは異なる、
   請求項１に記載の映像符号化装置。
3. 前記遠方方向動き探索処理部が動き予測の対象とする前記符号化ブロックは、前記近方方向動き探索処理部による動き予測が完了した前記符号化ブロックである、
   請求項２に記載の映像符号化装置。
4. 前記遠方方向動き探索処理部は、
   前記符号化対象画像から前記遠方方向参照画像までの参照距離を前記符号化対象画像から前記近方方向参照画像までの参照距離で除算したときの商で前記近方方向動きベクトルを伸長して得られるベクトルを中心オフセット量として算出する遠方方向探索中心候補算出部と、
   前記符号化ブロックの座標位置から前記中心オフセット量ずらした位置を前記探索中心として算出する遠方方向探索中心決定部と、
   を備える、
   請求項２又は請求項３に記載の映像符号化装置。
5. 前記遠方方向探索中心決定部は、
   前記参照画像それぞれの参照距離が異なり、かつ前記中心オフセット量から算される第１のパラメータが第１の閾値より大きく、かつ前記探索中心を算出した際の前記符号化ブロックに対して算出された前記近方方向予測残差から算出される第２のパラメータが第２の閾値より小さい場合に、前記符号化ブロックの座標位置から前記中心オフセット量ずらした位置を前記探索中心として算出し、
   前記参照画像それぞれの参照距離が同じ、又は前記第１のパラメータが前記第１の閾値以下であり、又は前記第２のパラメータが前記第２の閾値以上である場合に、対象の前記符号化ブロックの近傍の位置を前記探索中心として算出し、
   前記第１のパラメータは、
   前記中心オフセット量における水平方向成分又は垂直方向成分に基づいた値であり
   前記第１の閾値は、
   前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測における探索範囲の水平方向距離又は垂直方向距離により定められ、
   前記第２のパラメータは、
   前記近方方向予測残差における各画素の誤差値の絶対値和である、
   請求項４に記載の映像符号化装置。
6. 前記遠方方向探索中心決定部は、
   前記中心オフセット量の水平方向成分と垂直方向成分とのうち絶対値が大きい値を前記第１のパラメータの値とする、
   請求項５に記載の映像符号化装置。
7. 前記遠方方向探索中心決定部は、
   前記中心オフセット量の水平方向成分と垂直方向成分との絶対値和を前記第１のパラメータの値とする、
   請求項５に記載の映像符号化装置。
8. 請求項１から請求項７のいずれか一項に記載の映像符号化装置が行う映像符号化方法。
9. 請求項１から請求項７のいずれか一項に記載の映像符号化装置としてコンピュータを機能させるための映像符号化プログラム。

Images