JP2013183345A - 映像符号化装置及び映像符号化方法 - Google Patents

Abstract

【課題】映像信号の符号化処理における予測方法決定処理における演算量を削減できるようにする。
【解決手段】符号化対象ブロックに対して画面間予測により予測画像を生成し、予測画像と符号化対象ブロックのコスト値を、コスト関数を用いて求める画面間予測手段と、テンプレートマッチング予測と、前記テンプレートマッチング予測以外の一つ以上の方法による画面内予測とを行う画面内予測手段と、前記テンプレートマッチング予測と他の方法による画面内予測との結果を比較して予測方法を選択する予測方法選択手段とを設け、前記テンプレートマッチング予測による差分絶対値和、および前記他の方法による画面内予測によるコスト値と、前記画面間予測手段から得られる画面間予測によるコスト値とから予測方法を決定する。
【選択図】図１

Description

本発明は、映像符号化装置及び映像符号化方法に関し、特に、テンプレートマッチング予測と他の予測モードとの結果を比較して最適な予測方法を選択するために用いて好適な技術に関する。

近年、映像信号の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ｐａｒｔ１０（以下、Ｈ．２６４と称す）が普及している。Ｈ．２６４では、画面内の相関性を利用して、同一画面内の隣接ブロックの画素値から、符号化対象ブロックの画素値を予測する画面内予測が採用されている。Ｈ．２６４では、符号化対象ブロックに隣接する符号化済みの隣接ブロックの画素値を用いて、複数の方向から予測する複数のモード（画面内予測モード）を有し、その中から最適な画面内予測モードを選択する。

画面内予測方法として、Ｈ．２６４の規格で定められた符号化対象ブロックの隣接画素を用いる予測方式以外にも、同一画面内の符号化済み領域に対するパターンマッチングにより、相関性の高い領域を探索して予測画像を生成する画面内予測方法が知られている。例えば、特許文献１に記載の画像符号化装置にて開示されているテンプレートマッチング予測が知られている。

テンプレートマッチング予測について図５を用いて説明する。
図５において、ＣはＸ１×Ｙ１画素からなる符号化対象ブロックである。符号化対象ブロックＣ内の符号化対象画素Ａと、Ｘ２×Ｙ２画素からなる領域のうち、すでに符号化済みの画素のみで構成される所定の探索範囲Ｓを示す。符号化対象画素Ａには、すでに符号化済みの画素で構成されるテンプレート領域Ｂが隣接する。探索領域Ｓ内において、テンプレート領域Ｂとの相関性の最も高い領域Ｂ'を探索する。探索されたＢ'領域に対応する画素Ａ'を、画素Ａに対応する予測画素とする。テンプレートマッチング予測では、上記処理を符号化対象ブロック内の画素毎に順次処理することで、符号化対象ブロックの予測画像を生成する画面内予測方法である。

特開２０１０−１６４５４号公報

従来技術に比べて、テンプレートマッチングは予測精度が高いので、更なる画質の向上の観点で重要な技術と考えられる。しかしながら、前述したテンプレートマッチング予測では、画素毎にパターンマッチング処理が発生するために、Ｈ．２６４で採用されている符号化対象ブロックの隣接画素を用いる従来の画面内予測に比べて演算量が増大する。

さらに、複数の予測方法の中から適切な予測方法を選択する映像符号化装置では、上記テンプレートマッチング予測だけでなく、例えばＨ．２６４で採用されている従来の画面内予測に演算も必要となる。さらには、映像信号の時間的な冗長性を利用した画面間予測などの予測方法に掛かる演算も必要となる。また、これら複数の予測方法の中から、最も好適な予測方法を選択するための演算も必要となり、予測方法の決定に掛かる全体の演算量が増大するという新たな課題が生じる。

例えば、映像符号化装置を有するデジタルビデオカメラなどの撮像装置では、符号化処理における予測方法決定に掛かる演算量が莫大に増加する。これにより、映像信号の符号化処理に掛かる処理時間の増大につながるので、映像符号化装置に入力される映像信号をリアルタイムに符号化処理することができない場合が生じる恐れがある。
本発明は前述の問題点に鑑み、映像信号の符号化処理における予測方法決定処理における演算量を削減できるようにすることを目的とする。

本発明の映像符号化装置は、符号化対象ブロックに対して画面間予測により予測画像を生成し、予測画像と符号化対象ブロックのコスト値を、コスト関数を用いて求める画面間予測手段と、前記符号化対象ブロックの符号化対象画素と、前記符号化対象画素に隣接する符号化済みの隣接画素で構成されるテンプレート領域との相関が最も高い領域を、探索領域内から検出して予測画像を生成するテンプレートマッチング予測と、前記テンプレートマッチング予測以外の一つ以上の方法による画面内予測とを行う画面内予測手段と、前記テンプレートマッチング予測と他の方法による画面内予測との結果を比較して予測方法を選択する予測方法選択手段とを有し、前記予測方法選択手段は、前記画面内予測手段から得られるテンプレートマッチング予測による差分絶対値和、および前記他の方法による画面内予測によるコスト値と、前記画面間予測手段から得られる画面間予測によるコスト値とから予測方法を決定することを特徴とする。

本発明によれば、複数の予測方法の中から好適な予測方法を選択するための予測方法の決定に掛かる演算量を削減することができる。

第１の実施形態を示し、映像符号化装置の構成例を示すブロック図である。 テンプレートマッチング予測方法の説明図である。 第２の実施形態を示し、映像符号化装置の構成例を示すブロック図である。 予測方法選択に関わる処理手順を説明するフローチャートである。 テンプレートマッチング予測方法の説明図である。

以下に、本発明の好ましい実施形態を、図面を用いて説明する。
「第１の実施形態」
図１は、本発明の実施形態を示し、映像符号化装置の構成例を示すブロック図である。
映像信号入力部１０１は撮像部や外部映像取得部等から成り、映像信号を入力して、メモリ１０２へ格納する。差分計算部１０３は、メモリ１０２内の符号化対象となる画像と、予測画像生成部１１７で生成された予測画像との差分値を求め、求めた差分値を直交変換部１０４へ送る。予測画像生成部１１７についての詳細説明は後述する。

直交変換部１０４において、差分計算部１０３より送られる差分値に対して直交変換を行い、さらに量子化部１０５では、所定の量子化パラメータで量子化したデータを、エントロピー符号化部１０６および逆量子化部１０７へ送る。エントロピー符号化部１０６では、量子化部１０５から送られた量子化済みのデータをＣＡＢＡＣやＣＡＶＬＣなどのエントロピー符号化方式にて符号化し、符号化データを出力する。

逆量子化部１０７は、量子化部１０５から送られた量子化済みのデータを逆量子化し、さらに逆直交変換部１０８にて逆直交変換される。逆直交変換部１０８から出力された差分値と予測画像生成部１１７で生成された予測画像を、加算器１０９で加算した画像データをメモリ１１０へ送る。また、フィルタ処理部１１１でフィルタ処理済みのデータをメモリ１１２へ送る。メモリ１０２、メモリ１１０、メモリ１１２内のデータは予測方法決定部１１３に送られる。

予測方法決定部１１３では、メモリ１０２、メモリ１１０、メモリ１１２のデータより予測方法を決定し、予測方法情報を、予測画像生成部１１７へ送る。予測画像生成部１１７では、予測方法決定部１１３で決められた予測方法に基づき予測画像を生成し、差分計算部１０３へ予測画像データを送る。

次に、予測方法決定部１１３の処理について詳細に説明する。
予測方法決定部１１３は、画面間予測部１１４、画面内予測部１１５、予測方法選択部１１６から構成される。本実施形態の映像符号化装置では、画面内予測部１１５にて、テンプレートマッチング予測と、テンプレートマッチング予測以外の一つ以上の方法による画面内予測として画面内予測方法１と画面内予測方法２を行う。本実施形態では、他の方法として画面内予測方法１と画面内予測方法２の２つの例で説明するが、画面内予測方法１又は画面内予測方法２の何れか一つであっても良いし、更に別の方法を加えて３つ以上の他の方法を行っても良い。

次に、予測方法決定部１１３で行なわれる本実施形態のテンプレートマッチング予測について、図２を用いて説明する。
図２において、４×４画素からなる符号化対象ブロックＥの符号化対象画素Ａと、６×６画素の領域のうち、すでに符号化済みの画素のみで構成される探索領域Ｓを示す。符号化対象画素Ａには、すでに符号化済みの隣接画素Ｂ０、Ｂ１、Ｂ２で構成されるテンプレート領域が隣接する。このテンプレート領域との相関が最も高い領域を、探索領域内（探索領域Ｓの内部）から検出する。このテンプレート領域との相関については、下記（１）式で示すＳＡＤ（Ｓｕｍ ｏｆ Ａｂｕｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用い、ＳＡＤ（差分絶対値和）の値が小さいものを相関が高いと判断する。

ＳＡＤ＝|(Ｄ０−Ｂ０)|＋|(Ｄ１−Ｂ１)|＋|(Ｄ２−Ｂ２)|・・・式（１）
式（１）では、符号化対象画素Ａのテンプレート領域と符号化済みの画素であるＤ０、Ｄ１、Ｄ２との差分を求める場合の式である。

探索領域Ｓ全体を探索し、ＳＡＤが最も小さくなる画素がＲ０、Ｒ１、Ｒ２である場合、対応する画素Ｒを符号化対象画素Ａの予測画素とする。同様に符号化対象ブロック内の画素Ａ１〜Ａ１５についても同様のパターンマッチング処理を行い、各画素のＳＡＤが最小となる領域に対するＳＡＤを求めることで予測画素を探索し、符号化対象ブロックに対する予測画像を生成する。ここで、符号化対象画像と、生成した予測画像との差分を求めることなく、前述した予測画像生成の演算途中に求める各画素の最小ＳＡＤを、図１で示した予測方法選択部１１６へ送る。

更に、テンプレートマッチング予測以外の画面内予測方法として、画面内予測方法１により生成した予測画像と符号化対象ブロックのコスト値、及び画面内予測方法２により生成した予測画像と符号化対象ブロックのコスト値についても予測方法選択部１１６へ送る。ここで、コスト値とは、発生符号量を推定するための評価値であって、一般的にコスト関数より求める。本実施形態の映像符号化装置におけるコスト関数は前述したＳＡＤを用いる。

次に、図１の画面間予測部１１４では、符号化対象ブロックに対して画面間予測により予測画像を生成し、予測画像と符号化対象ブロックのコスト値を、コスト関数を用いて求めて、予測方法選択部１１６へ送る。

本実施形態の映像符号化装置では、コスト関数としてＳＡＤを用いるが、例えばＳＡＴＤ（Ｓｕｍ ｏｆ Ａｂｕｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍ Ｄｉｆｆｅｒｅｎｃｅ）等、他の式から求めてもよく、その形式は問わないものとする。

次に、図１の予測方法選択部１１６について説明する。
予測方法選択部１１６では、テンプレートマッチング予測と他の予測モードとの結果を比較して最適な予測方法を選択する。すなわち、画面内予測部１１５から得るテンプレートマッチング予測によるＳＡＤ、および画面内予測方法１によるコスト値、および画面内予測方法２によるコスト値と、画面間予測部１１４から得る画面間予測によるコスト値から最小となる予測モード情報を、予測画像生成部１１７へ送る。これにより、予測モード選択処理における演算量を削減することができる。

本実施形態では、テンプレートマッチング予測における符号化対象ブロックを４×４画素としているが、サイズは問わないものとする。また、探索領域についても６×６画素としているが、こちらも同様にサイズは問わないものとする。

「第２の実施形態」
次に、本発明の第２の実施形態を説明する。
図３は、本実施形態の映像符号化装置の構成例を示すブロック図である。図３において、映像信号入力部１０１からメモリ１１２は、図１で説明した映像信号入力部１０１からメモリ１１２と同等であるため同一符号を付して説明を省略する。
以下に、予測方法決定部３１３の処理について詳細に説明する。
予測方法決定部３１３は、画面間予測部３１４、画面内予測部３１５、予測方法選択部３１６、閾値判定部３１８から構成される。

画面内予測部３１５にて、テンプレートマッチング予測と、テンプレートマッチング予測以外の画面内予測として画面内予測方法１と画面内予測方法２を行う。
以下、本実施形態の映像符号化装置のテンプレートマッチング予測について、第１の実施形態で説明した内容との差分のみ説明する。
第１の実施形態で説明したように、図２に示す符号化対象画素Ａのテンプレート領域と、符号化済みの画素であるＤ０、Ｄ１、Ｄ２との差分を求める。探索領域Ｓ内を順次探索し、前述した式（１）で示すＳＡＤが最も小さくなる画素Ｒ０、Ｒ１、Ｒ２を求める。

ここで、図３の画面内予測部３１５および閾値判定部３１８の処理を、図４のフローチャートを用いて説明する。
図３の画面内予測部３１５において、Ｓ４０１に示すように符号化対象画素のテンプレート領域に対するパターンマッチング処理を行う。
次に、Ｓ４０２では、同様に画面内予測部３１５において、Ｓ４０１で算出した最小ＳＡＤを元に、符号化対象ブロック内のテンプレートマッチング処理済み画素に対するＳ４０１で算出した最小ＳＡＤの総和であるＳＡＤ（ＴＯＴＡＬ）を求める。

次に、図３の閾値判定部３１８において、Ｓ４０３で示すように、Ｓ４０２で求めたＳＡＤ（ＴＯＴＡＬ）が閾値以上か否かを判定する。Ｓ４０３において、閾値以上と判定された場合は、Ｓ４０４に進んで、閾値判定部３１８から画面内予測部３１５および予測方法選択部３１６へ、本テンプレートマッチング処理の打ち切りを示す信号を出力する。
次に、Ｓ４０５では、閾値判定部３１８から受けた打ち切り信号により、画面内予測部３１５で処理中のテンプレートマッチング処理の打ち切りを行い、本フローチャートの処理を終了する。

一方、Ｓ４０３において、ＳＡＤ（ＴＯＴＡＬ）が閾値より小さいと判定された場合には、Ｓ４０６に進み、符号化対象ブロック内の全ての対象画素の処理が終了したか否かを判定し、全ての画素の処理を終えた場合には、本フローチャートを終了する。また、未処理の画素が存在する場合には、本フローチャートのＳ４０１へ戻り、未処理画素のテンプレートマッチング処理を行い、全ての画素の処理を終えるまで同様の処理を繰り返す。

さらに、画面内予測部３１５では、前述した画面内予測方法１において生成した予測画像と符号化対象ブロックのコスト値、および前述した画面内予測方法２において生成した予測画像と符号化対象ブロックのコスト値についても予測方法選択部３１６へ送る。ここで、コスト値については前述したＳＡＤより求めるものとする。

次に、図３の画面間予測部３１４では、符号化対象ブロックに対して画面間予測により予測画像を生成し、予測画像と符号化対象ブロックのコスト値を、コスト関数を用いて求めて、予測方法選択部３１６へ送る。

次に、図３の予測方法選択部３１６について説明する。
予測方法選択部３１６では、画面内予測部３１５から得るテンプレートマッチング予測によるＳＡＤ、及び画面内予測方法１によるコスト値。画面内予測方法２によるコスト値と、画面間予測部３１４から得る画面間予測によるコスト値から最小となる予測モード情報を、予測画像生成部１１７へ送る。ただし、閾値判定部３１８よりテンプレートマッチング予測の打ち切り信号が出力された場合には、テンプレートマッチング予測は選択せずに、他の予測モードの中からコスト値が最小となる予測モード情報を、予測画像生成部１１７へ送る。
本実施形態の映像符号化装置では、コスト関数としてＳＡＤを用いるが、例えばＳＡＴＤ等、他の式から求めてもよく、その形式は問わないものとする。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 映像信号入力部、１０２ メモリ、１０３ 差分計算部、１０４ 直交変換部、１０５ 量子化部、１０６ エントロピー符号化部、１０７ 逆量子化部、１０８ 逆直交変換部、１０９ 加算器、１１０ メモリ、１１１ フィルタ処理部、１１２ メモリ、１１３ 予測方法決定部、１１４ 画面間予測部、１１５ 画面内予測部、１１６ 予測方法選択部、１１７ 予測画像生成部、３１３ 予測方法決定部、３１４ 画面間予測部、３１５ 画面内予測部、３１６ 予測方法選択部、３１８ 閾値判定部

Claims (9)

1. 符号化対象ブロックに対して画面間予測により予測画像を生成し、予測画像と符号化対象ブロックのコスト値を、コスト関数を用いて求める画面間予測手段と、
   前記符号化対象ブロックの符号化対象画素と、前記符号化対象画素に隣接する符号化済みの隣接画素で構成されるテンプレート領域との相関が最も高い領域を、探索領域内から検出して予測画像を生成するテンプレートマッチング予測と、前記テンプレートマッチング予測以外の一つ以上の方法による画面内予測とを行う画面内予測手段と、
   前記テンプレートマッチング予測と他の方法による画面内予測との結果を比較して予測方法を選択する予測方法選択手段とを有し、
   前記予測方法選択手段は、前記画面内予測手段から得られる前記テンプレートマッチング予測による差分絶対値和、および前記他の方法による画面内予測によるコスト値と、前記画面間予測手段から得られる画面間予測によるコスト値とから予測方法を決定することを特徴とする映像符号化装置。
2. 前記差分絶対値和は、前記テンプレート領域の各画素と、前記探索領域の各画素との差分を示す値であることを特徴とする請求項１に記載の映像符号化装置。
3. 前記差分絶対値和がＳＡＤであることを特徴とする請求項１または２に記載の映像符号化装置。
4. 前記テンプレートマッチング予測において、前記予測画像を生成する演算途中に求める各画素の差分絶対値和の総和が閾値以上か否かを判定する閾値判定手段を有し、
   前記閾値判定手段は、前記各画素の差分絶対値和の総和が閾値以上の場合に、前記画面内予測手段および予測方法選択手段へ、前記テンプレートマッチング予測の打ち切りを示す信号を出力することを特徴とする請求項１〜３の何れか１項に記載の映像符号化装置。
5. 前記画面内予測手段は、前記閾値判定手段からテンプレートマッチング予測の打ち切りを示す信号を受けると、処理中のテンプレートマッチング処理を終了することを特徴とする請求項４に記載の映像符号化装置。
6. 前記予測方法選択手段は、前記閾値判定手段よりテンプレートマッチング予測の打ち切り信号を受けると、テンプレートマッチング予測は選択せずに、予測方法の中からコスト値が最小となる予測モード情報を選択することを特徴とする請求項４に記載の映像符号化装置。
7. 符号化対象ブロックに対して画面間予測により予測画像を生成し、予測画像と符号化対象ブロックのコスト値を、コスト関数を用いて求める画面間予測工程と、
   前記符号化対象ブロックの符号化対象画素と、前記符号化対象画素に隣接する符号化済みの隣接画素で構成されるテンプレート領域との相関が最も高い領域を、探索領域内から検出して予測画像を生成するテンプレートマッチング予測と、前記テンプレートマッチング予測以外の一つ以上の方法による画面内予測とを行う画面内予測工程と、
   前記テンプレートマッチング予測と他の方法による画面内予測との結果を比較して予測方法を選択する予測方法選択工程とを有し、
   前記予測方法選択工程は、前記画面内予測工程から得られる前記テンプレートマッチング予測による差分絶対値和、および前記他の方法による画面内予測によるコスト値と、前記画面間予測工程から得られる画面間予測によるコスト値とから予測方法を決定することを特徴とする映像符号化方法。
8. 符号化対象ブロックに対して画面間予測により予測画像を生成し、予測画像と符号化対象ブロックのコスト値を、コスト関数を用いて求める画面間予測工程と、
   前記符号化対象ブロックの符号化対象画素と、前記符号化対象画素に隣接する符号化済みの隣接画素で構成されるテンプレート領域との相関が最も高い領域を、探索領域内から検出して予測画像を生成するテンプレートマッチング予測と、前記テンプレートマッチング予測以外の一つ以上の方法による画面内予測とを行う画面内予測工程と、
   前記テンプレートマッチング予測と他の方法による画面内予測との結果を比較して予測方法を選択する予測方法選択工程とを有し、
   前記予測方法選択工程は、前記画面内予測工程から得られる前記テンプレートマッチング予測による差分絶対値和、および前記他の方法による画面内予測によるコスト値と、前記画面間予測工程から得られる画面間予測によるコスト値とから予測方法を決定することをコンピュータに実行させることを特徴とするプログラム。
9. 請求項８に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images