JP2011009887A - 画像補正装置及びそのプログラム - Google Patents

Abstract

【課題】本発明は、簡素な構成で、元画像を分割して符号化した分割画像をそれぞれ復号して再構成した再構成画像における分割画像間の画質の差を低減する画像補正装置を提供することを目的とする。
【解決手段】画像補正装置１０は、分割境界ブロック解析部７１と、分割境界周辺動きベクトル処理部７２と、処理対象ブロック判定部７３と、処理対象ラベル生成部７４と、処理単位ブロック生成部８１と、参照領域推定部８２と、参照ブロック結合度算出部８３と、参照ブロック信頼度算出部８４と、参照動きベクトル信頼度算出部８５と、参照領域信頼度算出部８６と、重み係数算出部８７と、参照領域画素値推定部８８と、処理対象ブロック画素値算出部８９とを備える。
【選択図】図４

Description

本発明は、動画像を構成するフィールド画像又はフレーム画像のうちの１枚の元となる画像が分割されて符号化された分割画像をそれぞれ復号し、これら分割画像を１枚の画像に再構成した再構成画像における分割画像同士の境界である分割境界の周辺の画素の画素値を補正する画像補正装置及びそのプログラムに関する。

近年、デジタル映像の用途が拡大していることから、デジタル映像の普及が今後一層進むものと考えられる。ここで、デジタル映像はデータ量が多いため、伝送効率や蓄積効率の観点から、デジタル映像を圧縮符号化することが必須である。

また、デジタル映像の普及と共に、デジタル映像の高品質化も進んでいる。ここで、高解像度化や高フレームレート化のような高品質化は、デジタル映像のデータ量の増大につながっている。その結果、より大容量のデジタル映像を、より高い効率で符号化することが必要となっている。

従来の符号化器では、高品質化したデジタル映像を符号化するのに、データの処理量や処理内容の点で性能が不十分なことがある。そのような場合、符号化器の処理を分割し、複数の符号化器を用いて、並列に処理を行うことが考えられる。

デジタル映像を符号化する際に、画像を分割して符号化することにより符号化器１台あたりの処理負荷を軽減する方法が提案されている（例えば、特許文献１，２参照）。具体的には、この方法は、デジタル映像の元画像を所定数の分割画像に分割し、複数の符号化器にて、これら分割画像を並列に符号化することで実現できる。そして、映像受信側では、復号器が並列に符号化した分割画像をそれぞれ復号し、再構成器がそれぞれの分割画像から１枚の再構成画像を再構成する。

特開平１０−２３４０４３号公報 特開２００３−３４８５９７号公報

しかし、これら従来技術では、各分割画像の符号化が各符号化器で別々に行われ、その結果、各符号化器での符号化処理によって分割画像毎に画質の差が生じる。従って、これら分割画像を再構成した再構成画像では、分割画像毎の画質の差が、分割境界として認識されることになる。

分割された分割画像間の画質の差を低減するためには、例えば、符号化時に符号化器同士でデータのやり取りをすることが考えられる。しかし、この方法では、符号化器の構成が複雑になるという問題がある。また、別の方法としては、分割境界周辺の画像を適応的に符号化することが考えられる。しかし、この別の方法でも、符号化器の構成が複雑になってしまう。

従来の符号化器及び符号化技術との互換性を確保するため、復号時又は復号後に、分割画像間の画質の差を低減する処理を行うことが好ましい。この方法としては、例えば、画面を分割して符号化した映像を復号し、再構成した後に平滑化を行うことが考えられる。しかし、この方法では、分割画像間の画質の差を低減できる一方、再構成画像がぼけるといった再構成画像の画質が低下することがある。

分割画像間で画質に差が生じるのは、分割境界周辺の符号化において、動き補償の精度に差が生じることが大きな要因として挙げられる。例えば、ある分割画面において、分割境界周辺で動き補償を行う場合、参照すべき領域が元画像内にあっても、その領域が分割画像外に出てしまうと参照することができない。その結果、その分割境界周辺における符号化性能が低下することになる。

そこで、本発明は、簡素な構成で、元画像を分割して符号化した分割画像をそれぞれ復号して再構成した再構成画像における分割画像間の画質の差を低減する画像補正装置及びそのプログラムを提供することを目的とする。

前記した課題を解決するため、本願第１発明に係る画像補正装置は、動画に含まれる１枚の元画像を分割して符号化した分割画像をそれぞれ復号して１枚に再構成した再構成画像における、前記分割画像同士の境界である分割境界の周辺の画素の画素値を補正する画像補正装置であって、分割境界周辺動きベクトル処理部と、分割境界ブロック解析部と、処理対象ブロック判定部と、参照領域推定部と、参照領域画素値算出部と、画素値補正部と、を備えることを特徴とする画像補正装置。

かかる構成によれば、画像補正装置は、分割境界周辺動きベクトル処理部によって、分割境界に位置する分割境界ブロック毎に、分割境界の周辺に予め設定された周辺領域に含まれる動きベクトルを時間方向で線形に補正した周辺動きベクトルを生成する。また、画像補正装置は、分割境界ブロック解析部によって、分割境界ブロック毎に、再構成画像を区分した区分領域の何れかを周辺動きベクトルが示す頻度として、ヒストグラムを生成する。そして、画像補正装置は、処理対象ブロック判定部によって、分割境界ブロック毎に、ヒストグラムで周辺動きベクトルが示す頻度が最多となる区分領域を分割境界ブロックの推定参照領域として推定すると共に、推定参照領域が分割境界外に出ているときは分割境界ブロックを処理対象である処理対象ブロックと判定し、推定参照領域が分割境界外に出ていないときは分割境界ブロックを処理対象でないと判定する。

また、画像補正装置は、参照領域推定部によって、処理対象ブロック毎に、処理対象ブロックの周辺に予め設定された参照領域内の参照ブロックに含まれる動きベクトルが示す領域を、処理対象ブロックの動きベクトルが示す動き補償参照領域として推定する。そして、画像補正装置は、参照領域画素値算出部によって、動き補償参照領域の画素の画素値に所定の重み係数を乗じて、参照領域全体が動き補償で参照する動き補償領域における画素の画素値を算出する。さらに、画像補正装置は、画素値補正部によって、処理対象ブロックの画素の画素値を、算出された動き補償領域の画素の画素値に置き換えて補正する。

ここで、動き補償で参照すべき領域（動き補償参照領域）が、分割境界を挟んで隣接する区分領域の何れかに存在する可能性が高い。一般的には、近傍の動きベクトル同士は相関が高く、一方の区分領域の動きベクトルが分割境界外を参照しているときでも、他方の区分領域の動きベクトルが同一の分割画像内を参照していることが多い。このため、分割境界の周辺では、分割境界を挟んだ一方の区分領域では動き補償の精度が低くなり、その分割画像の画質も低下する。一方、他方の区分領域では動き補償の精度が変わらず、その分割画像の画質が維持される。このような現象が、元画像を分割して符号化した分割画像をそれぞれ復号して再構成した際に多く発生するため、分割画像間の画質の差が目立つことになる。

従って、画像補正装置は、分割境界を挟んだ一方の区分領域において動き補償の参照領域（推定参照領域）が分割境界外に出て、他方の区分領域における動き補償の参照領域が分割境界内にある場合、分割境界外に出たと判定される分割境界ブロック（処理対象ブロック）に対して、補正を行う。ここで、分割境界周辺において、動き補償で参照すべき領域が分割境界外に出てしまい、精度良く動き補償ができなかったとする。この場合、画像補正装置は、分割境界の周辺の情報（周辺動きベクトル）を使って、分割境界外に出てしまった参照すべき領域（動き補償参照領域）を推定して、補正を行う。

また、本願第２発明に係る画像補正装置は、処理対象ブロックと参照ブロックとの距離に対して負の相関となる参照ブロック結合度を算出する参照ブロック結合度算出部と、参照ブロックの復号画像と参照ブロックの動き補償参照領域との画素値の差に対して負の相関となる参照ブロック信頼度を算出する参照ブロック信頼度算出部と、参照ブロックに含まれる動きベクトルの大きさに対して負の相関となる参照動きベクトル信頼度を算出する参照動きベクトル信頼度算出部と、処理対象ブロックの復号画像と動き補償参照領域との類似度を示す参照領域信頼度を算出する参照領域信頼度算出部と、参照ブロック結合度、参照ブロック信頼度、参照動きベクトル信頼度及び補償参照領域信頼度の少なくとも一つを用いて、重み係数を算出する重み係数算出部と、をさらに備えることを特徴とする。かかる構成によれば、画像補正装置は、適切な重み係数を算出できる。

また、本願第３発明に係る画像補正装置は、再構成画像の全ブロックを、整数等分可能な最大ブロックサイズに分割する処理単位ブロック生成部をさらに備えることを特徴とする。かかる構成によれば、画像補正装置は、処理対象ブロックのブロックサイズを統一することで、動き補償参照領域の推定処理が容易になる。

また、本願第４発明に係る画像補正装置は、分割境界周辺動きベクトル処理部が、分割境界に隣接する参照不可領域を含まない周辺領域が予め設定され、周辺領域から動きベクトルを解析することを特徴とする。ここで、参照不可領域は、分割境界の周辺において、動き補償の精度が低い領域である。従って、画像補正装置は、参照不可領域を予め設定して、動き補償の精度が低いこの領域を参照しないようする。

前記した課題を解決するため、本願第５発明に係る画像補正プログラムは、動画に含まれる１枚の元画像を分割して符号化した分割画像をそれぞれ復号して１枚に再構成した再構成画像における、分割画像同士の境界である分割境界の周辺の画素の画素値を補正するために、コンピュータを、分割境界周辺動きベクトル処理部、分割境界ブロック解析部、処理対象ブロック判定部、参照領域推定部、参照領域画素値算出部、画素値補正部として機能させる。

かかる構成によれば、画像補正プログラムは、分割境界周辺動きベクトル処理部によって、分割境界に位置する分割境界ブロック毎に、分割境界の周辺に予め設定された周辺領域に含まれる動きベクトルを時間方向で線形に補正した周辺動きベクトルを生成する。また、画像補正プログラムは、分割境界ブロック解析部によって、分割境界ブロック毎に、再構成画像を区分した区分領域の何れかを周辺動きベクトルが示す頻度として、ヒストグラムを生成する。そして、画像補正プログラムは、処理対象ブロック判定部によって、分割境界ブロック毎に、ヒストグラムで周辺動きベクトルが示す頻度が最多となる区分領域を分割境界ブロックの推定参照領域として推定すると共に、推定参照領域が分割境界外に出ているときは分割境界ブロックを処理対象である処理対象ブロックと判定し、推定参照領域が分割境界外に出ていないときは分割境界ブロックを処理対象でないと判定する。

また、画像補正プログラムは、参照領域推定部によって、処理対象ブロック毎に、処理対象ブロックの周辺に予め設定された参照領域内の参照ブロックに含まれる動きベクトルが示す領域を、処理対象ブロックの動きベクトルが示す動き補償参照領域として推定する。そして、画像補正プログラムは、参照領域画素値算出部によって、動き補償参照領域の画素の画素値に所定の重み係数を乗じて、参照領域全体が動き補償で参照する動き補償領域における画素の画素値を算出する。さらに、画像補正プログラムは、画素値補正部によって、処理対象ブロックの画素の画素値を、算出された動き補償領域の画素の画素値に置き換えて補正する。

ここで、動き補償で参照すべき領域（動き補償参照領域）が、分割境界を挟んで隣接する区分領域の何れかに存在する可能性が高い。一般的には、近傍の動きベクトル同士は相関が高く、一方の区分領域の動きベクトルが分割境界外を参照しているときでも、他方の区分領域の動きベクトルが同一の分割画像内を参照していることが多い。このため、分割境界の周辺では、分割境界を挟んだ一方の区分領域では動き補償の精度が低くなり、その分割画像の画質も低下する。一方、他方の区分領域では動き補償の精度が変わらず、その分割画像の画質が維持される。このような現象が、元画像を分割して符号化した分割画像をそれぞれ復号して再構成した際に多く発生するため、分割画像間の画質の差が目立つことになる。

従って、画像補正プログラムは、分割境界を挟んだ一方の区分領域において動き補償の参照領域（推定参照領域）が分割境界外に出て、他方の区分領域における動き補償の参照領域が分割境界内にある場合、分割境界外に出たと判定される分割境界ブロック（処理対象ブロック）に対して、補正を行う。ここで、分割境界周辺において、動き補償で参照すべき領域が分割境界外に出てしまい、精度良く動き補償ができなかったとする。この場合、画像補正プログラムは、分割境界の周辺の情報（周辺動きベクトル）を使って、分割境界外に出てしまった参照すべき領域（動き補償参照領域）を推定して、補正を行う。

本発明によれば、以下のような優れた効果を奏する。
本願第１，５発明によれば、分割境界外に出たと判定される分割境界ブロック（処理対象ブロック）に対して、分割境界の周辺の情報（周辺動きベクトル）を使って、分割境界外に出てしまった参照すべき領域（動き補償参照領域）を推定して補正を行う。これによって、本願第１，５発明によれば、簡素な構成で、元画像を分割して符号化した分割画像をそれぞれ復号して再構成した再構成画像における分割画像間の画質の差を低減でき、分割画像間の差が目立ちにくくなる。

本願第２発明によれば、適切な重み係数を算出できるため、分割画像間の画質の差をより低減できる。
本願第３発明によれば、処理対象ブロックのブロックサイズを統一することで、動き補償参照領域の推定処理が容易になり、演算処理の高速化を図ることができる。
本願第４発明によれば、動き補償の精度が低い参照不可領域を参照しないため、分割画像間の画質の差をより低減できる。

本発明において、分割画像について説明する図である。 本発明において、画像補正装置の全体構成を説明するブロック図である。 本発明において、周辺領域の設定を説明する概念図である。 図１の処理対象決定部及び処理部の構成を示すブロック図である。 本発明において、再構成画像を区分した区分領域を説明する概念図であり、（ａ）は区分領域の第一例であり、（ｂ）は区分領域の第二例であり、（ｃ）は最小値及び最大値を用いた場合の例である。 本発明において、分割境界ブロックと、区分領域と、分割境界との関係を説明する図である。 本発明において、動きベクトルの時間方向の補正を説明する概念図である。 本発明において、処理対象ブロックの判定を説明する概念図であり、（ａ）は処理対象ブロックとならない場合であり、（ｂ）は処理対象ブロックとなる場合である。 本発明において、参照領域の設定を説明する概念図である。 本発明において、処理単位ブロックを説明する概念図である。 本発明において、動き補償参照領域の推定を説明する概念図である。 図４の画像補正装置の動作を示すフローチャートである。 本発明の変形例１に係る画像補正装置の全体構成を説明するブロック図である。 本発明の変形例２に係る画像補正装置の全体構成を説明するブロック図である。

以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、以下の説明において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

［本発明の分割画像］
図１を参照して、本発明の分割画像について説明する。通常、１台の符号化器（不図示）で１枚の画像全体を符号化する。ここで、図１に示すように、データの処理量や処理内容の観点から、動画に含まれる１枚の元画像を分割画像１〜４にそれぞれ４分割する。そして、分割画像１〜４は、４台の符号化器（不図示）で別々にＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）等の任意の方式で符号化される。ここでは、各符号化器は、分割画像１〜４を符号化した符号化ストリーム１〜４を、画像補正装置１０（図２参照）にそれぞれ出力する。なお、図１では、再構成画像において、分割境界に対応する箇所を太線で図示した。

ここで、図１に示すように、元画像は、垂直方向及び水平方向に直線で分割されたものとする。また、元画像は、符号化時に動き補償が行われるものとする。具体的には、元画像は、動き補償で１枚の画像を参照するＰピクチャや、動き補償で２枚の画像を参照するＢピクチャとして符号化される。従って、Ｉピクチャのように動き補償が行われない画像は、本発明の対象とならない。

［画像補正装置の全体構成］
以下、図２を参照して、本発明の本実施形態に係る画像補正装置１０の全体構成について、説明する。図２に示すように、画像補正装置１０は、符号化ストリームバッファ２０と、復号部３１〜３４と、画像再構成部４０と、再構成画像バッファ５０と、分割境界処理部６０と、分割境界処理画像バッファ９０とを備える。

符号化ストリームバッファ２０は、入力された符号化ストリーム１〜４（図１参照）を蓄積するバッファメモリである。符号化ストリームバッファ２０に蓄積された符号化ストリーム１〜４は、例えば、その後の処理で不要となったとき、又は、符号化ストリームバッファ２０に蓄積可能な符号化ストリームの容量の限度を越えたとき、符号化ストリームバッファ２０から消去される。

復号部３１〜３４は、符号化ストリームバッファ２０を参照し、それぞれに対応した符号化ストリーム１〜４を復号するものである。ここでは、復号部３１が符号化ストリーム１を復号し、復号部３２が符号化ストリーム２を復号する。また、復号部３３が符号化ストリーム３を復号し、復号部３４が符号化ストリーム４を復号する。そして、復号部３１〜３４は、符号化ストリーム１〜４から復号した分割画像１〜４の列を、画像再構成部４０に出力する。ここで、復号部３１〜３４は、符号化ストリーム１〜４を符号化したときの符号化方式に対応した方式で符号化ストリーム１〜４を復号する。また、復号部３１〜３４は、符号化ストリーム１〜４の符号化方式に合わせて復号方式を変更可能にすることで、符号化方式に依存せずに画質向上処理を行うことができる。なお、復号部３１〜３４の数は、元画面を分割した分割画像数に等しい（例えば、４個）。

画像再構成部４０は、復号部３１〜３４から入力された分割画像１〜４を結合して、元画像と同じサイズの１枚の再構成画像に再構成するものである。そして、画像再構成部４０は、再構成した再構成画像を再構成画像バッファ５０に出力する。

このとき、画像再構成部４０は、分割画像１〜４が元画面のどの部分に対応するかを示す再構成情報が予め設定されていても良い。また、画像再構成部４０は、符号化ストリーム１〜４のヘッダに格納された再構成情報を参照しても良い。そして、画像再構成部４０は、再構成情報を参照し、図１の例では、分割画像１を左上、分割画像２を右上、分割画像３を左下、及び、分割画像４を右下に位置するように結合して、１枚の再構成画像に再構成する。

再構成画像バッファ５０は、画像再構成部４０から入力された再構成画像を蓄積するバッファメモリである。ここで、再構成画像バッファ５０に蓄積された再構成画像は、その後の処理で不要となったとき、又は、再構成画像バッファに蓄積可能な再構成画像の容量の限度を越えたとき、再構成画像バッファ５０から消去する。

分割境界処理部６０は、再構成画像バッファ５０を参照し、再構成画像バッファ５０に蓄積された再構成画像において、分割画像同士の境界である分割境界の周辺を補正（画質向上処理）するものである。図２に示すように、分割境界処理部６０は、処理対象決定部７０と、処理部８０とを備える。

処理対象決定部７０は、再構成画像バッファ５０を参照し、再構成画像の分割境界のうち、補正（画質向上処理）の対象となる領域（処理対象ブロック）を決定するものである。

処理部８０は、処理対象決定部７０が決定した領域（処理対象ブロック）に対し、補正（画質向上処理）を行うものである。そして、処理部８０は、この補正を行った分割境界処理画像を、分割境界処理画像バッファ９０に出力する。なお、処理対象決定部７０及び処理部８０の詳細は、後記する。

分割境界処理画像バッファ９０は、処理部８０から入力された分割境界処理画像を蓄積するバッファメモリである。また、分割境界処理画像バッファ９０に蓄積されている分割境界処理画像は、映像として表示される順番に、分割境界処理画像バッファ９０から出力される。分割境界処理画像バッファ９０に蓄積されている分割境界処理画像は、映像として出力しても分割境界処理画像バッファ９０から消去されない。例えば、この分割境界処理画像は、その後の処理で不要となったとき、又は、分割境界処理画像バッファ９０に蓄積可能な分割境界処理画像の容量の限度を越えたとき、分割境界処理画像バッファ９０から消去される。

（第一実施形態）
［周辺領域の設定］
画像補正装置１０では、分割境界処理部６０において処理をする前に、分割境界の周辺に位置する周辺領域Ｒ_ｉＢを設定する必要がある。以下、図３を参照し、本発明の第一実施形態において、周辺領域Ｒ_ｉＢの設定例を説明する。なお、図３では、分割境界を太線で示し、分割境界ブロックｉ_Ｂを黒塗り四角形で示し、周辺領域Ｒ_ｉＢを点のハッチングで示し、参照不可領域を斜線のハッチングで示した。

図３の分割境界は、再構成画像を再構成したときの分割画像同士の境界線であり、例えば、図１の分割画像１と分割画像２との境界線に対応する。
分割境界ブロックｉ_Ｂは、再構成画像の分割境界に隣接するブロックである。
このブロックは、符号化時にイントラ（画面内）予測又はインター（画面間）予測を行ったときのブロック（例えば、１６×１６のブロック、８×８のブロック）である。

周辺領域Ｒ_ｉＢは、再構成画像の分割境界の周辺において、任意のブロックで構成される領域である。この周辺領域Ｒ_ｉＢは、例えば、この分割境界ブロックｉ_Ｂを中心として、予め設定しておく。
周辺ブロックｊ_Ｂは、再構成画像の周辺領域Ｒ_ｉＢ内の各ブロックである。
参照不可領域は、再構成画像の分割境界に隣接し、動き補償の精度が高くないと予想される領域である。この参照不可領域は、分割境界ブロックｉ_Ｂ毎に、予め設定しておく。なお、この参照不可領域は、後記する分割境界処理部６０が参照しない領域である。

例えば、図３の例では、周辺領域Ｒ_ｉＢは、分割境界ブロックｉ_Ｂを中心とし、参照不可領域を除いた分割境界の周囲に位置する正方形状の１５ブロックである。なお、周辺領域Ｒ_ｉＢと参照不可領域の設定方法は、図３に制限されず任意である。ここで、周辺領域Ｒ_ｉＢは、長方形状、三角形状等の任意形状で、かつ、任意のブロック数の領域としても良い。ただし、周辺領域Ｒ_ｉＢは、参照不可領域に含まれない領域（ブロック）を有する必要がある。

［処理対象決定部の構成］
以下、図４を参照し、本発明の第一実施形態に係る画像補正装置１０における、処理対象決定部７０の構成について説明する（適宜図３参照）。図４に示すように、処理対象決定部７０は、分割境界ブロック解析部７１と、分割境界周辺動きベクトル処理部７２と、処理対象ブロック判定部７３と、処理対象ラベル生成部７４とを備える。

分割境界ブロック解析部７１は、分割境界ブロックｉ_Ｂ毎に、再構成画像を区分した区分領域の何れかを周辺動きベクトルＭＶ_ｊＢが示す頻度として、ヒストグラムを生成するものである。ここで、分割境界ブロック解析部７１は、再構成画像バッファ５０を参照し、後記する分割境界周辺動きベクトル処理部７２から入力された周辺動きベクトルＭＶ_ｊＢを使って、再構成画像の周辺領域Ｒ_ｉＢ内の全ての分割境界ブロックｉ_Ｂを１個ずつ解析する。

具体的には、分割境界ブロック解析部７１は、分割境界ブロックｉ_Ｂ毎に、周辺動きベクトルＭＶ_ｊＢのそれぞれが、区分領域の何れかを示す頻度をヒストグラムとして生成する。例えば、分割境界ブロック解析部７１は、Ｎ_ＭＶｊＢ個の周辺動きベクトルＭＶ_ｊＢが入力された場合、Ｎ_ＭＶｊＢ個の周辺動きベクトルＭＶ_ｊＢが、区分領域の何れかを示す頻度をヒストグラムとして生成し、これを処理対象ブロック判定部７３に出力する。

周辺動きベクトルＭＶ_ｊＢは、水平方向（ｘ軸方向）の大きさ成分と、垂直方向（ｙ軸方向）の大きさ成分とを有する２次元ベクトルである。そこで、分割境界ブロック解析部７１は、分割境界ブロックｉ_Ｂの中心座標を原点（０，０）として再構成画像を区分領域に区分し、各区分領域を示す周辺動きベクトルＭＶ_ｊＢの頻度（個数）となるヒストグラムを生成する。例えば、区分領域は、再構成画像を、任意方向の第１軸線と、この第１軸に直交する第２軸線と、第１軸線と第２軸線との交点（図８の中心座標）が中心で互いに異なる半径を有する２以上の円とで区分される領域である。より具体的には、図５（ａ）に示すように、分割境界ブロック解析部７１は、水平方向（ｘ軸方向）と垂直方向（ｙ軸方向）との４方向で原点からの距離に応じて３×４＝１２個、さらに、動きのない領域が１個、合計１３個の区分領域に区分しても良い。このとき、区分領域は、各分割境界ブロックｉ_Ｂに対する相対位置を示すものであり、分割境界ブロックｉ_Ｂの中心座標（原点（０，０））を基準に区分される。また、例えば、図５（ｂ）に示すように、分割境界ブロック解析部７１は、原点から時計周りに、４５°，１３５°，２２５°，３１５°との４方向で原点からの距離に応じて３×４＝１２個、さらに、動きのない領域が１個、合計１３個の区分領域に分割しても良い。なお、区分領域の区分方法は、図５に限定されず、任意である。

ここで、後の処理を考慮し、周辺動きベクトルＭＶ_ｊＢの範囲を定めることにする。例えば、周辺動きベクトルＭＶ_ｊＢの大きさについて、x軸方向とy軸方向とに最小値と最大値を定め、最小値よりも小さい値に対しては最小値を、最大値よりも大きい値に対しては最大値を適用する。つまり、周辺動きベクトルＭＶ_ｊＢの大きさは、図５（ｃ）に示すように、x軸方向の最小値の破線と、x軸方向の最大値の破線と、ｙ軸方向の最小値の破線と、ｙ軸方向の最大値の破線とに囲まれた範囲とする。

ここで、図６を参照し、分割境界ブロックｉ_Ｂと、区分領域と、分割境界との関係を補足する。前記したように、分割境界ブロックｉ_Ｂは、分割境界に隣接する。また、区分領域は、分割境界ブロックｉ_Ｂの中心座標（原点（０，０））を基準に区分される。これら条件を満たすのであれば、区分領域は、任意に区分可能である。例えば、区分領域は、図６（ａ）に示すように、分割境界ブロックｉ_Ｂ内に収まるように区分されても良い。また、区分領域は、図６（ｂ）に示すように、分割境界ブロックｉ_Ｂから外れるように区分されても良い。なお、図６では、説明のために、分割境界ブロックｉ_Ｂをハッチングで図示した。

分割境界周辺動きベクトル処理部７２は、分割境界に位置する分割境界ブロックｉ_Ｂ毎に、分割境界の周辺に予め設定された周辺領域Ｒ_ｉＢに含まれる動きベクトルを時間方向で線形に補正した周辺動きベクトルＭＶ_ｊｂを生成するものである。ここで、分割境界周辺動きベクトル処理部７２は、分割境界ブロック解析部７１に出力する周辺動きベクトルＭＶ_ｊＢを求める。このとき、分割境界周辺動きベクトル処理部７２は、動き補償の精度が低い参照不可領域を参照しないことが好ましい。これによって、分割境界周辺動きベクトル処理部７２は、分割画像間の画質の差をより低減できる。

周辺動きベクトルＭＶ_ｊＢは、分割境界ブロックｉ_Ｂの周辺領域Ｒ_ｉＢにある周辺ブロックｊ_Ｂの動きベクトルを、時間方向で線形に補正したベクトルである。ここで、例えば、分割境界ブロック解析部７１が、１個の分割境界ブロックｉ_Ｂを解析したとする。このとき、解析した分割境界ブロックｉ_Ｂに対して、１個の周辺領域Ｒ_ｉＢが定まる。この周辺領域Ｒ_ｉＢから、Ｎ_ＭＶｊＢ個の周辺動きベクトルＭＶ_ｊＢが得られる。従って、分割境界周辺動きベクトル処理部７２は、解析した分割境界ブロックｉ_Ｂについて、Ｎ_ＭＶｊＢ個の周辺動きベクトルＭＶ_ｊＢを、分割境界ブロック解析部７１に出力する。

ここで、分割境界周辺動きベクトル処理部７２は、周辺ブロックｊ_Ｂの動きベクトルを、符号化ストリームバッファ２０に蓄積されている符号化ストリーム１〜４を復号して得ることができる。ただし、分割境界周辺動きベクトル処理部７２は、符号化時に動き補償が行われなかった周辺ブロックｊ_Ｂから動きベクトルを得ることができない。このように、周辺ブロックｊ_Ｂから動きベクトルを得ることができない場合は、分割境界周辺動きベクトル処理部７２は、この周辺ブロックｊ_Ｂに対する周辺動きベクトルＭＶ_ｊＢを０として、分割境界ブロック解析部７１に出力する。

動き補償を行う際、異なる時刻の参照画像を参照することがある。このため、得られた周辺ブロックｊ_Ｂの動きベクトルの中に、異なる時刻の参照画像に対する２次元座標を表すものを含むことがある。そこで、分割境界周辺動きベクトル処理部７２は、得られた周辺ブロックｊ_Ｂの動きベクトルに対し、時間方向の補正を行い、同一時刻の参照画像に対する２次元座標となるようにする。ここで合わせる補正時刻は、現在処理している分割境界ブロックｉ_Ｂが動き補償で参照している時刻とする。例えば、図７に示すように、現在処理している分割境界ブロックｉ_Ｂ（時刻＝ｔの現画像上のブロック）が、時刻＝ｔ＋１の再構成画像上のブロックを動き補償で参照しているとする。このとき、補正時刻は時刻＝ｔ＋１となる。復号した周辺ブロックｊ_Ｂの動きベクトルが、時刻＝ｔ＋１以外の時刻（例えば時刻＝ｔ＋２）の再構成画像上のブロックを動き補償で参照している場合、分割境界周辺動きベクトル処理部７２は、復号した動きベクトルを、補正時刻の画像と同時刻（時刻＝ｔ＋１の再構成画像）を指すように補正する。なお、図７では、各再構成画像の分割境界の図示を省略した。

この場合、分割境界周辺動きベクトル処理部７２は、ＭＶ_Ｘ´＝ＭＶ_Ｘ／Δｔ及びＭＶ_Ｙ´＝ＭＶ_Ｙ／Δｔという演算を行い、復号した動きベクトルを補正する。なお、図７において、（ＭＶ_Ｘ,ＭＶ_Ｙ）は復号した周辺ブロックの動きベクトルの２次元成分を表す。また、（ＭＶ_Ｘ´, ＭＶ_Ｙ´）は、（ＭＶ_Ｘ，ＭＶ_Ｙ）を補正した周辺動きベクトルＭＶ_ｊＢの２次元成分を表す。また、Δｔは、現画像と動き補償の参照画像とのフレーム間隔を、現画像と補正時刻の画像とのフレーム間隔で除算した値である（図７の例では、Δｔ＝２）。このように、分割境界周辺動きベクトル処理部７２は、各周辺動きベクトルＭＶ_ｊＢが、同一時刻の画像を参照するように時間方向の補正をする。これによって、画像補正装置１０は、正確性の高い周辺動きベクトルＭＶ_ｊＢを求めることを可能とする。

ここで、分割境界ブロックｉ_Ｂで動き補償が行われていない場合、分割境界周辺動きベクトル処理部７２は、周辺領域Ｒ_ｉＢ内の各周辺ブロックｊ_Ｂが動き補償で参照する画像のうち、最も多く参照される画像の時刻に合わせる。また、これに該当する画像が複数あるとき、分割境界周辺動きベクトル処理部７２は、該当する画像のなかで、時間方向において、現画像に最も近い画像の時刻を補正時刻とする。

また、分割境界周辺動きベクトル処理部７２は、周辺領域Ｒ_ｉＢ内の周辺ブロックｊ_Ｂで、動きベクトルが得られないブロック、すなわち、全ての周辺動きベクトルＭＶ_ｊＢが０のブロックに対しては、補正を行わない。なお、動き補償の方法によっては、1の周辺ブロックｊ_Ｂが複数の動きベクトルを持つことがある。この場合、周辺ブロックｊ_Ｂの持つ全ての動きベクトルに対応する周辺動きベクトルＭＶ_ｊＢを求め、それらを分割境界ブロック解析部７１に出力する。

処理対象ブロック判定部７３は、分割境界ブロックｉ_Ｂ毎に、分割境界ブロック解析部７１から入力されたヒストグラムで周辺動きベクトルＭＶ_ｊＢが示す頻度が最多となる区分領域を分割境界ブロックｉ_Ｂの推定参照領域として推定するものである。ここで、分割境界ブロック解析部７１で生成されたヒストグラムは、推定参照領域の分布を表している。また、ヒストグラムの各区間は、各区分領域に対応している。そこで、処理対象ブロック判定部７３は、分割境界ブロックｉ_Ｂの推定参照領域を、ヒストグラムにおける最高頻度の区間に対応する区分領域内にあると推定する。最高頻度の区間が複数あるときは、処理対象ブロック判定部７３は、該当する区分領域の中からランダムで選択又は最初に推定された区分領域を選択する等、任意の方法で１個の区分領域を選択する。以上のように、処理対象ブロック判定部７３は、各分割境界ブロックｉ_Ｂに対して、推定参照領域があると推定される区分領域がひとつ定まる。この区分領域は、各分割境界ブロックに対する相対位置を表している。そこで、分割境界ブロックの中心座標を基準にして、再構成画像上での区分領域の位置を求める。

また、処理対象ブロック判定部７３は、この推定参照領域が分割境界外に出ているときは分割境界ブロックｉ_Ｂを処理対象である処理対象ブロックｉ_Ｐ（図９参照）と判定し、推定参照領域が分割境界外に出ていないときは分割境界ブロックｉ_Ｂを処理対象でないと判定する。この場合、処理対象ブロック判定部７３は、分割境界ブロックｉ_Ｂ毎に、１個のヒストグラムが生成されているので、それぞれに対応するヒストグラムに基づいて、全ての分割境界ブロックｉ_Ｂが処理対象であるか否かを判定する。具体的には、処理対象ブロック判定部７３は、図８（ａ）に示すように、推定参照領域が分割境界外に出ていないときは、処理対象でないと判定する。一方、処理対象ブロック判定部７３は、図８（ｂ）に示すように、推定参照領域が分割境界外に出ているときは、処理対象であると判定する。そして、処理対象ブロック判定部７３は、分割境界ブロックｉ_Ｂ毎に、その分割境界ブロックｉ_Ｂが処理対象であるか否かを示す判定結果を、処理対象ラベル生成部７４に出力する。なお、処理対象ブロック判定部７３は、区分領域と分割境界が接しているときに、処理対象ブロックｉ_Ｐであるか否かを任意に判定しても良い。

処理対象ラベル生成部７４は、処理対象ブロック判定部７３から入力された判定結果に基づいて、全ての処理対象ブロックｉ_Ｐに対して、各処理対象ブロックｉ_Ｐを一意に識別可能な情報を処理対象ラベルとして生成する。また、処理対象ラベル生成部７４は、生成した処理対象ラベルを、処理部８０に出力する。

［参照領域の設定］
画像補正装置１０では、処理部８０において処理をする前に、処理対象ブロックｉ_Ｐに対して参照領域Ｒ_ｉＰを設定する必要がある。以下、図９を参照し、本発明の第一実施形態において、参照領域Ｒ_ｉＰの設定例を説明する。なお、図９では、分割境界を太線で示し、処理対象ブロックｉ_Ｐを黒塗り四角形で示し、参照領域Ｒ_ｉＰを点のハッチングで示した。

図９の分割境界は、図３と同様のものである。
処理対象ブロックｉ_Ｐは、処理の対象となるブロックであり、具体的には、処理対象ラベルが付与されているか否かによって判定できるブロックである。
参照領域Ｒ_ｉＰは、再構成画像の分割境界の周辺において、任意のブロックで構成される領域である。この参照領域Ｒ_ｉＰは、処理対象ブロックｉ_Ｐの周囲に予め設定された領域である。
参照ブロックｊ_Ｐは、再構成画像の参照領域Ｒ_ｉＰ内の各ブロックである。

図９の例では、参照領域Ｒ_ｉＰは、処理対象ブロックｉ_Ｐを中心とした、５×５ブロックの正方形状の２４ブロックである。また、図９に示すように、参照領域Ｒ_ｉＰは、分割境界を跨いで設定しても良い。なお、参照領域Ｒ_ｉＰの設定方法は、図９に制限されず任意である。例えば、周辺領域Ｒ_ｉＢは、長方形状、三角形状等の任意形状で、かつ、任意のブロック数の領域としても良い。

［処理対象決定部の構成］
以下、図４に戻り、本発明の第一実施形態に係る画像補正装置１０における、処理部８０の構成について説明する。図４に示すように、処理部８０は、処理単位ブロック生成部８１と、参照領域推定部８２と、参照ブロック結合度算出部８３と、参照ブロック信頼度算出部８４と、参照動きベクトル信頼度算出部８５と、参照領域信頼度算出部８６と、重み係数算出部８７と、参照領域画素値推定部８８と、処理対象ブロック画素値算出部８９とを備える。

処理単位ブロック生成部８１は、再構成画像バッファ５０を参照し、再構成画像の全ブロックを、所定サイズの処理単位ブロックに分割するものである。ここで、処理単位ブロック生成部８１は、この再構成画像内を符号化したときのブロックを、全て整数等分できる最大ブロックサイズとする。例えば、図１０では、再構成画像は、４×４のブロックと、４×８のブロックと、８×４のブロックと、８×８のブロックと、８×１６のブロックと、１６×８のブロックとが用いられている。この場合、処理単位ブロック生成部８１は、全てのブロックを整数等分できる４×４画素というサイズを、処理単位ブロックのサイズとする。

ここで、処理単位ブロック生成部８１は、分割前のブロックが動きベクトルを持つときは、処理単位ブロックに分割したブロックも同じ動きベクトルを持つこととする。また、処理単位ブロック生成部８１は、分割前のブロックが複数の動きベクトルを持つときは、処理単位ブロックに分割したブロックも同数の動きベクトルを持つこととする。さらに、処理単位ブロック生成部８１は、処理単位ブロックに分割したブロックにおいて、動きベクトルを持たない場合、大きさが０の動きベクトルとして処理を行う。

そして、処理部８０の各手段は、再構成画像のブロックを一定サイズの処理単位ブロックとして処理する。このように、処理単位ブロック生成部８１が、ブロックのサイズを統一することで、動き補償参照領域の推定処理が容易になり、演算処理の高速化を図ることができる。

なお、処理単位ブロック生成部８１は、処理対象ラベル生成部７４からの処理対象ラベルを、参照領域推定部８２と、参照ブロック結合度算出部８３と、参照ブロック信頼度算出部８４と、参照動きベクトル信頼度算出部８５と、参照領域信頼度算出部８６とに出力する。

参照領域推定部８２は、処理対象ブロックｉ_Ｐ毎に、参照領域Ｒ_ｉＰ内の参照ブロックｊ_Ｐに含まれる動きベクトルが示す領域を、処理対象ブロックｉ_Ｐの動きベクトルが示す動き補償参照領域Ｅ_ｉｊ（図１１参照）として推定するものである。例えば、参照領域推定部８２は、処理対象ブロックｉ_Ｐに対する参照ブロックｊ_Ｐが８個の場合、８個の動き補償参照領域Ｅ_ｉｊを推定する。そして、この動き補償参照領域Ｅ_ｉｊを、参照ブロック信頼度算出部８４と、参照領域信頼度算出部８６と、参照領域画素値推定部８８とに出力する。

なお、参照領域推定部８２は、処理対象ラベル生成部７４からの処理対象ラベルに基づいて、再構成画像の分割境界ブロックｉ_Ｂが処理対象ブロックｉ_Ｐであるか否かを判定する。そして、参照領域推定部８２は、処理対象ブロックｉ_Ｐの各情報（例えば、動きベクトル、画素値）については、符号化ストリームバッファ２０を参照し、処理対象ブロックｉ_Ｐに対応する符号化ストリーム１〜４を復号して得ることができる。この点、以下も同様である。

まず、参照領域推定部８２は、参照ブロックｊ_Ｐの動きベクトルを、符号化ストリームバッファ２０に蓄積されている符号化ストリーム１〜４を復号して得る。このとき、処理対象ブロックｉ_Ｐの動きベクトルが、参照ブロックｊ_Ｐの動きベクトルに等しいと仮定する。そして、図１１に示すように、参照領域推定部８２は、処理対象ブロックｉ_Ｐにおいて、仮定した処理対象ブロックｉ_Ｐの動きベクトルが示す領域を、動き補償参照領域Ｅ_ｉｊとして推定する。ここで、参照領域推定部８２は、参照ブロックｊ_Ｐの動きベクトルが複数の場合、各動きベクトルに対して動き補償参照領域を求め、その平均値を動き補償参照領域Ｅ_ｉｊとして推定する。また、参照ブロックｊ_Ｐが動きベクトルを持たない場合、動き補償参照領域Ｅ_ｉｊは、推定しない。なお、参照領域推定部８２は、動き補償参照領域Ｅ_ｉｊで、再構成画像外に出る領域は扱わない。

参照ブロック結合度算出部８３は、処理対象ブロックｉ_Ｐと参照ブロックｊ_Ｐとの距離に対して負の相関となる参照ブロック結合度ａ_ｉｊを算出するものである。ここで、参照ブロック結合度算出部８３は、例えば、下記式（１）又は式（２）を用いて、参照ブロック結合度ａ_ｉｊを算出する。そして、参照ブロック結合度算出部８３は、算出した参照ブロック結合度ａ_ｉｊを重み係数算出部８７に出力する。なお、式（１）及び式（２）では、ａ_ｉｊが参照ブロック結合度であり、ｘ_ｉが処理対象ブロックｉ_Ｐのｘ軸方向の中心座標であり、ｙ_ｉが処理対象ブロックｉ_Ｐのｙ軸方向の中心座標であり、ｘ_ｊが参照ブロックｊ_Ｐのｘ軸方向の中心座標であり、ｙ_ｊが参照ブロックｊ_Ｐのｙ軸方向の中心座標であり、ａｂｓは絶対値を算出する関数である。

参照ブロック信頼度算出部８４は、図１１に示すように、参照ブロックｊ_Ｐの復号画像Ｘ_ｊＰと、参照ブロックｊ_Ｐの動き補償参照領域Ｅ_ｊｊとの画素値の差に対して負の相関となる参照ブロック信頼度ｂ_ｊを算出するものである。このとき、参照ブロック信頼度算出部８４は、符号化ストリームバッファ２０を参照し、符号化ストリーム１〜４を復号して参照ブロックｊ_Ｐの各情報（例えば、動きベクトル、画素値）を得ることができる。この点、以下も同様である。ここで、参照ブロック信頼度ｂ_ｊは、例えば、式（３）で表すことができる。なお、式（３）では、ｂ_ｊが参照ブロック信頼度であり、Ｘ_ｊＰが参照ブロックの復号画像であり、Ｅ_ｊｊが参照ブロックの動き補償参照領域である。

このとき、参照ブロック信頼度算出部８４は、１の参照ブロックｊ_Ｐに対し、複数の動き補償参照領域Ｅ_ｊｊがあるときは、各動き補償参照領域Ｅ_ｊｊを平均しても良く、任意の方法で何れかの複数の動き補償参照領域Ｅ_ｊｊを選択しても良い。

ここで、参照ブロックｊ_Ｐの復号画像Ｘ_ｊＰと動き補償参照領域Ｅ_ｊｊとの画素値の差は、例えば、下記式（４）〜式（７）で表すことができる。つまり、参照ブロック信頼度算出部８４は、下記式（４）〜式（７）の何れかを用いて、参照ブロック信頼度ｂ_ｊを算出すれば良い。そして、参照ブロック信頼度算出部８４は、算出した参照ブロック信頼度ｂ_ｊを重み係数算出部８７に出力する。

なお、式（４）は、輝度信号の差の絶対値の総和であり、式（５）は、輝度信号の差の２乗の平方根の総和である。また、式（６）は、輝度信号の差の絶対値と色差信号の差の絶対値の加重総和であり、式（７）は、輝度信号の差の２乗と色差信号の差の２乗との加重和の平方根の総和である。

なお、式（４）〜式（７）では、Ｙ_ＸｊＰ（ｐ）がブロック領域Ｂ_ｊｐ内の画素pの輝度信号Ｙを示し、Ｃｂ_ＸｊＰ（ｐ）がブロック領域Ｂ_ｊｐ内の画素pの色差信号Ｃｂを示し、Ｃｒ_ＸｊＰ（ｐ）がブロック領域Ｂ_ｊｐ内の画素pの色差信号Ｃｒを示す。ここで、ブロック領域Ｂ_ｊｐとは、参照ブロックｊ_Ｐ内の画素の集合である。

また、式（４）〜式（７）では、Ｙ_Ｅｊｊ（ｐ）が動き補償参照領域Ｅ_ｊｊ内の画素pの輝度信号Ｙを示し、Ｃｂ_Ｅｊｊ（ｐ）が動き補償参照領域Ｅ_ｊｊ内の画素pの色差信号Ｃｂを示し、Ｃｒ_Ｅｊｊ（ｐ）が動き補償参照領域Ｅ_ｊｊ内の画素pの色差信号Ｃｒを示し、α_１，α_２，β_１，β_２は所定の係数を示す。

参照動きベクトル信頼度算出部８５は、参照ブロックｊ_Ｐに含まれる動きベクトルの大きさに対して負の相関となる参照動きベクトル信頼度ｃ_ｊを算出するものである。このとき、処理対象ブロックｉ_Ｐの動きベクトルが、参照ブロックｊ_Ｐの動きベクトルに等しいと仮定する。従って、参照動きベクトル信頼度算出部８５は、仮定した各参照ブロックｊ_Ｐの動きベクトルＭＶ_ｊｐを、例えば、下記式（８）又は式（９）で算出する。そして、参照動きベクトル信頼度算出部８５は、算出した参照動きベクトル信頼度ｃ_ｊを重み係数算出部８７に出力する。

なお、式（８）及び式（９）では、ｘ_ＭＶｊｐは参照ブロックｊ_Ｐの動きベクトルＭＶ_ｊｐのｘ軸方向の成分を示し、ｙ_ＭＶｊｐは参照ブロックｊ_Ｐの動きベクトルＭＶ_ｊｐのｙ軸方向の成分を示し、ｔ_ＭＶｊｐは動き補償で参照画像の表示順序で何画像（フレーム間隔）異なるかを示し、α_３は任意の係数を示す。

参照領域信頼度算出部８６は、処理対象ブロックｉ_Ｐの復号画像Ｘ_ｉＰと動き補償参照領域Ｅ_ｉｊとの類似度を示す参照領域信頼度ｄ_ｉｊを算出するものである。処理対象ブロックｉ_Ｐの復号画像Ｘ_ｉＰは、符号化ストリームを復号することで得られる。ここで、参照領域信頼度ｄ_ｉｊは、復号画像Ｘ_ｉＰと、動き補償参照領域Ｅ_ｉｊとの差分に対して、負の相関を有し、例えば、式（１０）で表すことができる。なお、式（１０）では、ｄ_ｉｊが参照領域信頼度であり、Ｘ_ｉＰが処理対象ブロックｉ_Ｐの復号画像であり、Ｅ_ｉｊが動き補償参照領域である。

ここで、処理対象ブロックｉ_Ｐの復号画像Ｘ_ｉＰと動き補償参照領域Ｅ_ｉｊとの画素値の差は、例えば、下記式（１１）〜式（１４）で表すことができる。つまり、参照領域信頼度算出部８６は、下記式（１１）〜式（１４）の何れかを用いて、参照領域信頼度ｄ_ｉｊを算出すれば良い。そして、参照領域信頼度算出部８６は、算出した参照領域信頼度ｄ_ｉｊを重み係数算出部８７に出力する。

なお、式（１１）は、輝度信号の差の絶対値の総和であり、式（１２）は、輝度信号の差の２乗の平方根の総和である。また、式（１３）は、輝度信号の差の絶対値と色差信号の差の絶対値の加重総和であり、式（１４）は、輝度信号の差の２乗と色差信号の差の２乗との加重和の平方根の総和である。

なお、式（１１）〜式（１４）では、Ｙ_ＸｉＰ（ｐ）がブロック領域Ｂ_ｉｐ内の画素pの輝度信号Ｙを示し、Ｃｂ_ＸｉＰ（ｐ）がブロック領域Ｂ_ｉｐ内の画素pの色差信号Ｃｂを示し、Ｃｒ_ＸｉＰ（ｐ）がブロック領域Ｂ_ｉｐ内の画素pの色差信号Ｃｒを示す。

重み係数算出部８７は、参照ブロック結合度算出部８３からの参照ブロック結合度ａ_ｉｊ、参照ブロック信頼度算出部８４からの参照ブロック信頼度ｂ_ｊ、参照動きベクトル信頼度算出部８５からの参照動きベクトル信頼度ｃ_ｊ、及び、参照領域信頼度算出部８６からの参照領域信頼度ｄ_ｉｊを用いて、重み係数を算出するものである。

ここで、重み係数ｗ_ｉｊは、参照ブロックｊ_Ｐから推定された動き補償参照領域Ｅ_ｉｊの各情報（例えば、画素値）を統合するのに用いられる。例えば、重み係数算出部８７は、重み係数ｗ_ｉｊを、下記式（１５）を用いて算出する。

なお、重み係数算出部８７は、重み係数ｗ_ｉｊを算出するときに、参照ブロック結合度ａ_ｉｊ、参照ブロック信頼度ｂ_ｊ、参照動きベクトル信頼度ｃ_ｊ及び参照領域信頼度ｄ_ｉｊの全てを用いる必要はない。例えば、重み係数算出部８７は、参照ブロック信頼度ｂ_ｊを用いない場合、下記式（１６）を用いて、重み係数ｗ_ｉｊを算出する。

つまり、重み係数算出部８７は、参照ブロック結合度ａ_ｉｊ、参照ブロック信頼度ｂ_ｊ、参照動きベクトル信頼度ｃ_ｊ及び参照領域信頼度ｄ_ｉｊのうちの２以上を利用する場合、それら値を乗算した値を重み係数ｗ_ｉｊとする。また、重み係数算出部８７は、参照ブロック結合度ａ_ｉｊ、参照ブロック信頼度ｂ_ｊ、参照動きベクトル信頼度ｃ_ｊ及び参照領域信頼度ｄ_ｉｊのうち何れか１個のみを利用する場合、その値を重み係数ｗ_ｉｊとする。さらに、重み係数算出部８７は、参照ブロック結合度ａ_ｉｊ、参照ブロック信頼度ｂ_ｊ、参照動きベクトル信頼度ｃ_ｊ及び参照領域信頼度ｄ_ｉｊの全てを利用しない場合、重み係数ｗ_ｉｊを１とする。そして、重み係数算出部８７は、算出した重み係数ｗ_ｉｊを参照領域画素値推定部８８に出力する。なお、重み係数ｗ_ｉｊが請求項に記載の重み係数に相当する。このように適切な重み係数ｗ_ｉｊを算出するため、重み係数算出部８７は、分割画像間の画質の差をより低減できる。

参照領域画素値推定部８８は、動き補償参照領域Ｅ_ｉｊの画素の画素値に重み係数算出部８７を乗じて、参照領域Ｒ_ｉＰ全体が動き補償で参照する動き補償領域Ｅ^〜 _ｉ内の画素の画素値を算出するものである。具体的には、参照領域画素値推定部８８は、動き補償参照領域Ｅ_ｉｊの各情報を、重み係数ｗ_ｉｊを用いて統合し、処理対象ブロックｉ_Ｐと同じサイズの動き補償領域Ｅ^〜 _ｉを求める。そして、参照領域画素値推定部８８は、下記式（１７）を用いて、動き補償領域Ｅ^〜 _ｉの各画素の画素値を算出する。その後、参照領域画素値推定部８８は、動き補償領域Ｅ^〜 _ｉの各画素の画素値Ｅ^〜 _ｉ（ｐ_Ｅ）を処理対象ブロック画素値算出部８９に出力する。なお、下記式（１７）では、Ｅ_ｉｊ（ｐ_Ｅ）は動き補償参照領域Ｅ_ｉｊの画素ｐ_Ｅの画素値を示し、Ｅ^〜 _ｉ（ｐ_Ｅ）は動き補償領域Ｅ^〜 _ｉの画素ｐ_Ｅの画素値を示す。なお、参照領域画素値推定部８８が、請求項に記載の参照領域画素値算出部に相当する。

処理対象ブロック画素値算出部８９は、処理対象ブロックｉ_Ｐの画素の画素値Ｘ^〜 _ｉＰを、動き補償領域Ｅ^〜 _ｉの画素ｐ_Ｅの画素値Ｅ^〜 _ｉ（ｐ_Ｅ）に置き換えて補正するものである。ここで、処理対象ブロック画素値算出部８９は、下記式（１８）を用いて、この再構成画像の画素値Ｘ_ｉＰを画素値Ｘ^〜 _ｉＰに補正（更新）する。なお、式（１８）では、Ｘ_ｉＰは更新前の再構成画像の画素ｐ_Ｅの画素値を示し、Ｘ^〜 _ｉＰは補正後の再構成画像の画素ｐ_Ｅの画素値を示し、Ｅ^〜 _ｉ（ｐ_Ｅ）は動き補償領域Ｅ^〜 _ｉの画素ｐ_Ｅの画素値を示し、ｋは任意の結合係数（０≦ｋ≦１）を示す。

ここで、処理対象ブロック画素値算出部８９は、再構成画像に含まれる全ての処理対象ブロックｉ_Ｐに対して、画素値Ｘ_ｉＰを画素値Ｘ^〜 _ｉＰに補正する処理を行う。そして、処理対象ブロック画素値算出部８９は、補正した再構成画像（分割境界処理画像）を出力する。このとき、処理対象ブロック画素値算出部８９は、１の再構成画像に分割境界が複数あるときは、各分割境界をそれぞれ処理し、その結果を平均等によって統合して最終的な分割境界処理画像とする。また処理対象ブロック画素値算出部８９は、任意の順序で分割境界を処理し、前の分割境界の処理の結果を用いて、後の分割境界処理を行っても良い。なお、処理対象ブロック画素値算出部８９が、請求項に記載の画素値補正部に相当する。

［画像補正装置の動作］
以下、図１２を参照して、図４の画像補正装置１０の動作について、説明する（適宜図４参照）。まず、画像補正装置１０は、分割境界周辺動きベクトル処理部７２によって、周辺動きベクトルＭＶ_ｊｂを生成する（ステップＳ１）。また、画像補正装置１０は、分割境界ブロック解析部７１によって、再構成画像を区分した区分領域の何れかを周辺動きベクトルＭＶ_ｊＢが示す頻度として、ヒストグラムを生成する（ステップＳ２）。

ステップＳ２の処理に続いて、画像補正装置１０は、処理対象ブロック判定部７３によって、各分割境界ブロックｉ_Ｂが処理対象となる処理対象ブロックｉ_Ｐであるか判定する（ステップＳ３）。そして、画像補正装置１０は、処理対象ラベル生成部７４によって、各処理対象ブロックｉ_Ｐを一意に識別可能な情報を処理対象ラベルとして生成する（ステップＳ４）。

ステップＳ４の処理に続いて、画像補正装置１０は、処理単位ブロック生成部８１によって、再構成画像の全ブロックを、所定サイズの処理単位ブロックに分割する（ステップＳ５）。また、参照領域推定部８２によって、動き補償参照領域Ｅ_ｉｊを推定する（ステップＳ６）。

ステップＳ６の処理に続いて、画像補正装置１０は、参照ブロック結合度算出部８３によって、参照ブロック結合度ａ_ｉｊを算出する（ステップＳ７）。また、画像補正装置１０は、参照ブロック信頼度算出部８４によって、参照ブロック信頼度ｂ_ｊを算出する（ステップＳ８）。そして、画像補正装置１０は、参照動きベクトル信頼度算出部８５によって、参照動きベクトル信頼度ｃ_ｊを算出する（ステップＳ９）。さらに、画像補正装置１０は、参照領域信頼度算出部８６によって、参照領域信頼度ｄ_ｉｊを算出する（ステップＳ１０）。なお、ステップＳ７〜ステップＳ１０は、その順番が図１２に制限されず、これらを入れ替えても良い。

ステップＳ１０の処理に続いて、画像補正装置１０は、重み係数算出部８７によって、参照ブロック結合度ａ_ｉｊ、参照ブロック信頼度ｂ_ｊ、参照動きベクトル信頼度ｃ_ｊ及び参照領域信頼度ｄ_ｉｊの少なくとも一つを用いて、重み係数ｗ_ｉｊを算出する（ステップＳ１１）。なお、参照ブロック結合度ａ_ｉｊ等の全てを利用しない場合、画像補正装置１０は、重み係数算出部８７によって、重み係数ｗ_ｉｊを１としても良い。

ステップＳ１１の処理に続いて、画像補正装置１０は、参照領域画素値推定部８８によって、動き補償参照領域Ｅ_ｉｊの画素の画素値に重み係数ｗ_ｉｊを乗じて、動き補償領域Ｅ^〜 _ｉ内の画素の画素値を算出する（ステップＳ１２）。また、画像補正装置１０は、処理対象ブロック画素値算出部８９によって、処理対象ブロックｉ_Ｐの画素の画素値Ｘ^〜 _ｉＰを、動き補償領域Ｅ^〜 _ｉの画素ｐ_Ｅの画素値Ｅ^〜 _ｉ（ｐ_Ｅ）に置き換えて補正する（ステップＳ１３）。

以上のように、本発明の第一実施形態に係る画像補正装置１０によれば、分割境界外に出たと判定される推定参照領域（処理対象ブロック）に対して、分割境界の周辺の情報（周辺動きベクトル）を使って、分割境界外に出てしまった参照すべき領域（動き補償参照領域）を推定して補正を行う。これによって、本発明の第一実施形態に係る画像補正装置１０によれば、簡素な構成で、１枚の元画像を分割して符号化した分割画像をそれぞれ復号して１枚に再構成した再構成画像における分割画像間の画質の差を低減でき、分割画像間の差が目立ちにくくなる。さらに、本発明の第一実施形態に係る画像補正装置１０によれば、分割画像１〜４を１枚に再構成した再構成画像を補正するため、符号化方式及び復号方式に依存せず、汎用性が高い。

なお、本発明の第一実施形態では、１枚の元画像を分割画像１〜４に分割した例で説明したが、元画像を分割する数は特に制限されない。例えば、本発明の第一実施形態に係る画像補正装置１０は、元画像を縦に４分割、かつ、横に４分割（分割画像１〜１６）し、この分割画像１〜１６を再構成した再構成画像の補正を行っても良い。

なお、本発明の第一実施形態に係る画像補正装置１０は、補正した再構成画像（分割境界処理画像）の画質をさらに向上させるため、この画像に平滑化等の画像処理を施す手段（不図示）を処理対象ブロック画素値算出部８９の後に備えても良い。

なお、本発明の第一実施形態では、本発明に係る画像補正装置を独立した装置として説明したが、これに限定されない。つまり、本発明では、一般的なコンピュータのＣＰＵ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させるプログラムによって実現することもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。

なお、図２に示すように、画像補正装置１０が符号化ストリームバッファ２０等を備えることとして説明したが、これに限定されない。以下、画像補正装置１０の構成を変更したものを、変形例１，２として説明する。

［変形例１］
図１３に示すように、本発明の変形例１に係る画像補正装置１０Ｂは、図２の画像補正装置１０と比べ、復号部３１〜３４を備えない点が大きく相違する。この場合、画像補正装置１０Ｂは、符号化ストリームの他に、復号器（不図示）で復号された分割画像１〜４が入力される必要がある。そして、画像補正装置１０Ｂは、画像再構成部４０が、入力された分割画像１〜４を再構成画像に再構成する。

［変形例２］
図１４に示すように、本発明の変形例２に係る画像補正装置１０Ｃは、図２の画像補正装置１０と比べ、復号部３１〜３４と画像再構成部４０とを備えない点が大きく相違する。この場合、画像補正装置１０Ｃは、符号化ストリームの他に、分割画像１〜４から再構成された再構成画像が入力される必要がある。そして、画像補正装置１０Ｃは、再構成画像バッファ５０が、入力された再構成画像を蓄積する

以上のような構成としても、本発明の変形例１，２に係る画像補正装置１０Ｂ，１０Ｃは、本発明の第一実施形態に係る画像補正装置１０と同様に、簡素な構成で、１枚の元画像を分割して符号化した分割画像をそれぞれ復号して１枚に再構成した再構成画像における分割画像間の画質の差を低減でき、分割画像間の差が目立ちにくくなる。なお、以上の変形例１，２に係る画像補正装置１０Ｂ，１０Ｃでは、各手段が図１と同様のものであるため、その説明を省略する。

１０，１０Ｂ，１０Ｃ 画像補正装置
２０ 符号化ストリームバッファ
３１〜３４ 復号部
４０ 画像再構成部
５０ 再構成画像バッファ
６０ 分割境界処理部
７０ 処理対象決定部
７１ 分割境界ブロック解析部
７２ 分割境界周辺動きベクトル処理部
７３ 処理対象ブロック判定部
７４ 処理対象ラベル生成部
８０ 処理部
８１ 処理単位ブロック生成部
８２ 参照領域推定部
８３ 参照ブロック結合度算出部
８４ 参照ブロック信頼度算出部
８５ 参照動きベクトル信頼度算出部
８６ 参照領域信頼度算出部
８７ 重み係数算出部
８８ 参照領域画素値推定部（参照領域画素値算出部）
８９ 処理対象ブロック画素値算出部（画素値補正部）
９０ 分割境界処理画像バッファ

Claims (5)

1. 動画に含まれる１枚の元画像を分割して符号化した分割画像をそれぞれ復号して１枚に再構成した再構成画像における、前記分割画像同士の境界である分割境界の周辺の画素の画素値を補正する画像補正装置であって、
   前記分割境界に位置する分割境界ブロック毎に、前記分割境界の周辺に予め設定された周辺領域に含まれる動きベクトルを時間方向で線形に補正した周辺動きベクトルを生成する分割境界周辺動きベクトル処理部と、
   前記分割境界ブロック毎に、前記再構成画像を区分した区分領域の何れかを前記周辺動きベクトルが示す頻度として、ヒストグラムを生成する分割境界ブロック解析部と、
   前記分割境界ブロック毎に、前記ヒストグラムで前記周辺動きベクトルが示す頻度が最多となる前記区分領域を前記分割境界ブロックの推定参照領域として推定すると共に、前記推定参照領域が前記分割境界外に出ているときは当該分割境界ブロックを処理対象である処理対象ブロックと判定し、前記推定参照領域が前記分割境界外に出ていないときは当該分割境界ブロックを処理対象でないと判定する処理対象ブロック判定部と、
   前記処理対象ブロック毎に、当該処理対象ブロックの周辺に予め設定された参照領域内の参照ブロックに含まれる動きベクトルが示す領域を、当該処理対象ブロックの動きベクトルが示す動き補償参照領域として推定する参照領域推定部と、
   前記動き補償参照領域の画素の画素値に所定の重み係数を乗じて、前記参照領域全体が動き補償で参照する動き補償領域における画素の画素値を算出する参照領域画素値算出部と、
   前記処理対象ブロックの画素の画素値を、算出された前記動き補償領域の画素の画素値に置き換えて補正する画素値補正部と、
   を備えることを特徴とする画像補正装置。
2. 前記処理対象ブロックと前記参照ブロックとの距離に対して負の相関となる参照ブロック結合度を算出する参照ブロック結合度算出部と、
   前記参照ブロックの復号画像と前記参照ブロックの動き補償参照領域との画素値の差に対して負の相関となる参照ブロック信頼度を算出する参照ブロック信頼度算出部と、
   前記参照ブロックに含まれる動きベクトルの大きさに対して負の相関となる参照動きベクトル信頼度を算出する参照動きベクトル信頼度算出部と、
   前記処理対象ブロックの復号画像と前記動き補償参照領域との類似度を示す参照領域信頼度を算出する参照領域信頼度算出部と、
   前記参照ブロック結合度、前記参照ブロック信頼度、前記参照動きベクトル信頼度及び前記補償参照領域信頼度の少なくとも一つを用いて、前記重み係数を算出する重み係数算出部と、
   をさらに備えることを特徴とする請求項１に記載の画像補正装置。
3. 前記再構成画像の全ブロックを、整数等分可能な最大ブロックサイズに分割する処理単位ブロック生成部をさらに備えることを特徴とする請求項１又は請求項２に記載の画像補正装置。
4. 前記分割境界周辺動きベクトル処理部は、前記分割境界に隣接する参照不可領域を含まない前記周辺領域が予め設定され、当該周辺領域から前記動きベクトルを解析することを特徴とする請求項１から請求項３の何れか一項に記載の画像補正装置。
5. 動画に含まれる１枚の元画像を分割して符号化した分割画像をそれぞれ復号して１枚に再構成した再構成画像における、前記分割画像同士の境界である分割境界の周辺の画素の画素値を補正するために、コンピュータを、
   前記分割境界に位置する分割境界ブロック毎に、前記分割境界の周辺に予め設定された周辺領域に含まれる動きベクトルを時間方向で線形に補正した周辺動きベクトルを生成する分割境界周辺動きベクトル処理部、
   前記分割境界ブロック毎に、前記再構成画像を区分した区分領域の何れかを前記周辺動きベクトルが示す頻度として、ヒストグラムを生成する分割境界ブロック解析部、
   前記分割境界ブロック毎に、前記ヒストグラムで前記周辺動きベクトルが示す頻度が最多となる前記区分領域を前記分割境界ブロックの推定参照領域として推定すると共に、前記推定参照領域が前記分割境界外に出ているときは当該分割境界ブロックを処理対象である処理対象ブロックと判定し、前記推定参照領域が前記分割境界外に出ていないときは当該分割境界ブロックを処理対象でないと判定する処理対象ブロック判定部、
   前記処理対象ブロック毎に、当該処理対象ブロックの周辺に予め設定された参照領域内の参照ブロックに含まれる動きベクトルが示す領域を、当該処理対象ブロックの動きベクトルが示す動き補償参照領域として推定する参照領域推定部、
   前記動き補償参照領域の画素の画素値に所定の重み係数を乗じて、前記参照領域全体が動き補償で参照する動き補償領域における画素の画素値を算出する参照領域画素値算出部、
   前記処理対象ブロックの画素の画素値を、算出された前記動き補償領域の画素の画素値に置き換えて補正する画素値補正部、
   として機能させるための画像補正プログラム。

Images