JP2008017241A - 高解像度画像処理装置 - Google Patents

Abstract

【課題】
高画質な高解像度画像を好適に得る。
【解決手段】
動きベクトルを算出する動き予測部と、入力画像の画素から補間画素を生成し拡大画像を生成する画素補間フィルタと、入力された複数の画像もしくは該入力された複数の画像の拡大画像を用いて該動き予測部が算出した複数の動きベクトルと、該入力された複数の画像に対して該画素補間フィルタが生成した複数の拡大画像とを用いて、該拡大画像のうち一の拡大画像の画素値を変更する画素値更新部を備える。
【選択図】 図１

Description

本発明は画像の高解像度化技術、及び画像を復号化する画像復号化技術に関する。

低解像度画像から高解像度画像を生成する手法として、特許文献１に記載のものが知られている。

特開平８−３３６０４６号公報

特許文献１では、標本化位置をずらして撮影された複数の画像を用いて1枚の高解像度画像を生成する手法が開示されている。標本化位置が異なる複数の画像データから高周波成分のみを取り出し、標本化位置に応じた重みをつけて加重和をとることで、画像の標本化時に発生する折り返し成分を取り除き、高周波成分を復元している。

このため、特許文献１の手法では、画像中に十分な高周波成分が残っていることが必要である。

しかし、一度符号化されたデータを復号してから高解像度化する場合、符号化時の量子化処理によって高周波成分が失われているため、高解像度化は困難であった。

また、高精度な標本化位置推定とフーリエ変換による周波数空間上での処理が必要なため、処理が複雑となり、処理時間の問題から、動画像の入力や再生に対してリアルタイムに高解像度化を行うことは困難であった。更に、回路規模も大きなものとなってしまうという問題があった。

本発明は、上記課題に鑑みて為されたものであり、その目的は、入力された画像信号から高画質な高解像度画像を得ることにある。

上記目的を達成するために、本発明は、以下の技術を提供するものである。すなわち、本発明に係る画像処理装置は、動きベクトルを算出する動き予測部と、入力画像の画素から補間画素を生成し拡大画像を生成する画素補間フィルタと、入力された複数の画像もしくは該入力された複数の画像の拡大画像を用いて該動き予測部が算出した複数の動きベクトルと、該入力された複数の画像に対して該画素補間フィルタが生成した複数の拡大画像とを用いて、該拡大画像のうち一の拡大画像の画素値を変更する画素値更新部を備えることを特徴とする。

上記構成によれば、例えば、入力された画像信号から、高画質な高解像度画像を得ることが可能となる。

本発明によれば、入力された画像信号から、高画質な高解像度画像を得ることが可能となる。

以下に発明を実施するための実施の形態を図面を参照しつつ説明する。

なお、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。

まず本発明の第1の実施の形態について説明する
図１は、本発明における画像処理装置の実施例１のブロック図の一例を示したものである。本画像処理装置は、入力された画像信号から画像の復号を行う復号化部１００と、例えば画素補間フィルタ１１１、補間画像メモリ１１２、動き予測部１１３、動きベクトルメモリ１１４、画像合成部１１５からなる高解像度化処理部１１０とを備える。

ここで、入力された画像符号化信号は、まず画像復号化部１００において復号され、復号画像メモリ１０５内に復号画像が生成される。高解像化処理部１１０はこの復号された画像を拡大して高解像度画像とする高解像化処理を行う。

復号化部１００では、例えば、入力された符号化画像信号が、ストリーム解析部１０１に入力され、符号化画像信号中の動きベクトル情報が予測補償部１０４に出力され、符号化画像信号中のDCT係数情報が係数解析部１０２に出力される。予測補償部１０４は、予測画像メモリ１０６に保持される予測画像と、ストリーム解析部１０１から取得した動きベクトル情報により、予測マクロブロックを作成し、出力する。また、係数解析部１０２に入力されたDCT係数情報から、係数解析部１０２と逆量子化・逆変換部１０３によって、予測マクロブロックと実画像の誤差成分が生成され、出力される。予測補償部１０４が出力した予測マクロブロックと、逆量子化・逆変換部１０３が出力した誤差成分が合成されて復号画像となり、復号画像メモリ１０５に保存される。また、このとき保存された復号画像を別フレーム符号化時の予測画像として用いるため、復号画像メモリ１０５から復号画像情報が出力され、予測画像メモリ１０６に入力される。復号化部１００は、以上を繰り返して入力された符号化画像信号から画像の復号を行う。

次にこの高解像化処理部１１０について説明する。

図２に高解像化処理部１１０における処理の一例を示す。

まず、本実施例では、時間方向に複数ある復号化した画像フレームを画素補間フィルタ１１１により画素補間処理を行うことで画素補間画像（拡大画像）を得る。得られた画素補間画像は補間画素メモリ１１２に格納される。ここで、本実施例では、複数の画素補間画像のうち、高解像度化処理を行う時刻の画像を対象画像、対象画像に時間的に連続する複数の画像を高解像度化処理の参照画像とする。次に、動き予測部１１３は補間画素メモリ１１２に格納されている対象画像と各参照画像の画素補間画像を取得し、対象画像と各参照画像との動きベクトルをそれぞれ探索し、算出する。算出した動きベクトルを元に、参照画像中のある画素のブロックを対象画像上に位置合わせを行う。この位置合わせの結果に応じて、対象画像の画素値を参照画像の画素値を用いた演算によって更新する。以上の処理によって高画質な高解像度画像を得ることが可能となる。

以降では、高解像化処理部内での処理について詳細に説明する。

まず、画素補間フィルタ１１１は、画像復号化部１００から復号画像を受け取り、フィルタによる画像サイズ拡大を行う。画素補間フィルタの種類には特に制限は無く、画像を拡大する従来の技術を用いればよい。本実施例では例えば、この画素補間フィルタの一例として、Ｈ．２６４の符号化装置で使用されている６タップフィルタを用いることとする。

当該フィルタによる補間の一例を図３を用いて説明する。図３では、黒色の四角が現画像である整数精度の画素、縦線の四角がこれから生成する１／２精度の画素、白色の四角がこれから生成する１／４精度の画素をそれぞれ示している。

当該フィルタでは、複数の係数の配列であるタップ係数を用いる。ライン上に並んだ画素に各タップ係数を乗じて足し合わせた値を当該タップ係数の総和で除算した値を、ラインの中心に位置する補間画素の画素値とし、１／２精度の補間画素を生成する。図３の例では、フィルタのタップ係数は例えば［１，−５，２０，２０，−５，１］となっている。すなわち、画素３０１、画素３０２、画素３０３、画素３０４、画素３０５、画素３０６の各画素値にそれぞれ１、−５、２０、２０、−５、１を乗じてその和を算出する。この値をさらにタップ係数の和である３２で除算し、これを画素３０７の画素値として与える。これにより、１／２精度の画素である画素３０７が生成される。

横方向に並ぶ整数画素間の１／２精度の画素を生成する場合は、上記のように横並びの整数画素を用いて当該画素の画素値を算出する。また、画素３０８のように縦方向に並ぶ整数画素間の１／２精度の画素を生成する場合は、図３に示すように縦横並びの整数画素を用いて当該画素の画素値を算出する。また、画素３０９のように整数画素の対角線上に位置する１／２精度の画素を生成する場合は、まず先に画素３０７を含む１／２精度の画素の縦の配列を算出する。次に当該縦の配列と各タップ係数を用いて、画素３０８の画素値の算出と同様に、画素３０９の画素値を求めればよい。またこのとき、まず先に画素３０８を含む１／２精度の画素の横の配列を算出し、次に当該横の配列と各タップ係数を用いて、画素３０７の画素値の算出と同様に、画素３０９の画素値を求めてもよい。

以上により、整数画素から１／２精度の画素を作成することが出来る。

また、１／４精度の画素の画素値は、得られた１／２精度の画素同士、または１／２精度の画素と整数画素の画素値の平均を取ったり、これらの画素値を用いた演算で算出できる。

以上の処理による補間を新たなに生成する画素に繰り返して実施することにより、例えば１／２精度の画素まで生成すれば、画素数を原画像の画素数の縦方向２倍、横方向２倍にする（以降２倍の拡大フィルタと称する。）ことが可能となる。また、例えば１／４精度の画素まで生成すれば、画素数を原画像の画素数の縦方向４倍、横方向４倍にすることが可能となる。

例えば本実施例のように、画素補間フィルタ１１１にH.264/AVC において小数精度の予測画像作成に用いる補間フィルタを用いてもよい。この場合、符号化装置における処理との整合性が高くなる。よって、後の動き予測部１１３での処理精度が向上し、より高解像度な画像が生成できる。

本実施例では、以降、当該フィルタの２倍の拡大フィルタを用いた例として説明する。

次に、高解像度化処理部１１０のその他の構成について説明する。

補間画像メモリ１１２は、画素補間フィルタ１１１によって生成された画素補間画像を複数枚保持する。

動き予測部１１３は、補間画像メモリ１１２内に蓄積された対象画像と、対象画像に時間的に連続する１枚または複数枚の参照画像を用いて、対象画像に対する各参照画像の動きベクトルを算出する。得られた動きベクトルは、動きベクトルメモリ１１４に格納される。

例えば、対象フレームに対して、前後のフレームからブロック単位で動き探索を行う。

ここで、動きベクトルメモリ１１４は、動き予測部１１３で算出された動きベクトルを保持している。次のフレームが対象画像となり、高解像度化処理を行うときには、直前の対象画像が当該次のフレームの対象画像に対する参照画像となる。逆に当該次のフレームの対象画像は、当該直前の対象画像の高解像度化処理時は参照画像であった。このため、両者間の動きベクトルは複数回用いられることになる。よって、動きベクトルメモリ１１４に一度算出された動きベクトルを保持しておくことにより、再度動きベクトルを計算する必要がなくなる。これにより高解像度化処理の処理時間を低減することが可能となる。

ここで、画像間の動きベクトルの関係の一例を図４を用いて説明する。

図４では、時間的に連続した画像フレーム４０１、４０２、４０３、４０４が示されている。それぞれ時間ｔ―２、ｔ―１、ｔ、ｔ+１のフレームである。

このとき、画像フレーム４０３が高解像度化処理の対象画像である。また、画像フレーム４０１、４０２、４０４が参照画像である。

例えば、画像フレーム４０３の高解像度化処理のときに算出したフレーム４０４のフレーム４０３に対する動きベクトルAを動きベクトルメモリ１１４に記録する。このようにすれば、画像フレーム４０４の高解像度化処理では、フレーム４０３のフレーム４０４に対する動きベクトルBは動きベクトルAの逆ベクトルとして容易に得ることができる。これにより動き予測によって動きベクトルBを算出するよりも処理量を低減できる。

また、例えば、画像フレーム４０２の高解像度化処理において、フレーム４０１のフレーム４０２に対する動きベクトルＣと、フレーム４０３のフレーム４０２に対する動きベクトルＤとを算出し、動きベクトルメモリ１１４に記録しておく。このとき画像フレーム４０３の高解像度化処理において、動きベクトルメモリ１１４に記録される動きベクトルＣと、動きベクトルＤの逆ベクトルEとを用いて、フレーム４０１のフレーム４０３に対する動きベクトルＦを求めることが可能となる。

このとき、最終的に高画質化処理に用いる動きベクトルは予測動きベクトルFを、そのまま用いても、予測動きベクトルFの情報を参考にして動きベクトルを探索しても良い。

以上説明したように、動きベクトルメモリ１１４に動きベクトルを記録しておくことで高速且つ高精度に動きベクトルを算出でき、また高解像度化処理の処理量の低減も可能となる。

またこのとき、上記で説明したように、対象画像より時間的に後のフレームの参照画像からの動きベクトルは新たに算出しなければならないが、対象画像より時間的に前フレームの参照画像からの動きベクトルは、動きベクトルメモリ１１４に記憶されている。よって、参照画像の設定枚数を、例えば、高画質化の対象画像よりも時間的に後のフレームの画像よりも、時間的に前のフレームの画像をより多くすることにより、処理時間を低減することも可能である。

またこのとき、動き予測部１１３は、算出した動きベクトルの確からしさを示す正解尤度、誤り率、動き補償された両ブロック画像の類似度（輝度差の2乗和）等を算出してもよい。

さらに、動きベクトルメモリ１１４は、図１に示すように画像予測補償部１０４で得られる動きベクトル情報（以降符号化時動きベクトル情報と称する。）を記録するようにしてもよい。この場合、動きベクトルメモリ１１４に記録した符号化時動きベクトル情報は、高解像度化処理において動き予測部１１３で画像間の動きベクトルを算出する際に読み出されて使用される。このようにすれば、復号時の動きベクトル情報を用いることにより探索範囲を限定し、高速に処理を行うことが可能となる。

本実施例では、動き予測部１１３に入力される画像は画素補間処理済である。そのため、予測補償部１０４から取得した符号化時動きベクトル情報と、動き予測部１１３で算出する動きベクトルとでは、対象とする画像のサイズが異なる場合がある。この様な場合は、符号化時動きベクトル情報を動きベクトルメモリ１１４に記録する前、もしくは、動きベクトルメモリ１１４に保存された符号化時動きベクトル情報を使用する際に、対象画像のサイズを調整するように、動きベクトルに処理を行えばよい。例えば画素補間前後の画像サイズ比のスカラー量を乗ずるなどの処理を行えばよい。

動き予測部１１３では、当該処理後の符号化時動きベクトル情報を読み込み、これをそのまま動きベクトルの探索結果としてもよいし、新たに動きベクトル探索を行う際の参考情報としてもよい。

このように、本実施例の高解像度化処理部においては入力信号中に動きベクトルの情報を取得し、これを利用することが可能である。よって処理量が低減でき、高速に動きベクトルを算出できる。これにより高解像度化処理を高速化することが可能となる。

ここで、動き予測部１１３における詳細な処理の流れの一例を図６に示す。まず、動きベクトル読出しステップ６０１で動きベクトルメモリ１１４から動きベクトルを読み出す。次に、動きベクトル探索制御ステップ６０２において、読み出した動きベクトルの種類に応じた動きベクトル探索処理の制御判定を行う。最後に、動きベクトル探索ステップ６０３にて制御判定に従った動き探索処理を行う。

動きベクトル探索制御ステップ６０２においては、読み出した動きベクトルの種類に基づいて判定を行う。この読み出した動きベクトルの種類としては、例えば、図６に示すように、すでに動き予測部１１３において算出された動きベクトルである場合、予測補償部１０４から取得した符号化時動きベクトル情報に基づくベクトルである場合、もしくはこれらに該当する動きベクトルが動きベクトルメモリ１１４に無い場合などが考えられる。

このとき、すでに動き予測部１１３において算出された動きベクトルを読み出した場合は、動きベクトル探索処理の制御としては、例えば、動きベクトル探索を行わずに読み出した動きベクトルをそのまま使用する、その逆ベクトルを使用するなどに決定すればよい。

また、予測補償部１０４から取得した符号化時動きベクトル情報に基づくベクトルを読み出した場合は、動きベクトル探索処理の制御としては、例えば、動きベクトル探索を行わずに読み出した動きベクトルをそのまま使用する、その逆ベクトルを使用する、もしくは読み込んだ動きベクトルを参考にして当該動きベクトルが示す周辺の領域に対してのみ動きベクトル探索を行うなどのいずれかに決定すればよい。

また、上記に該当する動きベクトルが動きベクトルメモリ１１４に無い場合は、動きベクトル探索処理の制御としては、例えば、新たに参照画像から動きベクトル探索を行うなどに決定すればよい。

ここで、新たに参照画像から動きベクトル探索を行う場合は、例えば、下記参考文献１に記載の技術等を用いてもよい。
〔参考文献１〕L. M. Po and WC Ma, “A Novel Four-step Search Algorithm for Fast Block.Motion Estimation,” (IEEE Trans. Circuits and System for Video Tech.,vol.6, no.3,. pp.313-317,1996.)
このようにすれば、動きベクトルメモリ１１４に保持される動きベクトルの種類に応じて、動きベクトルの探索方法を決定できる。これにより、高解像度化処理において新たに参照画像から動きベクトルを探索する回数を低減したり、動きベクトルの探索範囲を縮小したりすることが可能となる。これにより、高解像度化処理の処理量の低減や処理の高速化を好適に行うことができる。

また、動きベクトル探索を行う画素の単位としては、例えば16×16、8×8などのマクロブロック単位で行うことが望ましい。マクロブロック単位で処理を行うことで動きベクトル探索の処理量を低減、符号化時のマクロブロックと共通化することにより符号化時動きベクトル情報の活用が容易になる、サイズの異なるマクロブロックを用いることにより、時間的に移動するオブジェクトと背景の切り分けをより高精度化し、動きベクトル探索の精度を向上させることができるなどの利点がある。

図７にマクロブロックの一例を示す。図７は白色塗装の列車が走行しているシーンの画像である。列車の背景となるドット部は、例えば、建物等が数多く立ち並ぶ風景等が映っているとする。このとき、本実施例では、列車の含まれる画像はまず、１６×１６のマクロブロック３つに分割される。さらに列車の先頭部分のマクロブロックは１６×１６のサイズから、図に示すように４つの８×８のマクロブロック（７０１、７０２、７０３、７０４）に分割する。さらに列車の後方部分のマクロブロックは２つの８×１６のマクロブロックに分割する。本実施例ではこのように分割したマクロブロック単位で動きベクトルを算出する。

以上説明した本実施例でのマクロブロックの分割方法は、基本的には、H.２６４など符号化処理において用いられる技術と同様である。符号化処理と同様なマクロブロック単位を用いれば、動きベクトルメモリ１１４に保存された符号化時動きベクトル情報がより容易に使用可能になる。

また、図７のように様々なサイズのマクロブロックを扱うことができる場合、マクロブロック単位をやみくもに小さくしなくとも、移動するオブジェクトと背景との切り分けがより正確になる。すなわち図７の例では、例えば列車の先頭部において４つの８×８のマクロブロック（７０１、７０２、７０３、７０４）のうち、マクロブロック７０１を背景、マクロブロック７０２、７０３、７０４を移動するオブジェクトとして認識する。このようにすれば、１６×１６の１つのマクロブロックで移動するオブジェクトとしてとらえるときよりも、マクロブロック７０１の背景部分が除かれるため、より正確に動きベクトルが算出される。

また、図７のマクロブロック７０５のように、特にマクロブロックサイズが１６×１６でも構わないような場合は、敢えて８×８のマクロブロックに分割する必要はない。このとき、８×８のマクロブロックに分割すると、処理量が増える可能性がある。よって、図７に示すように複数のマクロブロックサイズを用いれば、より正確な動きベクトルの算出と処理量の抑制を両立できる。

以上説明したように、マクロブロックを用いた動きベクトルの算出によって、処理量を大きくすること無く、より高精度な動きベクトル探索を行うことが可能となる。よって、処理量の抑制と高画質化が両立できる。

次に、画像合成部１１５では、動き予測部１１３で得られた動きベクトルを用いて、再生対象画像に対して参照フレームの画像の位置合わせを行い、高解像度化処理対象画像の画素値を更新する。

例えば、画像合成部１１５では、対象フレームに対して前後のフレームからブロック単位で動き探索を行い、重なった領域の補間画素を参照フレームの原画素を用いて補正する。以下にこの一例を図５を用いて説明する。

図５aにおいて、I(t−1)、I(t)、I(t+1)、はそれぞれ時間t−1、t、t+1の画素補間画像を表している。さらに図５aには、画素補間画像I(t+1)を前述した動きベクトルに従って高画質化処理の対象画像たる画素補間画像I(t)に位置合わせし、重ねた時の画素を示してある。本図の例では、画素補間画像I(t)の補間画素部分（図面にてばつマークで示される画素）に、画素補間画像I(t+1)の原画素（図面にて白丸で示される画素）が重なっている。

本実施例ではこのとき、例えばI(t)の補間画素のうち、I(t+1)の原画素が重畳されている画素をI(t+1)の原画素値で更新する。このようにすれば、図５bのような高解像度画像が得られる。すなわち補間画素は画面内から推定して算出した空間的な推定値である。この補間画素を別時間における実際の画素値を用いて置換して更新することにより、推定では求めることのできない画素情報を当該補間画素に反映することができる。これにより、補間画素においてより正確な画素値を再現でき、画像を高解像度化することが可能となる。

また、上記で説明した補間画素の更新は画素値の置換により行ったが、例えば重み付け演算を行ってその結果を新たな画素値としてもよい。例えばI(t)の補間画素とI(t+1)の原画素の比を１：５の割合で足し合わせた結果を新たな画素値としてもよい。

またこのように重み付け演算を行うとき、その重みの比率を画素の種類によって変更してもよい。例えば、I(t)の補間画素の画素値とI(t+1)の原画素の画素値から新たな画素値を与えるときは、重みの比率を１：５の割合とし、これに対し、I(t)の補間画素の画素値とI(t+1)の補間画素の画素値から新たな画素値を与えるときは、重みの比率を１：１の割合としてもよい。

このようにすれば、補間画素よりも原画素を重視した高画質化処理が行われ、より高画質な高解像度画像を生成することができる。

本実施例では、以上の説明した補間画素の更新を複数の参照画像を用いて行う。例えば、参照画像の枚数を増やすなどして、対象画像の補間画素の内、参照画像の原画素から算出した画素値に置き換えた画素の比率を多くすることにより、より高画質化を図ることができる。

また、以下にさらに画像合成部１１５での処理の内容について詳細に説明する。

まず、図８に画像合成部１１５における内部の構成の一例を示す。画像重畳部８０１では、動き予測部で求めた動きベクトルを用いて参照画像中の各画素の対象画像上への位置合わせを行う。画像重畳部８０１は例えば図９に示されるように複数の参照画像に関して動きベクトルによる位置合わせを行う。

次に、画素値更新部８０２が、参照画像の画素と対象画像の画素の位置合わせ結果を用いて、対象画像の補間画素の更新を行う。このとき、まず、更新に用いる画素の選別を行ってもよい。

この画素の選別の一例を図１０aを用いて説明する。図１０aは対象画像の原画素と補間画素の３ピクセル×３ピクセルの範囲を示した図である。図１０aの例では対象画像１枚に参照画像３枚を用いて高画質化を行っている例を示している。１０００は対象画像の補間画素、画素１０００近傍に位置合わせを行った各参照画像の画素が１００１、１００２、１００３に示してある。

ここで、本実施例では、補間画素の更新に用いる候補画素の選別を距離ｓを用いることで行う。例えば図１０bに示すように、ｓは各参照画素の補間画素からの距離値である。図１０bの例では例えば対象画像の補間画素１０００に対して、画素１００１、画素１００２はそれぞれ距離ｓ(1), ｓ(2)の距離の位置にあることを示している。本実施例では、この距離ｓによる閾値を設けて、補間画素の更新に用いる候補画素の選別を行う。すなわち、例えばｓが一定距離範囲内にある画素値のみを更新に用いる候補画素とする。この一定距離の値は、設計に応じて変更して構わない。

すなわち本実施例の一例である図１０a、図１０bの例では、距離ｓの閾値として、例えば０．２ピクセル以内などと設定し、その範囲を１００４に示してある。このとき、画素１００１、画素１００２は範囲１００４に含まれるため、距離ｓは閾値以下である。よって補間画素１０００の更新に画素１００１、画素１００２を用いる。また画素１００３は範囲１００４に含まれないため、距離ｓは閾値より大きい。よって補間画素１０００の更新に画素１００３は用いないこととなる。

このように、例えば画素の更新を、位置合わせ後の対象画像の補間画素に対する参照画像の画素の距離に応じて制限を設けることにより、補間画素の更新に有効でない参照画像を排除することが可能となる。

次に、画素値更新部８０２が上記で選別された候補画素を用いて、補間画素の新たな画素値を算出する。新たな画素値の算出には予測誤差pを用いる。この予測誤差pの値に基づいて複数の参照画像の各参照画素の重み付けを行う。本実施例では、予測誤差pとして距離sを用いる。予測誤差pとしてはその他にも、動きベクトル探索を行った際の正解尤度や誤り率、動き補償された両ブロック画像の類似度（輝度差の2乗和）、対象画像と参照画像の時間差などを予測誤差として用いても良い。この予測誤差の値によって各候補画素の値に重み付けを行って足し合わせることで、補間画素の新たな画素値を決定する。

本実施例では例えば、前述の予測誤差pを用いて以下の数式１によって新たな画素値を算出する。

ここで、数式１では対象画像tの算出する新たな補間画素の更新値をv(t)´、N個の更新候補画素kの画素値をv(k)、その予測誤差値をp(k)、予測誤差pに応じた重みを決定する関数をwで表している。ここで、N個の更新候補画素は、前述した候補画素の選別を行った場合は、選別された後の候補画素である。関数wは、例えば予測誤差pが最大となるkにだけ１を出力する、予測誤差が小さい程大きな重みを出力するなどといった関数になる。この式によって画素値更新部８０２は対象画像tの補間画素の新たな画素値を算出し、画素値を更新する。なお、更新候補画素が無い場合は、例えばつまりN=0のときは画素の更新は行わず、v(t)´＝v(t)としてもよい。

画素値更新部８０２は以上のような画素値の更新を対象画像の各補間画素について行う。

なお、以上の説明においては、画素補間フィルタ１１１は、復号画像メモリ１０５と、補間画像メモリ１１２の間に配置される。この配置以外の構成として、画素補間フィルタ１１１を補間画像１１２と画像合成部１１５との間に配置するようにしてもよい。このようにすれば、補間画像メモリ１１２、動き予測部１１３において取り扱う画像のサイズは復号画像メモリ１０５から出力される復号画像と同じサイズであり、補間後の画像を取り扱うよりも各処理量が小さくなる場合がある。この場合は、動き予測部１１３に小数精度の動きベクトルを取り扱うことのできる技術、例えば、下記参考文献２に記載の技術等を用いてもよい。
〔参考文献２〕萩原 瑞木, 川又 政征 “位相限定相関を用いた画像のサブピクセル精度の位置ずれ検出”（電子情報通信学会技術研究報告 Jun, 2001）
また、このとき動き予測部１１３で算出した動きベクトルは、復号画像メモリ１０５から出力される復号画像と同じサイズでの動きベクトルであるため、画像合成部１１５で用いる際には補間された画像サイズでの動きベクトルとなるように画像サイズの調整処理を行ってから用いればよい。

以上のように画像重畳部８０１とによる画素の重ね合わせと、画素値更新部８０２の画素値の更新により、画像合成部１１５は対象画像の補間画素を参照画像の画素データを用いて更新し、高解像度化した対象画像の高画質化を行う。

以上説明した実施例によれば、画像処理装置は、入力された画像信号から、高画質な高解像度画像を得ることが可能となる。例えば、動画像において物体の動いているシーンでは、フレーム間の微小なサンプリング位置のずれをによって、エッジやテクスチャをより高精細に再現できる可能性がある。

また以上説明した実施例によれば、一度符号化されたデータであっても高解像度化が可能であり、さらに高解像度化処理の処理量を好適に低減できる。

次に、本発明の第２の実施の形態について説明する。

図１１に第２の実施例の画像処理装置の一例を示す。図１１の画像処理装置は、実施例１の画像処理装置と、画像合成部での画素更新の処理後にもう一度画素補間フィルタ処理をかける構成になっている点で相違する。

実施例１では、画像合成部１１５における画素の更新処理において更新候補画素が無い場合は、当該補間画素は更新されない。

そこで本実施例では、原画素と更新された画素を用いた画素補間フィルタ処理によって、当該更新されない補間画素を更新する。これによって、更なる高画質化を実現する。すなわち本実施例では、2度目の画素補間フィルタ１１１への入力画像は、画像合成部で補間画素の値が参照画像の原画素によって更新されることで高解像度化された画像である。

ここで、2度目の画素補間フィルタでの処理の一例を図１２に示す。図１２は４つの原画素（１２０１、１２０２、１２０３、１２０４）と、これらに囲まれた補間画素５つ（１２０５、１２０６、１２０７、１２０８、１２０９）を示している。ここで、１度目の補間画素フィルタ処理では、４つの原画素（１２０１、１２０２、１２０３、１２０４）の画素値から、補間画素１２０５、１２０6、１２０７、１２０８の画素値が生成され、補間画素１２０５、１２０6、１２０７、１２０８の画素値から補間画素１２０９の画素値が生成される。

次に、画像合成部１１５の処理後、補間画素１２０５、１２０８の画素値が実施例１にて説明したように更新されたとする。

本実施例では、画像合成部１１５の処理後の画像データを再び画素補間フィルタ１１１へ入力し、２度目の補間画素フィルタ処理が行われる。このとき、２度目の補間画素フィルタ処理では、例えば、１度目の補間画素フィルタ処理において補間画素の画素値の補間処理により画素値が算出された画素（本実施例では画素１２０９）を画素値算出の対象とする。すなわち、当該画像合成部１１５の処理によって更新された画素の画素値を用いて、当該画素の位置の補間画素値を算出する。この算出した画素値で当該画素の１度目の補間画素フィルタ処理において得られた画素値を更新する。

１度目の補間画素フィルタ処理において得られた画素値よりも、画像合成部１１５で更新した画素値のほうが、より高解像度の情報が含まれている。そのため、２度目の補間画素フィルタ処理を行うことにより、さらに画像の高画質化を図ることができる。

また、本実施例の１度目の補間画素フィルタ処理は、実施例１と同様に補間画像１１２と画像合成部１１５との間で行われるように、画素補間フィルタ１１１を配置するようにしてもよい。この場合の効果等は、実施例１の説明と同様である。

以上説明した実施例によれば、画像処理装置は、入力された画像信号から、高画質な高解像度画像を得ることが可能となる。

また以上説明した実施例によれば、一度符号化されたデータであっても高解像度化が可能であり、さらに高解像度化処理の処理量を好適に低減できる。

次に、本発明の第３の実施の形態について説明する。

本発明の第３の実施の形態は、符号化／復号化処理部と高解像度化処理部とを備えた画像処理装置を好適に実現するものである。

まず、従来の映像信号の符号化部の一例に関して図１３を用いて説明する。図１３の符号化部１３００において、原画像メモリ１３０１はこれから符号化する画像情報を格納している。画像予測部１３０２は内部に画像補間フィルタ１３０７と動き予測部１３０８を備える。また予測画像メモリ１３０６は符号化に用いる予測画像が格納されている。

ここで、画像予測部１３０２は原画像メモリ１３０１から符号化対象の画像情報を取得し、予測画像メモリ１３０６から予測画像情報を取得する。次に画像予測部１３０２は両者の画像の全部もしくはマクロブロック等の一部分を画像補間フィルタ１３０７を用いて拡大し、拡大した画像を用いて動き予測フィルタ１３０８によって、動きベクトルと予測マクロブロックを得る。

次に変換量子化部１３０３は、画像予測部１３０２が得た予測マクロブロックを用いて、DCT係数を算出する。ここで、変換量子化部１３０３は算出したDCT係数と取得した動きベクトルと予測マクロブロックを逆量子化・逆変換部１３０５に出力する。逆量子化・逆変換部１３０５はこれらの入力信号から予測画像を生成し、予測画像メモリ１３０６に格納する。

また、変換量子化部１３０３は取得した動きベクトルと算出したDCT係数を符号出力部１３０４に出力する。符号出力部１３０４は入力された動きベクトルとDCT係数から符号化画像信号を生成し、出力する。

以上のように従来の符号化部の一例である符号化部１３００は、映像信号を符号化して出力する。

実施例１または２の画像処理装置に符号化処理機能をさらに持たせようとした場合、上記のように説明した従来の符号化部１３００をさらに備えればよい。

ここで、本実施例においては、実施例１または２の画像処理装置に符号化処理機能をさらに持たせるときに、実施例１または２の画像処理装置の高解像度化処理部１１０の画素補間フィルタ１１１と動き予測部１１３と、図１３の符号化部１３００の画素補間フィルタ１３０７と動き予測部１３０８をそれぞれ共通の処理によって行うようにし、これらをそれぞれ共通の部分で実施することにより、回路規模の小型化を図るものである。

図１４に第３の実施例の画像処理装置の一例を示す。図１４は、符号化部１３００と復号化部１００と高解像度化処理部１１０とを備えた画像処理装置を示している。図１４における復号化部１００と高解像度化処理部１１０は、図１にて説明した復号化部１００と高解像度化処理部１１０と同様の復号処理動作または高解像度処理動作を行うことができる。符号の同一な各部の働きは図１と同様である。また、図１４における符号化部１３００は、図１３にて説明した従来の符号化部１３００と同様の符号化処理の動作を行うことができる。符号の同一な各部の働きは図１３と同様である。

図１４において図１もしくは図１３と異なる点は、画素補間フィルタ１４０１と動き予測部１４０２が、符号化部１３００の画像予測部１３０２と高解像度化処理部１１０とで共有となっている点である。

すなわち、本実施例においては、画素補間フィルタ１４０１と動き予測部１４０２はそれぞれ、符号化部１３００の構成要素、高解像度化処理部１１０の構成要素とアクセスすることが可能である。また画素補間フィルタ１４０１と動き予測部１４０２間でも互いにアクセス可能である。よって、本実施例の画素補間フィルタ１４０１と動き予測部１４０２はそれぞれ、符号化部１３００の符号化処理における画素補間フィルタ処理、動きベクトル算出処理が実施可能である。また、本実施例の画素補間フィルタ１４０１と動き予測部１４０２はそれぞれ、高解像度化処理部１１０の高解像度化処理における画素補間フィルタ処理、動きベクトル算出処理が実施可能である。

画素補間フィルタ１４０１と動き予測部１４０２の共有化のために、本実施例では、例えば画素補間フィルタ１４０１は、符号化部１３００の原画像メモリ１３０１と予測画像メモリ１３０６の出力信号を入力できるように構成され、画素補間フィルタ１４０１が含まれる画像予測部１３０２から変換量子化部１３０３にデータを出力することができるように構成されている。かつ、画素補間フィルタ１４０１は、復号化部１００の復号画像の信号を入力できるように構成され、高解像度化処理部１１０の補間画像メモリ１１２に画像補間フィルタ処理後の画像を出力することができるように構成されている。

また、画素補間フィルタ１４０１と動き予測部１４０２の共有化のために、本実施例では、例えば、動き予測部１４０２は、符号化部１３００の原画像メモリ１３０１と予測画像メモリ１３０６の出力信号を入力できるように構成され、また画像補間フィルタ１４０２と信号を入出力できるように構成され、動き予測部１４０２が含まれる画像予測部１３０２から変換量子化部１３０３にデータを出力することができるように構成されている。かつ、動き予測部１４０２は、高解像度化処理部１１０の動きベクトルメモリ１１４と信号を入出力できるように構成され、補間画像メモリ１１２から信号を入力できるように構成され、画像合成部１１５に動きベクトル等の信号を出力できるように構成されている。

以上説明した構成によれば、符号化部１３００の画像予測処理と高解像度化処理部１１０の高解像度化処理における画素補間フィルタ処理、動きベクトル算出処理をそれぞれ共有の画素補間フィルタ１４０１と動き予測部１４０２によって行うことが可能である。

このとき、回路の構成の小型化のために画素補間フィルタ１４０１と動き予測部１４０２の処理の仕様は符号化部１３００の画像予測処理と高解像度化処理部１１０の高解像度化処理において共通の仕様にしておくことが望ましいが、共有の画素補間フィルタ１４０１と動き予測部１４０２を用いることができれば、異なる処理を行ってもよい。また共通の仕様とする場合は、高解像度化処理部１１０による動きベクトルの算出精度が向上し、より高画質な高解像度映像を生成することが可能となる。

また図１４の例では、高解像度化処理部１１０は実施例１の構成であるが、実施例２の構成としてもよい。この場合は画像合成部１１５の出力が再度、画素補間フィルタ１４０１に入力され、画素補間フィルタ処理後に出力される。処理の詳細は実施例２と同様である。

また、画素補間フィルタ１４０１と動き予測部１４０２は、符号化部１３００と高解像度化処理部１１０の両者の処理に用いられるが、これらの制御は図示しない制御部によって、処理の実施配分やタイミング等を制御すればよい。

以上説明したように、本実施例によれば、画像符号化処理と復号化処理と高解像度化処理を実行可能で回路規模が小型な画像処理装置を実現することが可能となる。例えば、本実施例の画像処理装置の高解像度化処理部では補間フィルタと動き探索機能はエンコーダ（符号化部）と同じものを利用しているため、コーデックにおいてこれらの機能を共有することにより、比較的少ない回路規模の追加によって高解像度化機能を持つデコーダ（復号化部と高解像度化処理部）を実現できる。

また以上説明した実施例によれば、一度符号化されたデータであっても高解像度化が可能である。

また、以上説明した実施例はいずれを組み合わせて用いても、本発明の１つの実施の形
態となりえる。

以上説明した本発明の画像処理装置によれば、高画質な高解像度画像をユーザに提供することが可能となる。

また、画像符号化処理と復号化処理と高解像度化処理を実行可能で回路規模が小型な画像処理装置を好適に実現することが可能となる。

また、以上説明した発明の一実施例の高解像度化方式の基本的な性能を実験により検証すると以下のようなる。

まず、発明の一実施例における確認実験の方法の概要を図15に示す。まずCIF サイズの原画像をQCIF サイズに縮小し、これをH.264/AVC にて符号化・復号化し復号画像を得る。これを補間フィルタのみで拡大した場合と、本発明の一実施例の構成を用いて高解像度化した場合についてCIF サイズの原画像に対するレート歪特性を比較した。実験には参照ソフトウェアJM10.2 と標準動画像Mobile and Calendar を用いた。Main Profile にてN=15, M=3とし固定QP で238 フレームを符号化した。原画像の縮小には下記参考文献３に開示される方式を用いた。
〔参考文献３〕映メ学会 : "ハイビジョン、標準テレビジョン方式及びSIF 画像システム評価用標準動画像 解説書", (2003)
本確認実験による高画質化の効果の結果はPSNR（peak signal-to-noise ratio）の値で評価を行った。補間フィルタのみの場合と本発明の一実施例の構成を用いて高解像度化した場合を比較すると、ビットレートが200kbps〜1100kbpsの範囲において0.01dB 程度のゲインがあった。高周波成分が減衰している復号画像でも改善する結果となった。特にエッジ部分が多く比較的小さな動きを含む画像には効果が確認された。

本発明の一実施例による画像処理装置のブロック図の一例 本発明の一実施例による高解像度化処理の一例 本発明の一実施例による画素補間フィルタ処理の一例 本発明の一実施例に用いる動きベクトルの一例 本発明の一実施例による画像の位置合わせの一例 本発明の一実施例による出力される高解像度画像の一例 本発明の一実施例による動き予測部の処理の一例 本発明の一実施例によるマクロブロックの一例 本発明の一実施例による画像合成部のブロック図の一例 本発明の一実施例による動きベクトルによる位置合わせの一例 本発明の一実施例による画素の位置合わせと更新候補画素の選別の一例 本発明の一実施例による更新候補画素の画素値と予測誤差の一例 本発明の一実施例による画像処理装置のブロック図の一例 本発明の一実施例による画素補間フィルタ処理と画素更新処理の一例 従来の符号化処理装置のブロック図の一例 本発明の一実施例による画像処理装置のブロック図の一例 本発明の一実施例による確認実験の方法の一例

符号の説明

１００…復号化部、１０１…ストリーム解析部、１０２…係数解析部、１０３…逆量子化・逆変換部、１０４…予測補償部、１０５…復号画像メモリ、１０６…予測画像メモリ、１１０…高解像度化処理部、１１１…画素補間フィルタ、１１２…補間画像メモリ、１１３…動き予測部、１１４…動きベクトルメモリ、１１５…画像合成部、３０１…画素、３０２…画素、３０３…画素、３０４…画素、３０５…画素、３０６…画素、３０７…画素、３０８…画素、３０９…画素、３１０…画素、３１１…画素、３１２…画素、３１３…画素、３１４…画素、４０１…画像フレーム、４０２…画像フレーム、４０３…画像フレーム、４０４…画像フレーム、６０１…ステップ、６０２…ステップ、６０３…ステップ、７０１…マクロブロック、７０２…マクロブロック、７０３…マクロブロック、７０４…マクロブロック、７０５…マクロブロック、８０１…画像重畳部、８０２…画素値更新部１０００…画素、１００１…画素、１００２…画素、１００３…画素、１００４…範囲、１２０１…画素、１２０２…画素、１２０３…画素、１２０４…画素、１２０５…画素、１２０６…画素、１２０７…画素、１２０８…画素、１２０９…画素、１３００…符号化部、１３０１…原画像メモリ、１３０２…画像予測部、１３０３…変換量子化部、１３０４…符号出力部、１３０５…逆量子化・逆変換部、１３０６…予測画像メモリ、１３０７…画像補間フィルタ、１３０８…動き予測部、１４０１…画像補間フィルタ、１４０２…動き予測部

Claims (18)

1. 複数の画像の信号が入力される画像処理装置であって、
   動きベクトルを算出する動き予測部と、
   入力画像の画素から補間画素を生成し拡大画像を生成する画素補間フィルタと、
   入力された複数の画像もしくは該入力された複数の画像の拡大画像を用いて該動き予測部が算出した複数の動きベクトルと、該入力された複数の画像に対して該画素補間フィルタが生成した複数の拡大画像とを用いて、該複数の拡大画像のうち一の拡大画像の補間画素の画素値を変更する画素値更新部を備える
   ことを特徴とする画像処理装置。
2. 請求項２に記載の画像処理装置であって、
   入力された複数の画像は映像信号における時間的に前後関係のある複数のフレームの画像であり、
   該複数のフレームは、画像処理の対象である対象画像フレームを一つを含み、該対象画像フレームよりも時間的に前のフレームである参照画像フレームを少なくとも一つ以上含み、該対象画像フレームよりも時間的に後のフレームである参照画像フレームを少なくとも一つ以上含み、
   前記画素補間フィルタは、該対象画像フレームの画像と該参照画像フレームの画像から拡大画像を生成し、
   前記動き予測部は、該対象画像フレームの画像に対する該参照画像フレームの画像からの動きベクトルを算出し、
   前記画素値更新部は、該対象画像フレームの画像から生成された拡大画像のすくなくとも一部の画素値を、該参照画像フレームの画像から生成された拡大画像と算出された該参照画像フレームの動きベクトルとを用いて更新する
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   さらに、前記動き予測部が算出した動きベクトルを記憶しておく動きベクトルメモリをされに備え、
   前記画像処理装置は前記画素補間フィルタの拡大画像生成処理と前記動き予測部の動きベクトル算出処理と前記画素値更新部の画素更新処理の画像処理を一の対象画像について行った後、入力される映像信号の複数のフレームを新たな対象画像フレームを設定して、該画像処理をおこなうとき、
   前記動き予測部は該動きベクトルメモリに記憶された動きベクトルを用いる
   ことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記画素値更新部が画素値の更新に用いる参照画像フレームは複数あり、
   該複数の参照画像フレームのうち、前記対象画像フレームよりも時間的に後のフレームである参照画像フレームよりも、前記対象画像フレームよりも時間的に前のフレームである参照画像フレームの方が多い
   ことを特徴とする画像処理装置。
5. 請求項３に記載の画像処理装置であって、
   前記動きベクトルメモリは、さらに外部から入力される動きベクトルを記憶し、
   前記動き予測部は、前記動きベクトルメモリから取得する動きベクトルの有無もしくは種類によって、動きベクトルの算出方法を異ならせる
   ことを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置であって、
   入力される複数の画像の信号は復号された画像の信号であり、
   さらに符号化時の動きベクトルが入力され、
   前記動き予測部は該符号化時の動きベクトルを用いて新たな動きベクトルを算出する
   ことを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置であって、
   入力される複数の画像の信号は復号された画像の信号であり、
   さらに符号化時の動きベクトルが入力され、
   前記動き予測部は該符号化時の動きベクトルを新たな動きベクトルとする
   ことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置であって、
   前記動き予測部は前記符号化時のマクロブロック単位で動きベクトルの算出を行うことを特徴とする
   ことを特徴とする画像処理装置。
9. 複数の画像の信号を入力される画像処理装置であって、
   該複数の画像の信号が入力され、各入力画像の画素から補間画素を生成し複数の拡大画像を生成する画素補間フィルタと、
   該複数の拡大画像のうち一の画像を対象画像とし、その他の画像を参照画像として該対象画像に対する各参照画像の動きベクトルを算出する動き予測部と、
   該複数の拡大画像と該動きベクトルを用いて、該対象画像の画素値を変更する画素値更新部を備える
   ことを特徴とする画像処理装置。
10. 請求項９に記載の画像処理装置であって、
    前記画素値更新部が画素値を変更する画素は前記対象画像の補間画素の一部であって、
    さらに前記画素値更新部は該変更した前記対象画像を前記画素補間フィルタに入力し、
    前記画素補間フィルタは前記対象画像の補間画素のうち前記画素値更新部が画素値を変更していない補間画素の画素値を、前記対象画像のその他の画素の画素値を用いた画素補間フィルタ処理によって更新することを特徴とする画像処理装置。
11. 請求項９に記載の画像処理装置であって、
    入力される複数の画像の信号は符号化された画像の信号であり、
    さらに復号化部を備え、
    該復号化部は該符号化された画像の信号を復号化し、復号した画像の信号を前記画素補間フィルタに入力することを特徴とする画像処理装置。
12. 請求項１１に記載の画像処理装置であって、
    前記動き予測部は、前記復号化部が前記符号化された画像の信号から取得した動きベクトルを用いて新たな動きベクトルを算出する
    ことを特徴とする画像処理装置。
13. 請求項１１に記載の画像処理装置であって、
    前記動き予測部は前記符号化時のマクロブロック単位で動きベクトルの算出を行うことを特徴とする
    ことを特徴とする画像処理装置。
14. 請求項９に記載の画像処理装置であって、
    さらに画素重畳部を備え、
    該画素重畳部は前記動きベクトルを用いて、前記対象画像の画素に前記複数の参照画像の画素を重畳し、
    前記画素値更新部は、前記対象画像の一の画素に対して該画素重畳部が重畳した複数の参照画像の画素のうち、該一の画素との距離が所定の値以下の画素の画素値を用いて、該一の画素の画素値を更新する
    ことを特徴とする画像処理装置。
15. 請求項９に記載の画像処理装置であって、
    前記画素値更新部は、前記対象画像の一の画素に対して前記複数の参照画像の画素の画素値に該各参照画像もしくは各参照画像の動きベクトルに関するパラメータに応じた重み付けを行って算出した値を用いて、該一の画素の画素値を更新する
    ことを特徴とする画像処理装置。
16. 請求項９に記載の画像処理装置であって、
    さらに画素重畳部を備え、
    該画素重畳部は前記動きベクトルを用いて、前記対象画像の画素に前記複数の参照画像の画素を重畳し、
    前記画素値更新部は、前記対象画像の一の画素に対して該画素重畳部が重畳した複数の参照画像の画素の画素値に、該参照画像の画素と該一の画素との距離に応じた重みづけを行って算出した値を用いて、該一の画素の画素値を更新する
    ことを特徴とする画像処理装置。
17. 請求項９に記載の画像処理装置であって、
    前記動き動き予測部は動きベクトルの算出時にさらに該動きベクトルの誤り率を算出し、
    前記画素値更新部は、前記対象画像の一の画素に対して前記複数の参照画像の画素の画素値に各参照画像の動きベクトルの誤り率に応じて重み付けを行って算出した値を用いて、該一の画素の画素値を更新する
    ことを特徴とする画像処理装置。
18. 画像信号に符号化処理を行って、符号化された信号を出力する符号化部と、
    該画像信号とは別に入力された複数の復号画像の画素の補間画素を生成し、複数の拡大画像を生成し、該複数の拡大画像間の動きベクトルを算出し、複数の拡大画像と該複数の拡大画像間の動きベクトルを用いて、該複数の拡大画像の一の拡大画像の画素の画素値を更新する高解像度化処理を行い、高解像度化された画像信号を出力する
    高解像度化部とを備え、
    該符号化部は画像信号の符号化処理において、画像補間フィルタ処理と動きベクトル算出処理を行い、
    該高解像度化部は高解像度化処理において、画像補間フィルタ処理と動きベクトル算出処理行い、
    該符号化部と該高解像度化部の画像補間フィルタ処理とを実施する画像補間フィルタと、
    該符号化部と該高解像度化部の動きベクトル算出処理とを実施する動き予測部とを備える
    ことを特徴とする画像処理装置。
    

Images