JP2008053848A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】超解像処理によるフレーム間処理の処理量を軽減すると共に、より高速に行なうことができるようにする。
【解決手段】本発明の画像処理装置は、圧縮符号化された入力画像の圧縮符号化画像データを取り込み、圧縮符号化画像データに基づいて復号画像を形成する復号画像形成手段と、復号画像形成手段により形成された復号画像の画像データに基づいて、各フレームの解像度を拡張した拡張画像を形成するフレーム内拡張処理手段と、圧縮符号化画像データに含まれている入力画像の直交変換の係数データの大きさに基づいて、復号画像列に対するフレーム間拡張処理の有効性を判定する係数判定手段と、係数判定手段によりフレーム間拡張処理が有効であると判定した場合、フレーム内拡張手段により解像度が拡張された拡張画像情報に基づいてフレーム間拡張処理を行なうフレーム間拡張処理手段とを備えることを特徴とする。
【選択図】 図１

Description

本発明は、画像処理装置及び画像処理方法に関し、例えば、ＭＰＥＧの標準化技術により圧縮符号化処理された入力画像よりも解像度を高くして高解像度画像を出力する超解像処理機能を有する画像処理装置及び画像処理方法に適用し得る。

従来、ＭＰＥＧの標準化技術により圧縮符号化された画像の圧縮符号化データ（以下、ＭＰＥＧデータともいう）の復号画像列に対して超解像処理によるフレーム間処理を行なうためには、現処理対象画像と参照画像との間で動き探索を行ない、動きベクトルの検出とその有効性を判定する必要がある。

ここで、超解像処理とは、入力画像の解像度よりも高い解像度の画像を出力する処理をいい、複数枚の低解像度画像と画像間の推定動き量とに基づいて入力画像を高解像度画像に拡張している。この動き量の推定をするためには、動き探索をすることと、それにより得られた動きベクトルの有効性を判定することが必要となる。

特許文献１は、監視用カメラが撮影した画像データを高精細画像データにして記憶する映像記録システムについて記載されており、その具体的な内容は、カメラ映像データをＭＰＥＧの標準化技術で圧縮符号化するＭＰＥＧ処理部がマクロブロックと動きベクトルとフレームデータ（Ｉフレーム又はＰフレーム）を超解像処理部に与え、超解像処理部がこれらのデータに基づいて超解像処理を行なうことで高精細画像データを出力し、記憶させる。

特開２００５−１５０８０８号公報

しかしながら、上述したように、復号されたＭＰＥＧデータの復号画像列に対して、超解像処理によるフレーム間処理を行なうためには、処理負荷の大きい動き探索処理を行なうことが必要であった。また、超解像処理によるフレーム間処理を行なうか否かを判定するためには、動きベクトルに基づく所定の判定処理が必要であった。従って、超解像処理のフレーム間処理を行なうためには、多大な処理量が必要であるため、この処理量を軽減することが望まれている。

そのため、超解像処理によるフレーム間処理の処理量を軽減すると共に、より高速に行なうことができる画像処理装置及び画像処理方法が求められている。

かかる課題を解決するために、第１の本発明の画像処理装置は、（１）圧縮符号化された入力画像の圧縮符号化画像データを取り込み、圧縮符号化画像データに基づいて復号画像を形成する復号画像形成手段と、（２）復号画像形成手段により形成された復号画像の画像データに基づいて、各フレームの解像度を拡張した拡張画像を形成するフレーム内拡張処理手段と、（３）圧縮符号化画像データに含まれている入力画像の直交変換の係数データの大きさに基づいて、復号画像列に対するフレーム間拡張処理の有効性を判定する係数判定手段と、（４）係数判定手段によりフレーム間拡張処理が有効であると判定した場合、フレーム内拡張手段により解像度が拡張された拡張画像情報に基づいてフレーム間拡張処理を行なうフレーム間拡張処理手段とを備えることを特徴とする。

第２の本発明の画像処理方法は、（１）復号画像形成手段が、圧縮符号化された入力画像の圧縮符号化画像データを取り込み、圧縮符号化画像データに基づいて復号画像を形成する復号画像形成工程と、（２）フレーム内拡張処理手段が、復号画像形成手段により形成された復号画像の画像データに基づいて、各フレームの解像度を拡張した拡張画像を形成するフレーム内拡張処理工程と、（３）係数判定手段が、圧縮符号化画像データに含まれている入力画像の直交変換の係数データの大きさに基づいて、復号画像列に対するフレーム間拡張処理の有効性を判定する係数判定工程と、（４）フレーム間拡張処理手段が、係数判定手段によりフレーム間拡張処理が有効であると判定した場合、フレーム内拡張手段により解像度が拡張された拡張画像情報に基づいてフレーム間拡張処理を行なうフレーム間拡張処理工程とを備えることを特徴とする。

本発明の画像処理装置及び画像処理方法によれば、超解像処理によるフレーム間処理の処理量を軽減すると共に、より高速に行なうことができる。

（Ａ）第１の実施形態
以下、本発明の画像処理装置及び画像処理方法の第１の実施形態を図面を参照しながら説明する。

第１の実施形態は、ＭＰＥＧの標準化技術により圧縮符号化された圧縮符号化データ（ＭＰＥＧデータ）を取り込み、その復号データに対して超解像処理を行ない、高解像度画像を出力表示する画像装置に、本発明の画像処理装置及び画像処理方法を適用した場合を説明する。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の画像装置の内部構成を示すブロック図である。図１に示すように、第１の実施形態の画像装置は、符号読取部１０１、動き補償部１０２、参照画像バッファ部１０３、フレーム内予測部１０４、係数判定部１０５、係数変換部１０６、現画像バッファ部１０７、フレーム内拡張部１０８、拡張画像バッファ部１０９、フレーム間拡張部１１０、表示部１１１、合成部１１２、を少なくとも有して構成される。

符号読取部１０１は、図示しない送信側からＭＰＥＧの標準化技術により圧縮符号化された画像のＭＰＥＧデータを受け取り、そのＭＰＥＧデータから予測データ及び係数データを読み取るものである。

このとき、符号読取部１０１は、ＭＰＥＧデータがイントラ予測符号化されたものである場合、読み取った予測データをフレーム内予測部１０４に与え、又ＭＰＥＧデータがインター予測符号化されたものである場合、読み取った予測データを動き補償部１０２及びフレーム間拡張部１１０に与えるものある。

また、符号読取部１０１は、ＭＰＥＧデータがインター予測符号化されたものである場合、読み取った各インターブロックの係数データを係数判定部１０５に与えるものである。

動き補償部１０２は、符号読取部１０１からの予測データ（インター予測符号データ）に基づいて動き補償をするものである。すなわち、動き補償部１０２は、符号読取部１０１から予測データ（インター予測符号化データ）を受け取ると、参照画像バッファ部１０３から参照画像データを受け取り、参照画像データに予測データ（インター予測符号化データ）を加算することで新しい再生画像データを形成し、その再生画像データを合成部１１２に与えるものである。

参照画像バッファ部１０３は、過去の再生画像（参照画像）データを蓄積するものであり、動き補償部１０２及びフレーム間拡張部１１０と接続し、適宜参照画像データを動き補償部１０２及びフレーム間拡張部１１０に与えるものである。

フレーム内予測部１０４は、符号読取部１０１から予測データ（イントラ予測符号化データ）を受け取ると、現画像バッファ部１０７から現画像データを受け取り、当該現画像データのフレーム内予測を行なうものである。

係数判定手段１０５は、予め閾値が設定されており、符号読取部１０１からインターブロックの係数データを受け取ると、各インターブロックの係数データの絶対値を求め、その各インターブロックの係数データの絶対値と閾値とを比較し、すべてのインターブロックの係数データの絶対値が閾値より小さければ有効とする判定結果をフレーム間拡張部１１０に与え、そうでなければ無効とする判定結果をフレーム間拡張部１１０に与えるものである。また、係数判定手段１０５は、符号読取部１０１から受け取った各インターブロックの係数データを係数変換部１０６に与える。

係数変換部１０６は、係数判定部１０５から各インターブロックの係数データを受け取ると、受け取った各インターブロックの係数データに対して逆変換処理を行ない、その逆変換により得たデータを合成部１１２に与えるものである。

合成部１１２は、動き補償部１０２、フレーム内予測部１０４及び係数変換部１０６と接続しており、動き補償部１０２、フレーム内予測部１０４及び係数変換部１０６から与えられたデータを合成して再生画像データを形成するものであり、形成した再生画像データを現画像データとして現画像バッファ部１０７に与えるものである。

現画像バッファ部１０７は、現画像データを蓄積するものであり、フレーム内拡張部１０８及びフレーム間拡張部１１０に接続し、適宜現画像データをフレーム内拡張部１０８及びフレーム間拡張部１１０に与えるものである。また、現画像バッファ部１０７は、合成部１１２により合成された現画像データを受け取るたびに、蓄積していた現画像データを参照画像バッファ部１０３に与えて参照画像データとして蓄積させるものである。

フレーム内拡張部１０８は、現画像バッファ部１０７から現画像データを受け取り、受け取った現画像データに対して超解像処理による所定のフレーム内処理を行ないフレーム内の解像度を拡張した拡張画像データを形成し、その拡張画像を拡張画像バッファ部１０９に与えるものである。なお、フレーム内拡張部１０８が現画像データに対して行なうフレーム内処理の方法は、既存の超解像処理によるフレーム内処理を適用することができるから、ここでの詳細な説明は省略する。

拡張画像バッファ部１０９は、フレーム内拡張部１０８からの拡張画像データを蓄積するものであり、蓄積している拡張画像データをフレーム間拡張部１１０に与えるものである。

フレーム間拡張部１１０は、解像度が拡張された現画像データと１フレーム前の参照画像データとに基づいて超解像処理による所定のフレーム間処理を行なうものであり、係数判定部１０５による判定結果が有効であるときは超解像処理によるフレーム間処理を行なうものとし、係数判定部１０５による判定結果が無効であるときは超解像処理によるフレーム間処理を行なわないものとする。

つまり、係数判定部１０５の判定結果が有効である場合、フレーム間拡張部１１０は、拡張画像バッファ部１０９から解像度が拡張された１フレーム前の参照画像データと解像度が拡張された現画像データとを受け取り、また符号読取部１０１から予測データを受け取り、ＭＰＥＧデータの動きベクトルを超解像処理のフレーム間拡張の動きベクトルとして、超解像処理を行なう。

表示部１１１は、フレーム間拡張部１１０から与えられた画像を受け取り、その画像を出力表示するものである。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の画像装置２０における画像処理動作を図１を用いて説明する。

まず、ＭＰＥＧデータが符号読取部１０１に与えられると、符号読取部１０１により係数データ及び予測データが読み取られる。

符号読取部１０１において、ＭＰＥＧデータがイントラ予測符号化データであるときには、予測データはフレーム内予測部１０４に与えられ、ＭＰＥＧデータがインター予測符号化データであるときには、予測データは動き補償部１０２及びフレーム間拡張部１１０に与えられる。

イントラ予測符号化データである場合、符号読取部１０１に読み取られた予測データは、フレーム内予測部１０４に与えられ、フレーム内予測部１０４により通常のイントラ予測符号化に対する復号処理が行なわれ復号画像データとする。

そして、フレーム内予測部１０４により復号された復号画像データは合成部１１２を介して合成されて、再生された再生画像データが現画像バッファ部１０７に蓄積される。

また、インター予測符号化データである場合、符号読取部１０１に読み取られた予測データは、動き補償部１０２に与えられ、動き補償部１０２により参照画像データに加算され復号画像データが形成され、再生された再生画像データが現画像バッファ部１０７に蓄積される。

現画像バッファ部１０７に蓄積された復号画像データは、フレーム内拡張部１０８に与えられ、フレーム内拡張部１０８により超解像処理のフレーム内拡張処理が行なわれる。そして、フレーム内拡張部１０８により拡張された復号画像データは拡張画像として拡張画像バッファ部１０９に蓄積される。

インター予測符号化データの場合、符号読取部１０１により読み取られた各インターブロックの係数データは、係数判定部１０５に与えられ、係数判定部１０５により絶対値化される。

そして、各インターブロックの係数データの絶対値は係数判定部１０５により閾値と比較され、インターブロックの係数データの絶対値がすべて閾値より小さいとき、有効とする判定結果が係数判定部１０５からフレーム間拡張部１１０に与えられる。一方、そうでないとき、無効とする判定結果が係数判定部１０５からフレーム間拡張部１１０に与えられる。

係数判定部１０５からの判定結果がフレーム間拡張部１１０に与えられると、フレーム間拡張部１１０は係数判定部１０５からの判定結果に応じて超解像処理のフレーム間拡張処理をするか否かを判断する。

すなわち、判定結果が有効ならば、フレーム間拡張部１１０は、拡張画像バッファ部１０９から１フレーム前の拡張された復号画像データと現在の拡張された復号画像データを受け取り、また符号読取部１０１から予測データを受け取りＭＰＥＧデータの動きベクトルを超解像処理のフレーム間拡張の動きベクトルとして使用し超解像処理を行なう。そして、フレーム間拡張部１１０によりフレーム間拡張処理がなされた画像データは、表示部１１１に与えられて出力表示される。

一方、判定結果が無効ならば、フレーム間拡張部１１０は、拡張画像バッファ部１０９から１フレーム前の拡張された復号画像データを受け取り、超解像処理のフレーム間拡張を行なわず、その復号画像データを表示位置１１１に画像データを与え、出力表示させる。

（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、動き探索を行なわずに超解像処理のフレーム間処理を行なうことができるため、処理量の軽減が期待できる。さらに超解像処理における各動きベクトルの有効性の判定を残差信号を各画素について判定するかわりに符号化周波数係数の絶対値で判定するため、高速化を期待することができるのである。

（Ｂ）他の実施形態
上述した第１の実施形態で説明した機能は、ＣＰＵ等のハードウェアの実行によるソフトウェア処理により実現することができる。また、ハードウェアとして実現してもよい。

上述した第１の実施形態において、係数判定部１０５は、係数データの絶対値を取り、係数データの絶対値と閾値の比較により判定することとしたが、係数データの大きさに基づいて判定することができれば、係数データの２乗値に基づいて判定してもよいし、これ以外の演算結果に基づいて判定してもよい。

第１の実施形態の画像装置の内部構成を示すブロック図である。

符号の説明

１００…画像装置、１０１…符号読取部、１０２…動き補償部、１０３…参照画像バッファ部、１０４…フレーム内予測部、１０５…係数判定部、１０６…係数変換部、１０７…現画像バッファ部、１０８…フレーム内拡張部、１０９…拡張画像バッファ部、１１０…フレーム間拡張部、１１１…表示部、１１２…合成部。

Claims (3)

1. 圧縮符号化された入力画像の圧縮符号化画像データを取り込み、上記圧縮符号化画像データに基づいて復号画像を形成する復号画像形成手段と、
   上記復号画像形成手段により形成された上記復号画像の画像データに基づいて、各フレームの解像度を拡張した拡張画像を形成するフレーム内拡張処理手段と、
   上記圧縮符号化画像データに含まれている上記入力画像の直交変換の係数データの大きさに基づいて、上記復号画像列に対するフレーム間拡張処理の有効性を判定する係数判定手段と、
   上記係数判定手段によりフレーム間拡張処理が有効であると判定した場合、上記フレーム内拡張手段により解像度が拡張された拡張画像情報に基づいてフレーム間拡張処理を行なうフレーム間拡張処理手段と
   を備えることを特徴とする画像処理装置。
2. 上記フレーム間拡張処理手段は、上記圧縮符号化画像データに含まれている動きベクトルを、フレーム間拡張のための動きベクトルとして使用することを特徴とする請求項１に記載の画像処理装置。
3. 復号画像形成手段が、圧縮符号化された入力画像の圧縮符号化画像データを取り込み、上記圧縮符号化画像データに基づいて復号画像を形成する復号画像形成工程と、
   フレーム内拡張処理手段が、上記復号画像形成手段により形成された上記復号画像の画像データに基づいて、各フレームの解像度を拡張した拡張画像を形成するフレーム内拡張処理工程と、
   係数判定手段が、上記圧縮符号化画像データに含まれている上記入力画像の直交変換の係数データの大きさに基づいて、上記復号画像列に対するフレーム間拡張処理の有効性を判定する係数判定工程と、
   フレーム間拡張処理手段が、上記係数判定手段によりフレーム間拡張処理が有効であると判定した場合、上記フレーム内拡張手段により解像度が拡張された拡張画像情報に基づいてフレーム間拡張処理を行なうフレーム間拡張処理工程と
   を備えることを特徴とする画像処理方法。
   
   

Images