JP2006054760A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】解像度変換時における計算負荷を低減し、回路規模を縮小する。
【解決手段】データ復号部３は、符号化単位である画素ブロックの符号化情報を復号する可変長復号化回路３１と、復号した量子化ＤＣＴ係数からＤＣＴ係数を復元する逆量子化回路３２と、動き補償回路３３と、動き補償で必要になる参照画像のデータを格納する参照画像メモリ３４と、参照画像に動きベクトル等の符号化情報を加算する加算器３５とを備え、符号化データ入力部２から受け取った符号化データを復号し、復号して得られた映像信号を画素数変換部４へ供給する。このとき、可変長復号化回路３１によって分離された符号化単位である画素ブロックの符号化モード、動きベクトル、量子化情報、量子化ＤＣＴ係数等の動き情報を画素数変換部４に伝送する。画素数変換部４は、伝送された動き情報を用いて必要に応じて画素数を変換する。
【選択図】図２

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット等のネットワークを介して受信する際、或いは、光ディスク、磁気ディスク、フラッシュメモリ等の記憶媒体上で処理する際に用いられる画像処理装置及び画像処理方法に関する。

近年、画像情報をデジタルデータとして取り扱う際、画像情報特有の冗長性を利用し、効率の高い情報の伝送及び蓄積を目的とした、例えば離散コサイン変換（Discrete Cosine Transform、以下、ＤＣＴと記す。）等の直交変換と動き補償により圧縮する方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。特に、ＭＰＥＧ（Moving Picture Experts Group）によって標準化されているＭＰＥＧ２は、汎用画像符号化方式としてＩＳＯ／ＩＥＣ １３８１８−２に定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅している。そのためＭＰＥＧ２は、プロフェッショナル用途からコンシューマ用途まで、広範なアプリケーションに用いられている。例えば、ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素をもつ標準解像度の飛び越し走査画像であれば、４〜８Ｍｂｐｓの符号量（以下、ビットレートと記す。）を割り当て、１９２０×１０８８画素をもつ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓのビットレートを割り当てることで、高圧縮率と高画質が実現されている。

一方、表示装置の表示部の画面サイズ（画面解像度）には、ＶＧＡ（Video Graphics Array）（横６４０×縦４８０ドット＝７６８００ピクセル）、ＱＶＧＡ（Quarter-VGA）（横３２０×縦２４０ドット＝１５３６００ピクセル）、ＳＶＧＡ（Super-VGA）（横８００×縦６００ドット＝４８００００ピクセル）、ＸＧＡ（eXtended Graphics Array）（横１０２４×縦７６８ドット＝７８６４３２ピクセル）等、様々な規格が用意されており、それぞれ画素数が異なっている。そのため、使用する表示部の画面サイズに応じて、復号された映像信号を間引きしたり、新たな画素を補間したりして解像度を変換する必要がある。画素数変換において、特に画素を生成する場合には、「動きベクトル」を用いる方法が知られている。動きベクトルとは、時間的に同一の画素値をもった画素が移動するような場合、その画素の動く方向と距離とを表している。

解像度変換が必要になる画像処理装置では、解像度を変換する処理を高画質で行うために、符号化データを復号して得られた映像信号から解像度を変換する処理で必要な「動きベクトル」等の動き情報を再度検出する構成を設けている。従来、符号化されたビットストリームの復号処理と復号した映像信号の解像度変換処理とが別回路で行われている。

一例として、データ量を削減するために、入力した画像データの画素数を変換した後、符号化して符号化データを生成する処理を行う画像処理装置では、画素数を変換する処理にも動き検出回路が必要になるため、これを複数設けなければならなかったことに対して、画像データの符号化に用いる動き検出回路にて算出された動きベクトルを換算して使用することによって、動き検出に要する計算量を削減した例もある（例えば、特許文献１参照）。

特開２０００−３２４６７号公報

ところが、符号化データの復号処理と画素数を変換する処理とを行う必要がある画像処理装置では、符号化データから一旦復号された映像信号の広範囲に亘って動き検出を行って、「動きベクトル」等の動き情報を再度検出しなければならないため、復号された映像信号を参照するための大容量メモリ、高い演算処理能力等が必要とされた。このため、符号化データの復号処理と表示のための画素数変換処理とを実行するための回路は、回路規模が大きく、演算量が多くなるため、処理期間も数フレーム分必要になっていた。

そこで本発明は、上述した従来の実情に鑑みて提案されたものであり、解像度変換時における計算負荷を低減するとともに回路規模を縮小することができる画像処理装置及び画像処理方法を提供することを目的とする。

上述した目的を達成するために、本発明に係る画像処理装置は、直交変換と動き補償を適用して画像データを所定の画素ブロック単位で符号化してできた符号化データを復号し画像情報を得る画像処理装置において、符号化データを入力する符号化データ入力手段と、符号化データ入力手段において入力した符号化データから動きベクトルを含む所定の画素ブロック単位に関する符号化情報を分離し符号化データから画像情報を復号するデータ復号手段と、復号された画像情報及び動きベクトルを含む画素ブロックの符号化情報を用いて復号された画像情報の解像度を所定の解像度に変換する解像度変換手段と、解像度変換手段で解像度を変換した画像情報を出力する画像情報出力手段とを備える。

これにより、本発明に係る画像処理装置は、符号化データから復号された画像情報及び動きベクトルを含む画素ブロックの符号化情報を用いて、画像情報の解像度を所定の解像度に変換する。

ここで、解像度変換手段は、フィールド内補間により画像情報における画素を生成し補間する、或いはフィールド間補間により画素を生成し補間することを特徴とする。符号化データは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠していることが好ましい。

また、上述した目的を達成するために、本発明に係る画像処理方法は、直交変換と動き補償を適用して画像データを所定の画素ブロック単位で符号化してできた符号化データを復号し画像情報を得る画像処理方法において、符号化データを入力する符号化データ入力工程と、符号化データ入力工程において入力した符号化データから動きベクトルを含む所定の画素ブロック単位に関する符号化情報を分離し符号化データから画像情報を復号するデータ復号工程と、復号された画像情報及び動きベクトルを含む画素ブロックの符号化情報を用いて復号された画像情報の解像度を所定の解像度に変換する解像度変換工程と、解像度変換工程で解像度を変換した画像情報を出力する画像情報出力工程とを有する。

これにより、本発明に係る画像処理方法は、符号化データから復号された画像情報及び動きベクトルを含む画素ブロックの符号化情報を用いて、画像情報の解像度を所定の解像度に変換する。

本発明に係る画像処理装置によれば、特定の解像度へ高画質を維持して変換するとき、符号化データを復号する処理と画素数を変換する処理との間で符号化情報を共有することにより、画素数を変換する処理における計算負荷を低減するとともに、回路規模を縮小することができる。また、回路の小規模化により製造コストが削減できる。

以下、本発明の実施例について図面を参照して詳細に説明する。本発明を適用した画像処理装置の一例を図１に示す。

画像処理装置１は、図１に示すように、外部から送られた符号化データを入力する符号化データ入力部２と、入力した符号化データを復号するデータ復号部３と、復号された映像信号の画素数を所定の画素数に変換する画素数変換部４とを備え、制御部５によって統括されている。所定の画素数に変換された映像信号は、例えば、ＬＣＤ（Liquid Crystal Display）等の映像表示部６において表示される。

符号化データ入力部２は、図示しないＤＶＤ（Digital Versatile Disc）、ＨＤＤ（Hard Disk Driver）を始めとする記録媒体、ＴＶ（Television）チューナ等の映像ソースから、圧縮されたインタレース画像信号を入力する。映像信号は、輝度（Ｙ）と色差信号（Ｃｂ、Ｃｒ）で構成されている。映像信号の符号化形式としては、例えば、離散コサイン変換（Discrete Cosine Transform、以下、ＤＣＴと記す。）等の直交変換と動き補償により符号化しデータ量を圧縮する手法があげられる。特に、ＭＰＥＧ（Moving Picture Experts Group）によって標準化されたＭＰＥＧ−２ Ｖｉｄｅｏ ＭＰ＠ＭＬ（Main Profile at Main Level）、ＭＰＥＧ−４、Ｈ．２６４等が適用できる。

一例としてＭＰＥＧ２では、輝度（Ｙ）と色差信号（Ｃｂ、Ｃｒ）で構成された映像信号は、デジタル化された後、フォーマット変換されてデータの符号化で用いる空間解像度に変換されている。映像信号は、Ｉピクチャ，Ｂピクチャ，Ｐピクチャのピクチャタイプに合わせて画面が並び替えられ、この符号化順に動き補償予測及び離散コサイン変換が行われる。

符号化は、図示しないデータ符号化装置において、各画面についてマクロブロックと呼ばれる画素ブロック単位に行われ、一画面では、右から左へ、また上から下へ所定サイズの画素ブロック毎に順番に符号化される。各マクロブロックでは、動き補償予測モードか、イントラ符号化モードかが決定される。動き補償予測モードの場合、入力されたマクロブロック画像データと参照画面とから動き予測によって得られるマクロブロック画像データとの差分をとって予測誤差信号が得られる。予測誤差信号は、８画素×８ラインのブロック単位でＤＣＴにより空間周波数領域に変換される。動き補償予測が行われないイントラ符号化の場合は、入力画像データがそのままＤＣＴ符号化される。ＤＣＴ符号化係数は、量子化され、動きベクトルや符号化モード情報とともに可変長符号化され、ＭＰＥＧビデオビットストリームとして出力される。

符号化データ入力部２は、上述のように符号化された映像信号データをＭＰＥＧビデオビットストリームとして受け取り、図示しないストリームバッファに一時的に格納しデータ復号部３へ供給している。

データ復号部３は、符号化データ入力部２から受け取った符号化データを復号し、復号して得られた映像信号を画素数変換部４へ供給する。データ復号部３の基本的な構成を、図２を用いて説明する。

データ復号部３は、符号化単位である画素ブロックの符号化情報を復号する可変長復号化回路３１と、復号した量子化ＤＣＴ係数からＤＣＴ係数を復元する逆量子化回路３２と、動き補償回路３３と、動き補償で必要になる参照画像のデータを格納する参照画像メモリ３４と、参照画像に動きベクトル等の符号化情報を加算する加算器３５とを備えている。

データ復号部３における符号化データの復号処理では、まず可変長復号化回路３１が符号化データ入力部２内のストリームバッファに一時格納された符号化ビットストリームを読み出し、ＭＰＥＧにおいて規定される方法を適用してストリームを復号する。可変長復号化回路３１は、符号化単位である画素ブロックの符号化情報を復号し、符号化モード、動きベクトル、量子化情報、量子化ＤＣＴ係数等を分離する。可変長復号化回路３１によって分離された動きベクトル等の動き情報は、動き補償回路３３及び画素数変換部４に伝送される。

復号された８×８の量子化ＤＣＴ係数は、逆量子化回路３２でＤＣＴ係数に復元され、逆ＤＣＴによって画素空間データに変換される。イントラ符号化モードの場合は、そのまま出力される。また、動き補償予測モードの場合は、動き補償回路３３で動き補償予測されたブロックデータが加算されて出力される。画面内の全ての画素ブロックが復号されると、画面は入力順に並べ換えられて出力される。映像信号は、画素数変換部４において必要に応じて画素数の変換が行われる。

画素数変換部４は、必要に応じて画素を補間する処理を実行し、画素数を補間した後の映像信号を映像表示部６に伝送する。以下では、画素数変換部４が画素数を補間する処理について説明する。

図３は、本発明の実施例として示す画像処理装置１における画素数変換部４の構成例を示す図である。画素数変換部４は、画像メモリ４１、画像メモリ４２、画像合成部４３から構成される。

画像メモリ４１及び画像メモリ４２は、入力されたインタレース画像信号のフィールドデータを１フィールド分格納し、１フィールド分遅延した後出力する。したがって、画像メモリ４１は、現フィールドに対して１フィールド分遅延した遅延フィールドデータを画像合成部４３に供給する。また、画像メモリ４２は、更に１フィールド分遅延された前遅延フィールドデータを供給する。結果として、画像メモリ４２は、合計２フィールド分遅延されたフィールドデータ（以下、前遅延フィールドデータと記す。）を画像合成部４３に供給する。画像合成部４３は、現フィールドデータ、画像メモリ４１，４２より供給される遅延フィールドデータ及び前遅延フィールドデータ、並びにデータ復号部３より供給されるブロック単位動きベクトルを取得し、これらの情報から画像を合成し、走査線数変換を行って出力データとして後段の映像表示部６に出力する。

図４は、画像合成部４３の構成例を示している。画像合成部４３は、フィールド内補間により画像を生成する空間補間部４３１と、フィールド間補間により画素を生成する時間補間部４３２と、エラー発生量の情報を生成するエラー処理部４３３と、エラー発生量の情報に基づいて画素を生成する画素生成部４３４とを備える。

空間補間部４３１は、遅延フィールドの画像内に存在する画素を利用してフィールド内補間により新たな画素を生成し、エラー処理部４３３及び画素生成部４３４に供給する。時間補間部４３２は、ブロック単位の動きベクトルに基づいて、現フィールドデータ及び前遅延フィールドデータを利用してフィールド間補間により新たな画素を生成しエラー処理部４３３及び画素生成部４３４に供給する。

図５は、エラー処理部４３３の構成例を示している。エラー処理部４３３は、フィールド内補間時間遷移解析部４３３１と、フィールド間補間時間遷移解析部４３３２と、フィールド間補間空間遷移解析部４３３３と、混合部４３３４とを備える。フィールド内補間時間遷移解析部４３３１は、フィールド内補間画素からなるフィールド内補間画素と、現フィールドデータ及び前遅延フィールドデータに基づいて、フィールド内補間画素の時間に応じた画素値の変化を遷移として求め、混合部４３３４に供給する。

フィールド間補間時間遷移解析部４３３２は、フィールド間補間画素からなるフィールド間補間画素と、現フィールドデータ及び前遅延フィールドデータに基づいて、フィールド間補間画素の時間に応じた画素値の変化を遷移として求め、混合部４３３４に供給する。

フィールド間補間空間遷移解析部４３３３は、フィールド間補間画素からなるフィールド間補間画素と、遅延フィールドデータに基づいて、フィールド間補間画素の空間における画素値の変化を遷移として求め、混合部４３３４に供給する。

混合部４３３４は、フィールド内補間時間遷移解析部１３１、フィールド間補間時間遷移解析部４３３２及びフィールド間補間空間遷移解析部４３３３より供給されるフィールド内補間時間遷移解析結果、フィールド間補間時間遷移解析結果及びフィールド間補間空間遷移解析結果に基づいてエラーの発生量を計算し、画素生成部４３４に供給する。

これによりエラー処理部４３３は、入力される現フィールドデータ、遅延フィールドデータ、前遅延フィールドデータ、空間補間部４３１から供給されるフィールド内補間されたデータ、時間補間部４３２から供給されるフィールド間補間されたデータに基づいてエラー発生量を求めて、画素生成部４３４に供給している。なお、エラー発生量とは、エラーの発生量を定性的に求めることのできる値であればよく、エラーを厳密に定義し、更にそのエラーが発生する量を厳密に算出するものでなくてもよい。

画素生成部４３４は、エラー処理部４３３より供給されるエラー発生量の情報に基づいて、空間補間部４３１より供給されるフィールド内補間画素データと、時間補間部４３２より供給されるフィールド間補間画素データとを切替えて画素を生成し出力する。

以上の構成を有する画像処理装置１が画素数を変換する処理について説明する。まず、画像処理装置１は、符号化データ入力部２にて入力した先頭のフィールドデータを画像メモリ４１に記憶する。次のタイミングで画像メモリ４１は、記憶していたフィールドデータを遅延フィールドデータとして画像メモリ４２及び画像合成部４３に供給する。更に、次のタイミングで画像メモリ４１は、記憶していたフィールドデータを遅延フィールドデータとして画像メモリ４２に供給するとともに、画像合成部４３に供給する。また、画像メモリ４２は、記憶していた前遅延フィールドデータを画像合成部４３に供給する。

画像合成部４３は、供給された遅延フィールド上のプログレッシブ画像用に新たに生成する必要のある走査線上の各画素を通る動きベクトルと交わる、現フィールドデータと前遅延フィールドデータ上の画素を用いてフィールド間補間により画素を生成し、インタレース画像の遅延フィールド画像をプログレッシブ画像にして映像表示部６に出力する。また、輝度信号の動きのみならず色差信号等の動きベクトルを検出するようにし、より正確に動きベクトルを検出する。

画像合成部４３は、現フィールドデータ、画像メモリ４１から供給された遅延フィールドデータ、画像メモリ４２から供給された前遅延フィールドデータ及びデータ復号部３から供給されたブロック単位の動きベクトルに基づいて現フィールドと前遅延フィールドとを合成することにより新たなフィールドを生成して出力する。画像合成部４３は、生成した新たなフィールドを含むデータの画素数を変換し出力データとする。画素数変換された出力データとしては、例えばインタレース画像をプログレッシブ画像に変換したデータ、解像度変換又はフィールド周波数を変換したデータがあげられる。

上述した画像処理装置１において、エラー発生量に基づいてフィールド内補間画素であるか、フィールド間補間画素であるかを切替える例について説明したが、例えば、エラー発生量に基づいてフィールド内補間画素とフィールド間補間画素との比率を変えながら混合して画素を生成してもよい。また、フィールド間補間により画素を生成する際、２のフィールドを用いるようにしているが、それ以上のフィールドを用いてフィールド間補間するようにしてもよい。

以上説明したように、本発明の実施例として示す画像処理装置１は、入力したＭＰＥＧストリームデータの表示における画素数を特定の解像度（画素数）へ変換するとき、ＭＰＥＧストリームデータを復号する処理と、画素数を変換する処理との間で符号化情報を共有する。すなわち、画素数を変換する処理時に、ＭＰＥＧデータを復号するときに分離した動きベクトル等の動き情報を使用する。したがって、符号化データの復号及び画素数変換を行う装置に対して、画素数を変換する処理のための動き情報を検出する構成を設けなくともよい。これにより、回路規模を縮小するとともに、画素数を変換する処理における計算負荷を低減することができる。また、回路規模を縮小できることで製造コストを削減できる。

上述した処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、ソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、又は各種プログラムをインストールすることで各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。

プログラムが記録されている記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスク）光磁気ディスク、若しくは半導体メモリ等よりなるパッケージメディアである。また、上述した処理を実行するプログラムは、ＲＯＭ、ハードディスク等の記憶部を備えるコンピュータに予め組み込まれた状態でユーザに提供されてもよい。

本発明は、符号化データから一度復号された映像信号を再度符号化する信号処理を行うような信号処理装置であれば、画素数変換処理以外の信号処理に対しても適用できる。

本発明の実施例として示す画像処理装置の概略を説明する構成図である。 上記画像処理装置におけるデータ復号部の一例を説明する構成図である。 上記画像処理装置における画素数変換部の一例を説明する構成図である。 上記画素数変換部における画像合成部の一例を説明する構成図である。 上記画像合成部におけるエラー処理部の一例を説明する構成図である。

符号の説明

１ 画像処理装置、 ２ 符号化データ入力部、 ３ データ復号部、 ４ 画素数変換部、 ５ 制御部、 ６ 映像出力部、 ３１ 可変長復号化回路、 ３２ 逆量子化回路、 ３３ 動き補償回路、 ３４ 参照画像メモリ、 ３５ 加算器、 ４１，４２ 画像メモリ、 ４３ 画像合成部、 ４３１ 空間補間部、 ４３２ 時間補間部、 ４３３ エラー処理部、 ４３４ 画素生成部

Claims (5)

1. 直交変換と動き補償を適用して画像データを所定の画素ブロック単位で符号化してできた符号化データを復号し画像情報を得る画像処理装置において、
   上記符号化データを入力する符号化データ入力手段と、
   上記符号化データ入力手段において入力した符号化データから動きベクトルを含む上記所定の画素ブロック単位に関する符号化情報を分離し上記符号化データから画像情報を復号するデータ復号手段と、
   上記復号された画像情報及び上記動きベクトルを含む画素ブロックの符号化情報を用いて上記復号された画像情報の解像度を所定の解像度に変換する解像度変換手段と、
   上記解像度変換手段で解像度を変換した画像情報を出力する画像情報出力手段と
   を備えることを特徴とする画像処理装置。
2. 上記解像度変換手段は、フィールド内補間により上記画像情報における画素を生成し補間することを特徴とする請求項１記載の画像処理装置。
3. 上記解像度変換手段は、フィールド間補間により画素を生成し補間することを特徴とする請求項１記載の画像処理装置。
4. 上記符号化データは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠していることを特徴とする請求項１記載の画像処理装置。
5. 直交変換と動き補償を適用して画像データを所定の画素ブロック単位で符号化してできた符号化データを復号し画像情報を得る画像処理方法において、
   上記符号化データを入力する符号化データ入力工程と、
   上記符号化データ入力工程において入力した符号化データから動きベクトルを含む上記所定の画素ブロック単位に関する符号化情報を分離し上記符号化データから画像情報を復号するデータ復号工程と、
   上記復号された画像情報及び上記動きベクトルを含む画素ブロックの符号化情報を用いて上記復号された画像情報の解像度を所定の解像度に変換する解像度変換工程と、
   上記解像度変換工程で解像度を変換した画像情報を出力する画像情報出力工程と
   を有することを特徴とする画像処理方法。

Images