JP2005287006A - 画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体及び画像処理装置 - Google Patents

Abstract

【課題】圧縮動画像の復号処理と、解像度変換処理を行う際に、計算量の総和を削減し、かつ高画質な動画像を得る。
【解決手段】圧縮動画像データは、第１の種類の画像データと、該圧縮動画像データの復号処理に要する計算量が前記第１の種類の画像データより多い第２の種類の画像データと、を含み、前記第１の種類の画像データに対する復号処理を施す第１の復号処理工程と、前記復号処理された前記第１の種類の画像データに対して第１の解像度変換処理を施す第１の解像度変換処理工程と、前記第１の解像度変換処理が施されたデータに基づいて、前記復号処理前又は後の第２の種類の画像データに対する解像度変換のためのパラメータを取得するパラメータ取得工程と、前記復号処理前又は後の第２の種類の画像データと、前記取得されたパラメータとに基づいて、該第２の種類の画像データに対して第２の解像度変換処理を施す第２の解像度変換処理工程と、を含む。
【選択図】図１

Description

本発明は、動画像に対する画像処理方法及び装置に関し、特に、連続的に解像度変換する画像処理方法及び装置に関する。

静止画像の解像度変換技術はすでに数多く提案されている。一般的な手法としては、ニアレストネイバー法、バイリニア法、バイキュービック法等の画素補間方式、ＤＣＴ係数補間のような周波数領域補間手法などがある。

静止画の連続である動画についても、同様の手法で解像度変換を行うのが一般的である。

これら解像度変換は、高画質の結果を得るためにはバイキュービック法等の演算量の多い手法を用いる必要がある。専用のハードウェアで実行する形態では問題にならないが、汎用プロセッサでソフトウェア処理する場合、演算量が問題になることがある。

また、これとは別の問題として、動画像は伝送路や蓄積媒体の容量の問題から、ＭＰＥＧ２、ＭＰＥＧ４等の規格を用いて圧縮されるのが一般的である。これも、ハフマン復号、ＩＤＣＴ等演算量の多い処理であり、ソフトウェアで復号処理を行うような形態では演算量が問題になることがある。

従来はこれら圧縮動画像の復号処理、解像度変換処理は、演算量の問題から専用のハードウェアで行うことが一般的であったが、近年のプロセッサ技術の向上から、ソフトウェアで行われることも多くなってきている。

ソフトウェアでＭＰＥＧのような圧縮動画を復号処理し、さらに解像度変換を行う場合を考えると、上記処理量の問題はより顕著になる。つまり、解像度変換と復号処理双方の計算が、実時間表示に間に合わなければならない。ところが、ＭＰＥＧの各ピクチャのソフトウェア復号処理に必要な計算量は、通常ピクチャ毎に異なるため、復号計算量のかかるピクチャにおいて、精度のよい解像度変換を行うにはプロセッサの計算能力が足りなくなる問題が発生する。

このため、ソフトウェアで動画像の復号処理、解像度変換を行う場合は、復号処理に係る計算量を考慮し、プロセッサの処理能力内で処理できる、簡易な解像度変換を行うのが一般的である。しかし、この手法では計算量の多い解像度変換を用いることは困難であり、高画質は望めない。

動画像の復号処理の計算量に着目した発明が、特許文献１に開示されている。この発明では、復号処理そのものがプロセッサの処理能力を超えてしまった場合に、復号処理を、解像度を下げることを含めた計算量を削減する簡易な復号手法に切り替える。この発明から、本問題の解決を考えると、システムの計算量を動的に監視し、復号計算量が大きく、用いている解像度変換手法ではリアルタイム処理が行えなくなるような場合には、解像度変換の手法を計算量の少ない簡易なものに切り替える手法が容易に類推できる。しかし、この手法ではプロセッサの能力が足りなくなったときに急激に解像度変換手法が切り替わるため、画質の劣化が大きくなる問題点がある。
特開平５−１２２６８１号公報

本発明は、上記問題を解決し、圧縮動画像の復号処理と、解像度変換処理を行う際に、計算量の総和を削減し、かつ高画質な動画像を得ることを目的とする。

上記目的を達成するために、本発明は、圧縮動画像データを、復号処理され、かつ圧縮前とは解像度が異なる複数の静止画像からなる動画像データに変換する画像処理方法であって、
前記圧縮動画像データは、第１の種類の画像データと、該圧縮動画像データの復号処理に要する計算量が前記第１の種類の画像データより多い第２の種類の画像データと、を含み、
前記第１の種類の画像データに対する復号処理を施す第１の復号処理工程と、
前記復号処理された前記第１の種類の画像データに対して第１の解像度変換処理を施す第１の解像度変換処理工程と、
前記第１の解像度変換処理が施されたデータに基づいて、前記復号処理前又は後の第２の種類の画像データに対する解像度変換のためのパラメータを取得するパラメータ取得工程と、
前記復号処理前又は後の第２の種類の画像データと、前記取得されたパラメータとに基づいて、該第２の種類の画像データに対して第２の解像度変換処理を施す第２の解像度変換処理工程と、
を含むことを特徴とする。

また、本発明は、圧縮動画像データを、復号処理され、かつ圧縮前とは解像度が異なる複数の静止画像からなる動画像データに変換する画像処理装置であって、
前記圧縮動画像データは、第１の種類の画像データと、該圧縮動画像データの復号処理に要する計算量が前記第１の種類の画像データより多い第２の種類の画像データと、を含み、
前記第１の種類の画像データに対する復号処理を施す第１の復号処理部と、
前記復号処理された前記第１の種類の画像データに対して第１の解像度変換処理を施す第１の解像度変換処理部と、
前記第１の解像度変換処理が施されたデータに基づいて、前記復号処理前又は後の第２の種類の画像データに対する解像度変換のためのパラメータを取得するパラメータ取得部と、
前記復号処理前又は後の第２の種類の画像データと、前記取得されたパラメータとに基づいて、該第２の種類の画像データに対して第２の解像度変換処理を施す第２の解像度変換処理部と、を備えたことを特徴とする。

ここで、計算量が多い、少ないとは、復号処理により同じ画像を再生できる第１の種類の画像データ及び第２の種類の画像データが存在する場合に、それぞれの画像データを復号処理するために必要な計算量を比較した大小関係をいう。

本発明によれば、ソフトウェアで圧縮動画像の復号処理と、解像度変換処理を行う際に、計算量の総和を削減し、かつ高画質な動画像を得ることができる。

（第１の実施形態）
以下、本発明の第一の実施の形態を図面を用いて説明する。図１は本発明に係る画像処
理装置の第一の実施の形態を示すブロック図であり、図２は同装置で実行される画像処理方法の処理手順を示すフローチャートである。

本実施の形態では、入力部から入力されたＭＰＥＧ２ＶＩｄｅｏストリームを復号処理し、解像度変換を行い出力する。なお、第一の実施の形態では、説明のためＭＰＥＧ２ストリームの復号処理の計算量について、Ｉピクチャの復号計算量が少なく、Ｐ，Ｂピクチャの復号計算量が多いと仮定する。

図１において、１０１はＭＰＥＧ２ＶＩｄｅｏストリームを入力する入力部、１０２はＭＰＥＧ２を復号処理する復号処理部、１０３はピクチャによって後段の処理を切り替える解像度変換手法切替スイッチ、１０４は計算量の多い第一の解像度変換を実行する第一の解像度変換処理部、１０５は演算パラメータ蓄積部１０７に蓄積されたパラメータを用いて計算量の少ない第二の解像度変換を実行する第二の解像度変換処理部、１０６は、解像度変換前の元画像と第一の解像度変換処理部の結果から、第二の解像度変換処理部の計算に用いるパラメータを計算する演算パラメータ計算部、１０７は前記演算パラメータ計算部１０６で計算されたパラメータを蓄積する演算パラメータ蓄積部、１０８は復号処理及び解像度変換処理を行った動画像を出力する出力部である。

入力部１０１から入力されたＭＰＥＧ２ＶＩｄｅｏストリームは、復号処理部１０２で復号処理（第一及び第二の復号処理）される（Ｓ１）。復号処理にかかる計算量は、ＭＰＥＧ２のフレーム圧縮手法によって異なるのが一般的である。すでに述べたとおり、本実施の形態ではＩピクチャでは計算量が少なく、Ｐ及びＢピクチャでは計算量が多いと仮定している。この仮定に基づき、復号処理部１０２で復号されたフレームのうち、Ｉピクチャから復号されたフレームは解像度変換手法選択スイッチ１０３を通して第一の解像度変換処理部１０４及び演算パラメータ計算部１０６に送られ、Ｐピクチャ及びＢピクチャから復号されたフレームはスイッチ１０３を通して第二の解像度変換処理部１０５に送られる（Ｓ２）。

以下では、Ｉ、Ｐ、Ｂピクチャから復号されたフレームをそれぞれＩピクチャ復号フレーム、Ｐピクチャ復号フレーム、Ｂピクチャ復号フレームと呼ぶことにする。第一の解像度変換処理部１０４は、入力されたＩピクチャ復号フレームについて、計算量の多い、複雑な高画質の解像度変換を行う（Ｓ３）。本実施の形態ではバイキュービック法を用いる。結果は、出力部１０８から出力されると共に、演算パラメータ計算部１０６に送られる。演算パラメータ計算部１０６は、Ｉピクチャ復号フレームと、第一の解像度変換処理部１０４で解像度変換された高画質の解像度変換結果から、Ｐ及びＢピクチャ復号フレームに適用する第二の解像度変換手法で用いる演算パラメータを計算する（Ｓ４）。

計算された演算パラメータは演算パラメータ蓄積部１０７に蓄積される。第二の解像度変換処理部１０５には、スイッチ１０３を通してＰ及びＢピクチャ復号フレームが入力され、演算パラメータ蓄積部１０７に蓄積されているパラメータを用いて、計算量の少ない解像度変換を行う（Ｓ５）。一般的には計算量の少ない解像度変換の画質は計算量の多い手法のそれと比べて劣るが、本手法では計算量の多い解像度変換で抽出したパラメータを用いて解像度変換を行うことで、計算量は少ないが高画質の解像度変換結果が得られる。結果は出力部１０８から出力される。

本実施形態に係る画像処理方法は、画像処理装置として機能するコンピュータに実行させるプログラムとして構成することができ、ハードディスク、半導体メモリのような内蔵型の記憶媒体、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型の記憶媒体のコンピュータに読み取り可能な記録媒体に記録することができる（以下に説明する実施形態についても同様である。）。

第一の解像度変換処理部１０４、演算パラメータ計算部１０６の動作について、詳細に説明する。

本手法で復号計算量が少ないと仮定されているＩピクチャは、復号処理部１０２で復号されたあと、第一の解像度変換処理部１０４で解像度変換を行う。第一の解像度変換処理部１０４は、計算量の多い、画質の高い解像度変換手法を適用する。本実施の形態では、バイキュービック法を適用する。

バイキュービック法をＩピクチャ復号フレームに適用した結果は、出力部１０８に送られると共に演算パラメータ計算部１０６に送られる。演算パラメータ計算部１０６は、Ｉピクチャ復号フレームと、第一の解像度変換処理部１０４で計算された解像度変換結果を用いて、Ｐ及びＢピクチャ復号フレームに適用する解像度変換手法で用いる演算パラメータを抽出する。本発明ではＰ及びＢピクチャ復号フレームに、バイキュービック法に比べ処理量の少ないバイリニア法をベースとした解像度変換を適用する。バイリニア法はバイキュービック法に比べ画質が劣るので、Ｉピクチャをバイキュービック法で解像度変換する際に、バイリニア法の通常の線形補間に加え画素相関情報を用いられるように、画素相関の情報を抽出する。これにより、バイリニア法の画質をあげることができる。

演算パラメータ計算部１０６が計算する画素相関情報の抽出手法を詳しく説明する。

図３はバイキュービック法により補間された解像度変換後の画素と解像度変換前の元画像の画素を示している。図３中のＰ１〜Ｐ１６は元画像の画素、Ｃは補間画素である。バイキュービック法では、補間画素ＣはＰ１〜Ｐ１６の計１６点のＲＧＢ値から計算される。以下では、レッドカラー、グリーンカラー、ブルーカラーのサブ画素を、それぞれＲ、Ｇ、Ｂとして説明する。

演算パラメータ計算部１０６は、元画像（Ｐ１〜Ｐ１６）と補間画素（Ｃ）から、第二の解像度変換手法で用いるパラメータを抽出する。Ｐ、Ｂピクチャ復号フレームでは、同じ位置の補間画素を計算するために、バイリニア法を用いる。つまり、補間画素Ｃの周辺画素Ｐ６、Ｐ７、Ｐ１０、Ｐ１１を用いて補間画素Ｃを計算する。そこで、バイリニア法の画質を高めるために、第一の解像度変換手法であるバイキュービック法から求められた補間画素Ｃの値と、周辺画素Ｐ６、Ｐ７、Ｐ１０、Ｐ１１との関係式を求める。

（１)式はサブ画素Ｒについての式である。サブ画素Ｇ，Ｂについても同様の式で演算パ
ラメータｘ，ｙ，ｚ，ｗを求める。（１)式を解くために、Ｉピクチャ復号フレーム内の
同じサブ画素値Ｒ６，Ｒ７，Ｒ１０，Ｒ１１を持つ補間画素Ｃをグループ化し、最小二乗法を用いる。（ｘ，ｙ，ｚ，ｗ）の和は、当然ながら１である。Ｒ６，Ｒ７，Ｒ１０，Ｒ１１のサブ画素値はそのままのビット数でグループ化してもよいが、上位ビットのみを用いるようにしてもよい。本実施の形態では上位４ビットのみを用いて係数を計算する。

求められたＲ、Ｇ、Ｂそれぞれの係数は、そのまま蓄積・使用してもよいが、本実施の形態ではさらにＲＧＢの係数を平均化し、一つのパラメータとする。

式（１）及び式（２）で演算パラメータ計算部１０６が計算した周辺画素と補間画素の相関を示す演算パラメータは、画素相関係数として、演算パラメータ蓄積部１０７に蓄積される。蓄積の模式図を図４に示す。補間画素Ｃに対する周辺画素(Ｒ６,Ｇ６,Ｂ６)，（Ｒ７，Ｇ７，Ｂ７)，（Ｒ１０，Ｇ１０，Ｂ１０)，（Ｒ１１，Ｇ１１，Ｂ１１）について、使用する係数（ｘ，ｙ，ｚ，ｗ）を蓄積している。周辺画素の画素値は、上位４ビットのみを使用する。蓄積のビット数は任意だが、本実施の形態では４画素合計で４８ビット、それに対して係数が各４ビットで３２ビットとした。これを一要素とし、周辺画素のパターンの数だけ要素が記憶される。

次に第二の解像度変換処理部１０５の動作について説明する。

第二の解像度変換処理部１０５は、第一の解像度変換処理部１０４よりも計算量の少ない解像度変換手法を適用する。本実施の形態では、バイリニア法を基本とした手法を適用する。具体的には、バイリニア法で用いる距離の係数と、演算パラメータ計算部１０６が計算し演算パラメータ蓄積部１０７に蓄積されている、周辺画素と補間画素の相関を示す演算パラメータを掛け合わせたものをバイリニア法の係数として計算を行う。これにより、通常のバイリニア法よりも、バイキュービック法で求めた結果を反映させられる分だけ画質の向上が期待できる。

図５は第二の解像度変換処理部１０５の動作の模式図である。まず、一般的なバイリニアの補間を行うための、補間画素Ｃと周辺画素Ｐ１、Ｐ２、Ｐ３、Ｐ４との距離の係数(
ａ,ｂ,ｃ,d)を計算する。同時に、周辺画素Ｐ１、Ｐ２、Ｐ３、Ｐ４のＲＧＢの上位４ビ
ットを並べた４８ビットの周辺画素情報を演算パラメータ蓄積部１０７に問い合わせる。演算パラメータ蓄積部１０７は、入力された周辺画素情報について、蓄積情報から画素相関係数（ｘ，ｙ，ｚ，ｗ）を第二の解像度変換処理部１０５に返す。第二の解像度変換処理部１０５は、距離の係数と画素相関係数を平均して補間係数とし、解像度変換を行う。

当然ながら、バイキュービック法を適用した画像とバイリニア法を適用する画像は異なる画像なので、厳密にはＩピクチャ復号フレームで求めたバイキュービックの結果をＰ、Ｂピクチャ復号フレームに反映させることは正確ではないが、一般的に動画像には時間方向に相関が高いので、この手法で十分効果が期待できる。

なお、本実施の形態ではＩピクチャの復号処理の計算量が少なく、Ｐ、Ｂピクチャの復号処理計算量が多いという仮定で説明を行ったが、本発明はこれによらず、復号処理がピクチャ単位で異なるものであれば適用可能である。

（第二の実施形態）
以下、本発明の第二の実施の形態を図面を用いて説明する。なお、本発明に係る画像処理装置の第二の実施の形態を示すブロック図を図６に示す。

なお、図６において、第一の実施の形態と同一の動作を行うブロックについては同一の符号を付し、説明を省略する。

本実施の形態でも、第一の実施の形態と同様に、入力部から入力されたＭＰＥＧ２ Ｖ
Ｉｄｅｏストリームを復号処理し、解像度変換を行い出力する。第一の実施の形態と同様ＭＰＥＧ２ ＶＩｄｅｏストリームの復号処理の計算量について、Ｉピクチャの復号計算
量が少なく、Ｐ，Ｂピクチャの復号計算量が多いと仮定する。

図６において、２０１は演算パラメータ蓄積部１０７に蓄積されたパラメータを用いて計算量の少ない第二の解像度変換を実行する第二の解像度変換処理部、２０２は、解像度変換前の元画像と第一の解像度変換処理部１０４の結果から、第二の解像度変換処理部の計算に用いるパラメータを計算する演算パラメータ計算部である。

本実施の形態において、第一の実施の形態と動作が異なるのは、演算パラメータ計算部２０２の演算パラメータ計算手法、第二の解像度変換処理部２０１の解像度変換アルゴリズムである。

以下順に詳細に説明する。

第一の解像度変換処理部１０４は第一の実施の形態と同様に、復号処理部１０２の復号したＩピクチャ復号フレームをスイッチ１０３経由で受け取り、バイキュービック法の解像度変換を適用する。

演算パラメータ計算部２０２は、元画像及び第一の解像度変換処理部１０４の解像度変換結果画像を受け取り、第二の解像度変換処理部２０１で解像度変換時に使用する演算パラメータを計算する。本実施の形態では、第二の解像度変換処理部２０１ではニアレストネイバー法を改良した方式を用いるため、そのための演算パラメータを計算する。具体的には、Ｉピクチャ復号フレームの補間画素と、元画像上でその補間画素の周辺４画素に配される画素値の相関を調べ、周辺４画素のパターン毎に最も相関が高い画素１点を選んでおき、Ｐ、Ｂピクチャ復号フレームではその点を「ニアレスト」として選択し解像度変換するようにする。

演算手法をさらに詳しく説明する。

Ｉピクチャ復号フレームにバイキュービック法を適用することで求められた補間画素と、その周辺４画素について、ＲＧＢ値をベクトルに見立てた内積を計算し、補間画素と周辺４画素の相関を計算する。相関が最も大きい画素を、位置に関係なく「ニアレスト」として選択する。Ｉピクチャ復号フレーム１枚すべての画素について、周辺４画素のパターンと、ニアレストとして選択された画素の位置を調べ、最も相関が多い場合が多かった位置をその周辺画素パターンの際の「ニアレスト」として記憶する。周辺４画素のパターンは、画素値すべてで認識してもよいが、ある程度グルーピングしてもよい。本発明では画素の上位４ビットのみを用いる。

たとえば、以下のようである。

Ｉピクチャのすべての画素について調べた結果、

の周辺４画素を持つ解像度変換後の画素が２０個あったとする。さらに、ベクトルの内積から得られる相関が最も高い画素の位置を調べた結果

となったとすると、学習結果は、表１のようなパターンの画素についてはＰ１を「ニアレスト」として選択する、というものになる。

この結果を演算パラメータ蓄積部１０７に蓄積する。蓄積の手法は第一の実施の形態と同様だが、本実施の形態ではＰ１，Ｐ２，Ｐ３，Ｐ４の各ＲＧＢ値の上位４ビット計４８ビットから、「ニアレスト」を示す０（Ｐ１），１（Ｐ２），２（Ｐ３），３（Ｐ４）の４つのうちいずれかの数字を示す４ビットの値を蓄積する。

次に、第二の解像度変換処理部２０１の動作について説明する。

第二の解像度変換処理部２０１ではＰ、Ｂピクチャ復号フレームについて、補間画素の周辺４画素の画素値を調べる。周辺４画素のＲＧＢ値の上位４ビットを並べた４８ビットの値を第一の実施の形態と同様に演算パラメータ蓄積部１０７に問い合わせる。演算パラメータ蓄積部１０７は、入力された４８ビットの周辺画素情報から、蓄積された「ニアレスト」位置を示す４ビットのパラメータを第二の解像度変換処理部２０１に返す。第二の解像度変換処理部２０１は、４ビットの返戻値から「ニアレスト」な画素位置をＰ１〜Ｐ４の中から決定する。

これにより、通常のニアレストネイバーよりも相関の高い画素を選べる確率が高くなり、Ｐ・Ｂピクチャ復号フレームについて少ない処理量で画質改善が期待できる。

なお、本実施の形態ではＩピクチャの復号処理の計算量が少なく、Ｐ、Ｂピクチャの復号処理計算量が多いという仮定で説明を行ったが、本発明はこれによらず、復号処理がピクチャ単位で異なるものであれば適用可能である。

（第三の実施形態）
以下、本発明の第三の実施の形態を図面を用いて説明する。なお、本発明に係る画像処理装置の第三の実施の形態を示すブロック図を図７に示し、同装置において実行される画像処理方法の処理手順を説明するフローチャートを図８に示す。

なお、図７において、第一の実施の形態と同一の動作を行うブロックについては同一の
符号を付し、説明を省略する。

本実施の形態でも、第一の実施の形態と同様に、入力部から入力されたＭＰＥＧ２ Ｖ
Ｉｄｅｏストリームを復号処理し、解像度変換を行い出力する。第一の実施の形態と同様ＭＰＥＧ２ ＶＩｄｅｏストリームの復号処理の計算量について、Ｉピクチャの復号計算
量が少なく、Ｐ，Ｂピクチャの復号計算量が多いと仮定する。また、以下の説明は簡単のため２倍拡大のものであるが、２^ｎ倍になる解像度変換であればすべて同様に適用できる（ｎは自然数）。

図７において、３０１は圧縮ストリームのピクチャ以外を復号する復号処理部、３０２は圧縮ピクチャを受け取り、復号処理と共に解像度変換処理を行う第一の解像度変換処理部、３０３は圧縮ピクチャの復号と同時に、演算パラメータ蓄積部１０７に蓄積されたパラメータを用いて計算量の少ない第二の解像度変換を実行する第二の解像度変換処理部、３０４は第一の解像度変換処理部３０２の結果から、第二の解像度変換処理部３０３の計算に用いるパラメータを計算する演算パラメータ計算部である。

本実施の形態において、第一の実施の形態と動作が異なるのは、第一の解像度変換処理部３０２が圧縮ピクチャの復号と同時に解像度変換を行うことと、演算パラメータ計算部３０４の演算パラメータ計算手法、第二の解像度変換処理部３０３が圧縮ピクチャの復号と同時に解像度変換を行うことと、その解像度変換アルゴリズムである。

解像度変換手法選択スイッチ１０３により、圧縮Ｉピクチャは第一の解像度変換処理部３０２に、圧縮Ｐ、Ｂピクチャは第二の解像度変換処理部３０３に送られる（Ｓ１１）。

第一の解像度変換処理部３０２は、圧縮Ｉピクチャをスイッチ１０３経由で受け取り、復号処理（第一の復号処理）を行うと共に、第一の実施の形態と同様に、バイキュービック法による解像度変換を適用する（Ｓ１２）。

演算パラメータ計算部３０４は、第一の解像度変換処理部３０２の解像度変換結果画像を受け取り、第二の解像度変換処理部３０３で解像度変換時に使用する演算パラメータを計算する（Ｓ１３）。本実施の形態では、第二の解像度変換処理部３０３でＤＣＴ係数補間の解像度変換を用いるため、そのための演算パラメータを計算する。具体的には、Ｉピクチャ復号フレームについて、１６×１６のＤＣＴ変換を行う。得られたＤＣＴ係数を解析し、低周波領域の８×８領域と、高周波域との相関を計算する。

演算パラメータ計算手法について、詳細に説明する。

一般的に、４×４のＤＣＴ係数Ａ０を用いて８×８に解像度変換する場合、高周波領域にあたるＡ１は、Ａ０を図９(ａ)のように水平方向に折り返すと復号画像の高周波領域をうまく復元できることが知られている。Ａ２については同様に垂直方向に、Ａ３については同様に水平と垂直方向に折り返すことで、高周波領域のＤＣＴ係数を復元できる。そこで、実際に得られたＤＣＴ係数と、折り返して得られたＡ１〜Ａ３を比較し、補正係数を求める。

を満たす補正係数を１ピクチャのすべて１６×１６のＤＣＴブロックについて計算し、補正係数の平均を取ることで演算パラメータを計算する。

このように計算された演算パラメータは、演算パラメータ蓄積部１０７に蓄積される。本実施の形態では、演算パラメータ蓄積部１０７に蓄積されるパラメータは唯一の補正係数である。ビット数は任意である。

第二の解像度変換処理部３０３では、圧縮Ｐ、Ｂピクチャを受け取り、復号処理の際に圧縮ストリーム中の８×８のＤＣＴ係数を１６×１６に拡大し、高周波数領域には８×８の係数を折り返した後、学習結果で得られた補正係数を掛けてＤＣＴ係数とすることにより解像度変換を行う（Ｓ１４）。この１６×１６ＤＣＴブロックを逆ＤＣＴすることで復号処理（第二の復号処理）され（Ｓ１５）、Ｉピクチャ復号フレームで適用したバイキュービック法の結果を反映させた高画質な拡大画像が得られる。

なお、本実施の形態ではＩピクチャの復号処理の計算量が少なく、Ｐ、Ｂピクチャの復号処理計算量が多いという仮定で説明を行ったが、本発明はこれによらず、復号処理がピクチャ単位で異なるものであれば適用可能である。

本発明に係る画像処理装置の第一の実施の形態を示すブロック図。 本発明に係る画像処理方法の第一の実施の形態を説明するフローチャート。 図１中の第一の解像度変換処理部について説明する説明図。 図１中の演算パラメータ蓄積部について説明する説明図。 図１中の第二の解像度変換処理部について説明する説明図。 本発明に係る画像処理装置の第二の実施の形態を示すブロック図。 本発明に係る画像処理装置の第三の実施の形態を示すブロック図。 本発明に係る画像処理方法の第三の実施の形態を説明するフローチャート。 図７中の第一の解像度変換処理部について説明する説明図。

符号の説明

１０１ 入力部
１０２ 復号処理部
１０３ 解像度変換手法切替スイッチ
１０４ 第一の解像度変換処理部
１０５ 第二の解像度変換処理部
１０６ 演算パラメータ計算部
１０７ 演算パラメータ蓄積部
１０８ 出力部
２０１ 第二の解像度変換処理部
２０２ 演算パラメータ計算部
３０１ 復号処理部
３０２ 第一の解像度変換処理部
３０３ 第二の解像度変換処理部
３０４ 演算パラメータ計算部

Claims (13)

1. 圧縮動画像データを、復号処理され、かつ圧縮前とは解像度が異なる複数の静止画像からなる動画像データに変換する画像処理方法であって、
   前記圧縮動画像データは、第１の種類の画像データと、該圧縮動画像データの復号処理に要する計算量が前記第１の種類の画像データより多い第２の種類の画像データと、を含み、
   前記第１の種類の画像データに対する復号処理を施す第１の復号処理工程と、
   前記復号処理された前記第１の種類の画像データに対して第１の解像度変換処理を施す第１の解像度変換処理工程と、
   前記第１の解像度変換処理が施されたデータに基づいて、前記復号処理前又は後の第２の種類の画像データに対する解像度変換のためのパラメータを取得するパラメータ取得工程と、
   前記復号処理前又は後の第２の種類の画像データと、前記取得されたパラメータとに基づいて、該第２の種類の画像データに対して第２の解像度変換処理を施す第２の解像度変換処理工程と、
   を含む画像処理方法。
2. 前記第２の種類の画像データに対して復号処理を施す第２の復号処理工程を有し、
   前記パラメータ取得工程において、前記復号処理後の第２の種類の画像データに対する解像度変換のためのパラメータを取得し、
   前記第２の解像度変換処理工程において、前記復号処理後の第２の種類の画像データと、前記取得されたパラメータとに基づいて、該復号処理後の第２の種類の画像データに対する解像度変換処理を施す請求項１に記載の画像処理方法。
3. 前記パラメータ取得工程において、前記復号処理前の第２の種類の画像データに対する解像度変換のためのパラメータを取得し、
   前記第２の解像度変換処理工程において、前記復号処理前の第２の種類の画像データと、前記取得されたパラメータとに基づいて、該復号処理前の第２の種類の画像データに対する解像度変換処理を施し、
   さらに、前記第２の解像度変換処理工程により解像度変換された第２の種類の画像データに対して、復号処理を施す第２の復号処理工程を有する、
   請求項１に記載の画像処理方法。
4. 前記第２の解像度変換処理は、バイリニア法に基づく解像度変換処理である請求項２に記載の画像処理方法。
5. 前記第２の解像度変換処理は、ニアレストネイバー法に基づく解像度変換処理である請求項２に記載の画像処理方法。
6. 前記第２の解像度変換処理は、ＤＣＴ係数を補完することで解像度変換を行う解像度変換処理である請求項３に記載の画像処理方法。
7. 前記第１の解像度変換処理は、バイキュービック法に基づく解像度変換処理である請求項１乃至６のいずれかに記載の画像処理方法。
8. 前記第１の種類の画像データがＩピクチャタイプの画像データであり、前記第２の種類の画像データがＰ又はＢピクチャタイプの画像データである請求項１乃至７のいずれかに記載の画像処理方法。
9. コンピュータに入力された圧縮動画像データであって、第１の種類の画像データと、該圧縮動画像データの復号処理に要する計算量が前記第１の種類の画像データより多い第２の種類の画像データと、を含む圧縮動画像データを、復号処理され、かつ圧縮前とは解像度が異なる複数の静止画像からなる動画像データに変換する画像処理プログラムにおいて、
   コンピュータに、
   前記第１の種類の画像データに対する復号処理を施す第１の復号処理工程と、
   前記復号処理された前記第１の種類の画像データに対して第１の解像度変換処理を施す第１の解像度変換処理工程と、
   前記第１の解像度変換処理が施されたデータに基づいて、前記復号処理前又は後の第２の種類の画像データに対する解像度変換のためのパラメータを取得するパラメータ取得工程と、
   前記復号処理前又は後の第２の種類の画像データと、前記取得されたパラメータとに基づいて、該第２の種類の画像データに対して第２の解像度変換処理を施す第２の解像度変換処理工程と、
   を実行させる画像処理プログラム。
10. コンピュータに入力された圧縮動画像データであって、第１の種類の画像データと、該圧縮動画像データの復号処理に要する計算量が前記第１の種類の画像データより多い第２の種類の画像データと、を含む圧縮動画像データを、復号処理され、かつ圧縮前とは解像度が異なる複数の静止画像からなる動画像データに変換する画像処理プログラム、を記録したコンピュータ読み取り可能な記録媒体において、
    コンピュータに、
    前記第１の種類の画像データに対する復号処理を施す第１の復号処理工程と、
    前記復号処理された前記第１の種類の画像データに対して第１の解像度変換処理を施す第１の解像度変換処理工程と、
    前記第１の解像度変換処理が施されたデータに基づいて、前記復号処理前又は後の第２の種類の画像データに対する解像度変換のためのパラメータを取得するパラメータ取得工程と、
    前記復号処理前又は後の第２の種類の画像データと、前記取得されたパラメータとに基づいて、該第２の種類の画像データに対して第２の解像度変換処理を施す第２の解像度変換処理工程と、
    を実行させるための画像処理プログラムを記録した記録媒体。
11. 圧縮動画像データを、復号処理され、かつ圧縮前とは解像度が異なる複数の静止画像からなる動画像データに変換する画像処理装置であって、
    前記圧縮動画像データは、第１の種類の画像データと、該圧縮動画像データの復号処理に要する計算量が前記第１の種類の画像データより多い第２の種類の画像データと、を含み、
    前記第１の種類の画像データに対する復号処理を施す第１の復号処理部と、
    前記復号処理された前記第１の種類の画像データに対して第１の解像度変換処理を施す第１の解像度変換処理部と、
    前記第１の解像度変換処理が施されたデータに基づいて、前記復号処理前又は後の第２の種類の画像データに対する解像度変換のためのパラメータを取得するパラメータ取得部と、
    前記復号処理前又は後の第２の種類の画像データと、前記取得されたパラメータとに基づいて、該第２の種類の画像データに対して第２の解像度変換処理を施す第２の解像度変換処理部と、を備えた画像処理装置。
12. 前記第２の種類の画像データに対して復号処理を施す第２の復号処理部を有し、
    前記パラメータ取得部は、前記復号処理後の第２の種類の画像データに対する解像度変換のためのパラメータを取得する機能を有し、
    前記第２の解像度変換処理部は、前記復号処理後の第２の種類の画像データと、前記取得されたパラメータとに基づいて、該復号処理後の第２の種類の画像データに対する解像度変換処理を施す機能を有する請求項１１に記載の画像処理装置。
13. 前記パラメータ取得部は、前記復号処理前の第２の種類の画像データに対する解像度変換のためのパラメータを取得する機能を有し、
    前記第２の解像度変換処理部は、前記復号処理前の第２の種類の画像データと、前記取得されたパラメータとに基づいて、該復号処理前の第２の種類の画像データに対する解像度変換処理を施す機能を有し、
    さらに、前記第２の解像度変換処理部において解像度変換された第２の種類の画像データに対して、復号処理を施す第２の復号処理部を備えた請求項１１に記載の画像処理装置。

Images