JP2006101440A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】低解像度の画像を高解像度の画像に変換することができる情報処理装置及び情報処理方法を提供すること。
【解決手段】 ビデオコーデックのビットストリームに含まれるイントラ予測情報を抽出する抽出手段１１０と、画像データの解像度を原画像の解像度よりも高い画像に変換する変換手段２００と、を備え、前記変換手段は、前記イントラ予測情報に基づいて、前記画像データの画素の補間処理を行うことにより高解像度の画像に変換する。
【選択図】 図１

Description

本発明は、情報処理装置及び情報処理方法に関する。

低解像度のビデオデータを、高解像度のディスプレイに表示する場合、ビデオデータの特性に合わせて、適当なフィルタ演算によって、画素を補間している。例えば、ＩＰ変換処理においては、インターレース画像をプログレッシブ画像に変換する場合、画像データを１行おきに補間する必要がある。この場合、動きが小さい場合は、前後のフィールド画像のデータを使って画素を補間する。また、動きが大きい場合は、低解像度の画素を基に、フィルタ演算を行って、画素を求める。また、ＳＤサイズの動画を、ＨＤサイズに変換する場合も、低解像度のＳＤ画像の画素を基に、ＨＤサイズの画素に合うようにフィルタ演算した画素データによって補間する。

このように、画素を補間する場合に、フィルタ演算によって求めるために、エッジのある映像の場合は、ぼやけた映像になってしまうという問題があった。

なお、Ｈ．２６４により、イントラ予測による圧縮率の向上が策定されているが、低解像度のデータを高解像度のデータにイントラ予測を応用するという提案はなされていない（非特許文献１参照）。
インプレス：Ｈ．２６４／ＡＶＣ教科書、１０７−１０８ページ

本発明は、低解像度の画像を高解像度の画像に変換することができる情報処理装置及び情報処理方法を提供することを目的とする。

本発明の局面に係る情報処理装置は、Ｈ．２６４などのイントラ予測を行うビデオコーデックを備えた情報処理装置において、ビデオストリームの解像度よりも高い解像度のディスプレイに動画を表示する場合に、ビデオコーデックのビットストリームに含まれるイントラ予測情報を抽出する抽出手段と、画像データの解像度を原画像の解像度よりも高い画像に変換する変換手段と、を備え、前記変換手段は、前記イントラ予測情報に基づいて、前記画像データの画素の補間処理を行うことにより高解像度の画像に変換することを特徴とする。すなわち、補間する画像を、イントラ予測の予測方向と、イントラ予測の予測精度の情報を使って、計算している。
なお、イントラ予測の精度を定量化してパラメータに加えることにより、イントラ予測が原画像に近い場合は、イントラ予測データを使った補間画素データの重みを大きくすることにより、高精細な動画を生成できる。
なお、本発明は、装置のみならず方法の発明としても成立する。

本発明によれば、低解像度の動画データを高解像度のディスプレイで表示する場合に、より高精細の画像を得ることが可能となる。すなわち、イントラ予測の情報を利用して、高解像度変換処理を行うことにより、通常のフィルタ処理に比べて、原画像の特性にあったデータを生成することができ、より高精細な変換画像を得ることが可能となる。
特に、空間内で冗長性のある画像データの場合に、イントラ予測の向きに沿った画素データがぼやけることなく、くっきりと再生される。

図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る情報処理装置の画像処理に係る概略構成を示す図である。
図１に示す構成は、Ｈ．２６４のような、イントラ予測が可能なデコーダ１００に係る構成である。図1に示すように、ビットストリームが、ＣＡＢＡＣデコーダ１１０に入力する。ＣＡＢＡＣデコーダ１１０は、マクロブロック単位で、残差信号を離散コサイン変換及び量子化した値と、イントラ予測かインター予測かのモードと、更に、インター予測の場合には、動きベクトルなどの値を出力する。ＣＡＢＡＣデコーダ１１０からの出力信号のうち離散コサイン変換及び量子化された値は、逆量子化部１１２及び逆離散コサイン変換部１１４で、それぞれ、逆量子化及び逆離散コサイン変換されて、加算器１３０に入力する。一方、ＣＡＢＡＣデコーダ１１０からは、予測モードに応じて、イントラ予測部１２０にイントラ予測モードが出力され、インター予測部１２５にインター予測モードと動きベクトルが出力される。イントラ予測部１２０は、イントラ予測信号と詳細は後述するローカルデコード画像とに基づいてイントラ予測信号を出力する。また、インター予測部１２５は、インター予測モードと、動きベクトルと、詳細は後述する参照フレームとに基づいて、インター予測信号を出力する。

イントラ予測部１２０又はインター予測部１２５からは、モード判定部１２７により、予測モードに応じて、いずれかの予測信号が加算器１３０に出力される。加算器１３０は、逆離散コサイン変換部１１４からの出力値とモード判定部１２７からの予測信号を加算して、ローカルデコード画像を出力する。このローカルデコード画像は上述したイントラ予測部１２０とループフィルタ１４０に入力する。ループフィルタ１４０は、入力したローカルデコード画像のプロックノイズを削減して、参照フレームとしてのデコード画像を生成する。なお、この参照フレームは、インター予測の参照フレームとして利用される。

ループフィルタ１４０から出力されたデコード画像は、高解像度変換処理部２００に出力されて、高解像度な画像に変換されて、高解像度に変換されたデコード画像が表示装置に表示される。このとき、解像度を高める処理は、通常、原画像のデータに対して、その間の画素データを補間することによって行うが、本発明では、デコーダ１００から出力されたビデオ画像の解像度を高めるのに、イントラ予測部１２０で予測されたイントラ予測モード（具体的には、イントラ予測方向）に基づいて補間処理を行ってビデオ画像の解像度を高めるようにしている。この場合において、デコード時に予測精度が計算されるので、この予測精度に応じて、補間処理に際してイントラ予測情報をその程度使用するか（どの程度の重み付けをするか）、を決定する。従って、イントラ予測の精度が低い場合は、従来の補間処理の重みを大きくしたり、従来の補間処理のみとしたりすることができる。なお、図１では、高解像度変換処理部２００は、デコーダ１００に含まれていないが、含まれていても良い。

本実施態様では、デコーダのデコード処理の後に、デコード画像の解像度を高めるために、デコーダのデコード処理において、イントラ予測の予測モードが示す、イントラ予測方向の情報（イントラ予測モード）と、イントラ予測時の、現画像との差分（残差信号）情報を、図示しないメインメモリに、格納しておく。そして、デコード済みのビデオ画像の解像度を高めるときに、この情報を使うようにしている。

イントラ予測とは、図２に示すように、矩形のブロック形状の画像領域（例えば、４×４画素）に対して、そのブロックの周辺のデコード済みの画素データを使って、ブロック内の画素データの値を予測するものである。周辺画素データを、どのような方向に展開してブロック内の画素を求めるかは、イントラ予測モードという値に符号化されている。このイントラ予測モードは、図２の（ａ）から（ｈ）の８つの方向に対するモードと展開方向が規定されていないモードの合計９つのモードがある。図２において、（ａ）と（ｂ）は、隣接する画素方向に展開された場合、（ｃ）と（ｄ）は、斜め画素方向に展開された場合、（ｅ）から（ｈ）は、斜め１つとびの画素方向に展開された場合を示す。この予測モードと、予測値との差分信号の情報は、ビデオデータのデコード時に得られる。これらの値は、上記のようにメインメモリに保存しておく。

通常の解像度変換処理は、この補間データを求めるために、図３に示すようなフィルタ処理によって、周辺画素から一様に、補間画素を計算するか、画素間の値の違いによって、このフィルタ演算を切り替えたりして、より高精細な画像となるように、補間画素を計算する。

これに対し、本発明の実施態様では、この補間画素を求めるとき、図４に示すように、イントラ予測のモードに従った展開方向に沿って、フィルタ処理を行っている。これによって、画像の特性に合わせた最適な補間画素を計算することができる。
例えば、図４の（ａ）では、イントラ予測の展開方向が横方向であるので、求める画素の横方向の画素のみを用いて補間を行う。同様に、（ｂ）及び（ｄ）では、斜め方向の画素、（ｃ）では縦方向の画素のみを用いて補間を行うようにしている。なお、補間使用する画素については、展開方向の画素のみを用いても良いが、重み付けをして、展開方向の画素の寄与を大きく評価するようにしても良いし、１ブロック内の画素以外にその周辺の画素を用いるようにしても構わない。なお、図５は、画像の一部におけるイントラ予測モードの様子を示す例である。図５に示すように、隣接するブロックにおけるイントラ予測モードは急激に変化することはほとんどないことがわかる。従って、補間すべき画素の両側に隣接する画素のみでなく、離間した画素も考慮して補間しても良いことがわかる。

図６は、本発明の一実施態様に係る補間画素データを計算するための図である。図６において、（ａ）は計算手順を示すフローチャートであり、（ｂ）はステップＳ６２に対応する図であり、（ｃ）はステップＳ６３に対応する図である。まず、イントラ予測モードと予測制度と低解像度のデコード済み画像を入力する（ステップＳ６１）。イントラ予測モードが示す予測方向（向き）に沿って、フィルタ演算を行い、補間画素を計算する（ステップＳ６２）。次に、その他の補間画素を、原画像と、ステップＳ６２で求めた補間画素データを基に、イントラ予測モードが示す向きに対して直角方向に、フィルタ演算を行って計算する（ステップＳ６３）。そして、高解像度変換済みの画像を出力する（ステップＳ６４）。

上記のフィルタ演算（処理）において、イントラ予測の精度で重み付けすることによって、誤差を小さくすることができる。例えば、イントラ予測の予測がうまくいっている場合は、イントラ予測を使用したフィルタ演算の結果の重みを大きくし、そうでない場合は、通常のフィルタ演算の結果の重みを大きくして補間画素を計算する。これにより、イントラ予測の誤差が大きい場合に、誤差の大きいデータを基に、補間画素を計算してしまうことを防ぐことができる。

本発明は、上記各実施の形態に限ることなく、その他、実施段階ではその要旨を逸脱しない範囲で種々の変形を実施し得ることが可能である。
イントラ予測は、Ｉピクチャにおいては、すべてのブロックにおいて実施されるため、Ｉピクチャの画像データの高精細化に寄与する。また、ＰピクチャやＢピクチャにおいても、イントラ予測モードが選択された場合は、本発明によって、高精細の画像が生成できる。更に、インターモード（フレーム間動き予測）が選択された場合においても、高精細な参照フレームを作成しておけば、インターモードでの動きベクトルを使って高精細な参照フレームからデータを引き出すことで、補間画素の計算を補うことができ、高解像度変換処理の性能向上が期待できる。また、上記のフィルタ処理は、一例であって、例えば、ＤＣＴによって周波数成分分解し、ＤＣＴ係数をスケーリングした後にＩＤＣＴすることによって、補間画素を得る方法などが考えられる。
また、すべての補間にイントラ予測を使用する必要はなく、相関がない場合には従来の方法で補間を行うことが好ましい。また、相関のあるなしに関わらず、イントラ予測の予測精度に応じて、例えば、手動により又は誤差の大きさに応じて、重みを変更したり、イントラ予測に替えて従来の補間方法を使用したりすることもできる。なお、誤差の大きさについては、しきい値を外部から設定（例えば、設計により、或いはユーザにより設定）するようにしても良い。
さらに、上記各実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合せにより種々の発明が抽出され得る。

また、例えば各実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

本発明の一実施形態に係る情報処理装置の画像処理に係る概略構成を示す図。 イントラ予測のモードを説明するための図。 通常のフィルタ処理による補間方法の一例を示す図。 イントラ予測による補間方法例を示す図。 画像の一部におけるイントラ予測モードの様子を示す例。 本発明の一実施態様に係る補間画素データを計算するための図。

符号の説明

１００…デコーダ
１１０…ＣＡＢＡＣデコーダ
１１２…逆量子化部
１１４…逆離散コサイン変換部
１２０…イントラ予測部
１２５…インター予測部
１２７…モード判定部
１３０…加算器
１４０…ループフィルタ
２００…高解像度変換処理部

Claims (6)

1. ビデオコーデックのビットストリームに含まれるイントラ予測情報を抽出する抽出手段と、
   画像データの解像度を原画像の解像度よりも高い画像に変換する変換手段と、を備え、
   前記変換手段は、前記イントラ予測情報に基づいて、前記画像データの画素の補間処理を行うことにより高解像度の画像に変換することを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、前記変換手段は、前記イントラ予測情報に含まれる展開方向の画素の重みを大きくするか、又は展開方向の画素のみを用いて、補間処理を行う手段を含むことを特徴とする情報処理装置。
3. 請求項２に記載の情報処理装置において、前記重み付けは、前記イントラ予測情報が原画像に近いほど、イントラ予測情報に基づく補間処理の重みを大きくすることを特徴とする情報処理装置。
4. 請求項１から請求項３のいずれか１項に記載の情報処理装置において、前記イントラ予測情報による補間に使用する画素として、補間による求める画素に隣接する画素に加えて、その更に外側の画素も使用することを特徴とする情報処理装置。
5. 請求項１から請求項４のいずれか１項に記載の情報処理装置において、前記イントラ予測情報による補間対象の画像が、Ｐピクチャ或いはＢピクチャであることを特徴とする情報処理装置。
6. ビデオコーデックのビットストリームに含まれるイントラ予測情報を抽出するステップと、
   前記イントラ予測情報に基づいて、前記画像データの画素の補間処理を行うことにより画像データの解像度を原画像の解像度よりも高い画像に変換するステップと、を具備することを特徴とする情報処理方法。

Images