JP2006525728A - 画像処理装置 - Google Patents

Abstract

画像処理装置は、ベース・ビデオ・ストリームと、ベース・ビデオ・ストリームから導き出される出力ストリームの品質を任意的に向上させる情報を有するエンハンスメント・ビデオ・ストリームとを受信する。加算器(126)は、画像における位置についてベース・ビデオ・ストリーム及びエンハンスメント・ビデオ・ストリームから導き出される画像情報値を加算することによって出力ストリームを形成する。入力と加算器との間に結合される乗算器(124)は、ベース・ビデオ・ストリームにおける情報値及びエンハンスメント・ビデオ・ストリームにおける情報値がお互いに加算される相対的な重みを調節する。重み選定装置(123)は、相対的な重みを画像における位置及び/又はビデオ情報における時間の関数として、ビデオ情報の局所コンテンツに応じて選定する。

Description

本発明は、圧縮ベース・ストリームと、エンハンスメント・ストリームとからビデオ・ストリームを構築するよう形成された画像処理装置に関する。

（本願の優先日の時点で未公表の）PCT特許出願第IB02/04297号によって、圧縮ベース・ストリームと、ベース・ストリームから復号化し得る画像と元のビデオ・ストリームからの画像との間の差異を補正することを備えるエンハンスメント・ストリームとの形態において画像情報を伝送することが公知である。ベース・ストリームは元のビデオ・ストリームよりも低い空間解像度及び/又は時間解像度を有し、エンハンスメント・ストリームはこの情報を備えて元の解像度を取得する。

圧縮ストリームと元のストリームとの差異は、エンハンスメント・ストリームの符号化前に、エンハンスメント・ストリームに必要なビットレートを削減するために画像の場所に依存する因数によって乗算される。この因数は画像における場所によって変わり、空間的詳細度がほとんど存在しない領域においてエンハンスメント・ストリームにおける画像情報を減衰させるように選定される。ベース・ストリームからのビデオ情報とエンハンスメント・ストリームからのビデオ情報とを復号化するために、ベース・ストリームからの情報とエンハンスメント・ストリームからの情報が、画像における場所毎に加算される。

PCT特許出願第IB02/04297号によれば、エンハンスメント・ストリームを鮮鋭度制御に用いるものもある。鮮鋭化効果又は平滑化効果は、エンハンスメント情報の画像強度をベース・ストリームに対して強弱させることによって達成される。この目的で、エンハンスメント・ストリームからの画像情報は、鮮鋭度を制御するようユーザによって選定される更なる因数によって乗算される。ユーザがこの因数を選定することとする方法に関する詳細は何ら表されていない。明らかに、この因数は手作業で設定される。

本発明の目的にはとりわけ、ベース・ビデオ・ストリームとエンハンスメント・ビデオ・ストリームから得られる、ビデオ・ストリームの知覚画像品質を更に向上させるようにするということがある。

本発明は、請求項1記載のビデオ処理装置を備える。受信ベース・ストリームからの画像情報とエンハンスメント・ストリームとが合成される相対的な重みは、可視的なアーチファクトが削減されるように画像コンテンツの関数として変更される。重みは、例えば、ベース・ストリームからの情報に加算される前にエンハンスメント・ストリームからの情報が乗算される因数を変更することによって変更し得る（ここで用いる相対的な重みを加算することは、両方のストリームからの情報を、和が１である因数各々によって乗算することを要しない。）。

ベース・ビデオ・ストリーム及びエンハンスメント・ビデオ・ストリームは、何れかの公知の伝送チャネルを介して受信してよく、例えば、放送チャンネルを介して受信してよく、ケーブル・システムを介して受信してよく、インターネットを介して受信してよく、磁気ディスクや光ディスクなどのストリーム記憶媒体から受信してもよい。本発明は、エンハンスメント・ビデオ・ストリームが、ベース・ビデオ・ストリームの空間解像度又は時間解像度を増加させるようにする場合に特に有用である一方、他の方法で、例えば、補間画像又は、情報の量子化によって符号化することによって、ベース・ビデオ・ストリームが圧縮される場合に本発明を、補間又は量子化によって喪失された情報をエンハンスメント情報が供給する場合に適用し得る場合もある。

一実施例では、装置は、エンハンスメント・ビデオ・ストリームからの高解像度情報の減衰とオーバエンファシスとを代替的に備える重み値の範囲をサポートする。これは、例えば、画像コンテンツの急速な空間的変化又は時間的変化などの、邪魔になるアーチファクトの知覚を阻止する画像状況下で更に鮮鋭な画像の知覚をもたらすのに用い得る。

一実施例では、装置は、エンハンスメント・ストリームに適用される相対的な重みを、ビデオ・ストリームにおける空間的変化の量及び/又は時間的変化の量によって変更する。変化が大きい領域では、変化が小さい領域よりも大きな重みが用いられる。人間の眼は変化が小さい領域におけるアーチファクトに特に敏感であり、したがって、アーチファクトをもたらし得るエンハンスメント情報はそのような領域では更に減衰するということが分かっている。空間的変化の量は、例えば、エッジ検出フィルタを用いて検出し得る。画像の補間に用いる、動きベクトルに関する情報は、（動きベクトルがない状態がゼロの動きを任意的に示す）時間的変化の量を検出するのに用い得る。空間的変化の量及び/又は時間的変化の量は、場所に依存する減衰を、エンハンスメント・ストリームを圧縮する前に制御するのに用いられる場合もある。

更なる実施例では、装置は、相対的な重みをこの場合も又、局所輝度に応じて変更するので、高輝度の領域におけるエンハンスメント・ストリームには比較的小さい重みが与えられる。ここでは、人間の眼は、アーチファクトに最も敏感である。

これらや他の目的や、他の効果的な特徴は、添付図面やその説明から明らかとなる。

図1はビデオ処理システムを示す。システムは、媒体11を介して結合されるコンパウンド符号器10及びコンパウンド復号器12を有する。例として、媒体11は、通信接続対として示している。コンパウンド符号器10は、ビデオ・ストリームを、例えばカメラ又はレコーディング装置から受信する入力101を有し、コンパウンド復号器は、例えば、表示画面（図示せず）に結合されて、復号化ビデオ情報の制御下で表示画面のコンテンツを駆動させる出力を有する。

コンパウンド符号器10は、第１の符号器100と、復号器102と、因数選定装置105と、乗算器104と、減算器106と、第２の符号器108とを備える。コンパウンド符号器10の画像入力101は、減算器106の第１の入力に結合され、第１の符号器100に結合され、第１の符号器100は、媒体11と、減算器106の第２の入力とに結合される出力を有する。減算器106は、乗算器104の第１の入力に結合される出力を有する。因数選定装置105は、画像入力101に結合される入力と、乗算器104の第２の入力に結合される出力とを有する。乗算器104は、媒体に結合される出力を有する第２の符号器108に結合される出力を有する。

動作上、第１の符号器10は、非可逆符号化を入力101からの画像情報に適用し、特定の例では、第１の符号器は受信画像の低空間解像度バージョン及び/又は低時間解像度バージョンを形成し、この低解像度バージョンを符号化する一方、他の実施例では、他の形態の非可逆符号化を用い得る。結果として生じる第１の符号化画像は、媒体11に、復号器によって用いるよう送信される。非可逆符号化が理由で、復号化情報は、元の画像の情報と大体にしか一致しない。

コンパウンド符号器10の残りの部分は、第１の符号器が理由のエラーを符号化する、エンハンスメント情報の生成に係わる。エンハンスメント情報は、結果と元の画像情報とがより近似になるように第１の符号化画像情報から復号化される画像情報を改善するよう復号器によって任意的に用いられるようにしている。第１の符号器100が画像の低解像度バージョンを符号化する例では、エンハンスメント・ストリームはより鮮鋭な高解像度画像を得るのに必要な情報を有する。

例として、エンハンスメント情報の生成は、画像情報を符号化画像から再構築するので圧縮損失を除けば、元の画像情報が元の解像度で再構築されることになる復号器102によって略図で示す。減算器106は、例えば画素単位及びフレーム単位で、符号化によるエラーを判定する。因数選定装置105は、因数を画素及びフレーム毎に画像コンテンツに応じて選定する。低因数は、例えば、コントラストが低い画像領域において選定される。乗算器104は画素を選定因数によって乗算し、その結果を第２の符号器に適用し、第２の符号器は情報を符号化し、それを媒体11に入力する。

図3は、連続した画像における相当する領域のコンテンツにおける変化を検出する変化検出器30を有する符号器の別の実施例を示す。変化検出器20は、例えば、各々の画素位置付近のいくつかの領域の各々における画素間の累積差を計算し得る。この実施例では、因数選定装置105は因数を、変化の量に応じて、例えば、画像がその位置付近で1つの画像から別の画像に変化するその位置付近の画像において因数を局所的に削減することによって選定する。

媒体11は接続対として示すが、第１の符号化情報もエンハンスメント情報も送信される単一の接続、又は両方若しくはその混合物が記憶されている記憶媒体などの何れかの媒体を用い得ることとする。

コンパウンド復号器12は、第１の復号器120と、第２の復号器122と、因数選定器123と、乗算器124と、加算器126とを備える。第１の復号器120は、第１の符号化情報を受信する媒体11に結合され、加算器126の第１の入力に結合される第１の出力を有する。第2の出力は、乗算器124の第１の入力に結合される出力を有する因数選定器123に結合される。第２復号器122は、媒体11に結合されてエンハンスメント情報を受信し、乗算器124の第２の入力に結合される出力を有する。乗算器124は、加算器126の第２の入力に結合される出力を有する。

動作上、第１の復号器120は、第１の符号化情報を復号化し、それを加算器126に供給する。第2の復号器122は、エンハンスメント情報を復号化し、復号化情報を乗算器124に、例えば、画素単位及びフレーム単位で供給する。乗算器124は、復号化情報を、因数選定器123によって供給される因数gによって乗算し、その積を加算器126に供給し、加算器126ではそれが、第１の符号化情報から復号化される情報に加算される。

因数gを選定する種々の方法を因数選定器123において実施し得る。第１の実施例では、因数選定器123は因数gを、復号化画像において検出される「動き」の量によって適応させる。第１の符号化情報が例えばMPEG符号化情報である場合、1つの画像における画素ブロックにおける情報の別の画像における別の位置での画素までの移動を表す動きベクトルDを有する。この実施例では、因数選定器123は画素iの因数gを画像に関連した動きベクトルの長さDiに、
g_i=F(Di)
によって適応させ、そのとき、関数F(Di)は、例えば、ルックアップ・テーブルを用いて規定してもよく、F(Di)をDiの関数として計算する算術演算回路を用いて規定してもよい。好ましくは、関数F(D)は、Diの減少によってゼロに向けて減少する。よって、エンハンスメント情報から生じるアーチファクトは、人間の眼がアーチファクトに敏感であるような、動きがほとんどない領域で抑制される。画素の関連Diとして、例えば、復号化されるフレーム又は時間的に隣接したフレームを符号化するのに用いる、画素が属するブロックの動きベクトルを利用し得る。あるいは、画素が属する領域を越えて移動するか、画素が属する領域まで移動する、ブロックの動きベクトルをそのブロックの動きベクトルによって用い得るが、これはより多くのオーバヘッドを要し得る。

第１の符号化情報からの動きベクトルを用いることは、コンパウンド復号器12内で動きの別個の判定が何ら必要でないという利点を有する。しかし、動きの量は、他の方法で、例えば、画素i付近の領域における1つのフレームから別のフレームまでの変化の量を判定することによっても判定し得るということが分かる。

別の実施例では、因数選定器123は、画素位置を取り囲むか画素位置付近の画像領域における細部Aの量によって画素位置iの因数g_iを選定する。

図2は、この目的で第１の復号器120と因数選定器123との間で結合されるエッジ検出器20を有する復号器を示す。細部Aの量の尺度は、例えば、ラプラシアン・タイプの演算子によって、画素にある位置のマトリックスと画素付近の位置のマトリックスにおける画素値を因数によって乗算（画素iの画素値を8によって乗算）し、その積を加算することによって得ることが可能である。

−1 −1 −1
−1 8 −1
−1 −1 −1
当然、画像コンテンツにおける空間的変化に対する感度が高い他のタイプの演算子を用い得る。好ましくは、細部Aの量は、第１の復号器120によって復号化される画像から判定することが可能であり、それはうまく機能する一方、第１復号器によって復号化される画像とエンハンスメント情報とを合成することによって得られる画像を用いる場合もある。因数選定器123は因数g_iをg_i=H(A)によって選定し、そのとき、Hは、例えば、ルックアップ・テーブル又は算術演算回路を用いて実施し得る関数である。Hは、細部の量が、例えばH(x)=x*x/(1+x*x)によって、減少する場合に減少する。その結果、エンハンスメントは、人間の眼がアーチファクトに敏感である、細部がほとんどない画像領域において抑制される。

更なる実施例では、因数選定器123は、画素位置iを取り囲む領域における平均輝度Lによって因数g_iを適応させ得る。人間の眼の感度が特定の輝度レベルで最大値を有するということが分かっている。平均輝度Lがこのレベルに等しい場合に因数g_i=K(L)を最小にし、平均輝度がこのレベルとは異なる場合に因数g_i=K(L)をより高くすることによって、確認されるアーチファクトが削減される。比較的暗い領域における画素位置iについては特に、因数g_iをより明るい領域に対して増加させ得る。

因数選定器123の更なる実施例では、因数g_iを変更するこれらの方法は、例えば、種々の因数G,H,Kの積をとるか、種々の輝度レベルLについて種々の関数G及び/又はHを用いることによって組み合わせてもよい。

本発明は、第１の符号化画像が低解像度画像であり、エンハンスメント情報が画像をより高い解像度に戻すようにする場合に特に有用である。この場合、適応的因数は事実上、画像の適応的空間フィルタリングの一形態を実施する。

第１の実施例では、因数選定器123は、0と1との間の範囲から因数を選定するので、最高で、エンハンスメント情報は第１復号器によって復号化される情報に完全に付加され、最低で、情報は何ら付加されない。この場合、眼がアーチファクトにほとんど敏感でない画像領域では、実質的にフィルタリングを何ら備えていない高解像度画像が復元され、眼がアーチファクトにより敏感な画像領域では、画像は低域通過フィルタリングされる。しかし、第２の実施例では、因数は、局所で1よりも高く選定し得る。この場合、画像の鮮鋭度を眼がアーチファクトにほとんど敏感でない画像領域において大いに強調して、鮮明な画像知覚を、邪魔になるアーチファクトをもたらすことなく実現する。

種々の符号器、復号器、加算器/減算器および乗算器を1つ又は複数の集積回路における専用回路として実現し得る一方、代わりに、これらの機能を適切にプログラムされたプロセッサ回路を用いて少なくとも部分的に行い得るということが分かるものである。同じことが、復号化画像情報及び/若しくは、動きベクトルなどの符号化情報の関数として因数gを計算する、プログラムされたプロセッサによって実施し得る一方、動き及び/若しくは細部の量を計算する画像フィルタ並びに/又は因数gを計算する１つ若しくは複数のルックアップ・メモリなどの専用回路によって実施される場合もある因数選定器123に当てはまる。

エンハンスメント情報が空間的解像度を増加させるようにする場合に本発明が特に有用であることも分かるものである。よって、エンハンスメント情報の重みを増減させることは、高域通過フィルタリングと低域通過フィルタリングとの各々に相当する。しかし、本発明は、ベース・ビデオ・ストリームが他の方法でエンハンスされる状況にも当てはまる。例えば、時間解像度が、エンハンスメント情報を備えてより高いレートで画像又はフレームを生成することによってエンハンスされる場合、エンハンスメント情報の重みの時間的変化及び空間的変化を用いて、これが知覚可能性の高いアーチファクトにつながらない旨を、検出された空間的変化が示す場合にフリッカを削減するかより滑らかな動き効果を備え得る。

ビデオ処理システムを示す図である。 復号器を示す図である。 符号器を示す図である。

Claims (9)

1. 画像処理装置であって、
   伝送チャネルに結合されて、ベース・ビデオ・ストリームと、該ベース・ビデオ・ストリームから導き出される出力ストリームの品質を任意的に向上させる情報を有するエンハンスメントメント・ビデオ・ストリームとを備えるビデオ情報を受信する入力と、
   画像における位置について前記ベース・ビデオ・ストリーム及び前記エンハンスメント・ビデオ・ストリームから導き出される画像情報値を加算することによって前記出力ストリームを形成するよう配置される加算器と、
   前記入力と前記加算器との間に動作可能に結合されて、前記ベース・ビデオ・ストリームにおける情報値と前記エンハンスメント・ビデオ・ストリームにおける情報値とがお互いに加算される相対的な重みを調節する乗算器と、
   前記画像における位置及び/又は前記ビデオ情報における時間の関数として前記相対的な重みを、前記ビデオ情報の局所コンテンツに応じて選定するよう配置される重み選定装置とを備えることを特徴とする画像処理装置。
2. 請求項1記載の画像処理装置であって、前記エンハンスメント・ビデオ・ストリームは、前記ベース・ビデオ・ストリームによって備えられる空間解像度及び/又は時間解像度を増加させるのに用いる情報を備えることを特徴とする画像処理装置。
3. 請求項2記載の画像処理装置であって、前記重み選定装置は、前記重みを、前記エンハンスメント・ストリームからの前記情報値の前記ベース・ビデオ・ストリームに対する減衰とオーバエンファシスとの各々を行うことが可能な種々の重みを有する範囲から選定するよう形成されることを特徴とする画像処理装置。
4. 請求項1記載の画像処理装置であって、前記重み選定装置は、前記ビデオ情報における位置での前記相対的な重みを、前記位置を有する領域における、前記ビデオ情報の時間的変化及び/又は空間的変化の検出量に応じて選定するので、前記エンハンスメント・ストリームからの前記情報値の、前記ベース・ビデオ情報から導き出される前記情報値に対する重みを、前記量が比較的高い場合に増加させ、前記量が比較的低い場合に減少させるよう形成されることを特徴とする画像処理装置。
5. 請求項4記載の画像処理装置であって、前記重み選定装置は、前記領域における輝度に更に応じるので、前記エンハンスメント・ストリームからの前記情報値の前記ベース・ストリームの前記情報値に対する前記重みを、前記輝度が比較的高い場合に増加させ、前記輝度が比較的低い場合に減少させることを特徴とする画像処理装置。
6. 請求項4記載の画像処理装置であって、前記領域における空間的変化に応じた空間的変化センサを備え、該空間的変化センサは、前記重み選定装置に結合されて、前記相対的な重みを空間的変化に応じて制御することを特徴とする画像処理装置。
7. 請求項4記載の画像処理装置であって、前記ベース・ビデオ・ストリームは動きベクトルを用いて符号化され、前記重み選定装置は、前記領域に前記符号化によって関連付けられた動きベクトル値のサイズに応じて前記重みを選定するよう形成されることを特徴とする画像処理装置。
8. 画像処理装置であって、
   ビデオ情報を、ビデオ情報からのベース・ビデオ・ストリーム及びエンハンスメント・ビデオ・ストリームに符号化して、前記ベース・ビデオ・ストリームにおいて喪失された前記ビデオ情報の一部を供給するよう形成されるビデオ符号器と、
   前記ビデオ情報における連続した画像間の時間的変化の量を前記画像における共通の領域において検出するよう結合される時間的変化検出器とを備え、前記領域は位置を有し、
   更に、前記位置の、時間及び位置に依存する因数を、前記時間的変化の量に応じて選定するので、前記因数が変化の増加によって増加する因数選定装置と、
   前記位置及び時間に依存する因数を画像情報に、前記エンハンスメント・ビデオ・ストリームにおいて符号化前に適用するよう動作可能に結合される乗算器とを備えることを特徴とする画像処理装置。
9. ビデオ・ストリームを処理する方法であって、
   ベース・ビデオ・ストリームと、該ベース・ビデオ・ストリームから導き出される出力ストリームの品質を任意的に向上させる情報を有するエンハンスメント・ビデオ・ストリームとを受信する工程と、
   相対的な重みを前記ビデオ・ストリームにおける画像における位置及び/又は前記ビデオ・ストリームにおける時間の関数として、前記ビデオ・ストリームにおける画像情報に応じて選定する工程と、
   画像における場所について前記ベース・ビデオ・ストリーム及び前記エンハンスメント・ビデオ・ストリームから導き出される画像情報値を加算する工程と、
   前記ベース・ビデオ・ストリームにおける前記情報値と前記エンハンスメント・ビデオ・ストリームにおける前記情報値がお互いに加算される相対的な重みを、前記場所付近の、前記ビデオ・ストリームのコンテンツに応じて場所及び/又は時間の関数として調節する工程とを備えることを特徴とする方法。

Images