JP2010506287A - 画像強調 - Google Patents

Abstract

本発明は、第三のサンプルの構造Ｓ３に基づいて、第一のサンプルの構造Ｓ１を第二のサンプルの構造Ｓ２に強調する画像強調装置及び方法に関し、第一のサンプルの構造と第二のサンプルの構造の両者は、あるシーンの第一の特性を表し、第一の解像度を有し、第三のサンプルの構造は、第二の特性を表し、第一の解像度を有し、第一の特性と第二の特性は、実質的に同じシーンの異なる特性をそれぞれ表す。本方法は、第一のサンプルの構造Ｓ１の第一のサンプルをダウンスケーリングして、第四のサンプルの構造Ｓ４のサンプルを形成することで、第一の特性を表す第四のサンプルの構造を生成するステップを含む。第四のサンプルの構造は、第一の解像度よりも低い第二の解像度を有する。本方法は、第三のサンプルの構造に基づいて、第一の特性を表す第四のサンプルの構造を、第二のサンプルの構造にアップスケーリングするステップを含む。アップスケーリングするステップは、第三のサンプルの構造のサンプルに基づいて、第四のサンプルの構造のそれぞれのサンプルに重み付けファクタを割り当てるステップ、第四のサンプルの構造のサンプル及びそれぞれ割り当てられた重み付けファクタを使用して、第二のサンプルの構造のサンプルを計算するステップを含む。本発明は、本発明に係る画像強調装置を含む画像処理装置、及びコンピュータプログラムに関する。

Description

本発明は、第一のサンプルの構造を第二のサンプルの構造に強調する方法に関するものであり、第一のサンプルの構造及び第二のサンプル構造の両者は、第一のあるシーンの特性を表しており、第一の解像度を有するものである。
また、本発明は、第一のサンプルの構造を第二のサンプルの構造に強調する画像強調装置に関するものであり、第一のサンプルの構造及び第二のサンプル構造の両者は、第一のあるシーンの特性を表しており、第一の解像度を有するものである。
さらに、本発明は、係る画像強調装置を有する画像処理装置に関する。
さらに、本発明は、コンピュータ読み取り可能な媒体に記憶されるプログラムコードを含むコンピュータプログラムに関し、前記プログラムコードは、前記プログラムコードがコンピュータで実行されたとき、前記方法のステップを実行するために構成される。

動きベクトル場及び動画からの視差マップの生成は、家電業界と同様に、研究の注目を長く惹きつけている。動きベクトルの生成における関心は、ビデオ圧縮における動き予測及び補償技術の使用から、大きな後押しを受けている。

３次元テレビジョン及び／又はマルチビューレンダリング機器の係属中の導入は、深さマップ（depth map）及び視差マップ（disparity map）の生成における関心を同様に増加している。視差マップ及び深さマップは、１つのビデオ画像の系列からマルチビュー画像生成で一般的に使用され、２次元のビデオコンテンツの３次元テレビジョン及び／又はマルチビューレンダリング機器に適したフォーマットへの変換を可能にする。

動き予測は、深さ予測のための開始ポイントとして使用することができる。動きベクトル場の予測方法は、連続する画像の同様の画像部分の判定に依存することがある。１つの画素値は類似性を確定するために識別するのに不十分であるので、典型的に、連続する画像の画像部分間の対応関係を確立するため、画素のグループが使用される。結果として、係る予測方法から得られる動きベクトル場は、一般に、原画像よりも低い解像度を有する。動きベクトル場を計算する技術は、８×８画素のグリッドについて動きベクトルを計算する。結果として、深さマップを計算するために係る動きベクトル場が使用されるとき、解像度は、一般に、高品質のレンダリングのためにあまりに粗く、オブジェクトのエッジでハローとして目に見える可視のアーチファクトが得られる。

WO2005/013623“Multi-view Image Generation”で与えられるような深さマップの生成の他の技術は、比較的低い計算コストでフル解像度の深さマップの予測を提供する。ある画像で第一のエッジが確定され、これに基づいて、それぞれの深さマップの値をそれぞれのエッジのサイドに割り当てることで、深さマップが生成される。係る深さマップの解像度は、ブロックに基づく深さマップの解像度よりも有意に高いが、結果的に得られる深さマップの品質は、更に改善される。

WO2005/013623“Multi-view Image Generation”

本発明の目的は、平均して、強調されたサンプルの構造を生成する第一の特性を表す第一のサンプルの構造を強調する方法を提供することにある。

本発明の目的は、請求項１記載の方法により達成される。請求項１記載の方法は、第一のサンプルの構造を強調し、結果的に、第二のサンプルの構造が得られる。第一及び第二の構造の両者は、第一の特性（たとえば深さ）を表し、第一及び第二の構造の両者は、第一の解像度を有する。第一の構造は、第一の解像度を有する第二の特性（たとえば色）を表す第三のサンプルの構造に基づいて強調される。第一の特性及び第二の特性は、実質的に同じシーンの異なる特性をそれぞれ表す。

第一のサンプルの構造は、入力構造として見ることができ、第二のサンプルの構造は、出力構造を表す。第一及び第二の構造の両方のサンプルは、深さマップ、視差マップ、又は動きベクトル場のような、シーンの同一の特性のサンプルを表す。第三のサンプルの構造は、第二のサンプルの構造を生成するために使用される参照構造として見ることができる。参照構造は、シーンの輝度、色、又はテクスチャのような異なる特性を表す。第一、第二、及び第三の構造は、同じ解像度を全て有する。

第一のサンプルの構造を強調するため、第一のサンプルの構造のサンプルをダウンスケーリングして、第四のサンプルの構造のサンプルを形成することで、第一の特性を表す第四のサンプルの構造のサンプルが生成される。第四のサンプルの構造は、第一の構造をダウンスケーリングすることから得られる中間構造として見ることができる。第一の構造をダウンスケーリングすることで、第一のサンプルの構造の幾つかのサンプルは、第四のサンプルの構造のそれぞれのサンプルに寄与する。結果として、第四の構造のそれぞれのサンプルにより表現される予測の品質は、個々の画素におけるノイズが除かれるので、平均して、第一の構造の個々のサンプルの品質よりも高くなることが期待される。この品質におけるゲインは、空間解像度における低減を犠牲にする。

第三の構造の形式において公知の構造を使用することで、オブジェクトの境界に関する正確な情報を提供する第一の解像度で、第四の構造の高い品質のサンプルは、第三の構造からの細かな詳細を使用して、画像に適応する方式でアップスケーリングされる。結果として、平均して、第四の構造の高い品質のサンプルを使用して細かな詳細が再び導入され、平均して、第一の解像度での第一の特性の改善された予測値が得られる。さらに、このアプローチは、オブジェクトの内部に存在する更に繊細なテクスチャを除く。結果として、エッジにより定義されるオブジェクトは、更に一様な内容を有する。

典型的に、サンプルの構造は、データエレメントのマトリクスに対応する。しかし、サンプルの構造は、データエレメントの代替的なコンフィギュレーションに対応する場合がある。

本発明の更なる目的は、画像強調（image enhancement）を提供する、画像強調装置、画像処理装置、及び開始節で記載された種類のコンピュータプログラムを提供することにある。

これらの目的は、請求項１６，１７及び１８のそれぞれに記載される、画像強調装置、画像処理装置及びコンピュータプログラムにより達成される。

好適な実施の形態では、第四のサンプルの構造のそれぞれのサンプルに割り当てられる重みファクタは、サンプルの第三の構造のサンプルと第三のサンプルの構造のロウパスフィルタでフィルタリングされたサンプルとの間の差に基づく。第三の構造のそれぞれのサンプルと第三の構造のそれぞれのロウパスフィルタでフィルタリングされたサンプルとの間の差は、低い空間解像度での第二の特性のサンプルが第一の解像度でのサンプルにどのように関連するかに関する指示を与える。

より詳細には、ロウパスフィルタによるフィルタリングは、第一の解像度から第二の解像度に第三の構造のサンプルのダウンスケーリングを含む。結果として、第四のサンプルの構造で記憶される第一の特性の更に信頼できる予測値は、第二の特性を表す第二のサンプルの構造から構造的な情報に基づいてアップスケーリングされ、これにより、アップスケーリングは、第三のサンプルの構造で発見されるオブジェクトの境界に実質的に適合することができる。

より詳細には、第二の特性を表す第五のサンプルの構造が生成され、第五の構造は、第二の解像度を有する。第五の構造は、第三のサンプルの構造のサンプルをダウンスケーリングして、第五のサンプルの構造のサンプルを形成することで形成される。第四のサンプルの構造のそれぞれのサンプルに割り当てられた重みファクタは、第五のサンプルの構造のサンプルと第三のサンプルの構造のサンプルとの間の差に基づく。第三の構造のそれぞれのサンプルと第五の構造のサンプルとの間の差は、第二の解像度での第二の特性のサンプルが第一の解像度でのサンプルにどのように関連するかに関する更に信頼できる指示を与える。

更なる実施の形態では、第一のサンプルの構造は、第一のタイムスタンプでのシーンの第一の特性を表しており、第三のサンプルの構造は、第二のタイムスタンプでのシーンの第二の特性を表しており、第二のタイムスタンプは、第一のタイムスタンプに時間的に近接しており、第一のサンプルの構造は、第二のタイムスタンプで第一の特性を表す更なるサンプルの構造の予測値を形成する。この実施の形態は、たとえば、現在の深さマップを生成する予測値として、以前の（又は将来の）深さマップの使用を可能にする。第一の構造をダウンスケーリングして第四の構造を得て、第一の構造のサンプルについてではなく、第四の構造のサンプルについて重み付けファクタを計算することで、現在の深さマップを予測するために必要とされる計算の数を低減することができる。

本発明の画像強調装置の変更及び変形は、以下に記載される画像処理装置、方法及びコンピュータプログラムの変更及び変形に対応する。
本発明に係る画像強調装置、画像処理装置、方法及びコンピュータプログラムのこれらの特性及び他の特性は、以下に記載される実現及び実施の形態に関して、及び添付図面を参照して明らかにされるであろう。同じ参照符号は、図面を通して同じ部材を示すために使用される。

フル解像度での輝度画像を示す図である。 フル解像度での予測される深さマップを示す図である。 低解像度での予測される深さマップのダウンスケーリングされたバージョンを示す図である。 画像1A及び1Cを使用した、本発明に従って生成された強調された深さマップを示す図である。 ５つのサンプルの構造を概念的に示す図であり、ここで第二のサンプルの構造の値は未だ計算されていない。 第一の出力サンプルの計算のために適用されるため、第一の差に基づく第一の重み付けファクタの割り当てを概念的に示す図である。 それぞれの差に基づく多数の重み付けファクタの割り当てを概念的に示す図である。 第二の出力サンプルの計算のために適用されるため、第一の差に基づく第一の重み付けファクタの割り当てを概念的に示す図である。 図2Aの５つのサンプルの構造を概念的に示す図であり、ここで第二のサンプルの構造の値は計算されている。 ５つのサンプルの構造を概念的に示す図であり、このうちの２つが第二のサンプルの構造のサンプルを計算するために必要とされる。 ７つのサンプルの構造を概念的に示す図である。 第一のフィルタアパーチャを概念的に示す図である。 第二のフィルタアパーチャを概念的に示す図である。 予測される深さマップ、視差マップ、又は動きベクトル場を強調するため、本発明の実施の形態を概念的に示す図である。 深さマップを強調するため、本発明の実施の形態を概念的に示す図である。 本発明に係る画像強調装置を概念的に示す図である。 本発明に係る画像強調装置を概念的に示す図である。 マルチビュー画像生成ユニットを概念的に示す図である。 本発明に係る画像処理装置を概念的に示す図である。

本発明で実施される画像強調の可能性は、一連の画像を使用して最良に例示される。図１Ａは、フル解像度での輝度画像を示す。図１Ｂは、同じ解像度での予測される深さマップを示す。見る人に近いオブジェクトは高い輝度を示し、見る人から遠いオブジェクトは暗い。領域２０１内で、様々なエッジがハイライト表示されており、その領域２０１で、深さマップの値が含まれており、図１Ｂに示される深さマップに類似する深さマップは、“Multi-view Image Generation”と題されたWO2005/013623及び“Creating a depth map”と題されたWO2005/083630に従う方法を使用して生成される。領域２０２は、あるオブジェクト内の構造を表す幾つかの更に微妙なエッジを示し、係るエッジは、同一のオブジェクトの一部である。この画像から、予測の間、実際の深さを正しく反映しない深さにおける更に微妙な変化と同様に、エッジが導入されることが明らかである。

図１Ｂに示される深さの予測は、８であるダウンスケーリングファクタを使用して、ここではダウンスケーリングされる。図１Ｃは、ダウンスケーリングされた画像を表し、ダウンスケーリングされた画像は、サンプルの複製を使用して拡張されて示され、他と同じ寸法をもつ画像が得られる。続いて、ダウンスケーリングされた深さマップの予測は、図１Ａからの輝度情報を使用して画像に適応する方法（image-adaptive manner）でアップスケーリングされ、図１Ｄが得られる。領域２０１及び２０２内のエッジが実質的に除かれ、それぞれのオブジェクト内に位置される深さの値は、オブジェクト全体にわたり実質的に伝播される。図１Ｄで示される結果的に得られる深さマップは、図１Ｂに示される深さマップに対する改善を与える。

８であるダウンスケーリングファクタが特に有効であるが、２から１６の範囲におけるダウンスケーリングファクタを使用したときに改善が見られる。オリジナルの解像度及び結果的に得られる深さマップの所望の粒状度に依存して、更なる詳細の損失を犠牲にして、より高いダウンスケーリングファクタが使用される。

図２Ａ〜図２Ｆに関連して、本発明に係る方法の実施の形態が記載される。図２Ａから図２Ｆは、以下の点を概念的に示す。第一のサンプルの構造Ｓ１は、第一の特性を表し、第一の構造は第一の解像度を有する。第二のサンプルの構造Ｓ２は、第一の特性を表し、第二のサンプルの構造Ｓ２は第一の解像度を有する。第三のサンプルの構造Ｓ３は、第二の特性を表し、第三のサンプルの構造Ｓ３は第一の解像度を有する。第四のサンプルの構造Ｓ４は、第一の特性を表し、第四のサンプルの構造Ｓ４は第二の解像度を有しており、第二の解像度は、第一の解像度よりも低い。第五のサンプルの解像度Ｓ５は、第二の特性を表し、第五のサンプルの構造Ｓ５は、第二の解像度を有する。

本発明に係る方法は、以下のステップにより、第一のサンプルの構造Ｓ１を強調して、第二のサンプルの構造Ｓ２を得ることを狙いとする。第一のサンプルの構造Ｓ１のうちの第一のサンプルをダウンスケーリングして、第四のサンプルの構造Ｓ４のうちの第四のサンプルを形成することで、第四のサンプルの構造Ｓ４のうちの第四のサンプルを生成するステップ。第三のサンプルの構造Ｓ３のうちの第三のサンプルをダウンスケーリングして、第五のサンプルの構造Ｓ５のうちの第五のサンプルを形成することで、第五のサンプルの構造Ｓ５のうちの第五のサンプルを生成するステップ。第三のサンプルの構造Ｓ３及び第五のサンプルの構造Ｓ５に基づいて、第四のサンプルの構造Ｓ４を第二のサンプルの構造Ｓ２にアップスケーリングするステップ。

このアップスケーリングは、以下のステップを含む。ｉ）第三のサンプルの構造Ｓ３のうちの第三のサンプルと第五のサンプルの構造Ｓ５のうちの第五のサンプルとの間の差に基づいて、第四のサンプルの構造Ｓ４のうちのそれぞれの第一のサンプルに重み付けファクタを割り当てるステップ。ｉｉ）第四のサンプルの構造Ｓ４のうちの第四のサンプルとそれぞれ割り当てられた重み付けファクタとに基づいて、第二のサンプルの構造Ｓ２のうちの第二のサンプルを計算するステップ。

図２Ａは、５つのサンプルの構造Ｓ１〜Ｓ５を概念的に示しており、第二のサンプルの構造Ｓ２の値は、未だ計算されていない。これは、第一及び第三のサンプルの構造のダウンスケーリング後の状況として見ることができる。

典型的に、第一のサンプルの構造Ｓ１のうちの第一のサンプルに基づいて、第四の構造Ｓ４のうちの第四のサンプルが計算される。言い換えれば、第一のサンプルの構造Ｓ１をロウパスフィルタでフィルタリングすること、すなわちダウンスケーリングすることで、サンプルの構造Ｓ４が計算される。ダウンサンプリングが後続する、たとえばsin(x)/xフィルタ又はボックスアベレージフィルタを使用して、第四の構造Ｓ４のうちの第四のサンプルが生成される。さらに、このダウンスケーリングフィルタは、第一のサンプルの構造Ｓ１のうちの第一のサンプルのサブセットのみに適用される。

典型的に、第五のサンプルの構造Ｓ５のうちの第五のサンプルは、第三のサンプルの構造Ｓ３のうちの第三のサンプルに基づいて計算される。言い換えれば、第五のサンプルの構造Ｓ５をロウパスフィルタでフィルタリングすることで、サンプルの構造Ｓ５が計算される。第五の構造Ｓ５のうちの第五のサンプルは、ダウンサンプリングが後続する、たとえばsin(x)/xフィルタ又はボックスアベレージフィルタを使用して生成される。さらに、このダウンスケーリングフィルタは、第三のサンプルの構造Ｓ３のうちの第三のサンプルのサブセットのみに適用される。

明確さのため、全体の第四の構造Ｓ４及び第五の構造Ｓ５は事前に計算されるが、第四及び第五のサンプルは、それぞれの第四及び第五のサンプルが必要とされるとき、オンザフライで計算することができる。結果として、ストレージの要件は、潜在的な計算の重複を犠牲にして低減することができる。

第一の特性は、深さの値、視差の値、又は動きベクトルに対応する場合がある。したがって、第四のサンプルの構造Ｓ４は、予測された、合成された、深さマップ、視差マップ、又は動きベクトル場に対応する。代替的に、第四のサンプルの構造Ｓ４は、その部分的な深さマップに対応する場合がある。

第二の特性は、輝度、色及び／又はテクスチャに対応する。第三のサンプルの構造Ｓ３は、典型的に、高解像度の輝度／カラー画像に対応する。代替的に、第三のサンプルの構造Ｓ３は、比較的に高解像度の輝度／カラー画像の一部に対応する。第五のサンプルの構造Ｓ５は、比較的に低解像度の輝度／カラー画像に対応する。これは、第三の構造Ｓ３の解像度よりも低い解像度を意味する。代替的に、第五のサンプルの構造Ｓ５は、比較的に低解像度の輝度／カラー画像の一部に対応する。

図２Ａ〜図２Ｆにおける異なるグレイ値は、輝度／色及び深さの値／動きベクトルのそれぞれのような、第一の特性と第二の特性の異なる値を表す。

図２Ｂは、第一の差に基づいた第四のサンプル３０６のうちの第一のサンプルの重み付けファクタのうちの第一のファクタの割り当てを概念的に示し、重み付けファクタのうちの第一のファクタは、第一の出力サンプル３００の計算のために利用される。第一の出力サンプル３００は、第二のサンプルの構造Ｓ２のうちの第二のサンプルのうちの１つに対応する。

第四のサンプル３０６のうちの第一のサンプルの重み付けファクタのうちの第一のファクタの割り当ては、第三のサンプル３０２のうちの第一のサンプルと第五のサンプル３０４のうちの第一のサンプルとの間の第一の差に基づく。好ましくは、以下の異なるサンプル間の関係が適用される。

第四のサンプル３０６のうちの第一のサンプルと第五のサンプル３０４のうちの第一のサンプルのそれぞれの座標は相互に等しい。それぞれの座標間の対応は、第四のサンプル３０６の第一のサンプルと第五のサンプル３０４のうちの第一のサンプルとの間で参照符号３０７による破線で示される。
第三のサンプル３０２のうちの第一のサンプルと第二のサンプル３００のうちの第一のサンプルのそれぞれの座標は相互に等しい。それぞれの座標間の対応は、第三のサンプル３０２の第一のサンプルと第二のサンプル３００のうちの第一のサンプルとの間で参照符号３０９による破線で示される。

第五のサンプル３０４の第一のサンプルと第三のサンプル３０２の第一のサンプルの間の第一の差は比較的低いため、重み付けファクタのうちの第一のファクタは、比較的高い。これは、第四のサンプル３０６のうちの第一のサンプルについて「親指を立てるサイン」により、図２Ｂで示される。

更なる第一のサンプルの更なる重み付けファクタの割り当ては、図２Ｃで概念的に示される。たとえば、第四のサンプル３１８のうちの第二のサンプルの重み付けファクタのうちの第二のファクタの割り当ては、第五のサンプル３０８のうちの第二のサンプルと第三のサンプル３０２のうちの第一のサンプルとの間の第二の差に基づく。第一のサンプル３１８のうちの第二のサンプルと第五のサンプル３０８のうちの第二のサンプルのそれぞれの座標は、相互に等しい。それぞれの座標間の対応関係は、参照符号３１１で破線により示される。第五のサンプル３０８のうちの第二のサンプルと第三のサンプル３０２のうちの第一のサンプルとの間の第二の差は比較的に小さいため、重み付けファクタのうちの第二のファクタは、比較的に高い。これは、第四のサンプル３１８のうちの第二のサンプルについて「親指を立てるサイン」により、図２Ｃで示される。

第四のサンプル３１６のうちの第三のサンプルの重み付けファクタのうちの第三のファクタの割り当ては、第五のサンプル３１０のうちの第三のサンプルと第三のサンプル３０２のうちの第一のサンプルとの間の第三の差に基づく。第四のサンプル３１６のうちの第三のサンプルと第五のサンプル３１０のうちの第三のサンプルのそれぞれの座標は、相互に等しい。それぞれの座標間の対応は、参照符号３１３により破線で示される。第五のサンプル３１０のうちの第三のサンプルと第三のサンプル３０２のうちの第一のサンプルとの間の第三の差は比較的に大きいため、重み付けファクタのうちの第三のファクタは比較的に小さい。これは、第四のサンプル３１６のうちの第三のサンプルについて「親指を下げるサイン」により、図２Ｃで示される。

重み付けファクタを割り当てた後、第二のサンプルの構造Ｓ２のうちの第二のサンプルは、第四のサンプルの構造Ｓ４のうちの第四のサンプルとそれぞれ割り当てられた重みファクタとに基づいて計算される。

次に、第二の構造Ｓ２の第二のサンプルの計算が数学的に記載される。第四の特性が深さに対応し、第四のサンプルがｄ² _jにより示され、ｄは深さを表し、添字２は第二の解像度を示し、添字ｊは第四のサンプルの構造におけるインデックスに対応するものとする。第二のサンプルは、

により示され、ｄは深さを表し、添字１は第一の解像度を示し、添字ｉは第二のサンプルの構造におけるインデックスに対応する。予測される深さの値

を計算するため、周囲の深さの値ｄ² _jが使用される。好ましくは、重み付けされたアベレージフィルタが使用される。

この式は、深さの値

すなわち第二のサンプル構造Ｓ２のうちの第二のサンプルの値を計算するために使用される。それぞれの深さの値

について、ｊ番目の周囲の深さの値ｄ² _jが使用される。第二の特性に対応する値の間の差に基づいて重み付けファクタｗ_ijが決定される。たとえば、第二の特性は、輝度に対応する。これは、第五の構造Ｓ５の輝度値ｌ² _jが第三の構造Ｓ３の輝度値ｌ¹ _iに比較されることを意味する。好ましくは、重み付けファクタの計算のため、以下の指数関数が使用される。

ここでαは１／８の値を典型的に有する。

ＲＧＢ（赤、緑、青）データの場合、すなわち第二の特性が色に対応する場合、それぞれの色成分は、重み付けファクタに寄与する。

ＹＵＶデータの場合、Ｕ及びＶデータの寄与は、Ｙに対応する輝度データｌの寄与よりも重要ではない。

色差とは別に、他の画像特性は、画像の内容における差を示すことができる。本発明者は、シンプルなテクスチャの手段の追加により結果が改善されることを認識している。テクスチャｔ² _jは、サンプルのグループにおける最大の輝度値と最小の輝度値の間の絶対差として定義される。次いで、重み付けファクタは、以下のように定義することができる。

第二のサンプルの構造Ｓ２の全てのサンプルが計算される必要があることは明らかである。第二のサンプルの構造Ｓ２の第二のサンプルのうちの第一のサンプル３００の計算の後、第二のサンプルの構造Ｓ２の第二のサンプルのうちの第二のサンプル３２２が計算される。再び、これは、割り当てられた重み付けファクタに基づくフィルタリングにより後続される重み付けファクタの割り当てに基づく。

図２Ｄは、第二の出力サンプル、すなわち第二のサンプルの構造Ｓ２の第二のサンプルのうちの第二のサンプル３２２の計算のために適用される、更なる差に基づいた更なる重み付けファクタの割り当てを概念的に示す。

第四のサンプル３０６の第一のサンプルの重み付けファクタの更なるファクタの割り当ては、第五のサンプル３０４の第一のサンプルと第三のサンプル３２０の第二のサンプルとの間の更なる差に基づく。好ましくは、以下の異なるサンプル間の関係が適用される。

第四のサンプル３０６の第一のサンプルと第五のサンプル３０４の第一のサンプルのそれぞれの座標は、相互に等しい。それぞれの座標間の対応関係は、第四のサンプル３０６の第一のサンプルと第五のサンプル３０４の第一のサンプルとの間の参照符号３０７により破線で示される。
第三のサンプル３２０の第二のサンプルと第二のサンプル３２２の第二のサンプルのそれぞれの座標は、相互に等しい。それぞれの座標間の対応は、第三のサンプル３２０の第二のサンプルと第二のサンプル３２２のうちの第二のサンプルとの間の参照符号３２１により破線で示される。

第五のサンプル３０４の第一のサンプルと第三のサンプル３２０の第二のサンプルとの間の更なる差は比較的に小さいため、重み付けファクタのうちの更なるファクタは比較的に大きい。これは、第一のサンプル３０６の第一のサンプルについて「親指を立てるサイン」により図２Ｄで示される。

図２Ｃに関して上述された事実と同様に、第二のサンプル構造Ｓ２の第二のサンプルのうちの第二のサンプル３２２の計算のための後続する重み付けファクタが計算される。

図２Ｅは、計算された第二のサンプルの構造の値と同様に、図２Ａのサンプルの構造を概念的に示す。言い換えれば、図２Ｅは、第二のサンプル構造Ｓ２の第二のサンプルの計算の結果を概念的に示す。図２Ｅは、第二のサンプルの値は第四の構造Ｓ４の第四のサンプルの値（グレイ値）に基づくことを概念的に示す。第二の構造Ｓ２における「オブジェクト」の「形状」は、第三の構造Ｓ３における「オブジェクト」の「形状」に対応し、ダウンサンプルされた入力画像の深さの値は、対応する画像の輝度値に適合される。

任意に、様々な重みファクタｗ_ijを重み付けするため、余分のファクタが適用され、これにより、余分のファクタは、第一のサンプルの値の信頼性に関連する。

次いで、前に規定された重み付けファクタ（式２〜５を参照）の代わりに、変更された重み付けファクタが使用される。係る信頼性のファクタは、たとえば、動き予測子／深さ予測子から得られる。予測子は、非閉塞（de-occlusion）領域が何処であるかを判定することができる。これらの領域における値は、信頼できるとされず、したがって小さな重みでカウントされる。代替的に、信頼性ファクタは、予測子の入力画像の輝度値に直接に基づいており、一様な画像領域に関連する動きベクトル及び深さの値は、信頼性が低い。また、信頼性ファクタは深さ信号から導出され、深さ信号をデコードするデコーダは、エンコードの間に高い量子化が適用されたときを示し、その場合、深さは信頼性が低い。

図２Ｆは、５つのサンプルの構造を示す。図２Ａ〜図２Ｅから観察することができるように、第二のサンプルの構造Ｓ２の第二のサンプルを計算するために使用される全ての情報は、第一のサンプルの構造Ｓ１及び第三のサンプルの構造Ｓ３に含まれる。第二のサンプルの構造のサンプルを計算するため、ここでは破線の表現を使用して示される第四及び第五のサンプルの構造である、２つの中間のサンプル構造が計算される。第四及び第五の構造が明示的に生成されず、メモリに記憶されないときでさえ、本発明に係る計算及び後続するサンプルの使用は、本発明に範囲にあることは明らかである。

前の例では、明確さのため、第五のサンプルの構造Ｓ５が生成されたが、第五のサンプルの構造Ｓ５に含まれる全ての情報が第三のサンプルの構造Ｓ３から導出される。厳密に言えば、第五のサンプルの構造Ｓ５の計算が必要とされず、第四のサンプルの構造の第四のサンプルの重み付けファクタは、第三のサンプルの構造のみに基づいて割り当てられる。

たとえば、第二のサンプルの構造Ｓ２の第二のサンプル３９０を確定するため、破線３９１により示される関係を使用して、第三のサンプルの構造Ｓ３の対応する第三のサンプル３９３をはじめに確定する。

続いて、第四のサンプルの構造Ｓ４のそれぞれのサンプルの重み付けファクタが計算される。そのように行う１つの方法は、第三のサンプルの構造Ｓ３のサンプルが第四のサンプルの構造Ｓ４のそれぞれのサンプルにどのように関係するかをはじめに確定することである。この例では、第四の構造Ｓ４のサンプルは、グリッド３９２により示されるように、第三の構造Ｓ３の４つのサンプルに対応する。第四のサンプルの構造Ｓ４の第四のサンプル３９４のそれぞれの重み付けファクタは、第三のサンプル３９３を、第四のサンプルの構造Ｓ４の第四のサンプル３９４に対応する第三の構造のサンプルと相互に関連付けることで決定される。

この場合、第四のサンプルの構造Ｓ４に対応する４つのサンプル３９５は、第三のサンプル３９３と同じである。これは、高い相関を明らかに表し、結果として、比較的高い重み付けファクタは、「親指を立てるサイン」により示される第四のサンプル３９４に割り当てられる。この相関を確立するために様々なやり方が考えられ、そのうちの１つは、第三のサンプル３９３からの予め決定された閾値内にあるサンプル３９５からのサンプルの一部の判定である。

このように、第二のサンプルの構造Ｓ２の第二のサンプル３９０は、第五のサンプルの構造に対応する第五のサンプルを明示的に確定するのを必要とすることなしに計算される。

図３は、サンプルＳ１〜Ｓ７の７つの構造を概念的に示す。図３Ａ〜図３Ｆに関連して説明されるように、本発明に係る方法は、はじめに第一のサンプル構造をダウンスケーリングして第四のサンプル構造を取得すること、次いで第三のサンプル構造Ｓ３及び第五のサンプル構造Ｓ５に基づいて、第四のサンプルの構造Ｓ４を第二のサンプルの構造Ｓ２にアップスケーリングすることで、第一のサンプルの構造Ｓ１を強調することを狙いとする。典型的に、第四のサンプル構造Ｓ４をアップスケーリングすることは、複数のステップを含んでおり、そのうちの１つは、第一のステップＵ１である。第一のアップスケーリングステップＵ１の後、第二のアップスケーリングステップＵ２が続く。２を超えるアップスケーリングステップが実行される場合がある（図示せず）。第二のアップスケーリングステップＵ２は、第一のアップスケーリングステップＵ１と同様である。したがって、第二のアップスケーリングステップＵ２は、第六のサンプルの構造Ｓ６及び第三のサンプルの構造Ｓ３に基づいて、第七のサンプルの構造Ｓ７を第二のサンプルの構造Ｓ２にアップスケールすることを意味する。次いで、第一のアップスケーリングステップＵ１の出力、すなわち第七のサンプルの構造Ｓ７は、第二のアップスケーリングステップＵ２の入力として使用される。

典型的に、第二の特性のサンプルは、全体のスケーリングプロセスの開始で、比較的に高い解像度で利用可能である。たとえば、１０２４×１０２４素子のマトリクスである、サンプルの構造Ｓ３により表される入力画像が存在する。ダウンスケーリング、又は任意にダウンスケーリングステップＤ２及びＤ３のカスケードにより、多数の更なるサンプルの構造Ｓ６及びＳ５が計算される。これらは、本発明に係る方法に含まれるそれぞれのアップスケーリングステップＵ１及びＵ２のために必要とされる。たとえば、第三のサンプルの構造Ｓ３は、ファクタ２により、５１２×５１２素子のマトリクスである、第六のサンプルの構造Ｓ６にダウンスケーリングされる。続いて、第六のサンプル構造Ｓ６は、ファクタ２によりダウンスケーリングされ、２５６×１５６素子のマトリクスである、第五のサンプルの構造Ｓ５が得られる。代替的に、第三のサンプルの構造Ｓ３は、ファクタ４により直接的にダウンスケーリングされ、第五のサンプルの構造Ｓ５が得られる。

対応する解像度のアップスケーリングのために異なる特性のサンプルが必要とされるので、ダウンスケーリングステップはアップスケーリングステップに関連することは明らかである。たとえば８×８から４×４に、４×４から２×２に、２×２から１×１にといった、反復的にアップスケーリングを実行することが好ましいが、たとえば８×８から１×１にといった１つのステップでアップスケーリングを実行することもできる。ここでｘ×ｘは、それぞれの低解像度のサンプルに対応する高解像度のサンプルの数を示す。

本発明に係るイメージエンハンスメントで適用される画像適応アップスケーリングは、典型的に、多数の入力サンプル、すなわち第四のサンプルの構造Ｓ４の第四のサンプルをフィルタリングして、出力サンプル、すなわち第二のサンプル構造Ｓ２の第二のサンプルを計算することに基づく。先に記載されたように、入力サンプルは、第二の特性に関連されるサンプル間の差に基づく、それぞれの重みファクタで重み付けされる。特定の出力サンプルの計算が考慮される入力サンプルのコンフィギュレーションは、フィルタアパーチャと呼ばれる。フィルタアパーチャは、特定の出力サンプルの計算において、どの入力サンプルが使用されるかを判定する。図４Ａは、第一のフィルタアパーチャを概念的に示し、図４Ｂは、第二のフィルタアパーチャを概念的に示し、フィルタアパーチャにおけるグレイの画素は、出力画素に寄与する。

第一のアップスケーリングＵ１（たとえば８×８から４×４）におけるエラーは、更なるアップスケーリングステップと同様に、多数の出力画素に影響を及ぼすため、この第一のステップにおける誤りを回避しようと試みることに多くの労力を費やすことは、論理にかなう。さらに、この第一のステップは、粗いグリッドで実行され、したがって、処理されるべきサンプルの量は、比較的少ない。それぞれのアップスケーリングステップで、包含されるサンプル数である解像度が増加する。（両方向において）アップスケーリングファクタが２である場合、サンプル数は４倍に増加する。結果として、多数の色成分を使用すること、及び／又は粗い解像度での信頼性のファクタを使用することのような、重みファクタを確定する更に発展された方法を利用することが有利である。係る更に発展された方法は、信頼できない画素が重み付けファクタに有する影響を制限する点で、重み付けファクタの品質を改善する。これら更に発展された方法により、より広いフィルタのアパーチャを使用することができる。例として、８つの方向で６つのサンプル（８×８）の範囲を使用できることがわかっている。これは、図４Ａにおける影付きのブロックにより例示される。対照的に、図４Ｂは、後続するアップスケーリングステップにおいて、細かい解像度に適した簡略化されたアパーチャを示す。

図５Ａは、画像の系列における１つの画像について深さマップの予測を強化するために使用される、本発明に係る画像強調装置６１０の形式における更なる実施の形態を与える。先の実施の形態では、本発明に係る方法は、第二の特性を表す第三のサンプルの構造Ｓ３を使用して、第一の特性の予測を表す第一のサンプルの構造Ｓ１を強調するために使用された。図５Ａに示される実施の形態は、時間的な態様を含む点で異なる。

図５Ａに示される画像強調装置６１０は、第一のタイムスタンプで第一の特性を表す第一のサンプルの構造Ｓ１（ｔ１）を、第二のタイムスタンプでの第一の特性の更なる第一の構造の予測として使用する。本発明は、タイムスタンプｔ２での第二の特性を表す第三のサンプルの構造Ｓ３（ｔ２）に基づいて、この予測を強化するために続けて使用される。

図５Ａに示される実施の形態は、タイムスタンプｔ１でのシーンに関連される第一の深さマップを、タイムスタンプｔ２でのシーンに関連される第二の深さマップの予測として使用する。第一の深さマップＳ１（ｔ１）を第二の深さマップの予測として使用する根拠は、ある系列の隣接する画像において、対応する深さマップ間に典型的に強い相関があることによる。しかし、たとえばシーンにおける変化及び／又はシーンが画像形成される方式（たとえばパン及び／又はズーム）における変化の結果として、第一のタイムスタンプｔ１での深さマップは、一般に、第二のタイムスタンプｔ２での深さマップに同じではないが、第二のタイムスタンプｔ２での深さマップの予測を与えるのみである。たとえばタイムスタンプが隣接するフレームに関連するか、互いの予め決定された閾値にある場合といった、第一のタイムスタンプ及び第二のタイムスタンプが時間的に十分に近いと仮定すると、第一の深さマップＳ１（ｔ１）は、第二のタイムスタンプｔ２での深さマップの予測として典型的に使用される。

本発明は、タイムスタンプｔ２でのシーンをレンダリングするための深さマップ

として使用することができる強調された深さマップを生成するため、第二のタイムスタンプｔ２でカラーマップＳ３（ｔ２）を使用して、本発明に従って第一のタイムスタンプｔ１で第一の深さマップＳ１（ｔ１）を強調するために使用される。第一のタイムスタンプｔ１での第一の深さマップＳ１（ｔ１）は、はじめにダウンスケーリングされ（６２０）、第一のタイムスタンプｔ１で第四のサンプルの構造Ｓ４（ｔ１）が得られる。次いで、第一のタイムスタンプｔ１での第四のサンプルの構造Ｓ４は、アップスケーリングされ、第二のタイムスタンプｔ２での第三のサンプルの構造Ｓ３（ｔ２）に基づいて、第二のタイムスタンプｔ２で第二のサンプルの構造Ｓ２（ｔ２）が得られる。任意に、エンハンスされた深さマップの品質を更に改善するため、第二のタイムスタンプｔ２で、第二の構造Ｓ２（ｔ２）を深さマップの更なる予測Ｓｎ（ｔ２）と結合して（６４０）、第二のタイムスタンプｔ２で深さマップの最終的な予測

を得ることができる。

先の実施の形態は、深さマップの時間的な予測を強化するために本発明がどのように使用することができるかを説明する。また、本発明は、視差マップ又は動きベクトル場を強調するために有利に適用することができる。さらに、本発明は、タイムスタンプｔ１がｔ２に進むときに適用することができるが、タイムスタンプｔ２がｔ１に進むときにも使用することができる。

図５Ｂは、第二のタイムスタンプｔ２で第三のサンプルの構造Ｓ３（ｔ２）を使用するだけでなく、第一のタイムスタンプｔ１で第五のサンプルの構造Ｓ５（ｔ１）をも使用して、タイムスタンプｔ１で第四の構造Ｓ４（ｔ１）をアップスケーリングする（６３０）。第二のタイムスタンプｔ２で第三の構造Ｓ３（ｔ２）から導出される第二のタイムスタンプｔ２での第五の構造Ｓ５（ｔ２）の代わりに、第一のタイムスタンプｔ１での第五の構造Ｓ５（ｔ１）が使用される。第一のタイムスタンプｔ１での第五の構造Ｓ５（ｔ１）を使用する論理的な根拠は、第四及び第五の構造の両者からのサンプルが同じタイムスタンプｔ１に関連することである。続いて、第二のタイムスタンプｔ２での第三の構造Ｓ３（ｔ２）と第一のタイムスタンプｔ１での第五の構造Ｓ５（ｔ１）との間の差が決定されたとき、この差は、第一のタイムスタンプｔ１で第四の構造Ｓ４（ｔ１）を重み付けする更に正確な重みファクタを与え、平均して改善された強調が得られる。

図５Ｂに示された実施の形態は、ダウンスケーリングユニット６２０が後続する、タイムスタンプｔ１で第三のサンプルの構造Ｓ３（ｔ１）の入力をもつ画像強調装置６１０を示すが、これは強制的なものではない。任意に、代替的な画像強調装置６１０は、タイムスタンプｔ１で第五の構造Ｓ５（ｔ１）の入力をもつことが考えられる。

特定の有利な実施の形態では、第二のタイムスタンプｔ２での深さマップの最終的な予測

は、以下を使用して生成される。

第一のタイムスタンプｔ１での第一の構造Ｓ１（ｔ１）：強調されて、結果的に、第二のタイムスタンプｔ２での第二の構造Ｓ２（ｔ２）が得られる（図５Ｂを参照）。
更なる構造Ｓｎ（ｔ２）：第二のタイムスタンプｔ２での第三のサンプルの構造に基づいて、第二のタイムスタンプｔ２で第一の特性を表す。

先の実施の形態の例では、第一の特性は深さであり、第二の特性は輝度である。更なる構造Ｓｎ（ｔ２）は、図２Ａ〜図２Ｆに関連して記載されるように、本発明に係る方法を使用した、タイムスタンプｔ２で深さマップの予測を強調することで生成される深さマップを表す。この予測は、たとえばWO2005/013623に係る深さマップの生成の方法を適用することで生成される。

構造Ｓ２（ｔ２）及びＳｎ（ｔ２）は、２つの構造を混合して、第二のタイムスタンプｔ２で深さマップの最終的な予測

を形成することで結合される（６４０）。第一のタイムスタンプｔ１から時間的に伝播される深さマップの情報を、第二のタイムスタンプｔ２について新たに予測される深さマップと結合することで、誤った深さマップの情報の誤った伝播が制限され、結果的に得られる深さマップの時間的な一貫性が改善される。結果的に、この実施の形態は、ビデオ系列について深さマップを生成するために特に有利である。図６Ａは、本発明に係る画像強調装置７００を概念的に示す。画像強調装置７００は、第二の特性を表す第三のサンプルの構造Ｓ３に基づいて、第一の特性を表す第一のサンプルの構造Ｓ１を、第一の特性を表す第二のサンプルの構造Ｓ２に強調するために構成され、第一の構造Ｓ１は、第一の解像度を有し、第二の構造Ｓ２は、第二の解像度を有する。

画像強調装置７００は、第一のサンプルの構造Ｓ１の第一のサンプルを受ける第一の入力コネクタ７１４、第三のサンプルの構造Ｓ３の第三のサンプルを受ける第二の入力コネクタ７１０、及び第二のサンプルの構造Ｓ２の第二のサンプルを供給する第一の出力コネクタ７１６を有する。

画像強調装置７００は、以下を有する。第一の特性を表す第四のサンプルの構造Ｓ４の第四のサンプルを生成する生成ユニット７４０。第四の構造Ｓ４は、第一のサンプルの構造Ｓ１の第一のサンプルをダウンスケーリングして、第四のサンプルの構造Ｓ４の第四のサンプルを形成することで、第一の解像度よりも低い第二の解像度を有する。第三のサンプルの構造Ｓ３に基づいて、第一の特性を表す第四のサンプルの構造Ｓ４を第二の構造Ｓ２にアップスケーリングするために構成されるアップスケーリングユニット７５０。

アップスケーリングユニット７５０は、以下を有する。第三のサンプルの構造Ｓ３の第三のサンプルに基づいて、第四のサンプルの構造Ｓ４のそれぞれの第四のサンプルに重み付けファクタを割り当てるために構成される重み付けファクタ割り当てユニット７０２。第四のサンプルの構造Ｓ４の第四のサンプルとそれぞれの重み付けファクタとに基づいて、第二のサンプルの構造Ｓ２の第二のサンプルを計算するために構成される。

好ましくは、重み付けファクタ割り当てユニット７０２は、第三のサンプルの構造Ｓ３の第三のサンプルと第三のサンプルの構造Ｓ３のロウパスフィルタでフィルタリングされた第三のサンプルとの間の差を計算するために構成される第二の計算ユニット７０８を有する。より詳細には、ロウパスフィルタでのフィルタリングは、第三のサンプルの構造Ｓ３をダウンスケーリングすることで、第五のサンプルの構造Ｓ５の生成を含む。

好ましくは、重み付けファクタ割り当てユニット７０２は、第二の計算ユニット７０８により計算された差をそれぞれの重みファクタにマッピングするマッピングユニット７０６を更に有する。より詳細には、マッピングユニット７０６は、入力値、すなわち差を出力値、すなわち重みファクタにマッピングする非線形関数を実行するために構成される。好ましくは、非線形関数は、比較的大きな差を比較的小さな重みファクタに変換する指数関数である。好ましくは、マッピングユニット７０６は、ＬＵＴ（ルックアップテーブル）により実現される。

任意に、画像強調装置７００は、式６に関連して記載されるように、信頼性の値を受信する第四の入力コネクタ７１８を有する。

生成ユニット７４０及びアップスケーリングユニット７５０は、１つのプロセッサを使用して実現される。通常、これらの機能は、ソフトウェアプログラムの制御化で実行される。実行の間、通常、ソフトウェアプログラムは、ＲＡＭのようなメモリにロードされ、そこから実行される。プログラムは、ＲＯＭ、ハードディスク、或いは、磁気及び／又は光ストレージのようなバックグランドメモリからロードされるか、又は、インターネットのようなネットワークを介してロードされる場合がある。特定用途向け集積回路は、開示された機能を提供する。

図６Ｂは、第一の解像度を有する第一の特性を表す更なる構造を表す更なるサンプルの構造Ｓｘを受ける更なる入力コネクタ７２２が設けられる、本発明に係る更なる画像強調装置７００を示す。第一の構造Ｓ１及び更なる構造Ｓｘは、たとえば重み付け加算により結合され、更なる処理の前に１つのサンプルの構造となる（７３０）。このように、多数の深さマップの予測値は、有利にも結合される。

図７は、以下を有するマルチビュー画像生成装置８００を概念的に示す。画像に基づいてそれぞれの入力画像について深さマップを生成する深さマップ生成装置８０２。深さマップは、見る人への距離を表す深さの値を含み、深さマップの解像度は、入力画像の解像度に等しい。入力画像に基づいて、深さマップを強調して、強調された深さマップにする、図６Ａに関して記載された画像強調装置７００。強調された深さマップの解像度は、入力画像の解像度に対応する。入力画像と、画像強調装置８００により供給されるそれぞれ改善された深さマップに基づいて、マルチビュー画像をレンダリングするレンダリングユニット８０６。

マルチビュー画像生成装置８００は、ビデオ画像の系列に基づいて、マルチビュー画像の系列を生成する。マルチビュー画像生成装置８００には、入力コネクタ８０８でビデオ画像のストリームが提供され、出力コネクタ８１０及び８１２のそれぞれで、２つの相関されたビデオ画像のストリームを供給する。これら２つの相関されたビデオ画像のストリームは、マルチビュー表示装置に印加され、この表示装置は、相関されたビデオ画像のストリームの第一のストリームに基づいて第一のビューの系列を可視化し、相関されたビデオ画像のストリームの第二のストリームに基づいて第二のビューの系列を可視化する。ユーザ、すなわち見る人が、同時に、彼の左の目を使用して第一のビューの系列を観察し、彼の右の目を使用して第二のビューの系列を観察する場合、彼（彼女）は３次元の印象を知覚することができる。相関されたビデオ画像のストリームの第一のストリームは、受信されたとき、ビデオ画像の系列に対応し、相関されたビデオ画像のストリームの第二のストリームは、受信されたとき、ビデオ画像の系列に基づいてレンダリングされる。好ましくは、両方のビデオ画像のストリームは、受信されたとき、ビデオ画像の系列に基づいてレンダリングされる。レンダリングは、たとえば、P.A.Redert, E.A.Hendriks及びJ.Biemondによる文献“Synthesis of multi viewpoint images at non-intermediate positions”, Proceedings of International Conference on Acoustics, Speech, and Signal Processing, Vol.IV, ISBN 0-8186-7919-0, page2749-2752, IEEE Computer Society, Los Alamitos, California, 1997に記載される。更なる実施の形態では、レンダリングは、R.P.Berretty and F.E.Ernstによる論文“High-quality images from 2.5D video”, Proceedings Eurographics, Granada, 2003, Short Note 124に記載される。

図８は、以下を有する、本発明に係る画像処理装置９００の実施の形態を概念的に示す。入力画像を表す信号を受ける受信手段９０２。図７に関して記載されるマルチビュー画像生成装置８００。マルチビュー画像生成装置８００の出力画像を表示する表示装置９０６。

信号は、アンテナ又はケーブルを介して受信されたブロードキャスト信号であるが、ＶＣＲ（ビデオカセットレコーダ）又はＤＶＤ（デジタルバーサティルディスク）のような記憶装置からの信号である場合がある。この信号は、入力コネクタ９１０で供給される。画像処理装置９００は、たとえばＴＶである場合がある。代替的に、画像処理装置９００は、任意の表示装置を有さないが、表示装置９０６を有する装置に出力画像を与える。次いで、画像処理装置９００は、たとえばセットトップボックス、サテライトチューナ、ＶＣＲプレーヤ、ＤＶＤプレーヤ又はレコーダである。任意に、画像処理装置９００は、ハードディスクのような記憶手段であるか、たとえば光ディスクといった取り外し可能な媒体での記憶手段を有する。画像処理装置９００は、フィルムスタジオ又はブロードキャスタにより利用されるシステムである。

上述された実施の形態は、本発明を限定するものではなく例示するものであり、当業者であれば、特許請求の範囲から逸脱することなしに代替的な実施の形態を設計することができるであろう。請求項では、括弧間に配置される参照符号は、請求項を限定するものとして解釈されるべきではない。単語「有する“comprise”」は、請求項に列挙されていないエレメント又はステップの存在を排除するものではない。エレメントに先行する単語“ａ”又は“ａｎ”は、複数の係るエレメントの存在を排除するものではない。本発明は、幾つかの個別のエレメントを含むハードウェアにより、適切にプログラムされたコンピュータにより実現される。幾つかの手段を列挙する装置の請求項では、これらの手段の幾つかが同一アイテムのハードウェア又はソフトウェアにより実施される。第一、第二及び第三といった単語の使用は、任意の順序付けを示さない。これらの単語は、名称として解釈されるべきである。特定のステップのシーケンスは、特に示されない場合には必要とされないことが意図される。

Claims (19)

1. 第三のサンプルの構造に基づいて、第一のサンプルの構造を第二のサンプルの構造に強調する方法であって、
   前記第一のサンプルの構造と前記第二のサンプルの構造の両者は、あるシーンの第一の特性を表し、第一の解像度を有し、
   前記第三のサンプルの構造は、第二の特性を表し、前記第一の解像度を有し、
   前記第一の特性と前記第二の特性は、実質的に同じシーンの異なる特性をそれぞれ表し、
   当該方法は、
   前記第一のサンプルの構造の第一のサンプルをダウンスケーリングして、前記第四のサンプルの構造のサンプルを形成することで、前記第一の特性を表す第四のサンプルの構造を生成するステップと、前記第四のサンプルの構造は、前記第一の解像度よりも低い第二の解像度を有し、
   前記第三のサンプルの構造に基づいて、前記第一の特性を表す前記第四のサンプルの構造を、前記第二のサンプルの構造にアップスケーリングするステップとを含み、
   前記アップスケーリングするステップは、
   ｉ）前記第三のサンプルの構造のサンプルに基づいて、前記第四のサンプルの構造のそれぞれのサンプルに重み付けファクタを割り当てるステップと、
   ｉｉ）前記第四のサンプルの構造のサンプル及びそれぞれ割り当てられた重み付けファクタを使用して、前記第二のサンプルの構造のサンプルを計算するステップと、
   を含むことを特徴とする方法。
2. 前記第四のサンプルの構造のそれぞれのサンプルに割り当てられた重み付けファクタは、前記第三のサンプルの構造の第三のサンプルと、前記第三のサンプルの構造のロウパスフィルタでフィルタリングされた第三のサンプルとの間の差に基づく、
   請求項１記載の方法。
3. 前記第四のサンプルの構造のそれぞれのサンプルに重み付けファクタを割り当てるステップは、
   前記第三のサンプルの構造のサンプルをダウンスケーリングして、第五のサンプルの構造のサンプルを形成することで、前記第二の特性を表す第五のサンプルの構造を生成するステップを更に含み、前記第五の構造は、前記第二の解像度を有し、
   前記第四のサンプルの構造のそれぞれのサンプルに割り当てられた重み付けファクタは、前記第五のサンプルの構造のサンプルと前記第三のサンプルの構造のサンプルとの間の差に基づく、
   請求項２記載の方法。
4. 前記重み付けファクタは、前記差の非線形関数に基づいて決定される、
   請求項１記載の方法。
5. 前記非線形関数は、指数関数である、
   請求項１記載の方法。
6. 前記関数は、比較的大きな差を比較的小さな重み付けファクタに変換する、
   請求項４又は５記載の方法。
7. 前記第二の構造のサンプルのうちの第一のサンプルを計算するために使用される、前記第四の構造のサンプルのうちの第一のサンプルの重み付けファクタのうちの第一のファクタを割り当てることは、前記第三の構造のサンプルのうちの第一のサンプルと前記第五の構造のサンプルのうちの第一のサンプルとの間の第一の差に基づいており、
   前記第二の構造のサンプルのうちの第一のサンプルと前記第三の構造のサンプルのうちの第一のサンプルのそれぞれの座標は相互に等しい、
   請求項２乃至６の何れか記載の方法。
8. 前記第二の構造のサンプルのうちの第一のサンプルを計算するために使用される、前記第四の構造のサンプルのうちの第一のサンプルの重み付けファクタのうちの第一のファクタを割り当てることは、前記第三の構造のサンプルのうちの第一のサンプルと前記第五の構造のサンプルのうちの第一のサンプルとの間の第一の差に基づいており、
   前記第五の構造のサンプルのうちの第一のサンプルと前記第四の構造のサンプルのうちの第一のサンプルのそれぞれの座標は相互に等しい、
   請求項２乃至７の何れか記載の方法。
9. 前記アップスケーリングするステップは、多数のスケーリングステップを含み、
   前記多数のスケーリングステップは、
   前記第一の特性を表す中間のサンプルの構造を取得するスケーリングステップと、前記中間のサンプルの構造は、前記第二の解像度よりも高く、前記第一の解像度よりも低い中間の解像度を有し、
   前記中間のサンプルの構造に基づいて前記第二のサンプルの構造を取得する更なるスケーリングステップとを含む、
   請求項１記載の方法。
10. 前記第一の特性は、深さ、視差、動きのうちの１つである、
    請求項１記載の方法。
11. 前記第二の特性は、色、輝度及びカラーテクスチャのうちの１つである、
    請求項１記載の方法。
12. 前記第四のサンプルの構造からサンプルを生成するステップは、前記第一のサンプルの構造から多数のサンプルを結合するステップを含む、
    請求項１記載の方法。
13. ダウンスケーリングは、ボックスフィルタの使用を含む、
    請求項１記載の方法。
14. 前記第一のサンプルの構造は、第一のタイムスタンプで前記シーンの前記第一の特性を表し、
    前記第三のサンプルの構造は、第二のタイムスタンプで前記シーンの前記第二の特性を表し、
    前記第二のタイムスタンプは、前記第一のタイムスタンプでの前記第一のサンプルの構造が前記第二のタイムスタンプでの前記第一の特性を表す前記第二のサンプルの構造の予測を形成するように、前記第一のタイムスタンプに時間的に近い、
    請求項１記載の方法。
15. 前記第一のタイムスタンプで前記第四のサンプルの構造のそれぞれのサンプルに重み付けファクタを割り当てるステップは、
    前記第一のタイムスタンプで第三のサンプルの構造のサンプルをダウンスケーリングして、前記第一のタイムスタンプで前記第五のサンプルの構造のサンプルを形成することで、前記第一のタイムスタンプで前記第二の特性を表す第五のサンプルの構造を生成するステップを含み、前記第一のタイムスタンプで前記第五のサンプルの構造は、前記第二の解像度を有し、
    前記第一のタイムスタンプで前記第四のサンプルの構造のそれぞれのサンプルに割り当てられた重み付けファクタは、前記第一のタイムスタンプでの前記第五のサンプルの構造と前記第二のタイムスタンプでの前記第三のサンプルの構造のサンプルとの間の差に基づく、
    請求項１４記載の方法。
16. 第三のサンプルの構造に基づいて、第一のサンプルの構造を第二のサンプルの構造にエンハンスする画像強調装置であって、
    前記第一のサンプルの構造と前記第二のサンプルの構造の両者は、あるシーンの第一の特性を表し、第一の解像度を有し、
    前記第三のサンプルの構造は、第二の特性を表し、前記第一の解像度を有し、
    前記第一の特性と前記第二の特性は、実質的に同じシーンの異なる特性をそれぞれ表し、
    当該画像強調装置は、
    前記第一のサンプルの構造の第一のサンプルをダウンスケーリングして、前記第四のサンプルの構造のサンプルを形成することで、前記第一の特性を表す第四のサンプルの構造のサンプルを生成する生成手段と、前記第四のサンプルの構造は、前記第一の解像度よりも低い第二の解像度を有し、
    前記第三のサンプルの構造に基づいて、前記第一の特性を表す前記第四のサンプルの構造を、前記第二のサンプルの構造にアップスケーリングするアップスケール手段とを含み、
    前記アップスケーリング手段は、
    前記第三のサンプルの構造のサンプルに基づいて、前記第四のサンプルの構造のそれぞれのサンプルに重み付けファクタを割り当てる重み付けファクタ割り当て手段と、
    前記第四のサンプルの構造のサンプル及びそれぞれ割り当てられた重み付けファクタを使用して、前記第二のサンプルの構造のサンプルを計算する第一の計算手段と、
    を有することを特徴とする画像強調装置。
17. 請求項１６記載の画像強調装置を含む画像処理装置。
18. 請求項１６記載の画像強調装置を含むビデオ表示装置。
19. コンピュータ読み取り可能な媒体に記憶されるプログラムコードを含む、コンピュータによりロードされるコンピュータプログラムであって、
    前記プログラムコードは、前記コンピュータで実行されたとき、請求項１乃至１５の何れか記載の方法のステップを実行する、
    ことを特徴とするコンピュータプログラム。
    

Images