JP2012510760A - ビット解像度の向上 - Google Patents

Abstract

ビット解像度の向上に関するデバイス、システム、装置、方法、およびその他の実施形態が記載される。一実施形態では、装置は、低解像度の画素から高解像度の画素を生成するロジックを備える。装置は、低解像度の画素に関連する勾配値および分散値のうち少なくとも１つに基づいて、高解像度の画素を、画像のスムーズな領域に存在するものとして分類するロジックを備える。装置は、高解像度の画素を、高解像度の画素に関連付けられた一式の近隣の高解像度の画素に基づいて、画像のスムーズな領域に存在しないものとして選択的に再分類するロジックを備える。装置は、依然として高解像度の画素が画像のスムーズな領域に存在するかに基づいて、高解像度の画素を選択的にフィルタリングするロジックを備える。
【選択図】図１

Description

本願は、２００８年１２月１日提出の米国仮出願第６１／１１８，７３５号明細書の恩恵を請求しており、これをここに参照として組み込む。

ブルーレイディスク（ＢＤ）またはデジタル・バーサタイル・ディスク（ＤＶＤ）に格納されている、または、放送、ケーブル、衛星、またはＩＰを介したデジタルビデオ送信により提供されるデジタルコンテンツは、通常チャネル１つについて８ビットで表される。赤色／緑色／青色（ＲＧＢ）方式では、これは赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）の３原色成分それぞれについて８ビットに対応している。ＹＣｂＣｒ方式では、これは、輝度（Ｙ）８ビット、Ｃｂクロミナンス成分８ビット、およびＣｒクロミナンス成分８ビットに対応している。ＣｂおよびＣｒは、２つの水平方向にダウンサンプルされることで、４：２：２のフォーマットが作成されてよく、垂直方向にダウンサンプルされることで４：２：０のフォーマットが作成されてよい。

人間の視覚系（ＨＶＳ）は、８ビットのデータが提供する２５６のレベルを超える階調レベルを識別することができる。ウェバーの法則によると、目で見える最小ステップは、絶対明度に比例している（ΔＩ／Ｉは約１．４である）。これは、低い階調レベルにおいて目がレベルの変化に、より敏感であり、ステップが十分小さくない場合に、顕著な濃淡の縞または輪郭が目に見え易いことを示している。濃淡の縞または輪郭が目に見えないよう黒から白へのスムーズなグレースケールの推移を達成するには、１チャネルあたり１０ビットのビット深度に対応して、少なくとも１０２４のグレーレベルが必要となる。

ＨＶＳの上述した特徴を鑑みて、ＬＣＤ，プラズマおよびＤＬＰ等の主流のディスプレイ技術は、そのビット深度を１チャネルあたり１０ビットあるいはそれ以上に増加させてきた。さらに、世界の家庭用電子機器が共通して利用するデジタルインタフェースである最近のＨＤＭＩのバージョン（例えばｖ１．３、ｖ１．４）は、１チャネルあたり８ビットを上回るビット深度のビデオコンテンツの転送をサポートしている。ＨＤＭＩは、ブルーレイプレーヤ、ＤＶＤプレーヤ、およびセットトップボックス（ＳＴＢ）等の様々なオーディオ−ビジュアル（ＡＶ）ソースデバイスからデジタルテレビへマルチメディアコンテンツを転送する目的に利用されている。

しかし、前述したように、共通に利用されている家庭用のビデオ方式は、依然として１チャネルあたり８ビットを利用している。このデータを１０ビットまたはこれを超えるビットのディスプレイで表示しようとする際に通常のビデオプロセッサまたはコンバータがとることのできる方法の１つに、さらなるビットを低いビット深度の画素に追加する、というものがある。例えば、コンバータは、２ビットを８ビット画素値に追加して、１０ビットの画素値を生成することができる。しかし、単にビットを追加する方法では、個々のステップが人間の目に見えるような変化の遅いスムーズな領域における輪郭または濃淡の縞の出現を回避することはできない。通常、ディザリング、ぶれ、およびスムージング技術によって、ビット深度を高めつつ、輪郭アーチファクトを低減させようと試みられてきた。しかし通常は、意図しないぶれ、その他の好ましくない結果が生じていた。従って、新たなデジタルインタフェースおよびデジタルディスプレイが提供するさらなるビット深度を利用することのできる、鮮鋭さおよび詳細の細かさを維持しつつ、輪郭アーチファクトのない画像を表示することのできる、よりよい画像データ処理方法が望まれている。

一実施形態では、装置は、「低解像度」画素から「高解像度」画素を生成するよう構成されたマッピングロジックを含む。ここで、「高解像度」および「低解像度」という用語は、ビット深度（例えば画素を表すのに利用されるビット数）に関する。１成分について８ビット以下の画素は、通常、「低解像度」の画素と称され、１成分について１０ビット以上の画素は、通常、「高解像度」の画素と称される。装置は、高解像度の画素を、画像のスムーズな領域に存在するものとして分類する輪郭分割ロジックを備える。分類は、低解像度の画素に関連する勾配値および分散値のうち少なくとも１つに基づいて行うことができる。装置は、高解像度の画素を、高解像度の画素に関連付けられた一式の近隣の高解像度の画素に基づいて、画像のスムーズな領域に存在しないものとして選択的に再分類する輪郭改良ロジックを備える。装置は、依然として高解像度の画素が画像のスムーズな領域に存在するかに基づいて、高解像度の画素を選択的にフィルタリングする範囲調節ロジックを備える。

装置の別の実施形態では、輪郭分割ロジックはさらに、低解像度の画素を含む１つの画素ラインの画素値の変化に基づいて、勾配値を計算する。１つの画素ラインは、画像の近隣画素の範囲内に含まれる。

装置の別の実施形態では、輪郭分割ロジックはさらに、低解像度の画素と、一式の関連する低解像度の画素との間の差分の量に基づいて分散値を計算する。一式の関連する低解像度の画素は、画像の近隣画素の範囲内に含まれる。

装置の別の実施形態では、輪郭分割ロジックはさらに、勾配値が勾配閾値を超え、分散値が分散閾値を越えると判断する場合に、高解像度の画素を画像のスムーズな領域に存在するものとして分類する。

別の実施形態では、方法は、低ビット深度の表現から高ビット深度の表現へ、画像コンテンツのビット深度の表現を向上させる段階を備える。方法は、輪郭アーチファクトを生成しやすい高ビット深度の表現を有する画素を先ず分類する段階と、その後に、高ビット深度の表現を有する画素のうち１以上を、輪郭アーチファクトを生成しやすくはないものとして再分類する段階とを備える。画素の再分類は、再分類される１以上の画素に関連付けられた選択された画素が輪郭アーチファクトを生成しやすくはないと判断されると、行われる。方法は、輪郭アーチファクトを生成やすいと分類された高ビット深度の表現を有する画素を選択的にフィルタリングして、輪郭アーチファクトを軽減する段階を備える。

方法の一実施形態では、高ビット深度の表現を有する画素を先ず分類する段階は、画素に関する勾配値および分散値の関数として、高ビット深度の表現を有する画素を先ず分類する段階を有する。

本明細書の一部に含まれ、これを構成する添付図面は、ここに記載する様々な例示的な装置、方法、その他の例示的な実施形態を示す。図面に例示されている部材の境界（例えばボックス、ボックス群、またはその他の形状）は、境界の一例を表す。当業者であれば、一部の例において１つの部材が複数の部材として設計されることがあったり、複数の部材が１つの部材として設計されることがあったりすることを理解するであろう。一部の例においては、別の部材の内部コンポーネントとして示される部材を外部コンポーネントとして実装することができ、またこの逆も可能である。さらに、部材は実際の縮尺率に即して描かれてはいない場合がある。

低ビット深度から高ビット深度へと、コンテンツのビット深度の表現を向上させ、且つ、輪郭アーチファクトを解消することのできる装置の一実施形態を示す。

輪郭アーチファクトを高解像度の画素の集合体からアダプティブフィルタリングにより削除する方法の一実施形態を示す。

低解像度の画素を高解像度画素にマッピングする一実施形態を示す。

画素アレイの一部を示す。

画素アレイの一部を示す。

画素アレイの一部を示す。

低ビット深度から高ビット深度へと、コンテンツのビット深度の表現を向上させ、且つ、輪郭アーチファクトを解消することのできる方法の一実施形態を示す。

輪郭アーチファクトの可視性および軽減を示す画像８−８００を示す。

１チャネルについて８ビットに対応する２５６階調のみを利用して表示された場合の画像８−８００の見え方を示す。

例えばここに記載する装置および方法による処理を受けた後で、最初の低いビット深度よりも高いビット深度を処理可能な出力デバイスで表示される図８の画像を示す。

ここに記載する例示的な装置および方法により特定され、スムージング処理は行われない図８の画像のエッジ画素を示す。

本願は、画素のビット解像度を向上させつつ、輪郭アーチファクトを軽減させることに関する装置、方法、および他の実施形態を記載する。一実施形態では、装置１００（図１）は、デジタルビデオコンテンツに関する低解像度の画素を高解像度の画素に変換する。高解像度の画素は、低解像度の画素より多くのビットで表現される。低解像度の画素は、階調レベルの変化の遅いスムーズな領域における輪郭アーチファクトを呈しうる。装置１００は、輪郭アーチファクトを生成しやすい画素を選択的にアダプティブフィルタリングにかける。別の実施形態としては、方法７００（図７）が、アーチファクトを生成しうる低解像度の画素を特定して、変換画素にアダプティブフィルタリングを選択的に適用して、輪郭アーチファクトを軽減させる。

例えば８ビット以下の小さな階調（tone scale）の画像は、量子化による輪郭アーチファクトを受け易い。この種類のアーチファクトは、空間的には明度の変化がスムーズな領域（例えば空や皮膚）において気づかれ易い。さらにアーチファクトは、大きく均一な領域（例えば壁や天井）でも気づかれ易い傾向にある。この種類のアーチファクトの可視性は、現在の傾向である大スクリーンで、コントラストの高い、高輝度のディスプレイではより顕著になる。

以下は、ここで利用する幾つかの用語の定義である。定義は、その用語の範囲に含まれ、実装に利用されうる範囲のコンポーネントの様々な例および／または形態を含む。例は限定を意図していない。定義においては、用語の単数形および複数形が含まれうる。

一実施形態、１つの実施形態、１つの例、一例、といった言い回しは、その実施形態または例が、特定の特徴、構造、特性、特質、部材、または限定を含みうることを意味しているが、必ずしも全ての実施形態または例が、その特定の特徴、構造、特性、特質、部材、または限定を含まねばならないというわけではない。さらに、「一実施形態」といった用語を繰り返し利用している場合であっても、これらが必ずしも全て同じ実施形態のことを表しているわけではなく、しかし表している場合もある。

ここで利用される「コンピュータ可読媒体」という用語は、信号、命令、および／またはデータを格納する媒体のことを示す。コンピュータ可読媒体は、これらに限定はされないが、不揮発性媒体および揮発性媒体といった形態をとることができる。不揮発性媒体には、例えば光学ディスク、磁気ディスク等が含まれる。揮発性媒体には、例えば半導体メモリ、動的メモリ等が含まれる。コンピュータ可読媒体のよく利用される形態には、これらに限定はされないが、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、その他の磁気媒体、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル・ロジック・デバイス、コンパクトディスク（ＣＤ）、その他の光学媒体、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、メモリチップまたはカード、メモリスティック、その他、コンピュータ、プロセッサまたはその他の電子デバイスから読み取ることのできる媒体が含まれてよい。

ここで利用される「ロジック」という用語は、機能または動作を実行させたり、および／または、別のロジック、方法、および／またはシステムから機能または動作を生じさせたりする、機械に格納される、または機械上で実行されているハードウェア、ファームウェア、ソフトウェア、および／または、これら各々の組み合わせを含むが、これらに限定はされない。ロジックは、ソフトウェアにより制御されるマイクロプロセッサ、離散ロジック（例えばＡＳＩＣ）、アナログ回路、デジタル回路、プログラミングされた論理デバイス、命令を含むメモリデバイス等を含んでよい。ロジックは、１以上のゲート、ゲートの組み合わせ、またはその他の回路コンポーネントを含んでよい。複数の論理ロジックを記載する場合には、複数の論理ロジックを１つの物理ロジックに組み込むことができる場合がある。同様に、単一の論理ロジックが記載されている場合には、この単一の論理ロジックを複数の物理ロジック間で分散させることができる場合がある。

図１は、低解像度の画素を高解像度の画素に変換して、且つ、輪郭アーチファクトを解消することのできる装置１００の一実施形態を示す。低解像度の画素は、高解像度の画素より少ないビットで表される。低解像度の画素は、一連のデジタルビデオ画像のうちの１枚の画像を表してよい。装置１００は、デジタルビデオ画像の中の個々のフレーム上に動作を行う。

装置１００は、ｐビットの精度（例えば８ビット）の画素アレイを、対応する、より高いｑビットの精度（例えば１０ビット）の画素アレイへと変換する。マッピングロジック１１５がこの変換を行う。画素アレイは、例えばグラフィックス、合成画像、テキスト、および自然のままの画像コンテンツに関するものであってよい。マッピングロジック１１５は、画素アレイのビット深度を、一対一のマッピングスキーム、加法性ノイズを利用する方法、およびその他の技術により増加させる。当業者であれば、この開示およびここにおける教示から、様々なマッピングスキームおよび加法性ノイズを利用する方法の利用が可能であることを理解する。例えば、ｐビットの画素を、ｑ−ｐビットでゼロパディングして、ｑビットの画素を作成することができる。ｐビットは、ｐビット信号と称されることがあり、ｑビットはｑビット信号と称されることがある。以下で利用する数学的記法では、ｐビットの画素が画素Ｘからなる第１のセットにあり、ｑビットの画素が画素Ｙからなる第２のセットにあることとする。マッピングロジック１１５は、Ｘの値を数式Ｙ＝Ｘ（２^ｑ−１）／（２^ｐ−１）に基づいてスケーリングすることで、ｐビットの画素をｑビットの画素（ｑ＞ｐ）に変換する。マッピングロジック１１５は、スケーリングされた値を丸めて、ｑビット内に収める。

マッピングロジック１１５は、低解像度の画素（例えば８ビットの画素）を高解像度の画素（例えば１０ビットの画素）へと、様々な方法でマッピングする。マッピングには、画素の量子化、画素の変換、およびその他の処理が含まれてよい。

装置１００はさらに、輪郭分割ロジック１２０、輪郭改良ロジック１２５、および範囲調節ロジック１３０を含む。ロジック１２０、１２５、および１３０は、協同することで、ｑビット信号を、Ｙに利用可能な階調の範囲を有効利用できるように修正する。修正は、近隣画素の値に基づいて適合的に決定される。

輪郭分割ロジック１２０および輪郭改良ロジック１２５は、Ｘに対して処理を行い、輪郭アーチファクトが生じる可能性の高いスムーズな領域を特定する。より具体的には、輪郭分割ロジック１２０は、分散および勾配の関数であるスムーズな領域の第１の特定を行う。輪郭改良ロジック１２５は、この第１の特定を、近隣画素に基づいて改良する。どの画素がスムーズな領域にあるかの特定を改良することにより、１ビットのエッジをフィルタリングにより落としてしまうことが回避される。スムーズな領域を特定することにより、スムーズな領域をエッジから区別する。

範囲調節ロジック１３０は、Ｘのスムーズな領域に属するように、輪郭分割ロジック１２０および輪郭改良ロジック１２５が特定するＹの画素をフィルタリングする。フィルタリングにより、エッジの詳細に自然に生じがちなぶれを生じさせることなく、輪郭アーチファクトを軽減させることができる。従って装置１００は、マッピングロジック１１５を利用して画像中の画素のビット深度を（例えば８ビットの低解像度の画素から１０ビットの高解像度の画素へと）増加させる。装置１００はさらに、輪郭分割ロジック１２０および輪郭改良ロジック１２５を利用して画像におけるスムーズな領域を特定してから、輪郭アーチファクトに寄与する、画素の選択的なアダプティブフィルタリングを行う。フィルタリングは、範囲調節ロジック１３０により行われる。一実施形態では、装置１００は、個々のカラーチャネル上に別個に動作させることができる。

一実施形態では、装置１００は、画像伸張エンジン１０５から低解像度の画素ストリームを受信して、高解像度の画素ストリームを高解像度表示サブシステム１１０に提供する。画像伸張エンジン１０５は、高解像度の画素より少ないビットを有する低解像度の画素を処理する。他の実施形態では、装置１００は、画像伸張エンジン１０５とは異なるデバイスから低解像度の画素を受信して、および／または、高解像度の画素を、高解像度表示サブシステム１１０とは異なるデバイスに供給することもできる。当業者であれば、この開示およびここにおける教示から、低解像度の画素がビデオ処理パイプライン（例えばビデオ伸張エンジン）から、空間的および時間的に変換された画素、向上した画素、その他の画素として受信されてよいことを理解するであろう。

図２は、高解像度の画素のアレイ２００の一部を示す。高解像度の画素のアレイ２００は、低解像度の画素から作成されたものである。アレイ２００の個々の画素は、丸で囲んで表されている。画素値は、画素を表す丸の中央に示されている。表示されると、アレイ２００は輪郭アーチファクト２０５を生じる。輪郭アーチファクト２０５の位置は、アレイ２００に太字で示されている。輪郭アーチファクト２０５は、１の値を持つ画素および４の値を持つ画素の間の境界にあたる。

装置１００は、高解像度の画素のアレイ２００をフィルタリングして、高解像度の画素の新たなアレイ２１０を生成する。高解像度の画素のアレイ２００は、低解像度の画素のアレイから生成されたものであることを想起されたい。新たなアレイ２１０は、輪郭アーチファクト２０５を含まない。アレイ２００の画素のスムージングは、新たなアレイ２１０から輪郭アーチファクト２０５を除去する手助けをする。例えば、１の値を持つ幾つかの画素をスムージングして、２の値を持つ画素として、４の値を持つ幾つかの画素をスムージングして、３の値を持つ画素とする。スムージングは、アダプティブローパスフィルタを利用して行われる。

一実施形態では、装置１００は、単に単一のカラーチャネルの処理を行ってもよい。装置１００は、ＹＣｂＣｒフォーマットの低解像度の画素を受信してよい。従って輪郭分割ロジック１２０および輪郭改良ロジック１２５は、ルーマ（luma）チャネルデータを処理して、スムーズな画素決定を行うことができる。ルーマチャネルは、例えばＹチャネルであってよい。範囲調節ロジック１３０は、彩度チャネルＣｂおよびＣｒを、少なくとも部分的にスムーズな画素決定に基づいてフィルタリングすることができる。

図３は、低解像度の画素ＬＲＰ１−ＬＲＰ９の、高解像度の画素ＨＲＰ１−ＨＲＰ９へのマッピングを示す。マッピングは、例えば装置１００のマッピングロジック１１５により生成されてよい。ＬＲＰ１がＨＲＰ１へとマッピングされ、ＬＲＰ２がＨＲＰ２へマッピングされる、等の一対一の関係が見られる。マッピングは、ルックアップテーブル、ハッシュ関数、ディザリングアルゴリズム、ハーフトーンアルゴリズム、ゼロパディング、その他の方法を利用して行うことができる。

輪郭分割ロジック１２０は、幾つかの高解像度の画素に選択的にラベル付けを行う。高解像度の画素は、「スムーズ」または「スムーズでない」というラベル付けがなされてよい。ラベルは、高解像度の画素が、輪郭アーチファクトが生じる可能性のある領域に存在する可能性があるかを示す。「スムーズ」とラベル付けされた高解像度の画素は、低ビット深度の画像の中のスムーズな領域に位置する低解像度の画素に相当する。

高解像度の画素のラベル付けを行うために、輪郭分割ロジック１２０は、対応する低解像度の画素が画像のスムーズな領域に存在するかを判断する。輪郭分割ロジック１２０は、低解像度の画素がスムーズな領域に存在するかを様々な方法で判断する。一実施形態では、輪郭分割ロジック１２０は、低解像度の画素の勾配値を計算する。勾配値は、１ラインの画素において画素値がどのくらい急速に増加しているかを示すことができる。勾配値は、少なくとも部分的には、低解像度の画素を取り囲む他の低解像度の画素の値に基づいて計算される。輪郭分割ロジック１２０は、勾配値が勾配閾値を満たさない場合に、低解像度の画素に対応する高解像度の画素にスムーズである旨のラベル付けを行う。他の実施形態では、輪郭改良ロジック１２０は、他の値とともに、分散値を計算する。分散値は、画素値が互いに隣接する画素間でどのくらい違うか、を示す。輪郭分割ロジック１２０は、分散値および／または勾配値に基づいて、低解像度の画素に関連付けられた高解像度の画素をラベル付けする。

図４は、低解像度の画素のアレイ４００の一例を示す。低解像度の画素４０５の勾配値は、少なくとも部分的にカーネル４１０に配置されている低解像度の画素の値に基づいて計算される。カーネル４１０は、低解像度の画素４０５の付近に位置する一群の画素である。図４では、カーネル４１０は、３ｘ３の画素のアレイである。当業者であれば、この開示およびここにおける教示から、勾配値が、他の形状、サイズ等を有する他のカーネルに基づいて決定されていてもよいことに気づくであろう。例えばカーネル４１０は、正方形ではなくてもよい。一実施形態では、低解像度の画素４０５は、Ｐ（ｉ，ｊ）で表され、画素のカーネルは、（２ｍ＋１）＊（２ｍ＋１）と定義することができ、ここで「ｍ」は整数値であってよい。一実施形態では、ｍはユーザが調節可能な値であってもよい。

低解像度の画素を高解像度の画素にマッピングする例を想起されたい。スムーズな低解像度の画素に対応する「スムーズ」な高解像度の画素は、明るく、コントラストの高いディスプレイに表示されると輪郭アーチファクトを呈することがある。低解像度の画素値にみられるノイズによって、一部の高解像度の画素が、たとえ画像のスムーズな領域に位置されてはいなくても、「スムーズ」とラベル付けされることがある。輪郭改良ロジック１２５は、このようにラベル付けを誤ってしまった画素を選択的に検出して、「スムーズ」であるというラベル付けをこれらの画素から取り外す。スムーズであるというラベル付けが高解像度の画素から取り除かれる場合のなかには、該高解像度の画素を取り囲む近隣画素領域における少なくとも１つの高解像度の画素が「スムーズ」であるとラベル付けされていない場合がある。

図５は、高解像度の画素のアレイ５００の一部を示す。中央画素５０５がスムーズであるかを判断するために、輪郭改良ロジック１２５は、高解像度の画素の近隣領域５１０を検査する。図５は、「スムーズ」であるとラベル付けされた高解像度の画素が、黒丸で示されている。画素５１５は「スムーズ」であるとラベル付けされていないので、白丸で示されている。近隣領域５１０の全ての画素が「スムーズ」とラベル付けされている。従って、輪郭改良ロジック１２５は、中央画素５０５から「スムーズ」のラベル付けを取り外さない。しかし、近隣領域５１０のなかの高解像度の画素に１つでも「スムーズ」とラベル付けされていないものがある場合には、輪郭改良ロジック１２５は、中央画素５０５から「スムーズ」というラベル付けを取り外す。選択的なラベル付けの除去は、輪郭アーチファクトをなくす際に、エッジの詳細の保存の試みの手助けとなる。一実施形態では、中央画素５０５がＰ（ｉ，ｊ）で表されている場合、近隣画素領域５１０を、（２ｎ＋１）＊（２ｎ＋１）として定義することができ、ここで「ｎ」は整数値であってよい。一例では、ｎはユーザが設定可能な値であってもよい。当業者であれば、この開示およびここにおける教示から、他のサイズおよび形状の他の近隣領域が利用可能であることに気づくであろう。

範囲調節ロジック１３０は、高解像度の画素の実際のビット深度（例えば利用される階調レベルの数）を選択的に増加させる。実際のビット深度は、「スムーズ」とラベル付けされた高解像度の画素をフィルタリングすることで、増加させることができる。範囲調節ロジック１３０は、ローパスフィルタ、平均化フィルタ、その他のフィルタを利用することにより高解像度の画素をフィルタリングすることができる。一実施形態では、「スムーズ」とラベル付けされ、中央画素を取り囲むように配置されている高解像度の画素を利用して、中央画素をフィルタリングするか、またはその方法について決定することができる。

図６は、中央画素６０５を有する高解像度の画素のアレイ６００を示す。中央画素６０５は、他の高解像度の画素のフィルタカーネル６１０により取り囲まれる。フィルタカーネル６１０は、２０個の高解像度の画素ＨＲＰ１−ＨＲＰ２０を含む。フィルタカーネル６１０は、正方形でなくてもよい。中央画素６０５は、高解像度の画素ＨＲＰ１−ＨＲＰ２０の値に基づいてフィルタリングされる。当業者であれば、この開示およびここにおける教示から、フィルタカーネル６１０が、異なる数の高解像度の画素を含んでもよく、フィルタカーネル６１０のサイズをプログラミング可能としてもよいことに気づくであろう。

範囲調節ロジック１３０は、少なくとも部分的に、中央画素６０５に隣接する高解像度の画素に関連付けられたラベル付け（例えば「スムーズ」、「スムーズでない」）に基づいて、中央画素６０５をフィルタリングする。ラベル付け「スムーズ」または「スムーズでない」を例示したが、当業者であれば、２進値（例えば０、１）をこれらラベル付けのいずれかを表すために利用可能であることに気づくであろう。

一実施形態では、中央画素６０５は、互いに隣接する高解像度の画素からなる複数のラインに見られる値を利用してフィルタリングされる。互いに隣接する高解像度の画素からなる複数のラインは、中央画素６０５を含む。互いに隣接する高解像度の画素からなる１つのラインは、異なる方向に向かう２つまでの直線部分を含む。例えば、図６では、中央画素６０５および高解像度の画素ＨＲＰ４が、２つの高解像度の画素からなる１つの垂直ラインを形成している。この１つの画素ラインは、右側の第２の水平ライン部分に続いている。ラインは、高解像度の画素ＨＲＰ４から高解像度の画素ＨＲＰ５へと延び、それから高解像度の画素ＨＲＰ６から高解像度の画素ＨＲＰ７へと延びている。この画素の水平ラインは、ＨＲＰ３が黒丸で示されていないことから分かるように、高解像度の画素ＨＲＰ３が「スムーズ」とラベル付けされていないことから、左側に水平方向には延びない。別のライン部分が、中央画素６０５から高解像度の画素ＨＲＰ１０へと、左方向に水平方向に延びている。この水平ライン部分は、高解像度の画素ＨＲＰ９が「スムーズ」とはラベル付けされていないので、高解像度の画素ＨＲＰ１０から画素ＨＲＰ９へとは水平方向に続いていない。しかし、高解像度の画素ＨＲＰ１６が「スムーズ」とラベル付けされていることから、高解像度の画素ＨＲＰ１０から高解像度の画素ＨＲＰ１６へと垂直方向に下へと延びる１つのライン部分がある。

ラインを画素のフィルタリングに利用する際の具体的な方法を以下に記載する。１つの画素を、ローパスフィルタ、平均化フィルタ、デジタルフィルタ、その他のフィルタを利用してフィルタリングすることができる。一実施形態では、フィルタはアダプティブローパスフィルタである。フィルタは、隣接するスムーズな画素列の値を利用して選択されたスムーズな画素をフィルタリングするよう構成されている。隣接する選択されたスムーズな画素列とは、現在の画素から始まり、図６を参照して記載する、隣接する高解像度の画素からなるラインに類似したものである。

一実施形態では、ローパスフィルタ（ＬＰＦ）を利用してフィルタ出力Ｙ_ｄ'（ｉ，ｊ）を計算する。フィルタは、フィルタリングする中央画素を見つける。中央画素は、画素アレイの（ｉ，ｊ）に見つけられる。フィルタは、中央画素の左の「ｘ」個の画素、および、中央画素の右の「ｘ」個の画素をローパスフィルタリングする。フィルタリングする実際の画素数は、フィルタカーネル内の行ごとに、少なくとも部分的にラインにより、近隣画素がスムーズな領域にあると判断されるか、に応じて変わる。ローパスフィルタは、水平方向に適合可能であってよい。ローパスフィルタの幅は、以下のアルゴリズムに従って適合させることができる。１．各ｉ０＝−ｋからｋについて、２．ｊ０＿右（ｉ０）を、範囲［０，ｘ］のｊ０の最大値として見つけ、スムーズ（ｉ＋ｉ０，ｊ＋ｊ０）＝１として、スムーズ（ｉ＋ｉ０，ｊ＋ｊ０＋１）＝０とする。３．ｊ０＿左（ｉ０）を、範囲［−ｘ，０］のｊ０の最大値として見つけ、スムーズ（ｉ＋ｉ０，ｊ−ｊ０）＝１として、スムーズ（ｉ＋ｉ０，ｊ−ｊ０−１）＝０とする。フィルタ出力Ｙ_ｄ'（ｉ，ｊ）は、以下に従って計算される。

例示的な方法は、フロー図を参照することで理解しやすくなる。例示された方法は、一連のブロックとして示されているが、方法はブロックの順序に限定されず、ブロックの中には、図示されたり説明されたりしているものと異なる順序で行われても、他のブロックとコンカレントに実行されてもよいものもある。さらに例示されたブロック全てが例示的な方法の実行には必要がない場合もある。ブロック同士を組み合わせたり、複数のコンポーネントに分割したりすることもできる。さらなる、および／または、代わりの方法では、さらなる、図示されていないブロックを利用することができる場合もある。

図７は、方法７００を示す。方法７００は、輪郭アーチファクトを回避しつつ、画素のビット深度の解像度を増加させることに関する。方法７００は、画像のスムーズな領域の画素を選択的にフィルタリングして、輪郭アーチファクトを除去する。輪郭アーチファクトが概して画像のスムーズな領域に現れる傾向があることから、スムーズな領域を表す画素をフィルタリングする。

７１０で、方法７００は、ビット深度の表現を拡張する。ビット深度の表現の拡張は、低解像度の画素にビット値を追加することで、高解像度の画素を生成することを含んでよい。一実施形態では、低解像度の画素は、８ビットの画素として伸張エンジンから受け取られてよい。８ビットの画素に２ビットを追加して、計１０ビットの画素を生成する。この１０ビットの画素を、高解像度のディスプレイによる表示に適したフォーマットにする。当業者であれば、この開示およびここにおける教示から、ビット深度の表現の拡張には他の技術を利用することもでき、他のビット深度を処理してもよいことに気づくであろう。低ビット深度の画像を受理して、ビット深度の表現を拡張することで、より高いビット深度を有する画像を生成する処理は、ディザー補強画像の計算と称される場合がある。

７２０で、一定の高解像度の画素から、スムーズな領域を選択的に分類する。この選択的な分類は、画素値が隣接する画素間で変化する程度を記述する勾配の計算値および分散の計算値の関数である。

低解像度の画素値におけるノイズによって、一部の高解像度の画素については、実際には画像のスムーズな領域にあるわけではないのに、この高解像度の画素をスムーズとしてラベル付けしてしまう場合がある。従って７３０で、もともとスムーズな領域にあると分類されていた高解像度の画素について、スムーズな領域にはないものであるとして選択的に分類する。この再分類は、近隣領域の他の画素の値の関数である。

７４０で、まだスムーズな領域にあるものとして分類されている高解像度の画素を、アダプティブローパスフィルタにより処理する。アダプティブローパスフィルタは、フィルタリングされた高解像度の画素の実際のビット深度を、フィルタリングされた高解像度の画素の実際のビット深度を増加させて、画像のスムーズな領域をブレンドさせる機能を果たす。このブレンド機能により、拡張されたビット深度の表現におけるさらなる階調レベルの利用可能性を活用することで輪郭アーチファクトを除去する。

他の実施形態では、方法７００は他の動作を含んでよい。例えば方法７００は、勾配値および分散値を計算することを含んでよい。勾配値および分散値は、７２０で画素を分類するとき、および／または、７３０で画素を再分類するときに分析されてよい。勾配値は、画素値が１つの画素ラインでどのくらい急速に増えるかを示している。分散値は、画素値が隣接する画素とどのくらい違うかを示す。これらの値は、低解像度の画素を処理することで計算される。一実施形態では、ある画素の勾配値および分散値は、画素を取り囲む画素のカーネルから計算される。

１つの画像には、スムーズな領域とエッジ領域とが含まれてよい。スムーズな領域とは、隣接する画素の値が急速に、および／または、顕著に変化しない領域のことである。勾配値および分散値により、ある画素がスムーズな領域にあるか、エッジ領域にあるかを特定しやすくなる。ある低解像度の画素がスムーズな領域にある場合、方法７００は、対応する高解像度の画素もまたスムーズな領域にあるとして分類する。低解像度の画素をスムーズな領域にあると判断するかどうかは、この低解像度の画素に関連する勾配値が勾配閾値を満たすかどうか、および、この低解像度の画素に関連する分散値が分散閾値を満たさないかかどうか、の関数であってよい。一実施形態では、勾配閾値および／または分散閾値は、動的に且つユーザによって設定可能とすることができる。

ここで説明する方法は、コンピュータ可読媒体に具現化および格納されるコンピュータ実行可能命令として実装することができることが理解されよう。機械（例えばプロセッサ、デバイス）により実行されると、命令によって機械がここに記載する方法およびその均等物を実行する。方法は半導体チップに実装可能である。方法はさらに回路および／またはハードウェアロジックにより実装可能である。

方法７００は、１画素および１色成分についてｐビットを有する低ビット深度のコンテンツで動作可能であり、さらに、１画素および１色成分についてｑビットを有する補強されたビット深度のコンテンツで動作可能であり、ここでｑはｐより大きくてよい。以下の数学的記法においては、Ｙを、ｐビットの画素値を有する２−Ｄ画像とする。

７１０で、方法７００は、ｐビットの表現を有する画素（例えば８ビット）を受信して、ビット深度の拡張された表現（例えば１０ビット）を生成する。ディザー補強画像Ｙ_ｄは、Ｙ_ｄ＝Ｙｘ２^{（ｑ−ｐ）}＋ｄのようにして生成することができる。例示としては、ｐ＝８およびｑ＝１０である場合、ｄは、値０，１，２および３を有する２ｘ２の行列である。当業者であれば、この開示およびここにおける教示から、行列の代わりに、値を範囲［０，（２^{（ｑ−ｐ）}−１）］内に制限した乱数生成器の出力を利用することができることに気づくであろう。Ｙ_ｄは１つの画素表現に対してｑビットを有する。最初の表現が緩やかに変化するスムーズな領域を有する場合、Ｙ_ｄは輪郭アーチファクトを呈する可能性がある。

方法７００は、７２０で画素を分類して、７３０で少なくとも部分的に輪郭分割に基づいて画素を再分類する。Ｙ_ｄの輪郭画素を特定してラベル付けする。従来、輪郭を先ず特定することなく輪郭の除去を試みた場合、画像が不当にぶれていた。輪郭は、同様の画素値が存在しており、且つ、近隣画素間が大きく異なっていてエッジが生じる箇所に生じる。低ビット深度（ｐビット）の画像においては、隣接する画素間の差異が非常に小さいが、高ビット深度（ｑビット）の画像においては非常に大きくなることを利用して、低いビット深度（ｐビット）の画像を検査することで、輪郭付けされた領域を見つけることができる。

一例では、Ｙを、輪郭アーチファクトを持つ可能性のあるスムーズな領域に輪郭分割して、スムーズではない領域を、ａ）（ｉ，ｊ）に位置する各Ｙ画素について、ローカルの勾配｜Ｙ（ｉ，ｊ）−Ｙ（ｋ，ｌ）｜を、位置（ｉ，ｊ）の画素を中心とする（２ｍ＋１）Ｘ（２ｍ＋１）の近隣領域内の全ての（ｋ，ｌ）について計算する、ｂ）位置（ｉ，ｊ）における画素を中心とするｍｘｍの近隣領域内の画素に対して（ｉ，ｊ）に存在する画素の分散を計算する、および、ｃ）ａ）で計算した全てのローカルの勾配が閾値Ｔ１より小さく、且つ、ｂ）で計算した全ての分散が閾値Ｔ２より小さい場合には、（ｉ，ｊ）に存在するＹ画素をスムーズな領域に存在するとして特定する、のようにして計算する。

方法７００はさらに、７３０で輪郭分割改良を行う。スムーズな領域にあるとして特定された画素が、輪郭アーチファクトを生成する可能性がある候補の画素である。最初の特定はノイズのために不正確なものとなりがちである。従って一実施形態では、（２ｎ＋１）ｘ（２ｎ＋１）の近隣領域内の画素を検査して、画素に対して一貫したラベル付けが行われるようにする。位置（ｉ，ｊ）の画素がスムーズな領域に属するとして分類されており、且つ、画素（ｉ，ｊ）を中心とする（２ｎ＋１）ｘ（２ｎ＋１）の近隣領域内の全ての画素も、スムーズな領域に属するとして分類されている場合には、画素（ｉ，ｊ）を、スムーズな領域に属するものとして最終的に分類するしかし近隣領域に存在する画素の全てがスムーズ領域に属してはいない場合には、その画素をスムーズな領域に属さないものとして分類する。

方法７００の動作を実行することに関する計算は、異なるカラーチャネルに対して繰り返すことができる。一例では、低ビット深度ドメインのコンテンツがＹＣｂＣｒ方式で利用可能な場合には、Ｙチャネル（ルーマチャネル）において計算を行うことができ、ルーマチャネル計算から見つかるスムーズ対スムーズではない領域の決定を、彩度チャネルであるＣｂおよびＣｒに対して行うことができる。

輪郭アーチファクトおよび輪郭アーチファクトの軽減を示すサンプル画像を提示する。図８は、画像８−８００を示す。画像８−８００は、輪郭アーチファクトが見られるもの、および軽減されたものを示す。中央ライン８−８１０は、画像８−８００の２つの部分の間のエッジを示す。エッジが存在する箇所にはエッジを維持することが望ましい。領域８−８２０は、階調が緩やかに変化しており、かなり均一な大きな領域を示している。

図９は、画像９−８００を示す。画像９−８００は、画像８−８００が、２５６階調のみの利用（１チャネルについて８ビットに対応する）に基づく場合の見え方を示している。中央ライン９−８１０は、その鮮鋭さを維持している。しかし領域９−８２０は、輪郭アーチファクト９３０を呈している。輪郭アーチファクト９３０は、スムーズ、均一、および穏やかに変化すべき領域にエッジを導入しているように見える。

この輪郭アーチファクトは、低階調レベルでより高い感度を有するために、階調のランプの暗いほうの部分が、望ましいスムーズなランプではなくて、一連のステップとして見えるようなＨＶＳの特徴により生じている。このようなステップまたは輪郭は、ディスプレイが、液晶ディスプレイ等のように高い輝度を有する場合により顕著に見えるようになる。輪郭アーチファクトは、表示デバイスのサイズが大きくなるにつれてより顕著なものとなる。これらのアーチファクトは、そのリッジ部分が、マップにおける地理的な輪郭に似て見えることから、「虚偽の輪郭」と称される。ここに示す例示的な装置および方法によって、虚偽の輪郭アーチファクトが低減され、低ビット精度のコンテンツがより高いビット精度の表現へと補強されるので、高品質な画像およびビデオコンテンツの生成が促される。

輪郭アーチファクトを低減させるべく、原画像のスムーズな領域を特定する。例えば領域８−８２０を、「スムーズ」な領域として特定することができる。ここに記載する例示的な装置および方法は、特定されたスムーズな領域と関連付けられた高解像度の画素を選択的にフィルタリングする。ここに記載する例示的な装置および方法は、エッジに関連付けられた高解像度の画素のフィルタリングについては、スムーズな領域と関連付けられた高解像度の画素のフィルタリングと全く同じようには行わない。エッジはスムーズな領域には位置していないことを想起されたい。中央ライン８−８１０はエッジの一例である。画像８−８００には他のエッジも存在する。図８に見られるエッジを図１１に示す。中央ライン８−８１０は、図１１の中央ライン１１１０として見えている。図８に見られるエッジ一式全体が、エッジ１１００として描かれている。これらエッジは、明らかに画像８−８００の「スムーズ」な領域ではない。ここに記載する例示的な装置および方法は、エッジ１１００の鮮鋭さを維持して、従来のシステムに共通する意図しないぶれを回避する方法の提供を試みる。

図１０は、画像１０−８００を示す。画像１０−８００は、例示的な装置および方法による処理を受けた後の、より高い解像度のディスプレイに表示された画像８−８００を示す。中央ライン１０−８１０は維持されているものの、領域１０−８２０は、図９に見られるような輪郭アーチファクト９３０を呈していないことが分かる。

これまで例示的な方法、装置等を、例示により記載してきた。例はかなり詳細にわたり説明されたが、これは、出願人が添付請求項の範囲をこのように限定しようという意図の表れではないことに留意されたい。もちろん、ここに記載するシステム、方法等を記載する目的で想到できうる限りの全ての部材または方法について記載することは不可能である。従って本発明はこれらの特定の詳細、代表的な装置、および図示され、記載される例に限定されない。故に本願は、添付請求項の範囲に含まれる変形例、変更例、および修正例を含むことを意図している。

Claims (17)

1. 低解像度の画素から、前記低解像度の画素よりもビット深度が大きい高解像度の画素を生成するマッピングロジックと、
   前記低解像度の画素に関連する勾配値および分散値のうち少なくとも１つに基づいて、前記高解像度の画素を、画像のスムーズな領域に存在するものとして分類する輪郭分割ロジックと、
   前記高解像度の画素を、高解像度の画素に関連付けられた一式の近隣の高解像度の画素に基づいて、前記画像の前記スムーズな領域に存在しないものとして選択的に再分類する輪郭改良ロジックと、
   前記高解像度の画素が前記画像の前記スムーズな領域に依然として存在しているかに基づいて、前記高解像度の画素を選択的にフィルタリングする範囲調節ロジックと
   を備える装置。
2. 前記マッピングロジックはさらに、一対一のマッピングによって前記低解像度の画素から前記高解像度の画素を生成する請求項１に記載の装置。
3. 前記マッピングロジックはさらに、ビット追加、ゼロパディング、アダプティブノイズ処理、量子化処理、変換処理、ルックアップテーブルの参照、ハッシュ関数の利用、ディザリング、およびハーフトーンのうちの１以上を実行することにより、前記低解像度の画素から前記高解像度の画素を生成する請求項１に記載の装置。
4. 前記輪郭分割ロジックはさらに、前記低解像度の画素を含む１つの画素ラインの画素値の変化に基づいて前記勾配値を計算して、前記１つの画素ラインは、前記画像の近隣の画素の範囲内に含まれる請求項１に記載の装置。
5. 前記輪郭分割ロジックはさらに、前記低解像度の画素と、一式の関連する低解像度の画素との間の差分の量に基づいて前記分散値を計算し、前記一式の関連する低解像度の画素は、前記画像の前記近隣の画素の範囲内に含まれる請求項４に記載の装置。
6. 前記輪郭分割ロジックはさらに、前記勾配値が勾配閾値を超え、前記分散値が分散閾値を越えると判断する場合に、前記高解像度の画素を前記画像の前記スムーズな領域に存在するものとして分類する請求項５に記載の装置。
7. 前記勾配閾値および前記分散閾値の少なくとも一方はユーザにより設定可能である請求項６に記載の装置。
8. 前記マッピングロジックはさらに、前記低解像度の画素に関連付けられた個々のカラーチャネルに動作する請求項１に記載の装置。
9. 前記マッピングロジックはさらに、フレーム内ベースで、一式の低解像度の画素のビデオストリームと関連付けられた一式の高解像度の画素を生成する請求項１に記載の装置。
10. 動的に設定可能なバッファをさらに備え、前記動的に設定可能なバッファのサイズは、前記低解像度の画素の前記ビット深度の関数である請求項１に記載の装置。
11. 前記輪郭改良ロジックはさらに、前記一式の近隣の高解像度の画素のうちの少なくとも１つが前記スムーズな領域に存在しないものとして分類されることに応じて、前記高解像度の画素を前記画像の前記スムーズな領域に存在しないものとして分類する請求項１に記載の装置。
12. 前記範囲調節ロジックは、アダプティブローパスフィルタ、および、前記高解像度の画素を含むラインに位置する関連する複数の高解像度の画素の平均の関数としてフィルタ値を計算するアダプティブ平均化フィルタのうちの１以上を含む請求項１に記載の装置。
13. 低ビット深度の表現から高ビット深度の表現へ、画像コンテンツのビット深度の表現を向上させる段階と、
    輪郭アーチファクトを生成しやすい前記高ビット深度の表現を有する画素を先ず分類する段階と、
    再分類される１以上の画素に関連付けられた選択された画素が前記輪郭アーチファクトを生成しやすくはないと判断されると、前記高ビット深度の表現を有する前記画素のうち１以上を、前記輪郭アーチファクトを生成しやすくはないものとして再分類する段階と、
    前記輪郭アーチファクトを生成しやすいと分類された前記高ビット深度の表現を有する画素を選択的にフィルタリングして、前記輪郭アーチファクトを軽減する段階と
    を備える方法。
14. 前記ビット深度の表現を向上させる段階は、
    前記低ビット深度の表現を有する画素をゼロパディングすること、前記低ビット深度の表現を有する前記画素をアダプティブノイズ処理すること、ルックアップテーブルから値を取得すること、ハッシュ関数から値を取得すること、ディザリング関数から値を取得すること、ハーフトーン関数から値を取得することのうちの１以上を含む請求項１３に記載の方法。
15. 前記高ビット深度の表現を有する画素を先ず分類する段階は、
    前記画素に関する勾配値および分散値の関数として、前記高ビット深度の表現を有する前記画素を先ず分類する段階を有する請求項１３に記載の方法。
16. 前記再分類される１以上の画素に関連付けられた前記選択された画素が前記輪郭アーチファクトを生成しやすくはないと判断することは、
    前記選択された画素を境界付ける領域が、均一性の閾値を超える均一性を有すると判断することを含む請求項１３に記載の方法。
17. 前記輪郭アーチファクトを生成しやすいと分類された前記高ビット深度の表現を有する画素を選択的にフィルタリングして、前記輪郭アーチファクトを軽減する段階は、
    前記輪郭アーチファクトを生成しやすいと分類された前記高ビット深度の表現を有する画素に、アダプティブローパスフィルタおよびアダプティブ平均化フィルタのうち１以上を適用する段階を有する請求項１３に記載の方法。

Images