JP2008546006A - メタマーフィルタリングによる複数原色サブピクセルレンダリング - Google Patents

Abstract

メタマーを通じて横断的に画像データを調整する、複数原色ディスプレイのために画像データを再編（レンダリング）するシステムおよび方法を開示する。メタマーフィルタリングは、インプット画像コンテンツに基づき、画像再編の正確度または視認性を上げるようにサブピクセル値を最適化する。最適化は、幾多の可能な所望の効果に従って実行される。一実施形態のディスプレイシステムは、少なくとも一つのメタマーを含んだ、第1のセットのサブピクセル及び第2のセットのサブピクセルを少なくとも含んでなるディスプレイと、インプット画像データユニットと、前記インプット画像データから空間周波数特性を抽出する空間周波数検出ユニットと、前記第1セット及び第2セットのサブピクセルの画像データを前記空間周波数特性に従って調整する調整ユニットを備える。
【選択図】図１Ａ

Description

本出願は、2005年5月20日出願、名称「メタマーフィルタリングによる複数原色サブピクセルレンダリング」なる米国特許仮出願第60/683,180号、および2006年5月12日出願、名称「メタマーフィルタリングによる複数原色サブピクセルレンダリング」なる米国特許仮出願第60/747,177号の利益を主張する。なお、これらの特許出願それぞれの全体を参照することにより本出願に含める。

本出願は、インプット画像コンテンツを利用して、メタマー全体に横断的に画像データを調整し、サブピクセル値を最適化して、画像表示の正確度または視認性を改善する複数原色システムに向けて画像データを再編（レンダリング）するためのディスプレイシステムおよび方法の様々な実施態様に関するものである。

共通の人に所有された下記の米国特許出願において、すなわち、(1)2001年6月25日出願、名称「単純化アドレス指定を有するフルカラー画像装置のためのカラーピクセルの配置」なる米国特許第6,903,754号（「754特許」）（シリアル番号第09/916,232号）；(2)2001年12月14日出願、名称「カラーフラットパネルディスプレイのサブピクセル配置およびレイアウトに対する改良」なる米国特許第6,905,115号（「115特許」）（シリアル番号第10/024,326号）；(3)2002年10月22日出願、名称「変調伝達関数反応増大のためのカラーフラットパネルディスプレイのサブピクセル配置およびレイアウトに対する改善」なる、米国特許出願公報第2003/0128225号（「225出願」）（シリアル番号第10/278,353号）；(4)2002年10月22日出願、名称「分割された青サブピクセルを持つサブピクセルレンダリングのためのカラーフラットパネルディスプレイのサブピクセル配置およびレイアウトに対する改善」なる、米国特許出願公報第2003/0128179号（「179出願」）(シリアル番号第10/278,352号)；(5)2002年9月13日出願、名称「サブピクセルレンダリングのための、改善された4色配置およびエミッター」なる米国特許出願公報第2004/0051724号（「724出願」）(シリアル番号第10/243,094号)；(6)2002年10月22日出願、名称「青色輝度を抑制し視認性を向上させたカラーフラットパネルディスプレイサブピクセル配置およびレイアウトの改善」なる、米国特許出願公報第2003/0117423号（「423出願」）(シリアル番号第10/278,328号)；(7)2002年10月22日出願、名称「水平サブピクセル配置およびレイアウトを有するカラーディスプレイ」なる、米国特許出願公報第2003/0090581号（「581出願」）(シリアル番号第10/278,393号)；(8)2003年1月16日出願、名称「縞状ディスプレイのための改善サブピクセル配置、およびそのサブピクセルレンダリングのための方法およびシステム」なる米国特許出願第2004/0080479号（「479出願」）(シリアル番号第10/347,001号)；(9)2003年1月22日出願、名称「ディスプレイパネル上に実行されるサブピクセルレンダリングシステムおよび方法」なる、米国特許第7,046,256号（「256特許」）(シリアル番号第10/349,768号)において、画像ディプレイ装置のコスト／パフォーマンス曲線を改善するための新規サブピクセル配置が開示される。なお、これらの特許出願それぞれの全体を参照することにより本明細書に含める。

水平方向に偶数のサブピクセルを有する、いくつかのサブピクセル反復グループについては、下記の公表された特許出願において、改善に影響を与えるシステムおよび技術、例えば、適正なドット逆転スキームおよびその他の改善が開示される。すなわち、(1)2003年6月6日出願、名称「新規液晶ディスプレイにおける画像劣化補正」なる、米国特許出願公報第2004/0246280号（「280出願」）(シリアル番号第10/456,839号)；(2)2003年6月6日出願、名称「ドット逆転を実行するクロスオーバー接続を有するディスプレイパネル」なる米国特許出願公報第2004/0246213号（「213出願」）（シリアル番号第10/455,925号）；(3)2003年6月6日出願、名称「新規ディスプレイパネルレイアウトにおいて標準ドライバーおよびバックプレインによってドット逆転を行うシステムおよび方法」なる、米国特許出願公報第2004/024381号（「381出願」）(シリアル番号第10/455,931号)；(4)2003年6月6日出願、名称「一定のパターンノイズを有するパネルにおいて量子化エラー抑制による視覚作用補正のためのシステムおよび方法」なる、米国特許出願公報第2004/0246278号（「278出願」）(シリアル番号第10/455,927号)；(5)2003年6月6日出願、名称「新規ディスプレイパネルレイアウトにおける余分ドライバーによるドット逆転」なる、米国特許出願公報第2004/0246279号（「279出願」）(シリアル番号第10/456,806号)；(6)2003年6月6日出願、名称「非標準サブピクセル配置のための液晶ディスプレイバックプレインレイアウトおよびアドレス指定」なる、米国特許出願第2004/0246404号（「404出願」）(シリアル番号第10/456,838号)；(7)2003年6月6日出願、名称「液晶ディスプレイ用代替薄層トランジスタ」なる、米国特許出願公報第2004/0246393号（「393出願」）(シリアル番号第10/456,794号)；(8)2003年10月28日出願、名称「新規液晶ディスプレイにおける分割型青色サブピクセルによる画像劣化補正」なる、米国特許出願第2005/0083277号（「277出願」）(シリアル番号第10/696,236号)；(9)2004年3月23日出願、名称「大きさの異なるサブピクセルを含む液晶ディプレイのための改良型トランジスタバックプレイン」なる、米国特許出願第2005/0212741号（「741出願」）(シリアル番号第10/807,604号)である。上記参照公開出願および特許のそれぞれについて、その全体を、参照することにより本明細書に含める。

これらの改良は、サブピクセルレンダリング(SPR)システムと結合させた場合特に顕著であり、そのようなシステムおよび方法は、上記の出願を始め、共通の人に所有された下記の米国特許出願にも開示される。すなわち、(1)2002年1月16日出願、名称「あるサブピクセルフォーマットデータの、別のサブピクセルフォーマットデータへの変換」なる、米国特許出願公報第2003/0034992号（「992出願」）(シリアル番号第10/051,612号)；(2)2002年5月17日出願、名称「ガンマ調整付きサブピクセルレンダリングのための方法およびシステム」なる、米国特許出願公報第2003/0103058号（「058出願」）（シリアル番号第10/150,355号）；(3)2002年8月8日出願、名称「適応的フィルタリング付きサブピクセルレンダリングのための方法およびシステム」なる、米国特許出願公報第2003/0085906号（「906出願」）(シリアル番号第10/215,843号)；(4)2003年3月4日出願、名称「画像データの時間的サブピクセルレンダリングのためのシステムおよび方法」なる、米国特許出願第2004/0196302号（「302出願」）(シリアル番号第10/379,767号)；(5)2003年3月4日出願、名称「運動適応性フィルタリングのためのシステムおよび方法」なる、米国特許出願公報第2004/0174380号（「380出願」）(シリアル番号第10/379,765号)；(6)2003年3月4日出願、名称「ディスプレイ視野角改善のためのサブピクセルレンダリングシステムおよび方法」なる、米国特許出願公報第6,917,368号（「368出願」）(シリアル番号第10/379,766号)；(7)2003年4月7日出願、名称「あらかじめサブピクセル再編された埋没画像を持つ画像データセット」なる、米国特許出願公報第2004/0196297号（「297出願」）(シリアル番号第10/409,413号)である。なお、上記参照公開出願および特許それぞれの全体を、参照することにより本明細書に含める。

下記の、共通に所有され且つ係属中の米国特許出願には、ガマット変換およびマッピングの改良が開示されている。すなわち、(1)2003年10月21日出願、名称「色調角度計算システムおよび方法」なる、米国特許出願公報第2005/0083345号（「345出願」）(シリアル番号第10/691,200号）；(2)2003年10月21日出願、名称「元のカラースペースからRGBW標的カラースペースへ変換するための方法および装置」なる、米国特許出願公報第2005/0083341号（「341出願」）(シリアル番号第10/691,377号)；(3)2003年10月21日出願、名称「元のカラースペースから標的カラースペースへ変換するための方法および装置」なる、米国特許出願公報第2005/0083352号（「352出願」）(シリアル番号第10/691,396号)；(4)2003年10月21日出願、名称「ガマット変換システムおよび方法」なる、米国特許出願公報第2005/0083344号（「344出願」）(シリアル番号第10/690,716号)である。なお、上記参照公開出願および特許それぞれの全体を、参照することにより本明細書に含める。

さらにそれ以外の利点が下記の出願に記載されている。すなわち、(1)2002年5月17日出願、名称「サブピクセルレンダリングを伴う回転性ディスプレイ」なる、米国特許出願公報第2002/0186229号（「229出願」）（シリアル番号第10/150,394号）；(2)2003年5月20日出願、名称「陰極線管装置のためのサブピクセルレンダリング」なる、米国特許出願公報第2004/0232844号（「844出願」）(シリアル番号第10/442,320号)；(3)2003年5月20日出願、名称「改良型プロジェクターシステム」なる、米国特許出願公報第2005/0082990号（「990出願」）(シリアル番号第10/442,356号)；(4)2003年5月20日出願、名称「改良型画像捕捉装置およびカメラ」なる、米国特許出願公報第2004/0233308号（「308出願」）（シリアル番号第10/442,555号）；(5)2003年5月20日出願、名称「フリッカー抑制、改良型プロジェクターシステム」なる、米国特許出願公報第2004/023339号（「339出願」）（シリアル番号第10/442,552号）；(6)2003年10月28日出願、名称「複数インプットソースフォーマットから画像データを表示するための、改良型マルチプルモードを有するディスプレイシステム」なる、米国特許出願公報第2005/0099540号（「540出願」）（シリアル番号第10/696,235号）；(7)2003年10月28日出願、名称「マルチモードディスプレイ用スケーリングを実現する画像再構成およびサブピクセルレンダリングを実行するためのシステムおよび方法」なる、米国特許出願公報第2005/0088385号（「385出願」）（シリアル番号第10/696,026号）である。なお、上記参照公開出願および特許それぞれの全体を、参照することにより本明細書に含める。

さらに、下記の、共通に所有され且つ係属中の出願も、参照することによりその全体を本明細書に含める。すなわち、(1)2004年4月9日出願、名称「非縞状ディスプレイシステムにおける画像データのサブピクセルレンダリングを改善するためのシステムおよび方法」なる、米国特許出願公報第2005/0225548号（「548出願」）（シリアル番号第10/821,387号）；(2)2004年4月9日出願、名称「画像ディプレイ用白点を選択するためのシステムおよび方法」なる、米国特許出願公報第2005/0225561号（「561出願」）（シリアル番号第10/821,386号）；(3)それぞれ、2004年4月9日、および2004年10月7日出願、共に名称「高輝度ディスプレイのための、新規サブピクセルレイアウトおよび配置」なる、米国特許出願公報第2005/0225474号（「574出願」）および米国特許出願公報第2005/0225475号（「575出願」）（シリアル番号第10/821,353、および10/961,506号）；(4)2004年4月9日出願、名称「ある画像データセットから別のセットへの変換のための改良型ガマットマッピングシステムおよび方法」なる、米国特許出願公報第2005/0225562号（「562出願」）（シリアル番号第10/821,306号）；(5)2004年4月9日出願、名称「高輝度サブピクセルレイアウトのための改良型サブピクセルレンダリングフィルター」なる、米国特許出願公報第2005/0225563号（「563出願」）（シリアル番号第10/821,388号）；(6)2004年6月10日出願、名称「量子化ディスプレイシステムにおけるガンマ正確度の向上」なる、米国特許出願公報第2005/0276502号（「502出願」）（シリアル番号10/866,447号）である。なお、上記参照公開出願および特許それぞれの全体を、参照することにより本明細書に含める。

下記の、共同所有された出願も、参照することによりその全体を本明細書に含める。すなわち、(1)2006年4月4日出願、名称「新規サブピクセル構造を有するディスプレイシステムのための効率的メモリー構造」なる、特許協力条約(PCT)出願PCT/US06/12768、および、合衆国において米国特許出願公報200Y/AAAAAAAとして公刊されたもの；(2)2006年4月4日出願、名称「低コストガマットマッピングアルゴリスムを実行するためのシステムおよび方法」なる、特許協力条約(PCT)出願PCT/US06/12766、および、合衆国において、米国特許出願公報200Y/BBBBBBBとして公刊されたもの；(3)2006年4月4日出願、名称「改良型ガマットマッピングアルゴリスムを実行するためのシステムおよび方法」なる、米国特許出願第11/278,675号、および、米国特許出願公報第200Y/CCCCCCCとして公刊されたもの、並びに、(4)2006年4月4日出願、名称「ディスプレイシスムにおける、あらかじめサブピクセル再編された画像処理」なる、特許協力条約(PCT)出願PCT/US06/12521、および、合衆国において米国特許出願公報第200Y/DDDDDDDとして公刊されたものである。

技術的効果：下記に例示し、説明するディスプレイシステムおよび画像処理法の各種実施態様は、データをサブピクセルレベルで変形し提示する、カラーサブピクセル装備複数原色ディスプレイシステムにおけるメタマー選択の利用という技術的効果を有する。

ディスプレイシステムの一つの実施態様は、インプット画像データから空間周波数特性を抽出する空間周波数検出ユニット、並びに、第1組（第１のセット）および第2組（第２のセット）のサブピクセル画像データを、この空間周波数特性に応じて調整する調整ユニットを含む。

ディスプレイシステムのもう一つの実施態様は、サブピクセル反復グループを有するディスプレイを含む。このサブピクセル反復グループは、少なくとも第1組（第１のセット）および第2組（第２のセット）のカラーサブピクセルをさらに含む、少なくとも一つのメタマーを含む。このディスプレイシステムはさらに、インプット画像データから輝度値を計算するための任意的な輝度計算ユニット、および、輝度値同士の関係に基づいて調整値を生成するための複数のメタマーフィルターを含む。このディスプレイシステムはさらに、第1組および第2組のサブピクセルの強度を調整値に従って調整するためのメタマー調整ユニットを含む。

画像処理法の一つの実施態様は、前記画像データから輝度データを抽出し、第１組（第１のセット）および第2組（第２のセット）のサブピクセル間の輝度値を、輝度データに基づく関係に従って調整し、この調整された画像データを出力する。

画像処理法のもう一つの実施態様は、画像アーチファクトが最小となるように、第1組（第１のセット）と第2組（第２のセット）のサブピクセル間の強度を調整する。この方法は、少なくとも第1組および第2組のカラーサブピクセルをさらに含む、少なくとも一つのメタマーを含むサブピクセル反復グループを有するディスプレイシステムにおいて動作する。本法は、第1組および第2組のカラーサブピクセル間の強度値を変える振る舞いをモデル化すること、モデルを含む強度調整値をディスプレイシステムに保存すること、並びに、第1組および第2組のカラーサブピクセルを調整するために強度調整値を用いることを含む。

本明細書に組み込まれ、本明細書の一部を構成する付属の図面は、本発明の原理を説明するのに役立つ、例示の実演例および実施態様を、その説明と共に描き出したものである。
複数原色およびRGBWディスプレイ並びにその関連システムでは、時に、従来のRGB画像データを複数原色画像データに変換することが要求され場合がある。ガマットマッピングアルゴリスム(GMA)に関しては多くの技術が従来技術で既知であり、参照することにより本明細書に含めた、上述の出願のいくつかでも論じられている。参照によって含められた上記出願の多くにおいて、複数原色ディスプレイを含む、新規サブピクセル反復グループが数多くある。図2から図10までは、前述の特許出願および特許においてさらに詳細に論じられる、これら新規サブピクセル反復パターンの中から得られた代表的サンプルである。本出願の技術は、通常の動作距離で見た場合ヒトの視覚では事実上識別不可能な領域内で、異なるメタマーの選択を可能とする、これらの例示のサブピクセル反復パターンおよびその他の――既知、未知を問わず――パターンにも適用される。

4種以上の、非一致的原色がディスプレイで使用される場合、これを一般に従来技術では「複数原色」(multiprimary)ディスプレイと呼ぶが、同じカラー値を与える、原色の複数の組み合わせが存在することがしばしばある。すなわち、任意の色調、飽和および輝度について、ヒトの観察者に対し同じ色印象を与える、4種以上の原色の、１組を超える強度値が存在する場合がある。このような可能な強度値の各組を、前記の色の「メタマー」と呼ぶ。従って、サブピクセル装備ディスプレイにおけるメタマーは、少なくとも2グループのカラーサブピクセルの組み合わせ（または組、セット）であり、このため、各グループに与えられた場合、ヒトの視覚系によって感受される所望の色を生成する複数の信号が存在する。もちろん、このような信号は、同じカラー、または事実上同様に感受されるカラーを生成するために、サブピクセルグループごとに変動してもよい。このため、ある効果を生むために原色の相対値を調整するにはある自由度が存在する。

例えば、Kunzmanに認可された米国特許第6,536,904号には、4原色RGBWプロジェクターの無色原色（すなわち、白色）の強度を最大化することによって、視野連続カラー中断の視認性を抑える方法が教示される。また、Primerano等に認可された米国特許第6,885,380号は、有機発光ダイオードの電力を低減する目的のために、様々な方法を用いてRGBWディスプレイの白色原色を最大化するという同様の選択を教示する。米国特許第6,536,904および6,885,380号を参照することにより本明細書に含める。

従って、一つの自由度として、カラーサブピクセル化複数原色ディスプレイシステムにおいてメタマー選択することは、サブピクセルレベルにおけるデータの変形、提示に関しいくつかの新規の機会を提供する。さらに詳しく後述するものであるが、ここでは単なる一例として挙げれば、サブピクセル原色の強度値は、その隣接サブピクセルと比較した場合の、当該サブピクセル点において再編された画像の相対輝度値によって調整されてもよい。このようにして、メタマーは、カラーサブピクセルレベルにおける画像再編をやり易くし、その品質を向上させるように調整され、そのようにして「サブピクセルレンダリング」技術を改善するようにしてもよい。

一般に、メタマーについては、任意のカラーおよび輝度が、局所のカラーサブピクセルにおける、もう一組の強度値によって実現されてもよい。例えば、RGBWシステムにおいて、Wサブピクセルは、R、G、およびBサブピクセルから成る近隣グループに対し灰色に関するメタマーである。もちろん、任意のカラーを生成するために使用されるサブピクセルは、ヒトの視覚系が、一緒に混ぜ合わせて色にすることが可能なほど十分に近いものである限り任意の近隣サブピクセルであってよい。このような自由度−類似のカラーサブピクセルの中から信号値を選ぶ自由度が、メタマーの中から選ぶ、従って、カラーサブピクセルの種々の組から信号値を選ぶことから得られる自由度と組み合わさった自由度−のために、任意の画像の輝度成分が、巨視的な（または認識）レベルでは適正な輝度とカラーを維持しながら、サブピクセルレベルでより忠実に表されることを可能とする。

サブピクセル再編画像では、メタマー選択は、所望の画像と、実際に表示される画像の間の誤差を低減する、望ましいと考えられるメタマー（恐らく、1組の所望のメタマー）を選択する有望な機会を表す。RGBWシステムは、このような自由度の利点を享受することが可能なディスプレイシステムの一例である。RGBWシステムのメタマーは、白・対・GBR軸の上に見出される可能性がある。そこで、単に一例として挙げるのであるが、任意のサブピクセルにマップされた任意のピクセルにおける、高い空間周波数輝度信号を測定するフィルターを構築し、かつ、その輝度信号のエネルギーを、サブピクセルレンダリング後に当該サブピクセルの位置に出現すると考えられるカラーに集中させることも可能と考えられる。輝度（すなわち、”L”）値−例えば、上に挙げた開示に開示されるRGBからRGBWLガマットマッピングレンダリング操作において見られるような−を用いて、ピクセル位置に基づいて白・対・RGB値にある筈の強度の量を評価することが可能である。

図１Ａは、本明細書に後述する技術を用いたディスプレイシステムの一つの実施態様のシステムレベル模式図100Aを示す。ディスプレイシステム100Aは、インプットピクセル値を受け取り、複数原色ディスプレイのための出力を生成する「パイプライン」を含む。パイプラインにおける多くの計算は、直線的カラー値に対して実行され、そのため、インプットガンマ変換およびアウトプットガンマ変換が、任意ではあるが、望まれる。インプットピクセルは、3原色カラー、例えば、RGB、またはYCbCrから構成されており、次に、これらが、GMAモジュール102において複数原色に変換されてもよい。ガマットマッピングアルゴリスムは、従来技術で既知であり、実際、この技術は、本明細書において上に参照された特許出願の多くに記載されている。このシステムでは、GMAモジュールがさらに、他の複数原色信号の外に−インプット画像データ信号の輝度チャンネルLを計算してもよい。

本願で論じられる技術はまた、下記の状況、すなわち、インプット原色の数がNであり、アウトプット原色の数がMであり、かつ、(1)NがMより小さい場合；(2)NがMに等しい、特に、N=M>3である場合；または(3)NがMよりも大きく、特に、カラースペースを下方サンプルするシステムである場合に適用可能である。さらに、これらの技術は、メタマーがアウトプットカラースペース内に存在する任意のカラースペースマッピングにおいて適用が可能である。あるシステムでは、第1の複数原色スペースから自身にマップすることが望ましい場合がある。そのような場合、本明細書に記載される技術も、カラースペースにメタマーが存在する限り適用が可能である。このような場合、GMAに対する要求は任意であることを理解しなければならない。

さらに詳しく後述するように、一つの実施態様では、メタマー計算は、フィルタリング操作として−複数の周辺画像データ（例えば、ピクセルまたはサブピクセル）値を参照して実行してもよい。これらの周辺値は、通常、ラインバッファーモジュール104によって組織される。もっとも、例えば、複数フレームバッファーのような他の実施態様も可能である。本実施態様はさらに、後述の操作を実行するメタマーフィルタリングモジュール106を含む。一つの実施態様では、メタマーフィルタリングは、ラインバッファーを、サブピクセルレンダリング（SPR）モジュール108と共有することが可能である。本説明の目的のためには、メタマーフィルタリングがこれと似たやり方でSPRの組み合わせられる場合は必ず、それは「直接メタマーフィルタリング」と呼ばれる。

図１Ｂに示す、本明細書に開示される技術に従って動作するディスプレイシステムのもう一つの実施態様では、ディスプレイシステム100Bは、ディスプレイシステム100Aのものと同じモジュールの内のいくつかを含む。GMAモジュール102は、入力画像データを一つのカラースペースから別のスペースにマップするために含められる。この実施態様では、メタマーフィルタリング（ブロック106）は、ピクセルデータにおける別の経路において実行されてもよい。本説明の目的のためには、この処理は、「事前調整メタマーフィルタリング」と呼ばれる。この場合、SPRモジュール108は、メタマーフィルタリングモジュール106によって使用されるメモリーまたはバッファー104とは別の、フレームバッファーまたはラインバッファー107を必要としてもよい。

さらに、上に参照によって本明細書に含めた特許出願において記載されているように、メタマー選択モジュール101においてインプットカラーのメタマーをあらかじめ選択することが可能である。このメタマー選択は、フィルタリング無しに各ピクセルにおいて個別に実行してもよい。この場合、ラインバッファーまたはフレームバッファーは不要である。

さらに、図１Ｂでは、メタマーフィルタリングモジュール106は、ディスプレイパイプラインにおいてGMAモジュール102の下流に示される。これも一つの実施態様ではあるが、この二つのモジュールは、別の配置を取ることが有利である場合がある。例えば、GMAモジュール102は、上に参照によって本明細書に含めた特許出願において記載されるように、ガマット固定機能を含んでもよい。このガマット固定機能は、メタマーフィルタリングモジュール106の後ろに移動させる方が有利である。もしもカラーが、モジュール106の後までガマットの外にいることが許されるのなら、メタマーフィルタリングがいくつかのカラーをガマットに戻し、それらを固定する必要性を解除し、そうすることによってカラーの再現を向上させることが可能である。

ハードウェアに与る特定のモジュールまたはサブシステムとは関わらず、図１３は、本明細書に開示される処理過程および技術に関する高レベルフローチャートを示す。ディスプレイシステムは画像データを入力し(1302)、かつ、そのインプットデータから、システムは、輝度情報を抽出する（1304）。もちろん、このような情報は、外部ソースから供給される場合、あるいは、GMA、またはハードウェア内の他のサブシステムを通じて計算される場合は、既にシステムに与えられている。画像データから輝度を計算する技術は、よく知られており、いくつかは、上に含めた多くの出願に開示されている。

システムが、インプット画像データから輝度データを計算することが可能であるならば、中から高の空間周波数ドメインにおいて、インプット画像データがどのように変動するかに関して、システムに何らかの表示を与える他のデータ（例えば、緑色および／または赤色強度／輝度値）を用いることも可能であることが了解されるであろう。このような高輝度サブピクセル−例えば、赤色および／または緑色、または他のカラーサブピクセル（恐らく広範な通過帯域を持つもの）からの輝度データの近似は、好適である場合がある。

輝度データは、メタマーフィルターに入力され(1306)、次に、このデータは、画像データを調整するため（例えば、強度値、または他の適切な値）、または、その調整値に従って、画像データをあるメタマーから別のメタマーにマップするためのインプットとして使用される。調整値の一つの実施態様は、図１３の工程1308に示されるように、急峻値であってもよい。もちろん、他の調整値も可能である。次に、得られた画像データは出力されてもよい（1310）。本明細書に記載される調整値は、画像の、認識カラーまたは強度を事実上変えることなく、サブピクセル強度の調整（複数の異なるメタマーを通じて）を可能とする数値であることが好ましい。本明細書に記載においては、調整値の一つの実施態様は、メタマー値同士の間の直線的関係を反映する。しかしながら、調整値それ自体は、必要に応じて異なるメタマー同士を通じてサブピクセル強度値の調整を可能とするものであれば、他の関係（例えば、非直線的、関数的、または非関数的関係）を用いてもよいことが了解されよう。

さらに、メタマーフィルタリングのやり方は、本明細書に記載される一つの実施態様のように、ガウス曲線差（DOG）および／または区域リサンプリングフィルターを用いる、3x3フィルターマスクをいくつか有することが了解されよう。他にも多くのフィルターマスク（例えば、3x3以外の大きさ、または、行・列とは別の、対角線入力マスク、または、直角入力）が可能であることが了解されよう。事実、本明細書で論じられる技術を用いるディスプレイシステムおよび方法を実行するためには、その内部の空間周波数データまたはその変動を検出、計算、または推測し、ある特性−例えば、検出されたものを反映する数値または関数を生成する、あるユニットを有するだけで十分である。次に、その特性は、その特性に基づいてメタマーセットから画像データを計算、または選択するユニットまたはモジュールによって使用される。空間周波数の変動を検出、計算、または推測するためには、多くのシステムおよび方法が存在し、知られる−例えば、フィルター、適応的フィルター、エッジ検出器、フラットフィールド検出器、ぼかしフィルター、および変換検出器（例えば、フーリエ、ウェーブレット、DCT等）である。

本明細書に論じられる技術を上手に実行するためには、選んだフィルターマスクが何であれ、所望の効果に合わせて画像データ中のサブピクセル強度値を変える、または選択する、ある変更が実施される。調整値の作用は、高い空間周波数の領域（例えば、テキスト等）を急峻（シャープ）にするためであってもよい。それとは別に、メタマー同士を通じてサブピクセル強度値を変更するのが、他の理由のため−ある画像特徴（例えば、動的、適応的フィルタリング条件下で）を滑らかにするためであってもよい。添付された特許請求の範囲は、これらの変異種も同様に含む。

さらに、フィルタリングとは別のやり方で画像データに輝度データを適用することも可能である。調整を実行するための他の機能的関係は−計算されたものであれ、近似されたものであれ−添付の特許請求の範囲の中に含まれる。近似的メタマーを含むサブピクセルの強度値はまた、輝度データに基づく何かの関係に従って調整されれば十分である。次に、調整された画像データはディスプレイに出力される。

さらに別の実施態様として、等価的メタマーの中から選択するのにランダムノイズを導入し、グレイスケール性能を向上させ、または量子化エラーを抑えるためにディザシステムを形成することも可能である。例えば、本明細書に記載される’a’値は、そのようなノイズ信号を表すか、または含んでもよい。このような、ノイズを導入するための技術は、従来技術で既知であり、いくつかは、上に含めた出願の多くのものに詳述されている。

［メタマーを計算すること］
メタマーサブピクセルグループと、関連信号との間の動的関係をモデル化することは可能である。例えば、メタマーと、任意の特定のカラー信号との間に直線的関係を見出すこと−それによって、「近隣」メタマーと信号の計算を可能とすることは可能である。このようなモデルを用いて、メタマーを含むサブピクセルの強度値を、画像アーチファクト、および、エラーを−例えば、カラーエラー等を最小とするように調整することが可能である。このようなモデルでは、強度調整値は、ディスプレイシステムに保存され、あるデータ、例えば、前述のように輝度データに従って画像データを調整する必要がある場合はいつでも使用される。

例えば、メタマーの中の原色の一つが、量’a’だけ変化した場合、他の原色のそれぞれについて、”a*m”だけ変化させてもよい。ここに、「メタマー勾配」項”m”は、それぞれの原色ごとに異なる。後述するように、これらの勾配項は、カラーを、複数原色システムから、CIE XYZ座標軸に変換する行列式M2Xから計算される。複数原色システムの原色の色度および輝度の測定値から、この変換行列式を計算することが従来技術で知られる−事実、係属中で、同じ所有者による米国特許出願第2005/0083341および2005/0083352号において論じられている。なお、これらの出願を引用することにより含める。

僅かに4個の原色を持つ複数原色システムの場合、メタマーを計算するために、勾配項を直接求めることが可能である。上に引用することによって含めた特許出願には、いくつかの有用なディスプレイレイアウトが述べられている。二つの例が、図３、４、および５Ａに示す高輝度RGW（反復サブピクセルグループ320は、赤306、緑308、青310、および白304サブピクセルを含む）、および、図８に示す、広いガマットRGBC（反復サブピクセルグループ802は、赤806、緑808、青810、およびシアン804サブピクセルを含む）である。後述する方法は、例としてRGBCを使用するが、この過程は、RGBWでも、他の任意の4原色ディスプレイシステムにおいても有効である。

方程式100は、直線的仮定を表明する。ある任意のRGBCカラー[r g b c]で始めるとして、小さい数’a’・掛ける・メタマー勾配値の組（セット）[mr mg mb mc]を加え、次いで、M2X行列式によってCIE XYZに変換すると、元の任意のカラーを直接CIE XYZに変換した後で得られるものと同じCIE XYZが得られる。下記の過程が、これらメタマー勾配値を計算する。方程式100は、分配、すなわち、両辺から共通項を差し引き、かつ、両辺を’a’で割ることによって単純化することが可能で、結果として方程式101が得られる。4原色システムの場合、M2X行列式は、定数値Mrx, Mgx等を含む方程式102に示すように4x3行列式としてもよい。

単に一つの実施態様として挙げるのであるが、mの勾配値を見出すためには、方程式101に示すように、m勾配値の一つを任意に1（または、他の何か好都合の値）に設定することで始めてもよい。これは、方程式102から拡張されたM2X行列式を有する方程式103に示される。

勾配の一つ（シアンのmc勾配）が1に設定されたので、その結果として定数から成る行が生じ、これは両辺から差し引くことが可能である。これが方程式104で実行される。左辺の残りの行列式は正方形であるから、m勾配値は、方程式105に示すように、行列式を逆転し、両辺に結果を掛けることによって計算される。1以外の他の値であっても、定数行を生成する同様の作用を持つことに注意しなければならない。

これによって、mcが1の場合の、mr、mg、およびmbの値が計算される。カラーのシアン原色が、’a’量だけ変化した場合、元のカラーのメタマーを創成するためには、他の原色は、a*mr, a*mg, およびa*mbだけ変化しなければならない。異なる勾配定数を任意に1に設定し、前述の過程を繰り返し、両辺から異なる行を差し引きし、残りの変数について解を求めることが可能である。それとは別に、一度上述のようにm勾配値を計算し、次に、勾配の組を、計算された各勾配で順に割り、各開始原色のための勾配の組を生成することも可能である。試験RBBCディスプレイのM2X行列式の例を下記に示す。各原色のm勾配値は、前述の過程によって計算したものである。

上に記した行列式106は、理論的RGBCディスプレイの原色色彩計および輝度読み取り値から計算した一例である。行列式107は、どのくらい赤を変えたいかが分かっている時に、他の色をどのぐらい変えたらよいのかを計算するのに必要な、メタマー勾配値の表である。行列式108は、青を変える場合の、行列式110は、シアンを変える場合のものである。

指摘する価値のある、二つの特別の場合がある。参照することによって含めたいくつかの特許出願に示されるように、ディスプレイの原色および白色点について単純化仮定を設けること−したがって、ディスプレイシステムの設計を大きく単純化することが可能である。前述のようにメタマー勾配を計算する場合、メタマーによるシステムの設計を単純化するのに使用が可能なもう一つの変数がある。ここで単純化をもたらすことが可能な変数は、原色の相対輝度である。一つの実施態様、例えば、図３、４、および５ＡのRGBWサブピクセルレイアウトでは、Wサブピクセル304の輝度は、他の三つの原色306、308、および310を合併させた輝度にほぼ等しく、あるいは、ディスプレイの全体輝度のほぼ半分を占める。下記の仮定を設ければ、メタマーのm勾配値は、実現するのが特に簡単な数値となる。すなわち、
1. RGB原色はほぼRec.709原色に適合する。
2. ディスプレイは、D65標準白点にほぼ適合する白点を生成する。
3. RGB原色の相対強度は、同じRec.709およびD65仮定を持つ3原色RGBシステムの場合とほぼ同じである。
4. Wサブピクセルは、各サブピクセルレイアウトの合計輝度の半分を占める。

上記仮定は、特定のM2X行列式（後述）を生成する。W原色を変える時、メタマー勾配値を計算する前述の過程にこのM2X行列式を使うと、下記に示すように、特に便利な一組の数値が得られる。

したがって、Wを何らかの量だけ変える場合でも、開始カラーのメタマーを生成するには、他の原色を反対量変えるだけで十分である。この組から、RGB原色の内の一つを変えることは、単に、他の原色を同じ量、およびW原色を反対量変えるだけでよいことが容易に見て取れる。

他の実施態様、例えば、図6のRGBWレイアウトの場合（赤606、緑608、青610、および白604サブピクセルを含む反復サブピクセルグループ620を持つ）、白サブピクセルは、輝度において、残り２／３の半分にほぼ等しい。この関係は、ハードウェアまたはソフトウェアいずれにて実行するにしてもさらにもう一つの利点となる。例えば、４番目の仮定を、下記で置き換えて見る。すなわち、
4. Wサブピクセルは、各サブピクセルレイアウトの合計輝度の3分の1を占める。

これから、M2X行列式およびメタマー勾配値を計算することが可能となり、結果は次の通りである。

Wを何らかの量だけ変えたなら、開始カラーのメタマーを生成するには、他の原色をその量の半分だけ反対方向に変えるだけでよい。逆に、原色の内の一つを任意の量変えたならば、単に、他の原色を同じ量、およびW原色を2倍量反対方向に変えるだけでよい。任意の量について、その半分、または2倍を計算することは、ハードウェアにおいて最小数のゲートおよび最小の出費で実行が可能であることに注意しなければならない。もちろん、この変化を実行するに際してはある程度の自由度がある。例えば、所望の結果に影響を与えるように、ある反復グループの中の全てのサブピクセルの値を変えることも可能である。それとは別に、所望の変化に影響を与えるように、任意の反復グループ620内において、赤606および緑608サブピクセルの半分だけを調整してもよい。あるグループ内の操作可能なサブピクセルの内の半分に変化を実行することで得られると予想される利点は、ハードウェア最適化に適合するということである。例えば、変化が、アウトプットデータの複数のラインにではなく、同じラインに起こるとすると、必要なゲートはより少なくて済み、メモリーはより小さくて済む。

図６に示すもののようなRGBWレイアウトの場合、青610サブピクセルは、上のRec.709およびD65仮定が示唆するよりも、輝度への寄与が少ない可能性に注意しなければならない。このように青が暗く見えることを考慮するならば、より正確な、異なる一組のｍ勾配値が得られようが、ハードウェアに導入するには前のものほど容易ではないであろう。

前記メタマー勾配の計算は全て、ディスプレイが4原色しか持たないことを仮定していた。前述のように、任意の数の原色について同様の過程が有効に働く可能性がある。しかしながら、原色の数が5以上になると、方程式105の工程は変更する必要がある。なぜなら、残りの行列がもはや正方形ではなくなり、逆転されないからである。それでも、有用なメタマー勾配数の生成を可能とする過程がいくつかある。非逆転行列式は、問題に対する解法が無いことを意味しない。それは、解法がたくさんあることを意味する。使用可能なメタマー組を生成するのに、一つの解法だけが有用である場合がある。

4よりも大きい複数原色システムでは、4個のm勾配値を超える数の勾配値を持つ、方程式101と同様の方程式がある。これらを求める一つの解決法は、一つを超えるm勾配を任意の値に設定することである。3個のm勾配値だけが残る場合、その後の工程は、逆転が可能な正方形行列式を含む。例えば、5原色、高輝度、広範囲ガマットRGBCW（赤、緑、青、シアン、および白）システムでは、赤とシアンは互いに補色であり、これらは反対方向に変化すると仮定することは理にかなっている。その場合、mw勾配値に１、mc勾配値に−１を設けることは開始するのに好適な場所となる。

図7のもののような6原色システムでは（赤706、緑708、青710、シアン707、マゼンタ709、および黄711サブピクセルを含む反復サブピクセルグループ701を持つ）、青と緑は合わさってシアンを作ることができるから、mgおよびmb勾配値を−１に、一方、mc勾配を１に設定することが可能である。補色の原色同士には−１以外の異なる値を選ぶことによって、他の解法が得られる。ハードウェアに搭載するのにより易しい「都合のよい」組のメタマー勾配が見出されるまで、任意の値を変えることが好適であろう。

４よりも大きい複数の原色システムにおけるm勾配を求めるもう一つの解法は、数値的ソルバーを用いることと考えられる。これは、実際には、前述の議論と同様のものであるが、有効な一組が見つかるまで任意の値を選ぶコンピュータアルゴリスムを持つ。たくさんの数値ソルバーパッケージが市販されているが、有効であることが明らかにされているものは、Mathsoft Engineering & Education社によってMathcardプログラムに組み込まれたソルバーである。このような数値ソルバーは、望まない解法を選ぶかもしれないという欠点を持つ。しかしながら、これらのパッケージでは、この欠点を回避するために、1から複数の組の制限方程式を設けることができる。例えば、ソルバーに対し、任意の勾配をゼロに設定すること、2よりも大きい勾配を選ぶことができないように制限することによって、補色同士が、反対符号を持つ勾配を持つこと等が確保される。

コントローラハードウェア設計を簡単化するために、好適なメタマー勾配値が得られるようにサブピクセルのサイズおよび／または輝度を調整することが好ましい。例えば、図３および６のレイアウトでは、１または２の階乗となるメタマー勾配が得られた。図７のレイアウトでは、シアン707、マゼンタ709、および黄711サブピクセルのサイズは、メタマー勾配解が都合のよい数、例えば、1/2、１、2、または、他の、ハードウェアに搭載するのに好適な数となるまで、赤、緑、および青に対して再度サイズ変更させてもよい（前三原色が比較的大きい波長帯域を持つため）。

それに代わる実施態様では、これらのサブピクセルは、他のサブピクセルとほぼ同じサイズを持ち続けてもよい−例えば、RGB原色に対しCYM原色の輝度の比が好適な数値を持つのであれば。図６のレイアウトの例は、２：１の比は、全てが1または1/2となるメタマー勾配が得られることを示す。他の比は、また別の好適なメタマー勾配値を与える可能性がある。

別の実施態様では、異なる原色の輝度を調節することによって、上記の単純化結果が得られる。ある原色の輝度を下げる、可能な一つの方法は、飽和を増すことである。原色のカラーがより純粋になるにつれて−例えば、帯域フィルターがより狭くなるにつれて、その原色の輝度は下がる。この調整を、ディスプレイの設計に持ち込んで、一方ではディスプレイの全体ガマットを増しながら、「都合のよい」メタマー勾配を生成することが可能である。

［メタマーフィルタリング］
図３に示すような、サブピクセル反復グループ320を持つRGBWシステムでは、レイアウトは、白が、有色と交互に繰り返すチェッカーボード（または、より厳密には、二つのチェッカーボード−一つは青と白サブピクセルから成るもの、およびもう一つは赤と緑サブピクセルから成るもの）として見える。このレイアウトにおけるサブピクセルレンダリングでは、区域リサンプルサブピクセルレンダリング版−例えば、「1ピクセル・対・2サブピクセル」マッピングを実行することが可能である。このようなレンダリングでは、一つのインプットピクセルが、白304および青310サブピクセルに、例えば、図４のペア401にマップされ、かつ、周辺の交互インプットピクセルは、緑308および赤306サブピクセルペア（例えば、406）にマップされる。

各種メタマーの中からあるカラーを選択できる自由は、画像を改善するための新しい可能性を生む。Wサブピクセルが高周波数エッジの明るい側に存在する場合には、Wサブピクセル値が増し、Wサブピクセルが高周波エッジの暗い側に存在する場合には、Wサブピクセル値が減るようにメタマーを選択するようにディスプレイを設計することも可能である。赤306と緑308サブピクセルペア406が、高周波エッジの明るい側に来る場合、RおよびGサブピクセル値が増すようにメタマーを選択することが望ましい。逆に、サブピクセルペア406が、エッジの暗い側に存在する場合には、RおよびGサブピクセル値は減少した方がよい。Bサブピクセルは、輝度にはあまり関わらず、したがって考慮する必要はない。

上の考察は、サブピクセルペア401と、サブピクセルペア406に対しては、異なる、恐らくは反対のフィルタリング操作を実行すべきであることを意味する。下記の二つのフィルターは、これらのフィルターの内の一つである。すなわち、

“x”の値は、この操作のスケール因子として調整してよい。値x=0.5は、好適な値の一例であるが、他の値も選ぶことが可能である。フィルターの符号が、RGカラー・対・白サブピクセル位置では逆転することに注意されたい。これによって、いくつかのハードウェアまたはソフトウェア最適化が得られる。例えば、1個のフィルターで、一つ置きのアウトプットサブピクセルペアの符号を逆転させたものが使用される。このフィルターは、従来技術で既知の対角線急峻フィルター（対角線シャープ化フィルター）に近似するが、ただし、後者は、複数原色データのL、すなわち輝度データに関与するもので、カラーチャンネルに関与するものではない。Lの計算は、多くの場合、GMAの一工程として実行されるが、後の処理工程に備えてこの値をセーブしておくのが有利である。このセーブされたL値は、図１Ａおよび１Ｂでは、GMAモジュール102およびラインバッファー104の間で示される。

従来技術の急峻フィルターでは、フィルター操作によって得られる’a’値は、最終的には、フィルターの真下のピクセルに保存される。しかしながら、メタマーフィルタリングでは、中心ピクセルのメタマーを下記の方程式で修飾するのに、代わりに中心’a’値が使用される。

mr、mg、およびmb定数は、メタマー勾配値である。図３のレイアウトに関連して上述したように、これらの勾配値は皆数値１を持ってもよい−そうすると計算の実行が簡単になる。メタマーのデフォールト値を、Ｗ値が最高数値を持つ原色と等しくなるように、または、できるだけそれに近くなるように設定することは有利である場合がある。こうすると、メタマーフィルタリングにおいて「頭上余地」(head-room)が最大になる。このメタマー調整を実行する、可能な一つの方法が、名称「改良型ガマットマッピングアルゴリスムを搭載するためのシステムおよび方法」なる、係属中の特許出願に開示され（米国シリアル番号第11/278,675号、米国特許出願公報第200X/XXXXXXX−参照によりその全体を本明細書に含める）、かつ図１Ｂに、メタマー選択モジュール101として示される。

図１１は、メタマーフィルタリングの一つの実施態様の高レベル模式図である。このシステムは、二組のデータ、すなわち、輝度データ1102、および、画像（またはカラー）データ1104に作用する。これらのデータ組は空間的に一致していてもよい−例えば、1102は、画像データ1104の輝度データであってもよい。輝度チャンネル1102は、フィルターカーネル1110によって高周波情報に関してサンプルされる。このフィルターカーネルは、図３のBWサブピクセルペアにおける使用について上に記載されたものである。図１１では、xの値は、0.5に選ばれてもよいし、それによる係数は、1/2およびマイナス1/8として計算されてもよい。このフィルターは、BWピクセル1106の3x3区域に適用される。結果は、急峻値’a’である−これを用いて、ステップ1112においてカラーのメタマーを変える。輝度チャンネル1102の各値1106について、カラーチャンネル1104に模式的に示されるRGBおよびW値1108がある。RGBW値は、ステップ1112においてそのメタマーが変更される。得られたメタマー1116は、アウトプットバッファー1114に保存されるか、または次の処理ステップに手渡される。

図１２では、RGサブピクセルペアは、前述と同様に、ただし反対向きのフィルターカーネルによって処理される。RGサブピクセルペア1206の中心値は、輝度チャンネル1202からサンプルされ、フィルターカーネル1210に関与する。得られた急峻値’a’はステップ1212で用いられて、カラーチャンネル1204からのRGBW値1208について新規メタマーを計算する。得られたメタマー1216は、アウトプットバッファー1214に保存されるか、または次の処理ステップに手渡される。

図１１および図１２は、説明目的のために提示されたもので、他の実施態様も可能であることが了解されよう。前述したように、様々な−輝度データ以外の−高い空間周波数データが得られる可能性がある（例えば、赤および／または緑カラーデータ等）。メタマー間の他の関係（例えば、非直線関係、または別の大きさ、例えば、5x5等）を反映する異なる値が得られるように、他のフィルターマスクを用いることも可能である。本明細書に開示される技術および方法は、図１１および図１２に描かれるRGBW空間におけるメタマーの操作に限定されるものではなく、あるカラースペースから別のスペースへ多数のマッピングを含むことが了解されるであろう。また、異なるサブピクセルレイアウトについて、異なるメタマーフィルターが適用される、二つ以上のサブピクセルサブグループが存在し得ることも了解されるであろう。

図１４および図１５は、図１１および図１２に示す技術を具現化するディスプレイシステムの他の実施態様である。図１４は、事前調整メタマーフィルタリングのフローチャートである。まだ手元に無い場合、輝度は、ステップ1404において、インプットデータ値1402から計算されてもよい。インプット値および輝度値の両方ともラインバッファー1406に保存してもよい。ラインバッファー、または他の何かの保存装置、例えば、フレームバッファーが望ましい。というのは、フィルタリング操作は、隣接数値を求めるからである。メモリーに簡単にアクセスが可能なソフトウェア搭載の場合、全画像をフレームバッファーに保存することが可能である。ハードウェア搭載では、フィルターにとって十分な、２以上のラインの数値を保持するラインバッファーを構築することが可能である。このようなラインバッファーは比較的少数のゲートしか使わず、したがって製造コストを下げるという点で好ましい場合がある。ラインバッファー1406は、メタマーフィルターに隣接輝度値を供給する。前述したように、一つのフィルターカーネルが、#1メタマーフィルター1408において示すように、最終的にBWサブピクセルペアに変換されるソースピクセルに対して使用されてもよい。また前述したように、#2メタマーフィルター1410として示すように、異なるフィルターカーネルを、最終的にRGサブピクセルペアに変換されるインプットピクセルに対して使用してもよい。メタマーフィルターによって得られる急峻値は、ステップ1412においてインプットカラーのメタマーを修飾するのに使用される。ラインバッファー1406は、メタマーフィルター1408および1410の中心にある輝度値に対応する、インプットデータピクセルのPGBW値を提示するように構築される。もちろん、RGBWスペースのBWおよびRGメタマーは、全て例示としての説明である。システムは、異なるメタマーフィルターセット−例えば、#1メタマーフィルター1408と#2メタマーフィルター1410、および、マップされるインプットおよびアウトプットカラースペースに応じて、できるだけ数多くの他のフィルターセットを始め−標的サブピクセルレイアウトの局所配置を用いてもよい。

事前調整メタマーフィルタリングの場合、調整されたピクセル値は、第２フレームバッファー、または第2組（第２セット）のラインバッファー1414に保存されてもよい。これは、フィルタリング操作も兼ねるサブピクセルレンダリング(SPR)の通常部分であり、フィルターカーネルに隣接値を供給するためにバッファーを利用する。ラインバッファー1414からのアウトプットは、SPRフィルタリングステップ1416に供給され、該工程は、アウトプットディスプレイ1418のための数値を計算する。

図１５は、ガウス分布差（DOG）急峻化又はシャープ化が好ましい場合の事前調整メタマーフィルタリングのフローチャートである。このフローチャートは、下記の違いを除いて図１４と同様である。図１５でも、ラインバッファー1506からの輝度値が、第2ラインバッファー1514に保持、保存される。この第2ラインバッファーは、調整済みインプット値がSPRフィルター1516に提示されるのと同時に、DOGフィルター1518に輝度情報を提示する。結果は、ステップ1522においてディスプレイに出力される前に、ステップ1520でまとめられる。

［メタマーフィルタリング及び組み合わせられた他のサブピクセルレンダリング技術］
もう一つの例示のために、かつ、本技術の価値をさらによく理解していただけるよう、かといって、添付の特許請求の範囲を限定するつもりは無いが、無色の（すなわち白黒）画像の対角線方向に空間周波数成分があることを想像していただきたい。この信号は、もしも同じ中心点メタマー選択が実行されたならば、区域リサンプルSPRによって減衰されると考えられる。しかしながら、この新規の場合において、メタマーの事前フィルタリングによってエネルギーが事前に急峻化又はシャープ化されて、SPRフィルタリングを部分的に、または完全に相殺したならば、全て、過剰な色誤差を免れることになる。

この利点を見るためには、区域リサンプリングと従来の急峻化フィルターの技術を再検討することが役立つ。本レイアウトおよび他のレイアウトのための、区域リサンプリングおよび従来の急峻化フィルターは、「高輝度サブピクセルレイアウトのための改良型サブピクセルレンダリングフィルター」（米国特許出願公報第2005/025563号、引用により本出願に含める）、さらに「サブピクセルフォーマットデータの、別のサブピクセルデータフォーマットへの変換」（米国特許出願公報第2003/0034992号、引用により本出願に含める）、および、「サブピクセルレンダリング用エミッターの４色配置」（米国特許出願公報第2004/0051724号、引用により本出願に含める）に既に開示されている。図３のRGBWサブピクセル、すなわち、赤306、緑308、および青310サブピクセルの配置は、図５Ａに示すようにグループ506に、図５Ｂに示すように単一再構成点506Bと考えられるようにまとめられていることを考慮されたい。白304サブピクセルは、グループ当たりの唯一の占拠者として、別の再構成グループ点501と見なされる、もう一つのグループに存在する。以上まとめると、これら二組の再構成点501Aおよび501Bは、白・対・カラー再構成点から成るチェッカーボードを形成する。これらの再構成点501Aおよび501Bは、図５Ｃに示すように、その関連サンプル区域511を持つ入力ピクセル509に対し、1ピクセル・対・1再構成点対比に基づいてマップされる。図５Ｄにおいて白再構成点5011だけを分離することによって、各再構成点5011に関連する区域リサンプル区域520を再構成することが可能である。このようなリサンプル区域520は、一つの実施態様では、その関連再構成点5011にもっとも近い区域によって定義されてもよく、その境界は、他の隣接再構成点から等距離離れた一組の線によって定義されてもよい。したがって、ある任意の白再構成点5011Aは、関連リサンプル区域521を持つ。該再構成点はまた、同じカラーの直近再構成点5011Bにおける頂点間に引かれた直線によって定義されるような、多角形の（または、その他の適当な形状の）関連急峻区域531を持ってもよい。

図５Ｅでは、インプットピクセル509は、再構成点5011にマップされ、リサンプル区域520によってリサンプルされる。任意の再構成点5011Aと関連する任意のリサンプル区域521は、5個のインプットピクセル509と重なる。前述の出願において開示されるように、これらの区域は、全体区域の分画を生じ、区域リサンプルに基づく下記のフィルターカーネルを生じる。すなわち、

ここに挙げるような単純な例では目視によって近似的DOG急峻化フィルターを生成することは可能であるが、区域リサンプルフィルター構成法を続けることは示唆に富む。任意の急峻化区域531は、9個の入力ピクセルと重なり、下記の、急峻化区域リサンプルフィルターを生ずる。すなわち、

近似的ガウス分布差急峻化フィルターウェーブレットを計算するには、この区域リサンプルフィルターカーネルから、急峻化区域フィルターカーネルを引けばよい（例えば、差を取ることによって）。すなわち、

一実施態様では、RGBWメタマーフィルタリングは、それに向かって再編されるべきサブピクセルに対して、特に対角線方向の周波数において、高い空間周波数の輝度信号を、区域リサンプルフィルターが、カラーサブピクセルパターンの輪郭をジャギーにする可能性のある有色画像信号成分をろ過除去することによって画像をぼかす前に、あらかじめ急峻化（シャープ化）、またはピーク化する傾向がある。区域リサンプルフィルターは、水平および垂直信号に比べ対角線信号をより減衰させる傾向がある。ガウス分布差（DOG）ウェーブレット−これは、区域リサンプルと同じカラー平面から動作することも、別のカラー平面から、または輝度データ平面から動作することもある−は、対角線よりも、水平および垂直の空間周波数をより急峻化し、維持する。この例示のDOGウェーブレット動作は、対角線方向において同じカラーサブピクセルにそって強度値を移動させると見なすことができ、一方、メタマーフィルタリング動作は、種々のカラーサブピクセルに対し横断的に強度値を移動させる。

対照的に、RGBWメタマーフィルタリングは、水平および垂直信号よりも対角線の方をより急峻化（シャープ化）する傾向があり、一方、区域リサンプリングは、水平および垂直信号よりも対角線の方をより減衰させる傾向がある。事実、この両者は、RGBWメタマーフィルターオペレータがほぼx=0.5に設定された場合、互いに相補的である。したがって、組み合わされると、この両者は−DOGウェーブレットを要することなく−元の画像の全信号エネルギーを用いて画像を再編することに貢献する。

しかしながら、例えば、図１５および図１７に示すように、画像をさらに急峻化するにはDOGウェーブレットを用いるのが有利と考えられる。一つの実施態様は、輝度の比較的低い原色の変調伝達関数を増し、そうすることによって、輝度信号の再編における、それらの寄与分が、割合として増えるようにDOGウェーブレットを用いる。例示のDOGウェーブレットにおける変数について繰り返すと：

比較的輝度の低い原色は、より高い振幅のDOGフィルターによって急峻化してもよい。すなわち、z値が、より暗い原色に対してより高くなるようにする。例えば、白サブピクセルはもっとも明るく、したがって正規化輝度として使用することが可能である。そこで、z値は下記によって決められる。すなわち、

上式において、Y_w, Y_g, Y_r およびY_bは、それぞれ、完全に「オン」した白、緑、赤、および青の原色の輝度値であり、z_w、z_g、z_r、z_bは、それぞれ、分かり易いように明るさの降下順に並べた、白、緑、赤、および青サブピクセルを急峻化するための”z”値であり、”s”は、所望の急峻化レベルにおけるスケール係数である。

白のカラー面は、定数を1よりも小さい数で置換するDOGウェーブレットを用いることによってより暗い原色と一緒に急峻化することも可能である。

帯域制限画像を再編する際、適切な内挿フィルター、例えば、sinc、ウィンドウ付きsinc、またはCatmul-Rom立方フィルター、または、他の、現在、または、今後開発されるフィルターを用い、水平方向（比較的サブピクセル密度が高い）におけるピクセル当たりの「余分な」サブピクセルを利用して、サブピクセルの半分に対し数値を内挿すると有利である可能性がある。例えば、輝度、赤、および青カラー平面を、前述のDOGウェーブレットおよび区域リサンプルフィルターによって使用される前に、元のサンプルの間に内挿してもよい。白および緑カラー平面は前と同じままである。このようなフィルタリング動作は、既に、「高輝度サブピクセルレイアウトのための改良型サブピクセルレンダリング（米国特許出願公報第2005/0276502号）」に記載される。なお、この出願を引用することにより本明細書に含める。有用な内挿フィルターの例は、下記のCatmul-Rom立方フィルターである。すなわち、

事前調整ステップとしてメタマーフィルタリングを実行するのではなく、一回のパスで直接メタマーフィルタリングを実行するようにSPRを構築することも可能である。例えば、一つの入力ピクセルが、図５Ａに示すように、単一の白サブピクセル304にマップされた場合、隣接インプットピクセルは、グループとして（例えば、グループ506）、赤、緑、および青サブピクセルに、緑サブピクセルを真ん中にマップされ、次に、四つのカラー平面全てに対し単一フィルターセットが使用される。単に例示のために挙げるのであるが、下記は、一組の、このような直接フィルターであり、ここにメタマーフィルター係数x=0.5である。すなわち、

ここに挙げるような単純な例では目視によって近似的メタマー急峻化フィルターを生成することは可能であるが、区域リサンプルフィルター構成法を続けることは示唆に富む。図５Ｆでは、白5011およびカラー5066輝度再構成点が、入力ピクセル509およびその関連サンプル区域511の上で重なっているところが示される。輝度リサンプル区域525は、入力ピクセル509の包含サンプル区域511とほぼ一致する。この例において、任意の再構成点である、白再構成点5011Aは、入力ピクセル509の包含サンプル区域511とほぼ一致する関連輝度サンプル区域526を持つ。このようにして、輝度サンプル区域は、ほぼ一つの包含サンプル区域と重なり、1の数値を持つほぼ1単位のフィルターを構成する。図示のように、輝度再構成点5011はまた、反対向きメタマー交換再構成点5066Aから成る直近再構成点における頂点による直線によって定義される、多角形の急峻サンプル区域536を持ってもよい。このメタマー急峻化サンプル区域は、5個の包含ピクセルサンプル区域511と重なり、下記のフィルターカーネルを生成する。直接的メタマーフィルターカーネルを計算するには、この輝度サンプル区域フィルターから、メタマー急峻化区域フィルターカーネルを引けばよい。すなわち、

直接法およびメタマーフィルター事前調整においても同様の振る舞いが見られること、すなわち、入力ピクセル値（501のように）が白サブピクセル304にマップされ、この入力ピクセル値が、その周囲のピクセル506よりも高い輝度を持つ場合、その白サブピクセル304はもっと白くなることに注意すべきである。しかしながら、この二つの方法は同じ結果をもたらさないことがある。事前操作、それに続くサブピクセルレンダリングの結果は、二つの操作の絡み合いである。ある任意のサブピクセルの出力強度値は、4個の直近の隣接メンバーを取り囲むピクセルのインプット輝度値によって影響されるが、一方、直接的メタマーフィルタリング操作は、この振る舞いを示さない。このことは、メタマー事前調整フィルター法は、帯域制限画像には適するが、一方、直接法は、帯域制限画像にも、帯域非制限画像にも好適であり、特に、前述したように、メタマーフィルターオペレータが、ほぼx=0.5に設定された場合、白黒テキストの上では効果的であることを示唆する。前述と同様、オペレータには別の値も可能である。

白および青サブピクセルを、グループとして同じ入力ピクセルに対してマップする直接メタマーフィルターを構築することも可能である。しかしながら、これを実行すると、メタマーフィルターは後述するように逆符号を持つことがある。これは、青の画像成分をぼかす作用を持つことがある。これは、これも後述するが、自己カラー区域リサンプリングフィルターに付け足した高振幅急峻化DOGウェーブレットによって反転させることが可能である。赤、緑、および白のカラー平面は従前どおりにろ過される。

図１６および図１７は、メタマーフィルタリングの特徴を、サブピクセルレンダリングの特徴と組み合わせたシステム−本出願の目的にとって直接的メタマーフィルタリングと呼ばれるものであるが−の二つの実施態様である。図１４および図１５では、二つのフレームバッファーまたはラインバッファーが記載されることが見て取れる。このラインバッファーは両方とも、フィルタリング操作のために必要な値を支給するために情報を保持し、組織立てるために備えられたものである。しかしながら、直接メタマーフィルタリングでは、この二つのフィルタリング操作は併合されるので、ただ一つのラインバッファーまたはフレームバッファーだけで十分となる。これによって、ソフトウェア搭載の場合は、メモリー要求が顕著に節約されるし、あるいは、ハードウェア搭載の場合は、ゲートが顕著に節約される。さらに、アウトプットサブピクセルのBW対RWペアに対し、別々の一つが必要であったが、その代わりにただ一つのメタマーフィルターカーネルが必要となるだけである。図１６はこの実施態様を示す。先行ステップからまだ手元に届いていない場合、輝度は、ステップ1604において、インプットピクセル値1602から計算されてもよい。インプット値および輝度値は、ラインバッファー1606に保存される。ラインバッファー1606は、このカラーインプット値をSPRフィルター1608に、および、輝度情報をメタマーフィルター1610に提示する。この二つのフィルターの結果は、ステップ1612においてまとめられ、アウトプットディスプレイ1614、または次の処理ステップに送られる。

図１７は、画像をさらに急峻化（シャープ化）することが望ましい場合、DOGフィルタリングを付け加えた、図16の直接的メタマーフィルタリングアルゴリスムを示す。付け加えられたDOGフィルターステップ1712においてラインバッファー1706からの輝度値が使用される。このDOGフィルター1712からの出力は、合計ステップ1714において、SPRフィルター1708およびメタマーフィルター1710からの出力と足し合わされる。合計の結果1714は、アウトプットディスプレイ1716、または次の処理ステップに送られる。もう一つの実施態様では、メタマーフィルター1710とDOGフィルター1712を合わせて、一つの計算前フィルターカーネルとすることも可能である。

もう一つの実施態様では、図6のレイアウトは、6個のサブピクセル（すなわち、図示のように、赤606、緑608、青610、および白604サブピクセルを含む）から成る、1個の反復セル620当たり1個の白604サブピクセルを持つ。白604サブピクセルは、列の半分、すなわち、RWG列625にあり、一方、ただ一つの青サブピクセルが、他方の列、すなわち、GBR列635に認められる。この白604サブピクセルに対する区域リサンプルフィルターのぼかし効果を外す、または逆転するために、直接的メタマーフィルターを構築してもよい。すなわち、

白平面は、水平軸にCatmul-Rom立方体内挿を持つように修飾された区域リサンプルフィルターによってサンプルされてもよい。帯域制限画像の場合、この内挿は、それぞれ片側に赤／緑行に挟まれる白604サブピクセルの介在位置を利用して、画像の質を向上させる。輝度平面は、直接的メタマーフィルターによってサンプルされてもよい。このようにすると、RWG列625にマップされるピクセルが、前記RWG列625の上下の二つのGBR列635よりも大きな輝度を持つ場合、強度が白サブピクセルに濃縮される。RWG列625の赤606および緑608サブピクセルは、メタマーフィルターを用いない。

前記フィルターは、DOG急峻化フィルターを有する区域リサンプルフィルターである。RWG列625の赤606および緑608サブピクセルはメタマーフィルターを持たないが、GBR列635の赤606および緑608は持つ。赤606サブピクセルは下記の通りであってもよい。すなわち、

緑608サブピクセルフィルターは下記の通りであってもよい。すなわち、

輝度平面をサンプルする二つのフィルターを調べ、比較することによって、第2フィルターは、メタマーフィルターが加わったDOC急峻化フィルターであることが判明した。このメタマーフィルターは、白サブピクセルメタマーフィルターの、対立するもう片方である。

青610サブピクセルは二つの選択肢を提示する。一つの実施態様では、該サブピクセルは、実質的に同じメタマーフィルターを用い、白604サブピクセルに対するもう片方のフィルターを持つ。帯域制限画像では、これは、カラーの正確性を補償する有利な選択である。一方、帯域非限定画像、特に、白紙の上に書かれた白色テキストでは、青610サブピクセルは、直線635の上下の列625の青成分ばかりでなく、直線635内部の青成分も表す。一つの実施態様では、青サブピクセルは、メタマーフィルターを使わず、青の画像を「ぼけた」まま放置してもよい。このような画像は、ヒト視覚系の低解像度にマッチする傾向があり、しかも、帯域非限定画像では、画像は、メタマーフィルターが無い方が、カラー誤差が少なくなると考えられるからである。

図6のこのレイアウトにおけるメタマーフィルタリングでは、水平方向の線および空間がより鋭く見えるが、垂直に配される線および空間は、「ぼやけ」て、かつ「点状」に見える。メタマー操作ではないが、簡単な技術によって、垂直方向の線および空間の外見は改善される。ちょうどメタマーフィルターが、画像のある点において、局所エントロピーおよび輝度信号の符号によって、その点におけるより良いメタマーを選択するよう指向するのと同じように、後述の、コントラスト改善過程は、符号とは無関係に、白サブピクセルの強度を押し下げるエントロピーを測定する。これは、白紙に黒字のテキスト、および自然画像のコントラストを、名称「ガンマ調整付きサブピクセルレンダリングのための方法およびシステム」の出願に詳細に説明されるものと同じやり方で増大させる傾向を持つ。その方程式は次の通りである。

上式において、LrおよびLgは、白604サブピクセルのどちらかの片側に配される、それぞれ、赤606サブピクセルおよび緑608サブピクセルにマップされるピクセルの輝度値である。

RGBWシステムでは、一つの可能なメタマーの自由度は、W対RGBである。RGBCのような他の4色システムで、原色が赤、緑、青、およびシアンであるシステムでも、ほぼRC対GBである、一つの可能なメタマー自由度がある。もう一つの4色システムは、RGCMであってもよいが、この場合、原色は、それぞれ、赤、緑、シアン、およびマゼンタであるが、RC対GMである一つの可能なメタマー自由度がある。もう一つの4色システムは、RGBYが考えられ、この場合、原色は、それぞれ、赤、緑、青、および黄であり、一つの可能な自由度は、ほぼRG対Yである。他のメタマーペアおよび自由度も同様に可能である。

本明細書に提示した図面の全てにおいて、このような付加的サブピクセルのレイアウトは、白サブピクセルの全て、またはそのいくつかを、その場合・場合に応じて、シアン、黄、灰、または他のカラーで置き換えることによって得られる。特に、本明細書に論じられる技術は、白サブピクセルの全て、またはそのいくつかを、シアン、黄、灰、または他のカラーの内のいずれかで置き換えた、図２、３、４、５、６、９Ａおよび１０のレイアウトにおいて採用が可能である。さらに、本明細書に論じられる技術は、透過的および非透過的ディスプレイパネル、例えば、液晶ディスプレイ（LCD）、反射性液晶ディスプレイ、放射性電気発光ディスプレイ（EL）、プラズマディスプレイパネル（PDP）、電界発射ディスプレイ（FED）、電気泳動ディスプレイ、イリデッセントディスプレイ（ID）、白熱光ディスプレイ、固体状態発光ダイオード（LED）ディスプレイ、および有機発光ダイオード（OLED）ディスプレイを含む、あらゆるやり方のディスプレイ技術を含む。

RGBCWのような5色カラーシステムで、原色が、それぞれ、赤、緑、青、シアン、および白であるシステムでは、ほぼRC対GB、およびW対RGBCである、二つの、可能なメタマー自由度がある。RGBCYMのような6色カラーシステムで、原色が、赤、緑、青、シアン、黄、およびマゼンタであるシステムは、さらに多くの自由度、例えば、RC対YB対GM、およびRGB対CYMを持つ。ディスプレイにおいて任意に高い数Ｎの原色を想像することが可能であり、その場合、メタマーを選ぶのにＮ−３の自由度が得られる。複数原色システムにおける各自由度は、メタマーフィルター、すなわち、サブピクセルレンダリングシステムを構築し、改良するのに使用される、メタマー事前調整用フィルターか、または直接的メタマーフィルタリング用フィルターのいずれかを設置する好機となる。

図８に、4個のサブピクセル、4種の原色から構成される方形グループ802が示される。この配置では、各原色は、隣接原色と同じ関係をもって6角格子の上に乗る。原色が、各行が、交互の行と、正確にまたはざっと、メタマーペアとなる、一対の原色を持つように選ばれた場合、メタマーフィルターの構築、順次のメタマーフィルター事前調整か直接メタマーフィルタリングタイプのいずれかは、下記のように進行する。

先ず、上に列挙した先行出願に開示される方法を用いて区域リサンプルおよびDOCフィルターを決め、近似のフィルターセットを生成する。一つの実施態様では、それは、下記のようになる。すなわち、

上のDOCフィルターは、簡単な検査によって生成される。前述したように、DOCフィルターは、同じカラーサブピクセルの間で信号強度を伝達するので、自己カラー平面、別のカラー平面、または輝度平面をサンプルすることが可能である。”z”値は、上に説明したように、もっとも明るい原色を基準として、カラーについて調整することが可能である。

図８のレイアウト800をメタマーフィルターとして調べると、各行825および835のカラーは、メタマーが調整されると共に動くことが注目される。したがって、行825および835に沿う移動エネルギーは、隣接行からの移動エネルギーほど大きな値を与えない。したがって、メタマーフィルターは下記に示す通りとなる。すなわち、

このフィルターの結果は、メタマーがRGCM原色において見られたのと同じ係数を持つのであれば、恐らく上のDOGフィルターと組み合わせて、メタマーフィルターとして直接数値を調整するのに用いてよい。あるいは、もしもメタマー係数が、RGBC原色で見られたものと同じでないならば、上記区域リサンプル＋DOGフィルターによってサブピクセルレンダリングが実行される前に、メタマーフィルター事前調整操作にメタマー数値を利用可能とするようにしてもよい。もちろん、間接的、事前調整法は、交互の行825および835毎にフィルターの符号を変える。

図２（白204、赤206、緑208、青210、および５番目カラー212を含む反復グループ202を持つ）、および図１０（白1004、赤1006、緑1008、青1010、および5番目カラー1012を含む反復グループ1002を持つ）を調べると、五つの原色があり、その内の四つは、図８の4原色と同じ6角格子の上に低解像度で乗っていることが注目される。図９Ａ（白904、赤906、緑908、青910、および5番目カラー912を含む反復グループ902を持つ）は、四つの低解像度原色が、行ではなく、列に配置されていることを除き、図２と同様の配置を持つ。図２、９Ａおよび１０のレイアウトはそれぞれ、図8に示したレイアウトについて記載したように、図９Ａのフィルターの回転を考慮しながら、比較的低い解像度を持つ原色に対しても類似のサブピクセルレンダリングおよびメタマーフィルターを用いてもよい。しかしながら、これらのレイアウトでは、別の、比較的解像度の高い原色（例えば、204、904、1004）が存在する。この付加的原色は、黄、白、または灰のような明るい原色であってもよい。

上で行ったように、目視または検査によって飽和カラーサブピクセルの6角配置について、近似のDOG急峻化フィルターを生成することは可能であるが、厳密な区域リサンプルフィルター構築法を続けることは示唆に富む。ピクセルアレイ909の上に重ねられ、マップされた、飽和原色再構成点9122、およびそれらの包含サンプル区域925の一つを示す図９Ｂを調べる。任意の飽和原色再構成点9122Aは、関連リサンプル区域926、および急峻化区域936を持ち、下記のフィルターカーネルを生成する。ただし、係数は256で割られることに注意。

前述したように、5原色ディスプレイシステムは、任意の画像をサブピクセルレベルにおいて最善の再編結果を出すようにメタマーを選択するための余分な自由度を持つ。これらのレイアウトがRGBCWシステムであると仮定すると、少なくとも二つの自由度、すなわち、W対RGBC、およびRC対GBがある。再編の正確度を上げるため同じ画像に両方の自由度を使用することも可能である。単に一例として挙げるのであるが、垂直方向線のパステルカラー、すなわち、白ではないが、かといって事実上まだ不飽和なカラーを、図２または図１０のディスプレイにおいて、濃い灰色の背景に対して再編される場合を仮定する。この場合、所望のメタマーは、W対RGBCメタマーフィルターに反応して、線の上の白平面の強度を最大化し、その両側の強度を下げてもよい。さらに、所望のメタマーは、RC対GBメタマーフィルターに反応して、明るい垂直線が引かれるべき行のメタマーペア、RCまたはGBのいずれかの強度を最大化し、かつ、その行の両側の強度を下げてもよい。

W対RGBCメタマーフィルター事前調整操作も、W対RGVシステムについて前述したものと同様に進めてもよい。

輝度平面をサンプルする。

次に、各ピクセルのRGBCW値を修飾する。

そして、RC対GBメタマーについて輝度平面をサンプルする。

次に、各ピクセルのRGBCW値を修飾する。

上式において、mr、mg、mb、およびmcは、メタマー調整の間所望のカラーを維持するため、各カラー、それぞれ、赤、緑、青、およびシアンの’a’値の作用のスケールを決めるメタマー’m’の勾配係数である。

W原色を変えた前述の一組の式の中で、メタマー勾配項が無いことに注意されたい。W・対・原色を修飾する場合、これも、メタマー計算に関する節で前述したように、適正な仮定を設ければ、メタマー勾配項が全て＋１または−１に単純化される、もう一つの特殊なケースとして扱うことが可能である。

これらの操作は、事実上交換可能である、すなわち、いずれの順序で実行してもよい。メタマーの事前調整後、データをサブピクセル再編してもよい。白サブピクセル平面は、単位フィルター、すなわち、1という単一フィルター係数しか持たない１ｘ１アレイを用いて、完全に1ピクセル対1白サブピクセルマップレイアウトとなるようにサンプルされてもよい。6角格子上の低解像度原色は、区域リサンプルし、先に開示したフィルターを用いてDOGによって急峻化されてもよい。さらに、有色サブピクセルは介在点に移動させられているのであるから、帯域制限画像を再編するには、上で論じたような、適切な内挿再構成フィルターを用いることが有利と考えられる。図２および図９のレイアウトは、単一の水平方向性のCatmul-Rom立方フィルターを用いてもよい。一方、図１０のレイアウトは、Catmul-Rom立方フィルターを、従来技術から理解されるように、軸分離性操作として、または軸関連性操作としてカラーデータ平面に対して用い、そうすることによって、サブピクセルレンダリングの前に再構築画像の位相をずらしてもよい。

図７を調べると、図示のレイアウト700は、六つの原色RGBCMY、それぞれ、ほぼ、赤706、緑708、青710、シアン707、マゼンタ709、および黄711から成る6サブピクセル反復セル701から構成される。この原色の集合は、前述のようにいくつかの自由度を呈する、すなわち、RC対BY、およびRGV対CMYである。この例では、白に対する二色メタマーを形成する、3組の、二つのカラーペアが行に配置される。すなわち、赤706とシアン707が第1行726に、緑708とマゼンタ709が第2行728に、かつ、青710と黄711が第3行730に配置される。2組の、白に対する三色メタマーが行に配置される。すなわち、赤706、緑708、および青710が第1列725に、シアン707、マゼンタ709、および黄711が第2列735に配置される。これらの行および列は、所望の回数だけディスプレイ全体に渡って繰り返され、従来技術で知られる通りの、任意の所望の解像度パネルを完成させる。さらにもう一つの特徴は、サブピクセルのサイズが、白に対する二つの3色ペアが、ほぼ同じ輝度を持つように調整されることである。この例では、赤706、緑708、および青710は、シアン707、マゼンタ709、および黄711の2倍の高さを持つ。これは、バックライト液晶ディスプレイ、反射性液晶ディスプレイ、および、ろ過白色発光有機発光ダイオードディスプレイ（OLED）に見られるように、広いスペクトラムの光放射器または光反射器の上にフィルターとして構築された場合、前者のカラーは、半分の輝度しか持たないからである。他のディスプレイ技術は、他の比率を呈するので、必要に応じて適宜調節してよい。この特徴によって、各列725および735は、等しい輝度を持つ白水平線に再編されることが可能となる。さらに、行726、728、および730の2色メタマーペアも、等輝度を呈し、前記各行が、等しい輝度を持つ白水平線に再編されることを可能とすることに注意すべきである。

レイアウト700のための1ピクセル・対・1サブピクセル再編フィルターは、下記のように構築される。すなわち、

自己カラー平面の区域リサンプリングは：

輝度(L)平面をサンプルする、RGB対CMYメタマー事前調整フィルターは下記のように構築される。すなわち、

次に、各ピクセルのRGBCMY値を修飾する。

輝度(L)平面をサンプルする、RC対GM対BYメタマー事前調整フィルターは下記のように構築される。すなわち、

次に、RC行726にマップされる各ピクセルのRGBCMY値を修飾する。

次に、GM行728にマップされる各ピクセルのRGBCMY値を修飾する。

次に、BY行728にマップされる各ピクセルのRGBCMY値を修飾する。

前と同様、’x’の値は、必要に応じて調整してよい。メタマーを創設するのに、勾配値が必要とされないことに注意すべきである。これは、サブピクセル707、709、711が、白のための二つの3色ペアがほぼ同じ輝度を持つように調整されるという新たに加わった特徴のためである。もちろん、これらのサブピクセルが、等しいサイズおよび／または形状を持つ場合は、本明細書に記載される原理と技術に従って、適切な勾配を創設することが可能である。

図示のディスプレイシステムおよび技術が使用されるある用途では、別の成分またはシステムによってガマットマッピング機能が既に実行されていたり、あるいは、複数原色画像が、複数スペクトラムカメラ、すなわち、ヒトの視覚系のスペクトラム波長範囲の中に納まる、場合によっては、はみ出す4個以上のスペクトラムバンドとして画像を捕捉するカメラから直接捕捉される場合がある。例えば、RGBC複数原色ディスプレイは、RGBCカメラに捕捉された画像を再構築してもよい。このような場合、サブピクセルレンダリングおよびメタマーフィルターによって使用されるように、輝度”L”値を計算すると好都合である。なぜなら、この値は、入力画像によって直接補給されないからである。ディスプレイの場合、輝度を計算する式は、ディスプレイの仕様、測定値、または、そのディスプレイのM2X行列式から導くことが可能である。複数スペクトラムカメラの場合、数式は、仕様、または、既知のスペクトラムランプのテストパターンの撮影写真における測定値から導くことが可能である。カメラが、同じシステム内の複数原色ディスプレイとほぼ同じ数の原色を持つ場合は、ディスプレイおよびカメラの原色および相対的輝度は同じであるという単純化仮定を設けることが有利と考えられる。こうすることによって、数学、それから導かれるソフトウェアまたはハードウェア設計が単純化され、したがって、全体システムの総合的複雑性およびコストが低減される。

ディスプレイシステムおよび画像処理法が、例示の実施態様を参照しながら説明されてきたわけであるが、当業者であれば、添付の特許請求の範囲から逸脱することなく、本発明の要素に対し、各種変更を施すこと、および、等価物で置換することが可能であることが理解されよう。さらに、本発明の本質的範囲から逸脱することなく、本発明の教示に対し、特定の状況または材料に適応するよう多くの修飾を施すことが可能である。したがって、本発明は、本発明を実施するのに最高の方式と考えられて開示された特定の実施態様には限定されないこと、本発明は、添付の特許請求の範囲に納まる全ての実施態様を含むことが意図されている。

図1Aは、本発明の原理に従って作製されたハイレベルシステムの一実施形態の模式図である。 図1Bは、本発明の原理に従って作製されたハイレベルシステムの別の実施形態の模式図である。 図2は、5種の原色サブピクセルで、その内4種は、低解像度6角格子の中に納まるサブピクセル配置を持つディスプレイの区画を示す。 図3は、それぞれ幅のほぼ2倍の高さを持つ4個の原色を含む、8サブピクセル反復グループを示す。 図4は、「1ピクセル・対・2サブピクセル」マッピングを持つ、図3の反復セルグループから成るディスプレイの一区画を示す。 図5Aから5Fは、「1ピクセル・対・白サブピクセル」および「1ピクセル・対・赤-緑-青-サブピクセル」マッピングを持つ、図3の反復セルグループから成るディスプレイの一区画を示す。 図6は、4原色を含む、6サブピクセル反復セルグループから成るディスプレイの一区画を示す。 図7は、6原色を含む、6サブピクセル反復セルグループから成るディスプレイの一区画を示す。 図8は、サブピクセルが事実上正方形である、4原色を含む8サブピクセル反復セルから構成されるディスプレイの一区画を示す。 図9Aは、5原色で、その内の四つは、低解像度6角格子に納まる5原色を含むサブピクセル配置を持つディスプレイの一区画を示す。図9Bは、ピクセルのアレイ、およびそれらの包含サンプル区域に重ねられ、マップされる、飽和原色再構成点の一つを示す。 図10は、5原色で、その内の四つは、低解像度6角格子に納まる5原色を含むサブピクセル配置を持つディスプレイの一区画を示す。 図11は、第1組（第１セット）のピクセルに対するメタマーフィルタリングの一実施態様の作用を示す。 図12は、第2組（第２セット）のピクセルに対するメタマーフィルタリングの一実施態様の作用を示す。 図13は、メタマーフィルタリングの高レベルフローチャートを示す。 図14は、本願で論じられる技術を例示する一実施態様のフローチャートを示す。 図15は、ガウス分布差（DOG）急峻フィルタリングを付け加えた、図14の実施態様を示す。 図16は、本願で論じられる技術を描く第2実施態様のフローチャートを示す。 図17は、DOG急峻フィルタリングを付け加えた、図16の実施態様を示す。

Claims (25)

1. 少なくとも一つのメタマーを含んだ、第1のセットのサブピクセル及び第2のセットのサブピクセルを少なくとも含んでなるディスプレイ、
   インプット画像データユニット、
   前記インプット画像データユニットのインプット画像データから空間周波数特性を抽出する空間周波数検出ユニット、並びに、
   前記第1セット及び第2セットのサブピクセルの画像データを前記空間周波数特性に従って調整する調整ユニット
   を備えたディスプレイシステム。
2. 前記ディスプレイは、そのディスプレイにおいて再編されるメタマーを生成することが可能である第１のセットのサブピクセル及び第2のセットのサブピクセルを少なくとも含んでなるディスプレイを含むことを特徴とする請求項１に記載のディスプレイシステム。
3. 前記空間周波数検出ユニットが、フィルター、適応フィルター、エッジ検出器、フラットフィールド検出器、ぼかしフィルター及び変換検出器からなるグループのうちの一つを備えていることを特徴とする請求項１に記載のディスプレイシステム。
4. 前記空間周波数特性が、高い空間周波数の輝度値を含むことを特徴とする請求項１に記載のディスプレイシステム。
5. 前記調整ユニットが、メタマー勾配調整を含むことを特徴とする請求項１に記載のディスプレイシステム。
6. ディスプレイを備えたディスプレイシステムであり、当該ディスプレイが、第1のセットのカラーサブピクセル及び第2のセットのカラーサブピクセルを少なくとも含んでなる少なくとも一つのメタマーを備えたサブピクセル反復グループを含んでなるところのディスプレイシステムにおいて、前記ディスプレイにおける再編のために画像データを調整する方法であって、
   前記ディスプレイシステムに画像データを入力する工程と、
   前記画像データから輝度データを抽出する工程と、
   前記輝度データに基づく関係に従って、前記第1セットのサブピクセルと前記第2セットのサブピクセルの間で強度値を調整する工程と、
   前記調整された画像データを前記ディスプレイに出力する工程と、
   を備えてなる方法。
7. 前記輝度データを抽出する工程が、入力された画像データから前記輝度データを直接的に計算することを含む請求項６に記載の方法。
8. 前記輝度データを抽出する工程が、高い輝度を持つカラーサブピクセルからの輝度データに近似処理を施すことを含む請求項６に記載の方法。
9. 前記第1セットのサブピクセルと前記第2セットのサブピクセルの間で強度値を調整する工程が、前記輝度データに対し、前記輝度データにおける空間周波数データを計算することが可能なフィルターを適用することを含む請求項６に記載の方法。
10. 前記第1セットのサブピクセルと前記第2セットのサブピクセルの間で強度値を調整する工程が、前記輝度データにおける前記空間周波数データから、前記第1セット及び第２セットのサブピクセル間で画像データを調整するために使用される調整値を計算することを更に含む請求項９に記載の方法。
11. 前記調整値が、高い空間周波数情報の領域を急峻化又はシャープ化するための急峻値である、請求項１０に記載の方法。
12. 前記調整値が、画像データを滑らかにする又はスムーズ化するための緩和値である、請求項１０に記載の方法。
13. 前記第1セットのサブピクセルと前記第2セットのサブピクセルの間で強度値を調整する工程が、グレイスケールの性能を改善するためにランダムノイズを導入することを含む請求項６に記載の方法。
14. 前記第1セットのサブピクセルと前記第2セットのサブピクセルの間で強度値を調整する工程が、量子化エラーを低減するためにランダムノイズを導入することを含む請求項６に記載の方法。
15. ディスプレイを備えたディスプレイシステムであり、当該ディスプレイが、第1のセットのカラーサブピクセル及び第2のセットのカラーサブピクセルを少なくとも含んでなる少なくとも一つのメタマーを備えたサブピクセル反復グループを含んでなるところのディスプレイシステムにおいて、画像アーチファクトを最小にするように、前記第1セットのサブピクセルと前記第2セットのサブピクセルの間で強度値を調整する方法であって、
    前記第1セットのサブピクセルと前記第2セットのサブピクセルの間で強度値を変える振る舞いをモデル化する工程と、
    前記モデルを含む強度調整値を前記ディスプレイシステムに保存する工程と、
    前記第1セットのサブピクセル及び前記第2セットのサブピクセルを調整するために前記強度調整値を用いる工程と
    を備えてなる方法。
16. 前記強度値を変える振る舞いをモデル化する工程が、前記第1セット及び第2セットのサブピクセルを含む原色の色度及び輝度の関係からメタマー勾配値を決定する工程を含む請求項１５に記載の方法。
17. 前記強度調整値を用いる工程が、前記第1セットのサブピクセル中の少なくとも一つのサブピクセルの強度の変化量を前記メタマー勾配値に掛け合わせることを含む請求項１６に記載の方法。
18. 前記メタマー勾配値を決定する工程が、少なくとも一つのサブピクセルのメタマー勾配値を、残余の勾配値の方形行列式計算を用いるのに適した値に設定することを含む請求項１６に記載の方法。
19. 前記ディスプレイがRGBWディスプレイであり、前記メタマー勾配値がそれぞれ、Wサブピクセルに対しては1であり、Ｒ，Ｇ，およびＢサブピクセルに対しては−１であることを特徴とする請求項１５に記載の方法。
20. 前記ディスプレイがRGBWディスプレイであり、前記メタマー勾配値がそれぞれ、Wサブピクセルに対しては1であり、Ｒ，Ｇ，およびＢサブピクセルに対しては−０．５であることを特徴とする請求項１５に記載の方法。
21. 第1のセットのカラーサブピクセル及び第2のセットのカラーサブピクセルを少なくとも含んでなる少なくとも一つのメタマーを備えたサブピクセル反復グループを含んでなるディスプレイ、
    入力された画像データから輝度値を計算するための任意的な輝度計算ユニット、
    前記輝度値同士の関係に基づいて調整値を生成するための複数のメタマーフィルター、並びに、
    前記調整値に従って、前記第1セット及び第2セットのサブピクセルの強度を調整するためのメタマー調整ユニット
    を備えたディスプレイシステム。
22. 前記画像データがメタマー調整された後に、画像データをサブピクセル再編するためのサブピクセルレンダリングユニットを更に備えてなる請求項２１に記載のディスプレイシステム。
23. 前記画像データがメタマー調整されるのと同時に、画像データをサブピクセル再編するためのサブピクセルレンダリングユニットを更に備えてなる請求項２１に記載のディスプレイシステム。
24. 前記サブピクセルレンダリングユニットが、前記画像データについて区域リサンプリングを実行することを特徴とする請求項２２又は２３に記載のディスプレイシステム。
25. ガウス分布差フィルターユニットを更に備えてなる請求項２３又は２４に記載のディスプレイシステム。

Images