JP2019049706A - 焼き付き統計値及び焼き付き補償 - Google Patents

焼き付き統計値及び焼き付き補償 Download PDF

Info

Publication number
JP2019049706A
JP2019049706A JP2018162477A JP2018162477A JP2019049706A JP 2019049706 A JP2019049706 A JP 2019049706A JP 2018162477 A JP2018162477 A JP 2018162477A JP 2018162477 A JP2018162477 A JP 2018162477A JP 2019049706 A JP2019049706 A JP 2019049706A
Authority
JP
Japan
Prior art keywords
burn
image data
electronic display
sub
compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018162477A
Other languages
English (en)
Inventor
ビー チャパリ マヘシュ
B Chappalli Mahesh
ビー チャパリ マヘシュ
ピー タン クリストファー
P Tann Christopher
ピー タン クリストファー
エフ ホランド ピーター
F Holland Peter
エフ ホランド ピーター
コーテ ガイ
Cote Guy
コーテ ガイ
ラコウスキー ステファン
Lachowski Stephan
ラコウスキー ステファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2019049706A publication Critical patent/JP2019049706A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005Adapting incoming signals to the display format of the display terminal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/04Structural and physical details of display devices
    • G09G2300/0421Structural details of the set of electrodes
    • G09G2300/043Compensation electrodes or other additional electrodes in matrix displays related to distortions or compensation signals, e.g. for modifying TFT threshold voltage in column driver
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/04Maintaining the quality of display appearance
    • G09G2320/043Preventing or counteracting the effects of ageing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/04Maintaining the quality of display appearance
    • G09G2320/043Preventing or counteracting the effects of ageing
    • G09G2320/046Dealing with screen burn-in prevention or compensation of the effects thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/04Maintaining the quality of display appearance
    • G09G2320/043Preventing or counteracting the effects of ageing
    • G09G2320/048Preventing or counteracting the effects of ageing using evaluation of the usage time
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/10Dealing with defective pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Electroluminescent Light Sources (AREA)
  • Testing Of Individual Semiconductor Devices (AREA)
  • Measurement Of Current Or Voltage (AREA)

Abstract

【課題】電子ディスプレイ上の焼き付き及び/又は経時変化アーチファクトを識別及び補償ための画像データ処理方法を提供する。【解決手段】電子ディスプレイパイプラインは、電子ディスプレイ上に表示するために画像データを処理でき、電子ディスプレイパイプラインは、焼き付き補償統計値収集回路92と焼き付き補償回路90とを含み得て、焼き付き補償統計値収集回路92は、画像データに少なくとも部分的に基づいて画像統計値を収集でき、統計値は、電子ディスプレイのサブ画素の不均一な経時変化の起こり得る量を推定でき、焼き付き補償回路90は、電子ディスプレイの対応するサブ画素の不均一な経時変化を考慮するために、画像データのサブ画素にゲインを適用でき、適用されるゲインは、焼き付き補償統計値収集回路92によって収集された画像統計値に少なくとも部分的に基づき得る構成とする。【選択図】図8

Description

(関連出願の相互参照)
本出願は、2017年9月8日に出願された「Burn−In Statistics and Burn−In Compensation」と題する、米国特許仮出願第62/556160号の優先権及び利益を主張するものであり、本仮出願の内容は、その全体が参照により組み込まれる。
本開示は、電子ディスプレイ上の焼き付きを識別及び補償するための画像データ処理に関する。
この節では、後述し及び/又は請求される本技法の様々な態様に関連し得る様々な技術態様を読者に紹介する。本論考は、本開示の様々な態様の、より良好な理解を容易にするための背景技術を閲覧者に提供する際に、助けとなるものと考えられる。したがって、これらの記述は、上述の観点から読まれるべきであり、先行技術の承認として読まれるべきではないことを、理解するべきである。
テレビ、携帯電話、コンピュータ、ウェアラブルデバイス、車両のダッシュボード、バーチャルリアリティグラスなどを含む多数の電子デバイスが、電子ディスプレイ上に画像を表示する。電子ディスプレイは、その解像度及びダイナミックレンジがますます増大するにつれて、画素の焼き付きに起因する画像表示アーチファクトの影響をますます受けやすくなり得る。焼き付きとは、異なる画素によって経時的に放出される光の量が異なることにより、画素が経時的に劣化する現象である。ある画素が他の画素よりも多く使用される場合には、これらの画素は、より早く経時変化し、したがって、同じ量の駆動電流値又は電圧値が与えられた場合に、放出する光が徐々に少なくなり得る。これは、電子ディスプレイ上に望ましくない焼き付き画像アーチファクトを生じる場合がある。
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、これらの態様が、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。
本開示は、電子ディスプレイ上の焼き付き及び/又は経時変化アーチファクトを識別及び補償することに関する。焼き付きとは、異なる画素によって経時的に放出され得る光の量が異なることにより、画素が経時的に劣化する現象である。そのため、焼き付きは、不均一なサブ画素の経時変化によって生じると理解することができる。つまり、ある画素が他の画素よりも頻繁に使用される場合、又は、高温など、過度な経時変化が生じやすい状況でこれらの画素が使用される場合には、これらの画素は、他の画素よりも多く経時変化する場合がある。その結果、これらの画素は、同一の駆動電流値又は電圧値が与えられた場合、放出する光が徐々に少なくなり、同じ輝度レベルの信号が与えられた場合に、他の画素よりも効果的に暗くなる場合がある。このサブ画素の経時変化効果が、電子ディスプレイ上で望ましくない画像アーチファクトを引き起こすことを防止するために、専用の回路及び/又はソフトウェアが、異なる画素で発生した可能性のある焼き付きの量を監視及び/又はモデリングすることができる。発生したと判定された、監視及び/又はモデル化された焼き付きの量に基づいて、電子ディスプレイに送られる前に画像データを調整して、電子ディスプレイ上に焼き付きアーチファクトが出現するのを低減又は除去することができる。
一実施例では、専用の回路及び/又はソフトウェアは、電子ディスプレイに送られる画像データの結果として、電子ディスプレイにおいて発生する可能性のある焼き付き効果を監視又はモデリングすることができる。追加的に又は代替的に、専用の回路及び/又はソフトウェアは、電子ディスプレイが動作している際の電子ディスプレイの異なる部分の温度の結果として、電子ディスプレイに発生する可能性のある焼き付き効果を監視及び/又はモデリングすることができる。実際、一部の場合では、専用の回路及び/又はソフトウェアは、電子ディスプレイに送られる画像データの効果と、電子ディスプレイが画像データを表示する際の電子ディスプレイの温度との組み合わせの結果として、電子ディスプレイにおいて発生する可能性のある焼き付き効果を監視及び/又はモデリングすることができる。実際、電子ディスプレイのいずれかの画素によって経験される焼き付きの量が、画素の温度と画素が放出する光の量とによって影響を受ける可能性があることが考えられる。例えば、画素は、高温でより大量の光を放出することにより、より迅速に経時変化し、低温でより少量の光を放出することにより、よりゆっくりと経時変化し得る。
電子ディスプレイにおいて起こり得る焼き付きの量を監視及び/又はモデリングすることによって、焼き付き効果を補償するための焼き付きゲインマップを得ることができる。すなわち、焼き付きゲインマップは、(本来、より暗い)経時変化の量が最大である画素に送られる画像データをゲインダウンすることなく、(本来、より明るい)経時変化のより少ない画素に送られる画像データをゲインダウンすることができる。このようにして、被った経時変化の量が最大である電子ディスプレイの画素は、被った経時変化の量が最小である画素と同等の明るさとなる。これにより、電子ディスプレイ上の焼き付きアーチファクトを低減又は除去することができる。
本開示の様々な態様に関連して、上述の特徴部の様々な改良が存在し得る。更なる特徴部もまた、これらの様々な態様に、同様に組み込むことができる。これらの改良及び追加的特徴部は、個別に、又は任意の組み合わせで存在し得る。例えば、例示される実施形態のうちの1つ以上に関連して以下で論じられる様々な特徴部は、本開示の上述の態様のうちのいずれにも、単独で、又は任意の組み合わせで、組み込むことができる。前述の概要は、請求内容を限定することなく読者に本開示の実施形態のある態様及び文脈を理解させるためだけのものである。
以下の「発明を実施するための形態」を読了し、かつ以下の図面を参照することにより、本開示の様々な態様を、より良好に理解することができる。
一実施形態に係る、電子ディスプレイを含む電子デバイスのブロック図である。 一実施形態に係る、図1の電子デバイスの一実施例である。 一実施形態に係る、図1の電子デバイスの別の実施例である。 一実施形態に係る、図1の電子デバイスの別の実施例である。 一実施形態に係る、図1の電子デバイスの別の実施例である。 一実施形態に係る、焼き付き補償(BIC;burn-in compensation)及び焼き付きの統計値(BIS;burn-in statistics)収集回路を有するディスプレイパイプラインを含む、図1の電子デバイスの一部分のブロック図である。 一実施形態に係る、図6のディスプレイパイプラインを動作させるためのプロセスの流れ図である。 一実施形態に係る、図6のディスプレイパイプラインを用いる焼き付き補償(BIC)及び焼き付き統計値(BIS)収集を説明するブロック図である。 一実施形態に係る、収集された焼き付き統計値(BIS)から得られたゲインマップを用いる焼き付き補償(BIC)を示すブロック図である。 一実施形態に係る、収集された焼き付き統計値(BIS)から得られた例示的なゲインマップを表すルックアップテーブル(LUT;lookup table)と、両方の次元で2倍空間補間を実行する仕方と、の概略図である。 一実施形態に係る、両方の次元で4倍空間補間を実行する仕方を示す図である。 一実施形態に係る、一方の次元で2倍空間補間を実行し、かつ他方の次元で4倍空間補間を実行する仕方を示す図である。 一実施形態に係る、2つの入力画素ゲイン対を2つの出力画素ゲイン対にアップサンプリングする仕方を示す図である。 一実施形態に係る、ルミナンス経時変化及び温度適合を考慮した焼き付き統計値(BIS)収集を示すブロック図である。 一実施形態に係る、例示的な温度マップと、温度値を取得するためにバイリニア補間を実行する仕方と、の概略図である。 一実施形態に係る、2つの入力焼き付き統計値(BIS)履歴画素対を2つの出力焼き付き統計値(BIS)履歴画素対にダウンサンプリングする仕方を示す図である。
本開示の1つ以上のある特定の実施形態を以下に述べる。これらの述べる実施形態は、本明細書で開示されている技術の実施例に過ぎない。更に、これらの実施形態の簡潔な説明を提供するために、本明細書に実際の実装形態のすべての特徴が示されるとは限らない。いずれの工学プロジェクト又は設計プロジェクトの場合とも同様に、いずれのそのような実際的な実装形態の開発に際しても、実装懈怠毎に変動し得る、システム関連及びビジネス関連の制約の準拠などの、開発者の具体的な目的を達成するために、実装形態に固有の多数の決定を行わなければならないことを理解するべきである。更に、開発努力は複雑で時間がかかる可能性があるが、それでも、本開示の利益を有する当業者には、設計、製作、及び製造の通常業務であり得ることを理解されたい。
本開示の様々な実施形態の要素を紹介するときに、冠詞「a」、「an」、及び「the」は、1つ以上の要素があることを意味する。用語「を備える(comprising)」、「を含む(including)」、及び「を有する(having)」は、包括的であることを意図し、列挙した要素以外の付加的な要素がある可能性があることを意味する。更に、本開示の「一実施形態」又は「実施形態」の参照は、列挙した特徴を組み込む追加の実施形態の存在を除外するように解釈されることを意図したものではないことを理解されたい。また、B「に基づく」Aというフレーズは、Aが少なくとも部分的にBに基づくことを意味するように意図されている。また、「又は」という用語は、包括的であること(例えば、論理OR)が意図され、排他的であること(例えば、論理XOR)は意図されていない。換言すれば、A「又は」Bというフレーズは、A、B、又はAとBの両方を意味するように意図されている。
電子ディスプレイにおいて起こり得る焼き付きの量を監視及び/又はモデリングすることによって、焼き付き効果を補償するために焼き付きゲインマップを得ることができる。焼き付きゲインマップは、(本来、より暗い)経時変化の量が最大である画素に送られる画像データをゲインダウンすることなく、(本来、より明るい)経時変化のより少ない画素に送られる画像データをゲインダウンすることができる。このようにして、被った経時変化の量が最大である電子ディスプレイの画素は、被った経時変化の量が最小である画素と同等の明るさとなる。これにより、電子ディスプレイ上の焼き付きアーチファクトを低減又は除去することができる。
説明を助けるために、電子ディスプレイ12を利用する電子デバイス10の一実施形態を図1に示す。以下により詳細に記載するように、電子デバイス10は、ハンドヘルド型電子デバイス、タブレット電子デバイス、ノートブックコンピュータなどの任意の好適な電子デバイスであってもよい。よって、図1は特定の実装形態の一実施例に過ぎず、電子デバイス10内に存在し得るコンポーネントの種類を示すものであることに留意されたい。
図示の実施形態では、電子デバイス10は、電子ディスプレイ12と、入力デバイス14と、入出力(I/O)ポート16と、1つ以上のプロセッサ又はプロセッサコアを有するプロセッサコア複合体18と、ローカルメモリ20と、メインメモリ記憶装置22と、ネットワークインタフェース24と、電源26と、画像処理回路27と、を備える。図1に記載された様々なコンポーネントは、ハードウェア要素(例えば、回路)、ソフトウェア要素(例えば、命令を格納する有形の非一時的コンピュータ可読媒体)、又はハードウェア要素とソフトウェア要素の両方の組み合わせを含んでもよい。様々な図示されたコンポーネントは、より数の少ないコンポーネントに組み合わされてもよく、あるいは追加のコンポーネントに分けられてもよいことに留意されたい。例えば、ローカルメモリ20とメインメモリ記憶装置22とは、単一のコンポーネントに含まれてもよい。更に、画像処理回路27(例えば、グラフィック処理ユニット)は、プロセッサコア複合体18に含まれてもよい。
図示のように、プロセッサコア複合体18は、ローカルメモリ20及びメインメモリ記憶装置22と動作可能に結合される。一部の実施形態では、ローカルメモリ20及び/又はメインメモリ記憶装置22は、プロセッサコア複合体18によって実行可能な命令及び/又はプロセッサコア複合体18によって処理されるデータを格納する有形の非一時的コンピュータ可読媒体を含むことができる。例えば、ローカルメモリ20は、ランダムアクセスメモリ(RAM;random access memory)を含んでもよく、メインメモリ記憶装置22は、読み出し専用メモリ(ROM;read only memory)、フラッシュメモリなどの書き換え可能不揮発性メモリ、ハードドライブ、光学ディスクなどを含んでもよい。
一部の実施形態では、プロセッサコア複合体18は、ローカルメモリ20及び/又はメインメモリ記憶装置22に格納された命令を実行して、ソース画像データを生成するなどの動作を実行することができる。このように、プロセッサコア複合体18は、1つ以上の汎用マイクロプロセッサ、1つ以上の特定用途向けプロセッサ(ASIC;application specific processor)、1つ以上のフィールドプログラマブルロジックアレイ(FPGA;field programmable logic array)、又はそれらの任意の組み合わせを含むことができる。
図示のように、プロセッサコア複合体18はまた、ネットワークインタフェース24と動作可能に結合される。ネットワークインタフェース24を使用して、電子デバイス10は、ネットワーク及び/又は他の電子デバイスに通信可能に結合され得る。例えば、ネットワークインタフェース24は、Bluetooth(登録商標)ネットワークなどのパーソナルエリアネットワーク(PAN;personal area network)、802.11x Wi−Fi(登録商標)ネットワークなどのローカルエリアネットワーク(LAN;local area network)、及び/又は4G若しくはLTE(登録商標)セルラーネットワークなどの広域ネットワーク(WAN;wide area network)に電子デバイス10を接続してもよい。このようにして、ネットワークインタフェース24は、電子デバイス10が画像データを、ネットワークに送信、及び/又はネットワークから受信できるようにし得る。
更に、図示のように、プロセッサコア複合体18は、電源26に動作可能に結合される。一部の実施形態では、電源26は、プロセッサコア複合体18及び/又は電子デバイス10における他のコンポーネントを動作させるために、電力を供給し得る。よって、電源26は、充電式リチウムポリマー(Li−poly;lithium polymer)バッテリ及び/又は交流(AC;alternating current)電力変換器などの任意の好適なエネルギー源を含んでもよい。
更に、図示のように、プロセッサコア複合体18は、I/Oポート16及び入力デバイス14と動作可能に結合される。一部の実施形態では、I/Oポート16は、電子デバイス10が他の様々な電子デバイスとインタフェースをとることができるようにし得る。更に、一部の実施形態では、入力デバイス14は、ユーザが電子デバイス10と対話できるようにし得る。例えば、入力デバイス14としては、ボタン、キーボード、マウス、トラックパッドなどを挙げることができる。追加的に又は代替的に、電子ディスプレイ12は、自身の画面(例えば、電子ディスプレイ12の表面)に接触する物体の存在及び/又は位置を検出することによって、電子デバイス10へのユーザ入力を可能にする、タッチ感知コンポーネントを備えることができる。
ユーザ入力を可能にすることに加えて、電子ディスプレイ12は、1つ以上の画像(例えば、画像フレーム又は写真)を表示することによって、情報の視覚的表現を提示することを容易にし得る。例えば、電子ディスプレイ12は、オペレーティングシステムのグラフィカルユーザインタフェース(GUI;graphical user interface)、アプリケーションインタフェース、文字、静止画、又は動画コンテンツを表示してもよい。画像の表示を容易にするために、電子ディスプレイ12は、1つ以上の表示画素を有するディスプレイパネルを含むことができる。更に、各表示画素は、1つ以上のサブ画素を含むことができ、各サブ画素はそれぞれ、1つの色成分(例えば、赤色、青色又は緑色)のルミナンスを制御する。
上述のように、電子ディスプレイ12は、対応する画像データ(例えば、画像画素の画像データ及び/又は表示画素の画像データ)に少なくとも部分的に基づいて、サブ画素のルミナンスを制御することによって画像を表示してもよい。一部の実施形態では、画像データは、例えば、ネットワークインタフェース24及び/又はI/Oポート16を介して、別の電子デバイスから受信されてもよい。追加的に又は代替的に、画像データは、プロセッサコア複合体18及び/又は画像処理回路27によって生成されてもよい。
上述のように、電子デバイス10は任意の好適な電子デバイスであってもよい。説明を助けるために、好適な電子デバイス10の一実施例、具体的には、ハンドヘルド型デバイス10Aを図2に示す。一部の実施形態では、ハンドヘルド型デバイス10Aは、携帯電話、メディアプレーヤ、携帯型情報端末、ハンドヘルド型ゲームプラットフォームなどであってもよい。例えば、ハンドヘルド型デバイス10Aは、Apple Inc.から入手可能な任意のiPhone(登録商標)モデルなどのスマートフォンであってもよい。
図示のように、ハンドヘルド型デバイス10Aは、エンクロージャ28(例えば、筐体)を含む。一部の実施形態では、エンクロージャ28は、物理的損傷から内部コンポーネントを保護してもよい、及び/又は電磁干渉から内部コンポーネントを遮蔽してもよい。更に、図示のように、エンクロージャ28は、電子ディスプレイ12を囲む。図示の実施形態では、電子ディスプレイ12は、アイコン32のアレイを有するグラフィカルユーザインタフェース(GUI)30を表示している。例として、アイコン32が電子ディスプレイ12の入力デバイス14又はタッチ感知コンポーネントのいずれかによって選択されると、アプリケーションプログラムが起動し得る。
更に、図示のように、入力デバイス14は、エンクロージャ28を通って開いている。上述のように、入力デバイス14は、ユーザが、ハンドヘルド型デバイス10Aと対話できるようにし得る。例えば、入力デバイス14は、ユーザが、ハンドヘルド型デバイス10Aをアクティブ化若しくは非アクティブ化する、ユーザインタフェースをホーム画面にナビゲートする、ユーザインタフェースをユーザ構成変更可能なアプリケーション画面にナビゲートする、音声認識特徴部をアクティブ化する、音量コントロールを行う、及び/又は振動モードと鳴動モードとをトグルすることができるようにし得る。図示のように、I/Oポート16はまた、エンクロージャ28を通して開いている。一部の実施形態では、I/Oポート16は、例えば、外部デバイスに接続するためのオーディオジャックを含んでもよい。
更なる説明のために、好適な電子デバイス10の別の実施例、具体的にはタブレットデバイス10Bを図3に示す。例示を目的として、タブレットデバイス10Bは、Apple Incから入手可能な任意のiPad(登録商標)モデルであってもよい。好適な電子デバイス10の更なる実施例、具体的にはコンピュータ10Cを図4に示す。例示を目的として、コンピュータ10Cは、Apple Incから入手可能な任意のMacbook(登録商標)モデル又はiMac(登録商標)モデルであってもよい。好適な電子デバイス10の別の実施例、具体的には携帯時計10Dを図5に示す。例示を目的として、携帯時計10Dは、Apple Incから入手可能な任意のApple Watch(登録商標)モデルであってもよい。また、図示のように、タブレットデバイス10B、コンピュータ10C、及び携帯時計10Dはそれぞれ、電子ディスプレイ12と、入力デバイス14と、I/Oポート16と、エンクロージャ28と、を含む。
上述のように、電子ディスプレイ12は、例えばプロセッサコア複合体18及び/又は画像処理回路27から受信された画像データに少なくとも部分的に基づいて画像を表示してもよい。更に、上述のように、画像データは、電子ディスプレイ12上に対応する画像を表示するために使用される前に処理されてもよい。一部の実施形態では、ディスプレイパイプラインは、例えば、焼き付き及び/又は経時変化アーチファクトを識別及び/又は補償するために、画像データを処理することができる。
説明を助けるために、ディスプレイパイプライン36を含む電子デバイス10の一部分34を図6に示す。一部の実施形態では、ディスプレイパイプライン36は、電子デバイス10内の回路、電子ディスプレイ12内の回路、又はそれらの組み合わせによって実装され得る。例えば、ディスプレイパイプライン36は、プロセッサコア複合体18、画像処理回路27、電子ディスプレイ12のタイミングコントローラ(TCON;timing controller)、又はこれらの任意の組み合わせに含まれてもよい。
図示のように、電子デバイス10の一部分34はまた、画像データソース38と、ディスプレイパネル40と、コントローラ42と、を含む。一部の実施形態では、コントローラ42は、ディスプレイパイプライン36、画像データソース38、及び/又はディスプレイパネル40の動作を制御してもよい。コントローラ42は、制御動作を容易にするために、コントローラプロセサ50とコントローラメモリ52と、を含むことができる。一部の実施形態では、コントローラプロセッサ50は、コントローラメモリ52内に格納された命令を実行することができる。よって、一部の実施形態では、コントローラプロセッサ50は、プロセッサコア複合体18、画像処理回路27、電子ディスプレイ12のタイミングコントローラ、別個の処理モジュール、又はこれらの任意の組み合わせに含まれてもよい。更に、一部の実施形態では、コントローラメモリ52は、ローカルメモリ20、メインメモリ記憶装置22、別個の有形の非一時的コンピュータ可読媒体、又はこれらの任意の組み合わせに含まれてもよい。
図示の実施形態では、ディスプレイパイプライン36は、画像データソース38に通信可能に結合される。このようにして、ディスプレイパイプライン36は、電子ディスプレイ12に表示される画像に対応するソース画像データ54を画像データソース38から受信できる。上述のように、ソース画像データ54は、8ビット固定小数点αRGBフォーマット、10ビット固定小数点αRGBフォーマット、符号付き16ビット浮動小数点αRGBフォーマット、8ビット固定小数点YCbCrフォーマット、10ビット固定小数点YCbCrフォーマット、12ビット固定小数点YCbCrフォーマットなどの、任意の好適なソースフォーマットを用いて、画像の一部分(例えば、画像画素)のターゲット特性を示してもよい。一部の実施形態では、画像データソース38は、プロセッサコア複合体18、画像処理回路27、又はそれらの組み合わせに含まれてもよい。
上述のように、ディスプレイパイプライン36は、画像データソース38から受信したソース画像データ54を処理するように動作できる。議論を簡単にするために、ディスプレイパイプライン36によって実行される機能(例えば、動作)は、様々な画像データ処理ブロック56(例えば、回路、モジュール、又は処理段階)間で分割される。ここで、「ブロック」という用語が使用されているが、それらの間における論理的な分離はあってもなくてもよいことを理解されたい。例えば、図示の実施形態では、画像データ処理ブロック56は、逆ガンマブロック58と、焼き付き補償(BIC)/焼き付き統計値(BIS)ブロック60と、再ガンマブロック62と、を含むが、これは、ディスプレイパイプライン36の一部であり得る様々なコンポーネントを構成するための一視点に過ぎない。更に、画像データ処理ブロック56は、追加的又は代替的に、環境適応画素(AAP;ambient adaptive pixel)ブロック、ダイナミック画素バックライト(DPB;dynamic pixel backlight)ブロック、白色点補正(WPC;white point correction)ブロック、サブ画素レイアウト補償(SPLC;sub-pixel layout compensation)ブロック、パネル応答補正(PRC;panel response correction)ブロック、ディザリングブロック、サブ画素均一性補償(SPUC;sub-pixel uniformity compensation)ブロック、コンテンツフレーム依存持続時間(CDFD;content frame dependent duration)ブロック、環境光感知(ALS;ambient light sensing)ブロックなどの、他の種類の画像処理を含んでもよい。
以下に詳述するように、その後の処理を容易にするために、逆ガンマブロック58は、ガンマ補正された色空間(例えば、ガンマ符号化)における画像データを受信し、その画像データを線形色空間(例えば、線形符号化)における画像データに変換することができる。ガンマ符号化は、電子ディスプレイ12のディスプレイパネル40に、人間の目にはっきり見えるように画素の輝度を表示する(例えば、輝度レベルが全般的に対数的又は指数関数的に増加する)種類の符号化である一方で、線形符号化は、より単純な計算を可能にする(例えば、輝度レベルが全般的に直線的に増加する)種類の符号化である。逆ガンマブロック58は、ソース画像データ54が画像データ処理ブロック56の他のブロックによって処理された後、ディスプレイパイプライン36の画像データ処理ブロック56の別のブロックによって処理された画像データを受信してもよく、あるいは、ソース画像データ54を直接受信してもよい。BIC/BISブロック60は、焼き付き効果を低減又は除去するため、並びに電子ディスプレイ12上に焼き付きが発生したことが予期される程度に関する画像統計値を収集するために、線形化された画像データに対して動作することができる。再ガンマブロック62は、現在補償されている線形画像データをガンマ符号化に再符号化して戻すことができる。再ガンマブロック62によって出力された画像データは、ディスプレイパイプライン36から出てもよく、あるいは、ディスプレイパイプライン36の画像データ処理ブロック56の他のブロックによる更なる処理のために進み続けてもよい。いずれの場合も、ディスプレイパネル40に表示するためにディスプレイパイプライン36によって出力される、結果として得られる表示画像データ64は、焼き付きアーチファクトを実質的にほとんど又は全く被らない場合がある。
処理後、ディスプレイパイプライン36は、表示画像データ64をディスプレイパネル40に出力してもよい。ディスプレイパネル40は、表示画像データ64に少なくとも部分的に基づいて、アナログ電気信号を電子ディスプレイ12の表示画素に印加して、1つ以上の対応する画像を表示することができる。このようにして、ディスプレイパイプライン36は、電子ディスプレイ12上に情報の視覚的表現を提示することを容易にすることができる。
説明を助けるために、ディスプレイパイプライン36を動作させるためのプロセス66の一実施例を図7に示す。一般に、プロセス66は、画像データソース38から又は画像データ処理ブロック56の別のブロックからガンマ符号化された画像データを受信すること(プロセスブロック68)と、ガンマ符号化された画像データを線形画像データに変換すること(プロセスブロック70)と、焼き付き補償(BIC)を実行こと及び/又は焼き付き統計値を収集すること(プロセスブロック72)と、結果として得られる画像データを、表示焼き付き効果が補償されたガンマ符号化された画像データに再変換すること(プロセスブロック74)と、を含む。一部の実施形態では、プロセス66は、ディスプレイパイプライン36に形成された回路接続に基づいて実装されてもよい。追加的又は代替的に、一部の実施形態では、プロセス66は、コントローラプロセッサ50などの処理回路を使用して、コントローラメモリ52などの有形の非一時的コンピュータ可読媒体に格納された命令を実行することによって、全体的又は部分的に実装されてもよい。
図8に示すように、BIC/BISブロック60は、焼き付き補償(BIC)処理90と焼き付き統計値(BIS)収集処理92と含むように理解されてもよい。BIC処理90は、逆ガンマブロック58から線形画像データを受信してもよく、不均一なサブ画素の経時変化を補償された線形画像データ94を電子ディスプレイ12上に出力してもよい。その結果、出力された線形画像データ94が、再ガンマブロック62において、ガンマ補正された色空間(例えば、sRGB)に変換され、電子ディスプレイ12上に表示される際に、焼き付きアーチファクトを低減又は除去することができる。
BIS収集処理92は、焼き付き統計値(BIS)履歴更新96を生成するために、出力された線形画像データ94のすべて又は一部分を解析してもよく、焼き付き統計値(BIS)履歴更新96は、対応する前回のBIS履歴更新96の後に発生したと推定されるサブ画素の経時変化の増加量を表す増分更新を表す。BIC処理90及びBIS収集処理92は、ディスプレイパイプライン36のコンポーネントとして示されているが、BIS履歴更新96は、コントローラ42又は他のソフトウェア(例えば、電子デバイス10のオペレーティングシステム、アプリケーションプログラム、又はファームウェア)が使用するために出力されてもよい。コントローラ42又は他のソフトウェアは、ゲインマップ計算ブロック98においてBIS履歴更新96を使用して、ゲインマップ100を生成してもよい。ゲインマップ100は、1色成分当たりの画素ゲインの二次元(2D)マップであってもよい。例えば、ゲインマップ100は、BIC処理90が使用するためにディスプレイパイプライン36において2Dルックアップテーブル(LUT)にプログラミングされてもよい。
コントローラ42又は他のソフトウェア(例えば、電子デバイス10のオペレーティングシステム、アプリケーションプログラム、又はファームウェア)はまた、ゲインパラメータ計算ブロック102を含んでもよい。ゲインパラメータ計算ブロック102は、BIC処理90が使用するためにディスプレイパイプライン36に供給され得るグローバルゲインパラメータ104を計算してもよい。本開示の実施例では、グローバルゲインパラメータ104は、正規化係数(η[c])と、正規化された輝度適合係数(βη[c])と、を含み、これらは、特定のグローバル表示輝度値及びそこに適用される画像データの色成分(例えば、赤色、緑色、又は青色)に応じて変動し得る。グローバルゲインパラメータ104のこれらの特定の実施例については、以下で更に論じる。しかし、これらの係数は非限定的な例であることが意図されていることと、グローバルゲインパラメータ104は、BIC処理90が焼き付きを補償するためにゲインマップ100の値を適切に調整するために使用され得る任意の好適なパラメータを表すことができることと、を理解されたい。
焼き付き補償(BIC)処理
BIC処理90の詳細図を図9に示す。BIC処理90は、アップサンプリングブロック110と、ゲイン適用ブロック112と、を含み得る。アップサンプリングブロック110は、ゲインマップ100を受信し、1成分当たりの画素ゲイン値(α[c](x,y))を取得して、ゲイン適用ブロック112に供給することができる。ここで、cは、電子ディスプレイ12が赤色、緑色及び青色のサブ画素を有する場合は、赤色(r)、緑色(g)、又は青色(b)を表すが、電子ディスプレイ12が他の色のサブ画素(例えば、RGBWディスプレイにおける白色サブ画素)を有する場合には、他の色成分を含むこともできる。(x,y)項は、電子ディスプレイ12上の画素の空間的位置を指す。アップサンプリングブロック110により、BIC処理90が、所望により、電子ディスプレイ12のサイズよりも低い解像度を有するようにサイズ設定され得るゲインマップ100を使用できるようになる。ゲインマップ100がより低い解像度のフォーマットである場合、アップサンプリングブロック110は、ゲインマップ100の値を画素毎にアップサンプリングしてもよい。アップサンプリングブロック110のいくつかの例示的な動作については、図10〜図13を参照して以下に更に説明する。
画素ゲイン値(α[c](x,y))は、任意の好適なフォーマット及び精細度を有してもよい。例えば、画素ゲイン値(α[c](x,y)の精細度は、1成分当たり8〜12ビットであってもよく、構成により変動してもよい。画素ゲイン値(α[c](x,y))のMSbの桁合わせは、右シフトパラメータを介して(例えば、デフォルト値2、最大値7で)構成変更可能であり得る。0の値は、小数点後の1番目のビットとの桁合わせを表す。デフォルト値では、小数点後の4番目のビットにゲイン値のMSbを桁合わせることができ、8〜12ビットの精細度の取り込み値に対応して、u0.11〜u0.15の精細度のゲインを効果的に得ることができる。
ゲイン適用ブロック112は、逆ガンマブロック58から、電子ディスプレイ12上における現在の位置(x,y)の画像データの現在の入力サブ画素を受信してもよい。ここで、逆ガンマブロックは、1成分当たり14ビット(bpc)のガンマ符号化画素を18bpcの線形符号化画素に変換するように示されているが、任意の好適なビット深度を使用してもよい。ゲイン適用ブロック112はまた、(アップサンプリングブロック110によってアップサンプリングされ得る)ゲインマップ100から得られる1成分当たりの画素ゲイン値(α[c](x,y))を取得することができる。ゲイン適用ブロック112はまた、グローバルゲインパラメータ104(例えば、正規化係数(η[c])及び正規化された輝度適合係数(βη[c]))を取得してもよい。ゲイン適用ブロック112は、グローバルゲインパラメータ104(例えば、正規化係数(η[c])及び正規化された輝度適合係数(βη[c]))に従って、現在の入力サブ画素に1成分当たりの画素ゲイン値(α[c](x,y))を適用してもよい。一実施例では、ゲイン適用ブロック112は、補償値σ[c](x,y)をまず取得してもよく、補償値σ[c](x,y)は:
σ[c](x,y)=(1+α[c](x,y)*β[c])*η[c]=η[c]+α[c](x,y)*βη[c]
であり、式中、α[c](x,y)は、取り込まれた及び/又はアップサンプリングされたゲインマップ100からの1成分当たりの画素ゲイン値を表し、β[c]は、電子ディスプレイ12の輝度設定のための輝度適合係数を表し、η[c]は、電子ディスプレイ12の輝度設定のための正規化係数を表し、βη[c]は、正規化された輝度適合係数(β[c]とη[c]との積)を表す。補償値σ[c](x,y)は、1.16ビットの符号なしの数、1.17ビットの符号なしの数、1.18ビットの符号なしの数、1.19ビットの符号なしの数、1.20ビットの符号なしの数、1.21ビットの符号なしの数、1.22ビットの符号なしの数、1.23ビットの符号なしの数、1.24ビットの符号なしの数、1.25ビットの符号なしの数、1.26ビットの符号なしの数、1.27ビットの符号なしの数、1.28ビットの符号なしの数などを含む、任意の好適な仕方で符号化されてもよい。補償値σ[c](x,y)は、1.0の最大値に制限されてもよい。
補償値σ[c](x,y)に線形化されたサブ画素値を乗じて、補償されたサブ画素値を取得してもよい。補償値σ[c](x,y)が1.24の符号なしの数である場合には、補償された出力サブ画素値を取得することは、次のように表現され得る。
outlinear[c](x,y)=(inlinear[c](x,y)*min(σ[c](x,y),224)+221)>>22
式中、outlinear[c](x,y)は、補償された出力サブ画素を表し、inlinear[c](x,y)は、現在の入力サブ画素を表す。補償された出力サブ画素は、再ガンマブロック62により、ガンマ色空間に変換されて戻されてもよい。
先に進む前に、ここで、1成分当たりの輝度適合係数(β[c])及び正規化係数(η[c])について論じる。輝度適合係数(β[c])は、グローバルパネル輝度に変化があるときに随時再計算されてもよい。輝度適合係数β[c]は、任意の好適な形態をとることができ、電子ディスプレイ12の現在の輝度設定(例えば、電子ディスプレイ12にいつでも表示することができる最大ルミナンスLmax)を考慮することができる。一実施例では、輝度適合係数β[c]は、グローバル輝度(Lmax)の二次多項式関数の形をとることができる。
Figure 2019049706
上記の輝度適合係数(β[c])の式において、1色成分当たりのパラメータq0、q1、及びq2は、実験又はモデリングにより取得することができ、かつ電子ディスプレイ12の具体的な特性に依存し得る係数を表す。輝度適合係数(β[c])は、1.16ビットの符号なしの数、1.17ビットの符号なしの数、1.18ビットの符号なしの数、1.19ビットの符号なしの数、1.20ビットの符号なしの数、1.21ビットの符号なしの数、1.22ビットの符号なしの数、1.23ビットの符号なしの数、1.24ビットの符号なしの数、1.25ビットの符号なしの数、1.26ビットの符号なしの数、1.27ビットの符号なしの数、1.28ビットの符号なしの数などを含む、任意の好適な仕方で符号化されてもよい。
更に、正規化係数(η[c])はまた、グローバルパネル輝度に変化があるときに随時再計算されてもよい。正規化係数は、成分毎に計算されてもよく、すべてのチャネルにわたる最大ゲイン(αmax)を考慮してもよい。
Figure 2019049706
正規化係数(η[c])は、1.16ビットの符号なしの数、1.17ビットの符号なしの数、1.18ビットの符号なしの数、1.19ビットの符号なしの数、1.20ビットの符号なしの数、1.21ビットの符号なしの数、1.22ビットの符号なしの数、1.23ビットの符号なしの数、1.24ビットの符号なしの数、1.25ビットの符号なしの数、1.26ビットの符号なしの数、1.27ビットの符号なしの数、1.28ビットの符号なしの数などを含む、任意の好適な仕方で符号化されてもよい。一部の場合では、正規化係数(η[c])は、輝度適合係数(β[c])と同じフォーマットで符号化されてもよい。上述のように、グローバルゲインパラメータ104は、正規化係数(η[c])及び正規化された輝度適合係数(βη[c])を含んでもよい。正規化された輝度適合係数(βη[c])は、輝度適合係数(β[c])と正規化係数(η[c])とを乗算することにより取得できる。これらの値は、任意の適切な頻度で更新され、ゲイン適用ブロック112に提供されてもよい。一部の場合では、正規化係数(η[c])及び正規化された輝度適合係数(βη[c])は、フレーム毎に1回、及び/又はグローバル輝度設定の変更毎に(例えば、最大ルミナンスLmaxが変化する度に)更新されてもよい。他の場合では、正規化係数(η[c])及び正規化された輝度適合係数(βη[c])は、より少ない頻度で更新されてもよい(例えば、1フレームおきに1回、5フレーム毎に1回、毎秒1回、2秒毎に1回、5秒毎に1回、30秒毎に1回、1分毎に1回など)。一部の場合では、正規化係数(η[c])及び正規化された輝度適合係数(βη[c])は、電子ディスプレイ12のグローバル輝度設定が少なくとも閾量を超えて変化した場合に(例えば、最大ルミナンスLmaxが、1ニットを超えて、2ニットを超えて、5ニットを超えて、10ニットを超えて、20ニットを超えて、50ニットを超えて、100ニットを超えて、又は200ニットなどを超えて変化した場合に)更新されてもよい。閾値は、電子ディスプレイ12の特性に依存するのであってもよく、人の目には明らかであるルミナンスの最小変化を表すように選択されてもよい。
図10〜図13は、ゲインマップ100から1成分当たりの画素ゲイン値(α[c](x,y))を抽出するためのアップサンプリングブロック110を説明している。ゲインマップ100は、1サブ画素当たりフル解像度の二次元(2D)ゲインマップであってもよいし、メモリ及び/又は計算リソースを節約したい場合には空間的にダウンサンプリングされてもよい。ゲインマップ100の大きさが、電子ディスプレイ12のフル解像度未満である場合、アップサンプリングブロックは、上記のような1成分当たりの画素ゲイン値(α[c](x,y))を取得するためにゲインマップ100をアップサンプリングしてもよい。ゲインマップ100は、マルチプレーンフレームバッファとして格納されてもよい。電子ディスプレイ12が3つの色成分(例えば、赤色、緑色、及び青色)を有する場合、ゲインマップ100は、3プレーンフレームバッファとして格納されてもよい。電子ディスプレイがなんらかの他の数の色成分(例えば、赤色、緑色、青色、及び白色のサブ画素を有する4成分のディスプレイ、又はグレーのサブ画素のみを有する1成分のモノクロディスプレイ)を有する場合、そのプレーン数でゲインマップ100を格納してもよい。
ゲインマップ100の各プレーンは、電子ディスプレイ12のフル空間解像度であってもよく、あるいは、なんらかの係数で空間的にダウンサンプリングされてもよい(例えば、1.5,2,2.5,3,3.5,4,4.5,5,5.5,6,6.5,7,7.5,又は8以上などの、1よりも大きいなんらかの係数でダウンサンプリングされてもよい)。更に、空間ダウンサンプリングの量は、次元により独立して変動してもよく、ゲインマップの100のプレーンのそれぞれの大きさは異なってもよい。例として、ゲインマップ100の第1の色成分(例えば、赤色)のプレーンは、両方の次元において(例えば、x次元とy次元の両方において)2倍で空間的にダウンサンプリングされてもよく、ゲインマップ100の第2の色成分(例えば、緑色)のプレーンは、一方の次元において(例えば、x次元において)2倍で空間的にダウンサンプリングされ、かつ他方の次元において(例えば、y次元において)4倍でダウンサンプリングされてもよく、ゲインマップ100の第3の色成分(例えば、青色)のプレーンは、両方の次元において(例えば、x次元とy次元の両方において)4倍で空間的にダウンサンプリングされてもよい。更に、一部の実施例では、ゲインマップ100のプレーンは、電子ディスプレイ12のフル解像度にわたって可変範囲にダウンサンプリングされてもよい。
ゲインマップ100の1つの例示的なプレーンを図10に示す。図10に示すゲインマップ100のプレーンは、大きさが可変的に縮小されたダウンサンプリングされたマッピングを表しており、これにより、様々なゲイン値124の電子ディスプレイ12の全入力フレーム高さ120と入力フレーム幅122とにわたる配置を示すように拡大されている。更に、図10の実施例では、ゲインマップ100のプレーンは、不等間隔のゲイン値124を有するが、上述のように、ゲインマップ100の他のプレーンは等間隔であってもよい。
アップサンプリングブロック110は、ゲイン値124がx次元及びy次元にわたって等間隔であるか不等間隔であるかにかかわらず、ゲイン値124のポイント間にある(x,y)位置のサブ画素に対するゲイン値を取得するために補間を実行することができる。バイリニア補間法及びニアレストネイバー補間法を以下に説明する。しかし、任意の好適な補間形式を使用してもよい。
図10〜図12の実施例については、ゲイン値124間の補間に関連して一緒に論じる。図10の実施例では、ゲインマップ100のプレーンの補間領域126は、現在の補間領域126で両方の次元においてゲインマップ100のプレーンが2倍でダウンサンプリングされた場合に、現在のサブ画素の位置128に4つの最も近いゲイン値124A、124B、124C、及び124Dを含む。図11は、両方の次元において4倍でダウンサンプリングする同様の領域を示し、図12は、x次元において4倍でダウンサンプリングし、かつy次元において2倍でダウンサンプリングする同様の領域を示す。各色成分及び/又は領域毎に、アクティブな補間領域、パネルの種類、補間モード、位相及び空間的サブサンプリング係数が与えられたならば、ゲインマップ100のプレーン及び/又は補間領域(単数又は複数)のサイズは、以下で与えられ得る:
GainMapSize[c].Width=ceil((ComponentWidth[c]+rx[c]−2)/rx[c])+1
GainMapSize[c].Height=ceil((BicActiveRegion.Height+py[c]−bias[c]−1)/ry[c])+1
式中、
・成分cがサブサンプリングされたパネルレイアウトである場合、ComponentWidth[c]=ceil(BicActiveRegion.Width/2)
・成分cがサブサンプリングされたパネルレイアウトではない場合、ComponentWidth[c]=BicActiveRegion.Width
・rx[c]は、成分cに関する水平次元に沿った空間サブサンプリング係数である。
・ry[c]は、成分cに関する垂直次元に沿った空間サブサンプリング係数である。
・py[c]は、成分cに関する1/ry[c]単位の垂直次元の位相である。
・成分cに関する補間モードがバイリニア補間である場合、bias[c]=0
・成分cに関する補間モードがニアレストネイバー補間である場合、bias[c]=ry[c]/2
アップサンプリングブロック110は、ゲインマップ100の取り込まれたプレーンの空間的補間を実行してもよい。電子ディスプレイ12の画素格子に対してダウンサンプリングされたときのゲインマップ100のプレーンの空間的シフトは、構成変更可能な初期補間位相(例えば、以下に提示する補間式におけるsx、syの初期値)を通じてx次元とy次元とのそれぞれにおいてサポートすることができる。ゲインマップ100のプレーン又は補間領域が空間的にダウンサンプリングされると、ゲインマップ100のプレーンの縁部において追加のサンプルなしで、その後のアップサンプリングを行うために十分なゲイン値124データ点が存在し得る。バイリニア補間及びニアレストネイバー補間がサポートされる。アップサンプリング係数及び補間法は、色成分のそれぞれについて別々に構成変更可能であり得る。
バイリニア補間法及びニアレストネイバー補間法の補間式を以下に示すが、任意の他の好適な補間法を使用できることを認識されたい。バイリニア補間は、次のように発生し得る:
αxy=((α13 *sx)+(α02 *(rx−sx))+((rx*ry)>>1))>>log2(rx*ry),
式中、
α02=(α2 *sy)+(α0 *(ry−sy));
α13=(α3 *sy)+(α1 *(ry−sy));
sx∈{0,...,(rx−1)},sy∈{0,...,(ry−1)};
rxは、水平次元に沿ったサブサンプリング係数である。
ryは垂直次元に沿ったサブサンプリング係数である。
ニアレストネイバー補間は、次のように発生し得る:
(sx<=(rx>>1))&&(sy<=(ry>>1))(太線の円で示す):α0
(sx>(rx>>1))&&(sy<=(ry>>1))(破線の円で示す):α1
(sx<=(rx>>1))&&(sy>(ry>>1))(細線の円で示す):α2
(sx>(rx>>1))&&(sy>(ry>>1))(点線の円で示す):α3
一部の場合では、赤色及び青色のプレーンは、パネルレイアウトに起因して水平又は垂直にサブサンプリングされてもよい。例えば、一部の電子ディスプレイ12は、赤色及び緑色の画素対と、青色と緑色の画素対と、を有するGRGBパネルなどの、画素のすべての成分よりも少ない画素グループをサポートしてもよい。このような実施例では、各赤色/青色成分は、図13に示すように、ゲイン対を横断して複製されることによりアップサンプリングされてもよい。図13の実施例では、偶数ゲイン画素グループ142は、赤色ゲイン144と緑色ゲイン146とを含み、奇数ゲイン画素グループ148は、緑色ゲイン150と青色ゲイン152とを含む。よって、出力ゲイン対は、赤色ゲイン144、緑色ゲイン146及び青色ゲイン152を含む偶数ゲイン画素グループ154と、赤色ゲイン144、緑色ゲイン150及び青色ゲイン152を含む奇数ゲイン画素グループ156とを含むことができる。
焼き付き統計値(BIS)収集
図8を参照して上で述べたように、コントローラ42又は他のソフトウェア(例えば、電子デバイス10のオペレーティングシステム、アプリケーションプログラム、又はファームウェア)は、焼き付き統計値(BIS)を用いてゲインマップ100を生成することができる。ゲインマップ100は、それほど経時変化を経験していない画素について最大輝度を下げ、それにより、より多くの経時変化を受けた他の画素と一致させるために使用されるので、ゲインマップ100は、これらの不均一な経時変化効果を補償し、それにより、電子ディスプレイ12上の焼き付きアーチファクトを低減又は除去する。
このため、BIC/BISブロック60のBIS収集処理92は、電子ディスプレイ12に送られる画像データ及び/又は電子ディスプレイ12の温度の結果として、電子ディスプレイにおいて発生し得る焼き付き効果を監視及び/又はモデリングすることができる。これらの要因のうちの一方又は両方は、ゲインマップ100を生成するためにコントローラ42又は他のソフトウェアに提供されるBIS履歴更新96を生成する際に考慮されてもよい。一実施例では、図14に示すように、BIS収集処理92は、ルミナンス経時変化ルックアップテーブル(LUT)172又は他の計算構造からルミナンス経時変化係数170を決定し、温度適合係数ルックアップテーブル(LUT)176又は他の計算構造から温度適合係数174を決定してもよい。ルミナンス経時変化係数170と温度適合係数174とは、乗算器178において組み合わされて、ダウンサンプリングブロック180によりダウンサンプリングされて、BIS履歴更新96を生成してもよい。BIS履歴更新96は、1成分当たり7ビット(bpc)を有するとして図14に示されているが、この値は、任意の好適なビット深度を取り得る。
電子ディスプレイ12の画素がその全寿命にわたって放出するルミナンスの総量は、その画素の経時変化に実質的な影響を与えるため、ルミナンス経時変化係数170は、乗算器184からの、補償された線形画像データ94と、本開示で正規化された入力サブ画素in’[c]と呼ばれる正規化された表示輝度182との積によって決定されてもよい。サブ画素によるルミナンス放出に起因する経時変化の量を次のようにルミナンスの関数としてモデリングできる:
l=((L/Llimit*inlinear[c])γ[c]
式中、Lは、現在のフレームのグローバル輝度であり、Llimitは、フレームの起こり得る最大輝度であり、inlinear[c]は、線形画像データ94からの色成分cの線形化された値であり(0.20の符号なしの数などの任意の好適な仕方で表されてもよい)、γ[c]は、電子ディスプレイ12の特性に依存する場合があり、実験的に又はモデリングを介して決定され得るパラメータである。L/Llimitの値は、正規化された表示輝度182として表されてもよく、コントローラ42又は他のソフトウェアによって計算されてもよい。一実施例では、正規化された輝度182は、1.18の符号なしの値として表される。よって、乗算器184における乗算により:
in’[c]=min((inlinear[c]*norm+(1<<19))>>20,0x3ffff)。
冪関数は、任意の好適な形態をとることができるルミナンス経時変化LUT172によってハードウェアにモデリングされてもよい。一実施例では、ルミナンス経時変化LUT172は、エントリが範囲[0,218]内に等間隔に配置された65エントリのLUTを表し、1.5の符号なしの値としてのフォーマットを有することができる。ルミナンス経時変化LUT172は、色成分毎に独立であり、上で計算されているようにin’[c]によってインデックス付けされてもよい。LUTエントリ間の線形補間を含む、ルミナンス経時変化LUT172のエントリ間の任意の好適な補間を使用できる。このプロセスの一実施例を以下にまとめる。一実施例では、色成分毎に:
rem=in’&0xfff
idx=in’>>12
low=LUT[idx]
high=LUT[idx+1]
l=(((4096−rem)*low)+(rem*high)+2048)>>12
結果は、線形画像データ94に起因する電子ディスプレイ12のサブ画素のそれぞれにおける経時変化の量をモデリングするために考慮され得る、ルミナンス経時変化係数170(ここでは、u1として示す)である。しかし、不均一なサブ画素の経時変化は、経時的に放出される光の総量だけに影響を受けるのではなく、電子ディスプレイ12のサブ画素が光を放出する際の電子ディスプレイ12の温度にも影響を受ける。実際に、経時変化は温度に依存し、温度は、電子ディスプレイ12の背後の様々な位置にある、プロセッサコア複合体18及び他の熱を発する回路などの、コンポーネントの存在に起因して、電子ディスプレイ12全体にわたって変動し得る。
電子ディスプレイ12上の局所的な温度の推定値を正確に決定するために、温度の二次元(2D)格子188が使用されてもよい。このような温度の2D格子188の一実施例を図15に示し、以下により詳細に論じる。図14を引き続き考慮すると、ピックタイルブロック190は、現在選択されているサブ画素の(x,y)座標から、温度の2D格子188の特定の領域(例えば、タイル)を選択できる。ピックタイルブロック190はまた、x次元の格子点(grid_points_x)、y次元の格子点(grid_points_y)、x方向の格子点ステップ(grid_step_x)、及びy方向の格子点ステップ(grid_step_y)を使用してもよい。これらの値は、以下に更に論じるように、調整することができる。現在のサブ画素温度値txyが、補間ブロック192を介して、結果として得られる、温度の2D格子188の領域から選択されてもよく、補間ブロック192は、現在選択されているサブ画素の(x,y)座標と、x次元の格子ステップ増分(grid_step_x[idx])の値及びy次元の格子ステップ増分(grid_step_y[idy])の値と、を考慮し得る。現在のサブ画素の温度値txyは、温度適合係数174を生成するための温度適合LUT176によって使用されてもよく、温度適合係数174は、現在のサブ画素の現在の温度の結果として生じ得た、現在のサブ画素の経時変化の量を示す。
温度の二次元(2D)格子188の一実施例を図15に示す。図15の温度の2D格子188は、様々な現在の温度格子の値204の電子ディスプレイ12の全入力フレーム高さ200と入力フレーム幅202との間の配置を示す。現在の温度格子の値204は、任意の好適な測定(例えば、温度センサ)又はモデリング(例えば、電子デバイス10の様々な電子コンポーネントの現在の使用に起因する予期される温度値)を用いてポピュレートされてもよい。補間領域206は、現在のサブ画素の現在の空間的位置(x,y)を区切る、温度の2D格子188の領域を表す。補間点208において現在のサブ画素温度値txyを求めることができる。補間は、バイリニア補間、ニアレストネイバー補間、又は任意の他の好適な形態の補間に従って行われてもよい。
一実施例では、温度の二次元(2D)格子188は、フレームを別個の領域(中央に非エッジ格子点を有する矩形領域で表され得る領域)に分割してもよい、すなわち、17×17のタイルが電子ディスプレイ12に規定される(タイルは、補間領域206に示すように、4つの隣接する格子点で画定された矩形領域として表され得る)。よって、電子ディスプレイ12の任意の好適な実験又はモデリングに従って、温度の2D格子188を決定することができる。温度の2D格子188は、現在のアクティブな領域だけではなく、電子ディスプレイ12の全体に規定されてもよい。これにより、BIS/BIC更新と独立して温度推定値更新を実行することができる。更に、温度の2D格子188は、不等間隔な分布の温度格子の値204を有することができ、(例えば、様々な使用に起因して異なる時間に独立して発熱することがある電子ディスプレイ12の背後にある別個の電子コンポーネントの数が多いことに起因して)より大きい温度変化が予期される電子ディスプレイ12の領域において、より高い解像度を可能にする。
様々な位置でより細かい解像度に対応するために、温度の2D格子188は、不均一に離間していてもよい。2つの独立したマルチエントリ1Dベクトル(各次元に1つずつ)、grid_points_x及びgrid_points_yは、温度格子の値204を表すように本開示で説明される。図15の実施例では、各次元に18個の温度格子の値204がある。しかし、任意の好適な数の温度格子の値204を使用してもよい。加えて、温度格子の値204の数は、両方の次元において同じ数となるように示されているが、一部の温度の2D格子188は、温度格子の値204の数が、次元毎に異なっていてもよい。補間領域206は、温度格子の値204A、204B、204C、及び204Dの矩形を示す。温度格子の値204は、符号なし8ビット、符号なし9ビット、符号なし10ビット、符号なし11ビット、符号なし12ビット、符号なし13ビット、符号なし14ビット、符号なし15ビット、符号なし16ビットなどの任意の好適なフォーマットで表され得る。符号なし13ビット表記などの値は、8191画素の最大パネル寸法を可能にし得る。最初のエントリは、0であると仮定でき、したがって、暗黙的であり得る。これが行われると、合計エントリが18個ある場合、次の17個のエントリのみがプログラムされる。
更に、(例えば、補間領域206に示すような)各タイルは、温度格子の値204で開始してもよく、次の温度格子の値204の1画素手前で終了してもよい。したがって、ハードウェアでの均一な取り扱いのために、少なくとも1つの温度格子の値204(例えば、最後の1つ)は、フレーム寸法の最低でも1画素外側に配置され得る。すべての場合にすべての温度格子の値204が使用されなくてもよい。例えば、512×512の全フレーム寸法が単一のタイルとして使用される場合には、grid_points_x[0]及びgrid_points_y[0]はそれぞれ、512にプログラムされてもよい。ベクトル内の他の値は、アクセスされないため、「ドントケア(don't care)」と定義されてもよい。連続する温度格子の値204の間の間隔は、なんらかの最小画素数(例えば、8、16、24、48画素など)及びなんらかの最大画素数(例えば、512、1024、2048、4096画素など)に制限されてもよい。2つのベクトルのそれぞれにおけるすべての点、grid_points_x及びgrid_points_yは、フレーム寸法の外側にある点までは、単調増加するようにプログラムされてもよい。
温度格子の値204は、任意の好適なフォーマットを有することができる。一実施例では、温度格子の値204は、6.2の符号なしの値として表されてもよい。更に、図14を再び参照すると、ステップサイズに関する、各次元について2つの独立したマルチエントリベクトル(例えば、17個のエントリベクトル)、grid_step_x及びgrid_step_yを、対応するタイルサイズに依存する値でプログラムしてもよい。例えば、grid_step_xは、(1<<20)/(タイル幅)として、またgrid_step_yは、(1<<20)/(タイル高さ)として、それぞれプログラムされてもよい。これらの値をプログラミングすることにより、ハードウェアにおける分割を回避でき、したがって、ダイスペース及び他のリソースを節約することができる。インデックスid_x及びid_y、並びに現在のオフセットoffset_x及びoffset_yは、ディスプレイパイプライン36のハードウェアに維持されてもよい。オフセットは、入力位置がそれぞれの次元に沿って1つずつ増加されるたびに、grid_step_x[id_x]及びgrid_step_y[id_y]だけ増加されてもよい。オフセットは、タイル境界がそれぞれの次元において交差するときに0にリセットされてもよい。オフセットは、任意の好適な値(例えば、0.16の符号なしのフォーマット、0.17の符号なしのフォーマット、0.18の符号なしのフォーマット、0.19の符号なしのフォーマット、0.20の符号なしのフォーマット、0.21の符号なしのフォーマット、0.22の符号なしのフォーマット、0.23の符号なしのフォーマット、又は0.24の符号なしのフォーマットなど)をとることができる。これらの値は、最大値を超えたときに飽和され得る。
現在のx位置及びy位置に基づいて、補間された温度txyは、任意の好適な補間形態で計算されてもよい。周囲の4つの周囲の格子点を用いたバイリニア補間を使用する場合に、位置(x,y)における温度txyの計算は、以下の擬似コードにおいて概説されるように行われてもよい。
id_y=0,offset_y=0
id_x=0,offset_x=0
for(y=0;y<height;y++){
if(y==grid_points_y[id_y]){
id_y++
offset_y=0

id_x=0
offset_x=0
for(x=0;x<width;x++){
if(x==grid_points_x[id_x]){
id_x++
offset_x=0

ty0=(twod_temperature_lut[id_y][id_x]*((1<<20)−offset_y)+
twod_temperature_lut[id_y+1][id_x]*offset_y+
(1<<19)
)>>20
ty1=(twod_temperature_lut[id_y][id_x+1]*((1<<20)−offset_y)+
twod_temperature_lut[id_y+1][id_x+1]*offset_y+
(1<<19)
)>>20
txy=(ty0*((1<<20)−offset_x)+
ty1*offset_x+(1<<19))>>20
offset_x+=grid_step_x[id_x];

offset_y+=grid_step_y[id_y];
現在のサブ画素温度値txyは、次式に示すように、現在のサブ画素温度値txyによる変動が予期されるアクティブな領域内の画素に対する温度適合係数(ut)174を計算するために用いられてもよい。
ut=χ(tref−txy)/10
式中、χは、色成分毎に独立したパラメータであり、trefは、選択された基準温度である。温度適合LUT176により、上式をハードウェアにモデリングしてもよい。温度適合LUT176は、画素の経時変化に対する温度の影響をモデリングするために任意の好適な数のエントリを有してもよい。一実施例では、温度適合LUT176は、txyで表される温度の範囲にわたって等間隔でエントリが分布している33エントリLUTである。LUTエントリは、任意の好適な精細度を有してもよく、少なくとも一部の実施例では、2.5の符号なしの値であってもよい。線形補間など、LUTエントリ間の値を確定するために、任意の好適な補間の形態を使用することができる。更に、温度適合LUT176は、色成分毎に変動し得る。実際に、温度適合LUT176は、色成分のそれぞれについて複数の独立したLUTを含むことができる。以下の擬似コードにおいて、プロセスの一実施例を概説する。すなわち、各色成分について:
rem=txy&0x7
idx=txy>>3
low=LUT[idx]
high=LUT[idx+1]
ut=(((8−rem)*low)+(rem*high)+4)>>3
図14に示すように、完全なBIS履歴更新96は、ルミナンス経時変化係数(ul)170と温度適合係数(ut)174との乗算を含むことができる。乗算器178及びダウンサンプリングブロック180の例示的な演算は、次のように行われ得る:
u[c]=(ul[c]*ut[c]+16)>>5
ここで、計算された8ビットの履歴更新は、各プレーンのベースアドレスをバイト単位で揃えた(例えば、128バイト単位で揃えた)3つの独立したプレーンとして書き出されてもよい。書き出しに先立ち、パネルの種類に応じて、バッファの線幅を一定に維持するために、適切なときに線の端にゼロを挿入してもよい。更に、1画素当たりの成分の数を3から2までダウンサンプリングすることができる。一部の電子ディスプレイ12は、赤色及び緑色の画素対と、青色及び緑色の画素対と、を有するGRGBパネルなどの、画素のすべての成分よりも少ない画素グループをサポートし得ることから、このことは、図16の実施例で表される。このような実施例では、各画素対は、赤色/青色成分をドロップして履歴更新対を形成してもよい。図16の実施例では、偶数履歴更新画素グループ220は、赤色履歴更新値222と、緑色履歴更新値224と、青色履歴更新値226とを含み、奇数履歴更新画素グループ228は、赤色履歴更新値230と、緑色履歴更新値232と、青色履歴更新値234とを含む。したがって、この対をダウンサンプリングするために、出力履歴更新対は、赤色履歴更新値222及び緑色履歴更新値224を含む偶数履歴更新画素グループ236と、赤色履歴更新値230及び緑色履歴更新値232を含む奇数履歴更新画素グループ238と、を含み得る。
コントローラ42又は他のソフトウェアは、焼き付き統計値(BIS)履歴更新96の値をコンパイル及び格納することによって、電子ディスプレイ12にわたる不均一な画素の経時変化の累積量を決定することができる。これにより、不均一な画素の経時変化の影響を打ち消すことのできるゲインマップ100を決定することができる。電子ディスプレイ12に供給する前に、入力画素にゲインマップ100のゲインを適用することにより、電子ディスプレイ12に本来現れたかもしれない焼き付きアーチファクトを事前に低減又は除去することができる。これにより、本開示の焼き付き補償(BIC)及び/又は焼き付き統計値(BIS)は、電子デバイス10のリソースを効率的に使用しながら、大幅に改善されたユーザエクスペリエンスを提供することができる。
上述の具体的な実施形態は、例として示されたものであり、これらの実施形態は、様々な修正形態及び代替形態の影響を受けやすいものであり得ることを理解するべきである。更に、特許請求の範囲が、開示された特定の形態に限定されず、むしろこの趣旨と意図の範囲にあるすべての修正物、均等物、及び代替物を対象として含むことを理解されたい。

Claims (21)

  1. 表示画像データでプログラムされたときに画像を表示するように構成された電子ディスプレイと、
    画像データを受信し、かつ前記表示画像データを取得するために1つ以上の画像処理ブロックを介して前記画像データを処理するように構成されたディスプレイパイプラインであって、前記1つ以上の画像処理ブロックが、
    1つ以上の焼き付き補償ゲインマップに従って、前記画像データのサブ画素にゲインを適用するように構成された、焼き付き補償処理であって、前記1つ以上の焼き付き補償ゲインマップが、前記画像データの前記サブ画素に適用された場合、前記電子ディスプレイ上におけるサブ画素の経時変化の不均一性を考慮し、それにより、前記電子ディスプレイが前記表示画像データでプログラムされたときに前記電子ディスプレイ上に本来現れる焼き付きアーチファクトを低減又は除去するために、前記画像データの前記サブ画素のうちの少なくとも1つのゲインを低減する、ゲインの二次元マッピングを供給する、焼き付き補償処理、あるいは
    前記表示画像データ若しくは前記電子ディスプレイの領域の現在の温度、又は両方に起因して発生することが予期される画素経時変化の増分更新を計算するように構成された、焼き付き統計値収集処理、あるいは
    前記焼き付き補償処理と前記焼き付き統計値収集処理の両方
    を含む、ディスプレイパイプラインと、
    を備える、電子デバイス。
  2. 前記電子ディスプレイが、ルミナンス出力、温度、又はルミナンス出力と温度の両方に起因して不均一に経時変化するサブ画素を有する自己発光性の電子ディスプレイを含む、請求項1に記載の電子デバイス。
  3. 前記1つ以上の焼き付き補償ゲインマップが、少なくとも、前記電子ディスプレイの前記サブ画素の第1の色成分に対応する第1のプレーンと、前記電子ディスプレイの前記サブ画素の第2の色成分に対応する第2のプレーンと、前記電子ディスプレイの前記サブ画素の第3の色成分に対応する第3のプレーンと、を含む、請求項1に記載の電子デバイス。
  4. 前記1つ以上の焼き付き補償ゲインマップが、前記ディスプレイパイプラインにアクセス可能な対応する1つ以上のフレームバッファに格納される、請求項1に記載の電子デバイス。
  5. 前記1つ以上の焼き付き補償ゲインマップが、前記電子ディスプレイのフル解像度未満の解像度を有し、前記焼き付き補償処理が、前記画像データの前記サブ画素に前記ゲインを適用する前に、前記1つ以上の焼き付き補償ゲインマップをアップサンプリングするように構成される、請求項1に記載の電子デバイス。
  6. 前記焼き付き補償処理が、バイリニア補間を用いて前記1つ以上の焼き付き補償ゲインマップをアップサンプリングするように構成される、請求項5に記載の電子デバイス。
  7. 前記焼き付き補償処理が、ニアレストネイバー補間を用いて前記1つ以上の焼き付き補償ゲインマップをアップサンプリングするように構成される、請求項5に記載の電子デバイス。
  8. 前記ディスプレイパイプラインと相互作用するように構成されたプロセッサであって、前記プロセッサが、前記1つ以上の焼き付き補償ゲインマップを計算し、前記1つ以上の焼き付き補償ゲインマップを前記ディスプレイパイプラインに供給するように構成される、プロセッサを備える、請求項1に記載の電子デバイス。
  9. 前記プロセッサが、前記電子ディスプレイの輝度設定に従って、前記1つ以上の焼き付き補償ゲインマップを適合させる1つ以上のグローバルゲインパラメータを計算するように構成され、前記焼き付き補償処理が、前記1つ以上の焼き付き補償ゲインマップと前記1つ以上のグローバルゲインパラメータとに従って、前記画像データの前記サブ画素に前記ゲインを適用するように構成される、請求項8に記載の電子デバイス。
  10. 前記1つ以上のグローバルゲインパラメータが、前記画像データの前記サブ画素に適用されることが許される最大ゲインに基づく正規化係数を含む、請求項9に記載の電子デバイス。
  11. 前記プロセッサが、前記サブ画素の経時変化の増分更新の蓄積に少なくとも部分的に基づいて、前記1つ以上の焼き付き補償ゲインマップを計算するように構成される、請求項8に記載の電子デバイス。
  12. 電子ディスプレイ上に表示するために画像データを処理するように構成された電子ディスプレイパイプラインであって、前記電子ディスプレイパイプラインが、
    前記画像データに少なくとも部分的に基づいて画像統計値を収集するように構成された焼き付き補償統計値収集処理回路であって、前記統計値が、前記電子ディスプレイのサブ画素の不均一な経時変化の起こり得る量を推定する、焼き付き補償統計値収集処理回路と、
    前記電子ディスプレイの対応するサブ画素の不均一な経時変化を考慮するために、前記画像データのサブ画素にゲインを適用するように構成された焼き付き補償処理回路であって、前記適用されるゲインは、前記焼き付き補償統計値収集処理回路によって収集された前記画像統計値に少なくとも部分的に基づく、焼き付き補償処理回路と、
    を備える、電子ディスプレイパイプライン。
  13. 前記焼き付き補償処理回路が、フレームバッファに格納されたゲインのマップに基づいて、前記画像データの前記サブ画素に前記ゲインを適用するように構成される、請求項12に記載の電子ディスプレイパイプライン。
  14. 前記焼き付き補償処理回路及び前記焼き付き補償統計値収集回路が、線形色空間において前記画像データに対して動作するように構成される、請求項12に記載の電子ディスプレイパイプライン。
  15. ガンマ色空間における入力画像データを受信し、前記ガンマ色空間における前記入力画像データを前記線形色空間における前記画像データに変換し、前記線形色空間における前記画像データを前記焼き付き補償処理回路に供給するように構成された、逆ガンマブロックと、
    前記焼き付き補償処理回路から前記線形色空間における前記画像データを受信し、前記電子ディスプレイパイプラインにおける更なる処理のために、又は前記電子ディスプレイ上に表示するために、前記線形色空間における前記画像データを前記ガンマ色空間における出力画像データに変換するように構成された、再ガンマブロックと、
    を備える、請求項14に記載の電子ディスプレイパイプライン。
  16. 電子ディスプレイ上に表示するためにディスプレイパイプラインにおいて画像データのフレームを処理することと、
    前記画像データのフレームの少なくとも一部分に少なくとも部分的に起因する、前記電子ディスプレイのサブ画素による起こり得る経時変化の量を推定するために、前記画像データのフレームの少なくとも前記一部分が前記電子ディスプレイに表示される前に、前記ディスプレイパイプラインにおいて前記画像データのフレームの少なくとも前記一部分を解析することと、
    前記電子ディスプレイ上の不均一なサブ画素の経時変化を識別するために、前記電子ディスプレイの前記サブ画素による経時変化の量の履歴を蓄積することと、
    前記電子ディスプレイ上の焼き付きアーチファクトを低減又は除去するために、前記電子ディスプレイの前記サブ画素による経時変化の量の前記蓄積された履歴に少なくとも部分的に基づいて、焼き付き補償を実行することと、
    を含む、方法。
  17. 前記電子ディスプレイの前記サブ画素による起こり得る経時変化の量を推定するために、前記画像データのフレームの少なくとも前記一部分を解析することが、前記電子ディスプレイ上に前記画像データのフレームの少なくとも前記一部分が表示された場合に、前記電子ディスプレイのサブ画素によって放出されたルミナンスに起因する起こり得る経時変化の量を推定することを含む、請求項16に記載の方法。
  18. 前記電子ディスプレイの前記サブ画素によって放出された前記ルミナンスに起因する前記起こり得る経時変化の量を推定することが、前記電子ディスプレイの輝度設定に正規化された前記画像データのフレームの少なくとも前記一部分の前記サブ画素のうちの1つの値の関数を計算することを含む、請求項17に記載の方法。
  19. 前記電子ディスプレイの前記サブ画素による起こり得る経時変化の量を推定するために、前記画像データのフレームの少なくとも前記一部分を解析することが、前記電子ディスプレイ上に前記画像データのフレームの少なくとも前記一部分が表示された場合に、前記電子ディスプレイの温度に起因する起こり得る経時変化の量を推定することを含む、請求項16に記載の方法。
  20. 前記画像データのフレームの少なくとも前記一部分に対応する前記電子ディスプレイの前記サブ画素の位置における局所的な温度を識別することと、
    前記局所的な温度に少なくとも部分的に起因する前記電子ディスプレイの前記サブ画素による起こり得る経時変化の量を推定することと、
    を含む、請求項16に記載の方法。
  21. 前記局所的な温度を識別することが、不等間隔の格子点を有する二次元温度ルックアップテーブルから温度値を取得することを含む、請求項20に記載の方法。
JP2018162477A 2017-09-08 2018-08-31 焼き付き統計値及び焼き付き補償 Pending JP2019049706A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762556160P 2017-09-08 2017-09-08
US62/556,160 2017-09-08
US15/861,215 US11361729B2 (en) 2017-09-08 2018-01-03 Burn-in statistics and burn-in compensation
US15/861,215 2018-01-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020160445A Division JP2021012380A (ja) 2017-09-08 2020-09-25 焼き付き統計値及び焼き付き補償

Publications (1)

Publication Number Publication Date
JP2019049706A true JP2019049706A (ja) 2019-03-28

Family

ID=63350364

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018162477A Pending JP2019049706A (ja) 2017-09-08 2018-08-31 焼き付き統計値及び焼き付き補償
JP2020160445A Pending JP2021012380A (ja) 2017-09-08 2020-09-25 焼き付き統計値及び焼き付き補償

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020160445A Pending JP2021012380A (ja) 2017-09-08 2020-09-25 焼き付き統計値及び焼き付き補償

Country Status (6)

Country Link
US (2) US11361729B2 (ja)
EP (2) EP3454323A1 (ja)
JP (2) JP2019049706A (ja)
KR (2) KR102107640B1 (ja)
CN (1) CN109474769B (ja)
DE (2) DE202018006751U1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7409298B2 (ja) 2018-02-28 2024-01-09 日本ゼオン株式会社 不織布およびフィルター

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361729B2 (en) * 2017-09-08 2022-06-14 Apple Inc. Burn-in statistics and burn-in compensation
KR102510902B1 (ko) * 2018-01-17 2023-03-17 삼성디스플레이 주식회사 열화 보상 장치, 이를 포함하는 표시 장치 및 이를 이용한 표시 장치의 열화 보상방법
KR102459221B1 (ko) * 2018-02-20 2022-10-27 삼성전자주식회사 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US10991283B2 (en) 2018-09-04 2021-04-27 Apple Inc. Decimated burn-in compensation with pixel shifting
WO2020110310A1 (ja) * 2018-11-30 2020-06-04 オリンパス株式会社 表示装置及び内視鏡システム
US10777135B2 (en) * 2018-12-05 2020-09-15 Novatek Microelectronics Corp. Controlling circuit for compensating a display device and compensation method for pixel aging
KR102661825B1 (ko) * 2019-04-04 2024-04-26 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
US11217211B2 (en) * 2019-07-24 2022-01-04 Apple Inc. Multiple resolution section display panel systems and methods
US10623683B1 (en) 2019-08-09 2020-04-14 Qualcomm Incorporated Methods and apparatus for improving image retention
US11164540B2 (en) 2019-12-11 2021-11-02 Apple, Inc. Burn-in statistics with luminance based aging
US11164541B2 (en) 2019-12-11 2021-11-02 Apple, Inc. Multi-frame burn-in statistics gathering
US20210304673A1 (en) * 2020-03-31 2021-09-30 Apple Inc. Configurable pixel uniformity compensation for oled display non-uniformity compensation based on scaling factors
US11688363B2 (en) * 2020-09-24 2023-06-27 Apple Inc. Reference pixel stressing for burn-in compensation systems and methods
WO2022094443A1 (en) * 2020-11-02 2022-05-05 E Ink Corporation Method and apparatus for rendering color images
US11741918B1 (en) * 2021-02-22 2023-08-29 Apple Inc. Display with a vignetting mask
WO2022186574A1 (ko) * 2021-03-05 2022-09-09 삼성전자 주식회사 센서 모듈의 성능을 향상 시킬 수 있는 전자 장치 및 방법
KR20220168009A (ko) * 2021-06-15 2022-12-22 삼성전자주식회사 디스플레이의 잔상을 예측 및 보상하는 전자 장치 및 방법
CN114446237A (zh) * 2021-12-30 2022-05-06 深圳市华星光电半导体显示技术有限公司 Oled面板显示补偿方法、装置、显示设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000171718A (ja) * 1998-12-01 2000-06-23 Olympus Optical Co Ltd 共焦点光走査装置
JP2014126699A (ja) * 2012-12-26 2014-07-07 Sony Corp 自発光表示装置、自発光表示装置の制御方法及びコンピュータプログラム
JP2015022123A (ja) * 2013-07-18 2015-02-02 キヤノン株式会社 表示装置、表示装置の制御方法、及び、プログラム
US20170213493A1 (en) * 2016-01-22 2017-07-27 Samsung Display Co., Ltd. Image sticking compensating device and display device having the same

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998036312A1 (fr) * 1997-02-12 1998-08-20 Citizen Watch Co., Ltd. Appareil electro-optique comportant un panneau de cristaux liquides antiferrodielectrique
JP2001071718A (ja) 1999-09-06 2001-03-21 Sumitomo Rubber Ind Ltd 空気入りタイヤ
US7170477B2 (en) * 2000-04-13 2007-01-30 Sharp Kabushiki Kaisha Image reproducing method, image display apparatus and picture signal compensation device
JP3995505B2 (ja) * 2002-03-25 2007-10-24 三洋電機株式会社 表示方法および表示装置
DE10354820A1 (de) * 2003-11-24 2005-06-02 Ingenieurbüro Kienhöfer GmbH Verfahren und Vorrichtung zum Betrieb eines verschleißbehafteten Displays
US7742032B2 (en) * 2004-12-31 2010-06-22 Intel Corporation Image adaptation phase-in
US8558765B2 (en) * 2005-11-07 2013-10-15 Global Oled Technology Llc Method and apparatus for uniformity and brightness correction in an electroluminescent display
JP5050462B2 (ja) * 2006-09-15 2012-10-17 ソニー株式会社 焼き付き抑制装置、自発光表示装置、画像処理装置、電子機器、焼き付き抑制方法及びコンピュータプログラム
US8456492B2 (en) * 2007-05-18 2013-06-04 Sony Corporation Display device, driving method and computer program for display device
AU2008258912B2 (en) * 2007-06-08 2013-12-05 Joled Inc. Display apparatus, display apparatus driving method, and computer program
KR100902219B1 (ko) * 2007-12-05 2009-06-11 삼성모바일디스플레이주식회사 유기전계발광 표시장치
JP5311937B2 (ja) 2008-09-05 2013-10-09 キヤノン株式会社 撮像装置及び画像表示方法
JP5321032B2 (ja) 2008-12-11 2013-10-23 ソニー株式会社 表示装置、輝度調整装置、輝度調整方法及びプログラム
US8786625B2 (en) * 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
WO2012078262A1 (en) * 2010-12-06 2012-06-14 Dolby Laboratories Licensing Corporation Methods and apparatus for image adjustment for displays having 2d and 3d display modes
EP2642475B1 (en) * 2012-03-21 2018-07-11 Sony Mobile Communications Inc. Method of temperature compensation for a display panel of a portable electronic device
US9177503B2 (en) * 2012-05-31 2015-11-03 Apple Inc. Display having integrated thermal sensors
US9524676B2 (en) * 2013-06-24 2016-12-20 Apple Inc. Organic light-emitting diode display with burn-in reduction capabilities
US9613591B2 (en) * 2014-08-29 2017-04-04 Lg Electronics Inc. Method for removing image sticking in display device
US20160267834A1 (en) * 2015-03-12 2016-09-15 Microsoft Technology Licensing, Llc Display diode relative age
US10089959B2 (en) * 2015-04-24 2018-10-02 Apple Inc. Display with continuous profile peak luminance control
CN109983529B (zh) * 2017-02-24 2022-04-05 夏普株式会社 有机el显示装置和有机el元件的劣化量的估算方法
US11361729B2 (en) * 2017-09-08 2022-06-14 Apple Inc. Burn-in statistics and burn-in compensation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000171718A (ja) * 1998-12-01 2000-06-23 Olympus Optical Co Ltd 共焦点光走査装置
JP2014126699A (ja) * 2012-12-26 2014-07-07 Sony Corp 自発光表示装置、自発光表示装置の制御方法及びコンピュータプログラム
JP2015022123A (ja) * 2013-07-18 2015-02-02 キヤノン株式会社 表示装置、表示装置の制御方法、及び、プログラム
US20170213493A1 (en) * 2016-01-22 2017-07-27 Samsung Display Co., Ltd. Image sticking compensating device and display device having the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7409298B2 (ja) 2018-02-28 2024-01-09 日本ゼオン株式会社 不織布およびフィルター

Also Published As

Publication number Publication date
KR20200050453A (ko) 2020-05-11
KR102107640B1 (ko) 2020-05-07
DE202018006855U1 (de) 2023-10-23
DE202018006751U1 (de) 2022-07-06
US11361729B2 (en) 2022-06-14
EP3454323A1 (en) 2019-03-13
CN109474769B (zh) 2022-03-25
US20220358895A1 (en) 2022-11-10
US20190080666A1 (en) 2019-03-14
JP2021012380A (ja) 2021-02-04
KR102425302B1 (ko) 2022-07-25
US11823642B2 (en) 2023-11-21
CN109474769A (zh) 2019-03-15
KR20190028286A (ko) 2019-03-18
EP4083985A1 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
KR102425302B1 (ko) 번-인 통계 및 번-인 보상
US11164540B2 (en) Burn-in statistics with luminance based aging
US11164541B2 (en) Multi-frame burn-in statistics gathering
CN112055875B (zh) 电子显示器部分图像帧更新系统和方法
US11735147B1 (en) Foveated display burn-in statistics and burn-in compensation systems and methods
US11170690B2 (en) Pixel leakage and internal resistance compensation systems and methods
JP2015007816A (ja) 画像補正装置、撮像装置及び画像補正用コンピュータプログラム
US20150187051A1 (en) Method and apparatus for estimating image noise
KR102462265B1 (ko) 지향성 스케일링 시스템들 및 방법들
CN111819618B (zh) 像素对比度控制系统和方法
US11989854B2 (en) Point-of-view image warp systems and methods
US20140327695A1 (en) Image processing apparatus and control method therefor
US10068548B1 (en) Sub-pixel layout resampler systems and methods
JP2017126885A (ja) 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
US11955054B1 (en) Foveated display burn-in statistics and burn-in compensation systems and methods
US20240005850A1 (en) Two-Dimensional Temperature Sensing and Compensation
KR102669955B1 (ko) 백라이트 재구성 및 보정
WO2024064105A1 (en) Foveated display burn-in statistics and burn-in compensation systems and methods
US20240135856A1 (en) Multi-least significant bit (lsb) dithering systems and methods
US11321813B2 (en) Angular detection using sum of absolute difference statistics systems and methods
US10187622B1 (en) Image data format conversion systems and methods
JP6150576B2 (ja) 画像処理装置及びその制御方法
KR20230048442A (ko) 백라이트 재구성 및 보정

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200525