JP2009512896A - 表示装置、表示制御装置及び表示方法 - Google Patents

表示装置、表示制御装置及び表示方法 Download PDF

Info

Publication number
JP2009512896A
JP2009512896A JP2008536783A JP2008536783A JP2009512896A JP 2009512896 A JP2009512896 A JP 2009512896A JP 2008536783 A JP2008536783 A JP 2008536783A JP 2008536783 A JP2008536783 A JP 2008536783A JP 2009512896 A JP2009512896 A JP 2009512896A
Authority
JP
Japan
Prior art keywords
display
image
pixel
light source
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008536783A
Other languages
English (en)
Inventor
マーグリス、ニール
Original Assignee
デジタル ディスプレイ イノベーション リミテッド ライアビリティ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デジタル ディスプレイ イノベーション リミテッド ライアビリティ カンパニー filed Critical デジタル ディスプレイ イノベーション リミテッド ライアビリティ カンパニー
Publication of JP2009512896A publication Critical patent/JP2009512896A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2053—Intensity control of illuminating light
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2046—Positional adjustment of light sources
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/342—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/023—Display panel composed of stacked panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G09G2320/062—Adjustment of illumination source parameters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • G09G2360/142—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element the light being detected by light detection means within each pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096—Details of the interface to the display terminal specific for a flat panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3433—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Processing Of Color Television Signals (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

画像処理によって、画像変調器及び光源の両方を制御することによって、表示品質を効果的に向上させ、より良い画像を提供する。画像処理システムは、ユーザ入力、システム構成及び設計情報と、センサフィードバック、画素変調情報及び照明制御情報とを用いて、画素毎にディスプレイ環境の特性を判定する。この画素毎の特性情報は、受信された実時間表示データの１つ以上のフレームに結合される。画像処理システムは、各受信画素を処理し、変更された対応する出力画素を生成する。各フレームの各画素は、これに応じて処理される。変更された出力画素を生成することに加えて、画像処理システムは、光源を制御できる制御情報を生成する。光源制御情報は、個々のランプ、チューブ又はＬＥＤを制御でき、若しくは光源のブロック又はサブセットを制御できる。これにより得られるディスプレイは、画像の一貫性が改善され、色域が拡大され、ダイナミックレンジが広くなり、動きの大きいコンテンツをより高画質に再生することができる。

Description

関連出願
本出願は、２００５年６月２０日に出願された、米国特許出願番号第１１／１５８，４７６号の一部継続出願である。
本発明は、デジタル表示システムのための画像処理及び変調装置に関し、詳しくは、高度な画像処理及び画像変調と共に照明制御を実行して、高画質な出力画像を生成する表示装置及び表示方法に関する。
薄膜トランジスタ（Thin Film Transistor：ＴＦＴ）ディスプレイとも呼ばれるアクティブマトリクス型液晶ディスプレイ（Active Matrix Liquid Crystal Display：ＡＭＬＣＤ）、シリコン反射型ＬＣＤ（silicon Reflective LCD：ｓｉ−ＲＬＣＤ）、反射型液晶デバイス（Liquid Crystal On Silicon：ＬＣＯＳ）、強誘電性のディスプレイ（ferroelectric display：ＦＬＣ）、電界放出ディスプレイ（Field Emission Display：ＦＥＤ）、カーボンナノチューブベースのナノ放出ディスプレイ（Nano Emissive Display：ＮＥＤ）、エレクトロルミネセンスディスプレイ（ElectroLuminescent Display：ＥＬＤ）、発光ダイオード（Light Emitting Diode：ＬＥＤ）、有機ＬＥＤ（Organic LED：ＯＬＥＤ）、プラズマディスプレイ、パッシブマトリクス液晶ディスプレイ（Passive matrix Liquid Crystal Display：ＬＣＤ）、薄膜トランジスタ（Thin Film Transistor：ＴＦＴ）、シリコンクリスタル反射型ディスプレイ（Silicon X-tal Reflective Display：ＳＸＲＤ）、デジタルミラーディスプレイ（Digital Mirror Display：ＤＭＤ）を含む多くの種類のフラットパネルディスプレイ（Flat Panel Display：ＦＰＤ）技術が知られている。
ＦＰＤの製造には、特別な処理が必要であり、多くの場合、表示装置の全体の領域に亘る一貫性に関して許容可能な視覚的品質を達成することは困難である。新型の表示装置は、歩留りの問題以外に、動作条件及び表示装置の使用期間によって、表示特性が変化するという問題もある。また、殆どのＦＰＤ技術は、表示画像を照射するために、例えば、蛍光ランプ、冷陰極蛍光ランプ、超高電力（Ultra High Power：ＵＨＰ）ランプ又は発光ダイオード（ＬＥＤ）等の光源を必要とする。ＬＥＤは、様々な材料から形成することができ、各材料は、それぞれの「色温度」特性を有することがある。１つ以上の白色又は有色のＬＥＤアレーと共に従来型のランプを用いるハイブリッド型の光源を使用するシステムもある。一具体例として、日本のシャープ株式会社は、３７インチ、５７インチのＬＣＤテレビジョン受像機のハイブリッドバックライトとして、赤色ＬＥＤと共に冷陰極蛍光ランプを用いている。
これらの技術の幾つかは、直接、ＦＰＤとみなすことができ、他の技術は、画像が投写され、ユーザが投写された画像を見るマイクロディスプレイデバイスとして用いられる。
投写表示方式では、投写型又は反射型の「マイクロディスプレイ」技術を用いることができる。所望の全色域を達成するために、マイクロディスプレイベースのパラレル色投写方式では、それぞれが赤色、緑色、青色（ＲＧＢ）成分のための３つの個別のＬＣＤ画像変調器を用いることができる。空間的色フィルタ又は十分高いレートにおける連続した色フィールドによってＲ、Ｇ、Ｂを生成する単一のＬＣＤ画像変調器は、低コストに実現できる。例えば、１つ、３つ又はこれ以上のイメージャと共に、異なる色のＬＥＤ及びレーザ等の他の光源を用いることもできる。有名なマイクロディスプレイ技術の他の具体例として、例えば、テキサスインスツルメンツのデジタルライトプロセッシング（Digital Light Processing：ＤＬＰ）等の反射型技術及び例えば、ＬＣＯＳイメージャ等の技術がある。ソニー株式会社は、幾つかの背面投写テレビジョン方式において、シリコンクリスタル反射型ディスプレイ（Silicon X-tal Reflective Display：ＳＸＲＤ）マイクロディスプレイを用いている。他にも、高温ポリシリコン（High Temperature Poly-Silicon：ＨＴＰＳ）技術、微小電子機械システム（Micro Electro-Mechanical System：ＭＥＭＳ）又はカーボンナノチューブベースの表示装置も提案されている。
投写型ディスプレイは、関連する更なる特性を有する投写パスを有する。例えば、平坦なスクリーンの中央より下にあるプロジェクタから画像を投写すると、画像の上辺が下辺より長い台形歪みが生じ、これは、「キーストーン」効果とも呼ばれる。画像が理想的な位置から、画像の放射軸に沿って遠ざかると、放射歪み（Radial distortion）が生じる。画像は、ディスプレイのコーナ部分で、最大画角を有するので、コーナ部分は、他の表示領域より、放射歪みの影響が強い。放射歪みには、画像の幅がコーナに向かって狭くなる樽型歪みと、画像の幅がコーナに向かって広くなる糸巻き型歪みとが含まれる。放射歪みを含むレンズに関連する歪みは、画像変形を引き起こす場合がある。また、平坦ではないスクリーン又は地球の磁場の影響で歪みが生じることもある。また、背面投写方式を薄型にするために、投写パスを短くすることも、歪みを大きくする原因となる。表示系の不均一な投写特性は、単一の画素又は画素のグループベースの「歪みマップ」によって表現することができる。例えば、均一ではない多数の三角形を用いた「テセレーションマップ（tessellation map）」によって、表示歪みを特徴付けることができ、ここでは、三角形のメッシュの密度が高い程、歪みの量が大きいことが示される。
画像変調器は、パターン内で一様に区切られた固定された数の画素を有する。画像変調器から表示スクリーンに画像を投写する際に、画素間隔の均一性に変化が生じる。換言すれば、画素は、画像変調器のサブエリアと、表示スクリーンの対応するサブエリアとの間で、１対１の関係にはない。したがって、表示スクリーンの幾つかの表示領域は、表示スクリーンの画素より多くの画像変調器の画素を有し、表示スクリーンの他の表示領域は、表示スクリーンの画素より少ない画像変調器の画素を有する。
パノラマ表示では、曲面スクリーンの端の近傍で画像オブジェクトが動くと、モーションアーチファクトが出現する。平坦なスクリーンへの投写に動き適応フィルタリングを適用した場合、プロジェクタからオブジェクトへの距離の差分により、曲面スクリーン上で動きオブジェクトに可視の動きが生じる。更に、非常に大きな曲面スクリーンでは、複数の光源を使用しなければ、必要な解像度及び明るさを達成できない。非常に大きい平坦なスクリーンにおいても、明るさ及び色を正確に制御するためには、通常、複数の光源が必要である。複数の光源の制御は、大画面フォーマットディスプレイにおいて、高画質を達成するための重要な因子になる。
曲面スクリーン及び非常に大きいスクリーンにおける表示品質を改善するために、コンテンツの作成の間、一般的に、多視点カメラ方式が用いられる。例えば、２つのカメラが、シーンの半分を重ね合わせながら録画し、捕捉するシーンのコンテンツを増加させる。コンテンツは、より広いシーンの捕捉及び同じシーンの異なる角度からの捕捉によって増加される。階層符号化技術は、ベース層としての標準コーデックストリーム及び補足層としての強調情報を含むことができる。２つの視野が僅かに異なる角度からのものであっても、結合された２つのカメラビューの圧縮比は、各ビューを個々に捕捉し、圧縮した場合の総合的な圧縮比より小さい。更に、第２のカメラは、第１のカメラの視野にないビューを提供することもできる。
異なるビューについて更なるカメラ角度を用いるシステムは、後の使用のために、符号化され、圧縮された更なるデータを提供できる。また、多視点カメラシステムは、単一のカメラの限定的な焦点深度を補うことができ、シーンの深度情報を感知し、記録する深度検出センサを使用することができる。また、多視点カメラを用いることによって、ユーザがシーンを見る角度を選択でき、シーンをズームイン又はズームアウトでき、又は、ゲームプレイの結果として又は同様の操作によって、異なるビューのシーンを表示させることができる、よりインタラクティブ性が高い再生環境を実現することもできる。
また、立体視ビデオ捕捉も、第１のカメラが左眼のビューを記録し、第２のカメラが右眼のビューを記録するマルチカメラシステムを用いる。カメラレンズは、一定の距離に焦点を絞るため、１つのカメラは、シーン内の全てのオブジェクトについて、１つの焦点面を用いる。マルチカメラシステムは、それぞれが単一のシーンの異なる焦点面を捕捉するために複数のカメラを用いることができる。これにより、事実上、焦点深度が深くなる。デジタル画像処理によって、これらのマルチカメラシステムの焦点調節を更に改善できる。
３次元双眼視表示装置には、立体写真（アナグリフ）ディスプレイ（anaglyph display）、フレームシーケンスディスプレイ（frame sequence display）、裸眼立体視ディスプレイ（autostereoscopic display）、シングル及びマルチターンのヘリクスディスプレイ（single and multi-turn helix display）等がある。これらは、通常、複数のカメラデータチャンネルを有する。立体写真システムでは、ユーザは、通常、左右の目が異なるビューを知覚するように、赤色及び緑色の眼鏡を掛ける必要がある。フレーム順次制御方式では、左右のビューを分離するためにシャッターガラスを使用する。裸眼立体視ディスプレイでは、レンチキュラレンズ及びホログラム光学素子を使用する。シングル又はマルチターンのヘリクスディスプレイでは、特別な眼鏡を装着することなく、複数の観察者が見ることができる複数の半透明の表示画面を用いる。
多視点カメラシステムは、データの捕捉及び再生の両方の間、画像処理による利益を得ることができる。捕捉の間は、異なるカメラ画像を相互に登録し、結合した映像を生成することができる。登録は、カメラから他のカメラに、及びカメラから観察者に映像を関連付ける。より高度な捕捉システムでは、様々なビデオ画像を３Ｄ環境に捕捉することができ、ここでは、ビデオ画像の３Ｄ三角マップを用いて、ビデオデータベースを生成する。再生時には、ユーザに表示されるビューを処理することができ、例えば、複数のビデオ登録又は３Ｄ三角マップを用いて処理し、最良のビューをユーザに提供することができる。ユーザの視点は、捕捉された映像とは異なる独特なものになる場合があるため、表示出力システムは、ビデオデータを処理して、幾何学的な変換を介して、捕捉されたビューの１つではない、ユーザのための新たなビューを生成する。
ＬＣＤ材料の生来的な応答特性のため、ＬＣＤベースの投写及び直視型表示装置は、それぞれが固有のフリッカ特性を有し、異なるモーションアーチファクトを示す。更に、画素の状態を変更するために、ＬＣＤの切換には、有限の期間がかかる。各ディスプレイ画素を制御する能動トランジスタを有するアクティブマトリクス薄膜トランジスタ（Thin Film Transistor：ＴＦＴ）ディスプレイでは、ＬＣＤ材料の組成及び厚さ及びスイッチング技術に関連するスイッチング期間が必要である。また、ある状態から他の状態への遷移は、必ずしも線形ではなく、画素値のシーケンスによって異なることがある。
画面上の各位置の各画素において、各色成分を正確に再現する能力も高画質の表示装置に望まれる機能の１つである。表示出力画素は、通常、三原色（赤、緑、青）又は他の組合せの色成分から構成されるため、各画素の各色成分は、通常、複数のサブ画素から構成される。なお、「画素」という用語は、３個１組のサブ画素を記述する場合にも用いられる。画面の画素にマッピングされた画素の各色成分は、一様にマッピングされない場合があり、幾つかの画素が明るすぎ、他の画素が十分に明るくないことがある。この不均一は、光路特性、鏡レンズ、光源又はこれらの任意の組合せの関数である場合がある。ＬＥＤバックライトＦＰＤと同様に、ＬＥＤの間隔及び位置によって、明度パターンが不均一になることがあり、この場合、ＬＥＤにより近い画像変調器の画素が、ＬＥＤから遠い画像変調器の画素より明るく見える。色付きのＬＥＤ又は色フィルタを有するＬＥＤの場合、変調器画素は、明度の差だけではなく、色の不均一性が生じることがある。ＬＥＤの明るさは、様々なパルス幅変調（Pulse Width Modulation：ＰＷＭ）技術を用いて変調でき、又は電圧又は電流を調整することによって変化させることができる。ＬＥＤは、近接するグループ、色、任意の組合せによってまとめて制御でき、また、最も高度な場合、各ＬＥＤを個々に制御できる。
表示装置は、通常、色、明度、ホワイトバランス（色温度）及び他の設定のための様々なユーザ操作子を備える。ユーザは、好み、周囲の照明条件、コンテンツの種類（ビデオ、コンピュータ）等に基づいて、操作子を調整する。時間の経過に伴い、ディスプレイの経年変化のために、ユーザが更なる調整を行う必要が生じる場合があり、又はＦＰＤがこのような調整を自動的に行うこともできる。熟練した技術者は、所定の器具を用いて、より高度な調整を実行できるが、ユーザによる調整は、通常、ディスプレイの一部ではなく、システム全体に亘って行われる。幾つかの表示方式は、光源及び周囲の照明条件の両方からの光出力フィードバックを測定する機能を有する。このようなフィードバックシステムを用いて、表示装置の部品の温度及び経年変化の影響、並びに変化周囲光条件を補償することができる。このような調整のためのスケールは、特定の測定値及び調整の限界範囲に応じて異なる。コンテンツの種類に基づく調整は、数秒で行ってもよいが、動的制御のためのフレーム間の調整は、より高速に、数ミリ秒の単位で実行する必要がある。周囲光条件に基づく調整は、一日の時間帯によって自然に変化し、及び室内の照明及び他の光源の状態に応じて変化する。
図１Ａは、複数のＬＥＤ１０４から構成されたＬＥＤアレー１０２ｆの正面図を示している。各ＬＥＤ１０４は、光源であり、白色ＬＥＤであってもよく、例えば、赤色、緑色又は青色等の様々な色の１つのＬＥＤであってもよい。また、他の色のＬＥＤを用いてもよく、色は、ＬＥＤ構造の一部であってもよく、各ＬＥＤ１０４の一部としての色フィルタであってもよく、ＬＥＤアレー１０２ｆに対するフィルタ機構であってもよい。ＬＥＤアレー１０２ｆは、画像変調器と協働して、表示色の全域を生成できる、制御可能で、一貫性がある光源を実現するための色のパターンに配置することができる。
図１Ｂは、複数のＬＥＤ１０４から構成されたＬＥＤアレー１０２ｓと、マルチレンズ系１０８、１１２と、様々な光変調技術を用いることができるマイクロディスプレイイメージャ、すなわち画像変調器１１０とから構成されるサブシステム１００の側面図である。ＬＥＤ１０４は、白色又は多色のＬＥＤであってもよく、また、サブシステム１００は、更なる色システム（図示せず）、例えばカラーホイールを備えていてもよい。一具体例においては、マルチレンズ系１０８は、マイクロディスプレイイメージャ１１０を介して光を集中させ、マルチレンズ系１１２は、光の投写を制御する。投写方式は、正面投写方式であっても背面投写方式であってもよく、他のレンズ及びミラー、ダイクロイック再結合器（dichroic recombiner）及びフィルタを用いて、スクリーン（図示せず）に画像を投写する。マイクロディスプレイイメージャ１１０は、各画素を介して、変調された光を透過させる透過型ディスプレイであってもよく、変調された光を反射させる反射型ディスプレイであってもよい。マイクロディスプレイイメージャ１１０の解像度は、通常、光源を構成する部品の解像度よりはるかに高い。
図１Ｃは、ＬＣＤパネル方式のサブシステム１４０の側面図であり、バックライト１２２は、ＬＥＤのストリップ又はアレーの何れかから構成されている。ＬＣＤディスプレイ、すなわち画像変調器１３０の解像度は、通常、光源を構成する部品の解像度よりはるかに高い。例外として、ＯＬＥＤでは、各ＬＣＤ画素に、画素の一部として光源があり、したがって、光源の解像度は、ディスプレイ及びＮＥＤの解像度と同じであり、カーボンナノチューブは、適切に印加された電圧が、電子によって、各ナノチューブを励起し、画素又はサブピクセルの色付きの蛍光体を駆動し、「発光」させる。明るさ及び色の波長は、電子の量、使用される蛍光体及び他の様々な因子に依存する。
ＬＥＤバックライト付き表示装置の場合、表示装置の光の均一性を改善するために、オプションとして、様々なフィルタ、色及び光拡散フィルム（color and light diffusion gradient）、輝度上昇フィルム（Brightness Enhancement Film：ＢＥＦ）、拡散板（diffusion plates）、導光板（light guide）及び混合導光板（mixing light guides）１２６を用いることができる。また、幾つかのバックライト付き表示装置は、明るさ及び波長の変化を検出できる１つ以上の光センサ（図１には示していない。）を備えていてもよい（Hamamatsu product概要参照）。
殆どＬＣＤベースの画像変調器（１１０、１３０）は、ラスタスキャン方式を採用し、各画素は、それぞれの表示フレーム期間の間にリフレッシュされる。したがって、最後のサイクルから画素の値が変化したか否かにかかわらず、全てのリフレッシュサイクルの間、全ての出力画素がディスプレイに書き込まれる。各Ｒ、Ｇ、Ｂ色成分は、通常、幾つかのビットによってデジタル的に表される異なる強さ（intensity value）を有する。例えば、各Ｒ、Ｇ、Ｂ色成分を８ビットで表す場合、各成分は、０〜２５５の範囲に亘る２８（＝２５６）個の強さを有する。理想的なデジタルデバイスにおいては、色成分の強さを、例えば、値Ｘから値Ｙに変更する場合、Ｙ値にかかわらず、同じ長さの期間が必要である。すなわち、理想的なシステムでは、色成分の値を２から３に変更するために必要な期間と、値を２から２００に変更するために必要な期間とは同じになるはずである。しかしながら、ＬＣＤ画像変調器の画素の性質のため、変調光の強さの遷移は、純粋にデジタル的ではなく、必ずしも線形ではない。マーガリス（Margulis）他による米国特許第６，３４０，９９４号には、前フレームの値及び表示変調システムの既知の伝達関数に基づいて、画像の時間関連の表現が可能な限り正確であることを保証し、所望のフレームの表示の間、出力を目標値に調整する時間的ガンマ処理（Temporal Gamma Processing：ＴＧＰ）が開示されている。
変調器ベースの表示装置の光源は、意図する色域を一様に正確に再生することができない場合があり、画面上の異なる変調器の画素位置は、光源によって異なる影響を受け、色及び明度の表示が不均一になる場合がある。更に、光源の出力特性は、時間の経過によって変化することがあり、これを補償する必要がある。表示装置は、光源の状態を判定するための適切なセンサを備えていてもよい。
したがって、上述した課題に鑑み、本発明の目的は、画像変調器及び光源の両方を制御することによって、表示品質を効果的に向上させ、より良い画像を提供する表示装置及び表示方法を提供することである。
本発明は、画像変調器及び光源の両方を制御して表示品質を向上させる画像処理を実行する表示装置及び表示方法を提供する。
画像処理システムは、ユーザ入力、システム構成及び設計情報、センサフィードバック、画素変調情報及び照明制御情報を考慮して、画素毎にディスプレイ環境の特性を判定する。この画素毎の特性情報は、受信された実時間表示データの１つ以上のフレームに結合される。画像処理システムは、各受信画素を処理し、変更された対応する出力画素を生成する。各フレームの各画素は、これに応じて処理される。
変更された出力画素を生成することに加えて、画像処理システムは、個々のランプ、チューブ又はＬＥＤを制御でき、若しくは光源のブロック又はサブセットを制御できる光源制御情報を生成する。光源は、表示装置内の照明素子を含み、更に、ディスプレイの周りの周囲光及び部屋全体の周辺に影響する光を含むことができる。
例示的なフラットパネル表示装置は、バックライトとして、赤色、緑色及び青色ＬＥＤのパターン化されたアレーを備え、及び画像変調器としてＴＦＴパネルを備える。例えば、１６００×１２００画素解像度を有するＴＦＴパネルについて、２４０個のＬＥＤが個々に制御される。パネルに亘って、可能な限り均一で自然な色及び明度を生成するために、様々なフィルタ及び拡散フィルムが使用される。パネルの位置に応じて、各ＴＦＴ画素は、ＲＧＢ３個１組のＬＥＤの１組以上から影響を受ける。この例示的な表示装置における表示出力処理（Display Output Processing：ＤＯＰ）では、各ＬＥＤを変調し、輝度を制御し、ＴＦＴパネルのための画素値を調整する。これにより得られるディスプレイは、画像の一貫性が改善され、色域が拡大され、ダイナミックレンジが広くなり、動きの大きいコンテンツをより高画質に再生することができる。
本発明は、画像表示装置に使用される電子画像処理技術及び画像処理システムを改善する。本発明に基づく表示装置は、デジタル画像変調器と、画像変調器を照射する１つ以上の光源との両方を制御する表示出力処理モジュールを備える。
図２は、画像処理システム２００を示しており、画像処理システム２００は、表示入力プロセッサ（Display Input Processor：ＤＩＰ）２１０と、表示出力プロセッサ（Display Output Processor：ＤＯＰ）２３０を含む表示装置２４０とを備え、ＤＩＰ２１０とＤＯＰ２３０は、データバス２５０によって接続されている。また、表示装置２４０は、表示画面２６０に接続され、及び変調器ドライバ２４２を介してＤＯＰ２３０に接続された画像変調器２４４（図１の画像変調器１１０、１３０に相当する。）を備える。また、ＤＯＰ２３０は、表示光源２７０に接続された光源ドライバ２５２に接続され、及び光センサ２４６からパス２４８を介して、ディスプレイセンサフィードバックを受信する。ＤＩＰ２１０は、好ましくは、ライン２０５０を介して画像データを受信し、画像を空間的及び時間的に再生（reconstruct）する。ＤＩＰ２１０の出力は、画像の視覚的品質を向上させ、表示装置固有の処理を実行するＤＯＰ２３０によって処理される。
画像変調器２４４は、ＴＦＴディスプレイ等のＬＣＤベースの直視型表示装置の一部であってもよく、この場合、表示画面２６０は、フラットパネル表示装置に組み込まれた部分であり、変調器ドライバ２４２は、表示画面２６０の画素を制御する。また、ＤＯＰ２３０は、フラットパネル表示装置のタイミング制御（Timing Control：ＴＣＯＮ）ブロックを含むことができる。画像変調器２４４が投写方式の一部である場合、画像変調器２４４は、投写され、表示画面（以下、表示スクリーンともいう）２６０に拡大される画像を形成する。投写方式では、画像変調器２４４は、比較的小さな（数インチの）マイクロディスプレイ素子であり、固定式であっても、可動式であってもよい。変調器ドライバ２４２は、比較的簡単なものであってもよく、ＤＬＰ投写方式の場合は、マイクロディスプレイに固有の複雑な処理を行ってもよい。
ＦＰＤ直視型画面及び投写方式ベースのマイクロディスプレイの両方における照明素子の選択は、表示品質を高めるための主要な要素である。本発明に基づく制御可能な照明素子は、表示装置に全体的な明るさを与えることに加えて、画像変調技術と組み合わせて、表示結果を向上させる。高度な画像処理と、照明素子及び画像変調器の両方を制御することによって、広いダイナミックレンジ及び拡大された色域を有するデジタル表示装置を開発することができる。人間の目は、多くの場合、解像度の高さのみより、ダイナミックレンジの広さを明確に知覚でき、したがって、ダイナミックレンジを広げることによって、表示装置を明確に向上させることができる。ＬＣＤ材料は、非常に強い光を完全に遮断できるわけではなく、適切な黒レベルを実現することは、光源のインテリジェントな処理及び制御によって解決できる更なる課題である。
各走査に亘る異なるポイントで光量（light intensity）を調整する能力を有する走査型レーザを用いた投写方式は、ダイナミックレンジが改善された表示装置を実現できる。走査型レーザは、例えば各画素の全光量範囲に亘って光量を完全に変えることができないとしても、光量を低解像度で変化させるとともに、フル解像度のマイクロディスプレイを組み合わせることによって、ダイナミックレンジが広い投写方式を実現することができる。多波長走査型レーザは、ダイナミックレンジが広い投写方式を実現するために、マイクロディスプレイと組み合わせることができ、また、色域を広げるために用いることもできる。また、レーザ光照明の走査パスをマイクロディスプレイ画像の走査に同調させて、動き描写を強化する制御を、走査型レーザの制御に含ませることができる。
照明成分の制御は非常に重要であるので、画像変調器２４４の画素を処理することに加えて、ＤＯＰ２３０は、表示光源２７０を制御する処理を実行する。単一ランプの場合、処理は、非常に簡単なものであるが、この場合も、信号は、高電圧ランプからの分離するために、光源ドライバ２５２を通過する。表示光源２７０が複数の個々に制御される素子、例えばＬＥＤアレーを含む場合、ＤＯＰ２３０は、各ＬＥＤの輝度レベルを決定するために、大規模な処理を実行することができる。ＤＯＰ２３０が決定した輝度レベルに基づいて、光源ドライバ２５２は、ＬＥＤのグループ又は個々のＬＥＤの輝度信号を制御することができる。輝度は、アナログ電流又は電圧法、又はデジタルパルス幅変調（Pulse Width Modulation：ＰＷＭ）法によって、制御することができる。
一具体例においては、投写方式では、画像変調器２４４としてのＤＬＰマイクロディスプレイと組み合わせて、表示光源２７０として、個々に制御されたＬＥＤのアレーを用いることができる。ＬＥＤは、白色ＬＥＤであってもよく、カラーホイール又は他の色システムと共に用いてもよく、又は多色のＬＥＤを用いてもよい。また、複数の光のプレーンから構成されるハイブリッド照明システムを設計してもよい。例えば、ＵＨＰランプを被制御ＬＥＤに組み合わせてもよく、又はＯＬＥＤ、ＮＥＤ又は他のＦＥＤベースのイメージングプレーンによって、ＬＥＤバックライト装置を更に強化してもよい。特定の位置に基づくシステム及びゲームマシンでは、異なる効果を達成するために投写系を他の光源に組み合わせることができる。様々な光源、例えば、レーザ光及びストロボ光の両方を表示装置内及び視聴環境内で組み合わせることによって、特別な環境を実現できる。
光センサ２４６は、様々な種類のものがあり、表示装置内の光レベル及び光波長を検出でき、また、周囲の外部照明条件を検出できる。光センサ２４６は、単一の波長に基づいていてもよく、又は人間の目の振る舞いをより正確に真似る三刺激値センサであってもよい。他の、より高度な光センサ装置として、例えば、投写系によって生成された画像を記録するカメラ等の撮像センサがある。カメラは、組み立てられた表示製品の一部であってもよく、製造時及びシステムの出荷時設定に使用され、製品の一部としては、出荷されなくてもよい。光センサ２４６は、アナログからデジタルへの変換等の様々な変換及び光センサ２４６のモジュール内、外部の処理モジュール（図示せず）又はＤＯＰ２３０内で実行できる他の信号処理を必要とする。センサフィードバックは、個々にパラメータ化してもよく、包括的な表示パラメータに組み入れてもよい。
ＤＩＰ２１０及びＤＯＰ２３０の両方は、それぞれの処理に用いることができるメモリバッファ、フレームバッファ、ラインバッファ又はキャッシュの１つ以上を備える。メモリバッファの使用は、システムの設計におけるコスト及び性能に影響するので、重要な検討事項である。特に、パイプライン動作を用いることによって、システムに亘る総合的なレーテンシーを減少させることができる。可能であれば、ラインバッファは、オンザフライ処理（on the fly processing）に使用され、フレームは、次フレームの処理のために保存される。現フレームの処理がそのフレームへの完全なアクセスを必要とする場合、フルフレームのレーテンシーが追加される。
画像変調器２４４の出力より内部の画像フォーマットの精度が低いと、様々な各画像処理ステップにおいて情報が失われる場合があるので、ＤＩＰ２１０及びＤＯＰ２３０は、高精度の内部フォーマットで画像データを処理し、詳細な画像情報を保存する。例えば、ＤＩＰ２１０及びＤＯＰ２３０は、画素解像度が、画像変調器２４４の空間的解像度出力の４倍（垂直方向及び水平方向に倍）の処理画像を生成し、維持できる。同様に、画像変調器２４４が１色成分当たり８ビットの制約を有していたとしても、画像処理の間、各色成分のための内部のフォーマットは、例えば、浮動小数値を含む３２ビット以上に維持できる。また、画素アドレス情報も、拡張された整数又は浮動小数点による表現を用いて、画像変調器２４４への最終的な出力より高精度に処理できる。必要な出力解像度及び画像変調器２４４のフォーマットに一致するように、後の処理ステップにおいて、高い内部解像度、色表現及び画素アドレス情報には、ディザ処理又はこの他の処理が施される。
図３は、図２のＤＩＰ２１０の構成を示すブロック図であり、ＤＩＰ２１０は、画像処理モジュールとして、アナログ入力制御モジュール３０２と、デジタル入力制御モジュール３０４と、圧縮入力制御モジュール３１２と、画像再生（Image Reconstruction：ＩＲ）モジュール３１８とを備え、これらは、全て、共通のデータバス３５０に接続されている。インタフェース３０６は、ＤＯＰ２３０からＤＩＰ２１０を分離することができ、所定の工業規格又は専用のフォーマットに従ったデータバス２５０を使用する。また、ＤＩＰ２１０は、１つ以上の入力データインタフェース３００を備える画像処理システム２００からライン２０５０を介して画像データ入力を受信する。画像データは、アナログビデオデータ、デジタルビデオデータ、選局されていないデータ（non-tuned data）、グラフィックデータ、又は圧縮データのうちの１つ以上を含むことができる。アナログビデオデータは、例えば、コンポジットビデオ、Ｓビデオ、又は何らかのコンポーネントＹＵＶ／ＹＣｒＣｂ等、システム固有のビデオフォーマットであってもよい。共通の搬送波上で複数のチャンネルを有することができる放送配信システムから受信される選局されていないデータは、チューナを必要とする場合があり、チューナは、ＤＩＰ２１０が備えていてもよく、ＤＩＰ２１０から独立していてもよく、このチューナによって、チャンネルから関連するデータを選局することができる。
デジタル入力データは、ＲＧＢデータフォーマットであってもよく、ＹＵＶベースのビデオフォーマットであってもよい。圧縮データは、ＭＰＥＧ−２、Ｈ．２６４を含むＭＰＥＧ−４、ウェーブレット符号化、又は他の圧縮フォーマットによって符号化されていてもよく、ビデオコンテンツ及びオーディオコンテンツを含んでいてもよい。圧縮フォーマットは、多解像度画像の入力画像フレームを含むサブバンド符号化されたデータを含むことができる。入力データは、様々な規格に基づいていてもよく、高精細度フィールド又はフレームベースのフォーマットであってもよく、このフォーマットは、入力画像のアスペクト比と異なっていてもよく、更に、入力画像のフレームレートと異なっていてもよい。ライン２０５０上の画像データは、セキュリティのために暗号化でき、この場合、ＤＩＰ２１０は、平文化を行う必要がある。
また、ＤＩＰ２１０は、画像データと共に、例えば、選択された入力、データタイプ、垂直帰線消去期間（Vertical Blanking Interval：ＶＢＩ）データ、オンスクリーン表示（On-Screen Display：ＯＳＤ）のオーバレイチャンネル情報を含む様々な制御データを受信し、この制御データをＤＯＰ２３０に供給する。各画像処理モジュール、すなわちアナログ入力制御モジュール３０２、デジタル入力制御モジュール３０４及び圧縮入力制御モジュール３１２は、好ましくは、入力データインタフェース３００から画像データを受信する。システムプロセッサ（図示せず）は、好ましくは、ユーザが選択した入力制御に基づき、画像データを選択し、この画像データは、アナログ入力制御モジュール３０２、デジタル入力制御モジュール３０４及び圧縮入力制御モジュール３１２のそれぞれによって、適切に処理された後、好ましくは、バッファメモリ３０８に保存される。また、システムプロセッサは、ユーザ入力コマンドを用いて、ピクチャインピクチャ表示、ＯＳＤ情報、他のシステムウィンドウ化機能のためのウィンドウを制御する。ＤＩＰ２１０は、好ましくは、ＹＵＶ又はＲＢＧフォーマットの何れかで画像を処理する。
アナログ入力制御モジュール３０２は、好ましくは、アナログデータ入力をサンプリングして、デジタルデータ出力を生成するアナログ／デジタル変換器（Analog-to-Digital Converter：Ａ／Ｄ変換器）３００２を備える。Ａ／Ｄ変換器３００２は、高画質を達成するために、サンプリングされたデータ点から画像を再生（reconstructed）することができるように、十分高い周波数及び精度で入力データをサンプリングする。アナログ入力信号からビデオデータを抽出するためには、副搬送波復調のための更なる従来の技術が用いられる。
デジタル入力制御モジュール３０４は、好ましくは、同期エンジン３０４０を備え、例えば、ＹＵＶビデオフォーマット又はデジタルＲＢＧフォーマットであるデジタルデータを処理する。データは、既にデジタルフォーマットであるので、デジタル入力制御モジュール３０４は、Ａ／Ｄ変換器を含んでいない。また、デジタル入力制御モジュール３０４は、高速デジタルデータ伝送技術を使用し、低電圧差動信号（Low Voltage Differential Signaling：ＬＶＤＳ）、デジタルビジュアルインタフェース（Digital Visual Interface：ＤＶＩ）、高精細度マルチメディアインタフェース（High Definition Multimedia Interface：ＨＤＭＩ）、ビデオエレクトロニクス規格制定委員会（Video Electronics Standards Association：ＶＥＳＡ）のDisplayPort又はシリアルデジタルビデオ出力（Serial Digital Video Output：ＳＤＶＯ）等の物理的又は電気的インタフェースを備えていてもよい。デジタル入力制御モジュール３０４がデジタル入力データを適切に受信することを保証するために、これらのインタフェースは、伝送路終端、電圧調整、データフォーマット化、位相ロックループ（ＰＬＬ）、及びデータ回復を含んでいてもよい。ＤＶＩ又はＨＤＭＩ入力において、他のパケットベースの入力、例えば、ＶＥＳＡデジタルパケットビデオリンク（Digital Packet Video Link：ＤＰＶＬ）をサポートしてもよい。ネットワーク入力において、他のパケット及び記述子ベースの入力をサポートしてもよい。
圧縮入力制御モジュール３１２は、例えば、１３９４Ａ、１３９４Ｂ又は他の１３９４フォーマットのバージョン、ユニバーサルシリアルバス（Universal Serial Bus：ＵＳＢ）、又は任意の種類のネットワークインタフェース等のインタフェース入力をサポートし、好ましくは、伸長エンジン３１２０と、ビットストリームエンジン３１２５とを備える。ネットワークインタフェースは、例えば、１０／１００イーサネット（登録商標）、ギガビットイーサネット、マルチメディアオーバコアックスアライアンス（Multimedia Over Coax Alliance：ＭｏＣＡ）、電話回線ネットワークアライアンス（Home Phone Network Alliance：ＨＰＮＡ）、様々な電力線ベースのネットワーク又は他の種類の有線インタフェース等の有線インタフェースを含んでいてもよい。無線ネットワークには、ＷｉＦｉ（また、Ａ、Ｂ、Ｇ、Ｎ、Ｉ及び他の様々なバリエーションを有する８０２．１１としても知られている。）、超広帯域（Ultra Wide Band：ＵＷＢ）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）又は他の様々な無線インタフェースが含まれる。何れの場合も、ネットワークインタフェース（図示せず）は、ネットワークデータトラヒックを管理し、終了させ、デジタルビットストリームを入力データインタフェース３００に供給する。更に、ＤＩＰ２１０内又はＤＩＰ２１０の外でデータをフォーマットしてもよい。
通常、圧縮データは、通常、オーディオ、ビデオ及びシステム情報を含む。システム情報は、ビットストリームのフォーマットを特定することができる。圧縮入力制御モジュール３１２は、更なる処理、例えば符号化入力のエラーチェックを実行することによって、データが適切に受信されたこと、及びデータがエラーを含んでいないことを確認する。データにエラーが含まれている場合、圧縮入力制御モジュール３１２は、エラーを訂正し、隠し、又は報告することができる。圧縮入力制御モジュール３１２は、一旦、正しくデータを受信すると、データをオーディオストリーム、ビデオストリーム及びシステムストリームに分離し、オーディオストリームを、デコード及び再生のためにオーディオサブシステム（図示せず）に供給する。圧縮入力制御モジュール３１２は、符号化ビットストリーム入力を伸長するが、更なる処理で使用するために、関連する動きベクトル情報を維持する。
ビットストリームエンジン３１２５を伸長エンジン３１２０に組み合わせて、圧縮入力ビットストリームの再生を拡張ビデオフレームに最適化してもよい。圧縮入力ビットストリームがサブバンド符号化を用いて符号化されている場合、再生処理は、符号化された各解像度において最高の画質のサブバンド画像を保存する。ビットストリーム情報は、規格に基づいてビデオ符号化されたビットストリーム、副情報を有するビットストリーム、ビデオのための階層符号化、及び規格に準拠するビットストリームに漏れた更なる詳細情報を有する特別なビットストリームを含んでいてもよい。下層符号化データは、オブジェクト形状及び画像を構成するブロックの拡張空間的及び時間的レンダリングに使用できる他の情報を表すことができる。伸長エンジン３１２０は、規格に準拠するビットストリームを復号フレームに復号する従来の処理を実行できる。
ビットストリームエンジン３１２５は、画像ブロック（又はマクロブロック）を含むＭＰＥＧ−２ビットストリームを処理する。シーケンス内の多くのビデオフレームは、非常に高い相関を有し、ビットストリームエンジン３１２５は、この相関を用いて、レンダリングを向上させる。また、ビットストリームエンジン３１２５は、画像フレームに亘る時間的処理技術として、動き補償予測に動き推定技術を用いる。ビットストリームエンジン３１２５は、動きを再推定し、又は第２のパスの符号化処理と同様にマクロブロックを生成することに代えて、ビットストリーム内のマクロブロックに属する予測ブロックによって指定されるビデオデータのフローを追跡できる。
ビットストリームエンジン３１２５は、複数のフレームに亘って予測ブロックを追跡し、ここで、予測ブロックの時間的なパスは、動きオブジェクトの粗い軌道を表す。この粗い軌道は、更なるサブブロックの動き推定及びビットストリームエンジン３１２５又は動き推定器３１８０によって実行されるビットストリーム処理によって、精度を高めることができる。ビットストリームエンジン３１２５は、動き補償時間フィルタリング及び他のフィルタリングに関連してＤＯＰ２３０の出力フレームを生成する際、及び色表現に関連する強調の際に、後の使用のために動きベクトル情報を保存する。また、符号化入力ストリームのポスト伸長フィルタリングのための特別なブロックフィルタを構成するために、情報を用いることができ、これにより、ＩＲ３１８は、ブロック境界エッジのアーチファクトをフィルタリングすることができる。
ビットストリームエンジン３１２５からの他の情報、例えば、マクロブロックの誤差項は、各ブロックについて、どのくらいの量子化が行われたかを示し、ＩＲ３１８の拡張処理では、雑音低減フィルタリング及び何らかの色強調処理のために、この情報を利用する。
各入力制御ブロックは、ローカル処理のために、自らのラインバッファ及びメモリを備えていてもよく、共通のバッファメモリ３０８を使用してもよい。バッファメモリ３０８は、アナログ入力制御モジュール３０２、デジタル入力制御モジュール３０４及び圧縮入力制御モジュール３１２からデータを受信し、画像再生モジュール３１８にデータを供給する。また、バッファメモリ３０８は、ＩＲ３１８の入力フレーム及び出力フレームを保存する。画像再生モジュール３１８は、インタフェース３０６を介してデータバス２５０にデータを出力してもよく、又はダイレクトメモリアクセス（Direct Memory Access：ＤＭＡ）エンジンを用いて、データバス２５０にデータを出力してもよい。データバス２５０を用いて、ライン２０５０を介してＤＩＰ２１０に入力された入力データのフォーマットとは異なる、ＤＩＰ２１０によって生成された、高められた解像度、拡大された色の範囲又は他の拡張フォーマットでＤＯＰ２３０にデータを供給することができる。ＩＲ３１８は、好ましくは、動き推定器３１８０を備え、アナログ入力制御モジュール３０２、デジタル入力制御モジュール３０４、圧縮入力制御モジュール３１２又はバッファメモリ３０８から画像データを受信する。ＩＲ３１８は、データタイプに基づいて、データを処理する。例えば、ＹＵＶフォーマットのデータをＲＧＢ領域に変換する必要がある場合、ＩＲ３１８は、数学的演算又はルックアップテーブルによって、ＹＵＶ値をＲＧＢ色空間に変換し、３２ビットの整数又は浮動小数等、色成分の値の拡大された範囲を用いてもよい。更に、ＹＵＶデータは、多くの場合、サブサンプリングされ、すなわち、１つのＵＶ対が２つ又は４つのＹ値に対応してもよい。この結果、ＩＲ３１８は、ＵＶ値を用いて、ＲＧＢ画素を補間し、生成する。ＹＵＶデータがインタレースされている場合、ＩＲ３１８は、フィールド毎のデータ（連続した半分のフレーム）をフレーム毎のデータに変換する。ＩＲ３１８は、バッファメモリ３０８に各フィールドを保存し、フィールドをフィルタリングし、解析し、結合して、入力画像フレームを生成する。ＩＲ３１８は、好ましくは、フレーム及び動き情報がデジタルフォーマットである間に、処理画像フレーム及びＤＩＰ２１０によって生成された動き情報を使用する。ＩＲ３１８が、例えば、画像変調器２４４（図２）に関連するオーバレイ情報等のデータを処理する場合、ＩＲ３１８は、このようなデータを、後に画像データフレームに結合するために、ＤＯＰ２３０に供給する。ＩＲ３１８は、複数の入力データストリームをパラレルに処理してもよく、後に複数画像のピクチャインピクチャ画面を生成するために、このようなデータをＤＯＰ２３０に供給する。また、ＩＲ３１８は、入力ビットストリームに含まれているブロック境界情報に基づいて、ポスト伸長フィルタリングを実行する。
アナログビデオ入力については、ＩＲ３１８は、好ましくは、例えば、コンポジットビデオ、Ｓビデオ及びコンポーネント（Ｙ、Ｃｒ、Ｃｂ）を含む入力ビデオを抽出し、再生することができるファロージャ社（Faroudja Labs）の技術を使用してもよく、これらは、例えば、ＰＡＬ（Phase Alternative Line）方式又はＮＴＳＣ（National Television Standards Committee）方式等の工業規格の１つに準拠していてもよい。高画質フレームのための空間的フィルタリングのために、ＩＲ３１８は、好ましくは、例えば、再帰的フィルタ、メジアンフィルタ、タイムベース補正等の様々な雑音低減法を用いる。
本発明においては、ＩＲ３１８は、複数の入力画像を考慮に入れ、次に、それらの画像の解像度を高め、異なる入力フレームと共有されているデータを使用する超解像技術を用いて、画像を再生し、各出力フレームを生成する。この処理は、一度に１つの入力画像を個々に使用することによっては実現できない。すなわち、本発明は、超解像技術を用いて、ビデオシーケンスから高解像性静止画像を生成するが、実時間出力フレームを生成できない従来のシステムより優れている。このマルチフレーム超解像技術は、より高い、通常２倍の入力データの解像度を有する入力画像を表す画像データのスーパーバンドを生成することができる。本発明によって使用される超解像技術は、フレーム間のデータの高い相関性に依存し、入力画像のサブ画素シフトを必要とし、これは、通常、ビデオ画像シーケンス内のオブジェクトの動きに基づいている。ＩＲ３１８は、画像を相関させて出力フレームを再生する際に、動き推定器３１８０が提供し、又は入力ビットストリームから保存された動きベクトルを使用する。ＩＲ３１８は、静止フレームを生成する間、例えば、凸射影法（Projections On Convex Set：ＰＯＣＳ）等の決定論的手法及びベイジアン強調（Bayesian enhancement）等の確率論的手法からの数学的な式を使用することができる。
画像が動きベクトルビットストリーム情報を含んでいない場合、動き推定器３１８０は、好ましくは、例えば、オプティカルフロー、ブロックマッチング又はペルリカーシブ等の技術を用いて、動きを推定し、画像オブジェクトの動きを時間的に追跡する。また、動き推定器３１８０は、ＭＰＥＧ−２動きベクトルビットストリーム情報に関して同じ動き推定技術を用いることができる。動き推定器３１８０は、１つの画像フィールドからの画素のグループを、後の及び先の画像フィールドの画素グループと比較し、オブジェクトの動きを相関させる。動き推定器３１８０は、検出された動きをフィールド位置に対して記録し、ＤＯＰ２３０は、入力フレーム情報及びＩＲ３１８の動き情報と共に、後に、動き補償画像フレームを生成することができる。圧縮方式のために、動き推定器３１８０は、フレーム間のベストマッチを発見し、ミスマッチを符号化する。動き推定器３１８０は、所定のレベルのマッチング基準に満たない動きベクトルをマスキングし、高レベルなマッチングを示す動きベクトルにタグ付けし、次に、より小さい画像ブロック又は個々の画素に関して実行されるより洗練された動き追跡処理にこれらのベクトルを用いることができる。このように、動き推定器３１８０は、ビデオ圧縮方式が、ビデオシーケンスを表現するために必要なビット数を圧縮するステップの１つとして、検出された動きを使用する従来の技術とは異なる。動き推定は、符号化された動きベクトル及びマクロブロックを用いて、単に、動き補償を実行する標準のデコーダでは、使用されていない。したがって、本発明は、動き推定器３１８０によって、従来の技術より優れた画質の画像を提供することができる。
動きの検出は、画像を復元する際に重要であるので、動き推定器３１８０（及び本発明に基づく他の処理モジュール）は、サブの（又はより小さい）ブロック毎に動きを追跡する。例えば、８×８（画素）ブロックに代えて、動き推定器３１８０は、２×２ブロックに関して、より細かい動きを追跡する。よい細かいサブブロックを追跡する必要性を低減するために、動き推定器３１８０は、粗いブロックマッチング差分を使用して、ブロックを予め評価し、マッチングレベルが低いブロックについては、より細かい追跡を実行しない。逆に、動き推定器３１８０は、マッチングレベルが高いブロックについては、より細かい追跡を実行する。
動き推定ベクトル、例えば、ＭＰＥＧデータストリーム又は他の時間的符号化方式において提供されている動き推定ベクトルを受け取ると、伸長エンジン３１２０は、適応性があるＭＰＥＧ復号のために、ベクトルの全てを使用する。そして、ＩＲ３１８は、ベクトルを用いて、複数のフレームを復元するために、細かい動きを解析する際に、より精度の高いブロックマッチングを行う。細かい動きを解析することによって、サブブロック画素サイズの動きベクトルを生成でき、これをマルチフレーム再生において用いることによって、高解像度出力フレームを好適に生成することができる。
ＩＲ３１８は、好ましくは、出力画像をビデオフィールド又はフレームに分離し、各フィールド（又はフレーム）の開始点へのポインタを生成する。実際のフィールド（又はフレーム）データ又はフィールド（又はフレーム）データへのポインタは、ＤＯＰ２３０への入力データとして機能できる。入力ビデオフィールドを処理し、フィールドを結合してフレームを生成することは、画像再生処理におけるビデオの逆インタレースに有用であり、これは、画像解像度を高め、インタレースの間に失われた垂直方向の細部を復元することに役立つ。これは、インタレース処理では、ラインの情報の半分を２倍の頻度で提供し、各フィールドの垂直方向の画像の細部が犠牲になるためである。本発明に基づいて再生されたＩＲ３１８の出力（及びＤＯＰ２３０の出力）は、標準入力解像度より高い解像度を有することができ、画像スーパーバンドとして保存できる。ＩＲ３１８出力は、バッファメモリ３０８、又は空間的なＲＧＢフレームバッファフォーマット及び画像オブジェクト、テクスチャ及び動きの意味的記述の両方の画像の記述を含むメタファイル内に保存できる。ＤＩＰ２１０のデジタル処理回路は、例えば、超解像等の技術を利用して、個々の入力画像より高い解像度を有する画像を生成する。ＤＩＰ２１０では、他のアナログの技術を超解像技術に組み合わせて使用し、画像の高解像内部表現を生成する。
また、ＩＲ３１８は、事前にサブバンド符号化されていない入力データから、先に構成された超高画質フレームの複数の低解像度画像を生成するサブバンド分割ブロック３１８５を備える。サブバンドは、通常、先のステップの半分の解像度のステップで構成される。サブバンドは、サブバンド符号化のために準備されていない圧縮データ入力から復号されたフレームを含む如何なる画像フレームからも生成することができる。ここに説明した画質を改善する様々な技術は、他のフィルタリングモードと共に、最高画質の画像サブバンドを構成するために使用にされる。これらのサブバンド画像は、より高い解像度で生成されたスーパーバンド画像に結合され、図４及び図５を参照して後に説明する表示出力処理（Display Output Processing：ＤＯＰ）ステップのための画像データを提供する。
入力として、画像データのウェーブレット符号化されたサブバンドを使用する先に説明した手法の他に、本発明では、階層符号化ビデオビットストリームの他の形式を含む入力データを処理するために、座標変換を用いることもできる。この座標変換は、ＤＯＰ２３０内の後述するＧＴ４０４の一部として実行してもよく、これに代えて、入力ビデオフレームを再生するための画像再生モジュール３１８の一部として座標変換モジュールを設けてもよい。画像フローを追跡するための１つの技術として、入力ビットストリームの係数データを比較して、時間軸に沿って同じパターンを発見する手法がある。同じパターンが発見された場合、これは、フレームに亘るオブジェクトのフローを表している可能性がある。この技術は、単一のカメラ又は多視点カメラシステムに適用できる。
階層符号化では、異なる層及び異なるカメラビューにおける画像フローの推測を検査し、推測を承認又は拒否するすることができる。階層ビデオ符号化は、例えば、より高い解像度が、低解像度伝送からのビットを利用する、多解像度画像のビデオビットストリームを伝送するスケーラビリティのための技術である。この符号化技術では、低解像度デコーダは、必要な解像度を生成するために必要なビットストリームの一部のみを利用することができる。より高い解像度を必要とするデコーダは、より高解像度の画像を生成するために、低解像度のビットストリームと、更なる層のビットストリームとを使用する。
階層符号化技術は、ベースレベルの伝送を向上させるために、例えばウェーブレットデータ等の他の種類の圧縮データを含むことできる。例えば、データの階層化されたストリームとして、ウェーブレットデータを含ませることができる。ウェーブレットデータは、ＭＰＥＧビデオデータの標準のビデオパートと同じ離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）圧縮技術を使用していない。ＭＰＥＧシンタクスの一部として、ウェーブレットデータは、プライベートビデオデータストリームとして符号化されてもよく、又はビデオプログラムストリームの一部であり、プログラムヘッダ情報において指示されていてもよい。ウェーブレット情報は、ＭＰＥＧフレームの幾つか又は全てについて、完全な又は部分的なフレームのより高解像度の画像を表す。対応するウェーブレット情報を有するＭＰＥＧフレームが復号される場合、ＩＲ３１８は、ＭＰＥＧデータをウェーブレットデータに結合する。ＤＣＴと、ウェーブレットベースの圧縮との異なる特性を用いているため、このような組合せを用いて、単一の高画質の出力フレームが生成される。
階層符号化の他の具体例は、補足的ビットストリームデータが、ＭＰＥＧ規格の一部である標準のＸ及びＹマクロブロック動き推定ベクトルの拡張である動き推定情報を含む場合であり、例えば、画像要素のスケール変更、回転及び切り取りに関する動き推定情報も、補足的ビットストリームデータとして提供できる。例えば、カメラがシーンのズームイン又はズームアウトを行う場合、Ｘ及びＹの移動距離を比較することに代えて、スケールベースの比較を用いることによって、符号化装置のブロックマッチングを改善させることができる。第２の具体例としてＸ方向又はＹ方向への移動に代えて、動くオブジェクトを回転できる。回転の比較によって、標準の動きベクトルより正確に動きを推定することができる。エンコーダシステム及び強調された復号装置は、何れも、階層符号化技術の利益を完全に享受するために、共通に定義されたプロトコルを用いる必要がある。ＩＲ３１８は、画像要素のスケール変更、回転及び切り取りに関連する補足的情報を用いて、及び好ましくは、画像変換技術を用いて、入力ビットストリームから高画質画像を再生することができる。また、多次元再生方式に組み合わされた多視点カメラシステムも、階層符号化技術を利用できる。
ＩＲ３１８の他の拡張復号処理では、ビットストリームに埋め込まれている命令キュー（instructional cue）を用いて、ビデオストリームを解釈し、出力画像を向上させるために、マクロブロック及び動きベクトル情報を利用する。命令キューを用いる手法は、キューなしでのフレーム間及びグループオブピクチャ（ＧＯＰ）間の相関性の抽出に比べて非常に優れている。ＩＲ３１８は、バッファメモリ３０８に完全なＧＯＰを維持できるので、ＩＲ３１８は、フィールド間、フレーム間及びＧＯＰ間に亘る情報を提供するこれらのキューを利用できる。例えば、本発明に基づいて改善されたデコーダは、２つのＧＯＰからのマクロブロック情報を用いる。他の具体例のとして、ＩＲ３１８は、拡張命令キューを認識し、現在のＧＯＰ及び隣接するＧＯＰの両方からのマクロブロック情報を用いて画質を改善する。したがって、本発明は、フレームを復号して、表示出力した後は、前フィールド及びフレーム情報を維持しない標準のデコーダを用いる従来の手法より優れている。更に、標準のデコーダは、ＧＯＰ間に亘る命令キューを認識できず、隣接するフレーム内のベストマッチのために単に動きベクトルを使用するのみである。また、本発明に基づいて改善されたデコーダは、高画質の表示出力を実現するために、命令キューを用いることができるが、標準のデコーダは、規格に準拠する方式でビデオビットストリームを使用するのみである。命令キューを追加しても、ビットストリームのデータ量は、僅かに増えるのみである。
図４は、表示変調及び光源制御モジュールと共に投写表示装置の処理モジュールを含む図２のＤＯＰ２３０の構成を示すブロック図である。投写表示装置に固有な処理モジュールは、座標変換モジュール（Geometric Transformation：ＧＴ）４０４と、ポスト座標変換（ＧＴ）フィルタリングモジュール４０６とである。色、明るさ及び空間的ガンマ処理モジュール（color, intensity and Spatial Gamma Processing：ＳＧＰ）４０８と、時間的ガンマ処理モジュール（Temporal Gamma Processing ：ＴＧＰ）４１２と、表示変調及び光源制御モジュール（display Modulator and Light source Control：ＭＬＣ）４２０と、逆超解像（Reverse Super-ResolutionＲＳＲ）モジュール４１４とは、全て共通のデータバス４５０に接続されている。データバス４５０は、並列画像処理のためのシステム帯域幅及び同時並列要求条件を満たす。また、ＤＯＰ２３０は、各処理モジュール４０２、４０４、４０６、４０８、４１２、４１４、４２０によって使用されるデータフレーム及び画像サブバンドを保存するバッファメモリ４２４を備えるが、これらのモジュールのそれぞれが、ローカルメモリバッファ（図示せず）を備えていてもよい。
また、表示変調及び光源制御モジュール４２０も設けられており、表示変調及び光源制御モジュール４２０は、ドライバ回路（図示せず）を介して画像変調器２４４に及び後述する表示光量制御回路６０２〜６０８に接続され、図示していないが、タイミング制御（Timing CONtrol：ＴＣＯＮ）ブロックを備えていてもよい。フラットパネル表示装置のために設計されたシステムの場合は、必ずしも、座標変換モジュール４０４又はポストＧＴフィルタリングモジュール４０６を備えている必要はない。投写表示装置及びフラットパネル表示装置は、何れも、通常、ディスプレイマップ（Display Map：ＤＭ）４０２を備えるが、ディスプレイマップ４０２内で保存及び使用される特定の情報は、表示装置の種類に応じて異なる。
ＤＯＰ２３０は、データバス２５０から直接、バッファメモリ３０８を介して、又はバッファメモリ４２４を介してＤＩＰ２１０の出力を受信する。データバス２５０を使用することによって、ＤＩＰ２１０とＤＯＰ２３０とを分離でき、ＤＩＰ２１０が表示装置の種類に関する特別な知識なしで様々な入力信号から画像を再生できる有益な回路分割（partitioning）を実現することができる。データバス２５０は、システムオンチップ（System-On-Chip：ＳＯＣ）内の内部バスとして実現してもよく、プリント回路基板（Printed Circuit Board：ＰＣＢ）上のチップ間のバスとして実現してもよく、ある種のサブシステム間のリボンケーブル又はコネクタとして実現してもよく、又は他の種類のインタフェースとして実現してもよい。ＤＯＰ２３０処理は、処理され、再生された入力画像から開始し、表示装置の仕様に応じて、特別な処理を画像に施してもよい。これに代えて、より集積度が高められたシステムでは、ＤＩＰ２１０の処理要素の幾つか又は全てをＤＯＰ２３０の処理要素の幾つか又は全てに結合し、ＤＩＰ２１０のバッファメモリ３０８をＤＯＰ２３０のバッファメモリ４２４に結合してもよい。また、ＤＯＰ２３０処理は、ＤＩＰ２１０の処理の間に、ウェーブレット変換又はサブバンド分割が行われた画像データを利用してもよい。
ＤＯＰ２３０は、（可能であれば）ポインタを用いて、ＤＩＰ２１０の出力データに直接アクセスすることができる。また、ＤＯＰ２３０は、複数のＤＩＰ２１０の出力画像を受信し、単一の画像出力フレームが２つ以上の処理済の入力ビデオフレームを含むように、ピクチャインピクチャ処理を実行することができる。ＤＯＰ２３０は、入力された符号化データ及び例えばシステムマイクロコントローラ（図示せず）が提供するユーザメニュー選択等の何らかのオンスクリーン表示（ＯＳＤ）情報の両方からのオーバーレイデータを結合する。ＤＯＰ２３０は、各Ｒ、Ｇ、Ｂ画像色成分について、ビデオ及びデータ出力及びデータ及び制御信号の両方の表示座標を含む入力画像及び出力画像データを処理する。
処理の複雑さ又は他の回路分割の理由によって、単一のＤＯＰ２３０又はＭＬＣ４２０では、表示全体を完全に制御できない場合がある。このため、幾つかの表示装置は、それぞれが色平面の１つの制御を実行する複数のＤＯＰ２３０又はＭＬＣ４２０を備えるように設計することができる。他の回路分割として、ＭＬＣ４２０の光量制御機能をＤＯＰ２３０の残りから分離し、複数のＭＬＣ４２０を用いて異なる色平面を制御するようにしてもよい。このような構成では、表示変調器２５５（表示光量制御回路６０２〜６０８）の制御は、ＤＯＰ２３０内の他のモジュール、ＭＬＣ４２０又は他のコントローラによって行ってもよい。また、ＤＯＰ２３０処理を空間的に分割してもよく、この場合、表示画面の異なる部分に複数のＤＯＰ２３０を用いてもよい。
ＳＧＰ４０８は、ＹＵＶをＲＧＢ色空間に変換し、各Ｒ、Ｇ、Ｂ色成分の強さを決定する。画像が既にＲＧＢ色空間にある場合、色空間変換は、必要でないことは当業者にとって明らかである。ＳＧＰ４０８は、好ましくは、Ｒ、Ｇ、Ｂ色成分のそれぞれが色の強さに対応する値を有するルックアップテーブルを用いて、画像色を変換する。各Ｒ、Ｇ、Ｂの強さは、ルックアップテーブルへのインデクスを表し、ルックアップテーブルは、出力（又は「変換された」）値を提供する。ＳＧＰ４０８は、各Ｒ、Ｇ、Ｂ色成分を個々に処理し、個々のＲＧＢ値の組合せと、周囲の画素のＲＧＢ値との両方に基づいて、各色成分をマッピングする。
幾つかの表示装置は、システムの設計のために、明るさ及び色が均一でないという問題を有する。例えば、複数のＬＥＤ光源が一定の光の強さを提供できない場合、表示の不均一を補償するために、ＳＧＰ４０８が特定の領域の画素及び隣接する領域の画素ＲＧＢ値を調整できるマッピングを生成してもよい。色、明るさ及び空間的ガンマ処理モジュール４０８は、数学的演算、色ルックアップテーブル（Color Look-Up Table：ＣＬＵＴ）又はこれらの２つの組合せを用いて、入力画素を所望の画像出力にマッピングするためのＲＧＢ値を提供する。
非線形マッピングによって、マッピング処理の間、ＲＧＢ値で表される入力色を調整（強め又は弱め）することができ、これは、クロストークを抑制し、画像変調器２４４の色域の欠点を補うために有益である。他の具体例として、映画スクリーン又はＣＲＴベースのシステムのために生成された色は、ＬＣＤシステムで用いる際に所望のレベルを実現するために、更に強調する必要がある場合がある。ＳＧＰ４０８は、非線形を実現するために、データ入力ビットのビット数より大きいビット数で表された変換テーブルを用いる。例えば、８ビットが２８（＝２５６）個の色成分の強さを表す場合、色、明るさ及び空間的ガンマ処理４０８は、他の具体例として、２１０（＝１０２４）個の変換値を表す１０ビットを使用する。システムの製造業者は、２５６個の値を１０２４個の変換値にマッピングする。
非常に暗い黒及び非常に明るい色の両方を表示できる表示装置をコントラスト比が高い表示装置と呼ぶ。ＬＣＤ材料は、非常に暗い色を意図する表示画像において、非常に明るいバックライトから全ての光を遮断することが困難であるため、通常、ＬＣＤベースのフラットパネル表示装置で高コントラスト比を達成することは、難しい。更に、表示変調器は、非常に明るい色を意図する表示画像の光源を減衰させることがある。表示装置のフロントガラスに低反射コーティングを用いることは、より暗い黒色を実現することに役立つが、この場合、明るさ及び色が減衰し及び鈍くなる可能性がある。本発明の好ましい実施の形態では、画像変調器２４４の２４４個の値の画像データ処理を光の強さと組み合わせているので、得られる表示画像は、コントラスト比がより高く、色域が拡大する。色、明るさ、空間的ガンマ処理（ＳＧＰ）モジュール４０８は、画像変調器２４４の画素データだけではなく、光強さについても処理を施す。ＳＧＰ４０８は、画素毎に処理を行い、１画素当たりのガンマ処理は、各画素位置のパラメータに基づいて異なる。高コントラスト比の空間的な処理のための簡単な実施の形態では、明るさ及び暗さのコントラストは、黒色をより暗くし、白色をより明るくする制御によって、ダイナミックに高めることができ、黒色を暗くし、白色を明るく処理は、光源変調及び画像変調の両方を含む。
また、本発明では、単一のフレームの表示の異なる領域内で、及び異なる表示フレームの光レベルを制御することによって、コントラスト比だけではなく、広いダイナミックレンジ（High Dynamic Range：ＨＤＲ）を達成できる。通常、高いダイナミックレンジは、現実世界で観測できる輝度及び放射輝度の物理量に対応している。ＨＤＲ画像フォーマットは、デバイスを基準とするのではなく、シーンを基準とすると考えられることがあり、ＳＧＰ４０８、ＴＧＰ４１２及びＭＬＣ４２０は、ＨＤＲを維持するために、このようなＨＤＲコンテンツを異なるアルゴリズムで処理する。画像処理システム２００は、ライン２０５０を介して、又は他の種類の入力ストリームからこのような情報を推定する画像再生モジュール３１８によって、システムに供給された色情報を表す更なるビットを使用する。より新しいコンテンツソース例えば、マイクロソフトウィンドウズ（登録商標）メディア、Ｈ．２６４又は他の符号化方式を使用する高精細度ＤＶＤプレーヤ（ＨＤ−ＤＶＤ）は、ＨＤＲコンテンツを提供するために色情報の更なるビットを含むことができる。
他の実施の形態においては、画像は、画像変調器が生来的にサポートできる解像度より高い解像度を有する。この画像は、ソース画像であってもよく、又はＩＲ３１８又は他のモジュールによって再生された画像であってもよい。フル解像度のソース画像を表示するために、ダイナミックレンジに関して空間的処理を実行する。画像は、画像変調器にマッチするように低解像度画像にフィルタリングされる。表示のダイナミックレンジを拡大することにより、ユーザは、画像変調器及び標準のダイナミックレンジで感じる解像度より高い解像度の画像を見ていると感じる。
時間的ガンマ処理モジュール４１２は、画像の時間に関連する表現ができるだけ正確であることを保証する。ＴＧＰ４１２は、前フレームの値及び表示変調システムの既知の伝達関数に基づいて、出力値を調整し、所望のフレームの間、所望の出力値を提供する。ＴＧＰ４１２は、各Ｒ、Ｇ、Ｂ色成分を個々に処理し、ＬＣＤ画像変調器２４４の性質のため、純粋なデジタル形式ではない変調遷移特性を補償する。また、ＴＧＰ４１２は、所望の出力をより迅速に生成できるように、必要な情報と共に、ＬＣＤ画像変調器２４４をオーバドライブしてＬＣＤ材料特性を補償するために、表示変調及び光源制御モジュール４２０のための情報を提供する。この結果、ＴＧＰ４１２は、出力信号を不鮮明にする材料を有する従来のシステムの画質の制約を克服する。また、従来のシステムにおいて、より速い画像応答を実現する画像変調のために用いられる材料は、通常、高価であるため、ＴＧＰ４１２は、表示装置のコストを削減できる。ＳＧＰ４０８と同様に、ＴＧＰ４１２も画素ガンマ処理単位で動作してもよい。
また、時間的ガンマ処理モジュール４１２は、画像変調器２４４の制御を介する補償に加えて様々な光源に対する時間的処理を実行する。光源に対する時間的処理を使用することによって、画像変調器２４４の画素値の応答時間を改善できる。例えば、緑色のための画素値を３２から極大の２５５まで変化させる場合、既に最大値にあるため、その画素の緑色の値をオーバドライブできない。一方、その画素に作用する緑色ＬＥＤがあれば、イメージャにおける値は、まだ完全に２５５に移行していなくても、緑色ＬＥＤの強さを効果的に高めることによって、その位置に表示される画素値を直ちに２５５にすることができる。ＬＥＤは、変調器における２つ以上の画素に作用するので、総合的な画像のための正しい値を決定する際に、周囲の画素及び他のＬＥＤの両方のための他の補償を含ませる必要がある。色、明るさ、空間的ガンマ処理モジュール４０８は、時間的ガンマ処理モジュール４１２と連携して、画像変調器２４４及び表示光量制御回路６０２〜６０８の両方のために最適化された制御を実現する。
ＤＯＰ２３０が様々な画素における画像の動きの知識を有するシステムの場合、ＳＧＰ４０８及びＴＧＰ４１２は、実行される色強調の量を決定するために、各画素又は画素ブロックに関連する動き情報を使用することができる。この種の処理は、色情報を認識する目の能力に基づいており、画像解像度は、画像の動きの量に影響を受ける。動き情報及びこれに従う色強調基準は、元の動きベクトル、元の動きベクトルに関連する誤差項又は表示装置内の動き推定器が判定する動き情報の一部であってもよい。画素の動きを理解することによって、表示を最適化するために、色強調の量を増加又は減少させることができる。
逆超解像モジュール（ＲＳＲ）４１４は、異なる入力フレームと出力フレームレートとの間の変換のために、フレームレート変換処理の上位集合にあたる処理を実行し、意図する表示画像が、画像変調器２４４の画素数でサポートできる解像度より高い解像度を有する場合、画質を改善できる。ＲＳＲ４１４は、低解像度画像をより高いフレームレートで配列することによって、より高い解像度出力をシミュレートし、各低解像度画像は、僅かに異なる位置に配置される。このようにして、例えば、ＲＳＲ４１４は、Ｚ＝Ｘ×Ｙとして、ブロック毎に、Ｘフレーム／秒（ｆｐｓ）の伝送レートを有するビデオシーケンス内の１つのフレームを、Ｚフレーム／秒（ｆｐｓ）の伝送レートを有するＹ個のＲＳＲフレームに空間的にフィルタリングする。そして、ＲＳＲ４１４は、同じ画素（又は画素部分）に相当する量だけ、各ＲＳＲ画像ブロックを表す画素マトリクスをシフトさせる。例えば、この具体例では、Ｙ個のＲＳＲフレームがあるので、ＲＳＲ４１４は、各ＲＳＲフレーム毎に画素マトリクスブロックをＹ回シフトさせ、各シフトは、同じ画素（又は画素部分）に相当する量だけ行われる。シフトされる画素部分の数は、表示装置及び画像変調器２４４の物理的特性に依存する。システムが表示画像の位置を調整する場合、シフトされる画像部分は、表示画像の物理的な動きに対応する。表示画像に実際の動きが含まれていない場合、画素部分の調整は、例えば、画像変調器２４４のサイズに対する画素サイズ等の表示装置の物理的な性質及びシステムの投写特性に基づいて行われる。
そして、ＲＳＲ４１４は、動き補償され、重み付けフィルタリングされた中心に基づいて、各ＲＳＲフレームを生成し、このため、各ＲＳＲフレームの入力画像の中心が維持され、モーションアーチファクトが導入されない。画素マトリクスの重み付けフィルタリングされた中心は、フィルタ伝達関数内のフィルタの重みを考慮に入れた画素マトリクスの中心である。フィルタの重みは、フィルタ特性によって異なり、フィルタリングされた画像出力を生成するために入力画素値に結合される値である（通常、乗算及び加算が実行される）。フィルタ伝達関数は、フィルタの重みを用いて、入力画像を出力画像に変換する。出力画像画素は、伝達関数に基づいて、対応する画像をシフトさせるように調整できる。ＲＳＲ４１４は、好ましくは、８×８〜２５６×２５６の画素を有する画像ブロックを用い、各ブロックは、固有に処理された動き情報を有する。静止画像の場合、ＲＳＲ４１４は、入力フレームレートと出力フレームレートとの間の差分に基づいて、フレームレートが調整された出力フレームのシーケンスを生成する。動画の場合、ＲＳＲ４１４は、出力フレーム時点で、画像の中間位置を描画し、画像の動きを補償する。これらの処理によって、各画素又はサブ画素は、固有に処理された動き情報を有することとなる。
本発明の変形例では、ＲＳＲ４１４は、複数の移動光源と共に、静止ディスプレイ（画像）変調器を使用し、ＲＳＲ４１４処理を用いて、照明パターンを決定する。照明成分は、例えば、ＬＥＤの１つ以上の回転カラーホイール等の機械的構造による指示に基づき、固定されたパターンで動いてもよい。これに代えて、例えば、ＦＥＤ又はＮＥＤベースのバックライトに適用される電界によって、照明成分を如何なるパターンで点灯してもよい。ＲＳＲ処理は、フレーム表示内で照明の最適化を重複回数を実行し、表示のダイナミックレンジ及び知覚される解像度を向上させる。
ＤＩＰ２１０によって、座標変換の後に、従来のフィルタリング技術を用いることができるが、ＧＴ４０４は、ＤＩＰ２１０のスーパーバンド出力を画像変調器２４４にマッピングし、画像変調器２４４から表示スクリーン２６０への投写の間に生じる歪みを予め補償する能力を有する。同様に、ＧＴ４０４は、ＤＩＰ２１０のサブバンド出力を用いて、非線形フィルタリング及びスケーリングを実行し、光源のための輝度マッピングを生成することができる。光源の解像度は、通常、オリジナル画像の解像度よりも低いので、サブバンドデータから開始することによって、各光源値を決定するための演算の量を削減することができる。輝度マップを生成するフィルタリングでは、簡単な加重平均から、より複雑な逆畳込みフィルタリング、及び他の種類のフィルタリングを含む様々な技術を用いることができる。
図４に示す実施の形態では、ＤＭ４０２は、ＤＯＰ２３０が、イメージング装置に供給する前に画像データを予め補償するために使用するための様々な形式のシステム伝送情報を保存する。この情報は、表示装置の種類に応じて異なり、幾つのパラメータを有していてもよい。例えば、ＤＭデータは、選択された画素又は画面の位置における画像変調器２４４（図２）の特性に対応するデータの簡単な１対１のマップであってもよい。また、ＤＭ４０２は、適用可能であれば、各表示画素に対応するメモリ記述又は表示画素又は画素セクタのグループの共有された記述を保存する。このような記述は、アンカ画素と呼ばれる１つの画素については、完全な情報が存在し、周囲の画素のための情報は、アンカ画素からの差分であるデルタ又は差分フォーマットで保存でき、これにより、データ量を削減することができる。記述は、フレーム毎には変化しないので、ＤＭ４０２は、好ましくは、表示処理の間、一回だけ、この記述を読み出す。そして、ＤＯＰ２３０は、この記述情報を用いて、画像フレームを生成する。ＤＭ４０２は、データを読み出す場合、データブロックへの参照情報を提供する一組の制御レジスタ（図示せず）を用いる。
ＤＭ４０２のデータは、様々であり、例えば、製造業者に関する情報、システム構成に関する情報及びユーザデータ等を含む。製造業者に関する情報には、例えば、通常、組立時にコンパイルされる、欠陥を含む又は性能が劣る画素表示ビットの位置のマップ、理想的な放射歪みと光学的に歪んだ投写の相関データ、画像変調器２４４の位置合せ点の相関データ等が含まれる。システム構成に関する情報には、自動自己較正を介して、例えば、各Ｒ、Ｇ、Ｂ色成分の調整可能な強さを含む位置合せマップ、及び所定の位置における色成分画素オフセット等が含まれる。このような位置合せマップのためのフォーマットは、アンカ画素に基づくことができ、アンカ画素の周囲の画素については、差分情報だけが保存される。このような位置合せマップは、フラッシュメモリ又は他の種類の不揮発性メモリに保存できる。
ＤＭ４０２は、適用可能であれば、好ましくは、例えば、ソナー距離測定、赤外線距離測定、レーザ距離測定又は既知のパターンを表示し、捕捉する光学技術等を含むセンサ技術を用いて、プロジェクタから、表示スクリーン（図示せず）の異なる部分への距離及び歪みを測定する。光学技術の好例として、画像センサ及び表示スクリーンからの画像の捕捉のためのデジタルカメラ技術の使用がある。既知のパターン投写に組み合わせて、異なる画素位置及び三角メッシュパターンのＸ、Ｙ、Ｚの変移を含む投写パスによって、高度なモデルを構成できる。そして、ＤＭ４０２は、これらの測定値を用いて、投写表示装置を数学的に特徴付け、モデル化する。このようにして、ＤＭ４０２は、表示スクリーンの数学的な概算位置に画像を投写することができる。ユーザデータは、例えば、設定シーケンスの間にユーザが入力した明度、カラーバランス及びピクチャ鮮鋭度等を始めとするユーザの嗜好情報を含む。
異なる具体例として、ＤＭ４０２は、投写表示装置の伝達特性を表すための三角メッシュを含む。三角メッシュは、不均一であってもよく、三角形のサイズ及び向きは、表示上に亘って異なる。三角メッシュは、表示の特定の領域における歪みの量に基づいて密度が変化する重要度マップから構成できる。適応型の等値面抽出（adaptive isosurface extraction）等の技術を用いて、三角メッシュを生成することができる。表示装置内及び表示装置外の両方のカメラを用いる光学技術を、既知の一連画像パターンに組み合わせて、三角メッシュ情報を判定することができる。また、三角メッシュを判定する際に、テクスチャマッピングハードウェアの特徴に関する情報を用いることもできる。また、三角メッシュを変更して、例えば、４：３の入力を１６：９のアスペクト比の表示出力解像度に一致させるフォーマット変換等、他のシステム機能を実行してもよい。
平面表示スクリーン及びカメラの両方は、２Ｄ（Ｘ及びＹ）の次元のみを含むが、投写歪みは、３Ｄの深さ（Ｚ）成分を含む。Ｚ値が無視されると、様々な種類の遠近歪みがシステムに導入される可能性がある。幾つかのシステムでは、このような歪みが許容されるが、より高画質な画像が望まれるシステムもある。投写のための既知なパターンを用いて、これらの画像を、捕捉された画像の表現と比較することによって、Ｚ値を判定できる。例えば、Ｘ方向及びＹ方向の変移と、Ｚ方向の変移の組合せは、全て、ラインをアーク状に歪ませること（ワーピング）に貢献するため、如何なるＺ値も含まれていないＸ及びＹ頂点に基づくラインの補間によって、遠近歪みを示すアークが現れる場合がある。入力パターンを変更しながら表示されるパターンを記録することによって、「曲線近似」アルゴリズムを用いて、投写パスの歪みを最もよく表すことができるテセレーションマップのための適切なＸ、Ｙ、Ｚ頂点値が求められることは当業者にとって明らかである。一旦、頂点のための適切なＸ、Ｙ、Ｚ値が使用されると、三角形に亘る補間を行って得られる直線は、アーク状に歪まない。後述するテクスチャマッピングモードの間、この適切な頂点値のテセレーションマップを使用する。
表示装置のテセレーションマップは、各三角形の頂点の位置情報を含み、更に同じ三角メッシュの一部として、又は別の三角メッシュにおける他の色及び強さ情報を含むことができる。より高度な設定手順を含むシステムでは、頂点情報は、各頂点について異なるＺ値（深さ）含む。完全な表示面上で色パスがどう異なるかを表すために、各色成分は、異なるマッピングを必要とする場合がある。三角メッシュは、独立した個別の三角形、三角形ストリップ、三角形ファン又は他の何らかの編成として配列することができる。また、Ｂスプライン（"B-Spline）等の他の数学的な表現を用いてもよい。ＤＭ４０２は、好ましくは、直接又はバッファメモリ４２４を介して座標変換モジュール４０４にデータを提供する。
本発明では、座標変換モジュール４０４は、表示されると、可能な限りの高画質を示す補償されたデジタル画像の画素点の間の空間的関係を好適に再定義する。ワーピングとも呼ばれる座標変換は、画像スケール変更、回転及び位置変更を含む。座標変換モジュール４０４は、データをリサンプリングして、図２の画像変調器２４４に容易にマッピングすることができる。なお、座標変換モジュール４０４の出力データ点は、スケール変更又はリサンプリングのために、画像変調器２４４のグリッドのデータ点に１対１に対応しない場合がある。このため、ＤＯＰ２３０は、座標変換モジュール４０４からの変換されたデータサンプルをフィルタリングし、画像変調器２４４の各データ点の出力画素値を生成するポスト座標変換フィルタリングモジュール４０６を含む。画像変調器２４４は、ＸＹ平面内に点を有する２Ｄデバイスであるので、変換は、何からの深さ情報を２Ｄデバイスにマッピングする処理を含む。ポスト座標変換フィルタリングモジュール４０６は、空間フィルタリング法を用いて、画像を滑らかにし、データサンプルをリサンプリングし、これにより、適切に区切る。
また、座標変換モジュール４０４は、画像変調器２４４及び表示装置に関連した表示画像特性を改善する。表示スクリーン２６０の画素より多くの画像変調器２４４の画素を有する画像変調器２４４のスクリーン領域については、座標変換モジュール４０４は、隣り合う画素値の差分を低減するために、空間フィルタリングによって、画素値を調整する。この結果、対応する画像は、滑らかになり、アーチファクトを含まない。表示スクリーン２６０の画素より少ない画像変調器２４４の画素を有するスクリーン領域については、座標変換モジュール４０４は、エッジ強調フィルタリングを用いて、隣り合う画素値の間の差分を増加させ、画像投写によって隣り合う画素が広がった際に導入される歪みを予め補償する。
座標変換モジュール４０４は、好ましくは、例えば、最近近接フィルタリング、バイリニアフィルタリング、トライリニアフィルタリング、異方性フィルタリング、３次畳込み、同期フィルタリング、又は３次スプライン補間等のフィルタリングアルゴリズムを用いて画像を処理し、正確に補間された画像画素値を生成する。更に、複数のフレームの再生が必要な場合、座標変換モジュール４０４は、凸射影法（Projections On Convex Set：ＰＯＣＳ）等の決定論的手法及びベイジアン強調（Bayesian enhancement）等の確率論的手法を含む時変マルチフレームフィルタリング法を用いる。座標変換モジュール４０４は、演算の複雑さに基づいて、適切なフィルタリング技術を選択する。異方性フィルタリングは、画像を明瞭にし、距離によって異なり、距離に応じて傾斜を有する場合がある表面上の画像テクスチャの画質を向上させる手法である。異方性フィルタリングは、バイリニア等の単一のテクスチャマップ又はトライリニア等の複数のテクスチャマップを用いることができ、異方性フィルタリングは、処理において、不鮮明さが導入されることが少なく、したがって、より詳細な情報を保存できるという更なる利点を有する。異なる方向で異なる量でスケーリングを行う場合、異方性スケーリングが行われる。具体例として、６４×６４のソース画素テクスチャを、１４×３０画素の出力矩形を覆うようにスケーリングする場合がある。
座標変換モジュール４０４は、表示スクリーン２６０の環境に関連する画像欠陥を改善できる。座標変換モジュール４０４は、通常、正面投写型のシアタシステムで用いられているように、画像を歪ませて曲面の表示スクリーン２６０を補償する空間的投写を実行し、次に、ビットストリーム情報を用いて、画質を向上させる。例えば、座標変換モジュール４０４、動くオブジェクトの深さに関する情報を取得することができる場合、曲面の表示スクリーン２６０の端における歪んだ動きを減少させることができる。座標変換モジュール４０４は、オブジェクト距離情報に従って、動くオブジェクトの最適なフローを構成する。そして、座標変換モジュール４０４は、動き適応型フィルタリングを用いて、時間領域において、オブジェクトを適切な空間座標に配置する出力フレームのシーケンスを組み立てる。座標変換モジュール４０４は、このようにして、曲面の表示スクリーン２６０への投写の間に、シーン内の全てのオブジェクトの正しい動きを伝える。また、座標変換モジュール４０４は、光学補正に関連して、プロジェクタ（図示せず）から表示スクリーン２６０の異なる部分への異なる焦点距離から生じる歪みを改善するように動作する。座標変換モジュール４０４は、表示スクリーン２６０の環境をモデル化する光ベースのパターン投写及び捕捉技術（上述）からの情報を使用し、次に、表示装置のテセレーションマップの形式のモデルを使用して、画像歪みを数学的に補償する。座標変換モジュール４０４は、光学系によって生成される反り歪み（warping distortion）を補正するために、同様の平面スクリーンの三角形ベースのディスプレイテセレーションマッピングを曲面のスクリーンに適用する。
画像変調器２４４から表示スクリーン２６０までのパスの伝達関数は、表示スクリーン２６０が曲面である場合、変化する。表示スクリーン上の曲線は、表示装置の伝達関数の一部になる。座標変換では、伝達関数に曲面の表示スクリーンの影響及びテセレーション三角メッシュ値を組み込み、これに応じて補償を行うことができる。伝達関数にスクリーンの湾曲を組み込む利点は、システム歪み及びスクリーンの湾曲の両方について、座標変換処理を一回だけ行えば済むようになるという点である。
座標変換モジュール４０４は、様々なヘッドマウントディスプレイ（Head-Mounted Display：ＨＭＤ）のために、曲面の表示画面２６０の処理と同様の空間的処理を用いる。ＨＭＤは、ユーザが装着するヘルメット又は眼鏡と組み合わされた表示装置であり、通常、左右の目のための２つの画像変調器２４４を含む。ＨＭＤは、１人の観察者に専用に使用され、物理的な領域が狭いため、通常、高画質画像を表示する。
座標変換モジュール４０４は、動き適応型フィルタリングを考慮することなく、３Ｄグラフィクスのコンテキストにおいて、曲面の表示スクリーン２６０へのワーピングを有する画像の空間的な投写を扱う。座標変換モジュール４０４は、表示画像フレームを２Ｄテクスチャとみなし、曲面を３Ｄ表面とみなす。そして、座標変換モジュール４０４は、例えばビデオである２Ｄテクスチャを、曲面の表示スクリーン２６０の数学的な逆である表面にマッピングする。このようにして、座標変換モジュール４０４は、投写されると、マッピングされた画像から曲面の表示スクリーン２６０に関連する歪みが除去されるように、画像フレームを事前に補正する。
座標変換モジュール４０４は、好ましくは、例えば、異方性フィルタリング等の技術を用いて、出力画素を生成する際に最もよいテクスチャが使用されることを保証する（「Marc Olano, Shrijeet Mukherjee, Angus Dorbie, "Vertex-based Anisotropic Texturing," Proceedings of the 2001 SIGGRAPH/Eurographics Workshop on Graphics Hardware (Los Angeles, CA, August 12-13, 2001), ACM SIGGRAPH, New York, 2001」参照）。より簡単なバイリニアの単一テクスチャ解像度を用いることに代えて、トライリニアモードに関連する画像フレームの異なるサブバンド及びスーパーバンド表現からのテクスチャサンプルを用いることが最良である。異なる帯域を提供することによって、異方性フィルタリングは、異方性フィルタリングの追加的な処理により、トライリニアモードと同様にテクスチャの２つ以上の解像度からのテクスチャサンプルを利用できる。更に、座標変換モジュール４０４は、好ましくは、例えば、同期フィルタ、ウィナー逆畳込み（Wiener deconvolution）、ＰＯＣＳ及び／又は他のマルチパスフィルタリング技術等のフィルタリング技術を用いて、オフラインで画像をフィルタリングし、フィルタリングされた画像をフィルムレコーダに出力する。座標変換モジュール４０４は、単一の画像マップから、所望の画素の全てをサンプリングし、所望の出力を生成することもできるが、座標変換モジュール４０４は、画像処理パイプラインの異なる処理段で何度も実行する必要がある、幾つかの、より一般的な処理を容認してもよい。このような処理の段階化によって、例えば、異なるメモリアクセスについて、サブバンド化及びスーパーバンド化等の処理を最適化でき、これにより得られる画像帯域をＧＴ４０４によって再利用することができる。
例えば、入力画像の８ラインを保存するラインバッファを用いて、画像を半分の解像度にフィルタリングし、ライン毎に１２８画素及び８ラインを使用して、高度に最適化された半分の解像度の画像を生成してもよい。このような処理は、入力パス又はＩＲ３１８において実行でき、ＧＴ４０４は、フィルタリングされた半分の解像度の画像を、画像サブバンドとして使用できる。座標変換において、同等のスケール低減処理を実行するには、オリジナル画像からの１０２４個のテクスチャサンプルを使用する必要がある。ＧＴ４０４がメモリバッファ又はテクスチャサンプルキャッシュを含む場合、通常、これらと同じテクスチャサンプルは、他の座標変換処理に必要であるため、テクスチャサンプルのアクセスを含むことができる。ＧＴ４０４が十分なテクスチャサンプルへのアクセスを有し、且つ画像のスケーリングを含む完全な処理を実行する十分な演算スループットを有する場合、ＧＴ４０４は、テクスチャサンプルのために最も高い解像度の画像帯域を使用する。一方、テクスチャサンプルの数又は演算の量において、座標変換処理に制約がある場合、最も高い解像度の画像サブバンド及び他の特別にフィルタリングされ及びスケーリングされた画像サブバンドの両方からのテクスチャサンプルを用いることによって、優れた画像を生成することができる。異なる段階の処理を用いる場合であっても、ＧＴ４０４は、所望の処理を遂行するために、マルチパスを実行する必要があることが多い。
座標変換モジュール４０４は、他の３次元テクスチャマッピングモードでもビデオデータを処理し、画像内の複数のテクスチャを含むシステムを用いることができる。例えば、座標変換モジュール４０４は、バンプマッピング、及び複数のテクスチャマップを画像に適用するディスプレースメントマッピング等の高画質のテクスチャリング技術を用いることができる。これらの複数のテクスチャマップモードは、テクスチャソースとして、画像データの異なるサブバンドを用いることもできる。他の具体例として、座標変換モジュール４０４は、写真フィルム特有のざらつき感（graininess）をモデル化し、マルチサーフィステクスチャリングを適用して、ビデオデータにフィルムにより近い質感を与える。座標変換モジュール４０４によって、ユーザは、例えば、オーディオ再生オプションにおける「ホール」、「スタジアム」等の残響効果の選択と同様に、設定操作の一部として、ざらつき感モデリング特性を選択することができる。また、座標変換モジュール４０４は、３次元システムにおける異なる照明モデルに関連する光源技術を用いて、色振幅の不一致を補正できる。
システムの伝達関数へのテセレーションマップのフィッティングを判定するためのアルゴリズムは、様々な技術に基づくことができ、システムの特定の不均一性に応じて調整することができる。更に、テセレーションマッピングアルゴリズムが決定される時点で、座標変換モジュール４０４の処理及びテクスチャマッピング技術は、通常、既知であるので、これらの処理ステップの如何なる特定の特徴も、三角メッシュの判定の一部として、考慮に入れることができる。ユーザが動く都度、テセレーションマップが変化する対話型の３Ｄゲームとは異なり、投写パスは、通常、リアルタイムでは変化しないので、この種のシステムのテセレーションマップは、本質的に一定のまま持続する。位置ベースの娯楽システム又は３Ｄ仮想現実感システムをサポートするアプリケーションの場合、投写パスは、実際に、実時間で調整できる。
テセレーションマッピングアルゴリズム及びこれにより得られる三角メッシュは、システムの伝達関数を測定するために、様々なテスト入力を生成し、テスト画像の捕捉する手法を含む様々な手法によって生成することできる。テスト入力は、単一の画素又は単一ライン画像、表示画面の異なる部分に投写される異なる形状を含むことができ、また、色成分及び色の強さを変化させてもよい。実時間ビデオ画像を処理する能力は、複数の三角形頂点の組合せ、各頂点について実行される処理の量、各三角形の非頂点画素の処理のためのフィルレートによって制限してもよい。これは、小さい三角形が多すぎる様々な処理ステップは、実用的でないことがあるためである。更に、三角形が大きく、数が少なすぎる場合も、よい結果が得られない可能性がある。したがって、必要な部分で、より小さい三角形を利用できるようにする技術の開発は、三角形テセレーションにおける重要なステップである。
通常は考慮されていないが、より高度なシステムにおいては、三角メッシュを決定する際に実時間画像データを考慮してもよく、これにより、新たな動的なテセレーション技術が実現される。このような動的なテセレーション技術の利点は、アクティビティ及び高周波数成分が多い表示領域に、より細かい三角メッシュを動的に割り当てることができ、アクティビティ及び高周波数成分が少ない表示領域には、より粗い三角メッシュを動的に割り当てることができる点である。表示領域内の高周波成分及びアクティビティの量は、圧縮データストリームの場合、ビットストリームエンジン３１２５によって、又は画像再生モジュール３１８によって判定してもよい。この判定は、表示画面の異なる粗い四分円、適度のサイズのタイル、より小さいサイズの区域、又はコードブロックまでのあらゆる単位に基づいて行ってもよい。そして、動的なテセレーションは、実時間のコンテンツ情報と共に、システムの伝送情報を用いて、所定の画像又は画像のシーケンスのために最良の三角メッシュをどのように選択するかを決定する。三角メッシュを選択する際に、システムで用いられるテクスチャマッピング技術に関する追加的情報を用いることもできる。
座標変換モジュール４０４は、多視点カメラシステムからのデジタルデータを処理して、フォーカスを改善し、画像変調器２４４のために高画質画像を提供することができる。座標変換モジュール４０４は、複数のカメラビューの何れが、オブジェクトについて最良のフォーカスを提供しているかを評価し、適切な視野においてオブジェクトを再生する。そして、座標変換モジュール４０４は、領域毎又はオブジェクト毎に複数のカメラビューを結合し、出力画像を生成する。また、多視点カメラビューは、マルチフレーム画像の再生のためにも使用することができる。
また、座標変換モジュール４０４は、画像データに含まれているマルチカメラビットストリーム情報を用いて、シーンのオブジェクト深さを判定し、動くオブジェクトの形状及び動きパターンの３次元モデルを構成することができる。そして、座標変換モジュール４０４は、同じビットストリーム情報を用いて、曲面の表示スクリーン２６０投写に関連する問題を解決し、表示スクリーン２６０全体に亘る適切なオブジェクトの動きを実現する。
また、座標変換モジュール４０４は、複数のカメラチャンネルが両眼視画像を提供し、観察者の両目のそれぞれがシーンの単眼のビューを見る自動立体３Ｄ表示装置を改良することができる。複数のカメラからのビデオ入力は、カメラ位置の知識に結合され、３Ｄ表示を生成することができる。表示処理の間、位置情報が使用され、観察者は、左右の適切な視点からカメラビューを見る。他のシステムでは、追加的なビットストリーム情報がビデオ内のオブジェクトを明示的に示し、及びオブジェクトの深さ及び動きを示す。ＧＴ４０４は、明示的なオブジェクト情報と共にカメラ位置情報を用いて、表示出力データを変更することができる。座標変換モジュール４０４は、上述したフォーカス動き適応フィルタリング技術に基づいて各単眼ビューを生成することができる。
観察者の位置情報と複数のカメラビューを一致させる技術は、複数の画面を有する娯楽システムに用いることができる。これらの娯楽システムは、移動する画面及び静止した画面と、移動する観察者又は静止した観察者との任意の組合せを含んでいてもよい。具体的なアプリケーションとして、テーマパークの乗り物では、観察者は、観察者が乗り物の移動経路に沿って移動しながら、複数の画面を見る。乗り物の移動経路は、予め決まっていてもよく、インタラクティブに決定できてもよい。
複数のビデオ入力を有するシステムの場合、座標変換モジュール４０４を用いて、特殊効果及びビデオストリーム間のリアルタイムの遷移を実現し、ユーザインタフェースを向上させることができる。例えば、チャンネルを変更する場合、１つのチャンネルから他のチャンネルへの突然の変化ではなく、座標変換モジュール４０４は、１つのチャンネルを、新たなチャンネルと混合させながら、フェードアウトさせることができる。フェードイン／フェードアウト及び混合では、通常、ビデオ画素を現在の位置に維持し、画素値の大きさを増加又は減少させる重み付けを実行する。また、この手法は、例えば、オンラインプログラムガイド及びユーザ設定メニュー等のメニューオーバレイ機能にも用いられる。また、座標変換モジュール４０４は、ワイプ又はワープ等のより高度な遷移も実行できる。これらのより高度な遷移は、ビデオ画像の空間座標を変更することによって、ビデオ画像をワープさせることを含む。これらの効果を実行するための１つの技術として、ビデオをテクスチャマップとして使用し、ビデオテクスチャマップを変化するディスプレイマップに実時間で適用してもよい。ＧＴ４０４を用いて、ＧＴ４０４が必要とする他の処理と共に、画像のスケールを縮小した場合の画質より高い画質で画像サブバンドが生成される場合、この画像サブバンドを利用することによって、様々な座標変換の質が向上する。
投写表示装置の特性に関連するＤＭに基づいて、ＧＴ４０４は、画像変換を実行する。ＧＴ４０４の様々な処理段階において、オリジナル画像からの画像サブバンドを用いて、新たな画像出力フレームを処理し、生成することができる。幾つかの場合、ＤＩＰ２１０の出力に更なるサンプリング技術を用いて、ＤＯＰ２３０のためのデータを生成してもよい。デジタル画像の座標変換は、サンプリング処理であり、エイリアシングアーチファクトに影響されやすい。ポイントサンプリング法等の簡単なサンプリング技術は、エイリアシングを回避するために十分ではない。これに代えて、エリアサンプリング、スーパーサンプリング、適応型スーパーサンプリング、確率論的サンプリング、ポアソンサンプリング、ジッタサンプリング（jittered sampling）、ポイント拡散サンプリング（point diffusion sampling）及び適応型の確率論的サンプリング等の技術が必要である。また、サンプリングにおいて、他の、より高度な畳込み技術を用いてもよく、高度なサンプリングが使用された後でも、ポストサンプルフィルタリングが必要である。本発明では、好適に設計された全ての適応型アルゴリズムと同様に、特別なフィルタリングを用いて、同じ画像又は画像シーケンス内のアルゴリズムの突然の変化から生じるアーチファクトを抑制する。
ＤＯＰ２３０の処理の一部として、ビデオフレームをグラフィックフレームに結合する必要がある場合があり、ここで、グラフィックフレームは、１つ以上のデジタル又はネットワークインタフェースを介してシステムに入力されるものであってもよく、ＤＯＰ２３０によって内部的に生成されるものであってもよい。何れの場合も、グラフィックフレームは、出力画像を適切に表示することを保証するために、事前補償処理を必要とする。この処理は、ビデオ画像に関連付けて実行してもよく、又は、ビデオ画像とは別個に実行した後、ビデオ画像にグラフィックフレーム結合してもよい。グラフィクス及びビデオを結合する簡単な処理として、各画素毎に、ビデオ情報又はグラフィック情報の何れかが表示されるマスキング又はオーバレイ処理を実行できる。ビデオ画像にグラフィクスを重ねるより高度な手法では、異なるレベルのトランスペアレント性を用いる。グラフィック画像を生成する際に、各画素をサブピクセルに分割するスーパーサンプリング又はマルチサンプリングの技術を用いて、アンチエイリアシングを実行する。エッジを滑らかにするアンチエイリアシングのために、グラフィック画像が独自に処理される場合でも、グラフィクス及びビデオの結合による作用から、グラフィクス画素及びビデオ画素が隣接する領域で望ましくない視覚的アーチファクトが生じる可能性がある。ビデオ及びグラフィックフレームを結合する改善された手法として、座標変換モジュール４０４は、テクスチャトランスペアレントモードに結合できるアンチエイリアシングを実行し、結合されたビデオ及びグラフィック画像の総合的な見栄えを改善する。アンチエイリアシング技術の機能は、結合された画像がより自然に見えるように、エッジにおいて、ビデオ画像データ及びグラフィック画像データを結合することである。
図５は、図４の座標変換モジュール４０４の構成を示すブロック図であり、座標変換モジュール４０４は、全てが共通のデータバス５５０を介して相互接続された、空間変換モジュール５０２と、位置合せ及び回転補正モジュール５０６と、焦点補正モジュール５０８と、歪み補正モジュール５１０と、リサンプリングモジュール５１２と、マルチフレーム相関モジュール５１４と、色振幅補正モジュール５１６とを備える。これらの画像処理モジュールは、独立したブロックとして示しているが、様々な画像処理モジュールの機能を実行する単一のプログラマブルプロセッサとして実現できる。図７を参照して後述するように、ＤＩＰ２１０及びＤＯＰ２３０の他のモジュールを含むシステムオンチップ（System-On-Chip：ＳＯＣ）インプリメンテーションの一部として、グラフィクスプロセッサユニット（Graphics Processor Unit：ＧＰＵ）によってこれらの機能を実現してもよい。
図５の実施の形態では、空間変換モジュール５０２は、画像画素ポイント間の空間的関係を再定義する。空間変換モジュール５０２により、例えば、３つの画像変調器２４４を備える投写表示装置のＸ−Ｙ位置合せにおいて、各画像変調器２４４は、付加的な画素行及び画素列を有することができる。そして、空間変換モジュール５０２は、Ｘ−Ｙ平面において画素をデジタル的に調整し、画像変調器２４４に調整された画素データを供給する。例えば、整数で画素調整を行う場合、空間変換モジュール５０２は、調整のために、前のイメージング画素アドレスを、整数の画素数だけシフトさせる。一方、非整数で調整を行う場合、空間変換モジュール５０２は、重み付けフィルタリングアルゴリズムを用いて画像をリサンプリングし、新たな画素値を取得する。また、空間変換モジュール５０２は、画像変調器２４４の１次元スキュー、接線方向の対称性（tangential symmetry）、アスペクト角及びスケールに関連する歪みを処理する。空間変換モジュール５０２は、リサンプリング及び重み付けされたフィルタリングアルゴリズムを用いて、画素ライン毎にこのような歪みを補正する。空間変換モジュール５０２は、従来の３次元レンダリング処理と同様に、テクスチャマッピングを実行できる。
１つの例示的なシステムでは、空間変換モジュール５０２は、画素中央点の移動に基づき、新たな出力画素を生成するために用いられるソース画素、差分ソース画素の重み付け、及び理想的出力画素を生成するために用いられるフィルタの形状を判定する。このようなスキームは、ＤＭ４０２の情報がフラッシュメモリから直接アクセスされ、入力画素データに結合されて、投写歪みの形状に基づいて適切に変形された出力画素値を生成する、より低コストなシステムで用いることができる。このようなシステムは、ラインバッファメモリを用いて設計することでき、これにより、外部記憶装置を不要とすることができる。また、このような処理は、座標変換モジュール４０４の全ての処理ステップを組み込むことができ、低コストのシステムが実現される。
また、空間変換モジュール５０２は、スケーリング及びフォーマット変換を実行するために用いることができる。１つの手法では、既に入力画像のスケール変換されたバージョンであり、通常、次のサブバンドの解像度の２倍である画像サブバンドからのデータを使用する。入力解像度の２倍の解像度の画像スーパーバンドがある可能性もある。（ハードウェアの現実的な制約内で）如何なる所望の出力解像度でも、より低い（又は等しい）解像度を有する画像サブバンドがあり、より高い（又は等しい）解像度を有する画像サブバンド又はスーパーバンドがある。２つの隣接する画像を用いて、空間変換モジュール５０２は、隣接する画像間で、重み付けされ、フィルタリングされた補間を実行でき、所望の解像度を有する出力画像を生成することができる。このように、入力画像として隣接する画素を用いる手法は、以下に説明する位置合せ及び回転補正モジュール５０６、焦点補正モジュール５０８、歪み補正モジュール５１０、リサンプリングモジュール５１２、マルチフレーム相関モジュール５１４及び色振幅補正モジュール５１６の処理においても、好ましいモードである。
また、アナモルフィックな（放物線状の）スケーリング及び４：３から１６：９へのコンテンツの非線形変換を実行するための領域ベースのアナモルフィックなスケーリングを含むより複雑なフォーマット及びアスペクト比変換技術のためにも空間変換モジュール５０２を用いることができる。変換処理では、４：３のコンテンツを異なるゾーンとして扱うことができ、センターゾーンは、直線的にスケーリングされ、左右のゾーンは、アナモルフィックスケーリングを用いてスケーリングされ、画像が画面のエッジにより近くなる程、スケーリング係数を大きくする。この技術は、中央の表示空間のスケーリング歪みを最小にでき、シーン情報の大部分は、画像の中心に集中していることが多いと考えられるため、有効である。この種類のスケーリングは、個別の処理として実行してもよく、テセレーションマッピングを用いる総合的な座標変換の一部として実行してもよい。テセレーションマッピングに結合する場合、左右のゾーンの三角形は、投写歪みの補正に適するだけではなく、非線形のスケーリングを含むように形成される。
インタラクティブ３次元システムが任意のシーンにおける様々なバリエーションを有するユーザの視点を必要とし、したがって、非常に近い、非常に遠い、又は多くの異なる角度からの異なる質感を有するビューを必要とするために、サブバンド及びスーパーバンドの２回に亘る解像度のインクリメントが使用される。背面投写テレビジョン（Rear Projection Television：ＲＰＴＶ）の場合、視野角及び視距離は、投写パスの内部設計に関連する。したがって、投写パスは、より固定的であり、対話型の３次元システム程のバリエーションを有さない。したがって、サブバンドの２回に亘る解像度のインクリメントを選択する必要はなく、インクリメントを少なくする方が、テクスチャリング処理によりよい結果をもたらす。例えば、最悪の状況の画像歪みパスに基づき、オリジナル画像の第１のサブバンドを入力画像より２０パーセント小さくすることが有益である場合がある。第２のサブバンドは、第１のサブバンドより２０パーセント小さくしてもよい。同様に、スーパーバンドは、オリジナル画像より２０パーセント大きくなるように選択してもよい。帯域のサイジング及びテクスチャリングアルゴリズムは、数学的に関連しており、システムは、サブバンド間の関係を考慮して設計又はプログラムする必要がある。
位置合せ／回転補正モジュール５０６は、画像変調器２４４の２次元スキュー、接線方向の対称性（tangential symmetry）、アスペクト角及びスケールに関連する歪みを処理する。位置合せ／回転補正モジュール５０６は、各Ｒ、Ｇ、Ｂ色成分について、出力時に、各色成分が画像全体に亘って適切な位置に配置されるように、リサンプリング及び重み付けフィルタリングを用いて、水平方向及び垂直方向に画素の位置を変更する。また、位置合せ／回転補正モジュール５０６は、画素の位置を変更して表示画像を回転させる。位置合せ／回転補正モジュール５０６は、３つの画像変調器２４４の回転の位置合せ誤差、又はレンズからの幾何的歪みを補正し、画像を予め補償するために座標変換を実行する。
焦点補正モジュール５０８は、画像変調器２４４の光学部品によって導入される焦点ずれを含む不均一な焦点ずれを改善する。焦点補正モジュール５０８は、表示画面２６０のフォーカス問題を考慮し、好ましくは、画像を表すデジタルデータを予め補償するように画像をフィルタリングする。表示画面２６０の領域が、不均一な投写パスのために、表示画面２６０の画素より多くの画像変調器２４４の画素を有している場合、焦点補正モジュール５０８は、単一のフレーム毎に、雑音フィルタリング技術を用いて、線形フィルタ、非線形フィルタ及び適応フィルタを適用する。更に、焦点補正モジュール５０８は、ＰＯＣＳ又は他の適応フィルタリング技術に基づく技術を用いて、予期されるフォーカスのぶれを予め補償する。一方、表示画面２６０の領域が、不均一な投写パスのために、表示画面２６０の画素より少ない画像変調器２４４の画素しかない場合、焦点補正モジュール５０８は、畳込み又は逆フィルタリング技術を用いて、エッジ強調を実行し、投写の間に拡散された画素及びぼかされた画像を予め補償する。表示装置に起因する画像の空間的な拡散は、表示装置の点像分布関数（Point Spread Function：ＰＳＦ）として特徴付けられる。
歪み補正モジュール５１０は、各画像に、異なるスケール係数を有する走査線を提供し、投写距離差分を予め補償する。歪み補正モジュール５１０は、画像の上部から画像をフィルタリングし、投写された際に、表示画面２６０上の画像が適切な比率を有するように、画像が画像変調器２４４のより少ない画素を使用できるようにする。
また、歪み補正モジュール５１０は、レンズ系によって導入された放射歪みを補正する。放射歪みが表示画面２６０の画素密度を増加させる領域では、歪み補正モジュール５１０は、空間フィルタを用いて、隣り合う画素値の間のあらゆる差分を減少させる。この結果、対応する画像は、滑らかになり、例えば、高周波アーチファクト等のアーチファクトを含まなくなる。表示画面２６０の画素より画素が少ない表示画面２６０の領域では、歪み補正モジュール５１０は、フィルタリング技術を用いてエッジ強調を実行し、隣り合う画素値の間の差分を増加させる。これによって、隣り合う画素が拡散された場合、表示の間に導入されるＰＳＦ歪みを予め補償することができる。この結果、鋭いエッジを有する画像は、より均一な見栄えを有するように、表示処理によって滑らかにされる。歪み補正モジュール５１０は、好ましくは、ＤＭ４０２から特定の歪みパターンを取得する。
リサンプリングモジュール５１２は、高解像度グリッドから画像変調器２４４のグリッド上の新たな画素値に画素値を移す。マルチフレーム相関モジュール５１４は、複数のフレームの表示品質を改善する。マルチフレーム相関モジュール５１４は、例えば、フレーム間の時間的な相関関係を利用するために、ウィナー畳込み等のアルゴリズムを用いる。マルチフレーム相関モジュール５１４は、２つ以上の入力画像フレームを処理するマルチフレーム技術を用いて、オプティカルフロー場を構成し、オプティカルフロー場は、出力フレームを構成するために更に処理される。ＩＲ３１８は、マルチフレーム相関モジュール５１４にフレーム入力を提供できる。これに代えて、これらのフレーム入力は、圧縮入力制御モジュール３１２への圧縮データ入力の一部であってもよい。マルチフレーム相関モジュール５１４は、ベイジアンフィルタリング又はＰＯＣＳ技術を用いて、圧縮ビットストリームからのフレーム間の関係を示す複数のフレーム情報及び動きベクトルを抽出する。
また、マルチフレーム相関モジュール５１４は、例えば、２４フレーム／秒（ｆｐｓ）から６０フレーム／秒等、入力フレームレートを出力フレームレートに変換する。このようにして、マルチフレーム相関モジュール５１４は、２４個の入力フレームのシーケンスから、６０個の固有且つ別個の出力フレームを生成し、表示時には、全てのオブジェクトが適切な空間座標に表示されるように、全ての動くオブジェクトの動きを補償する。適切な出力フレームを生成するための情報は、入力フレーム、動き推定情報及びオブジェクト動き予測に由来する。動き推定情報は、圧縮入力ビットストリームの一部であってもよく、画像受信処理の間、動き推定器３１８０によって生成されてもよい。
色振幅補正モジュール５１６は、表示画面に亘る色の強さの不均一を補正するために使用される。例えば、ＲＰＴＶの光パスは、光源が表示画面の上部より表示画面の底部においてより明るい場合があり、補償を行わないと、良好な画像を表示できないことがある。システムの設定モードの間、画面上の各位置における各色成分の明度に関連する情報を測定し保存できる。この情報は、画素毎に用いてもよく、又は三角形の各頂点に各色成分の色彩調整値が割り当てられるテセレーションマップ生成の一部として用いてもよい。そして、色振幅補正モジュール５１６は、これらの色彩調整値を用いて、各画素における各色成分の明度を補償することができる。これは、画素毎に保存された情報を用いて実行してもよく、又は頂点毎の情報を用いて、ある種の補間を実行し、頂点間の値を決定することによって実行してもよい。
表示変調及び光源制御モジュール（ＭＬＣ）４２０は、好ましくは、ＤＯＰ２３０が処理した出力データを受信し、このデータの画像変調器２４４への供給を制御する。ＭＬＣ４２０は、画像フレーム内のティアリングを防止し、表示タイミングに関するタイミングの更新の制御を含むことができる。ＭＬＣ４２０の出力は、アナログ信号であってもよいが、好ましくは、６ビット、８ビット又は以上のデジタル信号であり、独立したデータ及び各Ｒ、Ｇ、Ｂ色成分の制御信号を含む。列ドライバを含むＴＦＴディスプレイの場合、ＭＬＣ４２０の出力は、例えば、１つ又は２つの２４ビットデジタルバスであってもよく、１成分当たり８ビットで、ラスタスキャンを駆動する。これに代えて、ＭＬＣ４２０は、画像変調器２４４を駆動する出力として、電圧又は周波数変調技術を用いてもよい。ＭＬＣ４２０の出力は、フラットパネル表示装置の場合、行ドライバ及び列ドライバを含み、アクティブマトリクスＴＦＴ、パッシブマトリクスＬＣＤディスプレイ又はこれらを必要とする他の種類の表示装置の場合、電圧レベルの定義を含む。画像を変調する前に、ＭＬＣ４２０は、最も簡単な手法、周波数及び画像変調器２４４に書き込まれるデータを表す値を判定する。ＭＬＣ４２０は、画像変調器２４４に関連する時間応答の補償及び表示更新レート（リフレッシュレート）を高めるアルゴリズムの両方を含むＴＧＰ４１２及びＲＳＲ４１４を用いて、画像変調器２４４の知覚される解像度を高める。
最も一定の単一のバックライトソースを生成する従来のバックライト設計目標は、本発明の理想的な実施の形態の目標とは異なる。必要であれば、一定のバックライトを生成する能力に加えて、本発明の好ましいバックライトの実施の形態は、影響を受ける画面の領域に関する相関情報と共に、バックライト素子をより細かい精度で制御する。「Lumileds Lighting, U.S., LLC Application Brief AB27 published January 2005 "For LCD Backlighting Luxeon DCC"page 7」には、９０度のカップリングミラー、混合導光板（mixing light guide）、１８０度のカップリングミラー、そして、最後にメイン導光板を介するパスを有し、色差及び輝度の必要条件を満たすバックライトを生成する１５インチの表示装置のためのＬＥＤ光源が開示されている。光拡散フィルム、ＢＥＦフィルム及びカップリングミラーと共に導光路を使用するこの構成は、ＬＥＤバックライト構成の代替の構成となる。この導光路を用いる手法は、非常に均一性が高いバックライトを生成するが、通常、領域に基づく制御が不得手である。導波路構成と共に本発明の実施の形態を用いる場合、各導光路が表示領域への光源に貢献する複数の導波路が必要となる場合がある。これに代えて、単一の導波路の個々のＬＥＤを、表示のどの領域に最も影響を与えるかによって、特徴付けてもよい。
図６は、フラットパネル表示装置用の３色ＬＥＤバックライト装置６４０の構成を示すブロック図である。このバックライト装置６４０では、個々のＬＥＤがそれぞれのバス６２２〜６２８を介して制御されるＬＥＤ６１２〜６１８の４つの行を示している。ここでは、説明を明瞭にするために簡略化して示しているが、本発明の好ましい実施の形態では、ＬＥＤによって生成された光パターンを改善するために、千鳥状のパターン、六角形、八角形又は他の多角形グリッドでＬＥＤを配列してもよい。グリッド点は、個々のＬＥＤ又は各画素を構成する多色のＬＥＤのクラスタの何れであってもよい。表示画面上に望ましくない色スポットが生じることを防止するために、側面発光型ＬＥＤ又は分流加減器を有するＬＥＤを用いてもよい。センサの配置は、ＬＥＤの特定の配置に基づいて異なるが、センサフィードバック及びＬＥＤ処理を行う包括的な概念は同じである。多角形ＬＥＤ構成の場合、センサを各多角形の中心に配置することができる。
好ましい実施の形態では、各ＬＥＤの明るさは、バス６２２、６２４、６２６、６２８を構成する個々の制御線により、表示光量制御回路、すなわち行ＬＥＤ制御回路６０２〜６０８によって個々に制御される。他のシステムとして、位置及び色の何らかの組合せに基づいて、グループ又はクラスタの何れかとしてＬＥＤを制御してもよい。行１〜４のＬＥＤ制御回路６０２〜６０８は、ＭＬＣ４２０からコマンドを受信し、ＬＥＤの種類に応じて、電圧、電流、パルス幅変調又はこれらの３つの任意の組合せに基づいて、輝度調節を行う。図６は、緑色（Ｇ）、青色（Ｂ）赤色（Ｒ）、緑色（Ｇ）の繰返しシーケンスを示しているが、異なるパターン及び異なる色を用いてもよく、ここでの目的は、完全な色域を表示する能力である。この具体例においては、現在の緑色ＬＥＤ技術では、赤色及び青色と同等の高出力が達成されていないので、緑色ＬＥＤの数を倍にしている。他のシステムとして、第２の緑色ＬＥＤに代えて、第４の色（波長）のＬＥＤを用いてもよい。
図６に示すように、例えば、ＴＦＴパネル等の表示変調器が、照明システム上の所定の位置に配置されると、多くの表示変調器の画素が各ＬＥＤからの影響を受け、表示変調器の各画素は、複数のＬＥＤからの影響を受けることがある。ＬＥＤ、表示変調器の画素及び表示画面の間の関係は、点像分布関数（Point Spread Function：ＰＳＦ）によって記述できる。ＬＥＤ及び表示変調器の間には、通常、ＬＥＤからの明るいスポットの電位を低下させ、光源全体を均一化するための幾つかの種類の拡散フィルムがある。ＬＥＤは、通常、プリント回路基板（ＰＣＢ）に取り付けられており、ハーネスを補助すると共に、ＬＥＤ光をパネルに向けるために、ＰＣＢのＬＥＤ側には、幾つかの種類の反射型材料が配設されている。行１のＬＥＤ制御回路６０２、行２のＬＥＤ制御回路６０４、行３のＬＥＤ制御回路６０６、行４のＬＥＤ制御回路６０８及びセンサ回路６３８は、物理的に、ＬＥＤからＴＦＴパネルへの光路の外にある必要があり、ＰＣＢの背面側又は表示画面の枠の下に配置することができる。
ＬＥＤバックライト装置６４０の一部として、様々なセンサ６３２ａ〜６３２ｆが設けられている。センサは、明度及び波長を検出してもよい。センサ６３２ａ〜６３２ｆは、表示装置内の様々な位置に配設することができ、ＬＥＤ光を直接検出してもよく、又はフラットパネル表示装置の一部である拡散フィルタを介して検出してもよい。本発明の一実施の形態においては、各ＬＥＤは、外部的に、ＬＥＤパッケージの一部として又はＬＥＤ組立体の一部として、センサを含むことができる。センサは、サンプリング及び変換回路を必要とすることがあり、この回路は、センサに組み込んでもよく、又はセンサ回路６３８等の独立した回路であってもよい。ディスプレイセンサフィードバックパス６３６は、ＤＯＰ２３０の一部であるセンサ入力４２６にセンサデータをフィードバックする。
センサフィードバック情報は、明るさ及び色（波長）に関して、様々なＬＥＤ光源の特性を判定するために処理され、更なる処理によって、表示装置を較正する。ＬＥＤ特性は、電子部品が加熱するに伴って、温度によって変化することがあり、また、ＬＥＤの使用期間によって変化することもあり、これにより、ＰＳＦも変化する。光源の他の重要な側面は、所望の色温度に関して、様々な波長のＬＥＤのバランスを保ち、システムの適切なホワイトバランスを維持することである。センサのための処理回路は、共有してもよく、すなわち、複数のセンサが同じ期間に亘って回路を共有する。例えば、センサがアナログ信号を出力し、処理回路がアナログ／デジタル変換を実行してもよい。各ＬＥＤ毎にセンサがある場合でさえ、アナログ／デジタル変換のために回路を共有してもよい。通常、全てのＬＥＤを同時に較正する必要はないが、センサ回路の幾つかの組を設け、２以上の位置からのセンサ情報を用いて、所定の入力の組についてＬＥＤ特性を判定することは有益である。
図６に示すように、センサが表示装置内の様々な位置に配置されており、１つのＬＥＤ当たり１つのセンサがない場合、任意のＬＥＤの特性を判定することはより難しくなる。例えば、ＯＬＥＤ及びＮＥＤベースのシステム等、また、センサを含むことができる光源が各画素部品の一部として含まれている他のシステムでは、各画素部品毎にセンサを設けることができる。各画素部品のためのセンサは、単に感知素子を含んでいればよく、感知素子から使用可能なデータへの変換及びサンプリング（アナログ／デジタル変換等）は、画素部品素子間で共有される１つ以上のセンサ制御回路によって実行できる。以下の説明は、ＬＥＤを中心に行うが、この説明は、ＯＬＥＤ、ＦＥＤ、ＮＥＤ又は他の光源にも容易に適用できる。
ＬＥＤの特性を判定する２つの手法として、診断モードと、実際の表示データが表示されている間に行うランタイムサンプリングとがある。診断モードでは、検査中のＬＥＤを除く全てのＬＥＤをオフにすることができる。検査中のＬＥＤを異なるレベルで順次制御し、センサは、各レベルで値を記録することができる。例えば、ＬＥＤが１６個の明度レベルを有する場合、ＬＥＤを明度レベル１に設定し、ＬＥＤの範囲内のセンサが色及び強さレベルを記録する。次に、明度をレベル２に変更し、レベル２のＬＥＤにおける色及び強さレベルを記録する。このような処理を１６個の全ての明度レベルに亘って繰り返し、ＬＥＤの応答テーブルを保存する。そして、このような手続きを、システムの各ＬＥＤ毎に繰り返す。この手法により、ＬＥＤ及びセンサの相対的位置に関する情報と組み合わせて、フラットパネル照明システムの完全な較正を実行できる。幾つかのシステムは、温度に基づいて表示装置を更に較正するための温度センサを備えていてもよい。また、他のシステムは、画面の見栄えに影響する周囲光条件を測定するセンサを備えていてもよい。
工場において、又は表示装置のメインテナンスの間、診断モードを実行できる。しかしながら、通常の動作条件では、例えば、民生用テレビジョン受像機等の用途では、このような診断動作を常に実行できるわけではない。例えば、テレビジョンシステム等の民生用機器の用途では、テレビジョンの処理にこのような診断モードを隠すことができる。例えば、テレビジョン受像機が２時間以上オンにされている場合、ＬＥＤは、標準の運転温度で作動していると考えられる。ユーザがテレビジョン受像機をオフにすると、ＬＥＤ診断モードを実行できる。ＴＦＴ又はＬＣＤ画面がオフにされると、ユーザに煩わしい思いをさせることなく、このようなＬＥＤ診断モードを実行でき、部屋が消灯されない限り、ユーザは、このような較正が行われていることすら気付かない。
しかしながら、幾つかの用途では、デジタル表示装置は、全くではないにしても、殆どオフにされることがなく、このような場合、通常の動作条件でこのような診断モードを実行することはできない。例えば、表示装置がホテル又は空港内の売店に設置されている場合、表示装置は、数ヶ月間又は数年間もオンのままにされることがある。このような場合には、表示処理の一部である動作的な刺激（operating stimulus）を用いて、ＬＥＤ特性判定を実行する必要がある。ＭＬＣ４２０は、如何なる出力が表示光量制御回路６０２〜６０８を駆動しているかを知り、駆動出力及び対応するセンサデータを追跡及び比較することができる。センサが光及び色を記録し、これらを相関させ、ＬＥＤが何に対して設定されたかにフィードバックさせるこのようなフィードバックシステムは、ＬＥＤ出力設定にかかわらず動作させることができる。これに代えて、表示装置は、表示処理の間に自然に発生する所定のＬＥＤ条件を検出し、この期間のセンサデータを記録するのみであってもよい。幾つかの用途、例えば、フライトスケジュールを常時表示する空港の売店の表示装置等では、表示される色の組は限定的であり、予め選択されたＬＥＤ条件が永久に満たされないこともある。したがって、所定のＬＥＤ条件を検出する技術に基づくシステムでは、ＬＥＤ設定が如何なる設定であろうと、センサ信号を記録するモードが必要となる場合もある。
ＬＥＤ出力の色及び強さレベルを検査し、特性を判定することに加えて、ＬＥＤの実際の時間応答特性を判定することも有益である。本発明の好ましい実施の形態では、ＬＥＤの遷移速度を利用して、表示変調器自体の、より遅い色遷移を補償する。センサは、ＬＥＤの遷移速度を特徴付けるために、ＬＥＤの様々な出力レベル間で遷移速度を記録するように設定できる。応答時間補償を実行する際、この情報を利用して、ＬＥＤの駆動出力レベルの一致を向上させることができる。ナイキストサンプリング定理に従えば、センサデータをデジタル値に変換する所定のセンサ及び回路は、ＬＥＤの出力トグル速度の少なくとも２倍の速度で動作する必要がある。上述したように、ＬＥＤ応答時間は、診断モードの一部として、又は通常の動作モードの間に入力データストリームの一部であるパターンを用いて測定することができる。
ＤＯＰ２３０は、ＤＭ４０２、ＳＧＰ４０８、ＴＧＰ４１２及びＭＬＣ４２０を含む様々な処理モジュールの機能の一部として、処理済のセンサデータを使用する。本発明の一実施の形態においては、センサデータを用いて、各画素について保存されているＤＭ４０２の情報を調整又は上書きすることができる。そして、ＳＧＰ４０８、ＴＧＰ４１２及びＭＬＣ４２０は、色及び強さに関する更新後のＤＭ４０２画素情報を用いて、表示変調制御回路及び光源制御回路の両方を調整する。他の実施の形態においては、センサ情報は、バッファメモリ４２４に保存され、各処理モジュールは、このセンサ情報を用いて様々な処理ステップを実行する。何れの場合も、ＬＥＤ及び表示変調器の空間的及び時間的な特性に関する情報は、ＳＧＰ４０８及びＴＧＰ４１２によって使用され、これにより、ＭＬＣ４２０は、ＬＥＤ及び表示変調器のアレーを適切な値で駆動できる。更に、画像コンテンツの処理と、表示変調器及びＬＥＤの駆動との組合せを用いて、より高画質な表示出力を生成することができる。本発明の好ましい実施の形態では、ＬＥＤを制御することによって拡大されたダイナミックレンジによって、単一の光源及び画像変調器で生成される画像より高画質な画像を実現することができる。
ＬＥＤ制御のための処理は、空間的に時間的に実行される。空間的処理は、供給される表示データ及び他の表示特性に基づいて、ＬＥＤアレー及び表示変調器の画素の両方について実行される。ＬＥＤのＰＳＦの空間的な処理には、幾つかの手法がある。１つの手法として、表示画像をＬＥＤの概略的な解像度までフィルタリングし、ＬＥＤ明度レベルを決定するための基礎としてこれを用いる。画像が低解像度にフィルタリングされるウェーブレット分解と同様に、画像は、様々なフィルタリングアルゴリズムでフィルタリングすることができる。図６のＬＥＤアレーは、水平方向に６０、垂直方向に４の解像度を有するとみなすことができるが、行の間隔及び総合的なＰＳＦは、フィルタ設計の一部として考慮する必要がある。更に、最も明るい画素の必要な明度を実現するために、その画素に影響するＬＥＤを平均的な重み付けフィルタが算出するであろうレベルより高いレベルで点灯させる必要がある場合がある。最良のＬＥＤ値を決定するために、高度なフィルタリング技術を用いることもできる。
例えば、表示変調器の画像を、元の表示解像度である１９２０×１２８０から、ＬＥＤの解像度に一致する画像の６０×４の表現にフィルタリングすることができる。ＬＥＤの色は、フィルタリングの前、フィルタリングの間に検討してもよく、又はフィルタリングの後に抽出してもよい。フィルタ係数を用いて、最高の明度を必要とする画素値への特定の重み付けによって、ＬＥＤが表示変調器に与える相対的な影響を概算することができる。表示変調器のある位置があるＬＥＤからの光に影響を受けない場合、そのＬＥＤの値を決定する表示変調器のその位置からの値を用いる点はないため、フィルタ範囲のカットオフは、非常に鋭い形状を有する。簡単なフィルタ設計では、ＬＥＤ又はＬＥＤのグループによって影響される画素の領域がスキャンされ、これらの画素の赤色、緑色、青色の最も高い値に基づいて、赤色、緑色、青色のＬＥＤの明るさレベルがこれに応じて設定される。他の種類のフィルタリング技術を用いてもよく、元の画像データからフィルタリングを開始してもよく、画像データのフィルタリングされたサブバンドからフィルタリングを開始してもよい。
なお、表示の所定の領域について、ＬＥＤ値を一回だけ決定すれば、これらの領域の画像変調器の画素の全ての値が決定される。画像処理システムは、選択によって、画像フレームデータに関してフルスクリーン解析を実行してもよく、ＬＥＤ明度設定を決定した後に画像変調器のデータ値を決定してもよく、領域毎に処理を実行するようにしてもよい。先のフレームからのデータは、メモリバッファに保存され、ＬＥＤ明度設定及び画像変調データ値の算出に用いることができるので、上述したステップに時間的処理を含ませることができる。フルスクリーン解析を実行すると、システムに１フレーム分のレーテンシーが加えられる。テレビジョン及び他の多くの種類のシステムでは、この１フレーム分のレーテンシーは、問題とならない。マルチフレームの時間的なガンマ補正を実行するシステムでは、更なるフレームのレーテンシーが加えられ、このため、フルスクリーンの空間的な処理の実行は、問題とならない。しかしながら、高いインタラクティブ性を要求する表示装置、例えば、幾つかのコンピュータアプリケーション、ゲーム機等では、フルスクリーンのレーテンシーの追加を許容できない場合もある。
このようなレーテンシーに敏感なアプリケーションでは、フルスクリーン解析を実行することに代えて、スライスと呼ばれる限られた数の行に基づく解析を行ってもよい。ビデオ及び表示画面の走査線の性質のために、ここでは、行ベースの処理が用いられる。図６のＬＥＤ構成の場合、４行のＬＥＤがあり、ＬＥＤの第１の行は、通常、表示画面の上部１／３にない画素には影響しないため、最上列のＬＥＤの明るさの値を決定するための解析は、画面上部１／３からのデータ値のスライスに基づいて実行できる。千鳥状の行又は六角形状のパターンで配置されたＬＥＤ又はＬＥＤのクラスタも、同様に、光源の表示画素に対する空間的分布に基づいて、表示データの行に影響する。これらのＬＥＤ値が一旦算出されると、画素変調器の値が画像変調器に走査出力されているときに、ＬＥＤのレベルを適切なレベルに上昇又は下降させることができる。ＬＥＤの第２、第３及び第４の行に対応する表示スライスに対しても、同様の処理を行い、パイプライン処理することによって、表示系に加えられる総合的なレーテンシーを、完全なフレームではなく、フレームの１／３とすることができる。より極端な手法として、より少ない表示データ行に基づいてＬＥＤ値を決定してもよく、この場合、レーテンシーを短縮できるが、ＬＥＤ及び画素変調器の最良値が僅かに犠牲になる。
表示装置の一部として調節される表示光源２７０に加えてＤＯＰ２３０によって、表示装置の周囲光に影響する更なる光源を制御してもよい。周囲光は、観察者が表示画像をどう知覚するかに影響し、総合的な視体験を向上させることができる。観察者は、シーン間に生じる通常の輝度変化のために、眼精疲労を経験する。眼精疲労の原因となる同じ生理的影響によって、画像の細部及びダイナミックレンジを知覚する目の能力が低下する。これらの影響を弱めるために、表示装置２４０は、周囲光を生成でき、周囲光は、単一色であっても多色であってもよく、表示装置の周りの異なる領域について色を変化させてもよい。一実施の形態においては、表示光源２７０を周囲光生成に使用し、他の実施の形態では、専用の周囲光光源（図示せず）を使用する。
１つの好ましい実施の形態では、周囲光システムは、表示画面の背後の領域、通常は壁を着色光で照射し、この表示装置の端から発光される着色光は、表示装置の対応する端における表示画面の色と同様の色を有する。このようなシステムの視覚的効果は、表示境界を超えて表示画像を拡張することである。周囲光の明度は、表示画像の光の強さと、表示環境内の自然な周囲光との両方に基づく。表示装置の周囲の照明は、観察者の眼精疲労を軽減し、表示画面上に表示される画像の画質をより容易に認識できるようにする。照明の他の利点として、拡張された照射領域は、実際の表示画素を含んでいないが、表示領域の拡張として知覚されるため、観察者にとって表示画像がより大きく見えるという効果がある。
壁に取り付けられた表示装置の場合、表示装置の４つの全てコーナから照射を行ってもよい。床置き式の表示装置の場合、照射は、３方向（左右及び上）に行ってもよい。ＬＥＤ光源を用いるフラットパネル表示装置の場合、表示装置の筐体内に更なる光源を配置し、拡散性の材料を介して光を配向させることによって、表示装置の周囲の照明を提供してもよい。表示装置の筐体の周囲に所定の間隔で配置される光源の数が多い程、動的な周囲光をより滑らかにし、より良好に制御することができる。座標変換ベースの画像の予備的補償を用いる背面投写表示装置は、壁に取り付けるのに十分な程度に小型化されている場合がある。これらの背面投写表示装置は、通常、高度なレンズ及びミラーシステムを備え、これらに、表示光のために用いられる照明の一部を反射させ、拡散するように表示装置の周りに動的な周囲光を提供する機能を追加してもよい。
聴取者の側面及び背面にもスピーカが配置されたサラウンドサウンドシステムを含むホームシアタシステムと同様に、ホームシアタシステム環境のために、動的な周囲光を含むようにサラウンド型の照明システムを設計することもできる。観察者の視野の周辺を制御された周囲光光源で満たすことによって、実際の表示画素が変化していなくても、観察者の総合的な視体験を大幅に向上させることができる。ＤＯＰ２３０は、画像変調器２４４及び表示光源２７０の値を算出する際、これらの動的な周囲光の色及び強さについても算出できる。実際の制御は、ＤＯＰ２３０の出力制御システムの一部であってもよく、表示装置２４０に更なる制御システムを加えてもよい。好ましい一実施の形態では、表示装置２４０が生成し、離れた動的な周囲光光源が無線で受信する無線制御信号を用いて、幾つかの動的な周囲光光源を制御できる。動的な周囲光光源は、如何なる種類の光源を用いてもよく、簡単な光であってもよく、色フィルタを介した光であってもよく、複数の色が付された光源であってもよい。より複雑なシステムでは、多色の光源及び独自の画像変調器を用いる投写表示装置によって、若しくは舞台照明又はナイトクラブのカンドライトを模倣したある種の投射光によって、動的な周囲光を生成してもよい。
図７は、ＤＩＰ２１０及びＤＯＰ２３０の処理モジュールに関して説明した全体の処理を実行する他の実施の形態のシステムオンチップ（ＳＯＣ）７１０の構成を示している。ＲＡＭ７４０は、バッファメモリ３０８、４２４、並びにＤＩＰ２１０及びＤＯＰ２３０の各処理モジュールに関連するメモリバッファと同様のメモリである。また、図７に示すホストシステム７７０は、メインシステムプロセッサを含んでいてもよく、様々なデジタルネットワークへの接続の管理を含む他のホストサービスを提供する。システムにおける回路分割には、様々な手法があり、ホストシステム７７０のプロセッサをＳＯＣ７１０に集積してもよく、ＳＯＣ７１０内に示す機能ブロックの幾つかをＳＯＣ７１０に含ませなくてもよい。１つの好ましい実施の形態では、通常、３Ｄグラフィックのために用いられるグラフィックコントローラを用いて、ディスプレイワーピング及び画像フィルタリングのための座標変換及びテクスチャマッピング機能を実行する。
図７のシステムは、ＳＯＣ７１０をホストシステム７７０に接続するメインシステムバス７０６を備える。他のシステム（図示せず）では、ホストシステムは、ＳＯＣ７１０に集積された一部である。システムインタフェース７３２は、様々な処理要素とメインシステムバス７０６間の通信を管理する。圧縮画像データは、メインシステムバス７０６又はローカルな入出力コントローラ７２８によって管理されるローカル入出力バス７３０を介して伝送することができる。また、ローカル入出力バス７３０は、他の様々なアナログビデオ接続（Ｓ−ビデオ、コンポジットビデオ、コンポーネントビデオ）、アナログのデコーダチップ（「ＣＣＩＲ−６５６」、ＤＶＯ又はＳＤＶＯ）への接続、又はデジタルフォーマットの圧縮されていないデータのソース（ＳＤＶＯ、ＤＶＩ、ＨＤＭＩ、ＬＶＤＳ、ＰｉｘｅｌＰｏｒｔ）への接続を含むことができる。また、ローカル入出力バス７３０は、表示データの処理で用いられる測定値を提供する様々な光及び環境センサからの入力を含むことができる。
また、ＳＯＣ７１０のための完全なサブシステム７００は、ＲＡＭ７４０を備え、ＲＡＭ７４０は、メモリバス７６２を介してＳＯＣ７１０に接続されている。また、ＳＯＣ７１０は、様々なオンチップメモリサブシステムを備えていてもよいが、通常、外部のＲＡＭ７４０を有することが費用対効果が高い。メモリバス７６２は、直接又は内部バス７６０を介して、内部処理モジュールに接続されたメモリインタフェース７３４によって制御される。ＲＡＭ７４０は、テセレーションマップデータ、入力画像データ、処理済の画像サブバンド、処理済の画像スーパーバンド、フレーム出力を構成する表示画面、他の様々な中間的、一時的又は過去のデータを保存するために用いられる。
出力プロセッサ７５０は、画像変調器及び潜在的に他の種類の表示出力の１つ（図示せず）への直接的なインタフェースのための出力バス７５４、７５６、７５８を備える。出力バス７５４、７５６は、画像変調器又は一組の画像変調器を完全に制御するための適切な構成を有し、出力バス７５８は、必要な任意の光源制御回路を備える。出力バス７５４は、他のビデオ機器が使用するための標準ＨＤＭＩ、ピクセルポート、コンポーネントビデオ又は他の種類の信号を出力する「モニタアウト（Monitor Out）」出力であってもよい。このような場合、モニタアウトは、様々な画質強調を含むが、標準規格に準じていない特定のワーピング又は画像変調技術は含まない標準のビデオ出力信号を提供する必要がある。出力バス７５６は、第２の種類の表示のために使用でき、背面投写テレビジョン（Rear Projection Television：ＲＰＴＶ）システム又はフラットパネル表示装置（Flat Panel Display：ＦＰＤ）等に固有の異なる処理ステップの組を含むことができる。ＲＰＴＶについては、出力プロセッサ７５０は、デジタル光プロジェクタ（Digital Light Projector：ＤＬＰ）又はＬＣＯＳ（Liquid Crystal On Silicon）マイクロディスプレイベースの画像変調器サブシステムを制御できる。マイクロディスプレイサブシステムのための出力バス７５６は、ＲＰＴＶメインディスプレイのためのワーピング及び処理ステップの全てを含む。他の種類のシステムとして、出力バス７５４、７５６の両方を使用して、特別な３Ｄ、曲面又は多画面の表示装置を制御してもよい。
また、出力プロセッサ７５０は、画像変調器への出力バス７５６及び光源制御器への出力バス７５８によって、特別なＦＰＤ機能を制御できる。また、出力プロセッサ７５０は、図４のＳＧＰ４０８、時間的ガンマ処理モジュール４１２、逆超解像モジュール４１４、及びＭＬＣ４２０に関連して説明したような画像変調技術及び光源制御器の機能を実行してもよい。また、以前に説明した色強調技術を実行してもよく、この場合、画像変調器及び光源の両方が制御され、表示画像が強調される。また、従来の色値を超えて、色域及びダイナミックレンジを拡大する広いダイナミックレンジ（High Dynamic Range：ＨＤＲ）表示をサポートするための強調を含ませてもよい。
ＳＯＣ７１０によって、画像再生プロセッサ７２４と出力プロセッサ７５０との間で緊密な通信が実現されるため、圧縮領域入力データに基づく更なる処理を用いて、表示出力を強調することができる。このような更なる処理は、ウェーブレット入力データ、時間的なデータの動きベクトル又は圧縮データの誤差項に基づくことができる。更なる適応型アルゴリズムを用いて、様々な表示領域内でダイナミックレンジを広めてもよく、動き補償を利用してもよい。マイクロソフト及びＨＰのＲｅａｌＣｏｌｏｒデジタル色制御等、業界における、正確な色彩表現のための他の取り組みを、このような取り組みのための生来的なサポートを含む特定の表示装置の有無にかかわらず、制御システムにおいてサポートしてもよい。
ビデオプロセッサ７６４は、ビデオデータに関連する様々な処理ステップを実行でき、このような処理ステップには、逆インタレース、画像処理、ＹＵＶからＲＧＢへの色空間変換、色域の拡大、ダイナミックレンジの拡大及び他の関連する処理が含まれる。ビデオプロセッサ７６４は、サブバンドを分解し、スケーリングされ、フィルタリングされた画像データを生成してもよく、画像再生プロセッサ７２４がないシステムにおいては、画像スーパーバンドを生成してもよい。同様に、専用のビデオコーデック７２６がない場合、又はコーデックフォーマットがサポートされていない場合、ビデオプロセッサ７６４は、ビデオデータを伸長及び圧縮する処理を実行できる。図７の他の処理ブロックと同様に、ビデオプロセッサ７６４は、ラインバッファ又はメモリキャッシュを備えていてもよい。出力プロセッサ７５０は、画像スーパーバンド又は他の拡張された表示画像を用いて、画像変調器がサポートする解像度より高い解像度に感じられる画像を生成するために、どのようにすれば色域及びダイナミックレンジを最も効果的に拡大できるかを判定する。このような処理は、より広いダイナミックレンジをより高い解像度と錯覚させる人間の目及び脳の神経系の処理を利用する。
ビデオコーデック７２６は、ビデオビットストリームデータの伸長、圧縮、トランスコード及びレート変更等のより多くの専用機能を実行する機能ブロックである。例えば、ＭＰＥＧ−２又はＭＰＥＧ−４に基づいて設計される標準のシステムでは、専用のビデオコーデック７２６を含ませることが最も効率的である場合が多い。トランスコード及びレート変更は、通常、ビデオコーデック７２６又はビデオプロセッサ７６４内で実行されるが、完全な復号及びこれに続く符号化の処理は、システム内の他の機能ブロックによって実行される復号フレームに関する処理を含むことがある。例えば、２Ｄエンジン７２０は、復号されたＭＰＥＧストリーム上にメニューシステムをオーバレイさせる処理を実行し、このストリームは、再符号化され、メニューシステム情報と共にＭＰＥＧビデオデータに結合される。他の実施の形態においては、トランスコード及びレート変更は、ビデオコーデック７２６、すなわちビデオプロセッサ７２６によって、圧縮画像領域内のデータを用いて実行してもよく、ここでは、ビットストリームは、異なるビットレート、異なる解像度、異なるフレームレート又はこれらの３つの任意の組合せにおいて再符号化されるために、完全に復号する必要はない。
画像再生プロセッサ（Image Reconstruction Processor：ＩＲＰ）７２４は、異なるビデオ入力の画質、解像度、色域又はダイナミックレンジを向上させるために使用される。このＳＯＣ７１０は、画像再生モジュール３１８と同様に、超解像技術を用いて、ビデオシーケンスから高解像性静止画像のみしか生成せず、画像サブバンド又は画像スーパーバンドを含む実時間ビデオ出力を生成しない従来のシステムより優れている。また、ＩＲＰ７２４の多フレームによる解像度の強調法を用いて、入力データより解像度が高い、通常、２倍の解像度を有する入力画像を表す画像スーパーバンドを生成することができる。本発明が用いる超解像技術は、フレーム間のデータの高い相関性に依存し、ビデオ画像シーケンス内のオブジェクトの動きに基づいて、典型的な入力画像のサブ画素シフトを必要とする。ＩＲＰ７２４は、ＩＲＰ７２４内の動き推定器が提供する動きベクトルを用いて、又は入力ビットストリームに含まれる動きベクトルを処理することによって、画像を相関させて出力フレームを再生する。
ＳＯＣ７１０においては、３Ｄグラフィクスプロセッサユニット７５２は、他のマルチレベルテクスチャモードを有するため、画像サブバンドと共に画像スーパーバンドを直接使用することができる。また、出力プロセッサ７５０は、スーパーバンドを用いて、所望の出力画像を決定してもよく、この出力画像は、様々な色域の拡大、ＨＲＤ及び画像変調器及び光源を制御するための高度な変調技術を用いて生成することができる。出力プロセッサ７５０は、フィルタリングされるソースデータとしてデータのサブバンドの１つを用いて、ＬＥＤの光量制御を実現することができる。ＬＥＤアレーの解像度は、通常、サブバンドの解像度より低いので、ＬＥＤレベルを決定するために更なるフィルタリングが必要となることがある。
また、ＩＲＰ７２４は、例えば、ＭＰＥＧ−２及びＭＰＥＧ−４等に基づいて、圧縮ビットストリームとして提供された画像に対して、ビットストリーム内の動き情報に基づいて、雑音低減フィルタリング及び色強調を適応的に実行できる。周知の通り、ＭＰＥＧは、動きベクトルを生成する（動き推定と呼ばれる。）参照マクロブロック及び誤差項（マクロブロックコンテンツ差分）に基づいて、予測技術を用いて、マクロブロックを符号化する。圧縮の性質のために、予測符号化の間に、元の画像からの幾つかの情報が失われる。ＩＲ７２４による動きブロック及び誤差項の検査によって、動き情報の理解だけでなく、どのくらいの量子化が行われているかがわかり、この情報は、色情報がどれくらい失われているかを示す指標となる。
人間の視覚系が輝度、色、画像及び動きの組合せをどのように知覚するかを理解することによって、ＩＲＰ７２４は、画像を最良に復元し強調する。例えば、動画では、目は、色に対して鈍感であり、したがって、色強調は、あまり重要ではない。動きが少ない場合、画像の飽和度及び色相を強調することがより望ましい。量子化のレベルが高い場合、より多くの色情報が失われている可能性が高く、これらのブロックにおける色の色相及び飽和度は、色域の拡大によって強調するべきである。更に、ダイナミックレンジを広げることによって、人間の目は、解像度が高められたと錯覚する。このようなアルゴリズムは、通常、適応的に強調を変更し、同じ画像内のブロック間又は画像シーケンス内のブロックにおけるアルゴリズムの急激な変化から生じるアーチファクトを防止するために、特別な注意が払われる。
例えば、ビットブリット（bit-blt：ビットブロック転送（bit block transfer））、色の拡張、及び線描画、基本的なグラフィックデータ処理を実行するために、２Ｄエンジン７２０を用いることができるが、３Ｄグラフィクスプロセッサユニット７５２は、他の実施の形態においては、座標変換モジュール４０４が実行する処理を含む、より演算負荷が重い３Ｄワーピング処理を実行する。幾つかのシステムにおいては、２Ｄエンジン７２０は、スケーリング、ストレッチブリット（stretch blt）、色変換ブリット（color conversion blt）及び複数のビデオウィンドウにおいて特に有用である他のウィンドウ化処理の幾つかを実行するように設計することができる。３Ｄグラフィクスプロセッサユニット７５２は、汎用のプログラマブルエンジン、専用ハードウェアブロック又はプログラマブルエンジンと組込型の機能の何らかの組合せを含むことができる。包括的に言えば、３Ｄグラフィクスプロセッサユニット７５２は、様々なハードワイヤード及びソフトウェアドライブ機能を用いて、座標変換モジュール４０４の機能を実行し、この機能には、空間変換モジュール５０２、位置合せ／回転補正モジュール５０６、焦点補正モジュール５０８、歪み補正モジュール５１０、リサンプリングモジュール５１２、マルチフレーム相関モジュール５１４及び色振幅補正モジュール５１６に関して説明した処理を含ませてもよい。３Ｄグラフィクスプロセッサユニット７５２上でこれらの処理を実行する際、シングルパス又はマルチパスＧＰＵ機能に幾つかの機能を結合してもよい。３Ｄグラフィクスプロセッサユニット７５２は、マルチパス処理の後段の一部として、ポスト変換フィルタリングを実行できる。
典型的な対話型の３Ｄアプリケーションにおいては、３Ｄグラフィクスプロセッサユニット７５２は、各フレーム毎に、異なる三角メッシュに対して処理を行う必要があり、テセレーションアルゴリズムは、シーン内のオブジェクトの動き又は観察者の動きに基づいて、絶えず更新される。投写型テレビジョンシステムでは、観察者及びテレビジョンの画面及び投写パスは、比較的固定されたままであるため、ワーピングのための三角メッシュは、通常、フレーム毎には変化しない。しかしながら、３Ｄグラフィクスプロセッサユニット７５２内のワーピングハードウェアの限界を理解し、画像データの実時間解析を実行することによって、画像を向上させるために、実時間でテセレーションをある程度調整することができる。これらの調整は、画像コンテンツの解析に基づいて、より高い周波数の画像詳細情報を有する画像の領域に対して、メッシュの粒度を高めるように、三角形サイズを拡大又は縮小させることによって行われる。
対話型の３Ｄアプリケーション内における他の典型的な処理として、ミップマッピングとも呼ばれるＭＩＰマッピングがある。ＭＩＰは、ラテン語の「multum in parvo」に由来し、外見は小さいが内容が充実していることを意味する。ＭＩＰマッピングは、テクスチャマッピングに関連して用いられ、単一のテクスチャマップの異なる解像度の複数の画像を用いて、視距離に基づく表面テクスチャを表現する。画像の各解像度は、ＭＩＰマップレベルと呼ばれる。バイリニアテクスチャマッピングモードは、単一のＭＩＰマップレベルを用い、トライリニアテクスチャマッピングは、２つ以上のＭＩＰマップレベルを用いる。異方性フィルタリングモードは、バイリニアであっても、トライリニアであってもよく、通常、トライリニアの方が、より良い結果を得られる。典型的な３次元システムでは、ＭＩＰマップレベルは、通常、隣接するレベルの解像度の２倍である。これは、対話型の３Ｄ表示装置に要求される視野角及び距離の範囲を完全に収容するためである。
ＳＯＣ７１０は、処理済のビデオ画像データをＭＩＰマップレベルに利用する。上述のように、画像のサブバンド化及び画像のスーパーバンド化を介して、様々なレベルを生成することができる。投写表示装置のワーピングは、３Ｄグラフィクスプロセッサユニット７５２によって補償する必要がある実効歪みを表す。ワーピングの最大量は、対話型の３次元システムに関連する視野角の最大の範囲よりかなり少ない傾向がある。この限定的なワーピングのために、２つのレベル間の広がりはそれ程大きくなく、処理済のビデオＭＩＰマップレベルのために２倍の解像度ステップを用いることは不利である。したがって、ビデオＭＩＰマップレベルがより近いサイズである方が、より高画質な出力画像を生成できる可能性が高い。
典型的なＭＩＰマッピングに関連する問題として、他方より一方向に潰れた三角形では、テクスチャがぼやけて見えることがあるという問題がある。この問題を解決するために、様々な異方性のフットプリントアセンブリ（anisotropic footprint assembly）技術を用いることができる。これらのフットプリントアセンブリ技術は、楕円フィルタに近似させることができ、マルチテクスチャルックアップ又は他のマルチパス技術を使用することができる。また、幾つかの技術は、ＭＩＰマップレベルをバイアスし、選択されるレベルを変更する能力を含む。他のフットプリントアセンブリ技術は、例えば、単一のレベルの入力ビデオ画像又はより高い解像度に高められた超解像の入力画像のバージョン等、単一のレベルのテクスチャを用いることができ、その１つの画像レイヤから、出力画素を算出する。テセレーションアルゴリズムにおいて、異方性フィルタリング技術の詳細及び制約を考慮に入れることによって、課題の多い三角形テクスチャリング問題を軽減することができる。
３Ｄグラフィクスプロセッサユニット７５２によって実行される他の処理は、色振幅補正モジュール５１６において、表示画面に亘る色の強さの不均一を補正する処理と同様の色振幅補正である。３Ｄグラフィクスプロセッサユニット７５２を用いるシステムでは、この処理は、３次元シーンに光源を提供する典型的な３Ｄ処理と略々同じである。ＳＯＣ７１０においては、色振幅補正情報は、テセレーションマップ生成の一部として含まれており、三角形の各頂点には、各色成分のための色彩調整値が割り当てられる。そして、３Ｄグラフィクスプロセッサユニット７５２は、これらの色彩調整値を用いて、各画素の各色成分の明度を補償することができる。これは、通常、色成分毎の頂点情報を用いて、ある種の補間を実行し、頂点間の各色成分のための色値を決定することによって実行される。
また、高度な２Ｄ処理のために３Ｄグラフィクスプロセッサユニット７５２を用いてもよく、この場合、アナモルフィックな（放物線状の）スケーリング及び４：３から１６：９へのコンテンツの非線形変換を実行するための領域ベースのアナモルフィックなスケーリングを含むより複雑なフォーマット及びアスペクト比変換技術が望まれる。変換処理では、４：３のコンテンツを異なるゾーンとして扱うことができ、センターゾーンは、直線的にスケーリングされ、左右のゾーンは、アナモルフィックスケーリングを用いてスケーリングされ、画像が画面のエッジにより近くなる程、スケーリング係数を大きくする。この技術は、中央の表示空間のスケーリング歪みを最小にでき、シーン情報の大部分は、画像の中心に集中していることが多いと考えられるため、有効である。この種類のスケーリングは、個別の処理として実行してもよく、テセレーションマッピングを用いる総合的な座標変換の一部として実行してもよい。テセレーションマッピングに結合する場合、左右のゾーンの三角形は、投写歪みの補正に適するだけではなく、非線形のスケーリングを含むように形成される。
ＬＥＤバックライトを用いるシステムでは、頂点ベースの三角形の形式で、又は１画素毎の照明マップの形式で、表示位置の輝度情報を保存できる。３Ｄグラフィクスプロセッサユニット７５２は、ＬＥＤ照明情報を使用してもよく、ＬＥＤの分布、ＬＥＤ位置に関連する画素の明度、ＬＥＤからのセンサフィードバック情報、又は他の入手可能な任意のマッピング情報に基づいて、表示画像の不均一を補償するために画像フレームを処理する。
ＳＯＣ７１０処理の一部として、ビデオフレームをグラフィックフレームに結合してもよく、グラフィックフレームは、デジタルインタフェース又はネットワークインタフェースを介してシステムに入力されてもよく、グラフィックフレームは、２Ｄエンジン７２０によって内部的に生成してもよい。このような構成の具体例では、圧縮ビデオ入力ストリームは、１３９４フォーマット接続を介して、オープンケーブルアプリケーションプラットフォーム（Open Cable Application Platform：ＯＣＡＰ）ベースのグラフィクス情報と共に提供される。このような場合、ＳＯＣ７１０は、ビデオフレームとＯＣＡＰのベースのグラフィクス情報とを表示のために結合するすることを保証する必要がある。ビデオ信号がグラフィックデータから独立してシステムに入力される他の多くのシステム構成がサポートされる。
グラフィックフレームが内部的に生成されるか外部ソースから提供されるかにかかわらず、グラフィックフレームは、出力画像を適切に表示することを保証するするために、事前補償処理を必要とする。この処理は、ビデオ画像に関連付けて実行してもよく、又は、ビデオ画像とは別個に実行した後、ビデオ画像にグラフィックフレーム結合してもよい。グラフィクス及びビデオを結合する簡単な処理として、各画素毎に、ビデオ情報又はグラフィック情報の何れかが表示されるマスキング又はオーバレイ処理を実行できる。ビデオ画像にグラフィクスを重ねるより高度な手法では、異なるレベルのトランスペアレント性を用いる。グラフィック画像を生成する際に、各画素をサブピクセルに分割するスーパーサンプリング又はマルチサンプリングの技術を用いて、アンチエイリアシングを実行する。エッジを滑らかにするアンチエイリアシングのために、グラフィック画像が独自に処理される場合でも、グラフィクス及びビデオの結合による作用から、グラフィクス画素及びビデオ画素が隣接する領域で望ましくない視覚的アーチファクトが生じる可能性がある。ビデオ及びグラフィックフレームを結合する改善された手法として、３Ｄグラフィクスプロセッサユニット７５２は、テクスチャトランスペアレントモードに結合できるアンチエイリアシングを実行し、結合されたビデオ及びグラフィック画像の総合的な見栄えを改善する。アンチエイリアシング技術の機能は、結合された画像がより自然に見えるように、エッジにおいて、ビデオ画像データ及びグラフィック画像データを結合することである。
３Ｄグラフィクスプロセッサユニット７５２によって実行される機能の多くは、使用される入力テクスチャサンプルの数、並びに入力サンプル及び中間結果の両方に対して実行される演算の数に依存する。テクスチャサンプリングを最良にサポートするために、３Ｄグラフィクスプロセッサユニットは、入力テクスチャサンプル及び処理済の中間結果をローカルに保存する様々なバッファ及びキャッシュを備えることができる。
図８は、本発明の一実施の形態に基づく表示装置における、入力から、画像変調器及び光源の順次制御までの表示パスを示すフローチャートである。また、この図８には、初期画面設定と、この設定を調整するフィードバックパスを含む表示装置構成パスも示されている。表示装置設定ステップ８０８では、ディスプレイの設計及びテスト、ユーザ設定及びセンサからのフィードバックによるディスプレイの特性データに基づいて、表示装置の設定を行う。特性データの一部は、ＤＯＰ２３０の処理に使用できるように、例えば、フラッシュメモリ等の不揮発性メモリに保存できる。ディスプレイマップ４０２（図４）の処理モジュールは、必要であれば、特性データの更新を調整する。特性データの一部は、より一時的であり、一時的メモリに保存され、この場合、ＤＭ４０２は、フラッシュメモリ及び一時的メモリのコンテンツを処理して、結合する必要がある。図８に示すように、表示設定ステップ８０８は、センサ読出ステップ８１８及び表示制御ステップ８１２の両方からフィードバック情報を受け取る。ＤＭ４０２は、ディスプレイ制御出力及びセンサ信号の両方を取得することによって、ＬＥＤの明るさ及び波長の実時間応答を相関させることができる。
以下では、各ビデオフレーム毎の処理ステップについて、最初から出力まで、ＤＩＰ２１０及びＤＯＰ２３０処理モジュールに関して説明するが、他のＣＰＵ、ＤＳＰ、ＧＰＵ又はＳＯＣ７１０における処理モジュール等の組み合わされた構成によって、個々の機能を実行してもよい。ステップ８０４において、ＤＩＰ２１０は、適用可能であれば、好ましくは、所望のビデオ入力を選択する。通常、入力に関するユーザ選択に基づいて、マイクロコントローラが１つ以上の入力接続を選択する。ステップ８０６では、接続に関連付けられたビデオ入力制御によって、アナログ入力制御モジュール３０２、デジタル入力制御モジュール３０４、圧縮入力制御モジュール３１２の処理を実行する。アナログ入力制御モジュール３０２は、デジタル入力制御モジュール３０４、圧縮入力制御モジュール３１２及び画像再生モジュール３１８による更なる処理のために、信号をデジタル領域に変換し、入力画像を復元し、強調する。各制御モジュール３０４、３１２、３１８は、好ましくは、画像をフォーマットし、バッファメモリ３０８に中間結果を保存する。
ステップ８０６では、デジタル入力制御モジュール３０４及び同期エンジン３０４０による受信処理として、圧縮されていない入力ビデオストリームを電気的に受信するために必要なステップを実行する。ＨＤＭＩ入力の場合等、入力ストリームが暗号化によって保護されている場合、平文化ステップが必要である。圧縮入力制御モジュール３１２は、ビットストリームエンジン３１２５を介して、圧縮入力ストリームを解析し、解析及び処理のために１つ以上のピクチャストリームを選択する。高画質のピクチャ表示のために、ビットストリームエンジン３１２５は、画像再生モジュール３１８によって使用されるビットストリームからの動き情報を記録する。伸長エンジン３１２０は、好ましくは、ＭＰＥＧ−２、ＭＰＥＧ−４又は他の伸長ステップを用いて、圧縮ビットストリームを、伸長され、復号されたピクチャに変換する。伸長エンジン３１２０は、高度なピクチャインピクチャ表示及び多視点カメラシステムを含む複数のピクチャを含む表示のために、２つ以上の圧縮ピクチャストリームを同時に伸長することができる。符号化情報のベースレイヤ及びエンハンスメントレイヤを有する階層符号化情報を含む入力データについては、伸長エンジン３１２０は、画像再生モジュール３１８による使用のために、両方のレイヤを復号することができる。画像サブバンド符号化を用いて符号化されたビットストリームの場合、ビットストリームエンジン３１２５及び伸長エンジン３１２０は、サブバンド情報を維持しながら、完全に復号された画像フレームを提供する。
画像再生モジュール３１８は、入力処理ステップ８０６の一部として、空間的及び時間的に、各画像フレームをフィルタリングし、画像を再生する。空間フィルタリングは、フィルタリングされた画像が元の画像に含まれていなかったアーチファクトを含まないように、雑音低減のための様々な技術を含む。フィルタリングは、好ましくは、データ値に基づいて、入力画像の全体に亘って適用される。なお、フィルタリングでは、例えば、ＭＰＥＧデータが伸長エンジン３１２０によって伸長された場合等に、ビットストリームエンジン３１２５によって提供される復号されたマクロブロックの空間的な位置等の追加的情報を用いてもよい。この位置情報によって、フィルタは、画像の他の部分に関して従来の空間フィルタリングを実行しながら、復号されたマクロブロックの境界エッジにおけるアーチファクトを低減又は除去することができる。ビットストリームエンジン３１２５からの他の情報、例えば、マクロブロックの誤差項は、各ブロックについてどの程度の量子化が行われているかを示す。ＩＲ３１８による強調ステップでは、雑音低減フィルタリング及び何らかの色強調処理にこの情報を利用する。強調処理は、入力画像の色域及びダイナミックレンジの拡大と、適切であれば、解像度の向上を含む。
ステップ８０６においても、画像再生モジュール３１８は、ビットストリームエンジン３１２５からの情報を用いて強調フィルタリングを実行し、圧縮アーチファクトを増幅することなく、入力画像詳細を強調することができる。また、画像再生モジュール３１８は、複数のシーンを用いて時間的な解析を実行し、画像をフィルタリングし、オブジェクトの動き情報を記録し、超解像マルチフレーム再生を実行する。各種類の入力データについて、超解像マルチフレーム再生を用いて、ベース入力画像より高い解像度を有する画像スーパーバンドを生成することができ、ここで、生成される解像度は、通常、元の解像度の２倍である。この画像データのスーパーバンドは、圧縮入力データ及び圧縮されていない入力データの何れかから生成してもよく、画像サブバンドデータと共に用いられて、複数の解像度に対応する画像マッピング能力が実現される。
様々な画像サブバンド及び最高の画質の表現のために再生された画像スーパーバンドは、ＤＯＰ２３０で使用できるようにフォーマットされる。元の入力画像は、ダイナミックレンジが広いコンテンツ又はフル解像度のコンテンツを含んでいない場合であっても、ＤＩＰ２１０は、この情報を生成するために、入力データを拡張することができる。新たな入力画像を復元し、拡張する処理は、パス８３０を介して、システムモードが変更又は停止されるまで続けられる。システムがオフにされると、入力処理ステップ８０６は、終了する。動作モードでは、ＤＩＰ２１０の処理からの出力がＤＯＰ２３０に提供される。
ステップ８１０では、ＤＯＰ２３０は、ステップ８０８からからのディスプレイマップ４０２の情報と共にＤＩＰ２１０の出力を用いて、表示出力画像処理を実行する。投写表示装置では、ステップ８１０は、ＧＴ４０４の座標変換を実行し、これには、空間変換モジュール５０２、位置合せ／回転補正モジュール５０６、焦点補正モジュール５０８、歪み補正モジュール５１０、リサンプリングモジュール５１２、マルチフレーム相関モジュール５１４及び色振幅補正モジュール５１６のモジュール機能の実行が含まれる。座標変換によって、例えば、図１Ｂ、光源１０２、光源光学部品からなるマルチレンズ系１０８、マイクロディスプレイイメージャ、すなわち画像変調器１１０及び／又は表示光学部品からなるマルチレンズ系１１２によって導入される欠陥等、表示環境に関連した表示装置の欠陥を改善できる。また、座標変換処理では、例えば、不均一な光源、ヘッドマウント型ディスプレイ、パノラマ型ディスプレイ及びステレオスコープ表示装置等、特別な環境にとって適切な強調された出力画像を生成できる。ＧＴ４０４の空間フィルタリング技術は、例えば、テクスチャマッピング及び異方性フィルタリング等の従来の実時間３Ｄグラフィクス技術を用いて、所望の画像処理を実現する。
また、ステップ８１０では、ブロックＳＧＰ４０８及びＴＧＰ４１２の処理モジュールを用いて、画像変調器１１０、１３０と、光源１０２又はバックライト１２２との両方の表示出力画像処理を実行する。ＳＧＰ４０８は、処理済の表示設定ステップ８０８の設定に応じて、入力処理ステップ８０６から供給された処理済の表示フレームの各画素を処理し、各画素の強調された出力データを生成すると共に、その画素値のための適切な光源の値を決定する。ＯＬＥＤ及びＦＥＤベースのディスプレイの場合、各画素色成分は、画像変調器の一部として自らの光源を含むことがあり、この場合、ＳＧＰ４０８は、結合され、強調されたサブ画素値を生成する。表示出力画素は、通常、三原色（赤色、緑色、青色）又は他の組合せの色成分を含むので、各画素の各色成分は、サブ画素と呼ぶことができる。
画像変調器の画素よりＬＥＤ光源が少ないＬＥＤバックライト装置の場合、ＳＧＰ４０８は、個々に強調された画像変調器の画素値と、複数の画像変調器の画素に基づくＬＥＤ値との両方を生成する。ＴＧＰ４１２は、ＳＧＰ４０８の処理と連携して、適切な強調のために、フレーム内で空間的な処理を行うだけではなく、２つ以上のフレームに亘って、画像処理を時間的にも拡張する。ＳＧＰ４０８及びＴＧＰ４１２の連携によって、複数のフレームが処理され、高画質な動画を実現するために、光源及び画像変調器の画素値を理想的に決定することができる。
入力処理ステップ８０６において、解像度が高められ又はダイナミックレンジが拡大された処理済の画像を生成できる場合、ＳＧＰ４０８は、ステップ８１０において、更に強調された出力を生成するための必要な表示出力画像処理を実行できる。ダイナミックレンジが広いコンテンツに対する人間の視覚の特性を利用して、ＳＧＰ４０８は、入力データを更に処理し、強調された光源の明るさの値及び変更された画像変調器の画素値を生成する。また、ＤＩＰ２１０は、主画像より解像度が低いが、光源の数より解像度が高い入力画像のサブバンドを提供でき、このサブバンドは、ＳＧＰ４０８によって更にフィルタリング及び処理され、各フレームのための所望の光源値が生成される。ＴＧＰ４１２は、複数のフレームの所望の光源値を用いて、総合的なディスプレイの実時間応答を更に向上させる。ＳＧＰ４０８及びＴＧＰ４１２の出力は、実際の表示制御を行うステップ８１２に供給される。ステップ８１２では、表示変調及び光源制御モジュール（ＭＬＣ）４２０は、ＳＧＰ４０８及びＴＧＰ４１２の出力を結合し、画像変調器順次制御ステップ８１４及び光源順次制御ステップ８１６のための制御信号を生成する。可動変調器を使用する場合、ＭＬＣ４２０は、ＲＳＲ４１４の出力を用いて、適切な出力表示制御信号を生成する。画像変調器順次制御ステップであるステップ８１４において、フラットパネル表示装置のタイミング制御（Timing Control：ＴＣＯＮ）ブロックは、行及び列の画像変調値を物理的な画像変調器に走査する。ステップ８１４と同時に、ステップ８１６では、ＬＥＤ制御回路６０２〜６０８がＬＥＤ又は他の光源の変化を順次制御し、そのフレームのために適切な明度を設定する。明るさは、光源の素子に応じて、制御信号の電圧又は電流の変更、振幅変調（Amplitude Modulation：ＡＭ）又はパルス幅変調（Pulse Width Modulation：ＰＷＭ）によって設定できる。光源の明るさを最もよく制御するためには、ＡＭ及びＰＷＭの組合せを用いることが好ましい。例えば、ＬＥＤの場合、白色点を設定するにはＡＭを用い、実時間制御のためには、ＰＷＭを用いるとよい。
画像変調器順次制御は、画像変調値が更新されている画面の一部又は画素が、光源の更新された値に一致するように、フレーム内で光源順次制御と共に調整される。更に、光源制御器の時間的な変化は、サブフレーム時間レベルで最適化できる。フレーム時間内で光源の明るさを変更することによって、光源を用いて、画像変調器の応答時間を補償することができる。例えば、所定の画素の緑色の値が１００から最大値である２５５に遷移するが、ＬＣＤ変調器の材料がフレーム時間内では最大値に変化できない場合、フレーム内で緑色ＬＥＤを、より高い明度レベルにより速く駆動した後、ＬＣＤ変調器の材料が２５５の値に完全に遷移できる所望の明度レベルに低減することができる。
ステップ８１８において、システムの通常の動作モードの間、検査及び構成モードの間にセンサ信号の読出を実行できる。ステップ８１８では、図６に示すセンサ６３２ａ〜ｆ、及びそれぞれのセンサ回路６３８、並びに他の光センサ、環境センサ及び画像センサ（カメラ）を用いて、ディスプレイセットアップステップ８０８で使用されるフィードバック情報をＤＯＰ２３０に提供する。上述したように、ディスプレイセットアップステップ８０８は、フィードバックパス８３２を介して、表示制御ステップ８１２からのデータを受信し、図４に示すセンサ入力４２６及びＤＭ４０２は、出力情報を記録したセンサ信号と相関させることによって、ディスプレイセットアップの何らかの調整が必要であるかを判定する。一時的な調整は、異なる処理ブロックによって、動的に処理することができ、より永続的な調整は、通常、ＤＭ４０２が処理し、ディスプレイマップのための不揮発性メモリに書き込まれる。
ある種のセンサ、例えば、温度センサは、光出力に対する温度の影響が周知であるなら、光源のためのＭＬＣ４２０の出力制御により直接的に影響を与えてもよい。測定された温度に基づいて、１つ以上の光源について、ＰＷＭを高めてもよい。マルチカラー光源の場合、光源の１つの値が既に最大値にある場合、総合的なディスプレイの適切なホワイトバランスを維持するために、他の光源の値を下げる必要がある場合もある。このように、不正確な色彩表現を表示するよりは、明度を犠牲にした方がよい場合が多い。
また、ディスプレイがアクティブに使用されていない場合、検査又は較正モードの間、ステップ８１８を実行してもよい。較正モードでは、ディスプレイセットアップステップ８０８は、制御ステップ８１２に対し、生成する光源出力及び画像に関する指示を行う。光源較正処理は、各光源又は光源の組合せの異なる値を順次制御し、適切なセンサを用いて、明度及び波長を記録する。フレーム期間より短い間隔で、センサが明度及び波長を抽出することによって、光源の応答時間も同様に測定できる。ここでは、異なる出力値の間の遷移時間を測定及び記録することができる。センサの配置によっては、較正の間、光源を好適にブロックするために、画像変調器をオフにしてもよく、ＤＯＰ２３０は、光源較正処理を段階的に行う。
同様に、ステップ８１８において、ＤＯＰ２３０は、センサ、例えば、デジタルカメラを用いて、画像変調器を較正できる。フラットパネル表示装置の場合、このようなカメラは、表示装置の外部にある場合が多いが、投写表示装置の場合、カメラは、内部にあってもよく、又は投写表示装置に組み込んでもよい。画像変調器の較正処理では、画面上に様々な画像を表示しながら、デジタルカメラがこのような画像の表示結果を撮影する。捕捉された画像は、解析され、予測された値と比較され、これらに基づいて、ＤＯＰ２３０様々に調整することができる。図４を参照して説明したように、投写表示装置では、直接又はＤＭ４０２を介する座標変換モジュール４０４の調整が必要である場合がある。システムは、赤外線スペクトルにおける技術等、この他の不可視出力及び捕捉技術を用いて、光源又は画像の何れかを較正してもよい。これらの較正法を用いて、光源ディスプレイマッピング及び画像マッピング情報を判定し、これらの情報を不揮発性メモリ又は動的メモリに保存することができる。これらの値は、様々な手法で保存でき、データ容量を削減するための従来の幾つかの異なる技術を用いて、圧縮してもよい。
以上、幾つかの実施の形態を用いて本発明を説明した。この開示に基づいて、他の実施の形態が想到できることも当業者には明らかである。例えば、ＤＯＰ２３０は、ハードウェア、ソフトウェア、固定された機能の幾つかの組合せ、構成可能なロジック、又はプログラミング可能なハードウェアを含む様々な構成で実現できる。好ましい実施の形態に対するこれら及びこの他の変形例は、本発明に含まれ、本発明の範囲は、添付の特許請求の範囲によってのみ定義される。
個々のＬＥＤ素子の従来のＬＥＤアレーの構成を示すブロック図である。 従来の投写表示装置の光源、マイクロディスプレイイメージャ（画像変調器）及びレンズの側面図である。 従来のフラットパネル表示装置の光源、フィルタ及び画像変調器を側面図である。 本発明に基づく、表示入力プロセッサ（ＤＩＰ）及び表示出力プロセッサ（ＤＯＰ）を含むシステムの一実施の形態のブロック図である。 本発明に基づく図２のＤＩＰ２１０の一実施の形態のブロック図である。 本発明に基づく図２のＤＯＰ２３０の一実施の形態のブロック図である。 本発明に基づく図４の座標変換モジュール４０４の一実施の形態のブロック図である。 フィードバックのための光センサを含むフラットパネル表示装置のＬＥＤベースのバックライト装置のブロック図である。 様々なビデオ及びグラフィクス処理を表示処理及び光源処理と結合するシステムオンチップによる実施の形態のブロック図である。 本発明の一実施の形態に基づく画像処理のフローチャートである。

Claims (15)

  1. 表示装置において、
    当該表示装置の複数の位置の光源の明るさを動的に変更する複数の光源制御器を含む１つ以上の光源変調器と、
    個々に制御可能な画素のアレーを含む表示変調器と、
    上記光源変調器からの明るさの測定値をフィードバックし、及び該測定値を保存する１つ以上のセンサと、
    上記複数の光源制御器と、上記表示変調器との両方に接続され、受信データストリームを受信し、該受信データストリームの値と、上記センサからの保存された測定値との両方に基づいて、上記複数の位置の１つにおける光源の明るさ及び上記表示変調器の画素のアレーの値を動的に決定及び制御するコントローラとを備える表示装置。
  2. 上記光源は、複数の異なる波長の光を提供し、上記センサは、明るさ及び波長の両方の測定値をフィードバックすることを特徴とする請求項１記載の表示装置。
  3. 上記明るさを制御する複数の光源制御器は、上記画素のアレーの解像度より低い解像度を有することを特徴とする請求項１記載の表示装置。
  4. 上記それぞれ個々に制御可能な画素は、異なる波長のサブ画素を含み、該各サブ画素の明るさは、個々に変調されることを特徴とする請求項１記載の表示装置。
  5. 上記各サブ画素は、ローカルな更なる光源を有することを特徴とする請求項４記載の表示装置。
  6. 上記コントローラは、当該表示装置上に動きを正確に再現するために、前の表示データの１つ以上のフレームを用いて、上記光源変調器及び表示変調器を時間的に制御することを特徴とする請求項１記載の表示装置。
  7. 表示制御装置において、
    画面に亘る明るさを変更できる、１つ以上の光源変調器のための制御回路と、
    表示変調器の画素アレーの個々の画素のための制御回路と、
    センサ信号からフィードバックされたデータを受信する１つ以上の入力端子と、
    実時間表示データを受信する１つ以上の入力端子と、
    上記実時間表示データ及びセンサ信号から保存されたデータの低遅延処理を実行し、上記光源変調器及び上記表示変調器画素を実時間で制御し、高画質の表示画像を生成する処理モジュールとを備える表示制御装置。
  8. 上記光源変調器のための制御回路は、異なる波長の光のための個々の制御回路を含み、上記表示変調器アレーの画素より低い解像度を有する光源を含むことを特徴とする請求項７記載の表示制御装置。
  9. 上記画素アレーの個々の画素のための制御回路は、
    フル解像度の画素のためのサブ画素明るさ制御回路と、
    上記画素のアレーより低い解像度を有する光源のための明るさ制御回路とを備えることを特徴とする請求項７記載の表示制御装置。
  10. 上記処理モジュールは、先の表示データの１つ以上のフレームを用いて、上記光源変調器及び上記個々の画素の時間的な制御を実行し、超高画質で動きを再現することを特徴とする請求項７記載の表示制御装置。
  11. 上記実時間表示データの入力は、上記処理モジュールの１つによって強調及び使用され、該処理モジュールは、出力画像のダイナミックレンジを広げるための光源変調器及び個々の画素の制御信号を生成することを特徴とする請求項７記載の表示制御装置。
  12. 上記受信された実時間表示データは、上記処理モジュールの１つによって強調及び使用され、該処理モジュールは、出力画像の色域を拡大するための光源変調器及び個々の画素の制御信号を生成することを特徴とする請求項７記載の表示制御装置。
  13. 上記実時間表示データのための上記処理モジュールは、ディスプレイの周囲の周囲光を動的に調整する制御信号を生成することを特徴とする請求項７記載の表示制御装置。
  14. 高画質、広色域及び広いダイナミックレンジの画像を表示するための表示方法において、
    実時間表示データストリームを処理するステップと、
    センサフィードバックによって判定されたディスプレイ構造パラメータを処理するステップと、
    空間的な処理を含む表示データストリームの処理を実行するステップと、
    １つ以上の光源を変調し、ディスプレイに亘る明るさを変更する制御信号を生成するステップと、
    フル解像度ディスプレイのための画像変調を実行する制御信号を生成するステップとを有する表示方法。
  15. 上記空間的な処理は、２つ以上のフレームの表示データの時間的処理を含むことを特徴とする請求項１４記載の表示方法。
JP2008536783A 2005-10-21 2006-10-19 表示装置、表示制御装置及び表示方法 Pending JP2009512896A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/255,353 US7404645B2 (en) 2005-06-20 2005-10-21 Image and light source modulation for a digital display system
PCT/US2006/040769 WO2007050399A2 (en) 2005-10-21 2006-10-19 Image and light source modulation for a digital display system

Publications (1)

Publication Number Publication Date
JP2009512896A true JP2009512896A (ja) 2009-03-26

Family

ID=37968385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008536783A Pending JP2009512896A (ja) 2005-10-21 2006-10-19 表示装置、表示制御装置及び表示方法

Country Status (5)

Country Link
US (1) US7404645B2 (ja)
EP (1) EP1949180A4 (ja)
JP (1) JP2009512896A (ja)
KR (1) KR20080075843A (ja)
WO (1) WO2007050399A2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012104946A (ja) * 2010-11-08 2012-05-31 Jvc Kenwood Corp 立体映像表示装置
JP2013092642A (ja) * 2011-10-26 2013-05-16 Sharp Corp 液晶表示装置
US8517541B2 (en) 2010-03-30 2013-08-27 Panasonic Corporation Projection image display device with switching luminance controller
JP2014504479A (ja) * 2010-12-10 2014-02-20 シリコン イメージ，インコーポレイテッド 高度デジタルテレビに関するマルチメディアｉ／ｏシステムアーキテクチャ
JP2015041936A (ja) * 2013-08-23 2015-03-02 ソニー株式会社 画像表示装置、並びに画像処理装置及び画像処理方法
JP2015064539A (ja) * 2013-09-26 2015-04-09 アルプス電気株式会社 映像表示装置
JP2017045070A (ja) * 2011-03-14 2017-03-02 ドルビー ラボラトリーズ ライセンシング コーポレイション プロジェクタ、ならびにシネマ、エンターテイメントシステム、ディスプレイを含む他の発光装置のためのレーザ光源の局所的調光
JP2019537076A (ja) * 2016-11-08 2019-12-19 アイピージー フォトニクス コーポレーション 多重レーザー広帯域光源を備えるｒｇｂプロジェクター、及び、画像のコントラスト比を動的に制御するためのシステム
US10659746B2 (en) 2017-01-27 2020-05-19 Kabushiki Kaisha Toshiba Image processing device and image processing method
JP2020092401A (ja) * 2018-03-23 2020-06-11 台達電子工業股▲ふん▼有限公司Ｄｅｌｔａ Ｅｌｅｃｔｒｏｎｉｃｓ，Ｉｎｃ． 投影表示設備及び表示方法
JP2021140169A (ja) * 2013-11-03 2021-09-16 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチ変調ディスプレイにおいて局所暗化するシステム及び方法
JP2022502920A (ja) * 2018-09-26 2022-01-11 ドルビー ラボラトリーズ ライセンシング コーポレイション 未来のフレームのメタデータを用いたプロジェクタ光源ディミング

Families Citing this family (211)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891672B2 (en) 2001-02-27 2005-05-10 The University Of British Columbia High dynamic range display devices
US8687271B2 (en) 2002-03-13 2014-04-01 Dolby Laboratories Licensing Corporation N-modulation displays and related methods
EP1485904B1 (en) * 2002-03-13 2012-08-29 Dolby Laboratories Licensing Corporation High dynamic range display devices
DE10241475A1 (de) * 2002-09-03 2004-03-11 4D-Vision Gmbh Simulationsverfahren
JP4341397B2 (ja) * 2003-12-16 2009-10-07 セイコーエプソン株式会社 光伝搬特性制御装置、光学表示装置、光伝搬特性制御プログラムおよび光学表示装置制御プログラム、並びに光伝搬特性制御方法および光学表示装置制御方法およびプロジェクタ
JP2005189542A (ja) * 2003-12-25 2005-07-14 National Institute Of Information & Communication Technology 表示システム、表示プログラム、表示方法
KR100691466B1 (ko) * 2004-09-20 2007-03-09 삼성전자주식회사 영상표시장치에서 색상 및 휘도를 조절하는 방법 및 장치
WO2006053171A1 (en) * 2004-11-10 2006-05-18 Thomson Licensing System and method for dark noise reduction in pulse width modulated (pwm) displays
TWI279736B (en) * 2005-03-11 2007-04-21 Himax Tech Ltd Integrated video control chipset
JP4458000B2 (ja) * 2005-08-24 2010-04-28 セイコーエプソン株式会社 画像表示装置及び画像表示装置の制御方法
US7881563B2 (en) * 2006-02-15 2011-02-01 Nokia Corporation Distortion correction of images using hybrid interpolation technique
US8599841B1 (en) * 2006-03-28 2013-12-03 Nvidia Corporation Multi-format bitstream decoding engine
US8593469B2 (en) * 2006-03-29 2013-11-26 Nvidia Corporation Method and circuit for efficient caching of reference video data
US20070286514A1 (en) * 2006-06-08 2007-12-13 Michael Scott Brown Minimizing image blur in an image projected onto a display surface by a projector
WO2008045681A1 (en) * 2006-10-06 2008-04-17 3M Innovative Properties Company Backlight modules for autostereoscopic 3d display devices and scanning backlights for lcd devices
KR101203658B1 (ko) * 2006-10-11 2012-11-23 삼성전자주식회사 디스플레이 패널의 가현 크기가 확대된 디스플레이 장치 및디스플레이 패널의 가현 크기를 확대시키는 방법
US9456222B2 (en) * 2006-10-18 2016-09-27 Thomson Licensing Local illumination and color compensation without explicit signaling
US8774269B2 (en) 2006-10-25 2014-07-08 Franuhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Quality scalable coding with mapping different ranges of bit depths
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US7809210B2 (en) * 2006-12-12 2010-10-05 Mitsubishi Digital Electronics America, Inc. Smart grey level magnifier for digital display
US8442316B2 (en) * 2007-01-05 2013-05-14 Geo Semiconductor Inc. System and method for improving color and brightness uniformity of backlit LCD displays
ES2893327T3 (es) 2007-02-01 2022-02-08 Dolby Laboratories Licensing Corp Calibración de visualizadores que tienen luz de fondo espacialmente variable
JP5096986B2 (ja) * 2007-04-11 2012-12-12 パナソニック株式会社 動画像表示装置、動画像表示方法及び集積回路
US8537234B2 (en) * 2007-05-07 2013-09-17 DigitalOptics Corporation International Image restoration with enhanced filtering
US7710434B2 (en) * 2007-05-30 2010-05-04 Microsoft Corporation Rotation and scaling optimization for mobile devices
JP5000395B2 (ja) * 2007-06-26 2012-08-15 オリンパス株式会社 撮像表示方法および撮像表示装置
RU2420930C1 (ru) * 2007-07-27 2011-06-10 Шарп Кабусики Кайся Осветительное устройство и устройство жидкокристаллического дисплея
US8135230B2 (en) * 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8233738B2 (en) 2007-07-30 2012-07-31 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8502709B2 (en) * 2007-09-17 2013-08-06 Nvidia Corporation Decoding variable length codes in media applications
US8849051B2 (en) 2007-09-17 2014-09-30 Nvidia Corporation Decoding variable length codes in JPEG applications
JP2011500249A (ja) * 2007-10-22 2011-01-06 エンドクロス リミテッド 血管閉塞を治療するためのバルーンおよびバルーン・カテーテル・システム
KR20100097186A (ko) * 2007-11-29 2010-09-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 디스플레이 상에 프라이버시를 제공하기 위한 방법 및 디바이스
JP5286772B2 (ja) 2007-12-18 2013-09-11 セイコーエプソン株式会社 画像表示装置
TW200930324A (en) * 2008-01-08 2009-07-16 D Link Corp Digital photo frame
US8224482B2 (en) 2008-01-08 2012-07-17 Parata Systems, Llc Automated pill dispensing systems configured for detecting bottles in output chutes and related methods of operation
US8144927B2 (en) * 2008-01-31 2012-03-27 Max-Viz, Inc. Video image processing and fusion
CN101953232B (zh) * 2008-02-12 2014-12-17 皇家飞利浦电子股份有限公司 用于控制由包括至少一个光源的光源组发射的光输出信号的方法和控制系统
US8493313B2 (en) * 2008-02-13 2013-07-23 Dolby Laboratories Licensing Corporation Temporal filtering of video signals
JP5577023B2 (ja) * 2008-02-22 2014-08-20 日立コンシューマエレクトロニクス株式会社 表示装置
US8723961B2 (en) * 2008-02-26 2014-05-13 Aptina Imaging Corporation Apparatus and method for forming and displaying high dynamic range (HDR) images
US10210793B2 (en) 2008-03-11 2019-02-19 Robe Lighting S.R.O. Array of LED array luminaires
US20100225639A1 (en) * 2008-03-11 2010-09-09 Robe Lighting S.R.O. Array of led array luminaires
EP2112646A3 (en) * 2008-03-31 2010-04-21 Element Labs, Inc. GPU video processing and color correction
US20090262306A1 (en) * 2008-04-16 2009-10-22 Quinn Liam B System and Method for Integration of a Projector and Information Handling System in a Common Chassis
PL2835976T3 (pl) 2008-04-16 2017-04-28 Ge Video Compression, Llc Skalowalność głębi bitowej
US8713456B2 (en) * 2008-05-15 2014-04-29 International Business Machines Corporation Establishing a graphical user interface (‘GUI’) theme
US8994615B2 (en) 2008-06-06 2015-03-31 Dolby Laboratories Licensing Corporation Apparatus and methods for driving solid-state illumination sources
JP5181860B2 (ja) * 2008-06-17 2013-04-10 セイコーエプソン株式会社 パルス幅変調信号生成装置およびそれを備えた画像表示装置、並びにパルス幅変調信号生成方法
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
US20090322800A1 (en) 2008-06-25 2009-12-31 Dolby Laboratories Licensing Corporation Method and apparatus in various embodiments for hdr implementation in display devices
US8970646B2 (en) 2008-07-09 2015-03-03 Ostendo Technologies, Inc. Image construction based video display system
JP4610644B2 (ja) 2008-08-27 2011-01-12 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体
JP4795406B2 (ja) * 2008-08-27 2011-10-19 シャープ株式会社 画像処理装置、画像形成装置、画像処理装置の制御方法、制御プログラム、記録媒体
JP4763026B2 (ja) * 2008-08-27 2011-08-31 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体
JP4865771B2 (ja) * 2008-08-27 2012-02-01 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体
US20100079365A1 (en) * 2008-09-30 2010-04-01 Sharp Laboratories Of America, Inc. Methods and systems for LED backlight white balance
WO2010044308A1 (ja) * 2008-10-14 2010-04-22 シャープ株式会社 画像表示用発光装置、表示装置、及びテレビ受信装置
US20100098399A1 (en) * 2008-10-17 2010-04-22 Kurt Breish High intensity, strobed led micro-strip for microfilm imaging system and methods
US9307267B2 (en) 2008-12-11 2016-04-05 Nvidia Corporation Techniques for scalable dynamic data encoding and decoding
US20100214282A1 (en) 2009-02-24 2010-08-26 Dolby Laboratories Licensing Corporation Apparatus for providing light source modulation in dual modulator displays
US8681185B2 (en) * 2009-03-05 2014-03-25 Ostendo Technologies, Inc. Multi-pixel addressing method for video display drivers
CN101847345B (zh) * 2009-03-27 2012-07-18 清华大学 白炽光源显示装置及其制备方法
JP4764938B2 (ja) * 2009-04-07 2011-09-07 シャープ株式会社 画像処理装置、画像形成装置、画像処理装置の制御方法、プログラム、記録媒体
TWI404004B (zh) * 2009-04-08 2013-08-01 Young Lighting Technology 背光模組之驅動裝置及驅動方法
KR20100116850A (ko) * 2009-04-23 2010-11-02 삼성전자주식회사 디스플레이 장치 세팅방법 및 이를 적용한 디스플레이 장치
US20110249021A1 (en) * 2009-04-24 2011-10-13 Sharp Kabushiki Kaisha Display device, display method, display control program, and recording medium
US20100280677A1 (en) * 2009-05-04 2010-11-04 Budike Jr Lothar E S Lighting and energy control system and modules
US20100295864A1 (en) * 2009-05-21 2010-11-25 Kerofsky Louis J Methods and Systems for Setting a Backlight Level
US9390660B2 (en) * 2009-07-24 2016-07-12 Dolby Laboratories Licensing Corporation Image control for displays
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
TWI413096B (zh) * 2009-10-08 2013-10-21 Chunghwa Picture Tubes Ltd 適應性畫面更新率調變系統及其方法
TWI517126B (zh) * 2009-12-16 2016-01-11 杜比實驗室特許公司 使用影像資料區段統計屬性之背光控制方法與系統
US20110158310A1 (en) * 2009-12-30 2011-06-30 Nvidia Corporation Decoding data using lookup tables
KR101673032B1 (ko) * 2010-01-25 2016-11-04 엘지전자 주식회사 화상 통신 방법 및 그를 이용한 디지털 ｔｖ
US20110193872A1 (en) * 2010-02-09 2011-08-11 3M Innovative Properties Company Control system for hybrid daylight-coupled backlights for sunlight viewable displays
US9208709B2 (en) * 2010-05-05 2015-12-08 Apple Inc. Backlight for a display
US9135864B2 (en) 2010-05-14 2015-09-15 Dolby Laboratories Licensing Corporation Systems and methods for accurately representing high contrast imagery on high dynamic range display systems
JP5532232B2 (ja) * 2010-05-18 2014-06-25 ソニー株式会社 映像信号処理装置、映像表示装置および映像表示システム
WO2011148507A1 (ja) * 2010-05-28 2011-12-01 Ｎｅｃディスプレイソリューションズ株式会社 投写型表示装置
EP2580913A4 (en) * 2010-06-08 2017-06-07 Dolby Laboratories Licensing Corporation Tone and gamut mapping methods and apparatus
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
JP5541031B2 (ja) * 2010-09-16 2014-07-09 セイコーエプソン株式会社 プロジェクター、およびプロジェクターの制御方法
KR101221426B1 (ko) * 2010-10-22 2013-01-11 주식회사 오토스윙 선글라스 또는 고글용 광학 특성 조절 시스템 및 이를 구비하는 선글라스 및 고글
WO2012080107A2 (en) * 2010-12-13 2012-06-21 Zoran (France) Backlight compensation pattern
US8781000B2 (en) * 2010-12-30 2014-07-15 Vixs Systems, Inc. Dynamic video data compression
US9030503B2 (en) * 2011-01-18 2015-05-12 The United States Of America As Represented By The Secretary Of The Army Anamorphic eyepiece with a microlens array for a panoramic field of view
CN103443846B (zh) 2011-03-09 2016-12-21 杜比实验室特许公司 高对比度的灰度级显示器和彩色显示器
TWI482140B (zh) * 2011-04-29 2015-04-21 Geo Semiconductor Inc 用於改善背光ｌｃｄ顯示器的色彩和亮度均勻性的系統和方法
US8711186B2 (en) * 2011-05-02 2014-04-29 Microvision, Inc. Scanning projection apparatus with tangential compensation
JPWO2012157573A1 (ja) * 2011-05-13 2014-07-31 株式会社東芝 エネルギー管理システム
US9069121B2 (en) * 2011-07-08 2015-06-30 Nora LIGORANO Fiber optic tapestry
US20130076261A1 (en) * 2011-09-27 2013-03-28 Tsun-I Wang Programmable light-box
JP5412692B2 (ja) * 2011-10-04 2014-02-12 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
DE102011119661B4 (de) * 2011-11-29 2013-08-01 Austriamicrosystems Ag Modulschaltung, Anzeigemodul und Verfahren zum Bereitstellen eines Ausgangssignals
US9105244B2 (en) * 2012-05-16 2015-08-11 Himax Technologies Limited Panel control apparatus and operating method thereof
EP2850488A4 (en) 2012-05-18 2016-03-02 Reald Inc DIRECTIONAL BACK LIGHTING
US9678267B2 (en) 2012-05-18 2017-06-13 Reald Spark, Llc Wide angle imaging directional backlights
US9188731B2 (en) 2012-05-18 2015-11-17 Reald Inc. Directional backlight
JP6508832B2 (ja) 2012-05-18 2019-05-08 リアルディー スパーク エルエルシー 指向性バックライトの複数の光源の制御
KR20140050361A (ko) * 2012-10-19 2014-04-29 삼성디스플레이 주식회사 화소, 이를 이용한 입체 영상 표시 장치 및 그의 구동 방법
KR102051656B1 (ko) * 2013-01-22 2019-12-03 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
US8769477B1 (en) * 2013-01-31 2014-07-01 Xilinx, Inc. Computer aided design tool and user interface for configuration of a programmable system-on-a-chip
CN105324605B (zh) 2013-02-22 2020-04-28 瑞尔D斯帕克有限责任公司 定向背光源
US9736443B2 (en) * 2013-03-04 2017-08-15 Intel Corporation Adaptive image management of a projector system
WO2014136882A1 (ja) * 2013-03-06 2014-09-12 ウシオ電機株式会社 光源装置およびプロジェクタ
JP6040850B2 (ja) * 2013-04-17 2016-12-07 富士通株式会社 割り当て方法、割り当てプログラム、情報処理装置、および解析システム
US9407797B1 (en) * 2013-04-17 2016-08-02 Valve Corporation Methods and systems for changing duty cycle to reduce judder effect
US9710894B2 (en) * 2013-06-04 2017-07-18 Nvidia Corporation System and method for enhanced multi-sample anti-aliasing
US9401128B1 (en) 2013-09-20 2016-07-26 Google Inc. Dynamic update of display pixels
WO2015057588A1 (en) * 2013-10-14 2015-04-23 Reald Inc. Light input for directional backlight
EP3058562A4 (en) 2013-10-14 2017-07-26 RealD Spark, LLC Control of directional display
US9462215B2 (en) 2013-11-04 2016-10-04 Dobly Laboratories Licensing Corporation Enhanced global dimming for projector display systems
EP3860119A1 (en) 2013-11-04 2021-08-04 Dolby Laboratories Licensing Corp. Single modulator projector systems with global dimming
CN103747320B (zh) * 2013-12-27 2017-02-22 京东方科技集团股份有限公司 一种双视显示装置以及双视显示方法
US20150194040A1 (en) * 2014-01-06 2015-07-09 Fibar Group sp. z o.o. Intelligent motion sensor
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
KR101551252B1 (ko) * 2014-02-19 2015-09-09 (주)케이시크 음향조명기기의 밸런스 조절 제어 방법
JP6371092B2 (ja) * 2014-03-27 2018-08-08 マクセル株式会社 映像処理装置及びそれを用いたプロジェクタ装置
US10438331B2 (en) * 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations
CN106662773B (zh) 2014-06-26 2021-08-06 瑞尔D 斯帕克有限责任公司 定向防窥显示器
US9852531B2 (en) * 2014-07-11 2017-12-26 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling the same
CN105467733B (zh) * 2014-08-25 2018-08-28 深圳市光峰光电技术有限公司 投影显示系统及其控制方法
CN104252842A (zh) * 2014-09-18 2014-12-31 苏州合欣美电子科技有限公司 一种灯驱分离的led显示屏模组
EP3204686B1 (en) 2014-10-08 2019-07-17 RealD Spark, LLC Connection unit for a directional backlight
WO2016079949A1 (ja) * 2014-11-17 2016-05-26 日本電気株式会社 映像処理システム、送信装置、映像処理方法、送信方法および記録媒体
RU2596062C1 (ru) 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
WO2016168345A1 (en) 2015-04-13 2016-10-20 Reald Inc. Wide angle imaging directional backlights
EP3286737A1 (en) 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods for full parallax compressed light field synthesis utilizing depth information
KR20170139560A (ko) 2015-04-23 2017-12-19 오스텐도 테크놀로지스 인코포레이티드 완전 시차 광 필드 디스플레이 시스템들을 위한 방법들 및 장치들
CN107850804B (zh) 2015-05-27 2021-06-11 瑞尔D斯帕克有限责任公司 广角成像定向背光源
WO2016195697A1 (en) 2015-06-04 2016-12-08 Hewlett Packard Enterprise Development Lp Light color adjustment of a server panel light
US9728142B2 (en) * 2015-07-15 2017-08-08 Christie Digital Systems Usa, Inc. Reduced blur, low flicker display system
CA2992887A1 (en) * 2015-07-17 2017-01-26 Abl Ip Holding Llc Software configurable lighting device
US10497337B2 (en) * 2015-07-17 2019-12-03 Abl Ip Holding Llc Systems and methods to provide configuration data to a software configurable lighting device
US10325402B1 (en) * 2015-07-17 2019-06-18 A9.Com, Inc. View-dependent texture blending in 3-D rendering
JP6594075B2 (ja) * 2015-07-22 2019-10-23 キヤノン株式会社 画像処理装置、撮像システム、画像処理方法
US20170060376A1 (en) * 2015-08-30 2017-03-02 Gaylord Yu Displaying HDMI Content in a Tiled Window
US10387000B2 (en) 2015-08-30 2019-08-20 EVA Automation, Inc. Changing HDMI content in a tiled window
CN113660525A (zh) * 2015-09-25 2021-11-16 麦克赛尔株式会社 接收装置
WO2017074951A1 (en) 2015-10-26 2017-05-04 Reald Inc. Intelligent privacy system, apparatus, and method thereof
US10459321B2 (en) 2015-11-10 2019-10-29 Reald Inc. Distortion matching polarization conversion systems and methods thereof
US10330843B2 (en) 2015-11-13 2019-06-25 Reald Spark, Llc Wide angle imaging directional backlights
EP3374822B1 (en) 2015-11-13 2023-12-27 RealD Spark, LLC Surface features for imaging directional backlights
US10448030B2 (en) 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression
EP3384484A4 (en) * 2015-12-04 2019-04-24 Chromera, Inc. OPTICAL DETERMINATION OF MESSAGES ON A DISPLAY
KR102370717B1 (ko) * 2015-12-31 2022-03-04 엘지디스플레이 주식회사 유기 발광 다이오드 표시 장치
CN114143495A (zh) 2016-01-05 2022-03-04 瑞尔D斯帕克有限责任公司 多视角图像的注视校正
US10679544B2 (en) * 2016-01-29 2020-06-09 Barco Nv Digital image processing chain and processing blocks and a display including the same
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
CN114554177A (zh) 2016-05-19 2022-05-27 瑞尔D斯帕克有限责任公司 广角成像定向背光源
EP3464996B1 (en) 2016-05-23 2022-09-14 RealD Spark, LLC Wide angle imaging directional backlights
US10176765B2 (en) 2016-06-30 2019-01-08 Abl Ip Holding Llc Enhancements of a transparent display to form a software configurable luminaire
CN109937442A (zh) 2016-10-06 2019-06-25 图像影院国际有限公司 电影院发光屏幕和声音系统
US10204395B2 (en) * 2016-10-19 2019-02-12 Microsoft Technology Licensing, Llc Stereoscopic virtual reality through caching and image based rendering
US10373297B2 (en) * 2016-10-26 2019-08-06 Valve Corporation Using pupil location to correct optical lens distortion
US10409118B1 (en) 2016-11-17 2019-09-10 Apple Inc. Pixel array antialiasing to accommodate curved display edges
US10303013B2 (en) 2016-11-17 2019-05-28 Apple Inc. Pixel array antialiasing to accommodate curved display edges
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
US10621446B2 (en) * 2016-12-22 2020-04-14 Texas Instruments Incorporated Handling perspective magnification in optical flow processing
US10129718B2 (en) * 2016-12-28 2018-11-13 T-Mobile Usa, Inc. Data usage analytics application for dynamic control of data usage on a client device
EP3566094B1 (en) 2017-01-04 2023-12-06 RealD Spark, LLC Optical stack for imaging directional backlights
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
WO2018138714A1 (en) 2017-01-28 2018-08-02 Lumus Ltd. Augmented reality imaging system
US10397504B2 (en) * 2017-02-13 2019-08-27 Kidde Technologies, Inc. Correcting lag in imaging devices
US10408992B2 (en) 2017-04-03 2019-09-10 Reald Spark, Llc Segmented imaging directional backlights
US10505656B2 (en) 2017-04-08 2019-12-10 Nokia Solutions And Networks Oy Optical wavelength selective switches with guard bands
WO2018234344A1 (en) 2017-06-20 2018-12-27 Imax Theatres International Limited ACTIVE DISPLAY ELEMENT WITH REDUCED GRID EFFECT
US10453374B2 (en) 2017-06-23 2019-10-22 Samsung Electronics Co., Ltd. Display apparatus and method for displaying
CN107179610A (zh) * 2017-06-29 2017-09-19 深圳市虚拟现实科技有限公司 图像显示方法及其装置
JP7174929B2 (ja) 2017-07-19 2022-11-18 ルムス エルティーディー． Ｌｏｅを介するｌｃｏｓ照明
WO2019032604A1 (en) 2017-08-08 2019-02-14 Reald Spark, Llc ADJUSTING A DIGITAL REPRESENTATION OF A HEADQUARTERS
JP2019040036A (ja) * 2017-08-24 2019-03-14 株式会社ジャパンディスプレイ 電子機器、表示装置及び表示制御方法
EP3685255A1 (en) * 2017-09-20 2020-07-29 IMAX Theatres International Limited Light emitting display with tiles and data processing
EP3459713A1 (en) * 2017-09-26 2019-03-27 Siemens Aktiengesellschaft Method for computer-aided processing of quality information of an object and a respective assistance apparatus
US11070791B2 (en) 2017-11-06 2021-07-20 Reald Spark, Llc Privacy display apparatus
US10496579B2 (en) * 2017-11-13 2019-12-03 Bobby Gene Burrough Graphics processing unit with sensor interface
KR102523672B1 (ko) * 2017-11-14 2023-04-20 삼성전자주식회사 디스플레이장치 및 그 제어방법과 기록매체
US11561406B2 (en) 2017-12-10 2023-01-24 Lumus Ltd. Image projector
EP3743766A4 (en) 2018-01-25 2021-12-22 RealD Spark, LLC TOUCH SCREEN FOR CONFIDENTIALITY DISPLAY
US10665157B2 (en) 2018-04-18 2020-05-26 Apple Inc. Pre-compensation for pre-toggling-induced artifacts in electronic displays
US11710464B2 (en) * 2018-05-03 2023-07-25 Darfon Electronics Corp. Display device and backlight apparatus thereof
GB2588047C (en) * 2018-05-18 2023-11-15 1004335 Ontario Inc Carrying On Business As A D Metro Optical touch sensor devices and systems
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
US11415812B2 (en) 2018-06-26 2022-08-16 Lumus Ltd. Compact collimating optical device and system
US10254636B1 (en) * 2018-07-03 2019-04-09 Motorola Mobility Llc Reducing heat generated during projection of visual content
KR102033108B1 (ko) 2018-07-06 2019-10-16 엘지전자 주식회사 디스플레이 장치 및 그 구동 방법
US11042345B2 (en) * 2018-08-31 2021-06-22 Google Llc Systems, devices, and methods for interactive visual displays
US10733783B2 (en) * 2018-10-09 2020-08-04 Valve Corporation Motion smoothing for re-projected frames
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
TW202026685A (zh) 2018-11-08 2020-07-16 以色列商魯姆斯有限公司 具有反射鏡的光導顯示器
WO2020100200A1 (ja) * 2018-11-12 2020-05-22 Eizo株式会社 画像処理システム、画像処理装置、およびコンピュータープログラム
US11217204B2 (en) 2018-12-19 2022-01-04 Cae Inc. Dynamically adjusting image characteristics in real-time
JP7398131B2 (ja) 2019-03-12 2023-12-14 ルムス エルティーディー． 画像プロジェクタ
US20220246085A1 (en) * 2019-06-27 2022-08-04 Sony Interactive Entertainment Inc. Image processing system, image processing integrated circuit, and image processing method
CN110213554B (zh) * 2019-07-03 2021-07-13 大峡谷照明系统（苏州）股份有限公司 一种图像映射播放器及像素点调试的方法
CN112348748B (zh) * 2019-08-09 2024-07-26 北京字节跳动网络技术有限公司 图像特效处理方法、装置、电子设备和计算机可读存储介质
CN117496922A (zh) * 2019-08-23 2024-02-02 伊格尼斯创新公司 光学校正方法和光学校正系统
GB2594585B (en) 2020-04-03 2022-07-20 1004335 Ontario Inc Carrying On Business As A D Metro Optical touch sensor systems and optical detectors with noise mitigation
US11276345B2 (en) * 2020-05-22 2022-03-15 Huayuan Semiconductor (Shenzhen) Limited Company Display device with feedback via parallel connections from distributed driver circuits to a single wire interface
US11382202B2 (en) * 2020-08-27 2022-07-05 Himax Imaging Limited Method and apparatus for controlling a lighting fixture based on motion detection and related lighting fixture
US11423520B2 (en) * 2020-10-30 2022-08-23 Facebook Technologies, Llc. Distortion-corrected rasterization
US11854170B2 (en) 2020-12-24 2023-12-26 Beijing Boe Optoelectronics Technology Co., Ltd. Method and apparatus of processing image distortion
CN113014839B (zh) * 2021-02-20 2023-09-26 冠捷显示科技（厦门）有限公司 一种自适应环景光适配方法
KR20230028953A (ko) * 2021-08-23 2023-03-03 삼성전자주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
US11933976B2 (en) 2021-09-28 2024-03-19 Valve Corporation Position tracking systems and methods for head-mounted display systems
CN115086577A (zh) * 2022-06-17 2022-09-20 谢文军 用于氛围灯渲染的实时可变刷新率的视频处理方法和系统
CN115396570B (zh) * 2022-07-12 2023-12-12 中南大学 一种幽光高温工业内窥镜
CN115150602B (zh) * 2022-08-31 2022-11-08 深圳市橙子数字科技有限公司 一种高保真dlp投影仪
US11776492B1 (en) * 2022-09-22 2023-10-03 Apple Inc. Dynamic backlight color shift compensation systems and methods

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099250A (ja) * 2000-09-21 2002-04-05 Toshiba Corp 表示装置
JP2003140110A (ja) * 2001-08-20 2003-05-14 Hitachi Ltd 液晶表示装置とその駆動回路
JP2004361618A (ja) * 2003-06-04 2004-12-24 Hitachi Displays Ltd 液晶表示装置
WO2005057275A1 (ja) * 2003-12-08 2005-06-23 Sony Corporation 液晶表示装置およびバックライト調整方法
JP2005258403A (ja) * 2004-02-09 2005-09-22 Hitachi Ltd 照明装置とこれを備えた画像表示装置及び画像表示方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5175808A (en) 1989-09-12 1992-12-29 Pixar Method and apparatus for non-affine image warping
EP0576763A1 (en) 1992-06-30 1994-01-05 International Business Machines Corporation Improved method for sub-band coding video signals and device for implementing said method
US6006231A (en) * 1996-09-10 1999-12-21 Warp 10 Technologies Inc. File format for an image including multiple versions of an image, and related system and method
US6215916B1 (en) 1998-02-04 2001-04-10 Intel Corporation Efficient algorithm and architecture for image scaling using discrete wavelet transforms
US6456339B1 (en) 1998-07-31 2002-09-24 Massachusetts Institute Of Technology Super-resolution display
US6340994B1 (en) 1998-08-12 2002-01-22 Pixonics, Llc System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems
US6157396A (en) 1999-02-16 2000-12-05 Pixonics Llc System and method for using bitstream information to process images for use in digital display systems
US6456340B1 (en) 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
US6236433B1 (en) 1998-09-29 2001-05-22 Intel Corporation Scaling algorithm for efficient color representation/recovery in video
US6275206B1 (en) 1999-03-17 2001-08-14 Intel Corporation Block mapping based up-sampling method and apparatus for converting color images
US6628827B1 (en) 1999-12-14 2003-09-30 Intel Corporation Method of upscaling a color image
US6901164B2 (en) 2000-04-14 2005-05-31 Trusight Ltd. Method for automated high speed improvement of digital color images
US6819333B1 (en) 2000-05-12 2004-11-16 Silicon Graphics, Inc. System and method for displaying an image using display distortion correction
US6891672B2 (en) 2001-02-27 2005-05-10 The University Of British Columbia High dynamic range display devices
US7121668B2 (en) * 2002-02-05 2006-10-17 Koninklijke Philips Electronics N. V. Device and method for generating an image for projection
US7196687B2 (en) 2002-11-05 2007-03-27 3M Innovative Properties Company Swept illumination to reduce LCD lag in front and rear projection displays
US7308157B2 (en) * 2003-02-03 2007-12-11 Photon Dynamics, Inc. Method and apparatus for optical inspection of a display
JP4036142B2 (ja) * 2003-05-28 2008-01-23 セイコーエプソン株式会社 電気光学装置、電気光学装置の駆動方法および電子機器
JP2005084260A (ja) * 2003-09-05 2005-03-31 Agilent Technol Inc 表示パネルの変換データ決定方法および測定装置
US7040764B2 (en) * 2003-10-23 2006-05-09 Hewlett-Packard Development Company, L.P. Projection system using ambient light
US20050285822A1 (en) * 2004-06-29 2005-12-29 Damoder Reddy High-performance emissive display device for computers, information appliances, and entertainment systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099250A (ja) * 2000-09-21 2002-04-05 Toshiba Corp 表示装置
JP2003140110A (ja) * 2001-08-20 2003-05-14 Hitachi Ltd 液晶表示装置とその駆動回路
JP2004361618A (ja) * 2003-06-04 2004-12-24 Hitachi Displays Ltd 液晶表示装置
WO2005057275A1 (ja) * 2003-12-08 2005-06-23 Sony Corporation 液晶表示装置およびバックライト調整方法
JP2005258403A (ja) * 2004-02-09 2005-09-22 Hitachi Ltd 照明装置とこれを備えた画像表示装置及び画像表示方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8517541B2 (en) 2010-03-30 2013-08-27 Panasonic Corporation Projection image display device with switching luminance controller
JP2012104946A (ja) * 2010-11-08 2012-05-31 Jvc Kenwood Corp 立体映像表示装置
JP2016178667A (ja) * 2010-12-10 2016-10-06 ラティス セミコンダクタ コーポレーションＬａｔｔｉｃｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｃｏｒｐｏｒａｔｉｏｎ 高度デジタルテレビに関するマルチメディアｉ／ｏシステムアーキテクチャ
JP2014504479A (ja) * 2010-12-10 2014-02-20 シリコン イメージ，インコーポレイテッド 高度デジタルテレビに関するマルチメディアｉ／ｏシステムアーキテクチャ
US9516372B2 (en) 2010-12-10 2016-12-06 Lattice Semiconductor Corporation Multimedia I/O system architecture for advanced digital television
JP2018067019A (ja) * 2011-03-14 2018-04-26 ドルビー ラボラトリーズ ライセンシング コーポレイション プロジェクタ、ならびにシネマ、エンターテイメントシステム、ディスプレイを含む他の発光装置のためのレーザ光源の局所的調光
JP2017045070A (ja) * 2011-03-14 2017-03-02 ドルビー ラボラトリーズ ライセンシング コーポレイション プロジェクタ、ならびにシネマ、エンターテイメントシステム、ディスプレイを含む他の発光装置のためのレーザ光源の局所的調光
US9001023B2 (en) 2011-10-26 2015-04-07 Sharp Kabushiki Kaisha Liquid crystal display apparatus
JP2013092642A (ja) * 2011-10-26 2013-05-16 Sharp Corp 液晶表示装置
JP2015041936A (ja) * 2013-08-23 2015-03-02 ソニー株式会社 画像表示装置、並びに画像処理装置及び画像処理方法
JP2015064539A (ja) * 2013-09-26 2015-04-09 アルプス電気株式会社 映像表示装置
JP2021140169A (ja) * 2013-11-03 2021-09-16 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチ変調ディスプレイにおいて局所暗化するシステム及び方法
JP7150091B2 (ja) 2013-11-03 2022-10-07 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチ変調ディスプレイにおいて局所暗化するシステム及び方法
US11582432B2 (en) 2013-11-03 2023-02-14 Dolby Laboratories Licensing Corporation Systems and methods for local dimming in multi-modulation displays
JP2019537076A (ja) * 2016-11-08 2019-12-19 アイピージー フォトニクス コーポレーション 多重レーザー広帯域光源を備えるｒｇｂプロジェクター、及び、画像のコントラスト比を動的に制御するためのシステム
JP7136792B2 (ja) 2016-11-08 2022-09-13 アイピージー フォトニクス コーポレーション 多重レーザー広帯域光源を備えるｒｇｂプロジェクター、及び、画像のコントラスト比を動的に制御するためのシステム
US10659746B2 (en) 2017-01-27 2020-05-19 Kabushiki Kaisha Toshiba Image processing device and image processing method
JP2020092401A (ja) * 2018-03-23 2020-06-11 台達電子工業股▲ふん▼有限公司Ｄｅｌｔａ Ｅｌｅｃｔｒｏｎｉｃｓ，Ｉｎｃ． 投影表示設備及び表示方法
JP2022502920A (ja) * 2018-09-26 2022-01-11 ドルビー ラボラトリーズ ライセンシング コーポレイション 未来のフレームのメタデータを用いたプロジェクタ光源ディミング
JP7509761B2 (ja) 2018-09-26 2024-07-02 ドルビー ラボラトリーズ ライセンシング コーポレイション 未来のフレームのメタデータを用いたプロジェクタ光源ディミング

Also Published As

Publication number Publication date
WO2007050399A3 (en) 2009-05-28
WO2007050399A2 (en) 2007-05-03
US7404645B2 (en) 2008-07-29
US20070035706A1 (en) 2007-02-15
EP1949180A4 (en) 2010-01-13
EP1949180A2 (en) 2008-07-30
KR20080075843A (ko) 2008-08-19

Similar Documents

Publication Publication Date Title
US7404645B2 (en) Image and light source modulation for a digital display system
US8698701B2 (en) Field sequential light source modulation for a digital display system
US6157396A (en) System and method for using bitstream information to process images for use in digital display systems
US6340994B1 (en) System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems
US6456340B1 (en) Apparatus and method for performing image transforms in a digital display system
JP6934908B2 (ja) ビデオコンテンツ配信方法およびビデオ処理装置
US20020063807A1 (en) Method for Performing Image Transforms in a Digital Display System
Masia et al. A survey on computational displays: Pushing the boundaries of optics, computation, and perception
US8687042B2 (en) Set-top box circuitry supporting 2D and 3D content reductions to accommodate viewing environment constraints
KR102176398B1 (ko) 영상처리장치 및 영상처리방법
US9792666B2 (en) Image processing device, image display device, and method of controlling image processing device for reducing and enlarging an image size
US20140160143A1 (en) Method of Adapting a Source Image Content to a Target Display
JP2006524457A (ja) コントラスト向上のための電子ペーパに基づいたスクリーンの使用
US11468865B2 (en) Display panel for displaying high-luminance and high-color saturation image, and image display apparatus including the same
WO2000010129A1 (en) System and method for using bitstream information to process images for use in digital display systems
JP4862866B2 (ja) 画像表示装置および画像表示方法
JP2014186275A (ja) 表示装置、テレビジョン受像機、および、表示装置の制御方法
Myszkowski et al. HDR Display Devices
Ward Color in High Dynamic Range Imaging
Demos The unfolding merger of television and movie technology

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120703