JP2014529756A - ハイブリッド画像の分解および投影 - Google Patents

ハイブリッド画像の分解および投影 Download PDF

Info

Publication number
JP2014529756A
JP2014529756A JP2014525544A JP2014525544A JP2014529756A JP 2014529756 A JP2014529756 A JP 2014529756A JP 2014525544 A JP2014525544 A JP 2014525544A JP 2014525544 A JP2014525544 A JP 2014525544A JP 2014529756 A JP2014529756 A JP 2014529756A
Authority
JP
Japan
Prior art keywords
image
component
image component
input
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014525544A
Other languages
English (en)
Other versions
JP2014529756A5 (ja
Inventor
ウェイニン タン、
ウェイニン タン、
スティーブン チャールズ リード、
スティーブン チャールズ リード、
Original Assignee
アイマックスコーポレイション
アイマックス コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイマックスコーポレイション, アイマックス コーポレイション filed Critical アイマックスコーポレイション
Publication of JP2014529756A publication Critical patent/JP2014529756A/ja
Publication of JP2014529756A5 publication Critical patent/JP2014529756A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

ハイブリッド画像投影システムおよび方法は、入力画像の(複数の)画像成分を重ね合わせることができる。入力画像を分解してより小さい複数の領域にすることができ、各領域の少なくとも1つのパラメータを求めることができる。各領域のパラメータに基づいて、入力画像を分解して、複数のより相関の少ない直交または擬似直交画像成分にすることができる。各プロジェクタは、投影される画像が画面上で光学的に重ね合わされることができるように、それぞれの画像成分を表示することができる。直交または擬似直交画像成分を重ね合わせることは、結果として、既存のマルチプロジェクタ画像システムにおける画像の重ね合わせを、プロジェクタ間画像不整合の影響をより受けにくくすることができる。直交または擬似直交画像の重ね合わせは、目に見える画像の劣化を回避し、マルチ・プロジェクタ・システム実施態様においてよりロバストな画像品質を提供するために使用することができる。

Description

関連出願の相互参照
本出願は、参照によりその全体が本明細書に組み込まれる、2012年8月16日に出願された「改良型マルチ・プロジェクタ・ディスプレイのためのハイブリッド投影(Hybrid Projection for Enhanced Multi−Projector Display)」と題する米国仮特許出願第61/575,117号の優先権を主張する。
本出願は、一般に画像投影システムに関し、より詳細には(必ずしも排他的にではないが)表示されるときに重ね合わされるために互いに直交または擬似直交する画像成分を出力することができる画像投影システムに関する。
マルチ・プロジェクタ・システムは、複数の画像を重ね合わせて、より高い輝度、フリッカーのない画像、および、スクリーンドア効果が大きく低減された画像などの利点を実現するために使用することができる。現行のマルチ・プロジェクタ・システムは、単一プロジェクタシステムから実現することができるものと同様の画像鮮明度を達成するために、サブピクセルレベルの非常に正確なプロジェクタ間(すなわち、プロジェクタの間の)画像レジストレーションを必要とする。ある投影画像を別の投影画像にワーピングするためにワーピングエンジンを使用する現行のマルチ・プロジェクタ・システムは、1ピクセル精度未満以内でこれを行う場合がある。しかしながら、画像レジストレーション精度は、システム測定誤差、光学的不均一性、経時的な熱ドリフト、およびプロジェクタの機械的振動から劣化する可能性がある。この問題は、投影する画像の解像度が4096×2160(4K)以上になると悪化する可能性があり、これによって、より正確な空間的アライメント精度で重ね合わせる必要があり得る。
重ね合わせ画像における画像劣化をもたらし得る別の問題は、ある画像をワーピングして別の画像に整合させるときに発生する可能性があり、これは、デジタル画像再サンプリングによって生じる、画像品質に対する限界を有する可能性がある。デジタル画像再サンプリングによって生じる画像劣化は、再サンプリング中の多少の高周波数情報損失のために画像外観をより柔らかく、鮮明でなくする可能性がある。
重ね合わせ画像の輝度ダイナミックレンジをさらに増大させるためにマルチ投影における複数のプロジェクタからさらにより多くの投影画像が重ね合わされるとき、投影画像間のアライメントの精度がより困難になる可能性がある。そのようなシステムにおいて、重ね合わせた複数の画像のうちの画像は、特に、投影画像が異なる投影分解能を有するプロジェクタからのものである場合に、より容易にアライメント劣化を受け、増加した数のプロジェクタを用いて実現される可能性を制限し得る。
知覚される重ね合わせ画像が1つのプロジェクタから投影した場合と同じ画像品質を有することを依然として可能にしながら、より度合いの高い画像アライメント誤差に耐えることができるシステムおよび方法が望ましい。
特定の態様および特徴は、重ね合わせるために入力画像の画像成分を出力することに関し、これらの画像成分は互いに擬似直交する。
一態様において、入力画像データをハイブリッド画像投影システムのために変換するための方法が提供される。入力画像データは入力画像を表す。入力画像データは、入力画像の内容に基づいて少なくとも2つの画像領域に分割される。画像領域に関するパラメータが求められ、少なくとも1つのパラメータは、画像領域の各々に関して求められる。パラメータに基づいて入力画像を分解することによって、第1の画像成分および第2の画像成分が生成される。第1の画像成分は第2の画像成分と直交または擬似直交する。第1の画像成分が第1の表示デバイスによって表示される。第2の画像成分が第2の表示デバイスによって表示される。第2の画像成分が第1の画像成分と重ね合わされて、最終画像が生成される。
別の態様において、マルチ・プロジェクタ・システムが提供される。マルチ・プロジェクタ・システムは、入力と、プロセッサと、第1のシステム機能モジュールと、第2のシステム機能モジュールと、第1のプロジェクタと、第2のプロジェクタとを含む。入力は、画像を表す入力画像データを受信することができる。プロセッサは、入力画像データを処理することができる。プロセッサは、画像内容に基づいて画像を複数の画像領域に分割し、画像を、第1の画像成分、および第1の画像成分に直交または擬似直交する第2の画像成分に分解することによって、入力画像データに基づいて第1の画像成分および第2の画像成分を出力することができる。第1のシステム機能モジュールは、第1の画像成分を修正することができる。第2のシステム機能モジュールは、第2の画像成分を修正することができる。第1のプロジェクタは、第1の修正画像成分を表示することができる。第2のプロジェクタは、第2の修正画像成分を、第1の修正画像成分に重ね合わせて表示することができる。
これらの例示的な対応および特徴は、本発明を限定または定義するためではなく、本開示において開示されている発明の概念の理解を助けるための例を提供するために述べられている。本発明の他の態様、利点、および特徴が、本開示全体を概観した後に明らかとなろう。
一態様によるハイブリッド画像投影システムの方法の流れ図である。
一態様による画像分解プロセスのマルチレベル構造および階層の流れ図である。
一態様による、修正経験的モード画像分解(MEMD)を使用したハイブリッド画像投影システムの画像処理ステップの流れ図である。
特定の態様による領域ベースの適応的画像分解の画像領域下位区分を示す図である。
一態様によるMEMD方法の一次元(1D)断面例のグラフである。
一態様によるMEMD方法からの画像分解を示す二次元(2D)断面例の絵図である。
一態様によるMEMDを使用した1つのレベルにおける画像分解の1D例のグラフである。
不整合のある従来の投影からの結果と、一態様による、ハイブリッド画像投影からの結果との間の重ね合わせ画像品質の比較を示す絵図である。
特定の態様による、MEMD方法においてフォールバック動作が使用されているときの状態を示す図である。 特定の態様による、MEMD方法においてフォールバック動作が使用されているときの状態を示す図である。 特定の態様による、MEMD方法においてフォールバック動作が使用されているときの状態を示す図である。 特定の態様による、MEMD方法においてフォールバック動作が使用されているときの状態を示す図である。 特定の態様による、MEMD方法においてフォールバック動作が使用されているときの状態を示す図である。
一態様による、三成分色画像が処理されるMEMD方法の流れ図である。
一態様によるデュアルプロジェクタを有するハイブリッド画像投影システムのシステム図である。
本発明の特定の態様は、ハイブリッド画像投影方法およびマルチ・プロジェクタ・システムに関する。従来の重ね合わせマルチ・プロジェクタ・システムにおけるように高度に相関した同一の画像を各プロジェクタに送信する代わりに、いくつかの態様によるハイブリッド画像プロジェクタは、入力画像をより小さい(複数の)領域に分割して、各領域の少なくとも1つのパラメータを求め、その後、各領域のパラメータに基づいて入力画像を複数に分解し、より相関の少ない直交または擬似直交画像成分にすることができる。各プロジェクタは、投影される画像が画面上で光学的に重ね合わされることができるように、それぞれの画像成分を表示することができる。たとえ、直交または擬似直交画像の基礎となる特性が原画像と異なる場合があったとしても、直交または擬似直交画像が重ね合わされると、画像品質は、原画像が完全に重ね合わされた場合と実質的に同じであるか、または重ね合わされた原画像がマルチ・プロジェクタ・システムにおいてわずかに不整合である場合よりも良好であることができる。直交または擬似直交画像を重ね合わせることは、結果として、既存のマルチプロジェクタ画像システムにおける画像の重ね合わせを、プロジェクタ間画像不整合の影響をより受けにくくすることができる。直交または擬似直交画像の重ね合わせは、目に見える画像の劣化を回避し、マルチ・プロジェクタ・システム実施態様においてよりロバストな画像品質を提供するために使用することができる。
より低い空間周波数で画像成分にワーピング処理を適用し、より高い空間周波数を有する画像成分をワーピングされていないままにすることによって、完全なプロジェクタ間アライメント状態の下でさえ、画像忠実度が向上する可能性が生じ得る。加えて、システム全体の画像強度分解能(各色のデジタル・ダイナミック・レンジと称することがある)は、プロジェクタの総数の分だけ増大することができる。画像強度分解能が増大することによって、色輪郭化アーチファクトとしても知られているカラー・バンディング・アーチファクトを低減することができる。カラー・バンディング・アーチファクトは、低い色または低い輝度分解能の結果として色および/または輝度の段階的な変化が目に見えるときに発生する可能性がある。バンディングアーチファクトは、コントラストが非常に高く輝度が高いプロジェクタが使用されるときに深刻であり得る。いくつかの態様によるシステムおよび方法は、画像品質性能特性が異なる(たとえば、空間分解能、または輝度ルーメン、またはコントラストが異なる)異種のプロジェクタを混合する柔軟性を提供することができる。立体デュアル・プロジェクタ・システムにおいて、ハイブリッド画像投影は、2Dおよび三次元(3D)表示に対する異なる光源出力レベルにおけるシステムの動作の照明制御を分離することもできる。ハイブリッド画像投影システムによって、2D表示のための最適な設定とは無関係に、3D表示に対する輝度需要をより良好に満たすために3D光源レベルを調整する柔軟性を実現することができる。2D表示について、ハイブリッド画像投影方法は、重ね合わせ画像が複数のプロジェクタによって表示され、重ね合わせ画像間に空間不整合があるときに表示される画像品質のロバスト性を向上させることができる。たとえば、特定の態様によるハイブリッド画像投影方法を使用するデュアル投影システムは、より良好な品質の画像を表示するか、または、少なくとも、重ね合わされた同じ画像のうちの2つを表示するデュアル投影システムと同じ画像品質を表示することができる。重ね合わせ画像を表示するハイブリッド画像投影方法およびシステムは、同じ画像を重ね合わせる従来の投影よりも劣る画像品質が生成されることを回避することができる。マルチ投影ディスプレイシステムにおいてハイブリッド画像投影方法を使用することは、画像品質の向上に対するリスクの低い解決策であり得る。ハイブリッド画像投影は、マルチ投影システムが、マルチ投影システムおよび単一投影システムの両方の欠点を回避しながら、その両方から利点を組み合わせることを可能にし得る。たとえば、ハイブリッド画像投影システムは重ね合わせ画像を生成することができ、ここで、画像鮮明度は単一のプロジェクタによって投影される画像のものと同様であるが、画像輝度を向上し、画像スクリーン・ドア・アーチファクトを低減することができる。
これらの例示的な実施例は、読者に本明細書において説明する全般的な主題を紹介するために与えられており、いずれの特許請求項の範囲を限定することも意図されていない。以下の節は、図面を参照して様々なさらなる態様および例を説明する。
図1は、一態様によるハイブリッド画像投影システムの方法のブロック図を示す。ハイブリッド画像投影システムは、2つ以上のプロジェクタを含む投影システムであってもよい。各プロジェクタは同じタイプとすることができ、または、各々を異なるタイプとすることができる。n個のプロジェクタを有するマルチプロジェクタ表示システムについて、n個のプロジェクタは1つの画像を表示して、画面上の最終画像に寄与することができる。n個の画像が画像輝度を上昇させるために重ね合わされ得る。従来のデュアルデジタル投影システムに於いて、各プロジェクタは同じタイプであり、同じ画像を表示し、それらの画像を正確に位置合わせするための較正プロセスを必要とする。較正プロセスは、最適な画像表示性能を維持するために定期的に反復される。投影システムが最適に較正された後、ワーピング動作において実行されるデジタル再サンプリングによって画面上に表示される最終画像において画像詳細の損失が導入される可能性がある。より多くのプロジェクタが使用される場合、画像詳細の損失は増大するおそれがある。いくつかの要因によって、重ね合わせ画像間の空間的アライメントが経時的に変化し得る。そのような要因は、熱変動および機械的振動を含み得る。いくつかの態様によるハイブリッド画像投影方法は、プロセッサによって、各プロジェクタが重ね合わせ画像のために表示し得る異なるセットの(複数の)画像成分を計算することによって、画像品質に対する変化の影響を低減するのを助けることができる。
重ね合わされている2つの画像が高度に類似しており、空間領域または周波数領域において相関した画像情報を有する場合、それらの非直交性に起因して表示は高度に非ゼロであり、重なり得、結果としてある画像空間から別の画像空間に対して情報成分に大きな重なりがあり得る。空間的アライメントからのわずかなシフトによって、表示される最終重ね合わせ画像内に大きな空間歪みおよびスプリアス周波数成分が生じる場合がある。空間歪みにつながるこの情報の重なりは、フーリエ変換の定理から説明することができる。
線形システムにおいて、2つの画像が空間領域において重ね合わされる場合、画像は周波数領域においても重ね合わされる。フーリエ変換定理は、空間領域におけるシフトが、位相シフト倍数項を周波数領域における信号のフーリエ変換に変換することができることを示し得る。これによって、2つの信号がそれらのフーリエ変換変換において大きく重なり合う場合に最終重ね合わせ画像(すなわち、画像)をさらに歪ませる可能性がある。システムが、このシフトの影響を受けないか、または実質的に影響を受けないようにするために、2つの信号の周波数の重なりを最小限に抑えることができる。たとえば、2つの信号(すなわち、画像成分)が互いに直交する場合、空間レジストレーション精度の最終重ね合わせ信号への影響は最小限であることができる。2つの信号が擬似直交する場合、空間的な相対シフトに対する影響されやすさを低減することができる。
2つの信号が正規化されており、2つの画像信号の空間2D畳み込み(数学的には内積またはスカラー積とも称される)が一定または0に近い場合、これらの2つの画像信号は相互に直交または擬似直交すると言うことができる。直交関係は、2つのフーリエ変換の乗算が、周波数ゼロを除くあらゆるところでゼロであるデルタ関数に近い場合にも表すことができる。2つの直交または擬似直交画像は、通常、空間領域においてより低い類似度、周波数領域においてより互いに素である度合いが低いことを示し得る。
2つの画像がfおよびgであり、各画像のフーリエ変換がそれぞれFおよびGであると仮定する。直交性測度は
Figure 2014529756
またはF・G=cδ(ω)であり得る。画像データはコンピュータによって生成するか、またはカメラ内にあるような画像センサを用いてキャプチャすることができる。コンピュータによって生成される画像データは、いくつかの態様によるハイブリッド画像投影方法が適用されるときに、理想的な直交画像成分が表示されるように計算されることができるように生成されることができる。状況によっては、画像データは、理想的な直交画像成分を生成することが可能であるようなものではなく、
Figure 2014529756
または
Figure 2014529756
を有することによって擬似直交画像成分を生成することが可能である場合がある。一対の擬似直交画像を重ね合わせることについて、画像品質の、空間シフトに対する影響されやすさを大きく低減することができる。直交性の測度を、2つの信号のうちの1つが0〜1の範囲内に適切に正規化されていない例外的事例に適用することができる。この事例において、上記の直交性測度を依然としてシフトに対する影響されにくさを評価するために使用することができる。
たとえば、1つの画像Fは低周波数情報のみを含み(すなわち、閾値周波数ωを上回る情報を一切有しない)、ωを下回る情報を一切有しないように高周波数情報のみを含む別の理想的な画像Gがある。2つの画像のスカラー積F・G=0であるため、FおよびGは直交画像である。2つの重ね合わせ直交画像間の空間的な相対シフトが有する最終表示画像品質への影響は最小限であることができる。F・Gが小さい(それゆえ、擬似直交する)限り、低周波数画像および高周波数画像は重ね合わせにおける小さいレジストレーション誤差の影響を受けにくいものであり得る。しかしながら、一方がωを上回る高周波成分のみを有し、他方がωを下回る低周波成分のみを有する2つの画像成分を得ることは困難であり得る。
別の例において、閾値周波数ωを下回る画像情報は低周波数情報と称され、ωを上回る画像情報は高周波数情報と称される。Fは上側閾値周波数と下側閾値周波数との間の中間の周波数成分(ωT1〜ωT2)のみを含む帯域通過画像であり、ωはωT1とωT2との間にあり、別の画像Gは、下側周波数閾値ωT1を下回る周波数および上側周波数閾値ωT2を上回る高周波数を含む、画像Fによってカバーされている周波数の外側の周波数を含む。この事例において、FおよびGの両方が低周波数情報の一定の部分および高周波数情報の一定の部分を含む。閾値周波数ωT1およびωT2を調整することによって、FおよびGは低周波エネルギーおよび高周波エネルギーの任意の組み合わせを有することができる。FまたはGのいずれも、大幅に低い周波数情報または大幅に高い周波数情報を有することはできない。この例示的な画像信号対によって、F・Gも小さいため、2つの重ね合わせ画像成分間のアライメント誤差に対する影響の受けやすさは擬似直交性に起因して低くなることができる。
別の例において、画像Fは正規画像であり、画像Gは正規化されてはいないが、大きさが非常に小さい。F・Gが小さいため、2つの重ね合わせ画像成分間のアライメント誤差に対する影響の受けやすさを低減することができる。
別の例において、2つの画像FおよびGは両方とも、低周波数情報のみを含む(すなわち、画像は同じまたは異なる閾値周波数を上回る情報を一切有しない)。閾値周波数がどの程度低いかに応じて、F・Gは、デルタ関数と同様にゼロに非常に近い周波数を除いて小さいものであり得る。この擬似直交性のために、2つの重ね合わせ画像成分間のアライメント誤差に対する影響の受けやすさを低くすることができる。
別の例において、2つの画像FおよびGは両方とも、一定量の低い周波数情報のみを含む(すなわち、画像は、同じか、または異なる閾値周波数を下回る情報を有する)。一方の画像は高周波数情報をも有する。この事例において、F・Gは、デルタ関数などのゼロに非常に近い周波数を除いて小さいものであり得る。この擬似直交性のために、これら2つの重ね合わせ画像成分間のアライメント誤差に対する影響の受けやすさを低くすることができる。
別の例において、2つの画像FおよびGは両方とも高周波数情報のみを含む(すなわち、画像は同じまたは異なる閾値周波数を下回る情報を一切有しない)。閾値周波数がどの程度低いかに応じて、F・Gは、低周波数近くでは小さいものであり得、より高い周波数においては大きいものであり得る。画像は互いに対する直交性が低くなり得、また、2つの重ね合わせ画像成分間のアライメント誤差に対する影響の受けやすさが高くなり得る。
別の例において、一方の画像Fは低〜高に及ぶ正規周波数情報を含み、もう一方の画像Gは正規化白色雑音画像である(すなわち、Gは一定である)。F・GはFに比例することができ、デルタ関数に近くはなり得ない。画像は互いに対する直交性が低くなり、それによって、2つの重ね合わせ画像成分間のアライメント誤差に対する影響の受けやすさも高くなり得る。
いくつかの態様によるハイブリッド画像プロジェクタにおいて、プロセッサは入力画像を分解して、n−プロジェクタ投影システムのためのn個の擬似直交画像信号にすることができる。n個の信号は、互いに対してほぼ直交することができ、それによって、重ね合わせ擬似直交画像間の空間アライメントのわずかなシフトでは、知覚画像品質には大きな劣化が引き起こされ得ない。その結果生じる、重ね合わせ画像から成る画像は、デュアル投影システムによって重ね合わされた2つの原画像以上の画像品質のものになることができ、その結果生じる画像は単一のプロジェクタから表示される原画像よりも明るくなることができる。ハイブリッドプロジェクタにおいて使用される画像分解アルゴリズムは、数学的に正確で、結果として画像成分値を非負にして、各ディスプレイまたはプロジェクタの輝度範囲能力内にする制限を提供することができる。
図1において、2D表示のための原入力画像データ(105)が画像再生サーバから、いくつかの態様によるハイブリッド画像投影方法を実施することができるマルチプロジェクタ表示システムに送信される。入力画像はガンマ補正され得、ガンマ補正空間とみなすことができる。ガンマ補正画像は、後続のステップおよびアルゴリズムのためにガンマ復号して線形色空間とする(107)ことができる。画像データが線形空間に変換された後、画像分析アルゴリズムが使用されて、画像ローカル内容(110)に基づいて画像がどのように分割されて複数の画像領域になることができるかを決定することができる。画像領域は同じサイズであるか、または異なるサイズであることができる。たとえば、一態様において、3×3画像ピクセルの正方形領域が使用されて、画像を分割して(複数の)ブロックから成る規則的な格子にすることができ、結果として各画像領域は同じサイズを有することになる。別の態様において、領域分解アルゴリズムが使用されて、画像を分割して、四分木構造などの(複数の)ブロックから成る不規則な格子にすることができ、より小さい領域は陰影の多い画像領域内に現れ得、疎なより大きい領域は相対的に平滑な画像領域内に現れ得る。画像領域ベースの処理は、画像分解フィルタのパラメータをローカル画像内容に適合するように調整するのに役立つことができる。たとえば、空間ローパスフィルタが画像分解アルゴリズムにおいて使用される場合、このローパスフィルタのカットオフ周波数は、ローカル画像内容周波数分布に比例することができ、結果として、最適にバランスが保たれたローカル周波数分離がもたらされ、これは、アーチファクトに関する異常ピクセルを低減するのに有用であり得る。異常ピクセルは、他の画像ピクセルと比較して大幅に異なる値を有するピクセルであり得る。より小さい領域は、ローカルな高周波特徴部がより良好に追随されることを可能にすることができ、一方で、より大きな領域は、疎な特徴部および相対的に平滑な領域に適切であり得る。画像内容に基づいて画像を分割して(複数)の領域にすることによって、画像分解アルゴリズムに関するローカル画像内容に最適に適合することが可能になり(115)、信号が分解されて相関が最小限でバランスのとれた画像成分、すなわちいわゆる擬似直交成分にされ得る。領域ベースの画像擬似直交成分分解は、可能性のあるフォールバックピクセルの数を低減し、全体的な画像品質を向上させるのに役立つことができる。フォールバックピクセルは、高周波数画像情報を含み、画像成分のうちの1つと想定されるが、正規化最大閾値(表示デバイスの制約)を超える値を有するピクセルであり得る。フォールバックピクセルに関して、最大閾値を超える値の量は、最大閾値に対して飽和していない他の画像成分にフォールバックすることができる。フォールバックピクセルは、不整合下では投影された画像成分におけるアーチファクト源になる可能性があり、プロジェクタの輝度、色およびピクセルサイズが均一でない場合には色アーチファクト源になり得る。フォールバックピクセルであると識別されたピクセルは、修正して、表示される重ね合わせ画像内にピクセルアーチファクトが現れるのを防止することができる。
ブロック(115)は画像分解に有用であり得る。画像分解は、各プロジェクタによって表示することができる複数の擬似直交画像成分への適応的画像分解を含むことができる。前述のように、擬似直交画像成分のセットを構築するためのいくつかの方法および様式があり得る。一態様において、修正経験的モード画像分解(MEMD)方法を使用することができる。しかしながら、擬似直交性分解を達成するための多数の他の方法を適用することもできる。
nプロジェクタシステムにおいて、MEMD画像分解の後、第1の画像成分Lは、低周波数帯域および高周波数フォールバックピクセルの組み合わせを有する入力画像情報を含むことができる。異なる(複数の)周波数帯域における異なる(複数の)レベルの詳細情報を含む他の画像成分を、L、L、〜Hn−1として識別することができる。一態様による他の画像成分および画像成分の階層の識別を、下記において図2を参照してより詳細に説明する。各画像成分は、画像領域内の入力画像に適用されるローカル適応的フィルタリングプロセスの結果生じる異なる空間周波数成分を含むことができる。画像分解アルゴリズムの1つの方法を、下記において図3を参照して詳細に説明する。
入力画像が分解されて複数の別個の分解画像成分になった後、各々が、画面上に表示するために、別個の追加の画像処理経路を介して、別個のプロジェクタ(130、135、137)に提供されることができる。追加の画像処理経路(120、125、127および140、145、147ならびに130、135、137)は、別個の分解画像成分を同様にして処理することができる。分解画像成分の各々は、最初に、ハイブリッド画像プロジェクタシステム全体の輝度ダイナミックレンジ表現能力または色分解能を向上させるために、各画像領域内でブロック(120、125、127)において高ダイナミックレンジ(HDR)丸め関数Rによって処理されることができる。HDR丸め関数後の分解画像成分を、プロジェクタ間レジストレーションのためにピクセルベースのワーピングプロセスによって、また、表示のためにガンマ補正を用いて修正することができる。各メンバプロジェクタは、ブロック130、135および137において処理および補正された各画像成分を受信および表示することができる。ブロック180は、画像成分が画面上に投影され、光学的に重ね合わされるときに、その結果得られる改善された画像を表す。
一態様において、ブロック107、110、115、120、125および127は画像処理デバイスまたはイメージ・エンハンサ・ハードウェアにおいて実装することができる。ブロック130、135、137は、その結果生じる画像(180)を生成するために画面上に画像を表示するための、各プロジェクタ内部の画像処理を表す。
図2は、一態様による、図1のブロック115の画像分解プロセスのマルチレベル構造および階層を示す。画像分解コアアルゴリズムは、MEMD分解アルゴリズムであり得る。MEMD分解アルゴリズムは、画像を複数のレベルに分解することができる。各レベルの分解は、入力画像(固有モード関数(IMF)とも称される)を分解して、一方は現在のレベルの最小モード画像、および、他方は次のレベルのIMF画像である、2つの画像成分にすることができる。投影システムの用途のために、受信入力画像データ(205)は線形空間内にあることができる。デュアル・プロジェクタ・システムのためには、1レベルのMEMD分解が必要とされる(210)。kが分解レベルを表すと仮定し、ここではk=0である。第1の画像成分はL(214)であり、第2の画像成分はH(215)である。3つ以上のプロジェクタを有するプロジェクタシステムのために、MEMDは次のレベルk=1の分解(220)へと継続して、次のレベルの第1の画像成分L(224)および第2のレベルの第2の画像成分H(225)を生成することができる。このレベルのMEMDにおいて、前のレベルの第2の画像成分Hが現在のレベルのIMFになる。レベルk=1において、画像成分L(214)、L(224)および画像成分H(225)の3つの分解画像成分が出力される。2レベルのMEMDは、3プロジェクタハイブリッド画像投影システムに使用することができる。4つ以上のプロジェクタが使用される場合、新たな画像成分(230)を生成するために3レベル以上のMEMDが使用され得る。レベルk=2において、各プロジェクタについて画像成分が生成されるまで、画像成分Hが、次のレベル(レベルk=3)の分解の新たなIMFになることができる。n−プロジェクタハイブリッド投影システムについて、(n−1)レベルのMEMD画像分解を使用して、L(214)、L(224)、L2、...Ln−1(234)およびHn−1(235)のn個の分解画像を生成することができる。複数レベルのMEMDによって、二分木状の分解階層を形成することができ、各中間レベルが、出力されるノード画像であり得る最後のレベルのIMF詳細画像Hを除く、出力ノード画像Lを生成する。
図3は、n−プロジェクタシステムに関して修正経験的モード画像分解(MEMD)を使用したハイブリッド画像投影の画像処理ステップを示す。再生サーバからの入力画像データがガンマ補正空間内にあり、最初にMEMDは第1のレベルk=0にある(305)と仮定すると、画像は最初にガンマ復号されて線形空間画像Xに変換されることができる(307)。
画像データが線形空間に変換された後、各領域内の画像が分解されて、現在のレベルkにおける2つの画像成分になることができる。線形空間画像がXであり、2つの画像成分がそれぞれLおよびHであり、最終重ね合わせ画像が2Xであると仮定して、所望される画像分解方法は以下を満たすことができる。
1)直交性または擬似直交性:成分のフーリエ変換がF(L)・F(H)=δ(ω)を満たす、
2)原画像に対する画像忠実度および完全性:任意の画像ピクセル位置pについて、L(p)+H(p)=2X(p)
3)非負制約:L(p),H(p)≧0、
4)輝度実用限界:L(p)、H(p)≦1、
5)ローカル適合性:復号は光学的にローカル画像特性に適合する、かつ
6)輝度バランス制御:mean(L)=α・mean(H)、ここで、「mean()」は画像成分の平均輝度を表し、αは既定の、0よりも大きい所望される比である。
一態様において、ハイブリッド投影システムは、画像を分解して2つの画像成分(LおよびH)にするための空間領域MEMD分解方法を使用することができる。いくつかの実施態様において、以下のステップを使用することができる。
1)所与の入力2D画像Xについて、これを空間領域に分割するための最適な方法を決定する。
2)各既定の空間領域内で、入力画像Xの極小値およびその位置を求める。
3)バランス係数bを求めて、各極小値にbを乗算することによって、各極小値を修正する。
4)修正極小値を補間して、重ね合わせ画像2Xの値が第1の画像成分Lの値よりも小さくならない(すなわち、L=min(L,2X))ような、第1の画像成分Lとしての低周波数表面にする。
5)重ね合わせ画像2Xの値から画像成分Lの値を減算して、第2の画像成分Hを得る(すなわち、H=2X−L)。F(L)F(H)<F(X)であるため、当該成分は画像成分Lに擬似直交し得、ここで「F()」はフーリエ変換演算を表す。
6)画像成分HがTよりも大きく(TはXの可能な最大値)、画像成分H内の過剰値が画像成分Lの値にフォールバックするとき(すなわち、L=L+max(H−T,0)であるとき)の成分値を検出する。画像成分HがTよりも大きい状況はまれであり得る。
以下の説明は、MEMD分解を用いる上記のハイブリッド投影に基づく。既定の関数を使用する画像分析アルゴリズムが使用されて、画像ローカル内容に基づいて画像がどのように最適に分割されて複数の画像領域になることができるかを決定することができる(310)。画像領域は同じサイズであるか、または異なるサイズであることができる。たとえば、一態様において、正方形3×3ピクセル領域が使用されて、画像を分割して(複数の)ブロックから成る規則的な格子にすることができ、その結果得られる各ブロック画像領域は正確に同じサイズを有することになる。別の態様において、四分木構造状領域分解アルゴリズムが使用されて、画像を分割して、(複数の)ブロックから成る不規則な格子にすることができ、いくつかのより小さい領域は陰影の多い画像領域内に現れ得、より大きい領域は相対的に平滑な画像領域内に現れ得る。
画像領域が求められた後、領域ごとに少なくとも1つのパラメータ、たとえば、2D極小値およびそれらの極小値の位置を、各領域またはブロック領域内で識別することができる(315)。画像が色画像である場合、極小値は、色画像内に含まれている色成分(たとえば、RGB、XYZ)ごとに求めることができる。極小値およびそれらの位置は、それらの画像ブロック領域内の最小値に等しい値として定義することができる。これらの値は、2D極小値と称される場合があり、それらの位置は極小値位置と称される場合がある。結果として、ブロック領域ごとの既知の極小値、およびブロック領域内の値位置を有する2D不規則メッシュ格子Mがもたらされ得、ブロック領域内の他の位置は未定義の値を有する。このメッシュ格子は、入力2D画像Xの連続平滑下側境界面を生成するのに使用することができ、分解レベルkの第1の画像成分Lの初期推定値とすることができる。
ブロック320において、輝度バランス係数bを求めることができる。輝度バランス係数bは、各MEMDレベルkにおける2つの分解画像成分LおよびHの平均画像輝度のバランスを自動的に制御するのに使用することができる。各レベルのMEMDは、それ自体の独立した輝度バランス係数を有することができる。デュアル・プロジェクタ・システムの一態様において、2つの分解画像成分間の平均画像輝度は、互いに同じであるか、または非常に近いことができる。左側プロジェクタおよび右側プロジェクタの画像輝度のバランスをとることによって、左側プロジェクタと右側プロジェクタとの間の熱ドリフトを最小限に抑えることができ、これによって、画像レジストレーションまたはアライメントの誤差を最小限に抑えて、ワーピングがシステムが最後に較正されたときと同様に有効に機能することを可能にすることができる。実現し得る別の利点は、左側プロジェクタと右側プロジェクタとの間でバランスをとることによって、デュアルプロジェクタ設定におけるレジストレーション劣化を最小限に抑えることができることである。左側プロジェクタと右側プロジェクタとの間で熱ドリフトのバランスがとれていないと、結果として予測できない不整合劣化となり得る。分解レベルkの輝度バランス係数は、以下のように画像色iごとに計算することができる。
Figure 2014529756
k,iは前のブロック(315)において計算されたレベルkにおける画像チャネルiの2D極小値の不規則メッシュ格子である。Xk,iはレベルkにおける入力iチャネル画像値である。たとえば、bki=1は、LおよびH画像成分値の平均輝度が同じであることを意味する。τは、最終輝度バランス係数bkiの既定の閾値または限界である。mean(X)が非常に小さい数であるとき、輝度バランス係数は大きくなり得、τの値に制限され得る。これは、可能性のある望ましくない輝度アーチファクトを最小限に抑えるのに有用であり得る。
輝度バランス係数bが求められた後、2D極小値メッシュ格子Mにbを乗算して、修正2D極小値メッシュ格子M’を得ることができる(すなわち、M’=b・M)(315)。ブロック315の出力データは、入力2D画像Xの連続平滑下側境界面を生成するのに使用することができ、これは、分解レベルkの第1の画像成分Lとすることができる。
ブロック325において、線形または非線形方法を使用することによって、M’からLへの補間を実行することができる。線形補間器および非線形補間器の例は後述するが、補間は、その例示的なアルゴリズムには限定されず、いかなる線形および非線形散乱データ補間アルゴリズムを使用することもできる。
一態様において、高速線形補間器を使用して、修正2D極小値メッシュ格子M’を平滑面Lに平滑に補間することができる。この補間器は、線形三角補間器である。M’内のすべての非極小の値が未定義のピクセルについて、最も近い3つの既知の隣接ピクセルP、PおよびPが求められる。3つの隣接ピクセルP、PおよびPは三角形を形成することができる。未知のピクセルvおよびその隣接ピクセルは、以下のようになる値および座標v(x,y)、v(x,y)、v(x,y)およびv(x,y)を有する。
Figure 2014529756
上記の線形システムを解いて値vを求めることができ、a、b、cは変数である。
別の態様において、Clough−Tocher法(すなわち、Isaac Amidror著「Scattered data interpolation methods for electronic imaging systems:a survey」(Journal of Electronic Imaging,April 2002)において説明されているようなキュービック三角補間器)を使用することができる。補間しているピクセルのまわりの同じ三角隣接ピクセルを求めることができ、元の三角形P、PおよびPをさらに区分化して小型ベジエパッチにすることができる。v、v、vはそれぞれ、P、PおよびPの3つの頂点の3つの値であることができる。b3,0,0、b0,3,0、b0,0,3はP、PおよびPの重心座標であることができる。b1,1,1は補間ピクセルの重心座標であることができる。bl,2,0、b2,l,0は、三角形辺P上に位置する2つの制御点の重心座標であることができる。b0,2,l、b0,l,2は、三角形辺P上に位置する2つの制御点の重心座標であることができる。bl,0,2、b2,0,1は、三角形辺P上に位置する2つの制御点の重心座標であることができる。制御点の位置は、P、PおよびPにおける境界横断導関数制約によって求めることができる。位置b1,1,1における補間値vは以下の式を使用して計算することができる。
Figure 2014529756
別の態様において、非線形補間を使用することもできる。非線形補間の一例は、不規則双一次補間器である。M’内のすべての非極小の値が未定義のピクセルについて、最も近い4つの既知の隣接ピクセルP、P、PおよびPを求めることができる。4つの隣接ピクセルP、P、PおよびPは境界四辺形を形成することができる。未知のピクセルvおよびその隣接ピクセルP、P、PおよびPは、値および座標v(x,y)、V(x,y)、v(x,y)、v(x,y)およびv(x,y)を有することができる。「A」は、垂直座標がyに等しいときの辺P上の点であることができる。「B」は、水平座標がxに等しいときの辺P上の点であることができる。「t」は、PからAまでの距離であることができ、「s」は、PからBまでの距離であることができる。Pの値は以下の式によって求めることができる。
Figure 2014529756
さらに、sおよびtの値は、ピクセル対の任意の辺上での線形補間によって計算することができる。1対または複数対の四辺形の辺が平行である状況においては、(4)とは異なるより単純な式を使用することができる。
別の態様において、リアルタイムの速度のための単純性および良好な画像品質を達成するために非線形高速補間方法を使用することができる。方法は、マルチカーネルガウシアンによる再帰的逆単射補間(RIMG)であることができる。
’、レベルkにおける修正2D極小値メッシュ格子が前のブロック(315)から計算されると、ブロック325において補間平面Lの初期推定値が最近傍補間器によって高速に計算されることができる。たとえば、M’内の未定義のピクセル値内に最近傍値(すなわち、それらが属する画像領域の最小値)を充填することができる。推定平面M は、以下の再帰アルゴリズム(RIMG)の開始点(j=0)とすることができる。その結果得られる画像は、第1のより大きいカーネルサイズおよび第1のより大きいシグマ値を有する第1の標準2Dガウス形フィルタによってフィルタリングすることができる。フィルタリング画像はぼやけた画像である場合がある。このぼやけた画像内のピクセル値は、入力画像X未満でない場合がある。その結果得られる画像Mは、以下の式を使用して元の最小値を逆単射することによって更新することができ、ここでJは、再帰的指数である。
Figure 2014529756
G(*)はガウス型フィルタリングであり、wは補間の総数である。最後の補間の後、L=min(Mw−1 ,(n−k)X)が第1の画像成分である。
ブロック325において、分解レベルkにおいて平滑に補間した下側境界面を第1の画像成分Lとして得た後、ブロック330において、所望の重ね合わせ画像(n−k)Xと画像成分Lとの間の差を、Hk=(n−k)X−Lとして計算することによって、第2の画像成分Hを推定することができる。Lは極小値であるため、Hは正であることができ、これは非負制約を満たすことができる。ブロック(335)において、第2の画像成分Hを分析して、その輝度限界制約をチェックすることができる(すなわち、画像成分Hは、1つのプロジェクタが生成することができる輝度よりも大きくない場合がある)。Tが単一のプロジェクタの可能な最大値であり、Δ=max(H−(n−k−1)T,0)であると仮定して、Δはフォールバックマップであることができ、これはゼロであり得る。ブロック(345)において、フォールバックマップをチェックしてそれがゼロであるかどうかを判定することができる。これが少なくとも1つの非ゼロ値を有する場合、現在の画像分解におけるピクセルフォールバックを使用して、精度および完全性特性(すなわち、画像忠実度および完全性)を保証することができる。ブロック(340)において、フォールバックマップΔを入力画像とともに使用して、前に計算した第1の画像成分Lおよび第2の画像成分を修正することができる。第1の画像成分Lは、L=L+Δになることができる。その結果は、新たに更新された第1の画像成分Lを用いて第2の画像成分Hを計算するにあたってもう一度反復するためにブロック(330)に戻ることができる。ブロック(335)における計算およびブロック(345)におけるフォールバックマップのチェックは繰り返すことができる。ループは、ブロック(345)におけるフォールバックマップがゼロになるまで継続することができる。その後、ブロック(350)において、画像成分がすでに分解されているかどうかがチェックされる。そうでない場合、プロセスはブロック(310)に戻って、k=k+1を用いて次のレベルの分解アルゴリズムを継続することができ、現在のレベルの第2の画像成分Hは、ブロック(390)においてさらに分解すされる入力データになることができる。
ブロック(350)において画像分解の最後の反復が完了した後、画像成分は、それぞれHDR処理、空間レジストレーションのための画像ワーピング、および表示のためのガンマ補正のためにブロック(355、365、375)に提供することができる。処理済み画像成分データL、L、Hは、それぞれ各プロジェクタが画面上に表示するためにブロック(360、370および380)に提供することができる。
ブロック(355、365および375)におけるHDR処理によって、nプロジェクタハイブリッド投影システムにおけるデジタル・ダイナミック・レンジの増大を実現することができる。HDR丸め関数を各画像成分に適用することによって、HDR丸め関数への入力画像がピクセル値の十分な精度を有し、各プロジェクタが12ビット符号なし整数データを使用すると仮定すると、最終結合画像はもう1ビット改善された精度を獲得することができる。いくつかの態様において、プロジェクタは、同じ輝度を生成するものと仮定され得る。他の態様において、各プロジェクタが異なる輝度を生成すると、異なるHDR丸め関数が同様に導出され得る。HDR丸め関数は、各画像成分高精度ピクセルデータを適切に処理して、12ビットプロジェクタ整数に丸め込むための丸め関数のセットであってもよく、それによって、最終重ね合わせ画像は約12+lognビットのピクセル値解像度を有することができる。たとえば、デュアル・プロジェクタ・システムは、13ビットのデジタル・ダイナミック・レンジを実現することができる。3プロジェクタシステムは、13.585ビットのデジタル・ダイナミック・レンジを実現することができる。
デュアル・プロジェクタ・システムにおいて、第1のプロジェクタの高精度ピクセル値はXLであることができ、第2のプロジェクタの高精度ピクセル値はXRであることができる。HDR丸め関数セットは、2つの画像成分の値を切り捨てて、第1の画像成分Lおよび第2の画像成分Hの2つの12ビット符号なし整数にするように設計することができ、それによって、最終のL+Hは13ビットの精度であることができる。この精度を達成するために、13ビットのHDR丸め関数は以下のようにすることができる。
1)プロジェクタlについて、L=floor(XL+XR−floor(XR)+0.25)
2)プロジェクタ2について、R=floor(XL+XR−floor(XL)+0.75)
n−プロジェクタシステムについて同様に、高精度ピクセル値はXであることができ、i=0、l、2、...、n−lであり、各プロジェクタ内の12ビット画像データは、P、P、...Pn−1であることができる。(12+logn)ビットのHDR丸め関数は、
Figure 2014529756
であることができる。
一態様による、領域ベースの適応的画像分解のための画像領域細分化方法および構成を図4に示す。画像を分割してより小さい領域、たとえば、領域11、12、13、14、21、22、23、...および44から成る規則的な格子にするために固定領域ウィンドウサイズが使用される。別の態様において、木状構造領域分解アルゴリズムが使用されて、画像を分割して、不規則な格子を形成する様々なサイズの領域にすることができ、いくつかのより小さい領域(たとえば、領域1、2、4、5)は陰影の多い画像領域内に現れ得、より大きい領域(たとえば、領域0、3、6)は相対的に平滑な画像領域内に現れ得る。
画像領域ベースの適応的処理は、画像分解フィルタのパラメータをローカル画像内容に適合するように調整するのに役立つことができる。たとえば、空間ローパスフィルタが画像分解アルゴリズムの一例において使用される場合、このローパスフィルタの同等のカットオフ周波数は、ローカル画像内容周波数分布に比例することができ、結果として、アーチファクトに関する異常ピクセルを低減するのに有用であり得る、最適にバランスが保たれたローカル周波数分離がもたらされる。より小さい領域は、ローカルな高周波特徴部に追随することを可能にすることができ、一方で、より大きな領域は、疎な特徴部および平滑な領域に適切であり得る。画像内容に基づいて画像を分割して同じまたは異なるサイズの複数の領域にすることによって、画像分解アルゴリズムに関するローカル画像内容に最適に適合することが可能になり、入力画像が分解されて相関が最小限の画像成分(すなわち、擬似直交成分)にされ得る。フォールバックピクセルは、プロジェクタ不整合下ではアーチファクト源になる可能性があり、プロジェクタの輝度、色およびピクセルサイズが均一でない場合には色アーチファクト源になり得るため、領域ベースの画像擬似直交成分分解は、可能性のあるフォールバックピクセルの数を低減し、全体的な画像品質を向上させるのに役立つことができる。
図5は、画像分解方法MEMDの一次元(1D)断面の例を示す。線502は、約120および220においてフォールバックを有する第1の画像成分を表すことができる。線504は、第1の画像成分に擬似直交する第2の画像成分であり得る。第1の画像成分の線502および第2の画像成分の線504を加算して、サンプリング点を有する線506によって表されている原信号を再構築することができる。画像ピクセル値は同じスケール内にあり、0〜1の正規化範囲内にあり得る。
MEMDからの画像分解の一例が図6に描かれている。左側は分解された第1の画像成分であり、右側が分解された第2の画像成分であり、より高い周波数情報を含んでいる。
図7は、MEMDの1レベルの画像分解の1Dの例を示す。垂直軸はピクセル値を表し、水平軸はピクセル位置を表す。入力画像信号が曲線710である。反復0において、固有モード関数1(710)の極小値720は平面730に位置し、平滑に補間されている。図7の下側部分に示す残留曲線(750)は、入力信号710から平面730を減算した結果である。
図8は、例示的な比較結果を示す。図8の左側には、同じ重ね合わせ画像を表示するデュアル投影システムによって表示され得る画像があり、図8の右側には、MEMD方法が適用されるハイブリッド画像投影システムなどの、いくつかの態様によるデュアル・プロジェクタ・システムによって表示され得る画像がある。デュアルプロジェクタによる2つの表示画像には、重ね合わせ画像間に3ピクセルの不整合がある。右側画像は、左側画像よりも鮮明な画像を有する。
図9a〜図9eは、いくつかの態様による、MEMD方法においてフォールバック動作が使用され得るときの様々な状態を示す。フォールバックは、再構築画像精度および忠実度を補助することができる。図9aおよび図9bは、同じプロジェクタのうちの2つからの2つの重ね合わせ入力画像ピクセルの値を表す曲線910、940を示す。曲線920、950は、それぞれ画像曲線910および940の第1の画像成分Lを表す。曲線の垂直レベルは、水平方向に表されている各空間ピクセル位置のコード値における画像ピクセルの線形空間強度を表す。入力ピクセル値は、図9aおよび図9b内の曲線については0〜1の範囲内にあり得る。図9a〜図9eに示すコントラスト「c」は、2つのピクセル値強度の差を表すことができる。図9aにおいて、たとえば、第1の画像成分値と重ね合わせ入力画像ピクセル値との間のコントラストは0.5以下であるため、フォールバックは使用されていない。図9bにおいて、入力画像の部分960は0.5よりも大きい高いコントラストを有し、フォールバックが使用されている。
図9c、図9dおよび図9eは3つのフォールバック事例を表し、曲線の垂直レベルは、水平方向に表されている各空間ピクセル位置のコード値における重ね合わせ画像X2の画像ピクセルの強度を表す。図9cは、重ね合わせ入力画像が、2に等しい強度値を有する完全なフォールバックの状況を示している。この事例について、第1の分解画像成分Lの値および第2の分解画像成分Hの値は1である。図9dにおいて、部分的なフォールバックの事例が示されている。この事例について、重ね合わせ入力画像980は、1〜2の強度値を有する。第1の分解画像成分値は、0と入力画像の値との間であり得る。第2の分解画像成分は1であり得る。この状況におけるコントラストは、0.5〜1であり得る。図9eは、重ね合わせ入力画像990が、1未満の強度値を有するフォールバックのない状況を示している。第1の分解画像成分値は0〜1であり得、第2の分解画像成分値は0〜1であり得る。この状況におけるコントラストは、0.5未満であり得る。フォールバックはコントラストが1に等しい場合に完全なフォールバックであり得る。この事例において、フォールバックピクセルが第1の分解画像成分に付加された後、ハイブリッド画像プロジェクタの空間シフトに対する耐性は、デュアル投影システムにおける同じ画像の重ね合わせと同じ画像品質に後戻りする。ハイブリッド画像プロジェクタは、さらにアーチファクトを導入しないものであり得る。他の事例は、フォールバックが図面に示すように発生するときの部分的なフォールバックである。部分的なフォールバックは、ハイブリッド画像プロジェクタにおける空間シフトに対する耐性の利点の低減をもたらし得るが、全体的なハイブリッド画像の表示は、同じ2つの画像を表示するデュアル投影システムと比較して最終再構築画像品質を向上させることができる。
色画像も処理することができる。図10は、三成分色画像を処理するためにMEMD方法を使用する一例を示す。いくつかの態様において、このプロセスは、ハイブリッド画像プロジェクタがより大きいピクセルシフトを受けるときに色アーチファクトが発生する危険性を低減するために色画像を分解するように使用することができる。ほとんどの色アーチファクトは、ハイブリッド画像プロジェクタがより大きいピクセルシフトを受けるときに各色チャンセルがMEMD方法によって独立して処理される場合にランダム色アーチファクトとして現れるフォールバックピクセルによってもたらされ得る。図10における線図は、色画像内のフォールバックピクセルが原画像と一致する色を有することを保証するために使用することができる一方法である。ブロック1005において色画像Xが受信され、Xr、Xg、Xbが3つの色成分である。ブロック1010、1020および1030は、説明されたMEMD方法を使用して、各色成分画像を分解して第1の画像成分候補にする。ブロック1015、1025および1035において、第2の擬似直交画像成分が生成され、フォールバックマップが計算される。3つのフォールバックマップがブロック1040において収集され、その後、各フォールバックマップの各ピクセルが、原ピクセル値と、画像強度の個別の量子化ステップの半分未満であるように選択され得る小さい定数cとを加算した値で除算される。ブロック1060において、3つの色の間の最大ピクセル比を選択して、原ピクセル値と定数cとの和を乗算して、3つの色のフォールバックピクセル値の新たな推定値を得るのに使用することができる。新たに推定されたフォールバックピクセルはともに、新たなフォールバックマップを形成することができ、各ピクセルはほとんどその原色相値を保持しているが、彩度または輝度は変化している場合があるこの新たなフォールバックマップが非ゼロである限り、新たなフォールバックマップは前の各第1の画像成分に戻って付加されることができる。色相を保持したフォールバック値が付加されるため、第1の画像成分内の修正されたピクセルは元の外観を維持することができ、強度および彩度が変化している場合がある。このプロセスの後、大きい画像不整合下での全体的な色アーチファクトは低減され、見えにくくされ得る。
図11は、シアター1100内に配置されているハイブリッド投影の一例を示す。重ね合わせ画像が、座席の列1125を有する観客席1120内の画面1100上に表示されることができる。一態様によりハイブリッド投影が可能なデュアルプロジェクタを有する映写室1105が設けられている。2つのプロジェクタ1104および1106は、画像データを処理するためのプロセッサを有することができる画像エンハンサデバイス1180および1185を含む。他の態様において、画像エンハンサは一方のプロジェクタの中に存在し、表示されるべき画像データを他方のプロジェクタに出力することができる。画像データサーバ1175からの画像データが、プロセッサ1170によって受信されて画像分解が実行されることができ、LおよびHなどの直交または擬似直交画像成分を生成することができる。画像分解を実行するプロセッサは、領域分解および画像データの線形空間への逆ガンマ補正などの他のプロセスを実行することもできる。画像データサーバ1175は、再生デバイス、または、遠隔位置からストリーミングされる画像データを受信および記憶するデバイスであることができる。画像分解からの画像成分は、各プロジェクタ内のシステム機能モジュール1160および1165によって受信することができ、HDRまたはガンマ補正またはワーピングなどのさらなる画像データ処理を実行することができる。他の態様において、システム機能モジュールは一方のプロジェクタ内の一方の画像エンハンサ内に存在することができる。システム機能モジュールのプロセスは、1つまたは複数のシステム機能モジュールによって実行することができる。システム機能モジュールからの画像データは、その後、各プロジェクタによって投影レンズ1140および1150を通じて画面1110上に投影されて、重ね合わせ画像を形成することができる。いくつかの態様において、デュアルプロジェクタは、2D表示のためのハイブリッド投影システムであり、かつ/または、それぞれ左目画像符号化要素1135および右目画像符号化要素1145を用いて3D表示を投影することが可能である。3D表示を見る者は、投影および符号化された左目画像および右目画像を復号する眼鏡を装着し得る。2D表示中、左目画像符号化要素1135および右目画像符号化要素1145は取り外すことができる。3D表示において、入力画像データは、2D表示におけるハイブリッド投影に関しては画像成分に分解されなくてもよい。画像エンハンサデバイス1185および1180は、ユーザによって、あるいは、ハイブリッド処理または3D表示ありまたはなしで、画像データの処理が2D表示のためであるときを自動的に検出することが可能であるように構成することができる。
本明細書で説明した(1つまたは複数の)システムは、どんな特定のハードウェアアーキテクチャまたは構成にも限定されない。コンピュータデバイスは、1つまたは複数の入力上で調整された結果を提供する任意の適切な構成を含むことができる。適切なコンピュータデバイスは、本発明の主題の1つまたは複数の態様または特徴を実装する、汎用コンピュータ装置から専用コンピュータ装置までのコンピュータ・システムをプログラムまたは構成する記憶されたソフトウェアにアクセスする、多目的マイクロプロセッサベースのコンピュータ・システムを含む。任意の適切なプログラミング言語、スクリプト言語、または他のタイプの言語または言語の組み合わせを使用して、コンピュータデバイスのプログラミングまたは構成に使用されるべきソフトウェアにおいて、本明細書に含まれる教示を実装してもよい。
本明細書に開示する方法の態様は、そのようなコンピュータデバイスの動作において実行されてもよい。上記の例において提示されているブロックの順序は変更されてもよく、たとえば、ブロックは順序付けし直され、組み合わされ、および/または複数の部分ブロックに分解されることができる。特定のブロックまたはプロセスは並行して実行されることができる。
本発明の主題をその特定の態様および特徴に関連して詳細に説明したが、上記を理解すれば、当業者であれば、そのような態様および特徴の代替形態、変形形態、および均等形態を容易に作成することができることは諒解されたい。したがって、本開示は限定ではなく例示を目的として提示されており、当業者には容易に諒解されるように、本発明の主題のそのような修正形態、変形形態および/または追加形態を含むことを除外するものではない。

Claims (20)

  1. 入力画像データをハイブリッド画像投影システムのために変換するための方法であって、前記入力画像データは入力画像を表し、該方法は、
    前記入力画像データを、前記入力画像の内容に基づいて少なくとも2つの画像領域に分割するステップと、
    前記少なくとも2つの画像領域に関するパラメータを求めるステップであって、少なくとも1つのパラメータは、前記少なくとも2つの画像領域の各々に関して求められる、ステップと、
    前記パラメータに基づいて前記入力画像を分解することによって、第1の画像成分および第2の画像成分を生成するステップであって、該第1の画像成分は該第2の画像成分と直交または擬似直交する、ステップと、
    前記第1の画像成分を第1の表示デバイスによって表示するステップと、
    前記第2の画像成分を第2の表示デバイスによって表示するステップであって、該第2の画像成分は、前記第1の画像成分と重ね合わされて最終画像が生成される、ステップと
    を含む、方法。
  2. 前記入力画像データを、前記入力画像の内容に基づいて少なくとも2つの画像領域に分割するステップは、前記入力画像データを、前記入力画像内の画像領域陰影詳細に基づいて前記少なくとも2つの画像領域に分割するステップを含む、請求項1に記載の方法。
  3. 前記少なくとも2つの画像領域は、第1の画像領域と、該第1の画像領域とは異なるサイズを有する第2の画像領域とを含む、請求項1または2に記載の方法。
  4. 前記パラメータに基づいて前記入力画像を分解することによって、前記第1の画像成分および前記第2の画像成分を生成するステップは、
    前記パラメータを補間して前記第1の画像成分を生成し、
    前記入力画像の倍数と前記第1の画像成分との間の差を計算して前記第2の画像成分を生成すること
    によって前記入力画像を分解するステップを含む、請求項1〜3のいずれか一項に記載の方法。
  5. 前記入力画像の前記倍数は、少なくとも前記第1の画像成分と前記第2の画像成分とを重ね合わせる、少なくとも前記第1の表示デバイスおよび前記第2の表示デバイスを含むプロジェクタの数に基づく、請求項4に記載の方法。
  6. 前記最終画像は、単一プロジェクタシステムによって表示される前記入力画像の少なくとも2倍明るい輝度を含む、請求項1〜5のいずれか一項に記載の方法。
  7. 前記パラメータは、
    輝度バランス係数である第1のパラメータ、および
    前記少なくとも2つの画像領域の各々の最小値である第2のパラメータを含み、
    前記第1の画像成分を生成するステップは、
    前記第1のパラメータを用いて前記少なくとも2つの画像領域の各々の前記最小値を修正するステップと、
    線形または非線形プロセスを使用して、前記少なくとも2つの画像領域の各々の前記第2のパラメータを、下側境界面に補間するステップと
    を含む、請求項1〜6のいずれか一項に記載の方法。
  8. 前記第2の画像成分を既定の限界に関して分析することによって前記第1の画像成分が修正されるべきであると判定するステップと、
    前記第1の画像成分が修正されるべきであるという判定に応答して、前記第1の画像成分および前記第2の画像成分を修正して、前記入力画像の前記倍数と修正された第1の画像成分との間の差を計算するステップと
    をさらに含む、請求項4または5に記載の方法。
  9. 前記既定の限界は輝度に基づく、請求項8に記載の方法。
  10. 前記既定の限界は保持している元の色相に基づく、請求項8に記載の方法。
  11. 前記入力画像データの各色に適用するステップをさらに含む、請求項1に記載の方法。
  12. 前記色は赤色、緑色、および青色を含む、請求項11に記載の方法。
  13. 前記入力画像データに逆ガンマ補正プロセスを適用することによって、画像データを生成するステップをさらに含む、請求項1〜12のいずれか一項に記載の方法。
  14. 前記第1の画像成分の表示および前記第2の画像成分の表示の前に、
    前記第1の画像成分および前記第2の画像成分に高ダイナミック・レンジ・丸め関数を適用するステップ、
    前記第1の画像成分もしくは前記第2の画像成分にワーピングを適用するステップ、または
    前記第1の画像成分および前記第2の画像成分にガンマ補正を適用するステップをさらに含む、請求項1〜13のいずれか一項に記載の方法。
  15. 負であるか、または、前記第1の表示デバイスもしくは前記第2の表示デバイスが投影するように構成されている最大輝度よりも大きい前記第1の画像成分または前記第2の画像成分のうちの少なくとも一方を識別するステップと、
    前記値を修正することによって、前記第1の画像成分または前記第2の画像成分のうちの前記少なくとも一方における視覚的画像アーチファクトを低減するステップと
    をさらに含む、請求項1に記載の方法。
  16. 前記パラメータに基づいて前記入力画像を分解することによって、前記第1の画像成分および前記第2の画像成分を生成するステップは、
    分解フィルタを使用して前記入力画像を分解するステップと、
    前記少なくとも2つの画像領域の各々について、前記入力画像の内容に基づいて前記分解フィルタを調整するステップと
    を含む、請求項1に記載の方法。
  17. 請求項1〜16のいずれか一項に記載の方法を実行するように構成されているマルチ・プロジェクタ・システムであって、該マルチ・プロジェクタ・システムは、プロセッサと、前記第1の表示デバイスと、前記第2の表示デバイスと、システム機能モジュールとを備える、マルチ・プロジェクタ・システム。
  18. 画像を表す入力画像データを受信するように構成されている入力と、
    画像内容に基づいて前記画像を複数の画像領域に分割し、パラメータを求め、前記画像を、第1の画像成分、および該第1の画像成分に直交または擬似直交する第2の画像成分に分解することによって、前記入力画像データを処理し、前記入力画像データに基づいて前記第1の画像成分および前記第2の画像成分を出力するように構成されているプロセッサと、
    前記第1の画像成分を修正し、前記第2の画像成分を修正するように構成されているシステム機能モジュールと、
    前記修正された第1の修正画像成分を表示するように構成されている第1のプロジェクタと、
    前記修正された第2の画像成分を、前記修正された第1の修正画像成分に重ね合わせて表示するように構成されている第2のプロジェクタと
    を備える、マルチ・プロジェクタ・システム。
  19. 前記プロセッサは、前記入力画像データに逆ガンマ補正プロセスを適用するように構成されている、請求項18に記載のシステム。
  20. 前記システム機能モジュールは、前記第1の画像成分および前記第2の画像成分が表示される前に、該第1の画像成分または該第2の画像成分のうちの少なくとも一方に、高ダイナミックレンジ丸め、ガンマ補正、またはワーピングを適用するように構成されている、請求項18または19に記載のシステム。
JP2014525544A 2011-08-16 2012-08-14 ハイブリッド画像の分解および投影 Pending JP2014529756A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161575117P 2011-08-16 2011-08-16
US61/575,117 2011-08-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018062530A Division JP6644103B2 (ja) 2011-08-16 2018-03-28 ハイブリッド画像の分解および投影

Publications (2)

Publication Number Publication Date
JP2014529756A true JP2014529756A (ja) 2014-11-13
JP2014529756A5 JP2014529756A5 (ja) 2016-12-15

Family

ID=47714832

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014525544A Pending JP2014529756A (ja) 2011-08-16 2012-08-14 ハイブリッド画像の分解および投影
JP2018062530A Active JP6644103B2 (ja) 2011-08-16 2018-03-28 ハイブリッド画像の分解および投影

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018062530A Active JP6644103B2 (ja) 2011-08-16 2018-03-28 ハイブリッド画像の分解および投影

Country Status (6)

Country Link
US (2) US9305384B2 (ja)
EP (2) EP2745505B1 (ja)
JP (2) JP2014529756A (ja)
CN (1) CN103765869B (ja)
CA (1) CA2842572C (ja)
WO (1) WO2013024430A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2745505B1 (en) 2011-08-16 2020-02-19 Imax Theatres International Limited Hybrid image decomposition and projection
CA2847999C (en) 2011-10-20 2019-11-12 Imax Corporation Invisible or low perceptibility of image alignment in dual projection systems
CN109889813B (zh) 2011-10-20 2021-02-23 图象公司 用于图像投影的失真补偿
US9292959B2 (en) * 2012-05-16 2016-03-22 Digizig Media Inc. Multi-dimensional stacking with self-correction
US8949321B2 (en) * 2012-09-28 2015-02-03 Interactive Memories, Inc. Method for creating image and or text-based projects through an electronic interface from a mobile application
US20140210965A1 (en) * 2013-01-31 2014-07-31 Jason David Goodman Method for Securing Visual Media Utilizing Encoding Process With Optical Translation for Decoded Image Viewing
US9973677B2 (en) * 2013-10-14 2018-05-15 Qualcomm Incorporated Refocusable images
US20150244946A1 (en) * 2013-11-04 2015-08-27 Sos Agaian Method and systems for thermal image / video measurements and processing
US9727949B1 (en) * 2014-11-19 2017-08-08 Google Inc. Providing secure digital images
KR101629825B1 (ko) * 2014-12-04 2016-06-22 현대모비스 주식회사 Hdr 기능을 이용한 차량용 디스플레이 장치 및 방법
JP6558088B2 (ja) * 2015-06-12 2019-08-14 リコーイメージング株式会社 撮影装置、撮影制御装置及び撮影制御方法
US10324167B2 (en) * 2016-09-12 2019-06-18 The Boeing Company Systems and methods for adding functional grid elements to stochastic sparse tree grids for spatial filtering
RU2642350C1 (ru) * 2016-12-29 2018-01-24 Самсунг Электроникс Ко., Лтд. Система формирования изображений (варианты осуществления)
US10609350B1 (en) * 2017-01-09 2020-03-31 Amazon Technologies, Inc. Multiple frequency band image display system
WO2018199902A1 (en) * 2017-04-24 2018-11-01 Hewlett-Packard Development Company, L.P. Ambient light color compensation
CN110651471B (zh) * 2017-05-12 2022-02-25 Mtt创新公司 高明度投影系统和方法
US10834372B2 (en) 2017-06-05 2020-11-10 Massachusetts Institute Of Technology 3DTV at home: Eulerian-Lagrangian stereo-to-multi-view conversion
CN108173779B (zh) * 2017-11-23 2018-11-16 泰山医学院 一种路由器自动待机系统
EP3900335A1 (en) 2018-12-19 2021-10-27 Dolby Laboratories Licensing Corporation Image debanding using adaptive sparse filtering
JP7251334B2 (ja) * 2019-06-10 2023-04-04 コニカミノルタ株式会社 画像処理装置、画像形成装置、表示装置、画像処理プログラム、および画像処理方法
US11356266B2 (en) 2020-09-11 2022-06-07 Bank Of America Corporation User authentication using diverse media inputs and hash-based ledgers
US11368456B2 (en) 2020-09-11 2022-06-21 Bank Of America Corporation User security profile for multi-media identity verification
CN116452437B (zh) * 2023-03-20 2023-11-14 荣耀终端有限公司 高动态范围图像处理方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040239885A1 (en) * 2003-04-19 2004-12-02 University Of Kentucky Research Foundation Super-resolution overlay in multi-projector displays
JP2006139057A (ja) * 2004-11-12 2006-06-01 Seiko Epson Corp 画像表示装置、画像表示方法、この方法をコンピュータで実行可能なプログラム、及びこのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008182706A (ja) * 2007-01-24 2008-08-07 Seiko Epson Corp 任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列tにシミュレートされた表示制約を課す方法、および第1プロジェクタ−カメラ・システムからの第1投影画像と、第2プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法
JP2009069818A (ja) * 2007-08-09 2009-04-02 Barco Nv 表示システム、表示システムを駆動するための方法、制御ユニット、コンピュータプログラムプロダクト、および機械可読データ記憶装置
JP2009260932A (ja) * 2008-03-26 2009-11-05 Seiko Epson Corp マルチプロジェクションシステムにおける画像処理装置及び画像処理方法並びにマルチプロジェクションシステム
JP2010039160A (ja) * 2008-08-05 2010-02-18 Seiko Epson Corp 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム
JP2013531267A (ja) * 2010-04-18 2013-08-01 アイマックス コーポレイション 二重スタック投影

Family Cites Families (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2827622A1 (de) 1978-06-23 1980-01-03 Heinz Arnold Verfahren und vorrichtung zum herstellen von photografischen trickbildern
US4523226A (en) 1982-01-27 1985-06-11 Stereographics Corporation Stereoscopic television system
US4868773A (en) 1985-03-15 1989-09-19 Purdue Research Foundation Digital filtering by threshold decomposition
US5070403A (en) 1989-04-21 1991-12-03 Sony Corporation Video signal interpolation
GB2262854B (en) 1991-12-24 1995-05-24 Sony Broadcast & Communication Image processing apparatus
US5488429A (en) 1992-01-13 1996-01-30 Mitsubishi Denki Kabushiki Kaisha Video signal processor for detecting flesh tones in am image
FR2690031A1 (fr) * 1992-04-14 1993-10-15 Philips Electronique Lab Dispositif de segmentation d'images.
JP3149303B2 (ja) 1993-12-29 2001-03-26 松下電器産業株式会社 デジタル画像符号化方法及びデジタル画像復号化方法
JPH07294866A (ja) 1994-04-27 1995-11-10 Mitsubishi Electric Corp プロジェクタ装置
JPH08168039A (ja) 1994-12-14 1996-06-25 Nippon Telegr & Teleph Corp <Ntt> 投写型表示システム及び投写位置調整方法
US5790086A (en) 1995-01-04 1998-08-04 Visualabs Inc. 3-D imaging system
JPH0946553A (ja) 1995-07-26 1997-02-14 Graphics Commun Lab:Kk フィルタ装置
DE19545356C2 (de) 1995-12-05 1998-04-16 Deutsche Telekom Ag Vorrichtung zur Darstellung von Stereo-Videobildern
GB2311432B (en) 1996-03-20 2000-05-03 Sony Uk Ltd Method and apparatus for processing an input image
GB2311431B (en) 1996-03-20 2000-02-23 Sony Uk Ltd Method and apparatus for deviding an input image into a plurality of images of different frequency bandwidths
JP3735158B2 (ja) 1996-06-06 2006-01-18 オリンパス株式会社 画像投影システム、画像処理装置
JP4456185B2 (ja) 1997-08-29 2010-04-28 富士通株式会社 コピー防止機能を持つ見える透かし入り動画像記録媒体とその作成・検出および録画・再生装置
EP1202079B1 (en) 1998-07-09 2006-01-25 ARSENICH, Svyatoslav Ivanovich Projection system
US6310650B1 (en) 1998-09-23 2001-10-30 Honeywell International Inc. Method and apparatus for calibrating a tiled display
US6396505B1 (en) 1998-10-07 2002-05-28 Microsoft Corporation Methods and apparatus for detecting and reducing color errors in images
US6278434B1 (en) 1998-10-07 2001-08-21 Microsoft Corporation Non-square scaling of image data to be mapped to pixel sub-components
JP3706264B2 (ja) 1998-12-21 2005-10-12 日本放送協会 投射型マルチ画面ディスプレイ装置
US6703988B1 (en) * 1999-07-08 2004-03-09 Fergason Patent Properties, Llc Monitor for showing high-resolution and three-dimensional images and method
JP3445759B2 (ja) 1999-08-05 2003-09-08 日本電信電話株式会社 自動画素位置調整装置
US7079157B2 (en) 2000-03-17 2006-07-18 Sun Microsystems, Inc. Matching the edges of multiple overlapping screen images
JP2001339742A (ja) 2000-03-21 2001-12-07 Olympus Optical Co Ltd 立体映像プロジェクション装置、及びその補正量演算装置
CA2412418C (en) 2000-06-13 2006-08-08 Panoram Technologies, Inc. Method and apparatus for seamless integration of multiple video projectors
CA2414723C (en) * 2000-07-03 2012-05-15 Imax Corporation Equipment and techniques for increasing the dynamic range of a projection system
EP1300011B1 (en) 2000-07-03 2010-08-25 Imax Corporation Processing techniques for superimposing images for image projection
DE60124549T2 (de) 2000-07-05 2007-09-06 Smart Technologies Inc., Calgary Kamerabasiertes beruehrungssystem
US6804406B1 (en) 2000-08-30 2004-10-12 Honeywell International Inc. Electronic calibration for seamless tiled display using optical function generator
WO2002100089A2 (en) 2001-06-06 2002-12-12 Spitz, Inc. Video-based immersive theater
US6733138B2 (en) 2001-08-15 2004-05-11 Mitsubishi Electric Research Laboratories, Inc. Multi-projector mosaic with automatic registration
US7002533B2 (en) 2001-08-17 2006-02-21 Michel Sayag Dual-stage high-contrast electronic image display
US6567217B1 (en) 2001-11-06 2003-05-20 Eastman Kodak Company Image-forming system with enhanced gray levels
WO2003058979A2 (en) 2002-01-04 2003-07-17 Neurok Llc Three-dimensional image projection employing retro-reflective screens
US7127084B1 (en) 2002-03-22 2006-10-24 Mauk Jamey R Method of creating digital composite files of superimposed images
JP2003348501A (ja) 2002-05-23 2003-12-05 Olympus Optical Co Ltd 画像表示装置
EP1554889A1 (en) 2002-10-21 2005-07-20 Imax Corporation Equipment, systems and methods for control of color in projection displays
US7019713B2 (en) * 2002-10-30 2006-03-28 The University Of Chicago Methods and measurement engine for aligning multi-projector display systems
US7215362B2 (en) 2002-10-31 2007-05-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Auto-calibration of multi-projector systems
US6758565B1 (en) 2003-03-20 2004-07-06 Eastman Kodak Company Projection apparatus using telecentric optics
US7417601B2 (en) * 2003-05-20 2008-08-26 Samsung Electronics Co., Ltd. Projector systems
JP3852934B2 (ja) * 2003-05-20 2006-12-06 株式会社バンダイナムコゲームス 画像処理システム、プログラム及び情報記憶媒体
ITMI20031449A1 (it) * 2003-07-15 2005-01-16 St Microelectronics Srl Metodo per classificare una immagine digitale
GB2404546B (en) 2003-07-25 2005-12-14 Purple Interactive Ltd A method of organising and displaying material content on a display to a viewer
JP4150308B2 (ja) 2003-08-01 2008-09-17 日産ディーゼル工業株式会社 排気浄化装置
CN100454140C (zh) 2003-09-19 2009-01-21 邓兴峰 分屏式立体摄影仪
JP2005123856A (ja) 2003-10-16 2005-05-12 Ricoh Co Ltd 画像処理システム、画像処理方法、プログラム及び情報記録媒体
US7339625B2 (en) 2004-06-28 2008-03-04 Barco N.V. Optical and electrical blending of display images
JP3960325B2 (ja) 2004-08-11 2007-08-15 セイコーエプソン株式会社 ディスプレイ装置およびディスプレイ装置における画像情報生成方法
US7111941B2 (en) 2004-08-25 2006-09-26 Hewlett-Packard Development Company, L.P. Method and apparatus for multiple-resolution light value projector
JP4026649B2 (ja) 2005-02-16 2007-12-26 セイコーエプソン株式会社 プロジェクタ、プロジェクタの制御方法、プロジェクタの制御プログラム、およびこのプログラムを記憶した記憶媒体
US7522220B2 (en) 2005-03-30 2009-04-21 Samsung Electronics Co., Ltd. Dual-channel adaptive 2D noise reduction for video signals
US8453148B1 (en) * 2005-04-06 2013-05-28 Teradici Corporation Method and system for image sequence transfer scheduling and restricting the image sequence generation
KR100696107B1 (ko) 2005-04-11 2007-03-19 삼성전자주식회사 디스플레이장치 및 그 제어방법
RU2322771C2 (ru) 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
CA2844683C (en) 2005-04-26 2016-06-28 Imax Corporation Electronic projection systems and methods
US7676072B2 (en) 2005-06-15 2010-03-09 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US20070024764A1 (en) 2005-07-29 2007-02-01 Optoma Technology, Inc. Methods and systems that compensate for distortion introduced by anamorphic lenses in a video projector
US20070091277A1 (en) 2005-10-26 2007-04-26 Niranjan Damera-Venkata Luminance based multiple projector system
US20070133794A1 (en) 2005-12-09 2007-06-14 Cloutier Frank L Projection of overlapping sub-frames onto a surface
US20070132965A1 (en) 2005-12-12 2007-06-14 Niranjan Damera-Venkata System and method for displaying an image
US8182099B2 (en) 2005-12-21 2012-05-22 International Business Machines Corporation Noise immune optical encoder for high ambient light projection imaging systems
US8777418B2 (en) 2006-01-26 2014-07-15 Christie Digital Systems Usa, Inc. Calibration of a super-resolution display
US7866832B2 (en) 2006-02-15 2011-01-11 Mersive Technologies, Llc Multi-projector intensity blending system
KR101124452B1 (ko) 2006-04-19 2012-03-21 세트레드 에이에스 3차원 디스플레이 대역폭 개선을 위한 복합시차지각 방식의 디스플레이 장치 및 상기 디스플레이 장치의 동작방법
US7740361B2 (en) 2006-04-21 2010-06-22 Mersive Technologies, Inc. Alignment optimization in image display systems employing multi-camera image acquisition
US7538876B2 (en) * 2006-06-12 2009-05-26 The Boeing Company Efficient and accurate alignment of stereoscopic displays
US7677737B2 (en) 2006-08-17 2010-03-16 Sony Ericsson Mobile Communications Ab Projector adaptation for self-calibration
US20080101725A1 (en) 2006-10-26 2008-05-01 I-Jong Lin Image display system configured to update correspondences using arbitrary features
US7742011B2 (en) * 2006-10-31 2010-06-22 Hewlett-Packard Development Company, L.P. Image display system
CN101617354A (zh) 2006-12-12 2009-12-30 埃文斯和萨瑟兰计算机公司 用于校准单个调制器投影仪中的rgb光的系统和方法
US20080143969A1 (en) 2006-12-15 2008-06-19 Richard Aufranc Dynamic superposition system and method for multi-projection display
US7936361B2 (en) 2007-04-30 2011-05-03 Hewlett-Packard Development Company, L.P. System and method for masking and overlaying images in multiple projector system
JP5299275B2 (ja) 2007-05-25 2013-09-25 日本電気株式会社 画像処理装置及びその方法並びにプログラム、及び表示装置
US8803922B2 (en) * 2007-05-30 2014-08-12 Apple Inc. Methods and apparatuses for increasing the apparent brightness of a display
JP2009008974A (ja) * 2007-06-29 2009-01-15 Sony Corp 画像生成装置及び方法、プログラム、並びに記録媒体
US8142026B2 (en) 2007-07-25 2012-03-27 Hewlett-Packard Development Company, L.P. Projector alignment in a multiple-projector projection system
US7954954B2 (en) 2007-07-31 2011-06-07 Hewlett-Packard Development Company, L.P. System and method of projecting an image using a plurality of projectors
JP4372815B2 (ja) 2007-08-30 2009-11-25 三菱電機株式会社 画像投写装置
JP4458159B2 (ja) * 2007-12-11 2010-04-28 セイコーエプソン株式会社 信号変換装置、映像投影装置及び映像投影システム
US7551341B1 (en) * 2008-01-28 2009-06-23 Dolby Laboratories Licensing Corporation Serial modulation display having binary light modulation stage
JP5217497B2 (ja) 2008-02-26 2013-06-19 ソニー株式会社 画像投影システム、制御装置、画像投影方法、プログラム及び記録媒体
US8016426B2 (en) 2008-02-27 2011-09-13 6115187 Canada Inc. Method and device for projecting a panoramic image with a variable resolution
US7997735B2 (en) 2008-03-27 2011-08-16 Corning Incorporated Systems and methods for speckle reduction
US8134591B2 (en) * 2008-05-07 2012-03-13 Eastman Kodak Company Display using bidirectionally scanned linear modulator
DE102008043153A1 (de) 2008-10-24 2010-04-29 Robert Bosch Gmbh Verfahren zur Erzeugung eines Bildes sowie Projektor und Mobiltelefon mit einem Projektor
US9098926B2 (en) * 2009-02-06 2015-08-04 The Hong Kong University Of Science And Technology Generating three-dimensional façade models from images
WO2010093361A1 (en) 2009-02-11 2010-08-19 Hewlett-Packard Development Company, Lp Multi-projector system and method
WO2010147451A1 (en) 2009-06-15 2010-12-23 Mimos Berhad An online orthogonal projection system
JP2011040958A (ja) 2009-08-10 2011-02-24 Sony Corp 画像表示装置及び画像表示方法
US8310499B2 (en) 2009-09-10 2012-11-13 Seiko Epson Corporation Balancing luminance disparity in a display by multiple projectors
JP5521855B2 (ja) 2009-09-10 2014-06-18 株式会社リコー 投影画像領域検出装置
JP5573215B2 (ja) 2010-02-12 2014-08-20 セイコーエプソン株式会社 プロジェクター及びアナモフィックプリズム光学ユニット
US8237873B2 (en) 2010-03-24 2012-08-07 Seiko Epson Corporation Method for creating blending ramps for complex projector image overlaps
US20130093805A1 (en) 2010-06-21 2013-04-18 Imax Corporation Double stacked projection
US9398278B2 (en) 2011-01-06 2016-07-19 Telenav, Inc. Graphical display system with adaptive keystone mechanism and method of operation thereof
EP2745505B1 (en) 2011-08-16 2020-02-19 Imax Theatres International Limited Hybrid image decomposition and projection
CN109889813B (zh) 2011-10-20 2021-02-23 图象公司 用于图像投影的失真补偿
CA2847999C (en) 2011-10-20 2019-11-12 Imax Corporation Invisible or low perceptibility of image alignment in dual projection systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040239885A1 (en) * 2003-04-19 2004-12-02 University Of Kentucky Research Foundation Super-resolution overlay in multi-projector displays
JP2006139057A (ja) * 2004-11-12 2006-06-01 Seiko Epson Corp 画像表示装置、画像表示方法、この方法をコンピュータで実行可能なプログラム、及びこのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008182706A (ja) * 2007-01-24 2008-08-07 Seiko Epson Corp 任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列tにシミュレートされた表示制約を課す方法、および第1プロジェクタ−カメラ・システムからの第1投影画像と、第2プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法
JP2009069818A (ja) * 2007-08-09 2009-04-02 Barco Nv 表示システム、表示システムを駆動するための方法、制御ユニット、コンピュータプログラムプロダクト、および機械可読データ記憶装置
JP2009260932A (ja) * 2008-03-26 2009-11-05 Seiko Epson Corp マルチプロジェクションシステムにおける画像処理装置及び画像処理方法並びにマルチプロジェクションシステム
JP2010039160A (ja) * 2008-08-05 2010-02-18 Seiko Epson Corp 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム
JP2013531267A (ja) * 2010-04-18 2013-08-01 アイマックス コーポレイション 二重スタック投影

Also Published As

Publication number Publication date
WO2013024430A1 (en) 2013-02-21
JP2018137789A (ja) 2018-08-30
CN103765869B (zh) 2017-12-12
JP6644103B2 (ja) 2020-02-12
EP3675481A1 (en) 2020-07-01
EP2745505B1 (en) 2020-02-19
US9961316B2 (en) 2018-05-01
EP2745505A1 (en) 2014-06-25
CA2842572A1 (en) 2013-02-21
CA2842572C (en) 2020-10-13
US9305384B2 (en) 2016-04-05
CN103765869A (zh) 2014-04-30
EP2745505A4 (en) 2015-04-15
US20160165199A1 (en) 2016-06-09
US20140192076A1 (en) 2014-07-10

Similar Documents

Publication Publication Date Title
JP6644103B2 (ja) ハイブリッド画像の分解および投影
JP2014529756A5 (ja)
US9654700B2 (en) Computational camera using fusion of image sensors
US9344639B2 (en) High dynamic range array camera
US8290271B2 (en) Method, medium and apparatus correcting projected image
US9361679B2 (en) Temporally coherent local tone mapping of HDR video
TW201243763A (en) Method for 3D video content generation
JPWO2012153513A1 (ja) 画像生成装置、及び画像生成方法
JP2015162718A (ja) 画像処理方法、画像処理装置及び電子機器
US11941791B2 (en) High-dynamic-range image generation with pre-combination denoising
Xu et al. Correction of clipped pixels in color images
US8823841B2 (en) Method and apparatus for correcting for vignetting in an imaging system
JP6415094B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
KR20150037203A (ko) 3차원 입체 영상용 깊이지도 보정장치 및 보정방법
Rafi Nazari Denoising and demosaicking of color images
KR101854611B1 (ko) 엔트로피를 이용한 가중치 할당에 기초한 이미지 처리 방법
Bae Image-quality metric system for color filter array evaluation
US20130242055A1 (en) Apparatus and method for extracting depth image and texture image
KR20070048904A (ko) 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법
CN113781350B (zh) 图像处理方法、图像处理装置、电子设备及存储介质
JP2014110507A (ja) 画像処理装置および画像処理方法
KR102462804B1 (ko) 베이어 패턴 이미지에 기반한 렌즈 왜곡 보정 장치 및 그 보정 방법
Xu et al. Optimized multilevel fringe patterns for real-time 3D shape measurement with defocused projector
Mariničová Demosaicing as an ill-posed inverse problem
US9786034B1 (en) Low cost color channel adaptive processes

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150702

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161004

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20161025

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20161125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170606

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171205