JP2020034808A - 投射型表示装置 - Google Patents

Abstract

【課題】複数のプロジェクタで構成するマルチ投射システムにおいて、画面全体のダイナミック調光機能を行う際に、各プロジェクタに搭載されたダイナミック調光機能を使用して投射すると、画像によっては他のプロジェクタとの繋ぎ目に不連続が発生することがある。【解決手段】マルチ投射システムにおいて画面全体の部分的調光機能を実現するために、各プロジェクタの境界（繋ぎ目）部分の輝度補正をする。自投射画像よりも解像度が大きい全体画像を入力できる手段と、入力全体画像から自投射のための部分画像を切出す手段を有し、切出した部分画像と全体画像の両方の統計量を用いて、自投射用の部分画像に対してのダイナミック調光制御、および隣接画像との境界部分の輝度補正を行うことで、画面全体の部分調光機能の実現、且つ繋ぎ目での不連続性の改善が可能となる。【選択図】図１

Description

本発明は、複数の投射型表示装置で構成されるマルチ投射システムに関し、特に調光制御に関する。

近年プロジェクタは、展示会やサイネージにおいて、明るく、且つ大画面に表示させる用途が増えてきている。また、使用される映像の解像度もフルハイビジョンから４Ｋ、更には８Ｋまで高解像度化が進んでいる。そのため、これらを実現するために、複数のプロジェクタを組み合わせて１つの大きな画面を生成するマルチ投射という手法が行われている。

一方で上記用途には、映像の解像感だけでなく、臨場感を増加させることも要求されてきている。臨場感を持たせるためには、全体投射映像のコントラストを上げることが一番効果的と言われている。

コントラストを上げる方法として、ローカルディミングという技術が一般的に知られている。一般的な直視型ディスプレイでは、特許文献１にあるように、領域ごとにバックライトの光量および映像信号レベルを制御して映像シーンに応じて画像全体のコントラストを増加させる技術が提案されている。

特開２０１２−２２６１７６号公報

しかしながら、上述の特許文献１に開示された従来技術は、直視型ディスプレイのようにバックライトを複数領域に分割可能な構成であれば実現可能だが、投射型であるプロジェクタの構成では実現困難である。

一般的に複数の投射型プロジェクタでマルチ投射をした場合の合成画面全体の様子を図１３に示す。図１３（ａ）は構成される各プロジェクタの映像に応じた調光制御機能をＯＦＦした場合、図１３（ｂ）は映像に応じた調光制御機能をＯＮした場合である。図１３（ａ）では黒の部分は投射漏れ光による浮きが発生してしまい、コントラストは改善しない。一方、図１３（ｂ）は黒の部分は暗くなるが、各プロジェクタの調光制御値がばらばらになるため、他の分割画像との境界領域に不連続が発生してしまう。

そこで、本発明の目的は、複数のプロジェクタを用いたマルチ投射システムにおいて、画面全体のコントラスト改善を可能にしたプロジェクタを提供することである。

上記目的を達成するために、本発明に係るプロジェクタは、
複数のプロジェクタによって投影される複数の部分画像をスクリーン上で合成し１つの投影画像を生成するマルチ投射システムを構成するプロジェクタであって、
自投射画像よりも解像度が大きい全体画像を入力できる映像入力手段と、
前記入力の全体画像から自投射のための部分画像を切り出す画像切だし手段と、
前記切り出した自画像用の部分画像の画像統計量を算出する第１の統計量算出手段と、
前記自画像以外の部分画像の画像統計量を算出する第２の統計量算出手段と
を有し、
前記第１および第２の両方の統計量情報を用いて、自投射用の部分画像に対しての階調変換処理、および光源制御を行うことを特徴とする。

また、前記階調処理手段は、前記自投射用の分割画像と隣接する他の分割画像との境界部分の輝度レベルが同一になるように、領域ごとに階調補正処理を実施する隣接領域階調補正手段を含むことを特徴とする。

また、前記隣接する他の分割画像の境界部分の輝度レベルは、前記第２の統計量算出手段から算出することを特徴とする。

また、前記隣接領域階調補正手段は、表示素子のムラ補正手段を用いて行うことを特徴とする。

また、前記マルチ投射システムを構成し、且つ隣接する分割画像を投射するプロジェクタからシェーディング特性を取得する第１の輝度分布特性取得手段と、
自プロジェクタのシェーディング特性を取得する第２の輝度分布特性取得手段と、
を有し、
前記隣接領域階調補正手段は、前記２つの輝度分布特性取得手段の情報を用いて、前記自投射用の分割画像と隣接する他の分割画像との境界部分の輝度レベルが同一になるように、領域ごとに階調補正処理を実施する隣接領域階調補正手段を含むことを特徴とする。

本発明によれば、複数のプロジェクタを用いたマルチ投射システムにおいて、画面全体のコントラスト改善が可能なプロジェクタを提供することができる。

本発明の第１の実施例を示す全体のブロック図である。 本発明の第１の実施例の処理手順を示すフローチャートである。 画像切出し処理の具体例を示した図である。 統計量抽出処理の具体例を示した図である。 調光制御値算出処理の具体例を示した図である。 調光制御値算出処理の具体例を示した図である。 境界部分の輝度レベル推定処理の具体例を示した図である。 輝度分布補正処理を示した図である。 本実施例の効果の具体例を示した図である。 本発明の第２の実施例を示す全体のブロック図である。 本発明の第２の実施例の処理手順を示すフローチャートである。 シェーディングを考慮した輝度分布補正処理を示した図である。 従来の課題例を示した図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は本発明の第１の実施例を示したプロジェクタのブロック図である。ここでプロジェクタ１は、図１３に示すマルチディスプレイで構成される１つのプロジェクタに相当する。

図１に沿ってプロジェクタ１の内部処理に関して、各ブロックの動作説明をする。

画像切出し部１０は、入力された映像信号Ｓｉｇ１から自投射用の分割画像の切出しを行い、映像信号Ｓｉｇ２を出力する。図３は画像切出し処理の例を示した図である。ここでプロジェクタ１の表示素子画素数は１９２０×１０８０のフルハイビジョン解像度、入力信号解像度は表示素子画素数よりも大きい３８４０×２１６０の４Ｋ解像度であるとする。入力信号画像サイズはプロジェクタ表示サイズの４倍であるので、４つのプロジェクタで１つの大きな画像を表示するマルチ投射となる場合の例である。入力映像Ｓｉｇ１は図３（ｂ）に示すように、田の字の４つのフルハイビジョン画像サイズ（分割部分画像：Ａ１〜Ａ４）に分割され、自投射に相当する画像領域を切り出す。切出した画像の例を図３（ｃ）に示す。本実施例では、自投射に相当する分割画像領域はＡ１であるとする。

第１の統計量抽出部１１は、画像切出し部１０で生成した自投射用の部分画像Ａ１の統計量抽出を行う。ここで統計量とは画像の輝度／色レベル分布を示すヒストグラムのようなものである。ゲイン／ガンマ処理部１３は、映像信号に対してゲインおよびガンマなどの階調補正処理を行い、映像信号Ｓｉｇ３を出力する。領域別輝度補正部１４は、面内の輝度分布を補正処理する機能を有し、実際にはパネルや光学系のムラを補正するための色むら補正回路で実現される。表示素子駆動回路１５は、表示素子１６に画像を表示させるための駆動を行う。

調光制御部１７は、第１の統計量抽出部１１からの情報を用いて、ゲイン／ガンマ処理部１３および調光回路１８に指令を送る。調光回路１８は、ランプやレーザーなどに代表される光源の明るさ制御やシャッターなどのメカ絞りの開口制御を行って、表示素子１６の照射される光量の強弱を制御する。

一方、第２の統計量抽出部１２は、画像切出しを行う前の入力映像Ｓｉｇ１の統計量抽出を行う。抽出する統計量の内容としては、第１の統計量抽出部１１と同じである。隣接領域補正制御部２１は、第２の統計量抽出部１２からの情報を用いて、領域別輝度補正部１４に指令を送る。

調光制御部１７、および隣接領域補正制御２１の詳しい処理内容に関しては、以下でフローチャートを用いて説明する。

図２は、調光制御部１７、および隣接領域補正制御２１の処理手順を示したフローチャートである。図２の各ステップに沿って詳細を説明する。

［Ｓ１１］
マルチ投射設定されたかどうかを判断する。マルチ投射設定されると、自投射の部分画像が全体画像のどこに相当するかが設定される。ここでは、図３におけるＡ１領域が自投射の分割画像であると設定されたとする。

［Ｓ１２］
各分割画像において、自投射用分割画像、および隣接する分割画像の統計量情報を抽出する。自投射用分割画像の統計量は第１の統計量抽出部１１で処理され、隣接する分割画像の統計量は第２の統計量抽出部１２で処理される。

図４に統計量抽出の例を示す。Ｓ１１で自投射用分割はＡ１領域と設定されたので、それに隣接する分割画像は、Ａ２（右側）とＡ３（下側）となる。図４（ａ）〜図４（ｃ）はそれぞれＡ１，Ａ２，Ａ３分割画像の統計量（ヒストグラム）を示した図である。このように統計量抽出部１１、１２では各信号レベルに対応した度数を示すヒストグラム（Ｈｉｓ＿１〜Ｈｉｓ＿３）が抽出される。

調光制御部１７は自投射用分割画像の統計量（Ｈｉｓ＿１）を第１の統計量抽出部１１から取得し、隣接領域補正制御部２１は、自投射画像に隣接する分割画像の統計量（Ｈｉｓ＿２、Ｈｉｓ＿３）を第２の統計量抽出部１２から取得する。

［Ｓ１３］
Ｓ１２で取得した統計量（Ｈｉｓ＿１、Ｈｉｓ＿２、Ｈｉｓ＿３）から、それぞれの想定される調光制御値を算出する。

調光制御部１７は、自投射用分割画像の統計量Ｈｉｓ＿１から、図５に示す方法で調光制御値（光源制御値：Ｌｇｔ＿１、信号ゲイン：Ｇａｉｎ＿１、信号ガンマ：γ＿１）を算出する。

以下に図５に沿って、算出方法の詳細を説明する。図５（ａ）は、調光制御前の入力信号に対する出力輝度（明るさ）の例を示した図である。分割画像Ａ１における最大信号レベル（３００）の画素は、投射面（スクリーン上）で輝度ＷＨ＿１となり、また信号レベル０の画素は輝度ＶＬ＿１となることを示している。信号レベル０で輝度が０にならない理由は、表示素子の減衰率には限界があり漏れ光が発生してしまうためである。

次に調光制御の動作に関して説明する。調光制御とは、最大の信号レベルに対する輝度（ＶＨ＿１に相当）は変更せずに、信号レベル０時の輝度（ＶＬ＿１に相当）を下げることを目的としている。つまり最大輝度は変えずにコントラストを改善させる方法である。そのためには、ＶＨ＿１が変わらないように信号レベルを拡大させ、拡大させた分、光源光量を下げる制御を行う。図５（ｂ）が調光制御後に想定される入力信号に対する出力輝度を示した図である。映像信号の最大レベルの輝度（ＶＨ＿１）を変化させないことを前提に、信号レベルに対するゲイン係数（Ｇａｉｎ＿１）および光源減衰率（Ｌｇｔ＿１）を算出する。更に、ヒストグラムの分布に応じて、信号ガンマ（γ＿１）も算出する。

隣接領域補正制御部２１も同様に、隣接の分割画像の統計量Ｈｉｓ＿２、Ｈｉｓ＿３から、調光制御値を算出する。図６（ａ）に分割画像Ａ２に対しての処理、（ｂ）に分割画像Ａ３に対しての処理を示す。自投射用の分割画像Ａ１における処理と同様に、光源制御値Ｌｇｔ＿２、Ｌｇｔ＿３、信号ゲインＧａｉｎ＿２、Ｇａｉｎ＿３、信号ガンマγ＿２、γ＿３を算出する。

［Ｓ１４］
Ｓ１３で算出された自投射用の分割画像Ａ１における調光制御値（信号ゲインＧａｉｎ＿１、信号ガンマγ＿１）を、ゲイン／ガンマ処理部１３に対して設定する。

［Ｓ１５］
Ｓ１３で算出された自投射用の分割画像Ａ１における調光制御値（光源制御値Ｌｇｔ＿１）を、調光回路１８に対して設定する。調光回路１８は設定された値に応じて、光源１９の減光制御、もしくは絞り２０による開口を閉じる制御を行う。

［Ｓ１６］
ここでは、隣接する分割画像を投射する他のプロジェクタにおける隣接領域の輝度レベルを推定する。推定方法を図７（ａ）〜（ｃ）に沿って説明する。

図７（ａ）は、隣接する分割画像（Ａ２、Ａ３）の隣接領域の輝度レベルを推定する所定の画素の位置（Ｙ２、Ｙ３）を示した図である。分割画像Ａ２の隣接画素Ｙ２の輝度をＬｘ＿Ｙ２、分割画像Ａ３の隣接画素の輝度Ｙ３の輝度をＬｘ＿Ｙ３である例を示している。Ｌｘ＿Ｙ２，Ｌｘ＿Ｙ３の算出方法に関して、図７（ｂ）、（ｃ）に沿って説明する。

図７（ｂ）はＬｘ＿Ｙ２の算出方法を示した図である。Ｓ１３で算出した方法に沿って、光源制御値Ｌｇｔ＿２、信号ゲインＧａｉｎ＿２、信号ガンマγ＿２を設定した場合に、所定の画素Ｙ２の信号レベルの輝度レベルがどうなるかが算出できる。

図７（ｃ）はＬｘ＿Ｙ３の算出方法を示した図であり、上記同様の方法で算出できる。

［Ｓ１７］
ここでは、分割画像同士の隣接領域がスムーズに繋がるような（連続になるような）、面内輝度補正分布を生成する。生成方法を図８（ａ）〜（ｃ）に示す。

図８（ａ）は、自投射用分割画像Ａ１における隣接領域の画素の位置（Ｙ１＿２、Ｙ１＿３）を示した図である。分割画像Ａ２側の隣接画素Ｙ１＿２の輝度をＬｘ＿Ｙ１＿２、分割画像Ａ３側の隣接画素Ｙ１＿３の輝度をＬｘ＿Ｙ１＿３である例を示している。調光制御部１７から上記画素（Ｙ１＿２、Ｙ１＿３）の推定輝度レベルを取得する。

図８（ｂ）は、自投射用分割画像Ａ１に注目して、上記で算出した推定輝度レベルＬｘ＿Ｙ１＿２、Ｌｘ＿Ｙ１＿３と、Ｓ１６で算出した隣接部分の推定輝度レベルＬｘ＿Ｙ２、Ｌｘ＿Ｙ３を示した図である。

境界領域を滑らかにするには、
Ｌｘ＿Ｙ１＿２＝Ｌｘ＿Ｙ２−−−−−（式１）
Ｌｘ＿Ｙ１＿３＝Ｌｘ＿Ｙ３−−−−−（式２）
にする必要がある。

そこで、上記（式１）（式２）を満足させるための面内輝度補正分布ＬＣ（ｘ，ｙ）を生成する。図８（ｃ）は算出されたＬＣ（ｘ，ｙ）のデータ例を示した図である。

［Ｓ１８］
Ｓ１７で算出した面内輝度補正分布データＬＣ（ｘ，ｙ）を、領域別輝度補正部１４に設定する。

図９は本発明の処理の実施前後でのマルチ投射の様子を示した図である。図９（ａ）が実施前、図９（ｂ）が実施後の様子を示した図である。図９（ａ）において、分割画像Ａ１は画像に明るい画素が存在しないので、光源減少量が大きく他の分割画像に比べ全体的に暗い画像になる。そのため、分割画像Ａ２やＡ３との境界部分に不連続が存在してしまう。一方、図９（ｂ）では、面内輝度補正を行うことで、分割画像Ａ１の中央付近の輝度レベルは低い状態を確保しつつ、境界部分の不連続を解消できていることが確認できる。

図１０は本発明の第２の実施例を示したプロジェクタのブロック図である。全体のブロック図は図１と同様であり、自プロジェクタのシェーディング特性保存手段３３と、他プロジェクタのシェーディング特性取得手段３２のみが異なる。全体の映像信号処理内容に関しては第１の実施例と同一であることから、この部分の説明は省略する。

実施例２で新規の構成および動作に関してのみ説明する。

自プロジェクタのシェーディング特性保存手段３３は、プロジェクタの光学的シェーディング特性を保存しているメモリである。

他プロジェクタのシェーディング特性取得手段３２は、隣接分割画像を投射するプロジェクタの光学的シェーディング特性の情報を通信（送信および受信）する部分である。実施例１で説明した処理に追加して、ここで取得したシェーディング特性用いて隣接領域補正制御３１で面内輝度補正分布データを生成する。この詳細な処理に関しては、図１１に示したフローチャートで説明する。

［Ｓ２１］〜［Ｓ２６］
実施例１のＳ１１〜Ｓ１６と同一であるので、説明は省略する。

［Ｓ２７］
自投射プロジェクタの光学的シェーディング特性を、シェーディング特性保存手段３３から取得する。

［Ｓ２８］
シェーディング特性取得手段３２から、隣接分割画像を投射するプロジェクタの光学的シェーディング特性の情報を取得する。

［Ｓ２９］
Ｓ２７およびＳ２８で取得したシェーディングデータから、隣接する分割画像を投射する他のプロジェクタにおける隣接領域の輝度レベルがどの程度減衰するかを算出する。

図１２（ａ）はシェーディング特性を考慮しない場合の、隣接領域の輝度レベルを示した図である。実施例１ではここにおける隣接領域間の輝度レベルを合わせる方法である。実施例２では、更にプロジェクタの光学系によるシェーディング特性も考慮して補正を行う点が、実施例１とは異なる。

図１２（ｂ）は、自投射用画像Ａ１を投射する本プロジェクタＰＪ＿Ａ１、および隣接分割画像Ａ２、Ａ３を投射するプロジェクタＰＪ＿Ａ２、ＰＪ＿Ａ３のシェーディング特性を示した図である。ここでは、ＰＪ＿Ａ１のシェーディング特性により境界領域の輝度レベルがＡ２側：ＳＨＤ１＿２（ここでは８０％）、Ａ３側：ＳＨＤ１＿３（ここでは７５％）に減衰する例を示している。また隣接画像側のプロジェクタも同様に、ＰＪ＿Ａ２の輝度レベルがＳＨＤ２（ここでは７０％）、ＰＪ＿Ａ３の輝度レベルがＳＨＤ３（ここでは６５％）に減衰する例を示している。このシェーディング値（ＳＨＤ１＿２、ＳＨＤ１＿３、ＳＨＤ２、ＳＨＤ３）を用いて、分割画像Ａ１の隣接領域画素Ｙ１＿２、Ｙ１＿３、分割画像Ａ２の隣接領域画素Ｙ２、分割画像Ａ３の隣接領域画素Ｙ３の推定輝度輝度レベルを以下の式で補正する。

Ｌｘ＿Ｙ１＿２Ｓ＝Ｌｘ＿Ｙ１＿２×ＳＨＤ１＿２−−−−−（式３）
Ｌｘ＿Ｙ１＿３Ｓ＝Ｌｘ＿Ｙ１＿３×ＳＨＤ１＿３−−−−−（式４）
Ｌｘ＿Ｙ２Ｓ＝Ｌｘ＿Ｙ２×ＳＨＤ２−−−−−（式５）
Ｌｘ＿Ｙ３Ｓ＝Ｌｘ＿Ｙ３×ＳＨＤ３−−−−−（式６）
ここで、画素Ｙ１＿２におけるシェーディング補正前の輝度をＬｘ＿Ｙ１＿２、補正後の輝度をＬｘ＿Ｙ１＿２Ｓとする。同様に、画素Ｙ３においては補正前Ｌｘ＿Ｙ１＿３、補正後Ｌｘ＿Ｙ１＿３Ｓ、画素Ｙ２においては補正前Ｌｘ＿Ｙ２、補正後Ｌｘ＿Ｙ２Ｓ，画素Ｙ３においては補正前Ｌｘ＿Ｙ３、補正後Ｌｘ＿Ｙ３Ｓとする。

［Ｓ３０］
実施例１記載のＳ１７と同様に、以下の式（式７）（式８）になるように面内輝度補正分布ＬＣ（ｘ，ｙ）を生成する。

Ｌｘ＿Ｙ１＿２Ｓ＝Ｌｘ＿Ｙ２Ｓ−−−−−（式７）
Ｌｘ＿Ｙ１＿３Ｓ＝Ｌｘ＿Ｙ３Ｓ−−−−−（式８）
［Ｓ３１］
Ｓ２９で生成した面内輝度補正分布データＬＣ（ｘ，ｙ）を、領域別輝度補正部１４に設定する。

１ プロジェクター、１０ 画像切出し部、１１，１２ 統計量抽出部、
１３ ゲイン／ガンマ処理部、１４ エリア輝度補正部、１５ 表示素子駆動回路、
１６ 表示素子（液晶パネル）、１７ 調光制御部、１８ 調光回路、１９ 光源、
２０ 絞り、２１ 隣接領域補正制御部

Claims (5)

1. 複数のプロジェクタによって投影される複数の部分画像をスクリーン上で合成し１つの投影画像を生成するマルチ投射システムを構成するプロジェクタであって、
   自投射画像よりも解像度が大きい全体画像を入力できる映像入力手段と、
   前記入力の全体画像から自投射のための部分画像を切り出す画像切だし手段と、
   前記切り出した自画像用の部分画像の画像統計量を算出する第１の統計量算出手段と、
   前記自画像以外の部分画像の画像統計量を算出する第２の統計量算出手段と
   を有し、
   前記第１および第２の両方の統計量情報を用いて、自投射用の部分画像に対しての階調変換処理、および光源制御を行うことを特徴とするプロジェクタ。
2. 前記階調処理手段は、前記自投射用の分割画像と隣接する他の分割画像との境界部分の輝度レベルが同一になるように、領域ごとに階調補正処理を実施する隣接領域階調補正手段を含むことを特徴とする請求項１に記載のプロジェクタ。
3. 前記隣接する他の分割画像の境界部分の輝度レベルは、前記第２の統計量算出手段から算出することを特徴とする請求項１又は２に記載のプロジェクタ。
4. 前記隣接領域階調補正手段は、表示素子のムラ補正手段を用いて行うことを特徴とする請求項１に記載のプロジェクタ。
5. 前記マルチ投射システムを構成し、且つ隣接する分割画像を投射するプロジェクタからシェーディング特性を取得する第１の輝度分布特性取得手段と、
   自プロジェクタのシェーディング特性を取得する第２の輝度分布特性取得手段と、
   を有し、
   前記隣接領域階調補正手段は、前記２つの輝度分布特性取得手段の情報を用いて、前記自投射用の分割画像と隣接する他の分割画像との境界部分の輝度レベルが同一になるように、領域ごとに階調補正処理を実施する隣接領域階調補正手段を含むことを特徴とする請求項１乃至４のいずれか一項に記載のプロジェクタ。