JP2019120749A - 表示制御装置、画像投影システム、制御方法およびプログラム - Google Patents

Abstract

【課題】 解像度の異なるプロジェクタによって被投影面上に同一の画像を複数重ねて表示しても、高い解像感を得ることができるようにする。【解決手段】第１解像度で画像を投影する第１の投影装置と、第１解像度よりも低い第２解像度で画像を投影する第２の投影装置とを含む複数の投影装置による重複投影を制御する表示制御装置であって、投影対象の入力画像を第１解像度で表現した第１の画像と、入力画像を第２解像度で表現した第２の画像とを取得する取得手段と、第１の画像の画素値を、第２の画像の画素値に基づいて補正する画像補正手段と、補正された第１の画像と第２の画像とを、それぞれ第１の投影装置と第２の投影装置とに出力する出力手段とを備える。【選択図】 図１

Description

本発明は、被投影面上に画像を複数重ねて投影する技術に関する。

従来技術として、複数のプロジェクタから被投影面上に同一の画像を複数重ねて表示するマルチプロジェクションシステム（スタック投影）が知られている。このようなシステムでは、各々同じ解像度のプロジェクタを使用することが一般的であるが、高解像度なスタック投影が求められた場合は高価なプロジェクタが複数台必要となりコストが高くなってしまう。

そこで、コストを抑える為に、特許文献１では、解像度の異なるプロジェクタを用いて投影する方法が開示されている。この方法によると、高価な高解像度のプロジェクタと安価な低解像度のプロジェクタを用い、解像度変換によって２台のプロジェクタの画素の大きさを合わせてスタック投影することができる。

特開２０１４−１７８３９３号公報

しかしながら、特許文献１に開示された技術では、高解像度プロジェクタの細かい画素に、低解像度プロエジェクタの粗い画素が重なってしまうことにより高い解像感が得られないという課題があった。

本発明は、上記の課題を鑑みてなされたものであり、その目的は、解像度の異なるプロジェクタによって被投影面上に同一の画像を複数重ねて表示しても、高い解像感を得ることができるようにすることである。

この課題を解決するため、例えば本発明の表示制御装置は、以下の構成を備える。すなわち、第１解像度で画像を投影する第１の投影装置と、第１解像度よりも低い第２解像度で画像を投影する第２の投影装置とを含む複数の投影装置による重複投影を制御する表示制御装置であって、投影対象の入力画像を第１解像度で表現した第１の画像と、入力画像を第２解像度で表現した第２の画像とを取得する取得手段と、第１の画像の画素値を、第２の画像の画素値に基づいて補正する画像補正手段と、補正された第１の画像と第２の画像とを、それぞれ第１の投影装置と第２の投影装置とに出力する出力手段とを備える。

本発明によれば、解像度の異なるプロジェクタによって被投影面上に同一の画像を複数重ねて表示しても、高い解像感を得ることができる。

実施形態１に係る画像投影システム１１の概略構成の一例を示す図。 本実施形態１に係るスタック投影のための処理を示す図。 従来方式でスタック投影を行った際の模式図。 実施形態１に係るスタック投影を行った際の模式図。 表示制御装置２０のハードウェア構成の一例を示すブロック図。 実施形態１に係る表示制御装置２０の処理を示すフローチャート。 実施形態２に係る画像投影システム１２の概略構成の一例を示す図。 実施形態１と実施形態２とで行われるスタック投影を説明する図。 ガンマ特性を示すグラフ。 実施形態２に係る表示制御装置２２の処理を示すフローチャート。 実施形態３に係る画像投影システム１３の概略構成の一例を示す図。 本実施形態３に係るスタック投影のための処理を示す図。 実施形態３に係る表示制御装置２４の処理を示すフローチャート。 実施形態４に係る画像投影システム１４の概略構成の一例を示す図。 本実施形態４に係るスタック投影のための処理を示す図。 従来方式でスタック投影を行った際の模式図。 実施形態４に係るスタック投影を行った際の模式図。 実施形態４に係る表示制御装置２６の処理を示すフローチャート。

以下、図面に従って本発明に係る実施形態を詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。また、実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。
＜実施形態１＞
図１は、実施形態１に係る画像投影システム１１の概略構成の一例を示す図である。画像投影システム１１は、表示制御装置２０と、プロジェクタ４０及び４２と、を備える。表示制御装置２０には、高解像度（４Ｋ）の画像が入力され、解像度変換、画像補正等が行われたのち、４Ｋプロジェクタ４０と２Ｋプロジェクタ４２に出力される。プロジェクタ４０及び４２は、解像度が異なる第１の投影装置および第２の投影装置の一例であり、スクリーン３０には投影対象の画像が重複投影される。本実施形態１では、低解像度と高解像度のプロジェクタの例として、２Ｋと４Ｋの解像度で説明するが、プロジェクタの解像度の比率は２倍に限らない。

表示制御装置２０は、例えば、ＰＣ（パーソナルコンピュータ）などの情報処理装置であり、逆ガンマ補正部１００と、ガンマ補正部１０１及び１０１と、解像度変換部２００と、画像補正部３００と、出力部４００とを備える。

逆ガンマ補正部１００は、４Ｋ入力画像に対して逆ガンマ補正を行う。解像度変換部２００は、入力画像から画素の階調の変化が２Ｋで解像度が４Ｋの画像（以下、低解像高解像度画像と記載する。）を生成する。また、４Ｋ入力画像を低解像度化して２Ｋの低解像度画像を生成する。

画像補正部３００は、解像度変換部２００で生成された低解像高解像度画像と、逆ガンマ補正部１００で補正された４Ｋ入力画像とを取得する。そして、両者の画素値の差分を補正値として４Ｋ入力画像を補正し、高解像度補正画像を生成する。

ガンマ補正部１０１は、画像補正部３００で補正された高解像度補正画像にガンマ補正を行い、出力部４００に送る。また、ガンマ補正部１０２は、解像度変換部２００で生成された低解像度画像にガンマ補正を行い出力部４００に送る。

出力部４００は、ガンマ補正された高解像度補正画像を４Ｋプロジェクタ４０へ、ガンマ補正された低解像度画像を２Ｋプロジェクタ２０へ出力する。

図１において、４Ｋの入力画像は第１解像度で表現された第１の画像、２Ｋの低解像度画像は第２解像度で表現された第２の画像、低解像高解像度画像は第３の画像の一例である。

図２は、本実施形態１に係るスタック投影のための処理を示す図である。

まず、解像度変換部２００の処理について説明する。

図２（ａ）は、４Ｋの入力画像５０を示している。画素集合５００は、解像度変換の被補間画素である隣り合う４つの画素であり、各画素値は（ＡＡ０、ＡＡ１、ＡＡ２、ＡＡ３）である。

図２（ｂ）は、図２（ａ）の入力画像５０を逆ガンマ補正した画像５１を示している。画素集合５０１は、逆ガンマ補正部１００によって補正された入力画像の画素集合５００に相当する。画素集合５０１の各画素値は（Ａ０、Ａ１、Ａ２、Ａ３）である。

解像度変換部２００は、画像５１に対して解像度変換して、図２（ｅ）で示す２Ｋの低解像度画像５２を生成する。画素５０２は、画素集合５０１に相当する。画素５０２の画素値（ａ）は、次の式（１）に示すように画素集合５０１の各画素値（Ａ０、Ａ１、Ａ２、Ａ３）の平均値とする。

ａ ＝ （Ａ０＋Ａ１＋Ａ２＋Ａ３）/４ ・・・ （１）

さらに、解像度変換部２００は、図２（ｄ）で示す画像５３を生成する。低解像高解像度画像５３は、解像度は入力画像に等しく高解像度であるが、各画素の階調の変化が低解像度画像５２と同じである。つまり、画素５０２に相当する画素集合５０４の各画素値は、画素５０２の画素値（ａ）と等しい。

次に、画像補正部３００の処理について説明する。画像補正部３００は、逆ガンマ補正部１００で補正された画像５１を補正し、高解像度補正画像５４を生成する。この際、解像度変換部２００で生成された低解像高解像度画像５３の画素値と、逆ガンマ補正された画像５１の画素値との差分を補正値とする。図２（ｃ）に具体的な処理を示す。画像５４の画素集合５０５は、画像５１の画素集合５０１及び画像５３の画素集合５０４に相当する。画素集合５０５の各画素値（Ａ００、Ａ１１、Ａ２２、Ａ３３）は、画素集合５０１の各画素値（Ａ０、Ａ１、Ａ２、Ａ３）と、画素集合５０４の各画素値（ａ、ａ、ａ、ａ）から下記式によって生成される。

Ａ００ ＝ Ａ０ − ａ ＋ Ａ０ ・・・ （２）
Ａ１１ ＝ Ａ１ − ａ ＋ Ａ１ ・・・ （３）
Ａ２２ ＝ Ａ２ − ａ ＋ Ａ２ ・・・ （４）
Ａ３３ ＝ Ａ３ − ａ ＋ Ａ３ ・・・ （５）

なお、上記の式（２）〜（５）は、それぞれ以下の式（６）〜（９）のように変換しても構わない。乗算はビットシフトで置き換えできる。

Ａ００ ＝ ２Ａ０ − ａ ・・・ （６）
Ａ１１ ＝ ２Ａ１ − ａ ・・・ （７）
Ａ２２ ＝ ２Ａ２ − ａ ・・・ （８）
Ａ３３ ＝ ２Ａ３ − ａ ・・・ （９）

以上のように、画像補正部３００で高解像度の入力画像が補正される。そして、高解像度補正画像５４はガンマ補正部１０１によってガンマ補正され、図２（ｆ）に示す画像５５となる。ここで、画素集合５０６（画素値（Ａ０'、Ａ１'、Ａ２'、Ａ３'））は、画素集合５０５（画素値（Ａ００、Ａ１１、Ａ２２、Ａ３３））に相当する。

また、低解像度画像５２はガンマ補正部１０２によってガンマ補正され、図２（ｇ）で示す画像５６となる。画素５０３（画素値（ａ'））は、画素５０２（画素値（ａ））に相当する。

画像５５は４Ｋプロジェクタ４０によって、画像５６は２Ｋプロジェクタ４２によってスクリーン３０にスタック投影される。すなわち、図２（ｈ）で示すような、画素集合５０６と画素５０３とが領域５０７で重なった画像５７が投影される。

次に、実施形態１に係るスタック投影の効果を図３及び図４を用いて説明する。図３は、解像度の異なるプロジェクタによって従来方式でスタック投影を行った際の投影画像の画素を一次元で模式的に示した図である。横軸は水平座標位置であり、縦軸は画素値を表している。図３（ａ）の画素６００と画素６０１は、図２（ｂ）の画素集合５０１で隣り合う、画素値（Ａ０、Ａ１）の２つの画素に相当する。図３（ｂ）の画素６０２は、図２（ｅ）の低解像度画像５２の画素５０２に相当する。一次元で説明する都合上、画素６０２の画素値は、画素６００と画素６０１の画素値の平均値とする。図３（ｃ）は、高解像度画像の画素６００と画素６０１に、低解像度画素の画素６０２をスタック投影した時の画素値６０４と、そのコントラスト６０３を示している。ここでコントラストとは隣接画素の画像信号の差であり、差が大きいほど鮮鋭感・解像感の高い画像を得ることができる。図３（ｄ）は、高解像度のプロジェクタを二台スタックした時の理想的な画素値６０６と、そのコントラスト６０５を示している。従来方式のスタック投影のコントラスト６０３と、理想的なスタック投影のコントラスト６０５とを比較すると、明らかに従来方式はコントラストが低く、高い解像感を得ることが出来ない。

図４は、実施形態１に係るスタック投影を行った際の模式図である。図４（ｂ）の画素集合６１０は、図２（ｄ）の低解像度高解像度画像５３の画素集合５０４（画素値（ａ））に相当する。

図４（ｃ）の画素６１１及び画素６１２は、図２（ｃ）の高解像度補正画像５４の画素集合５０５における隣り合う２つの画素に相当する。画素６１１の画素値は、低解像度高解像度画素６１０と高解像度画素６００の画素値の差分を補正値として画素６００の画素値から減算したものである。画素６１２の画素値は、画素６０１の画素値と画素集合６１０の画素値との差分を画素６０１に加算したものである。

図４（ｄ）の画素６１３は、図２（ｅ）の低解像度画像５２の画素５０２に相当する。一次元で説明する都合上、画素６１３の画素値は、画素６００と画素６０１の画素値の平均値とする。

図４（ｅ）は、高解像度補正画像（画素６１１と６１２）と、低解像度画像（画素６１３）とをスタック投影した時の画素値６１５と、そのコントラスト６１４である。実施形態１のコントラスト６１４と、図４（ｆ）に示す高解像度プロジェクタをニ台スタックした時の理想的なコントラスト６０５を比較すると、コントラストは同じになり、高い解像感を得ることができる。

なお、解像度変換部２００での低解像度画像の生成方法を、入力画像すなわち高解像度画像の平均値としているが、算出方法はこれに限定しない。被補間画素内で平均値以下最小値以上の画素を低解像度画像の画素として算出する。これは、前述した高解像度補正画像の算出式（２）〜（９）に示す通り、低解像度画像の画素値ａが小さいほどアンダーフローの発生が起こりにくくなり、結果、アンダーフローに起因する黒浮きの発生を抑制することができるからである。例えば、ガンマ空間で算出した平均値（実施形態２で述べる）、平均値に１．０以下の係数をかけた値、被補間画素の中央値または中央値よりも下の値を低解像度画像の画素として算出する。また、本実施形態１では２つの投影装置による概略構成を説明しているが、複数の投影装置の場合でも、高解像度側の画像を低解像度側の画像で補正することは可能である。また、本実施形態１では画像投影領域の画像全体が重複するスタック投影の概略構成を説明しているが、画像投影領域の一部を重複させるタイル投影の場合でも、重複部分にのみ高解像度側の画像を低解像度側の画像で補正することは可能である。

図５は、表示制御装置２０のハードウェア構成の一例を示すブロック図である。表示制御装置２０は、ＣＰＵ１００１と、ＲＯＭ１００２と、ＲＡＭ１００３と、補助記憶装置１００４と、表示部１００５と、操作部１００６と、通信部１００７と、バス１００８とを有する。

ＣＰＵ１００１は、ＲＯＭ１００２やＲＡＭ１００３に格納されているコンピュータプログラムやデータを用いて表示制御装置２０の全体を制御する。すなわち、ＣＰＵ１００１が、ＲＯＭ１００２等に格納されているプログラムに従って動作することで、図１で述べたような表示制御装置２０の機能が実現される。

ＲＯＭ１００２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ１００３は、補助記憶装置１００４から供給されるプログラムやデータ、及び通信部１００７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１００４は、例えばハードディスクドライブ等で構成される。

表示部１００５は、例えば、液晶ディスプレイ等で構成され、表示制御装置２０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部１００６は、例えば、キーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１００１に入力する。通信部１００７は、外部の装置と通信を行う。バス１００８は、表示制御装置２０の各構成部を繋いで情報を伝達する。

図６は、実施形態１に係る表示制御装置２０の処理を示すフローチャートである。図６に示す処理は、ＣＰＵ１００１がＲＯＭ１００２に格納されたプログラムをＲＡＭ１００３に展開して実行し、表示制御装置２０の各ブロック（図１参照）を機能させることで実現される。

ステップＳ１００において、高解像度（４Ｋ）の入力画像が、表示制御装置２０に入力される（図２（ａ）に対応）。ステップＳ１０１において、逆ガンマ補正部１００は、入力画像に対し逆ガンマ補正を行う（図２（ａ）→（ｂ）に対応）。

ステップＳ１０２において、解像度変換部２００は、輝度リニアの入力画像から低解像度画像を生成する（図２（ｂ）→（ｅ）に対応）。輝度リニアの空間で生成することにより、物理的に正しい画素値を演算及び算出することができる。一般的な画像処理は、輝度リニア空間で行われる。

ステップＳ１０３において、ガンマ補正部１０２は、ステップＳ１０２で生成した低解像度画像に対しガンマ補正を行う（図２（ｅ）→（ｇ）に対応）。ステップＳ１０４において、出力部４００は、ガンマ補正された低解像度画像を２Ｋプロジェクタ４２に出力する（図２（ｇ）→（ｈ）に対応）。

ステップＳ１０５において、解像度変換部２００は、輝度リニアの入力画像から低解像高解像度画像を生成する（図２（ｂ）→（ｄ）に対応）。ステップＳ１０６において、画像補正部３００は、輝度リニアの入力画像と低解像高解像度画像の画素値の差分を補正値として、輝度リニアの入力画像を補正し、高解像度補正画像を生成する（図２（ｂ）及び（ｄ）→（ｃ）に対応）。

ステップＳ１０７において、ガンマ補正部１０１は、高解像度補正画像にガンマ補正を行う（図２（ｃ）→（ｆ）に対応）。ステップＳ１０８において、出力部４００は、ガンマ補正された高解像度補正画像を４Ｋプロジェクタ４０に出力（図２（ｆ）→（ｈ）に対応）し、処理は終了する。

このように、ステップＳ１０３とステップＳ１０８に応じて、プロジェクタ４０及び４２がスクリーン３０に画像を投影することにより、高解像度のスタック投影を実現する。

上記実施形態では、説明のしやすい解像度として、高解像度投影装置の解像度（画素数）が、低解像度投影装置の解像度（画素数）の縦横とも２倍である例を示した。

しかしながら、３倍であっても２倍と同様に、低解像度画像を作成した後、入力画像と低解像度画像の差分を用いて、高解像度画像を作成することが出来る。入力画像の縦横計４画素から低解像度画像を作成する代わりに、３倍の場合には、入力画像の縦横計９画素から低解像度画像を作成すればよい。

また、低解像度投影装置と高解像度投影装置の解像度（画素数）が整数倍でない場合は、低解像度画像を作成するときに、画素補間を用いる必要がある。低解像度画像のある画素が入力画像の複数の画素に相当する場合、複数の画素との距離によって、重みづけを変えて補間を行なう必要がある。一般的に使われている線形補間法を用いれば、以下の式で計算できる。

ａ ＝ Ａ０＊（１−α）＊（１−β） ＋
Ａ１＊ α ＊（１−β） ＋
Ａ２＊（１−α）＊ β ＋
Ａ３＊ α ＊ β） ・・・ （１０）

また、双方のプロジェクタをスタックするときに、キーストーン変形を用いる場合には、整数倍の解像度の組み合わせにおいても、上記と同様の補間計算を行ない、幾何変形した低解像度画像を作成する。なお、キーストーン変形は、低解像度プロジェクタ側にておこなう方が望ましく、変形計算は、プロジェクタ内の変形機能で行なっても良い。高解像度プロジェクタは、解像感が減るのでキーストーン変形をしない方が望ましいが、設置の都合で行なっても良い。

以上、本実施形態１では、高解像度の入力画像から低解像度画像を生成し、入力画像と低解像度画像との画素値の差分に基づいて入力画像を補正して高解像度補正画像を生成する。これにより、解像度の異なるプロジェクタのスタック投影時に高い解像感を得ることができる。
＜実施形態２＞
実施形態１では、逆ガンマ補正後の高解像度画像から低解像度画像を生成した。本実施形態２では、逆ガンマ補正前の高解像度画像から低解像度画像を生成する。これにより、高解像度画像の補正の際に発生するアンダーフローを抑制することができる。

図７は、実施形態２に係る画像投影システム１２の概略構成の一例を示す図である。実施形態１に係る画像投影システム１１と同じ符号のブロックは、同じ機能構成であるため説明を省略する。

画像投影システム１２は、表示制御装置２２と、プロジェクタ４０及び４２と、スクリーン３０とから構成される。表示制御装置２２には、高解像度（４Ｋ）の画像が入力され、４Ｋプロジェクタ４０と２Ｋプロジェクタ４２に出力される。

表示制御装置２２は、逆ガンマ補正部１００及び１０３と、ガンマ補正部１０１と、解像度変換部２０１と、画像補正部３０１と、出力部４００とを備える。

解像度変換部２０１は、逆ガンマ補正前の４Ｋ入力画像から、画素の階調の変化が２Ｋで解像度が４Ｋの低解像高解像度画像と、２Ｋの低解像度画像とを生成する。生成された低解像度画像は、出力部４００を介して２Ｋプロジェクタ４２によって投影される。

画像補正部３０１は、逆ガンマ補正部１００によって逆ガンマ補正された４Ｋ入力画像と、逆ガンマ補正部１０３によって逆ガンマ補正された低解像高解像度画像とに基づいて、高解像度補正画像を生成する。

ガンマ補正部１０１は、画像補正部３０１によって生成された高解像度補正画像にガンマ補正を行う。この画像は、出力部４００を介して４Ｋプロジェクタ４０によって投影される。

実施形態１に係る表示制御装置２０との違いは、解像度変換部２０１における低解像高解像度画像の生成が、逆ガンマ補正の前に行われていることである。これにより、低解像高解像度画像の画素値が逆ガンマ補正の後に生成するよりも低めにすることができ、高解像度補正画像の黒浮きを抑えたスタック投影を行うことができる。これについて、図８及び図９で詳細を説明する。

図８は、実施形態１と実施形態２とで行われるスタック投影を説明する図である。図３で説明したのと同様に、投影画像の画素を一次元で模式的に示しており、横軸は水平座標位置で、縦軸は画素値を表している。

図８（ａ）は、逆ガンマ補正前の４Ｋ入力画像である高解像度画像のある隣り合う画素（画素値６２０）である。図８（ｂ）〜（ｆ）に示す一連の処理は、この画像に逆ガンマ補正をかけた後に低解像高解像度画像を生成して高解像度補正画像を生成する実施形態１の処理を示しており、図８（ｂ）〜（ｇ）に示す画素は、図８（ａ）に示す画素に相当する。図８（ｂ）は、４Ｋ入力画像に逆ガンマ補正をかけた画像の画素（画素値６２１）を示している。図８（ｃ）で示す低解像高解像度画像における画素値６２２は、図８（ｂ）で示した画素の平均で求めた画素値である。図８（ｅ）で示す低解像度画像の画素値６２４も同様である。すなわち、画素値６２２と６２４とは等しい。図８（ｄ）は、実施形態１で説明したように以下の式（１１）で求められる高解像度画像の補正画素の画素値６２３である。

補正画像の画素値６２３
＝ 高解像度画像の画素値６２１＋
（高解像度画像の画素値６２１−低解像高解像度画像の画素値６２２）
・・・（１１）

すなわち、解像度変換によって生成された低解像度画像と高解像度画像との画素値の差を、高解像度画像の補正値とするものである。

しかし、図８（ｄ）に示すように、低解像高解像度画像の画素値が高解像度画像の画素値よりもある一定値以上大きい場合、具体的に式（１１）にアンダーフローが発生する場合に、高解像度補正画像の補正値がクリップされてしまう。この状態で、図８（ｅ）の低解像度画像（画素値６２４）とスタックすると、図８（ｆ）の画像（画素値６２５）が投影される。

図８（ｇ）は、図８（ｂ）で示した高解像度画像を２つスタックさせた画像の画素（画素値６２７）である。画素値６２５と６２７とを比較すると差分６２６が発生し、これが黒浮きとなりボケとなって視認されてしまう。

一方、図８（ｈ）〜（ｍ）に示される一連の実施形態２に係る処理では、逆ガンマ補正前の４Ｋ入力画像である高解像度画像（画素値６２０）の画素値の平均値から低解像度高解像度画像（画素値６３０）の画素値を生成する。そして、生成した画像に逆ガンマ補正をかけて低解像高解像度画像（画素値６３２）を生成する。ここで、図８（ｃ）の画素値６２２と図８（ｊ）の画素値６３２とを比較すると、逆ガンマ補正前に算出された平均値である画素値６３２のほうが、値が低くなる。これを、図９を使って説明する。

図９は、ガンマ特性を示すグラフである。図９において、縦軸７００は、ガンマ空間（１／２．２乗）に応じた画素値であり、横軸７０１は、輝度リニアな画素値を示している。また、曲線７０２はガンマ（１／２．２乗）のカーブ曲線である。点７０３は、ガンマ空間における０．７と０．１の平均値を示しており、点７０４はガンマ空間の０．７と０．１に逆ガンマ補正をかけて輝度リニア空間での平均値を示したものである。曲線７０２に示す様にカーブが上に持ち上がっているため、矢印７０５に相当する分、輝度リニアにおける平均値が低くなる。

以上のように、図８（ｊ）の低解像高解像度画像の画素値６３２が低く生成されることにより、高解像度補正画像の画素値６３３のアンダーフローが抑制される。このように補正された高解像度画像と、低解像度画像とがスタック投影されることにより、アンダーフローに起因する黒浮きを抑えつつ高い解像感を得ることができる。

なお、本実施形態２においては、逆ガンマ補正前のガンマ系の階調値を用いて、低解像度画像を作成したが、低解像度画像の計算方法はこれに限ることはない。入力画像の対象画素値に対して、リニア系階調値の平均値を上限として、最低階調画素の階調値を下限とする、その間の値を低解像度画像とすれば良く、ガンマ系を用いたのは、入力画像がガンマ系階調値を持つことが多いからである。

図１０は、実施形態２に係る表示制御装置２２の処理を示すフローチャートである。

ステップＳ２００において、高解像度（４Ｋ）の入力画像が、表示制御装置２２に入力される。ステップＳ２０１において、解像度変換部２０１は、逆ガンマ補正前の入力画像から低解像度画像を生成する。ステップＳ２０２において、出力部４００は、解像度変換部２０１によって生成された低解像度画像を２Ｋプロジェクタ４２へ出力する。

ステップＳ２０３において、解像度変換部２０１は、逆ガンマ補正前の入力画像から低解像高解像度画像を生成する。ステップＳ２０４において、逆ガンマ補正部１０３は、生成された低解像高解像度画像に逆ガンマ補正を行う。

ステップＳ２０５において、画像補正部３０１は、逆ガンマ補正された入力画像と低解像高解像度画像の画素値の差分とを補正値として、逆ガンマ補正された入力画像を補正し、高解像度補正画像を生成する。

ステップＳ２０６において、ガンマ補正部１０１は、高解像度補正画像にガンマ補正を行う。ステップＳ２０７で、出力部４００は、ガンマ補正された高解像度補正画像を４Ｋプロジェクタ４０に出力する。

このように、ステップＳ２０２とステップＳ２０７に応じて、プロジェクタ４０及び４２が画像をスクリーン３０に投影することにより、高解像度のスタック投影を実現する。

以上、本実施形態２では、逆ガンマ補正前に低解像度画像を生成することにより、高解像度画像を補正する際に発生するアンダーフローを抑制し、黒浮きを抑える。これにより、解像度の異なるプロジェクタのスタック投影時に高い解像感を得ることができる。
＜実施形態３＞
本実施形態３では、高解像度（４Ｋ）と低解像度（２Ｋ）の画像が入力される。逆ガンマ補正前の低解像度画像から生成された低解像高解像度画像に基づいて、高解像度画像の補正が行われる点で、実施形態１及び２と異なる。

図１１は、実施形態３に係る画像投影システム１３の概略構成の一例を示す図である。実施形態１及び２の説明と同じ符号のブロックは、機能構成が同じであるため説明を省略する。

画像投影システム１３は、表示制御装置２４と、プロジェクタ４０及び４２と、スクリーン３０とから構成される。表示制御装置２２には、高解像度（４Ｋ）と低解像度（２Ｋ）の画像が入力され、解像度変換、画像補正等がされて、４Ｋプロジェクタ４０と２Ｋプロジェクタ４２に出力される。

表示制御装置２４は、逆ガンマ補正部１００及び１０３と、ガンマ補正部１０１と、解像度変換部２０２と、画像補正部３０１と、出力部４００とを備える。解像度変換部２０２は、２Ｋの入力画像から低解像高解像度画像を生成する。

図１２は、本実施形態３に係るスタック投影のための処理を示す図である。まず、図１２（ｂ）の２Ｋ入力画像６１の画素５２２は、図１２（ｈ）で示すスタック投影画像６７の領域５２７に相当する画素として２Ｋプロジェクタ４２に出力される。また、２Ｋ入力画像６１の画素５２２は、解像度変換部２０２によって図１２（ｃ）で示す低解像高解像度画像６２の画素集合５２３に変換される。

次に、逆ガンマ補正部１０３は、低解像高解像度画像６２に逆ガンマ補正をかけ、図１２（ｅ）で示す画像６４を生成する。ここで、画像６４の画素集合５２４は、低解像高解像度画像６２の画素集合５２３に相当する。同時に、逆ガンマ補正部１００は、４Ｋ入力画像６０に逆ガンマ補正をかけ、図１２（ｄ）で示す画像６３を生成する。画像６３の画素集合５２１は、４Ｋ入力画像６０の画素集合５２０に相当する。

画像補正部３０１は、逆ガンマ補正された両画像６３及び６４に基づいて、図１２（ｆ）で示す高解像度補正画像６５を生成する。画素集合５２５の画素値は、実施形態１で説明したように、画素集合５２１と５２４の画素値の差分を補正値として生成される。

ガンマ補正部１０１は、高解像度補正画像６５にガンマ補正をかけ、図１２（ｇ）で示す画像６６を生成する。そして、画像６６は、出力部４００を介して、４Ｋプロジェクタ４０に出力される。

その結果、図１２（ｈ）に示すように、画素５２２と画素集合５２６が重なった領域５２７がスクリーン３０にスタック投影される。

図１３は、実施形態３に係る表示制御装置２４の処理を示すフローチャートである。

ステップＳ３００において、高解像度（４Ｋ）の入力画像が、逆ガンマ補正部１００に入力される（図１２（ａ）に対応）。ステップＳ３０１において、逆ガンマ補正部１００は、入力画像に対し逆ガンマ補正を行う（図１２（ａ）→（ｄ）に対応）。

また、それと同じくして、ステップＳ３０２において、低解像度（２Ｋ）の入力画像が入力され（図１２（ｂ）に対応）、ステップＳ３０３において、出力部４００を介して、２Ｋプロジェクタ４２に出力される（図１２（ｂ）→（ｈ）に対応）。

ステップＳ３０４において、解像度変換部２０２は、２Ｋの入力画像から低解像高解像度画像を生成する（図１２（ｂ）→（ｃ）に対応）。ステップＳ３０５において、逆ガンマ補正部１０３は、生成された低解像高解像度画像に逆ガンマ補正を行う（図１２（ｃ）→（ｅ）に対応）。

ステップＳ３０６において、画像補正部３０１は、逆ガンマ補正された、４Ｋ入力画像と低解像高解像度画像とに基づいて、高解像度補正画像を生成する（図１２（ｄ）及び（ｅ）→（ｆ）に対応）。ステップＳ３０７において、ガンマ補正部１０１は、高解像度補正画像をガンマ補正する（図１２（ｆ）→（ｇ）に対応）。そして、ステップＳ３０８において、出力部４００を介して、４Ｋプロジェクタ４０に出力される（図１２（ｇ）→（ｈ）に対応）。

このように、ステップＳ３０３とステップＳ３０８に応じて、プロジェクタ４０及び４２が画像をスクリーン３０に投影することにより、高解像度のスタック投影を実現する。

以上、本実施形態３では、高解像度の入力画像と低解像度の入力画像の画素値の差分を、高解像度の入力画像に対して補正する。これにより、解像度の異なるプロジェクタのスタック投影時に高い解像感を得ることができる。
＜実施形態４＞
本実施形態４では、低解像度の入力画像に対して解像度の異なるプロジェクタのスタック投影を行う。

図１４は、実施形態４に係る画像投影システム１４の概略構成の一例を示す図である。実施形態１〜３の説明と同じ符号のブロックは、機能構成が同じであるため説明を省略する。

画像投影システム１４は、表示制御装置２６と、プロジェクタ４０及び４２と、スクリーン３０とから構成される。表示制御装置２６には、低解像度（２Ｋ）の画像が入力され、解像度変換、画像補正等が行われたのち、４Ｋプロジェクタ４０と２Ｋプロジェクタ４２に出力される。

表示制御装置２６は、逆ガンマ補正部１０４と、解像度変換部２０３と、画像補正部３０２と、ガンマ補正部１０１と、出力部４００とを備える。

逆ガンマ補正部１０４は、２Ｋの入力画像に対してガンマ補正を行う。解像度変換部２０３は、低解像度画像を高解像度化して高解像度画像を生成する。例えば、超解像技術によって解像度が補間される。また、低解像度画像から低解像高解像度画像も生成される。画像補正部３０２は、高解像度画像を補正する。この際、解像度変換部２０３で生成された高解像度画像と、低解像高解像度画像の画素値の差分を補正値とする。

高解像度補正画像はガンマ補正部１０１によってガンマ補正され、出力部４００を介して、４Ｋプロジェクタ４０に出力される。また、２Ｋ入力画像は出力部４００を介して、２Ｋプロジェクタ４２に出力される。そして、プロジェクタ４０及び４２によってスクリーン３０にスタック投影される。

図１５は、本実施形態４に係るスタック投影のための処理を示す図である。

まず、図１５（ａ）の２Ｋ入力画像７０の画素５３０は、図１５（ｈ）の投影画像７６の領域５３６に重なる画素として２Ｋプロジェクタ４２に出力される。同時に、入力画像７０は、逆ガンマ補正部１０４によって、図１５（ｂ）に示す画像７１に逆ガンマ補正される。画像７１の画素５３１は、画像７０の画素５３０に相当する。

次に、画像７１は、解像度変換部２０３によって、図１５（ｃ）に示す高解像度画像７２と、図１５（ｅ）に示す低解像高解像度画像７３に変換される。画素集合５３２及び５３３は、画像７１の画素５３１に相当する。なお、低解像度画像から高解像度画像を生成する方法の一例として超解像技術を使用する。

この両画像７２及び７３を画像補正部３０２に入力し、図１５（ｄ）の高解像度補正画像７４を生成する。実施形態１で説明したように、高解像度補正画像７４の画素集合５３４の画素値は、高解像度画像７２の画素集合５３２と低解像高解像度画像７３の画素集合５３３の画素値の差分に基づいて生成される。

高解像度補正画像７４は、ガンマ補正部１０１によってガンマ補正され、図１５（ｇ）に示す画像７５となり、４Ｋプロジェクタ４０に出力される。結果、図１５（ｈ）に示すように、画素５３０と画素集合５３５が領域５３６で重なる画像７６がスクリーン３０にスタック投影される。

次に、実施形態４に係るスタック投影の効果を図１６及び図１７を用いて説明する。図１６は、解像度の異なるプロジェクタによって従来方式でスタック投影を行った際の投影画像の画素を一次元で模式的に示した図である。図１６（ａ）は、入力される低解像度画像の画素６７０（画素値ａ）を示す。図１６（ｂ）は、図１６（ａ）の低解像度画像に対して拡大処理をおこなって生成された画素６７１及び６７２（画素値（Ａ０，Ａ１））である。図１６（ｃ）は、図１６（ａ）の低解像画像に、図１６（ｂ）の高解像度画像をスタック投影した時の画素値６７３と、そのコントラスト６７４を示している。

図１７は、実施形態４に係るスタック投影を行った際の模式図である。図１７（ａ）は、入力される低解像度画像の画素６８０（画素値ａ）である。図１７（ｂ）は、低解像高解度画像の画素集合６８１（画素値ａ）である。図１７（ｃ）は、図１７（ａ）の低解像度画像に対して拡大処理をおこなった画素６８２及び６８３（画素値（Ａ０，Ａ１））である。図１７（ｄ）は、高解像度補正画像の画素６８４及び６８５である。図１７（ｅ）は、図１７（ａ）の低解像画像に、図１７（ｄ）の高解像度補正画像をスタック投影した時の画素値６８７と、そのコントラスト６８６である。本実施形態４のコントラスト６８６と、従来方式によるコントラスト６７４を比較すると、本実施形態４の方が、コントラストが高いことが分かる。なお、解像度変換部２０３での高解像度画像の生成方法を超解像技術としているが、算出方法はこれに限定しない。バイリニア、バイキュービックなどの補間方法を用いても本実施形態４は実現できる。

図１８は、実施形態４に係る表示制御装置２６の処理を示すフローチャートである。

ステップＳ４００において、低解像度（２Ｋ）の入力画像（図１５（ａ）に対応）が入力され、ステップＳ４０２で２Ｋプロエジェクタ４２に出力される（図１５（ｈ）に対応）。

ステップＳ４０２で、逆ガンマ補正部１０４は、２Ｋの入力画像に逆ガンマ補正をかける（図１５（ａ）→（ｂ）に対応）。ステップＳ４０３で、解像度変換部２０３は、超解像技術により高解像度画像を生成する（図１５（ｂ）→（ｃ）に対応）。それとともに、ステップＳ４０４で、解像度変換部２０３は、低解像高解像度画像を生成する（図１５（ｂ）→（ｅ）に対応）。

ステップＳ４０５で、画像補正部３０２は、高解像度画像と低解像高解像度画像の差分を補正値として高解像度画像を補正し、高解像度補正画像を生成する（図１５（ｃ）及び（ｅ）→（ｄ）に対応）。ステップＳ４０６で、ガンマ補正部１０１は、高解像度補正画像にガンマ補正をかける（図１５（ｄ）→（ｇ）に対応）。ステップＳ４０７で、ガンマ補正された高解像度補正画像は、出力部４００を介して４Ｋプロジェクタ４０に出力される。ステップＳ４０１とステップＳ４０７に応じてプロジェクタ４０及び４２はスクリーン３０に画像を投影し、高解像度のスタック投影を実現する。

以上、本実施形態４により、低解像度の入力画像に対して、高解像度画像を生成し、低解像度画像と高解像度画像の差分を高解像度画像に対して補正することで、解像度の異なるプロジェクタのスタック投影時に高い解像感を得ることができる。

本実施形態４においても、低解像度プロジェクタと高解像度プロジェクタの解像度の比率は２倍に限ることなく、３倍や１．７５倍などであっても、キーストーンがあっても実施形態１と同様に実現できる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１，１２，１３，１４ 画像投影システム、２０，２２，２４，２６ 表示制御装置、３０ スクリーン、４０ ４Ｋプロジェクタ、４２ ２Ｋプロジェクタ、１０１，１０２ ガンマ補正部、１００，１０３ 逆ガンマ補正部、２００，２０１，２０２，２０３ 解像度変換部、３００，３０１，３０２ 画像補正部、４００ 出力部。

Claims (23)

1. 第１解像度で画像を投影する第１の投影装置と、前記第１解像度よりも低い第２解像度で画像を投影する第２の投影装置とを含む複数の投影装置による重複投影を制御する表示制御装置であって、
   投影対象の入力画像を前記第１解像度で表現した第１の画像と、前記入力画像を前記第２解像度で表現した第２の画像とを取得する取得手段と、
   前記第１の画像の画素値を、前記第２の画像の画素値に基づいて補正する画像補正手段と、
   前記補正された第１の画像と前記第２の画像とを、それぞれ前記第１の投影装置と前記第２の投影装置とに出力する出力手段と、を備える表示制御装置。
2. 前記第２の画像の解像度が前記第１解像度となるように変換して第３の画像を生成する変換手段をさらに備え
   前記画像補正手段は、前記第１の画像の画素値を、前記第３の画像の対応する画素の画素値に基づいて補正する、請求項１に記載の表示制御装置。
3. 前記画像補正手段では、前記第１の画像の画素値から前記第３の画像の画素値を差し引いた値を、第１の画像の画素値に加える、請求項２に記載の表示制御装置。
4. 前記入力画像は、前記第１解像度の画像であり、
   前記取得手段は、前記入力画像を前記第１の画像として取得し、前記入力画像を低解像度化して前記第２の画像を取得する、請求項２または請求項３に記載の表示制御装置。
5. 前記入力画像を逆ガンマ補正する逆ガンマ補正手段を備え、
   前記取得手段は、逆ガンマ補正後の前記入力画像を前記第１の画像として取得し、前記逆ガンマ補正後の前記入力画像を低解像度化して前記第２の画像を取得する、請求項４に記載の表示制御装置。
6. 前記出力手段は、前記補正された第１の画像と前記第２の画像をそれぞれガンマ補正して出力する、請求項５に記載の表示制御装置。
7. 前記入力画像を逆ガンマ補正する逆ガンマ補正手段を備え、
   前記取得手段は、前記入力画像を逆ガンマ補正して前記第１の画像を取得し、逆ガンマ補正前の前記入力画像を低解像度化して前記第２の画像を取得し、
   前記変換手段は、前記第２の画像を前記第１解像度に変換した画像に逆ガンマ補正を行って前記第３の画像を生成する、請求項２から請求項４のいずれか一項に記載の表示制御装置。
8. 前記出力手段は、前記補正された第１の画像をガンマ補正して前記第１の投影装置へ出力し、前記第２の画像を前記第２の投影装置へ出力する、請求項７に記載の表示制御装置。
9. 前記入力画像を逆ガンマ補正する逆ガンマ補正手段を備え、
   前記取得手段は、前記第１解像度で表現された入力画像を逆ガンマ補正して前記第１の画像を取得し、前記第２解像度で表現された入力画像を第２の画像として取得し、
   前記変換手段は、前記第２の画像を前記第１解像度に変換した画像に逆ガンマ補正を行って前記第３の画像を生成する、請求項２または請求項３に記載の表示制御装置。
10. 前記入力画像は、前記第２解像度の画像であり、
    前記取得手段は、前記入力画像を前記第２の画像として取得し、前記入力画像を高解像度化して前記第１の画像を取得する、請求項２または請求項３に記載の表示制御装置。
11. 前記入力画像を逆ガンマ補正する逆ガンマ補正手段を備え、
    前記取得手段は、前記逆ガンマ補正された前記入力画像を高解像度化して前記第１の画像を取得し、
    前記変換手段は、前記逆ガンマ補正された前記入力画像の解像度が前記第１解像度となるように変換して前記第３の画像を生成する、請求項１０に記載の表示制御装置。
12. 前記出力手段は、前記補正された第１の画像をガンマ補正して前記第１の投影装置へ出力し、前記第２の画像を前記第２の投影装置へ出力する、請求項９から請求項１１のいずれか一項に記載の表示制御装置。
13. 前記取得手段は、前記入力画像の複数の画素から画素値が平均値以下最小値以上の画素を生成して前記低解像度化を行う請求項４に記載の表示制御装置。
14. 前記取得手段は、前記入力画像の複数の画素から画素値が平均値の画素を生成して前記低解像度化を行う請求項４に記載の表示制御装置。
15. 前記取得手段は、前記入力画像の複数の画素から画素値が平均値より低い値の画素を生成して前記低解像度化を行う請求項４に記載の表示制御装置。
16. 前記取得手段は、前記入力画像の複数の画素から画素値が中央値または中央値よりも低い値の画素を生成して前記低解像度化を行う請求項４に記載の表示制御装置。
17. 前記取得手段は、前記入力画像の複数の画素に対してガンマ空間で算出した画素値の平均を画素値とする画素を生成して前記低解像度化を行う請求項４に記載の表示制御装置。
18. 前記取得手段は、超解像によって前記入力画像の高解像度化を行う請求項１１に記載の表示制御装置。
19. 第１解像度で画像を投影する第１の投影装置と前記第１解像度よりも低い第２解像度で画像を投影する第２の投影装置とを含む複数の投影装置と、
    前記複数の投影装置による重複投影を制御する表示制御装置と、備える画像投影システムであって、
    前記表示制御装置は、
    投影対象の入力画像を前記第１解像度で表現した第１の画像と、前記入力画像を前記第２解像度で表現した第２の画像とを取得する取得手段と、
    前記第１の画像の画素値を、前記第２の画像の画素値に基づいて補正する画像補正手段と、
    前記補正された第１の画像と前記第２の画像とを、それぞれ前記第１の投影装置と前記第２の投影装置とに出力する出力手段とを含む、ことを特徴とする画像投影システム
20. 前記複数の投影装置によって投影される画像は、画像全体が重複されるように投影されることを特徴とする請求項１９に記載の画像投影システム。
21. 前記複数の投影装置によって投影される画像は、画像の一部が重複されるように投影されることを特徴とする請求項１９に記載の画像投影システム。
22. 第１解像度で画像を投影する第１の投影装置と、前記第１解像度よりも低い第２解像度で画像を投影する第２の投影装置とを含む複数の投影装置による重複投影を制御する表示制御装置の制御方法であって、
    投影対象の入力画像を前記第１解像度で表現した第１の画像と、前記入力画像を前記第２解像度で表現した第２の画像とを取得する取得工程と、
    前記第１の画像の画素値を、前記第２の画像の画素値に基づいて補正する画像補正工程と、
    前記補正された第１の画像と前記第２の画像とを、それぞれ前記第１の投影装置と前記第２の投影装置とに出力する出力工程と、を備える表示制御装置の制御方法。
23. コンピュータに、請求項２２に記載の制御方法を実行させるためのプログラム。

Images