JP2020071354A - 投影システムおよび投影方法 - Google Patents

Abstract

【課題】低輝度な投影装置でも印刷物への重畳投影においてＨＤＲ表現することを可能とする投影システムおよび投影方法を提供することである。【解決手段】入力画像の輝度分布を取得する第一の輝度分布取得手段、輝度強調対象の輝度分布を取得する第二の輝度分布取得手段、投影領域を決定する決定手段、前記決定手段が決定した領域に投影する投影手段、と、を備え、前記決定手段は前記第一と第二の輝度分布から表示輝度が不足する領域を検出し、その中から投影領域を決定することを特徴とする投影システム。【選択図】図１

Description

本発明は、投影装置に関し、印刷物や他の投影装置の投影領域に重畳投影する際に適した投影システムおよび投影方法に関する。

近年、液晶ディスプレイや有機ＥＬディスプレイ、投影装置等の電子ディスプレイ装置において、映像表示能力の改善がなされており、特に表示輝度の改善により、ダイナミックレンジが拡大されてきている。一方で、印刷物については、ダイナミックレンジは印刷物そのもののダイナミックレンジに依存し、従来ＨＤＲ（ハイダイナミックレンジ）画像を表現するには十分なコントラストが得られなかった。印刷物の高階調領域を更に明るく見せる為に、従来では鑑賞時に均一照明やスポット照明を印刷物にあてていた。しかし、この方法では印刷物の低階調領域にも照明が当たっている為、黒が浮いてしまい、コントラストは向上しなかった。

そこで、黒浮きを抑え、ダイナミックレンジを改善させるために、印刷物の元データ画像から、領域毎に輝度を変調したダイナミックレンジ拡大用の画像を生成し、プロジェクタで当該画像を印刷物に重畳して投影する技術がある。

特許文献１には、印刷物と投影画像を重畳させる技術が開示されている。デジタルスチルカメラなどの撮像装置で撮影した画像やＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）等の基本画像情報から印刷物を生成し、さらに基本画像情報のコントラスト情報に基づいてダイナミックレンジを拡張する画像を生成する。これを投影画像として印刷物に重畳する。この方法により、印刷物上の暗部にあたる投影光の光量をさげ、明部にあたる投影光の光量を上げることができるようになる為、印刷物のダイナミックレンジを向上させることができる。

特開２００８−１２２５５８号公報

しかしながら、上述の特許文献に開示された従来技術では、印刷物と照明用の投影装置が一体となっており、投影面上の最大出力輝度は投影装置の光源の出力可能な光量に依存していた。

具体的にＨＤＲでは表示輝度が絶対輝度で定義される為、投影装置の光量は、印刷物への重畳投影時にその表示輝度がＨＤＲで定義されている表示輝度になるべく近づけることが出来る値でなければならない。その為、高輝度な投影装置が照明用に必要となってしまっていた。一般的に高輝度であるほど、投影装置は高価になってしまう為、結果高価な照明用投影装置が必要となってしまった。

そこで、本発明の目的は、低輝度な投影装置でも印刷物への重畳投影においてＨＤＲ表現することを可能とする投影システムおよび投影方法を提供することにある。

上記の目的を達成するために、本発明に係る投影システムは、
入力画像の輝度分布を取得する第一の輝度分布取得手段、輝度強調対象の輝度分布を取得する第二の輝度分布取得手段、投影領域を決定する決定手段、前記決定手段が決定した領域に投影する投影手段、を備え、前記決定手段は前記第一と第二の輝度分布から表示輝度が不足する領域を検出し、その中から投影領域を決定することを特徴とする。

本発明によれば、低輝度な投影装置でも印刷物への重畳投影においてＨＤＲ表現することを可能とする投影システムおよび投影方法を提供することができる。

第一の実施例のシステム構成図である。 第一の実施例で用いる投影装置１００のブロック図である。 投影装置１００内の画像処理部１４０の内部の詳細を示すブロック図である。 第一の実施例の輝度調整方法を示すフローチャート図である。 撮像画像の取得方法を示す図４のサブフローチャート図である。 印刷領域の輝度分布取得方法を示す図４のサブフローチャート図である。 第一の実施例で用いる画像群を示す図である。 投影装置１００の投影画像の生成方法を示す図である。 第二の実施例のシステム構成図である。 第二の実施例の輝度調整方法を示すフローチャート図である。 ガイド画像投影方法を示す図１０のサブフローチャート図である。 第二の実施例で用いる画像群を示す図である。

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。

以下に、実施例を用いて本発明の詳細な説明を行う。本発明において、輝度とは、投影対象物の明るさの指標であればよい。実施例１では、視感度に略比例するＹ値を用いる。実施例２では、三原色Ｒ、Ｇ、Ｂ毎の光強度を用いる。

以下、本発明の第１の実施例による、投影面の投影対象物の元画像を入力画像とし、投影面の投影対象物の輝度を測定して得られる輝度分布のうち、入力画像の輝度分布と比較して、輝度が足りない領域を検出し、投影によって輝度を足す方法について説明する。

図１は、本発明における投影装置１００を用いた印刷物に投影画像を重畳して印刷物のダイナミックレンジを向上するための画像表示システムの一例である。

投影装置１００と印刷装置３０は映像入力装置１０から元画像信号を入力される。印刷装置３０は、当該画像を印刷し、印刷画像４０を生成する。印刷画像は印刷装置から取り出され、室内の壁に掛けられ鑑賞に供されている。輝度強調対象は壁に掛けられたこの印刷物であり、室内照明２１によって略均一に照明されている。投影装置１００は、投影面の投影対象物の元画像を入力画像とし、階調変換などを施し、投影画像として投影領域５０に投影する。投影装置１００には、撮像部２０が接続され、撮像部２０は印刷領域４０を含む領域を撮像領域６０として、撮像画像から撮像領域６０内の輝度分布を取得している。

なお、本実施例では撮像領域６０は印刷画像４０より広い領域としたが、印刷画像４０を含む領域を取得できていれば、必ずしも、より広い領域でなくともかまわない。

以上のように、映像入力装置１０から入力された画像の輝度分布と撮像部２０により測定された輝度分布に基づいて、投影画像の階調変換をし、投影画像を印刷物に重畳することで実在感の高いコンテンツを提供することができる。

なお、本実施形態においては、投影対象物は印刷画像４０であるものとして、印刷画像４０に対して投影画像を投影する形態について説明するが、投影対象領域はこれに限るものではない。

＜液晶投影装置１００の全体構成＞
図２は、本実施例の投影装置１００の全体の構成を示す図である。

本実施例の投影装置１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部１４０を有する。また、投影装置１００は、さらに、液晶制御部１５０、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。また、投影装置１００は、さらに、通信部１９３、撮像画像処理部１９４を有する。

ＣＰＵ１１０は、投影装置１００の各動作ブロックを制御するものあり、ＲＯＭ１１１には、ＣＰＵ１１０の処理手順を記述した制御プログラムが記憶されており、ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納されるものである。また、ＣＰＵ１１０は、通信部１９３より受信した静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、撮像画像入力部１９４により得られた画像や映像を一時的にＲＡＭ１１２に記憶することもできる。

操作部１１３は、ユーザーの指示を受け付け、ＣＰＵ１１０に指示信号を送信するものであり、例えば、スイッチやダイヤルなどからなる。また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。また、ＣＰＵ１１０は、操作部１１３や、通信部１９３から入力された制御信号を受信して、投影装置１００の各動作ブロックを制御する。

画像入力部１３０は、外部装置から送信される画像を受信するものである。ここで、外部装置とは、画像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。さらには、ＵＳＢフラッシュメモリやＳＤカードのようなメディアに記録された画像を読み込むこともできる。

画像処理部１４０は、画像入力部１３０や撮像画像処理部１９４から受信した画像信号にフレーム数、画素数、画素値、画像形状などの変更処理を施して、液晶制御部１５０に送信するものであり、例えば画像処理用のマイクロプロセッサからなる。なお、画像処理部１４０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が画像処理部１４０と同様の処理を実行しても良い。画像処理部１４０は、フレーム間引き処理、フレーム補間処理、解像度変換（スケーリング）処理、歪み補正処理（キーストン補正処理）、輝度補正処理、色補正処理といった機能を実行することが可能である。また、画像処理部１４０は、所望のテストパターン画像を生成して液晶制御部１５０に送信することもできる。また、画像処理部１４０は、画像入力部１３０から受信した画像信号以外にも、ＣＰＵ１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。

液晶制御部１５０は、画像処理部１４０から出力される画像信号に基づいて、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの画素の液晶に印可する電圧を制御して、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を調整する。

液晶素子１５１Ｒは、赤色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整するためのものである。液晶素子１５１Ｇは、緑色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整するためのものである。液晶素子１５１Ｂは、青色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整するためのものである。

光源制御部１６０は、光源１６１のオン／オフを制御や光量の制御をするものであり、制御用のマイクロプロセッサからなる。また、光源制御部１６０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光源制御部１６０と同様の処理を実行しても良い。また、光源１６１は、不図示のスクリーンに画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。また、色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。また、色合成部１６３は、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１７１に送られる。このとき、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、液晶制御部１５０により制御されている。そのため、色合成部１６３により合成された光は、投影光学系１７１によりスクリーンに投影されると、画像処理部１４０により入力された画像に対応する画像がスクリーン上に表示されることになる。

光学系制御部１７０は、投影光学系１７１を制御するものであり、制御用のマイクロプロセッサからなる。また、光学系制御部１７０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光学系制御部１７０と同様の処理を実行しても良い。また、投影光学系１７１は、色合成部１６３から出力された合成光をスクリーンに投影するためのものであり、複数のレンズ、レンズ駆動用のアクチュエータからなる。レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。

通信部１９３は、外部機器からの制御信号や静止画データ、動画データなどを受信・送信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１３０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであっても良い。ここで、外部装置は、投影装置１００と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。

撮像画像処理部１９４は、撮像部２０が接続され、撮像部２０に本実施例の投影装置１００の投影領域５０の周辺を撮像させて、撮像装置２０からの画像信号を取得するものである。よって、投影光学系１７１を介して投影された画像と印刷画像４０を撮影（スクリーン方向を撮影）することができる。また、撮像画像に対し解像度変換や、階調変換、色変換など画像処理を施す事が出来る。また、撮像画像から印刷画像４０に相当する部分を切り出し位置として決定し、その位置を自ら指定して、指定箇所を切り出すことができる。

撮像画像処理部１９４は、得られた画像や映像をＣＰＵ１１０に送信し、ＣＰＵ１１０は、その画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムに基づいて、静止画データや動画データに変換する。また、撮像画像処理部１９４から入力された画像を画像処理部１４０へ送信し、投影することもできる。撮像装置２０は、被写体の光学像を取得するレンズ、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサ、レンズを介して取得した光学像を画像信号に変換する撮像素子を含む。さらに、撮像素子により得られた画像信号をデジタル信号に変換するＡＤ変換部などからなる。

なお、本実施例の画像処理部１４０、液晶制御部１５０、光源制御部１６０、光学系制御部１７０、撮像画像処理部１９４は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあっても良い。または、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が各ブロックと同様の処理を実行しても良い。本実施例では撮像部２０が投影装置１００の外部に接続されたものとして説明するが、投影装置１００に内蔵してもかまわない。

次に、図３を用いて画像処理部１４０の内部構成について説明する。

画像処理部１４０は、前処理部１４１、ＯＳＤ生成部１４２、メモリ制御部１４３、画像メモリ１４４、パターン生成部１４５、後処理部１４６で構成される。画像処理部１４０を構成する各部は、レジスタバス１９９を介してＣＰＵ１１０と接続されている。

前処理部１４１は、画像処理部１４０に入力された画像を、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂに適した色空間、解像度へ変換する。具体的には、色空間変換、拡大縮小処理を含む表示レイアウトの変換処理を行う。変換処理としては、グレースケール変換、ガンマ変換、１Ｄ−ＬＵＴなどがある。

ＯＳＤ生成部１４２は、ＣＰＵ１１０の指示によって、自身に入力される画像信号に対して、所定の座標の画素データをあらかじめ設定してある画素データに置き換えて出力することができる。

メモリ制御部１４３は、ＩＰ変換やフレームレート変換などの時間軸上の変換処理や、投影画像の形状補正のために使用される画像メモリ１４４のメモリアドレスの発行および画像の書き込み・読み出し制御を行う。メモリ制御部１４３のフレームレート変換処理には、同じ画像を画像メモリ１４４から２度読み出すことにより実現されるフレームレートの倍速化処理も含まれる。

パターン生成部１４５は、ＣＰＵ１１０の指示によって、全面が白や黒、またグラデーション画像といった所望の画像パターンを生成し、後処理部１４６に出力することができる。

後処理部１４６は、液晶素子１５１Ｒ、Ｇ、Ｂと投影光学系１７１起因の表示むら（色むら、輝度むら）、ディスクリネーションなどの補正処理を行う。更には、液晶素子１５１の階調性に合わせたガンマ変換などの画像処理を行う。

ここで、本発明の投影装置１００が入力画像である元画像の輝度分布と、撮像部２０より取得される撮像領域６０の輝度分布とから投影領域５０を決定し、投影装置１００からの投影画像を重畳する方法について、図４のフローチャートを用いて説明する。

投影装置１００を構成する各部は、操作部１１３を介して投影装置１００の使用者から、印刷画像４０への投影画像重畳モードへ移行する指示がＣＰＵ１１０に送信されると、図４のフローチャートが開始される。

また、図８は第一の実施例を実施するにあたり、投影画像生成時に使用する画像群を説明する為の図である。この図８と図４のフローチャートの双方を用いて説明する。

なお、以下の説明において、撮像画像の、撮像部の配置の傾きによる歪みは、すべて補正されているものとして説明する。また、投影装置１００は、少なくとも初期状態においては、投影面に正対し、かつ歪みなく投影されているものとして説明する。

Ｓ４０１では、ＣＰＵ１１０の指示により、画像処理部１４０内の、前処理部１４１は
入力画像の輝度分布を取得する。入力画像がＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕａｎｔｉｚｅｒ）カーブに基づいたＨＤＲ画像である場合、ＰＱに則って生成された階調−輝度変換特性を用いて変換することが出来る。この変換特性は予めＲＯＭ１１１に記録しておき使用しても良いし、階調変換はこの方法に限定しない
Ｓ４０２では、ＣＰＵ１１０の指示により、入力画像処理部１９４は撮像部２０から所望の撮像画像を取得する。

ここで、Ｓ４０２の撮像画像の取得方法を、図５のフローチャートを用いて以下に説明する。

Ｓ５０１において、ＣＰＵ１１０は、パターン生成部１４５に対して、全面が黒であるテストパターンを生成するよう指示する。パターン生成部１４５は、ＣＰＵ１１０からの指示通りに生成したテストパターンを、後処理部１４６に対して出力する。本テストパターンは、画像処理部１４０から出力された後、液晶制御部１５０によって液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ上に形成され、投影光学系１７１を介して投影される。

次に、Ｓ５０２において、ＣＰＵ１１０は、撮像画像処理部１９４を介して撮像部２０に対して、投影装置１００から映像が投影される方向を撮像するよう指示する。撮像装置２０は、投影装置１００から映像が投影される方向を撮像し、撮像画像ＩＭＧ＿Ｂ（図８（ｂ））を撮像画像処理部１９４へ送信し、ＲＡＭ１１２に記録する。

Ｓ５０３において、ＣＰＵ１１０は、パターン生成部１４５に対して、全面が白であるテストパターンを生成するよう指示する。パターン生成部１４５は、ＣＰＵ１１０からの指示通りに生成したテストパターンを、後処理部１４６に対して出力する。本テストパターンは、画像処理部１４０から出力された後、液晶制御部１５０によって液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ上に形成され、投影光学系１７１を介して投影される。

次に、Ｓ５０４において、ＣＰＵ１１０は、撮像画像入力部１９４を介して撮像装置２０に投影装置１００から映像が投影される方向を撮像するよう指示する。撮像装置２０は、投影装置１００から映像が投影される方向を撮像し、撮像画像ＩＭＧ＿Ｗ（図８（ａ））を撮像画像入力部１９４へ送信し、ＲＡＭ１１２に記録する。

以上で、投影面の撮像画像を取得した。

元に戻って、図４での説明を続ける。

次に、Ｓ４０３では、ＣＰＵ１１０の指示により、撮像画像処理部１９４は取得した撮像画像ＩＭＧ＿Ｂ、ＩＭＧ＿Ｗから強調対象領域の輝度分布を取得する。ここでの強調対象領域とは投影装置１００によって表示輝度を向上させる対象となりうる領域のことであり、第一の実施例では印刷領域４０内の輝度分布を指す。

ここで、図６は、印刷領域の輝度分布取得方法を示すフローチャートである。図６を用いてＳ４０３の詳細な処理を説明する。

一例として、輝度値としてＣＩＥのＸＹＺ空間のＹ値を用いる場合に、ＲＧＢ色空間から輝度Ｙに変換する変換式を式１に示す。輝度値としてＹＵＶ空間のＹ値を用いる場合に、ＲＧＢ色空間から輝度Ｙに変換する変換式を式２に示す。

Ｓ６０１では、ＣＰＵ１１０の指示により、撮像画像処理部１９４は取得した撮像画像ＩＭＧ＿Ｂ、ＩＭＧ＿Ｗを輝度分布に変換する。

Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７１２２Ｂ・・・式１
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ・・・式２
これ以外にも、明るさの指標となるような数値であればよい。この後、撮像部の感度などを考慮し、投影面上の実輝度に換算する。

Ｓ６０２では、撮像画像処理部１９４はＩＭＧ＿Ｗの輝度分布からＩＭＧ＿Ｂの輝度分布の差分を取ることで差分輝度分布ＩＭＧ＿Ｄ（図８（ｃ））を生成する。図８（ｃ）の差分輝度分布ＩＭＧ＿Ｄは、高階調部分を高輝度領域、低階調部分を低輝度領域として本説明の為に可視化したイメージ図であり、実際の後述の処理では輝度分布を用いる。以下で説明される輝度分布に対しても同様である。

Ｓ６０３では、撮像画像処理部１９４は差分輝度分布ＩＭＧ＿Ｄから投影領域５０の四隅の座標を取得する。ここで云う座標とは撮像画像における座標系の事であり、例えば、撮像画像の左上を原点とし、水平方向をＸ軸、垂直方向をＹ軸とした時の座標の事である。水平方向の場合、右方向を正、垂直方向の場合、下向きを正と取る手法が一般的であるが、この限りでは無い。ＩＭＧ＿Ｄの所定以上の差分のある領域を投影装置１００の投影領域５０と判断する。なお、投影領域５０と撮像領域６０が一致している場合は、本処理は実施しなくてもよい。

Ｓ６０４では、撮像画像処理部１９４は差分輝度分布ＩＭＧ＿Ｄから印刷物領域の四隅の座標を検出する。検出方法は、操作部１１３からユーザーが印刷領域を指定する方法がある。もしくは、Ｓ６０２で画像ＩＭＧ＿Ｄから検出した差分輝度値が平坦な領域を壁などの背景領域として設定し、残った領域を印刷領域とする方法でもよい。

なお、印刷領域４０と投影領域５０もしくは撮像領域６０のいずれかが一致している場合は、本処理は実施しなくてもよい。

Ｓ６０５では、撮像画像処理部１９４は撮像画像ＩＭＧ＿Ｂから印刷領域を切り出した画像ＩＭＧ＿Ｍを生成する。切り出した後の解像度は投影装置１００に入力される元画像の解像度が良い。撮像画像から印刷領域を切り出す為の射影変換行列は、Ｓ６０４で求めた印刷領域４０の四隅の座標から算出することが出来る。

以上の工程によって、画像ＩＭＧ＿Ｂの投影領域の輝度分布であるＩＭＧ＿Ｍ（図８（ｄ））を取得することが出来る。生成されたＩＭＧ＿Ｍは投影光の黒浮と、室内照明２１が印刷物に照射された際の輝度分布を示しており、この分布を以下では環境光分布と呼ぶ。

以下の工程Ｓ４０４〜Ｓ４０６では、入力画像の輝度分布ＩＭＧ＿Ｏと環境光分布ＩＭＧ＿Ｍから反射率補正差分画像ＩＭＧ＿Ｔ’を生成し、表示輝度未達領域を検出する方法を説明する。反射率補正差分画像ＩＭＧ＿Ｔ’とは投影装置１００に入力される元画像内の表示輝度未達領域の輝度を達成する為に投影すべき輝度分布のことである。

まず、Ｓ４０４では、ＣＰＵ１１０の指示により、画像処理部１４０内の前処理部１４１は投影装置１００の入力画像の輝度分布ＩＭＧ＿Ｏ（図８）（ｅ））から環境光分布ＩＭＧ＿Ｍの差分を取る事によって、環境光差分画像ＩＭＧ＿Ｔ（図８（ｆ））を生成する。

次に、Ｓ４０５にて、ＣＰＵ１１０の指示により、画像処理部１４０内の前処理部１４１は反射率補正差分画像ＩＭＧ＿Ｔ’を生成する。まず、ＩＭＧ＿Ｍから印刷領域４０の反射率を算出する。第一の実施例では前提として室内照明２１が均一照明である為、環境光分布ＩＭＧ＿Ｍの最大輝度値で規格化した値は印刷領域４０の反射率として扱うことが出来る。次に、求めた反射率の逆比を環境光差分画像ＩＭＧ＿Ｔにかけることによって、反射率補正差分画像ＩＭＧ＿Ｔ’を得ることができる。この時、反射率補正差分画像ＩＭＧ＿Ｔ’の階調値が投影装置１００の表示可能な最大輝度の階調値を超える場合、表示不可な高階調値のクリッピングやニー処理を行う必要がある。

次にＳ４０６にて、ＣＰＵ１１０の指示により、画像処理部１４０内の前処理部１４１は反射率補正差分画像ＩＭＧ＿Ｔ’より輝度未達領域を検出する。

以下で表示輝度未達領域の検出方法を説明する。まず、表示輝度未達画素を求める。表示輝度未達画素とは、反射率補正差分画像ＩＭＧ＿Ｔ’において、ある輝度の値をもった画素のことである。この未達画素は、現状印刷物に照射される環境光と、投影装置１００からの黒浮では表示輝度として、輝度が足りない画素位置を示している。この未達画素群の最外殻画素を結んで形成された領域が表示輝度未達領域である。本件では説明を分かりやすくする為に図７（ｇ）にて矩形（７０）で示されているがこの限りでは無い。

反射率補正差分画像の作り方は前述の通りである。以下で、工程Ｓ４０１からＳ４０５で生成された輝度分布がどのような輝度分布となるのか図８の概要図を用いて詳細を説明する。ここでは説明を分かりやすくする為に、印刷物に照射されている環境光は均一照明である前提で説明をする。図８（ａ）は
元画像の輝度分布ＩＭＧ＿Ｏにおける、印刷領域４０、表示輝度未達領域７０の関係性を示している。

図８（ｂ）は図８（ａ）のＸ軸における入力画像の輝度分布ＩＭＧ＿Ｏの一軸輝度分布を示したグラフである。Ｘ軸上であり且つ、印刷領域４０との左端における交点Ａと、右端における交点Ｂの間の一軸輝度分布８０１が図８（ｂ）に示されている。

図８（ｃ）で一軸輝度分布８０１内に示される一軸輝度分布８０２は、環境光分布ＩＭＧ＿ＭのＸ軸上での一軸輝度分布を示している。

表示輝度目標である一軸輝度分布８０１から環境光分布の一軸輝度分布の８０２の差分を取ると、図８（ｄ）に示した輝度分布ＩＭＧ＿Ｔの一軸輝度分布８０３が取得できる。この時、一軸輝度分布８０３の表示輝度未達領域内の輝度分布以外（交点Ａから交点Ｃ、および交点Ｄから交点Ｂ）は既に表示輝度を達成している為、階調値が０またはその近傍値となる。

図８（ｄ）で示される一軸輝度分布８０３に前述のＳ４０５で求めた印刷物の反射率分布の逆比をかけることによって、図８（ｅ）に示す一軸輝度分布８０４が求まる。この一軸輝度分布８０４は、反射率補正差分画像ＩＭＧ＿Ｔ’の交点Ａから交点Ｂにおける一軸輝度分布である。

以上の説明を、Ｓ４０１からＳ４０５の工程で生成される輝度分布の詳細な説明とする。

次に、Ｓ４０７では、ＣＰＵ１１０の指示により、光学系制御部１７０は、撮像部２０及び撮像画像処理部１９４と連携して投影画像のズーム値やレンズシフト値を表示輝度未達領域７０に合わせて調整する。この時、投影位置及びサイズ調整後の投影領域は表示輝度未達領域の少なくとも一部を覆えていることが前提であり、且つ、表示輝度未達領域をなるべく多く覆うことが出来るように光学系制御値を設定する。また、輝度強調をより効果的に行う為には、投影サイズはなるべく小さい方が望ましい。

以下で、光学系制御値を用いて、表示輝度未達領域に投影領域が重なるように投影位置とサイズを調整する為の調整手法の詳細を説明する。

まず、ＩＭＧ＿Ｔ’内の表示輝度未達領域の中心点を求める。求めた表示輝度未達領域の中心点に投影領域の中心点が合うように光学系制御部１７０はレンズシフトを行い、投影位置を調整する。この時、一度に位置を合わせなくても、微調後に投影面を撮像し、その撮像画像から次の微調におけるレンズシフト方向を決め、フィードバックして少しずつ合わせても良い。その後、中心が合致した状態で今度はズーム量を変え、投影装置１００の投影領域５０が表示輝度未達領域７０と重なるように投影装置１００の投影サイズを調整する。この時、一度に投影サイズを合わせなくても、ズーム量の微調後に投影面を撮像し、その撮像画像から次の微調において投影サイズの拡大と縮小のどちらを行うかを決め、フィードバックして少しずつ合わせても良い。本実施例で記載の方法は一例であり、レンズシフトとズーム量の調整方法はこの限りでは無い。

このように光学系で投影サイズを変え、照明をあてる領域を限定することによって、非投影領域に投影装置１００の漏れ光が当たりにくくなり、結果、非投影領域の暗部輝度が下がり、印刷領域４０内のコントラストを上げることが出来る。表示輝度未達領域を多く覆うことと投影サイズを小さくすることは一般的には相反する。元画像の種類や重視する効果によって適宜選択する。例えば、輝度未達画素の全てを輝度強調するよりも、輝度未達で目標の表示輝度が高い画素において、より高い輝度強調効果を得ることを重視するならば、その目標の表示輝度が高い画素を含み、なるべく小さい投影領域５０を設定する。その場合、目標の表示輝度の低い画素の一部は、輝度未達であっても投影領域５０の外となり、輝度強調効果が得られないが、このような選択も可能である。投影領域５０の面積を輝度強調対象である印刷物４０の面積の１／２以下とすれば、投影画像の明るさを１ＥＶ以上上げることが出来、輝度強調の効果をより効果的にすることが出来る。

また、この時必要に応じ、位置合わせの微調を投影装置１００に搭載されている幾何学歪み補正の機能を用いて合わせても良い。

次に、Ｓ４０８では、ＣＰＵ１１０の指示により、メモリ制御部１４３はＩＭＧ＿Ｔ’を投影位置が投影目標座標位置に合うように画像を射影変換する。

この時使用する射影変換座標は反射率補正差分画像ＩＭＧ＿Ｔ’の印刷領域４０の４隅の座標と、表示輝度未達領域７０の４隅の座標から生成することが出来る。

この射影変換行列を用いて、ＩＭＧ＿Ｔ’から所望の投影領域を切り出した結果がＩＭＧ＿Ｐ（図８（ｈ））である。

Ｓ４０７にて幾何学歪み補正を用いて位置合わせしている場合、この時の変形量も考慮してＳ４０８での射影変換行列を生成する必要がある。

最後に、Ｓ４０９ではＣＰＵ１１０の指示により、投影光学系１７１は生成した投影画像ＩＭＧ＿Ｐを投影する。

また、第一の実施例では、投影装置１００の投影画像は印刷物に向けて投影していたが、この限りでは無い。

例えば、他の投影装置の投影画像の少なくとも一部に対し重畳投影しても良い。

また、投影装置１００と他の投影装置とは、投影距離またはズーム倍率が異なるものを使用しても良い。

また、画像投影後に投影画像のフォーカスをあえてずらし、投影領域の輪郭をぼかす処理を行っても良い。輪郭をぼかすことによって、投影領域の周辺が黒であった場合の投影領域と非投影領域との境界を目立ちにくくすることが出来る。

以上の工程を経て、印刷領域４０内の表示輝度未達領域に合わせて照明光の位置を調整し、投影することができ、結果、印刷領域内のコントラストを向上させることが出来る。

第二の実施例では、投影装置の投影対象は他方の投影装置が投影した画像とし、他方の投影画像に表示輝度未達領域を示すガイド画像を投影させる。ユーザはそのガイド画像を見ながら投影位置を調整することが出来る為、設置の利便性を上げる事が出来る。

図９は、本発明における投影装置１００を用いた他方の投影装置２００に投影画像を重畳して印刷物のダイナミックレンジを向上するための画像表示システムの一例である。

映像入力装置１０からの入力画像は投影装置２００及び、投影装置１００に入力され、投影される。投影装置２００の投影領域８０内の表示輝度未達領域に合わせて、投影装置１００の投影領域５０の投影位置とサイズを調整する。表示輝度未達領域を検出する際、投影装置２００の投影領域８０を撮像部２０で撮像する。撮像部２０の撮像領域６０は投影領域８０よりも大きいか同等である必要がある。

以下では、投影装置２００と投影装置１００と同等の構成である前提で記載されているが、第二の実施例を実現するにあたり必要な構成が取られていればこの限りでは無い。

次に図１０の第二の実施例のフローチャートを用いて、詳細な処理に関して説明する。実施例１と基本的に同様の処理であるところは説明を割愛する。

但し、同様な処理であっても、本実施例においては、輝度強調対象は印刷物ではなく他の投影装置の投影像であるため、撮像画像のＲＧＢ値は輝度値に変換することなく、そのまま用いてＲＧＢ毎の投影画像を作成し、合成して投影する、という違いはある。

また、実施例１の環境光差分画像に相当するものは投影装置２００投影光差分画像である。本実施例では、これをＩＭＧ＿Ｔとする。また、反射率補正差分画像（ＩＭＧ＿Ｔ’）は作っても作らなくても良い。作らない場合、ＩＭＧ＿Ｔをそのまま用いて歪み補正を施し、投影装置１００の投影画像ＩＭＧ＿Ｐを得ることができる、という違いはある。本実施例では作る前提で説明をする。また、第一の実施例では強調対象領域を印刷領域４０としていたが、本実施例では投影装置２００の投影領域８０であると云う違いもある。

まず、Ｓ１００１〜Ｓ１００６に関しては、上記違いはあるものの、図４のＳ４０１〜Ｓ４０６と同様である為、説明を割愛する。

Ｓ１００７にて、ＣＰＵ１１０の指示により、ＯＳＤ生成部１４２は入力画像に表示輝度未達領域を示すＯＳＤを重畳し、ガイド画像を生成する。図１２（ｊ）にガイド画像ＩＭＧ＿Ｇを示す。このようにＯＳＤ生成部１４２はＳ１００６で取得した表示輝度未達領域７０の位置からＯＳＤの描画位置を決定し、描画する。尚、ＩＭＧ＿Ｇのガイド画像は一例であり、表示輝度未達領域７０が可視化出来ればこの限りでは無い。

Ｓ１００８にて、ＣＰＵ１１０の指示により、通信部１９３は投影装置２００に対し、ガイド画像ＩＭＧ＿Ｇを送信する。

以下、ガイド画像を受信した投影装置２００のフローチャートを図１１に示す。

Ｓ１１０１では、ＣＰＵ１１０は投影装置１００から送信されたガイド画像が受信されたかを確認する。例えば、投影装置１００が画像送信時に画像データの最後に画像データの最後を示す信号を付与し、受信側の投影装置２００はこの付与された信号を受信信号としても良い。画像が受信された事が確認出来たらＳ１１０２、確認出来なかった場合はＳ１１０４に移行する。

画像が受信出来た場合、Ｓ１１０２では、投影装置２００は受信したガイド信号を投影する。

Ｓ１１０３では、投影装置２００は投影装置１００に向けて、ガイド画像の投影が完了した旨の信号、投影完了信号を送信する。

一方、Ｓ１１０１で画像が受信出来なかった場合、Ｓ１１０４では、投影装置２００は投影装置１００に向けて、画像が受信出来なかった旨の信号、エラー信号を送信する。

以上の工程を経て、投影装置２００はガイド画像ＩＭＧ＿Ｇを投影装置１００から受け取り、投影する。

Ｓ１００９にて、ＣＰＵ１１０は、通信部１９３が投影装置２００から受信した信号が投影完了信号であるかどうかを確認する。投影完了信号で無かった場合、つまりエラー信号やその他返答が投影装置２００からなかった場合、図１１の輝度調整フローを終了する。投影完了信号であった場合、Ｓ１０１０へ移行する。

Ｓ１０１０では、ＣＰＵ１１０の指示により、パターン生成部１４５は投影位置調整画像を生成する。投影位置調整画像とは、ユーザに対し、投影装置２００が投影しているガイド画像に合わせて、投影装置１００の投影位置を調整するように促す画像の事である。図１２（ｋ）ＩＭＧ＿Ｃに投影位置調整画像の一例を示す。

ユーザは投影装置１００が投影している投影位置調整画像と、投影装置２００が投影しているガイド画像の双方を見ながら投影装置１００の投影位置と投影サイズを調整する。この時、投影装置１００の投影領域が、ガイド画像内の表示輝度未達領域をに合うように設置させる。また、ユーザは位置調整が完了したら、投影位置調整の完了を不図示のリモコン等を用いて投影装置１００に入力させる。一例として図１２では、これらの内容を投影位置調整画像内で表示してユーザに伝えているが、方法はこれに限定するものではない。例えば、投影装置１００の操作部が不図示のタッチパネルである場合、タッチパネルに表示しても良い。

Ｓ１０１１では、ＣＰＵ１１０は、通信部１９３が不図示のリモコン等から投影位置調整の完了信号を受信したかを確認する。受信した場合はＳ１０１２に、受信出来なかった場合はＳ１０１４に移行する。

Ｓ１０１２とＳ１０１３に関しては、図４のＳ４０８とＳ４０９と同様である為、説明を割愛する。

また、Ｓ１０１４では、ＣＰＵ１１０は投影位置調整の完了信号の受信待ちを開始してからある所定の時間が経過しているかを確認する。まだ、所定の時間が経過していない場合は、Ｓ１０１１に戻る。一定時間が経過し、タイムオーバーとなった場合、図１０の処理フローを終了する。

以上の工程を経て、投影装置２００の投影領域内の輝度未達領域を示すガイド画像を投影し、ユーザに投影装置１００の投影位置の調整を促すことが出来る。

また、第二の実施例ではガイド画像ＩＭＧ＿Ｇを投影装置１００で生成し、投影装置２００に送信することでガイド画像を表示していたが、投影装置２００自身がガイド画像を作ることが出来るのであれば、投影装置２００内で生成し、投影しても良い。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 投影装置、１１０ ＣＰＵ、１３０ 画像入力部、１４０ 画像処理部、
１５０ 液晶制御部、１６１ 光源、１５１ 液晶素子、１７０ 光学系制御部、
１７１ 投影光学系、１９４ 撮像画像処理部

Claims (14)

1. 入力画像の輝度分布を取得する第一の輝度分布取得手段、
   輝度強調対象の輝度分布を取得する第二の輝度分布取得手段、
   投影領域を決定する決定手段、
   前記決定手段が決定した領域に投影する投影手段、と、を備え、
   前記決定手段は前記第一と第二の輝度分布から表示輝度が不足する領域を検出し、その中から投影領域を決定することを特徴とする投影システム。
2. レンズシフトやズーム調整、投影距離の設定、変更を行うことで投影位置を調整する投影位置調整手段を備え、
   前記投影位置調整手段は前記決定手段が決定した投影領域を覆い、且つ投影サイズが輝度強調対象のサイズより小さくなるように投影位置を調整することを特徴とする請求項１に記載の投影システム。
3. 画像を変形する変形手段を備え、
   前記変形手段は前記決定手段が決定した投影領域を覆い、且つ投影サイズが輝度強調対象のサイズより小さくなるように投影位置を調整することを特徴とする請求項１又は２に記載の投影システム。
4. 前記投影領域の面積が輝度強調対象の面積の１／２以下であることを特徴とする請求項１乃至３の何れか一項に記載の投影システム。
5. 前記第一と第二の輝度分布の差分を取る第三の輝度分布取得手段を備え、
   第三の輝度分布から投影画像を生成することを特徴とする請求項１に記載の投影システム。
6. 画像の切り出し位置を決定する切出位置決定手段、
   画像の指定箇所を切り出しする切出手段、
   と、を備え、
   前記切出手段は前記切り出し位置に基づいて前記入力画像から投影画像を切り出すことを特徴とする請求項１又は４に記載の投影システム。
7. 投影面を撮像する撮像手段を備え、
   前記第二の輝度分布取得手段は前記撮像手段が投影面を撮像した画像から輝度分布を取得することを特徴とする請求項１に記載の投影システム。
8. 前記輝度強調対象は、プリント物上の少なくとも一部であることを特徴とする請求項１乃至７の何れか一項に記載の投影システム。
9. 前記輝度強調対象は、該投影手段とは異なる他の投影手段の投影面上投影画像の少なくとも一部である特徴とする請求項１乃至７の何れか一項に記載の投影システム。
10. 該投影手段と該他の投影手段とは投影距離またはズーム倍率が異なることを特徴とする請求項９に記載の投影システム。
11. 投影画像内にＯＳＤを重畳するＯＳＤ重畳手段を備え、
    前記ＯＳＤ重畳手段は前記決定手段で決定した投影領域に基づき、入力画像に重畳領域の位置を示すガイドを重畳したガイド画像を生成することを特徴とする請求項１に記載の投影システム。
12. 前記投影手段が投影後にレンズのフォーカスをぼかすことを特徴とする請求項１に記載の投影システム。
13. 複数台の投影装置を含む投影システムであって、
    第一の投影装置は、
    入力画像の輝度分布を取得する第一の輝度分布取得手段、
    輝度強調対象の輝度分布を取得する第二の輝度分布取得手段、
    投影領域を決定する決定手段、
    前記投影領域を図示する画像を生成するガイド画像生成手段、
    第二の投影装置に前記ガイド画像を送信する送信手段、
    投影手段、
    と、を備え、
    第二の投影装置は、
    第一の投影装置から受信した前記ガイド画像を受信する受信手段、
    前記受信手段で受信した画像を投影する投影手段、
    と、を備え、
    前記決定手段は前記第一と第二の輝度分布から表示輝度が不足する領域を検出し、その中から投影領域を決定することを特徴とする投影システム。
14. 入力画像の輝度分布を取得する第一の輝度分布取得ステップ、
    輝度強調対象の輝度分布を取得する第二の輝度分布取得ステップ、
    投影領域を決定する決定ステップ、
    前記決定手段が決定した領域に投影する投影ステップ、
    と、を備え、
    前記決定手段は前記第一と第二の輝度分布から表示輝度が不足する領域を検出し、その中から投影領域を決定することを特徴とする投影方法。