JP2013072934A - 画像表示システム、画像表示装置及び画像表示システムの制御方法 - Google Patents

Abstract

【課題】投写面の凹凸を利用した多彩な視覚効果を得ることが可能な画像表示システム、画像表示装置及び画像表示システムの制御方法を提供する。
【解決手段】画像処理部は、ＬＵＴに記憶されている領域情報に基づいて、処理対象の画素がどの領域に属する画素であるのかを判断する（ステップＳ２０１）。そして、処理対象の画素が外縁部に属する場合には、画像処理部は、その画素の画素値を、黒色を表す画素値に設定する（ステップＳ２０２）。また、処理対象の画素が枠状部に属する場合には、その画素の画素値を、予め指定された所定の色（指定色）を表す画素値に設定する（ステップＳ２０３）。また、処理対象の画素が矩形部に属する場合には、その画素の画素値を、入力画像を表す画素値に設定する（ステップＳ２０４）。このように、画像処理部は、区分した領域毎に異なる画像処理を行うようになっている。
【選択図】図７

Description

本発明は、投写面に画像を投写する画像表示システム、画像表示装置及び画像表示システムの制御方法に関する。

プロジェクターから画像を投写するシステムにおいて、任意形状の被投写物体に画像を投写可能なシステムが提案されている（例えば、特許文献１参照）。特許文献１に記載のシステムでは、被投写物体の後方（背景）に光が照射されてしまうことがないよう、被投写物体の形状に合わせた範囲に画像を投写するようになっており、スクリーン等の平滑な投写面に矩形の画像を投写する場合とは異なる視覚効果を得ることができる。

特開２０１０−１５９９６号公報

しかしながら、特許文献１に記載のシステムは、被投写物体の内側と外側で投写状態（投写の有無等）を変化させるものであり、実現できる視覚効果に限界がある。このため、より多彩な視覚効果を得ることが可能なシステムが求められている。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］本適用例に係る画像表示システムは、投写面に画像を投写して表示する画像表示システムであって、前記投写面の凹凸を検出する検出部と、前記検出部によって検出された前記凹凸に基づいて、前記投写面を複数の領域に区分する領域設定部と、画像情報が入力される画像入力部と、前記画像情報に対して、前記領域設定部によって区分された前記複数の領域毎に異なる画像処理を行う画像処理部と、前記画像処理がなされた画像情報に基づく画像を投写する画像投写部と、を備えたことを特徴とする。

この画像表示システムによれば、投写面の凹凸に基づいて投写面を複数の領域に区分し、領域毎に異なる画像処理を行って画像を投写するため、投写面の凹凸を利用した多彩な視覚効果を得ることが可能となる。

［適用例２］上記適用例に係る画像表示システムにおいて、前記投写面には、正面視で枠状の枠状部が前記凹凸によって形成され、前記領域設定部は、前記投写面を、前記枠状部と、前記枠状部の内側とに区分し、前記画像処理部は、前記枠状部の内側の領域に前記画像入力部に入力された前記画像情報に基づく画像を表示させる処理を行うことが望ましい。

この画像表示システムによれば、画像入力部に入力された画像情報に基づく画像（入力画像）を、枠状部の内側に表示させるため、投写面の凹凸に合わせた効果的な表示を行うことができる。

［適用例３］上記適用例に係る画像表示システムにおいて、前記画像処理部は、前記枠状部を所定の色に設定する処理を行うことが望ましい。

この画像表示システムによれば、枠状部を所定の色に設定するため、所定の色で入力画像を縁取っているように見せることができる。

［適用例４］上記適用例に係る画像表示システムにおいて、前記領域設定部は、前記投写面を、前記枠状部と、前記枠状部の内側と、前記枠状部の外側とに区分し、前記画像処理部は、前記枠状部の外側の領域を黒色に設定する処理を行うことが望ましい。

この画像表示システムによれば、枠状部の外側を黒色に設定するため、枠状部及びその内側の領域を際立たせることができる。

［適用例５］上記適用例に係る画像表示システムにおいて、前記検出部は、前記画像投写部とは異なる位置から前記投写面に照明光を照射する照明部と、前記照明光が照射された前記投写面を撮像する撮像部と、を備え、前記撮像部の撮像結果に基づいて、前記投写面の凹凸を検出することが望ましい。

この画像表示システムによれば、照明部は、画像投写部とは異なる位置から投写面に照明光を照射し、撮像部は、この照明光が照射された投写面を撮像するため、投写面の凹凸によって生成される陰影が撮像結果に含まれる。この結果、撮像結果から容易に凹凸を検出することが可能となる。

［適用例６］上記適用例に係る画像表示システムにおいて、前記照明部は、前記投写面に複数の方向から前記照明光を照射し、前記撮像部は、前記複数の方向から前記照明光が照射された状態の投写面を順に撮像し、前記検出部は、前記撮像部による複数回の撮像結果に基づいて、前記投写面の凹凸を検出することが望ましい。

この画像表示システムによれば、撮像部は、複数の方向から照明光が照射された状態の投写面を順に撮像し、検出部は、複数回の撮像結果に基づいて投写面の凹凸を検出するため、投写面の凹凸をより確実に検出することが可能となる。

［適用例７］上記適用例に係る画像表示システムにおいて、前記検出部は、前記投写面内における前記画像が投写される投写領域を複数の微小領域に区分して、前記微小領域毎に輝度を導くとともに、前記微小領域毎の輝度を前記複数回分だけ加算した結果に基づいて前記投写面の凹凸を検出するようにしてもよい。

［適用例８］本適用例に係る画像表示装置は、投写面に画像を投写して表示する画像表示装置であって、前記投写面の凹凸に基づいて、前記投写面を複数の領域に区分する領域設定部と、画像情報が入力される画像入力部と、前記画像情報に対して、前記領域設定部によって区分された前記複数の領域毎に異なる画像処理を行う画像処理部と、前記画像処理がなされた画像情報に基づく画像を投写する画像投写部と、を備えたことを特徴とする。

この画像表示装置によれば、投写面の凹凸に基づいて投写面を複数の領域に区分し、領域毎に異なる画像処理を行って投写するため、投写面の凹凸を利用した多彩な視覚効果を得ることが可能となる。

［適用例９］本適用例に係る画像表示システムの制御方法は、投写面に画像情報に基づく画像を投写する画像表示システムの制御方法であって、前記投写面の凹凸を検出する凹凸検出ステップと、前記凹凸検出ステップにて検出された前記凹凸に基づいて、前記投写面を複数の領域に区分する領域設定ステップと、前記画像情報に対して、前記領域設定ステップで区分された前記複数の領域毎に異なる画像処理を行う画像処理ステップと、前記画像処理がなされた画像情報に基づく画像を投写する画像投写ステップと、を備えたことを特徴とする。

この画像表示システムの制御方法によれば、投写面の凹凸に基づいて投写面を複数の領域に区分し、領域毎に異なる画像処理を行って投写するため、投写面の凹凸を利用した多彩な視覚効果を得ることが可能となる。

また、上述した画像表示システム及びその制御方法が画像表示システムに備えられたコンピューターを用いて構築されている場合には、上記形態及び上記適用例は、その機能を実現するためのプログラム、或いは当該プログラムを前記コンピューターで読み取り可能に記録した記録媒体等の態様で構成することも可能である。記録媒体としては、フレキシブルディスクやハードディスク、ＣＤやＤＶＤ等の光ディスク、光磁気ディスク、不揮発性の半導体メモリーを搭載したメモリーカードやＵＳＢメモリー、画像表示システムの内部記憶装置（ＲＡＭやＲＯＭ等の半導体メモリー）等、前記コンピューターが読み取り可能な種々の媒体を利用することができる。

画像表示システムを示す斜視図。 投写面を示す図であり、（ａ）は正面図、（ｂ）は、そのＡ−Ａ断面図。 画像表示システムの概略構成を示すブロック図。 ＬＵＴの生成を説明するためのフローチャート。 撮像装置による撮像画像を示す図。 投写面と照明装置との位置関係を示す正面図。 画像を投写する際のプロジェクターの動作を説明するためのフローチャート。 （ａ）は、入力画像を示す図であり、（ｂ）は、画像が投写された状態の投写面を示す正面図。 変形例に係る投写面を示す図であり、（ａ）は正面図、（ｂ）は、そのＡ−Ａ断面図。 変形例に係る投写面を示す図であり、（ａ）は正面図、（ｂ）は、そのＡ−Ａ断面図。

以下、本実施形態に係る画像表示システムについて、図面を参照して説明する。
図１は、本実施形態の画像表示システムを示す斜視図である。
図１に示すように、本実施形態の画像表示システム１００は、凹凸が形成された投写面Ｓに画像を表示するシステムであり、投写面Ｓに画像を投写するプロジェクター１と、投写面Ｓを撮像する撮像部としての撮像装置２と、投写面Ｓを照明する照明部としての照明装置３とを備えて構成されている。

プロジェクター１は、装置本体を収容する筐体１ａを備えており、筐体１ａの上面には、ユーザーにより入力操作が行われる入力操作部２２が配置されている。また、筐体１ａの背面には、図示しない外部の画像供給装置から画像情報が入力される入力端子２３ａが配置されており、プロジェクター１は、入力端子２３ａに入力された画像情報に基づく画像（入力画像）等を投写面Ｓに投写する。なお、これ以降、投写面Ｓ上において、プロジェクター１から画像が投写される領域を投写領域Ａｐと呼ぶ。

図２は、本実施形態の投写面Ｓを示す図であり、（ａ）は正面図、（ｂ）は、そのＡ−Ａ断面図である。なお、これ以降、投写面Ｓに向かって右側の方向を＋Ｘ方向（右方向）、鉛直方向のうち重力に逆らう方向を＋Ｙ方向（上方向）、投写面Ｓの法線方向のうち投写面Ｓからプロジェクター１側に向かう方向を＋Ｚ方向（前方向）とする。

図２（ａ）、（ｂ）に示すように、本実施形態の投写面Ｓは、前面に凹凸が形成されている。具体的には、投写面Ｓには、平坦な外縁部Ｓ１から＋Ｚ方向に突出する凸部Ｍと、凸部Ｍから−Ｚ方向に窪んだ凹部Ｄが形成されている。図２（ａ）に示すように、凸部Ｍの前面Ｓ２（以降、「枠状部Ｓ２」とも呼ぶ。）は、正面視で枠状であり、凹部Ｄの底面Ｓ３（以降、「矩形部Ｓ３」とも呼ぶ。）は、正面視で矩形状である。正面視において、矩形部Ｓ３は、枠状部Ｓ２に囲まれており、枠状部Ｓ２は、外縁部Ｓ１に囲まれている。つまり、枠状部Ｓ２の外側が外縁部Ｓ１であり、枠状部Ｓ２の内側が矩形部Ｓ３である。そして、プロジェクター１は、その投写領域Ａｐが少なくとも枠状部Ｓ２及び矩形部Ｓ３を包含するように設置される。

また、図２（ｂ）に示すように、矩形部Ｓ３は、外縁部Ｓ１よりも＋Ｚ側に位置している。つまり、投写面Ｓにおいて、外縁部Ｓ１、枠状部Ｓ２及び矩形部Ｓ３は、それぞれ±Ｚ方向の位置（奥行き）が異なっており、前方（＋Ｚ側）から、枠状部Ｓ２、矩形部Ｓ３、外縁部Ｓ１の順で位置している。

図３は、画像表示システム１００の概略構成を示すブロック図である。
図３に示すように、プロジェクター１は、画像投写部１０、制御部２０、記憶部２１、入力操作部２２、画像入力部２３、画像処理部２４、フレームメモリー２５、液晶駆動部２６、インターフェイス部２７等を備えている。

画像投写部１０は、光源としての光源装置１１、光変調装置としての３つの液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂ、投写光学系としての投写レンズ１３等を備えて構成されている。画像投写部１０は、表示部に相当するものであり、光源装置１１から射出された光を液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂで変調して投写レンズ１３から投写し、投写面Ｓに画像を表示する。

光源装置１１は、超高圧水銀ランプやメタルハライドランプ等からなる放電型の光源ランプ１１ａを含んで構成されている。光源装置１１から射出された光は、図示しないインテグレーター光学系によって輝度分布が略均一な光に変換され、図示しない色分離光学系によって光の３原色である赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色光成分に分離された後、それぞれ液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂに入射する。

液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂは、一対の透明基板間に液晶が封入された透過型の液晶パネル等によって構成される。液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂには、複数の画素１２ｐがマトリックス状に配列された矩形の画素領域１２ａが形成されており、液晶に対して画素１２ｐ毎に駆動電圧を印加可能になっている。そして、液晶駆動部２６の駆動により、入力される画像情報に応じた駆動電圧が各画素１２ｐに印加されると、各画素１２ｐは、画像情報に応じた光透過率に設定される。このため、光源装置１１から射出された光は、この液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを透過することによって変調される。変調された各色の色光は、図示しない色合成光学系によって合成されて、投写レンズ１３から射出される。

制御部２０は、図示しないＣＰＵ（Central Processing Unit）や、各種データ等の一時記憶に用いられる図示しないＲＡＭ（Random Access Memory）等を備えており、記憶部２１に記憶されている制御プログラムに従ってＣＰＵが動作することによりプロジェクター１の動作を統括制御する。つまり、制御部２０は、記憶部２１とともにコンピューターとして機能する。

記憶部２１は、マスクＲＯＭ（Read Only Memory）や、フラッシュメモリー等の不揮発性のメモリーにより構成されている。記憶部２１には、プロジェクター１の動作を制御するための制御プログラムや、プロジェクター１の動作条件等を規定する各種データ等が記憶されている。

入力操作部２２は、ユーザーの入力操作を受け付けるものであり、ユーザーがプロジェクター１に対して各種指示を行うための複数の操作キーを備えている。ユーザーが入力操作部２２の各種操作キーを操作すると、入力操作部２２は、この入力操作を受け付けて、ユーザーの操作内容に応じた操作信号を制御部２０に出力する。なお、入力操作部２２として、遠隔操作が可能なリモコン（図示せず）を用いた構成としてもよい。この場合、リモコンは、ユーザーの操作内容に応じた赤外線の操作信号を発信し、図示しない受信部がこれを受信して制御部２０に伝達する。

画像入力部２３には、図示しない外部の画像供給装置（パーソナルコンピューターや各種映像再生装置等）から、入力端子２３ａを介して画像情報が入力される。画像入力部２３は、入力された画像情報に対して、必要に応じてＡ／Ｄ変換処理等を施し、処理後の画像情報を画像処理部２４に出力する。

画像処理部２４は、画像入力部２３から入力される画像情報を、液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂの各画素１２ｐの階調を表す画像情報に変換する。ここで、変換された画像情報は、Ｒ，Ｇ，Ｂの色光別になっており、各液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂのすべての画素１２ｐに対応する複数の画素値によって構成されている。画素値とは、対応する画素１２ｐの光透過率を定めるものであり、この画素値によって、各画素１２ｐから射出する光の強弱（階調）が規定される。

また、画像処理部２４は、投写面Ｓの凹凸に合わせた画像の投写を可能とするＬＵＴ（ルックアップテーブル）２４ａを保持している。そして、画像処理部２４は、画像情報に対してＬＵＴ２４ａに基づいた画像処理を行い、処理後の画像情報を液晶駆動部２６に出力する。
また、画像処理部２４は、投写面Ｓの凹凸に応じて生成されたＬＵＴ（ルックアップテーブル）２４ａを保持している。そして、画像処理部２４がＬＵＴ２４ａに基づいた画像処理を画像情報に施すことにより、プロジェクター１は、投写面Ｓの凹凸に合わせて画像を投写することができるようになっている。

なお、プロジェクター１は、ＤＲＡＭ等によって構成されるフレームメモリー２５を備えており、画像処理部２４は、画像情報をフレーム単位でフレームメモリー２５に記憶させながら、各種処理を行う。

液晶駆動部２６は、画像処理部２４から入力される画像情報に従って液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを駆動する。この結果、画像情報に基づく画像が画像投写部１０から投写面Ｓに投写される。

インターフェイス部２７には、外部の撮像装置２及び照明装置３が接続されており、制御部２０は、インターフェイス部２７を介して撮像装置２及び照明装置３を制御することができる。

撮像装置２は、ＣＣＤ（Charge Coupled Device）センサー、或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等からなる撮像素子（図示せず）と、撮像素子の入射側に配置される撮像レンズ（図示せず）とを含んで構成され、投写面Ｓを撮像できるように配置されている。そして、撮像装置２は、プロジェクター１の制御部２０の指示に基づいて、プロジェクター１の投写領域Ａｐを撮像し、その撮像結果として、撮像した画像（撮像画像）を表す画像データを生成する。撮像装置２は、生成した画像データを、インターフェイス部２７を介して制御部２０に出力する。

照明装置３は、投写面Ｓを照明するものであり、制御部２０の制御に基づいて点灯する光源装置（図示せず）を含んで構成される。照明装置３は、プロジェクター１の筐体１ａから分離した構成になっており、ユーザーは、投写面Ｓに向けて任意の位置から照明光を照射することができる。つまり、照明装置３は、プロジェクター１の本体（画像投写部１０）とは異なる位置から投写面Ｓを照明することが可能になっている。

本実施形態の画像表示システム１００は、上記のように構成されており、プロジェクター１は、画像処理部２４がＬＵＴ２４ａに基づいて画像情報を処理することにより、投写面Ｓの凹凸に合わせた画像の投写を行うことができる。具体的には、プロジェクター１は、凹部Ｄ（矩形部Ｓ３）と凸部Ｍ（枠状部Ｓ２）にそれぞれ異なる画像を投写することができる。

また、画像表示システム１００は、撮像装置２及び照明装置３を用いて投写面Ｓの凹凸を検出し、検出した凹凸に応じてＬＵＴ２４ａを生成することができる。具体的には、画像表示システム１００は、投写面Ｓの投写領域Ａｐに対して、その外側から斜めに（投写面Ｓの法線に対して十分に傾いた方向に）照明装置３で照明光を照射することにより、凹凸に応じた陰影を投写面Ｓ上に生じさせる。そして、画像表示システム１００は、この状態の投写面Ｓを撮像装置２で撮像することによって投写面Ｓの凹部Ｄや凸部Ｍを検出し、この凹凸に合わせて画像を投写するためのＬＵＴ２４ａを生成する。

図４は、ＬＵＴ２４ａの生成を説明するためのフローチャートである。また、図５は、撮像装置２による撮像画像を示す図、図６は、投写面Ｓと照明装置３との位置関係を示す正面図である。

図４に示すように、ユーザーが、投写面Ｓに対向する位置にプロジェクター１及び撮像装置２を設置し（ステップＳ１０１）、その後、プロジェクター１の入力操作部２２に対してＬＵＴ２４ａの生成を指示する操作を行うと、プロジェクター１は、撮像装置２が撮像する撮像画像Ｐｃ（図５参照）の中からプロジェクター１の投写領域Ａｐを認識する（ステップＳ１０２）。具体的には、制御部２０は、画像処理部２４に指示をして、画素領域１２ａのすべての画素１２ｐの光透過率を最大にするような画像情報を出力させることにより、全域が白色の全白画像を画像投写部１０から投写させる。そして、この状態で撮像装置２に投写面Ｓを撮像させると、図５に示すように、投写領域Ａｐの全域が高輝度で撮像され、撮像画像Ｐｃの中から投写領域Ａｐを識別することが可能となる。これ以降、制御部２０は、撮像画像Ｐｃ内における投写領域Ａｐの形状及び大きさに基づいて、投写領域Ａｐ内の位置と画素領域１２ａ内の位置（画素１２ｐ）とを対応付けることができる。撮像装置２による投写面Ｓの撮像が終了すると、制御部２０は、画像投写部１０による画像の投写を停止させる。

その後、制御部２０は、照明装置３を点灯させるとともに、画像投写部１０によって画像が投写されておらず且つ照明装置３で照明された状態の投写面Ｓを撮像装置２に撮像させ、投写面Ｓの凹凸を検出する。本実施形態では、制御部２０は、照明装置３の位置、即ち照明光の照射方向を変えて４回の撮像を順に行わせ、４回の撮像結果に基づいて投写面Ｓの凹凸を検出する。

まず、制御部２０は、１回目の撮像を行うことをユーザーに報知して、照明装置３を第１の位置に設置させる（ステップＳ１０３）。ここで、ユーザーへの報知は、図示しない表示手段や音声出力手段によって報知してもよいし、オンスクリーンディスプレイを用いてメッセージ等を重畳した画像を投写するようにしてもよい。ユーザーは、この報知を受けて、例えば、投写領域Ａｐの左上（投写面Ｓに向かって左上）外側の所定の位置Ｌ１（図６参照）に照明装置３を設置し、左上から右下の方向に向けて照明光を照射して、投写面Ｓ上に凹凸による陰影を生じさせる。そして、ユーザーが入力操作部２２を操作してプロジェクター１に撮像を指示すると、制御部２０は、この指示を受け付けて、撮像装置２に投写領域Ａｐを撮像させ（ステップＳ１０４）、撮像結果を記憶部２１に記憶させる（ステップＳ１０５）。

次いで、制御部２０は、４回の撮像がすべて終了したか否かを判断する（ステップＳ１０６）。そして、４回の撮像がまだ終了していない場合には、照明装置３の設置位置を変更して（ステップＳ１０７）、次の撮像を行う。

２回目の撮像を行う場合には、制御部２０は、２回目の撮像を行うことをユーザーに報知して、照明装置３の設置位置を第２の位置に変更させる（ステップＳ１０７）。ユーザーは、この報知を受けて、例えば、投写領域Ａｐの右上外側の所定の位置Ｌ２（図６参照）に照明装置３を設置し、右上から左下の方向に向けて照明光を照射して、投写面Ｓ上に凹凸による陰影を生じさせる。そして、１回目と同様、制御部２０は、ユーザーの指示に応じて撮像装置２に投写領域Ａｐを撮像させ（ステップＳ１０４）、撮像結果を記憶部２１に記憶させる（ステップＳ１０５）。

同様に、３回目の撮像を行う場合には、制御部２０は、３回目の撮像を行うことをユーザーに報知して、照明装置３の設置位置を第３の位置に変更させる（ステップＳ１０７）。ユーザーは、この報知を受けて、例えば、投写領域Ａｐの左下外側の所定の位置Ｌ３（図６参照）に照明装置３を設置し、左下から右上の方向に向けて照明光を照射して、投写面Ｓ上に凹凸による陰影を生じさせる。そして、制御部２０は、ユーザーの指示に応じて、撮像装置２に投写領域Ａｐを撮像させ（ステップＳ１０４）、撮像結果を記憶部２１に記憶させる（ステップＳ１０５）。

そして、４回目の撮像を行う場合には、制御部２０は、４回目の撮像を行うことをユーザーに報知して、照明装置３の設置位置を第４の位置に変更させる（ステップＳ１０７）。ユーザーは、この報知を受けて、例えば、投写領域Ａｐの右下外側の所定の位置Ｌ４（図６参照）に照明装置３を設置し、右下から左上の方向に向けて照明光を照射して、投写面Ｓ上に凹凸による陰影を生じさせる。そして、制御部２０は、ユーザーの指示に応じて、撮像装置２に投写領域Ａｐを撮像させ（ステップＳ１０４）、撮像結果を記憶部２１に記憶させる（ステップＳ１０５）。

４回の撮像が完了すると、制御部２０は、１回目から４回目のそれぞれ撮像結果（輝度分布）に基づいて、投写領域Ａｐ内の凹凸を検出する（ステップＳ１０８）。具体的には、制御部２０は、４回分の撮像画像Ｐｃのそれぞれから投写領域Ａｐを抽出するとともに、投写領域Ａｐを、画素領域１２ａの画素１２ｐに１対１で対応する複数の微小領域に区分する。そして、微小領域毎に輝度を数値化して、４回分の数値を加算（合計）させる。この結果、例えば、枠状部Ｓ２に対応する部位では、矩形部Ｓ３や外縁部Ｓ１に比べて輝度が高いため合計値が大きく、矩形部Ｓ３や外縁部Ｓ１に対応する部位では、凸部Ｍの陰影の影響を受けて合計値が小さくなる。つまり、輝度の合計値は、投写面Ｓ（投写領域Ａｐ）の凹凸状態、即ち±Ｚ方向の位置（奥行き）を表しているものとみなすことができる。なお、現実には、照明装置３に特有の輝度ムラや、照明装置３からの距離に応じた輝度差が生じ得るが、これらは、キャリブレーションによって排除することが望ましい。

次に、制御部２０は、輝度の合計値に基づいて、投写面Ｓの奥行きを表す情報（奥行き情報）を、微小領域毎に導出する（ステップＳ１０９）。なお、ここで導出する奥行き情報は、厳密なＺ方向の位置である必要はなく、奥行きを複数段階に分類できる程度の情報であればよい。そして、制御部２０は、各微小領域の奥行き情報に基づいて、プロジェクター１の投写領域Ａｐを、投写面Ｓの凹凸に対応する３つの領域（外縁部Ｓ１、枠状部Ｓ２、矩形部Ｓ３）に区分する（ステップＳ１１０）。そして、制御部２０は、画素領域１２ａの各画素１２ｐと、それぞれがどの領域に属するのかを表す情報（領域情報）とを対応付けたＬＵＴ２４ａを生成して、画像処理部２４に保持させる（ステップＳ１１１）。

次に、画像を投写する際のプロジェクター１の動作について説明する。
図７は、画像を投写する際のプロジェクター１の動作を説明するためのフローチャートである。また、図８（ａ）は、入力画像を示す図であり、図８（ｂ）は、画像が投写された状態の投写面Ｓを示す正面図である。
プロジェクター１が起動して動作が開始すると、画像処理部２４は、画像入力部２３から入力される画像情報を、各画素１２ｐの階調を表す画像情報に変換し、変換後の画像情報、即ち各画素１２ｐに対応する画素値を、フレーム単位でフレームメモリー２５に記憶する。そして、プロジェクター１の画像処理部２４は、各フレームにおいて、図７に示すフローに従った処理を行う。なお、プロジェクター１には、図８（ａ）に示す入力画像Ｐｉを表す画像情報が入力されているものとする。

まず、画像処理部２４は、フレーム内の所定の画素１２ｐ（例えば、左上の画素１２ｐ）を処理対象とする。そして、画像処理部２４は、保持しているＬＵＴ２４ａを参照し、処理対象の画素１２ｐに対して、ＬＵＴ２４ａに記憶されている領域情報に基づく画像処理を行う（ステップＳ２０１〜Ｓ２０４）。

具体的には、画像処理部２４は、ＬＵＴ２４ａに記憶されている領域情報に基づいて、処理対象の画素１２ｐがどの領域に属する画素１２ｐであるのかを判断する（ステップＳ２０１）。そして、処理対象の画素１２ｐが外縁部Ｓ１に属する場合には、画像処理部２４は、その画素１２ｐの画素値を、黒色を表す画素値に設定する（ステップＳ２０２）。また、処理対象の画素１２ｐが枠状部Ｓ２に属する場合には、画像処理部２４は、その画素１２ｐの画素値を、予め指定された所定の色（指定色）を表す画素値に設定する（ステップＳ２０３）。また、処理対象の画素１２ｐが矩形部Ｓ３に属する場合には、画像処理部２４は、その画素１２ｐの画素値を、フレームメモリー２５に記憶されている画素値のままとする。つまり、処理対象の画素１２ｐの画素値を、画像入力部２３に入力された画像情報に基づく画像（入力画像Ｐｉ）を表す画素値に設定する（ステップＳ２０４）。このように、本実施形態の画像処理部２４は、区分した領域毎に異なる画像処理を行うようになっている。

処理対象の画素１２ｐに対して上記の処理が終わると、画像処理部２４は、１フレーム内のすべての画素１２ｐで処理が完了したか否かを判断する（ステップＳ２０５）。そして、すべての画素１２ｐで処理が完了していなければ、処理対象の画素１２ｐを次の画素１２ｐに変更して（ステップＳ２０６）、上記の処理を繰り返す。また、すべての画素１２ｐで処理が完了した場合には、処理後の画像情報を液晶駆動部２６に出力する（ステップＳ２０７）。

この結果、図８（ｂ）に示すように、投写面Ｓの凹部Ｄ（矩形部Ｓ３）には、入力画像Ｐｉが投写され、凸部Ｍ（枠状部Ｓ２）には、所定の指定色の光が投写される。このため、枠状部Ｓ２は、指定色で着色された額縁のようになり、入力画像Ｐｉは、あたかも額縁で縁取られているように表示される。なお、黒色の画素値に設定された外縁部Ｓ１は、プロジェクター１からの光がほとんど照射されないため、枠状部Ｓ２及び矩形部Ｓ３が際立つとともに、投写領域Ａｐの境界が目立たずに済む。

以上説明したように、本実施形態の画像表示システム１００によれば、以下の効果を得ることができる。

（１）本実施形態の画像表示システム１００によれば、投写面Ｓの凹凸に基づいて投写面を３つの領域（外縁部Ｓ１、枠状部Ｓ２、矩形部Ｓ３）に区分し、領域毎に異なる画像処理を行って画像を投写するため、投写面Ｓの凹凸を利用した多彩な視覚効果を得ることが可能となる。

（２）本実施形態の画像表示システム１００によれば、投写面Ｓに形成された凹部Ｄ（矩形部Ｓ３）、即ち凸部Ｍ（枠状部Ｓ２）の内側に入力画像Ｐｉを表示させるため、投写面の凹凸に合わせた効果的な表示を行うことができる。

（３）本実施形態の画像表示システム１００によれば、枠状部Ｓ２を所定の指定色に設定するため、指定色で着色された額縁で入力画像Ｐｉを縁取っているように見せることができる。

（４）本実施形態の画像表示システム１００によれば、外縁部Ｓ１、即ち枠状部Ｓ２の外側を黒色に設定するため、枠状部Ｓ２及び矩形部Ｓ３の領域を際立たせることができる。

（５）本実施形態の画像表示システム１００によれば、照明装置３が、画像投写部１０とは異なる位置から投写面Ｓに照明光を照射し、撮像装置２が、照明光が照射された投写面Ｓを撮像するため、投写面Ｓの凹凸によって生成される陰影が撮像結果に含まれる。この結果、撮像結果から容易に凹凸を検出することが可能となる。

（６）本実施形態の画像表示システム１００によれば、撮像装置２は、複数の方向から照明光が照射された状態の投写面Ｓを順に撮像し、制御部２０は、複数回の撮像結果に基づいて投写面の凹凸を検出するため、投写面の凹凸をより確実に検出することが可能となる。

なお、本実施形態では、撮像装置２、照明装置３、及びステップＳ１０８を実行して凹凸を検出する際の制御部２０が検出部に相当する。また、ステップＳ１１０を実行して投写領域Ａｐを３つの領域に区分する際の制御部２０が領域設定部に相当する。

（変形例）
また、上記実施形態は、以下のように変更してもよい。

上記実施形態では、投写面Ｓのうち、最も前方（＋Ｚ側）に位置する領域（枠状部Ｓ２）に対して指定色に設定する処理を行い、２番目に前方に位置する領域（矩形部Ｓ３）に対して入力画像Ｐｉに設定する処理を行い、最も後方に位置する領域（外縁部Ｓ１）に対して黒色に設定する処理を行っているが、領域の奥行きと処理内容との関係は、この組み合わせに限定されない。
例えば、図９に示すように、前方から順に、外縁部Ｓ１、枠状部Ｓ２、矩形部Ｓ３が位置する投写面Ｓに画像を投写する場合には、最も前方に位置する領域（外縁部Ｓ１）に対して黒色に設定する処理を行い、２番目に前方に位置する領域（枠状部Ｓ２）に対して指定色に設定する処理を行い、最も後方に位置する領域（矩形部Ｓ３）に対して入力画像Ｐｉに設定する処理を行えば、上記実施形態と同様、入力画像Ｐｉを指定色で縁取ることができる。また、図１０に示すように、前方から順に、矩形部Ｓ３、枠状部Ｓ２、外縁部Ｓ１が位置する投写面Ｓに画像を投写する場合には、最も前方に位置する領域（矩形部Ｓ３）に対して入力画像Ｐｉに設定する処理を行い、２番目に前方に位置する領域（枠状部Ｓ２）に対して指定色に設定する処理を行い、最も後方に位置する領域（外縁部Ｓ１）に対して黒色に設定する処理を行えばよい。このように、投写面Ｓの凹凸状態に応じて、奥行きと処理内容の組み合わせを適宜変更すればよい。なお、様々な凹凸状態に対応できるように、奥行きと画像処理の内容をユーザーが選択できるようにしてもよい。

上記実施形態では、外縁部Ｓ１の色を黒色にしているが、これに限定されない。例えば、色相の総体を順序立てて円環にして並べた色相環における補色を用いて、矩形部Ｓ３や枠状部Ｓ２を引き立たせるようにしてもよいし、投写面Ｓ（外縁部Ｓ１）の色と同じ色にしてもよい。

上記実施形態において、ＬＵＴ２４ａによる画像処理の有無や、画像処理の内容（例えば、枠状部Ｓ２や外縁部Ｓ１に設定する色等）をユーザーが選択できるようにすることが望ましい。

上記実施形態では、入力画像Ｐｉをそのまま矩形部Ｓ３に表示するようにしているが、適宜縮小させたり拡大させたりするようにしてもよい。

上記実施形態では、外縁部Ｓ１と矩形部Ｓ３の奥行きが異なっているが、外縁部Ｓ１と矩形部Ｓ３の奥行きは同じであってもよい。この場合には、枠状部Ｓ２よりも奥（−Ｚ側）に位置する面のうち、枠状部Ｓ２の内側の領域を矩形部Ｓ３、枠状部Ｓ２の外側の領域を外縁部Ｓ１として区分するようにすればよい。

上記実施形態では、投写面Ｓを、外縁部Ｓ１、枠状部Ｓ２、矩形部Ｓ３の３つの領域に区分して、それぞれに異なる画像処理を行っているが、区分する領域数は３つに限られず、２つでも４つ以上であってもよい。

上記実施形態において、画像処理部２４は、画素領域１２ａの各画素１２ｐと、それぞれがどの領域に属するのかを表す情報（領域情報）とを対応付けたＬＵＴ２４ａを保持しているが、各画素１２ｐと、それぞれの奥行き情報とを対応付けたＬＵＴを保持するようにしてもよい。そして、画像処理を行う段階で、奥行きの範囲に応じて複数の領域に区分して、領域毎に異なる画像処理を行うようにしてもよい。また、この場合において、同一の領域内であっても、奥行きに応じて処理内容を変化させるようにしてもよい。例えば、同じ枠状部Ｓ２に区分された領域内であっても、奥行きに応じて色（階調）を変化させるようにすれば、視覚効果を一層向上させることができる。

上記実施形態において、各領域に対する画像処理の処理内容は、常に固定とは限られず、時間の経過や、入力操作部２２に対する入力操作、或いは図示しないセンサーの検出結果等に応じて処理内容を変化させるようにしてもよい。例えば、時間の経過等に応じて枠状部Ｓ２の色を変化させるようにしてもよいし、矩形部Ｓ３に対して、初めは黒色に設定しておいて、入力操作やセンサーの検出等に応じて入力画像Ｐｉを表示させるようにしてもよい。

上記実施形態では、投写面Ｓに形成された枠状部Ｓ２で囲むように入力画像Ｐｉを表示させる態様を示したが、これに限定されず、様々な応用が可能である。例えば、平滑であるべき投写面Ｓ内に、意図しない凹部や凸部が存在する場合において、凹部に対しては、画素１２ｐがやや明るくなるように画素値を補正する処理を行い、凸部に対しては、画素１２ｐがやや暗くなるように画素値を補正する処理を行えば、凹凸を目立たなくすることもできる。

上記実施形態において、撮像装置２は、プロジェクター１と一体であってもよい。つまり、撮像装置２がプロジェクター１の筐体１ａに収容された構成であってもよい。また、照明装置３は、プロジェクター１の制御部２０の制御に基づいて点灯する構成に限らず、ユーザーが手動で点灯させる構成であってもよい。この場合には、照明装置３は、プロジェクター１に接続されている必要はない。

上記実施形態では、照明装置３の照明光を４つの方向から照射して投写面Ｓを撮像し、４回分の撮像結果に基づいて凹凸を検出しているが、照明光の照射方向は４つに限られず、３つ以下でも５つ以上であってもよい。なお、照明光の照射方向の数が多いほど、投写面Ｓの凹凸を精度よく検出することができる。また、投写光の照射方向の数、即ち撮像の回数を、ユーザーが決定できるようにしてもよい。例えば、入力操作部２２によって撮像回数を事前に設定するようにしてもよいし、ステップＳ１０６における撮像の終了を、入力操作部２２によってユーザーが指示できるようにして、指示があるまで照射方向の変更と撮像とを繰り返すようにしてもよい。

上記実施形態では、投写領域Ａｐを、画素領域１２ａの画素１２ｐに１対１で対応する複数の微小領域に区分しているが、微小領域内に複数の画素１２ｐが含まれるように微小領域を設定してもよい。

上記実施形態では、ステップＳ１０８で投写面Ｓの凹凸を検出する際に、４回分の撮像結果について微小領域毎に輝度を数値化して、対応する領域毎に４回分の数値を加算（合計）させているが、この態様に限定されない。例えば、ステップＳ１０５で撮像結果を記憶部２１に記憶させる際に、微小領域毎に輝度を数値化してから記憶させるようにしてもよい。この場合には、４回分の合計を後で（例えば、ステップＳ１０８で）算出するようにしてもよいが、２回目以降の撮像結果を記憶させる際に、既に記憶されている輝度に加算していくようにすれば、後で合計する必要はなくなる。

上記実施形態では、照明装置３で投写面Ｓに陰影を生じさせて凹凸を検出しているが、投写面Ｓの凹凸を検出する手段はこれに限定されない。例えば、投写面Ｓにプロジェクター１から縞パターンを投写して、これを撮像装置２で撮像し、縞パターンのずれに基づいて凹凸を検出する位相シフト法を用いてもよい。また、レーザー光を投写面Ｓに照射して、その反射光量に基づいて凹凸を検出する構成を採用することもできる。

上記実施形態では、光変調装置として３つの液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを用いた３板式のプロジェクター１について説明したが、これに限定されない。例えば、各画素の中にそれぞれＲ光、Ｇ光、Ｂ光を透過可能なサブ画素を含んだ１つの液晶ライトバルブによって画像を形成する態様とすることも可能である。

上記実施形態では、光変調装置として、透過型の液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを用いているが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いることも可能である。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源装置１１から射出した光を変調する微小ミラーアレイデバイス等を用いることもできる。

上記実施形態では、光源装置１１は、放電型の光源ランプ１１ａを備えて構成されているが、ＬＥＤ（Light Emitting Diode：発光ダイオード）光源やレーザー光源等の固体光源、或いはその他の光源を備えた構成であってもよい。

上記実施形態では、外部の画像供給装置から入力される画像情報に基づく画像を投写するプロジェクター１を示したが、この態様に限定されない。例えば、ＤＶＤ（Digital Versatile Disc）やＢｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）等の記録媒体に記録されている画像情報を再生可能な画像再生部を一体的に備え、この画像再生部によって再生された画像情報に基づく画像を投写するプロジェクター１であってもよい。

１…プロジェクター、１ａ…筐体、２…撮像装置、３…照明装置、１０…画像投写部、１１…光源装置、１１ａ…光源ランプ、１２Ｒ，１２Ｇ，１２Ｂ…液晶ライトバルブ、１２ａ…画素領域、１２ｐ…画素、１３…投写レンズ、２０…制御部、２１…記憶部、２２…入力操作部、２３…画像入力部、２３ａ…入力端子、２４…画像処理部、２４ａ…ＬＵＴ、２５…フレームメモリー、２６…液晶駆動部、２７…インターフェイス部、１００…画像表示システム、Ｓ…投写面、Ｓ１…外縁部、Ｓ２…枠状部、Ｓ３…矩形部、Ｍ…凸部、Ｄ…凹部、Ａｐ…投写領域、Ｐｃ…撮像画像、Ｐｉ…入力画像、Ｌ１，Ｌ２，Ｌ３，Ｌ４…位置。

Claims (9)

1. 投写面に画像を投写して表示する画像表示システムであって、
   前記投写面の凹凸を検出する検出部と、
   前記検出部によって検出された前記凹凸に基づいて、前記投写面を複数の領域に区分する領域設定部と、
   画像情報が入力される画像入力部と、
   前記画像情報に対して、前記領域設定部によって区分された前記複数の領域毎に異なる画像処理を行う画像処理部と、
   前記画像処理がなされた画像情報に基づく画像を投写する画像投写部と、
   を備えたことを特徴とする画像表示システム。
2. 請求項１に記載の画像表示システムであって、
   前記投写面には、正面視で枠状の枠状部が前記凹凸によって形成され、
   前記領域設定部は、前記投写面を、前記枠状部と、前記枠状部の内側とに区分し、
   前記画像処理部は、前記枠状部の内側の領域に前記画像入力部に入力された前記画像情報に基づく画像を表示させる処理を行うことを特徴とする画像表示システム。
3. 請求項２に記載の画像表示システムであって、
   前記画像処理部は、前記枠状部を所定の色に設定する処理を行うことを特徴とする画像表示システム。
4. 請求項２又は３に記載の画像表示システムであって、
   前記領域設定部は、前記投写面を、前記枠状部と、前記枠状部の内側と、前記枠状部の外側とに区分し、
   前記画像処理部は、前記枠状部の外側の領域を黒色に設定する処理を行うことを特徴とする画像表示システム。
5. 請求項１〜４のいずれか一項に記載の画像表示システムであって、
   前記検出部は、
   前記画像投写部とは異なる位置から前記投写面に照明光を照射する照明部と、
   前記照明光が照射された前記投写面を撮像する撮像部と、
   を備え、前記撮像部の撮像結果に基づいて、前記投写面の凹凸を検出することを特徴とする画像表示システム。
6. 請求項５に記載の画像表示システムであって、
   前記照明部は、前記投写面に複数の方向から前記照明光を照射し、
   前記撮像部は、前記複数の方向から前記照明光が照射された状態の投写面を順に撮像し、
   前記検出部は、前記撮像部による複数回の撮像結果に基づいて、前記投写面の凹凸を検出することを特徴とする画像表示システム。
7. 請求項６に記載の画像表示システムであって、
   前記検出部は、前記投写面内における前記画像が投写される投写領域を複数の微小領域に区分して、前記微小領域毎に輝度を導くとともに、前記微小領域毎の輝度を前記複数回分だけ加算した結果に基づいて前記投写面の凹凸を検出することを特徴とする画像表示システム。
8. 投写面に画像を投写して表示する画像表示装置であって、
   前記投写面の凹凸に基づいて、前記投写面を複数の領域に区分する領域設定部と、
   画像情報が入力される画像入力部と、
   前記画像情報に対して、前記領域設定部によって区分された前記複数の領域毎に異なる画像処理を行う画像処理部と、
   前記画像処理がなされた画像情報に基づく画像を投写する画像投写部と、
   を備えたことを特徴とする画像表示装置。
9. 投写面に画像情報に基づく画像を投写する画像表示システムの制御方法であって、
   前記投写面の凹凸を検出する凹凸検出ステップと、
   前記凹凸検出ステップにて検出された前記凹凸に基づいて、前記投写面を複数の領域に区分する領域設定ステップと、
   前記画像情報に対して、前記領域設定ステップで区分された前記複数の領域毎に異なる画像処理を行う画像処理ステップと、
   前記画像処理がなされた画像情報に基づく画像を投写する画像投写ステップと、
   を備えたことを特徴とする画像表示システムの制御方法。

Images