JP2013062760A - 画像表示システム及びその制御方法 - Google Patents

Abstract

【課題】投写面の凹凸による画像の歪を確実かつ容易に補正することが可能な画像表示システム及びその制御方法を提供する。
【解決手段】画像表示システム１００は、投写面Ｓに凹凸が存在する場合であっても、画像補正部２５がＬＵＴ２５ａに基づいて画像情報を処理することにより、凹凸に起因する画像の歪を補正することが可能になっている。また、画像表示システム１００は、投写面Ｓに応じて適切な補正を実現するために、投写面Ｓの凹凸状態に応じてＬＵＴ２５ａを生成することができる。具体的には、画像表示システム１００は、投写面Ｓの投写領域に対して、その外側から斜めに照明装置３で照明光を照射することにより、凹凸に応じた陰影を投写面Ｓ上に生じさせる。そして、この状態の投写面Ｓを撮像装置２で撮像することによって投写面Ｓの凹凸を検出し、この凹凸に起因する歪を補正するためのＬＵＴ２５ａを生成する。
【選択図】図２

Description

本発明は、光源から射出された光を変調して投写する画像表示システム及びその制御方法に関する。

プロジェクターから画像が投写される投写面に凹凸があると、投写される画像が凹凸によって歪んでしまう。このため、投写面の凹凸による画像の歪を補正可能な技術が種々提案されている（例えば、特許文献１参照）。特許文献１に記載のシステムは、投写装置（投影装置）によって所定のパターン画像が投写された投写面を撮像装置で撮像し、撮像画像と投写画像との対応付けを行うことにより、投写面の凹凸に起因する画像の歪を補正可能になっている。

特開２０１０−２８３６７４号公報

しかしながら、特許文献１に記載のシステムでは、投写面、投写装置及び撮像装置のそれぞれの位置関係や投写するパターン画像等によっては、比較的小さな凹凸が撮像装置で検出されず、この凹凸に基づく歪を補正できない場合がある。このため、投写面の凹凸による画像の歪を、確実かつ容易に補正することが可能なシステムが求められている。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］本適用例に係る画像表示システムは、投写面に画像情報に基づく画像を投写する画像投写部と、前記画像投写部とは異なる位置から前記投写面に照明光を照射する照明部と、前記照明光が照射された前記投写面を撮像する撮像部と、前記撮像部の撮像結果に基づいて、前記投写面の凹凸を検出する検出部と、前記検出部の検出結果に基づいて、前記凹凸による画像の歪を補正するための補正情報を生成する補正情報生成部と、前記補正情報に基づいて、前記画像の歪を補正する補正処理を前記画像情報に施す補正部と、を備えたことを特徴とする。

この画像表示システムによれば、照明部は、画像投写部とは異なる位置から投写面に照明光を照射し、撮像部は、この照明光が照射された投写面を撮像するため、投写面に凹凸がある場合には、凹凸によって生成される陰影が撮像結果に含まれる。この結果、撮像結果から凹凸を検出することが容易になるため、この凹凸による画像の歪を、確実かつ容易に補正することが可能となる。

［適用例２］上記適用例に係る画像表示システムにおいて、前記照明部は、前記投写面に複数の方向から前記照明光を照射し、前記撮像部は、前記照明光が照射された状態の投写面を、前記照明光の照射方向が変わる度に撮像し、前記検出部は、前記撮像部による複数回の撮像結果に基づいて、前記投写面の凹凸を検出することが望ましい。

この画像表示システムによれば、撮像部は、照明光が照射された状態の投写面を、照明光の照射方向が変わる度に撮像し、検出部は、複数回の撮像結果に基づいて投写面の凹凸を検出するため、投写面の凹凸をより確実に検出することが可能となる。

［適用例３］上記適用例に係る画像表示システムにおいて、前記検出部は、前記投写面内における前記画像が投写される投写領域を複数の微小領域に区分して、前記微小領域毎に輝度を導くとともに、前記微小領域毎の輝度を撮像回数分だけ加算した結果に基づいて前記投写面の凹凸を検出するようにしてもよい。

［適用例４］上記適用例に係る画像表示システムにおいて、前記画像投写部は、光源から射出された光を画素毎に変調する光変調装置を備え、前記補正情報生成部は、前記検出部の検出結果に基づいて、前記投写面の凹凸に起因する前記画素毎のずれを表すルックアップテーブルを生成し、前記補正部は、前記ルックアップテーブルに基づいて前記補正処理を行うようにしてもよい。

［適用例５］本適用例に係る画像表示システムの制御方法は、投写面に画像情報に基づく画像を投写する画像投写部を備えた画像表示システムの制御方法であって、前記画像投写部とは異なる位置から前記投写面に照明光を照射する照明ステップと、前記照明光が照射された前記投写面を撮像する撮像ステップと、前記撮像ステップでの撮像結果に基づいて、前記投写面の凹凸を検出する検出ステップと、前記検出ステップでの検出結果に基づいて、前記凹凸による画像の歪を補正するための補正情報を生成する補正情報生成ステップと、前記補正情報に基づいて、前記画像の歪を補正する補正処理を前記画像情報に施す補正ステップと、を備えたことを特徴とする。

この画像表示システムの制御方法によれば、照明ステップでは、画像投写部とは異なる位置から投写面に照明光を照射し、撮像ステップでは、この照明光が照射された投写面を撮像するため、投写面に凹凸がある場合には、凹凸によって生成される陰影が撮像結果に含まれる。この結果、撮像結果から凹凸を検出することが容易になるため、この凹凸による画像の歪を、確実かつ容易に補正することが可能となる。

［適用例６］上記適用例に係る画像表示システムの制御方法において、前記照明ステップでは、前記投写面に複数の方向から前記照明光を照射し、前記撮像ステップでは、前記照明光が照射された状態の投写面を、前記照明光の照射方向が変わる度に撮像し、前記検出ステップでは、前記撮像ステップでの複数回の撮像結果に基づいて、前記投写面の凹凸を検出することが望ましい。

この画像表示システムの制御方法によれば、撮像ステップでは、照明光が照射された状態の投写面を、照明光の照射方向が変わる度に撮像し、検出ステップでは、複数回の撮像結果に基づいて投写面の凹凸を検出するため、投写面の凹凸をより確実に検出することが可能となる。

［適用例７］上記適用例に係る画像表示システムの制御方法において、前記検出ステップでは、前記投写面内における前記画像が投写される投写領域を複数の微小領域に区分して、前記微小領域毎に輝度を導くとともに、前記微小領域毎の輝度を撮像回数分だけ加算した結果に基づいて前記投写面の凹凸を検出するようにしてもよい。

［適用例８］上記適用例に係る画像表示システムの制御方法において、前記画像投写部は、光源から射出された光を画素毎に変調する光変調装置を備え、前記補正情報生成ステップでは、前記検出ステップでの検出結果に基づいて、前記投写面の凹凸に起因する前記画素毎のずれを表すルックアップテーブルを生成し、前記補正ステップでは、前記ルックアップテーブルに基づいて前記補正処理を行うようにしてもよい。

また、上述した画像表示システム及びその制御方法が画像表示システムに備えられたコンピューターを用いて構築されている場合には、上記形態及び上記適用例は、その機能を実現するためのプログラム、或いは当該プログラムを前記コンピューターで読み取り可能に記録した記録媒体等の態様で構成することも可能である。記録媒体としては、フレキシブルディスクやハードディスク、ＣＤやＤＶＤ等の光ディスク、光磁気ディスク、不揮発性の半導体メモリーを搭載したメモリーカードやＵＳＢメモリー、画像表示システムの内部記憶装置（ＲＡＭやＲＯＭ等の半導体メモリー）等、前記コンピューターが読み取り可能な種々の媒体を利用することができる。

画像表示システムを示す斜視図。 画像表示システムの概略構成を示すブロック図。 ＬＵＴの生成を説明するためのフローチャート。 撮像装置による撮像画像を示す図。 投写面と照明装置との位置関係を示す正面図。 投写面を示す正面図。 （ａ）〜（ｄ）は、撮像装置で撮像された投写領域を示す図。 投写面の凹凸を表す数値列を示す図。 投写領域を示す正面図。 ＬＵＴの生成を説明するための平面図。

以下、本実施形態に係る画像表示システムについて、図面を参照して説明する。
図１は、本実施形態の画像表示システムを示す斜視図である。
図１に示すように、本実施形態の画像表示システム１００は、投写面Ｓに画像を投写するプロジェクター１と、投写面Ｓを撮像する撮像部としての撮像装置２と、投写面Ｓを照明する照明部としての照明装置３とを備えて構成されている。

プロジェクター１は、装置本体を収容する筐体１ａを備えて構成されており、筐体１ａの上面には、ユーザーにより入力操作が行われる入力操作部２２が配置されている。また、筐体１ａの背面には、図示しない外部の画像供給装置から画像情報が入力される入力端子２３ａが配置されており、プロジェクター１は、入力端子２３ａに入力された画像情報に基づく画像を前方の投写面Ｓに投写する。

図２は、画像表示システム１００の概略構成を示すブロック図である。
図２に示すように、プロジェクター１は、画像投写部１０、制御部２０、記憶部２１、入力操作部２２、画像入力部２３、画像処理部２４、画像補正部２５、フレームメモリー２６、液晶駆動部２７、インターフェイス部２８等を備えている。

画像投写部１０は、光源としての光源装置１１、光変調装置としての３つの液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂ、投写光学系としての投写レンズ１３等を備えて構成されている。画像投写部１０は、表示部に相当するものであり、光源装置１１から射出された光を液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂで画像光に変調して投写レンズ１３から投写し、投写面Ｓに画像を表示する。

光源装置１１は、超高圧水銀ランプやメタルハライドランプ等からなる放電型の光源ランプ１１ａを含んで構成されている。光源装置１１から射出された光は、図示しないインテグレーター光学系によって輝度分布が略均一な光に変換され、図示しない色分離光学系によって光の３原色である赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色光成分に分離された後、それぞれ液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂに入射する。

液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂは、一対の透明基板間に液晶が封入された透過型の液晶パネル等によって構成される。液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂには、複数の画素１２ｐがマトリックス状に配列された矩形の画素領域１２ａが形成されており、液晶に対して画素１２ｐ毎に駆動電圧を印加可能になっている。そして、液晶駆動部２７の駆動により、入力される画像情報に応じた駆動電圧が各画素１２ｐに印加されると、各画素１２ｐは、画像情報に応じた光透過率に設定される。このため、光源装置１１から射出された光は、この液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを透過することによって変調され、画像情報に応じた画像光となる。各色の画像光は、図示しない色合成光学系によって画素１２ｐ毎に合成されてカラーの画像光となり、投写レンズ１３から拡大投写される。

制御部２０は、図示しないＣＰＵ（Central Processing Unit）や、各種データ等の一時記憶に用いられる図示しないＲＡＭ（Random Access Memory）等を備えており、記憶部２１に記憶されている制御プログラムに従ってＣＰＵが動作することによりプロジェクター１の動作を統括制御する。つまり、制御部２０は、記憶部２１とともにコンピューターとして機能する。

記憶部２１は、マスクＲＯＭ（Read Only Memory）や、フラッシュメモリー等の不揮発性のメモリーにより構成されている。記憶部２１には、プロジェクター１の動作を制御するための制御プログラムや、プロジェクター１の動作条件等を規定する各種データ等が記憶されている。

入力操作部２２は、ユーザーの入力操作を受け付けるものであり、ユーザーがプロジェクター１に対して各種指示を行うための複数の操作キーを備えている。ユーザーが入力操作部２２の各種操作キーを操作すると、入力操作部２２は、この入力操作を受け付けて、ユーザーの操作内容に応じた操作信号を制御部２０に出力する。なお、入力操作部２２として、遠隔操作が可能なリモコン（図示せず）を用いた構成としてもよい。この場合、リモコンは、ユーザーの操作内容に応じた赤外線の操作信号を発信し、図示しない受信部がこれを受信して制御部２０に伝達する。

画像入力部２３には、パーソナルコンピューターや各種映像再生装置等の図示しない外部の画像供給装置から、入力端子２３ａを介して画像情報が入力される。画像入力部２３は、入力された画像情報に対して、必要に応じてＡ／Ｄ変換処理等を施し、処理後の画像情報を画像処理部２４に出力する。

画像処理部２４は、画像入力部２３から入力される画像情報を、液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂの各画素１２ｐの階調を表す画像情報に変換する。ここで、変換された画像情報は、Ｒ，Ｇ，Ｂの色光別になっており、各液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂのすべての画素１２ｐに対応する複数の画素値によって構成されている。画素値とは、対応する画素１２ｐの光透過率を定めるものであり、この画素値によって、各画素１２ｐから射出する光の強弱（階調）が規定される。また、画像処理部２４は、制御部２０の指示に基づき、変換した画像情報に対して、明るさやコントラスト等を調整するための画質調整処理等を必要に応じて行い、処理後の画像情報を画像補正部２５に出力する。

画像補正部２５は、補正部に相当するものであり、画像処理部２４から入力される画像情報に対して、投写面Ｓの凹凸に起因する画像の歪を補正するための処理を施す。画像補正部２５は、この歪を補正するための補正情報として、ＬＵＴ（ルックアップテーブル）２５ａを保持しており、ＬＵＴ２５ａに基づいて画像情報を補正する。

また、プロジェクター１は、ＤＲＡＭ等によって構成されるフレームメモリー２６を備えており、画像処理部２４及び画像補正部２５は、画像情報をフレーム単位でフレームメモリー２６に記憶させながら、各種処理を行う。

液晶駆動部２７は、画像補正部２５から入力される画像情報に従って液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを駆動する。この結果、画像情報に基づく画像が画像投写部１０から投写面Ｓに投写される。

インターフェイス部２８には、外部の撮像装置２及び照明装置３が接続されており、制御部２０は、インターフェイス部２８を介して撮像装置２及び照明装置３を制御することができる。

撮像装置２は、プロジェクター１の前方（画像の投写方向）を撮像するものであり、ＣＣＤ（Charge Coupled Device）センサー、或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等からなる撮像素子（図示せず）と、撮像素子の前方に配置される撮像レンズ（図示せず）とを含んで構成されている。撮像装置２は、プロジェクター１の制御部２０の指示に基づいて、投写面Ｓ上における画像が投写される領域（投写領域）を撮像し、撮像結果として、撮像した画像（撮像画像）を表す画像データを生成する。撮像装置２は、生成した画像データを制御部２０に出力する。

照明装置３は、投写面Ｓを照明するものであり、制御部２０の制御に基づいて点灯する図示しない光源装置を含んで構成される。照明装置３は、プロジェクター１の筐体１ａから分離した構成になっており、ユーザーは、投写面Ｓに向けて任意の位置から照明光を照射することができる。つまり、照明装置３は、プロジェクター１の本体（画像投写部１０）とは異なる位置から投写面Ｓを照明することが可能になっている。

本実施形態の画像表示システム１００は、上記のように構成されているため、投写面Ｓに凹凸、即ち投写面Ｓに垂直な方向に窪んだ凹部や、投写面Ｓに垂直な方向に突出する凸部が存在する場合であっても、画像補正部２５がＬＵＴ２５ａに基づいて画像情報を処理することにより、凹凸に起因する画像の歪を補正することが可能になっている。また、画像表示システム１００は、投写面Ｓに応じた適切な補正を実現するために、投写面Ｓの凹凸状態に応じてＬＵＴ２５ａを生成することができる。具体的には、画像表示システム１００は、投写面Ｓの投写領域に対して、その外側から斜めに（投写面Ｓの法線に対して十分に傾いた方向に）照明装置３で照明光を照射することにより、凹凸に応じた陰影を投写面Ｓ上に生じさせる。そして、この状態の投写面Ｓを撮像装置２で撮像することによって投写面Ｓの凹凸を検出し、この凹凸に起因する歪を補正するためのＬＵＴ２５ａを生成する。

図３は、ＬＵＴ２５ａの生成を説明するためのフローチャートである。また、図４は、撮像装置２による撮像画像を示す図、図５は、投写面Ｓと照明装置３との位置関係を示す正面図である。

図３に示すように、ユーザーが、投写面Ｓに対して所定の位置にプロジェクター１及び撮像装置２を設置し（ステップＳ１０１）、その後、プロジェクター１の入力操作部２２に対してＬＵＴ２５ａの生成を指示する操作を行うと、プロジェクター１は、撮像装置２が撮像する撮像画像Ｐｃ（図４参照）の中からプロジェクター１の投写領域Ａｐを認識する（ステップＳ１０２）。具体的には、制御部２０は、画像処理部２４に指示をして、画素領域１２ａのすべての画素１２ｐの光透過率を最大にするような画像情報を出力させることにより、全域が白色の全白画像を画像投写部１０から投写させる。そして、この状態で撮像装置２に投写面Ｓを撮像させると、図４に示すように、投写領域Ａｐの全域が高輝度で撮像され、撮像画像Ｐｃの中から投写領域Ａｐを識別することが可能となる。これ以降、制御部２０は、撮像画像Ｐｃ内における投写領域Ａｐの形状及び大きさに基づいて、投写領域Ａｐ内の位置と画素領域１２ａ内の位置（画素１２ｐ）とを対応付けることができる。

その後、制御部２０は、照明装置３を点灯させるとともに、照明装置３で照明した状態の投写面Ｓを撮像装置２に撮像させ、投写面Ｓの凹凸を検出する。本実施形態では、制御部２０は、照明装置３の位置、即ち照明光の照射方向を変えて４回の撮像を順に行わせ、４回の撮像結果に基づいて投写面Ｓの凹凸を検出する。

まず、制御部２０は、１回目の撮像を行うことをユーザーに報知して、照明装置３を第１の位置に設置させる（ステップＳ１０３）。ここで、ユーザーへの報知は、図示しない表示手段や音声出力手段によって報知してもよいし、オンスクリーンディスプレイを用いてメッセージ等を重畳した画像を投写するようにしてもよい。ユーザーは、この報知を受けて、例えば、投写領域Ａｐの左上（投写面Ｓに向かって左上）外側の所定の位置Ｌ１（図５参照）に照明装置３を設置し、左上から右下の方向に向けて照明光を照射して、投写面Ｓ上に凹凸による陰影を生じさせる。そして、ユーザーが入力操作部２２を操作してプロジェクター１に撮像を指示すると、制御部２０は、この指示を受け付けて、撮像装置２に投写領域Ａｐを撮像させる（ステップＳ１０４）。

図６は、投写面Ｓを示す正面図であり、投写面Ｓ上に存在する凸部Ｍ及び凹部Ｄを等高線で示している。また、図７（ａ）〜（ｄ）は、撮像装置２で撮像された投写領域Ａｐを示す図であり、撮像画像Ｐｃから投写領域Ａｐを抽出して示している。

図６に示すように、例えば、平滑な投写領域Ａｐ内に凸部Ｍ及び凹部Ｄが存在する場合には、撮像装置２で撮像された撮像画像Ｐｃ内には、図７（ａ）に示すような輝度分布の投写領域Ａｐが含まれる。即ち、投写領域Ａｐ内において、凸部Ｍの頂部Ｍｔや、照明装置３に近い左上側の斜面では輝度が高くなり、照明装置３から遠い右下側の斜面や、凸部Ｍの周辺の領域のうち、照明装置３から遠い右下側の領域では、凸部Ｍの大きさ（正面視の面積）や高さ（突出量）に応じた範囲に陰影が生じて輝度が低下する。また、投写領域Ａｐ内の凹部Ｄが占める領域のうち、照明装置３に近い左上側の領域では、陰影が生じて輝度が低下する。制御部２０は、撮像結果を記憶部２１に記憶させる（ステップＳ１０５）。

次いで、制御部２０は、４回の撮像がすべて終了したか否かを判断する（ステップＳ１０６）。そして、４回の撮像がまだ終了していない場合には、照明装置３の設置位置を変更して（ステップＳ１０７）、次の撮像を行う。

２回目の撮像を行う場合には、制御部２０は、２回目の撮像を行うことをユーザーに報知して、照明装置３の設置位置を第２の位置に変更させる（ステップＳ１０７）。ユーザーは、この報知を受けて、例えば、投写領域Ａｐの右上外側の所定の位置Ｌ２（図５参照）に照明装置３を設置し、右上から左下の方向に向けて照明光を照射して、投写面Ｓ上に凹凸による陰影を生じさせる。そして、１回目と同様、制御部２０は、ユーザーの指示に応じて撮像装置２に投写領域Ａｐ（図７（ｂ）参照）を撮像させ（ステップＳ１０４）、撮像結果を記憶部２１に記憶させる（ステップＳ１０５）。

同様に、３回目の撮像を行う場合には、制御部２０は、３回目の撮像を行うことをユーザーに報知して、照明装置３の設置位置を第３の位置に変更させる（ステップＳ１０７）。ユーザーは、この報知を受けて、例えば、投写領域Ａｐの左下外側の所定の位置Ｌ３（図５参照）に照明装置３を設置し、左下から右上の方向に向けて照明光を照射して、投写面Ｓ上に凹凸による陰影を生じさせる。そして、制御部２０は、ユーザーの指示に応じて、撮像装置２に投写領域Ａｐ（図７（ｃ）参照）を撮像させ（ステップＳ１０４）、撮像結果を記憶部２１に記憶させる（ステップＳ１０５）。

そして、４回目の撮像を行う場合には、制御部２０は、４回目の撮像を行うことをユーザーに報知して、照明装置３の設置位置を第４の位置に変更させる（ステップＳ１０７）。ユーザーは、この報知を受けて、例えば、投写領域Ａｐの右下外側の所定の位置Ｌ４（図５参照）に照明装置３を設置し、右下から左上の方向に向けて照明光を照射して、投写面Ｓ上に凹凸による陰影を生じさせる。そして、制御部２０は、ユーザーの指示に応じて、撮像装置２に投写領域Ａｐ（図７（ｄ）参照）を撮像させ（ステップＳ１０４）、撮像結果を記憶部２１に記憶させる（ステップＳ１０５）。

図７（ｂ）〜（ｄ）に示すように、２回目〜４回目の撮像においても、１回目の撮像（図７（ａ）参照）と同様、凸部Ｍの頂部Ｍｔや照明装置３に近い側の斜面では輝度が高くなり、照明装置３から遠い側の斜面や、凸部Ｍの周辺の領域のうち、照明装置３から遠い側の領域では、陰影が出現して輝度が低下する。また、投写領域Ａｐ内の凹部Ｄが占める領域のうち、照明装置３に近い側の領域では、陰影が生じて輝度が低下する。

４回の撮像が完了すると、制御部２０は、１回目から４回目のそれぞれ撮像結果（輝度分布）に基づいて、投写領域Ａｐ内の凸部Ｍ及び凹部Ｄを検出する（ステップＳ１０８）。具体的には、制御部２０は、４回分の撮像画像Ｐｃのそれぞれから投写領域Ａｐを抽出するとともに、投写領域Ａｐを、画素領域１２ａの画素１２ｐに１対１で対応する複数の微小領域に区分する。そして、微小領域毎に輝度を数値化して、対応する領域毎に４回分の数値を加算（合計）させる。この結果、例えば、図７（ａ）〜（ｄ）に示した例では、図８に示すような数値の配列が生成される。この例では、凸部Ｍに対応する部位Ａｍでは、平坦な領域に比べて輝度が高いため合計値が大きく、凹部Ｄに対応する部位Ａｄでは、陰影の影響を受けて合計値が小さくなる。つまり、輝度を合計して生成された数値列は、投写面Ｓ（投写領域Ａｐ）の凹凸を表しているものとみなすことができる。なお、現実には、照明装置３に特有の輝度ムラや、照明装置３からの距離に応じた輝度差が生じ得るが、これらは、キャリブレーションによって排除することが望ましい。

次に、制御部２０は、投写領域Ａｐの凹凸を数式で表す（ステップＳ１０９）。
図９は、投写領域Ａｐを示す正面図である。
図９に示すように、まず、制御部２０は、平滑で凹凸のない理想的な投写面（理想投写面Ｓ０）を想定し、その理想投写面Ｓ０上の投写領域Ａｐ内に、水平方向（ｘ方向とする）に沿った複数行の補助線Ｈと、鉛直（垂直）方向（ｙ方向とする）に沿った複数列の補助線Ｖを設定する。これらの補助線Ｈ，Ｖは、画素領域１２ａにおける画素１２ｐの配列に対応付けるように、即ち画素領域１２ａの各画素１２ｐから射出された光が各補助線Ｈ，Ｖの交点に投写されるように設定される。そして、制御部２０は、投写領域Ａｐ内の凹凸の分布（図８参照）に基づいて、各補助線Ｈ，Ｖに沿った投写面Ｓの凹凸を滑らかな曲線Ｃｈ，Ｃｖ（図示せず）で近似させる。即ち、制御部２０は、複数（ｍ行）の補助線Ｈに沿った複数の曲線Ｃｈと、複数（ｎ列）の補助線Ｖに沿った複数の曲線Ｃｖとを生成する。これらの曲線Ｃｈ，Ｃｖは、ベジエ曲線やスプライン曲線を用いて生成することができる。

次に、制御部２０は、各補助線Ｈ，Ｖに沿った凹凸（曲線Ｃｈ，Ｃｖ）に基づいて、画素領域１２ａの各画素１２ｐから射出される光が理想投写面Ｓ０上に投写される場合の投写位置と、凹凸のある実際の投写面Ｓ上に投写される場合の投写位置のずれ（シフト量）を、ｘ方向とｙ方向に分けて推定する（ステップＳ１１０）。

まず、ｘ方向のシフト量について考える。
図１０は、ＬＵＴ２５ａの生成を説明するための平面図である。なお、本図では、投写面Ｓは、曲線Ｃｈによって表されている。

図１０に示すように、画素領域１２ａの所定の画素１２ｐを透過した光が、本来投写されるべき位置である理想投写面Ｓ０上の位置Ａ０に向かって射出され、その位置に凸部Ｍが形成されているものとする。この場合には、制御部２０は、この画素１２ｐ（プロジェクター１）から位置Ａ０に至る光路Ｒａと、Ａ０を通る補助線Ｈに沿った曲線Ｃｈとの交点の位置Ａ１を、投写面Ｓ上の投写位置として定める。そして、位置Ａ１から理想投写面Ｓ０に下ろした垂線の足を位置Ａ２とすると、位置Ａ０に投写されるべき光は、位置Ａ０と位置Ａ２の距離、即ち位置Ａ０と位置Ａ１との距離のｘ方向成分だけ内側（±ｘ方向のうち、プロジェクター１に近づく方向）にずれて鑑賞者に観察される。このため、制御部２０は、この画素１２ｐに対して、ｘ方向のシフト量として位置Ａ０から位置Ａ２に向かうベクトルＡｘを設定する。

同様に、画素領域１２ａの別の画素１２ｐを透過した光が、本来投写されるべき位置である理想投写面Ｓ０上の位置Ｂ０に向かって射出され、その位置に凹部Ｄが形成されているものとする。この場合には、制御部２０は、この画素１２ｐ（プロジェクター１）から位置Ｂ０に至る光路Ｒｂと、Ｂ０を通る補助線Ｈに沿った曲線Ｃｈとの交点の位置Ｂ１を、投写面Ｓ上の投写位置として定める。そして、位置Ｂ１から理想投写面Ｓ０に下ろした垂線の足を位置Ｂ２とすると、位置Ｂ０に投写されるべき光は、位置Ｂ０と位置Ｂ２の距離、即ち位置Ｂ０と位置Ｂ１との距離のｘ方向成分だけ外側（±ｘ方向のうち、プロジェクター１から離れる方向）にずれて鑑賞者に観察される。そして、制御部２０は、この画素１２ｐに対して、ｘ方向のシフト量として位置Ｂ０から位置Ｂ２に向かうベクトルＢｘを設定する。このように、すべての画素１２ｐに対して、ｘ方向のシフト量を表すベクトルを定める。

その後、制御部２０は、ｙ方向についても同様に、各画素１２ｐのシフト量を表すベクトルを設定する。この結果、各画素１２ｐに対してｘ方向のベクトルとｙ方向のベクトルが設定され、各画素１２ｐから射出された光は、これらの合成ベクトルが表す位置にずれて投写されるものとみなすことができる。制御部２０は、各画素１２ｐに対して、設定したｘ方向及びｙ方向のシフト量（ベクトル）を対応付けるＬＵＴ２５ａを生成し（ステップＳ１１１）、画像補正部２５に保持させる。

次に、画像を投写する際のプロジェクター１の動作について、図２を参照して説明する。
画像の投写が開始すると、画像処理部２４は、処理後の画像情報、即ち画素領域１２ａの各画素１２ｐに対応する画素値をフレームメモリー２６に記憶する。画像補正部２５は、保持しているＬＵＴ２５ａを参照し、このＬＵＴ２５ａに基づいてフレームメモリー２６上の画像情報を補正する。具体的には、画像補正部２５は、各画素１２ｐの画素値を、対応するシフト量が表す位置の画素１２ｐの画素値に置き換える処理を行う。なお、シフト量が表す位置が画素１２ｐの中心からずれている場合には、近隣の画素１２ｐの画素値を用いて補間するようにすればよい。また、シフト量が表す位置が投写領域Ａｐの外側である場合には、黒色の画素値に置き換えればよい。画像補正部２５が補正後の画像情報を液晶駆動部２７に出力すると、画像投写部１０から投写される画像は、凹凸による歪が補正された状態で投写面Ｓに表示される。

以上説明したように、本実施形態の画像表示システム１００によれば、以下の効果を得ることができる。

（１）本実施形態の画像表示システム１００によれば、照明装置３が、画像投写部１０とは異なる位置から投写面Ｓに照明光を照射し、撮像装置２が、照明光が照射された投写面Ｓを撮像する。このため、投写面Ｓに凹凸がある場合には、凹凸によって生成される陰影が撮像結果に含まれる。この結果、撮像結果から凹凸を検出することが容易になるため、この凹凸による画像の歪を、確実かつ容易に補正することが可能となる。

（２）本実施形態の画像表示システム１００によれば、撮像装置２は、複数の方向から照明光が照射された状態の投写面Ｓを順に撮像し、制御部２０は、複数回の撮像結果に基づいて投写面の凹凸を検出するため、投写面の凹凸をより確実に検出することが可能となる。

なお、本実施形態では、ステップＳ１０８を実行して凹凸を検出する際の制御部２０が検出部に相当し、ステップＳ１０９からステップＳ１１１を実行してＬＵＴ２５ａを生成する際の制御部２０が補正情報生成部に相当する。

（変形例）
また、上記実施形態は、以下のように変更してもよい。

上記実施形態において、撮像装置２は、プロジェクター１と一体であってもよい。つまり、撮像装置２がプロジェクター１の筐体１ａに収容された構成であってもよい。また、照明装置３は、プロジェクター１の制御部２０の制御に基づいて点灯する構成に限らず、ユーザーが手動で点灯させる構成であってもよい。この場合には、照明装置３は、プロジェクター１に接続されている必要はない。

上記実施形態では、照明装置３の照明光を４つの方向から照射して投写面Ｓを撮像し、４回分の撮像結果に基づいて凹凸を検出しているが、照明光の照射方向は４つに限られず、３つ以下でも５つ以上であってもよい。なお、照明光の照射方向の数が多いほど、投写面Ｓの凹凸を精度よく検出することができる。また、投写光の照射方向の数、即ち撮像の回数を、ユーザーが決定できるようにしてもよい。例えば、入力操作部２２によって撮像回数を事前に設定するようにしてもよいし、ステップＳ１０６における撮像の終了を、入力操作部２２によってユーザーが指示できるようにして、指示があるまで照射方向の変更と撮像とを繰り返すようにしてもよい。

上記実施形態では、投写領域Ａｐを、画素領域１２ａの画素１２ｐに１対１で対応する複数の微小領域に区分しているが、微小領域内に複数の画素１２ｐが含まれるように微小領域を設定してもよい。

上記実施形態では、ステップＳ１０８で投写面Ｓの凹凸を検出する際に、４回分の撮像結果について微小領域毎に輝度を数値化して、対応する領域毎に４回分の数値を加算（合計）させているが、この態様に限定されない。例えば、ステップＳ１０５で撮像結果を記憶部２１に記憶させる際に、微小領域毎に輝度を数値化してから記憶させるようにしてもよい。この場合には、４回分の合計を後で（例えば、ステップＳ１０８で）算出するようにしてもよいが、２回目以降の撮像結果を記憶させる際に、既に記憶されている輝度に加算していくようにすれば、後で合計する必要はなくなる。

上記実施形態では、光変調装置として３つの液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを用いた３板式のプロジェクター１について説明したが、これに限定されない。例えば、各画素の中にそれぞれＲ光、Ｇ光、Ｂ光を透過可能なサブ画素を含んだ１つの液晶ライトバルブによって画像を形成する態様とすることも可能である。

上記実施形態では、光変調装置として、透過型の液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを用いているが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いることも可能である。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源装置１１から射出した光を変調する微小ミラーアレイデバイス等を用いることもできる。

上記実施形態では、光源装置１１は、放電型の光源ランプ１１ａを備えて構成されているが、ＬＥＤ（Light Emitting Diode：発光ダイオード）光源やレーザー光源等の固体光源、或いはその他の光源を備えた構成であってもよい。

上記実施形態では、外部の画像供給装置から入力される画像情報に基づく画像を投写するプロジェクター１を示したが、この態様に限定されない。例えば、ＤＶＤ（Digital Versatile Disc）やＢｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）等の記録媒体に記録されている画像情報を再生可能な画像再生部を一体的に備え、この画像再生部によって再生された画像情報に基づく画像を投写するプロジェクター１であってもよい。

１…プロジェクター、１ａ…筐体、２…撮像装置、３…照明装置、１０…画像投写部、１１…光源装置、１１ａ…光源ランプ、１２Ｒ，１２Ｇ，１２Ｂ…液晶ライトバルブ、１２ａ…画素領域、１２ｐ…画素、１３…投写レンズ、２０…制御部、２１…記憶部、２２…入力操作部、２３…画像入力部、２３ａ…入力端子、２４…画像処理部、２５…画像補正部、２５ａ…ＬＵＴ、２６…フレームメモリー、２７…液晶駆動部、２８…インターフェイス部、１００…画像表示システム、Ｓ…投写面、Ｓ０…理想投写面、Ａｐ…投写領域、Ｍ…凸部、Ｍｔ…頂部、Ｄ…凹部、Ｐｃ…撮像画像、Ｈ，Ｖ…補助線。

Claims (8)

1. 投写面に画像情報に基づく画像を投写する画像投写部と、
   前記画像投写部とは異なる位置から前記投写面に照明光を照射する照明部と、
   前記照明光が照射された前記投写面を撮像する撮像部と、
   前記撮像部の撮像結果に基づいて、前記投写面の凹凸を検出する検出部と、
   前記検出部の検出結果に基づいて、前記凹凸による画像の歪を補正するための補正情報を生成する補正情報生成部と、
   前記補正情報に基づいて、前記画像の歪を補正する補正処理を前記画像情報に施す補正部と、
   を備えたことを特徴とする画像表示システム。
2. 請求項１に記載の画像表示システムであって、
   前記照明部は、前記投写面に複数の方向から前記照明光を照射し、
   前記撮像部は、前記照明光が照射された状態の投写面を、前記照明光の照射方向が変わる度に撮像し、
   前記検出部は、前記撮像部による複数回の撮像結果に基づいて、前記投写面の凹凸を検出することを特徴とする画像表示システム。
3. 請求項２に記載の画像表示システムであって、
   前記検出部は、前記投写面内における前記画像が投写される投写領域を複数の微小領域に区分して、前記微小領域毎に輝度を導くとともに、前記微小領域毎の輝度を撮像回数分だけ加算した結果に基づいて前記投写面の凹凸を検出することを特徴とする画像表示システム。
4. 請求項１〜３のいずれか一項に記載の画像表示システムであって、
   前記画像投写部は、光源から射出された光を画素毎に変調する光変調装置を備え、
   前記補正情報生成部は、前記検出部の検出結果に基づいて、前記投写面の凹凸に起因する前記画素毎のずれを表すルックアップテーブルを生成し、
   前記補正部は、前記ルックアップテーブルに基づいて前記補正処理を行うことを特徴とする画像表示システム。
5. 投写面に画像情報に基づく画像を投写する画像投写部を備えた画像表示システムの制御方法であって、
   前記画像投写部とは異なる位置から前記投写面に照明光を照射する照明ステップと、
   前記照明光が照射された前記投写面を撮像する撮像ステップと、
   前記撮像ステップでの撮像結果に基づいて、前記投写面の凹凸を検出する検出ステップと、
   前記検出ステップでの検出結果に基づいて、前記凹凸による画像の歪を補正するための補正情報を生成する補正情報生成ステップと、
   前記補正情報に基づいて、前記画像の歪を補正する補正処理を前記画像情報に施す補正ステップと、
   を備えたことを特徴とする画像表示システムの制御方法。
6. 請求項５に記載の画像表示システムの制御方法であって、
   前記照明ステップでは、前記投写面に複数の方向から前記照明光を照射し、
   前記撮像ステップでは、前記照明光が照射された状態の投写面を、前記照明光の照射方向が変わる度に撮像し、
   前記検出ステップでは、前記撮像ステップでの複数回の撮像結果に基づいて、前記投写面の凹凸を検出することを特徴とする画像表示システムの制御方法。
7. 請求項６に記載の画像表示システムの制御方法であって、
   前記検出ステップでは、前記投写面内における前記画像が投写される投写領域を複数の微小領域に区分して、前記微小領域毎に輝度を導くとともに、前記微小領域毎の輝度を撮像回数分だけ加算した結果に基づいて前記投写面の凹凸を検出することを特徴とする画像表示システムの制御方法。
8. 請求項５〜７のいずれか一項に記載の画像表示システムの制御方法であって、
   前記画像投写部は、光源から射出された光を画素毎に変調する光変調装置を備え、
   前記補正情報生成ステップでは、前記検出ステップでの検出結果に基づいて、前記投写面の凹凸に起因する前記画素毎のずれを表すルックアップテーブルを生成し、
   前記補正ステップでは、前記ルックアップテーブルに基づいて前記補正処理を行うことを特徴とする画像表示システムの制御方法。

Images