JP2019134206A - 投影装置および投影装置の制御方法 - Google Patents

Abstract

【課題】各画素が所定順に更新されるＰＷＭ変調パネルの投影画像を撮影する際に、前後フレームの画像が混ざらない画像を撮影する投影装置を提供する。【解決手段】複数の画素で構成され、各画素が光源の光をそれぞれＰＷＭ変調することで階調を表現するパネル、映像信号をＰＷＭパターンに変換するＰＷＭ変換手段、映像信号のフレーム同期信号に同期し、かつ前記ＰＷＭパターンに基づいてパネルの各画素を、１フレームに複数回それぞれ異なるタイミングで変調させるパネル更新手段、パネルによって変調された光を投影する投影手段、映像信号のフレーム同期信号に同期して、投影手段によって投影された投影映像を撮影可能な撮像手段、パネルの非変調期間を延長する延長手段を備える。撮像手段は、撮影対象となる投影画像のフレームに対応した前記パネルの変調期間の間、露光を行う。【選択図】図３

Description

本発明は、投影装置および投影装置の投影画像の撮影方法に関する。

近年、アミューズメント施設やフライトシミュレータなどのシミュレーション用途において投影装置を使ったシミュレーションシステムが常設されるようになってきている。このような常設の投影システムにおける１つの課題は、投影画像の投影位置・形状を維持することである。

投影装置の振動などの要因によって投影位置がずれた場合、投影を一旦中断して手動で較正するためには多大な時間と労力が発生してしまうという課題がある。特に、複数の投影装置を組み合わせて使用するシステムにおいては、複数の投影装置の投影位置の較正は極めて難しく、高度な較正技術を持った専門家が必要であった。

本課題を解決するために、特許文献１には、投影形状が投影装置から投影する較正パターンをカメラで撮影し、調整パラメータを生成してスクリーン上での投影画像の形状を補正する技術が開示されている。また、特許文献２には較正パターンを非可視光で投影することで較正パターンが投影画像の視聴を妨げることを防ぐ技術が開示されている。

特開平９−３２６９８１号公報 特開２０１１−２１１６９３号公報

しかしながら、特許文献１、２においては、投影画像の撮影タイミングについて特別な言及がなされていない。そのため、パネルの光変調方式の一つであるＰＷＭ変調方式のパネルを用いた投影装置の投影画像を撮影する状況において、撮影したいフレームの前後フレームの画像が混ざるなど適切な撮影画像が得られない場合が存在するという課題がある。

本課題について図５および図１１を用いて説明する。ＰＷＭ変調方式とは、パネルの画素毎に、1フレーム期間内に複数回繰り返される発光／非発光の２値の表示状態の時間的な積分値によって階調を表現する駆動方式である。この発光／非発光の切り替えは、液晶パネルであれば画素の透過率もしくは反射率を変化させることで実現可能である。また、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍａｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）パネルであれば、各画素を形成するミラーの角度を調整して反射光を投射するか否かを切り替えることで実現可能である。なお、以降の説明ではこのＰＷＭ変調方式にて階調を表現するパネルをＰＭＷ変調パネルと呼ぶこととする。

図５（ａ）は、ＰＷＭ変調パネルの階調表現方法の一例を表した図である。ここでは４ビット（０〜１５階調）を表現する例について説明する。

ＰＷＭ変調パネルでは、各画素が１フレーム期間内にてサブフィールド（これ以降ではＳＦとも記す）と呼ばれる時間区間単位で発光／非発光を切り替えることで階調を表現する。ここでは、各ＳＦの期間について、ＳＦ１の期間に対してＳＦ２では２倍、ＳＦ３は４倍、ＳＦ４は８倍の期間であるものとして説明する。階調０を表現したい場合はＳＦ１〜ＳＦ４の全ての期間において非発光とする。

階調５を表現したい場合はＳＦ１とＳＦ３の期間に発光とし、ＳＦ２およびＳＦ４の期間の非発光とする。同様に、階調１０を表現する場合は、ＳＦ２およびＳＦ４の期間に発光しその他のＳＦ期間は非発光、階調１５を表現したい場合は全ＳＦ期間において発光する。ＰＷＭ変調パネルは、以上で説明したように各ＳＦの発光／非発光期間の時間的積分効果によって所望の階調を表すことができる。

次に図１１を用いて本発明が解決しようとする課題について説明する。図１１はＰＷＭ変調パネルの各水平ラインの更新タイミングと、ＰＷＭ変調パネルの投影画像を撮影する撮像センサの撮像タイミングについて示した図である。

ここで、ＰＷＭ変調パネルの各ラインの更新タイミングについて説明する。ここで説明するＰＷＭ変調パネルのライン数はＮライン（Ｎは整数）であり、全ラインが一括して更新される方式ではなく、例えば次のように所定順に更新される方式であるものとする。

まず、時間ｔ１−１において、或るフレーム（ここではフレーム２）のフレーム同期信号ＯＶＤの立ち上がり時間に同期して、パネル１ライン目のＳＦ１期間が開始される。この期間において、１ライン目の各画素はそれぞれ、図５（ａ）で説明した階調表現例に基づいて各画素の発光／非発光が行われる。なお、ＳＦ期間毎に各画素が発光／非発光を切り替えることは、これ以降のＳＦ期間の説明でも同様であるため今後の説明は省略する。

また、２ライン目のＳＦ１期間はｔ１−２で、３ライン目のＳＦ１期間はｔ１−４でそれぞれ一定時間順に開始され、ｔ１−５では最終ラインであるＮライン目のＳＦ１期間が開始される。また、ｔ１−３で１ライン目のＳＦ１期間が終了し、ＳＦ２が開始される。２ライン目以降のＳＦ２期間も同様にライン順に開始されていく。これはＳＦ３、４についても同様であり、ｔ１−６でパネル１ライン目のＳＦ４期間が終了すると、次のフレーム（フレーム３）の同期信号ＯＶＤの立ち上がり時間ｔ１−７までは光変調は行われず非発光状態となる。この期間をブランキング期間あるいは非変調期間と呼ぶ。また、全ＳＦの合計期間をＰＷＭ変調期間と呼び、例えば、１ライン目のＰＷＭ変調期間はｔ１−１からｔ１−６の期間となる。

そして、フレーム３のフレーム同期信号ＯＶＤに同期して、ｔ１−７にてパネル１ライン目はフレーム３のＳＦ１期間が開始される。一方でｔ１−７においては、Ｎ−１ライン目やＮライン目はまだフレーム２のＳＦ４の期間中であり、Ｎライン目のＳＦ４の期間が終了するのはｔ１−８である。

なお、図１１（ｂ）は、図１１（ａ）で説明したＰＷＭ変調パネルの各ラインの更新タイミングを簡易化して表現した図である。本図の様に表記すると、ＰＷＭ変調パネルの全ラインの更新タイミングを簡単に表現することが可能となるため、以降の説明ではこのように表記する。

ここで、以上で説明した更新タイミングに基づいて動作するＰＷＭ変調パネルの投影画像を、全ライン一括で露光および読み出しが可能な所謂グローバルシャッタ方式の撮像センサを用いて撮影する例を説明する。

ＰＷＭ変調パネルでは、１フレーム期間内の各ＳＦの発光／非発光期間の時間積分にて階調を表現する方式であるため、撮像センサの露光期間は1フレーム期間内のＰＷＭ変調時間の全ての期間を含む必要がある。そのため、図１１（ｂ）に記載したように、フレーム２の投影画像を撮影するためには、例えばパネルの１〜Ｎ行目のＰＷＭ変調期間が全て含まれる時間であるｔ１−１からｔ１−８の期間に露光を行う必要がある。しかしながら、このように定められた露光期間内には、フレーム２の前後のフレーム（フレーム１およびフレーム３）のＳＦ期間が含まれることとなる。そのため、撮影される画像の階調は、前後のフレームが混ざったものとなり、適切な階調を得ることができないことが問題となる。

そのため、各画素が所定順に更新されるＰＷＭ変調パネルの投影画像を撮影する際に、前後フレームの画像が混ざった画像が撮影されることなく単一フレーム撮影することが可能な手法が必要とされている。

本願の投影装置は、複数の画素で構成され、各画素が光源の光をそれぞれＰＷＭ変調することで階調を表現するパネル、映像信号をＰＷＭパターンに変換するＰＷＭ変換手段、映像信号のフレーム同期信号に同期し、かつ前記ＰＷＭパターンに基づいてパネルの各画素を、１フレームに複数回それぞれ異なるタイミングで変調させるパネル更新手段、パネルによって変調された光を投影する投影手段、映像信号のフレーム同期信号に同期して、投影手段によって投影された投影映像を撮影可能な撮像手段、パネルの非変調期間を延長する延長手段を備え、撮像手段は、撮影対象となる投影画像のフレームに対応した前記パネルの変調期間の間、露光を行うことを特徴とする。

本発明によると、各画素が所定順に更新されるＰＷＭ変調パネルの投影画像を適切に撮影することが可能となる。

液晶プロジェクタ１００の全体の構成を示す図である。 液晶プロジェクタ１００の基本動作の制御を説明するためのフロー図である。 画像処理部１４０、液晶制御部１５０および撮像部１８０の内部構成を示した図である。 較正パターン生成部１４７が生成する較正パターンの一例と、その較正パターンの投影画像への合成例を示した図である。 ＰＷＭ変調パネルの階調表現方法の一例を表した図 液晶パネル１５１の更新タイミングおよび撮像センサ１８２の露光および読み出しタイミングの一例を示した図である 本実施例の液晶プロジェクタ１００の特徴的な動作シーケンス図である。 実施例２における画像処理部１４０、液晶制御部１５０および撮像部１８０の内部構成を示した図である。 実施例２における液晶プロジェクタ１００の特徴的な動作シーケンス図である。る。 実施例２における液晶パネル１５１の更新タイミングおよび撮像センサ１８２の露光および読み出しタイミングの一例を示した図である ＰＷＭ変調パネルにおける課題を説明した図である

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されるものではない。

＜第１の実施形態＞
本実施例では、投影装置の一例として、液晶パネルを用いたプロジェクタについて説明する。

＜全体構成＞
まず、図１を用いて、本実施例の液晶プロジェクタの全体構成を説明する。図１は、本実施例の液晶プロジェクタ１００の全体の構成を示す図である。

本実施例の液晶プロジェクタ１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部１４０を有する。また、液晶プロジェクタ１００は、さらに、液晶制御部１５０、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。また、液晶プロジェクタ１００は、さらに、記録再生部１９１、記録媒体１９２、通信部１９３、撮像部１９４、表示制御部１９５、表示部１９６を有していてもよい。

ＣＰＵ１１０は、液晶プロジェクタ１００の各動作ブロックを制御するものあり、ＲＯＭ１１１は、ＣＵＰ１１０の処理手順を記述した制御プログラムを記憶するためのものであり、ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納するものである。また、ＣＰＵ１１０は、記録再生部１９１により記録媒体１９２から再生された静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、ＣＰＵ１１０は、通信部１９３より受信した静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。

また、撮像部１９４により得られた画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、静止画データや動画データに変換して記録媒体１９２に記録させることもできる。

また、操作部１１３は、ユーザの指示を受け付け、ＣＰＵ１１０に指示信号を送信するものであり、例えば、スイッチやダイヤル、表示部１９６上に設けられたタッチパネルなどからなる。また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。また、ＣＰＵ１１０は、操作部１１３や、通信部１９３から入力された制御信号を受信して、液晶プロジェクタ１００の各動作ブロックを制御する。

ここで、外部装置は、映像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。

画像処理部１４０は、映像入力部１３０から受信した映像信号にフレーム数、画素数、画像形状などの変更処理を施して、液晶制御部１５０に送信するものであり、例えば画像処理用のマイクロプロセッサからなる。また、画像処理部１４０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が画像処理部１４０と同様の処理を実行しても良い。画像処理部１４０は、フレーム間引き処理、フレーム補間処理、解像度変換（スケーリング）処理、歪み補正処理（キーストン補正処理）といった機能を実行することが可能である。また、画像処理部１４０は、映像入力部１３０から受信した映像信号以外にも、ＣＰＵ１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。

液晶制御部１５０は、画像処理部１４０で処理の施された映像信号に基づいて、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの画素の液晶に印可する電圧を制御して、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を調整する。

液晶パネル１５１Ｒは、赤色に対応する液晶パネルであって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整するためのものである。液晶パネル１５１Ｇは、緑色に対応する液晶パネルであって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整するためのものである。液晶パネル１５１Ｂは、青色に対応する液晶パネルであって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整するためのものである。

光源制御部１６０は、光源１６１のオン／オフを制御や光量の制御をするものであり、制御用のマイクロプロセッサからなる。また、光源制御部１６０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光源制御部１６０と同様の処理を実行しても良い。また、光源１６１は、不図示のスクリーンに画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。

また、色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。また、色合成部１６３は、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。

そして、色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１７１に送られる。このとき、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、液晶制御部１５０により制御されている。そのため、色合成部１６３により合成された光は、投影光学系１７１によりスクリーンに投影されると、画像処理部１４０により入力された画像に対応する画像がスクリーン上に表示されることになる。

光学系制御部１７０は、投影光学系１７１を制御するものであり、制御用のマイクロプロセッサからなる。また、光学系制御部１７０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光学系制御部１７０と同様の処理を実行しても良い。また、投影光学系１７１は、色合成部１６３から出力された合成光をスクリーンに投影するためのものであり、複数のレンズ、レンズ駆動用のアクチュエータからなり、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。

撮像部１８０は、液晶プロジェクタ１００の投影画像を撮像することができる。詳細な構成は後述する。

記録再生部１９１は、記録媒体１９２から静止画データや動画データを再生したり、また、撮像部１９４により得られた画像や映像の静止画データや動画データをＣＰＵ１１０から受信して記録媒体１９２に記録したりするものである。また、通信部１９３より受信した静止画データや動画データを記録媒体１９２に記録しても良い。記録再生部１９１は、例えば、記録媒体１９２と電気的に接続するインタフェースや記録媒体１９２と通信するためのマイクロプロセッサからなる。

また、記録再生部１９１には、専用のマイクロプロセッサを含む必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が記録再生部１９１と同様の処理を実行しても良い。また、記録媒体１９２は、静止画データや動画データ、その他、本実施例の液晶プロジェクタに必要な制御データなどを記録することができるものであり、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体であってよく、着脱可能な記録媒体であっても、内蔵型の記録媒体であってもよい。

通信部１９３は、外部機器からの制御信号や静止画データ、動画データなどを受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１３０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであっても良い。ここで、外部装置は、液晶プロジェクタ１００と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。

撮像部１９４は、本実施例の液晶プロジェクタ１００の周辺を撮像して画像信号を取得するものであり、投影光学系１７１を介して投影された画像を撮影（スクリーン方向を撮影）することができる。撮像部１９４は、得られた画像や映像をＣＰＵ１１０に送信し、ＣＰＵ１１０は、その画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムに基づいて、静止画データや動画データに変換する。撮像部１９４は、被写体の光学像を取得するレンズ、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサ、レンズを介して取得した光学像を画像信号に変換する撮像素子、撮像素子により得られた画像信号をデジタル信号に変換するＡＤ変換部などからなる。また、撮像部１９４は、スクリーン方向を撮影するものに限られず、例えば、スクリーンと逆方向の視聴者側を撮影しても良い。

表示制御部１９５は、液晶プロジェクタ１００に備えられた表示部１９６に液晶プロジェクタ１００を操作するための操作画面やスイッチアイコン等の画像を表示させるための制御をするものであり、表示制御を行うマイクロプロセッサなどからなる。また、表示制御部１９５専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が表示制御部１９５と同様の処理を実行しても良い。また、表示部１９６は、液晶プロジェクタ１００を操作するための操作画面やスイッチアイコンを表示するものである。表示部１９６は、画像を表示できればどのようなものであっても良い。例えば、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイであって良い。また、特定のボタンをユーザに認識可能に掲示するために、各ボタンに対応するＬＥＤ等を発光させるものであってもよい。

なお、本実施例の画像処理部１４０、液晶制御部１５０、光源制御部１６０、光学系制御部１７０、記録再生部１９１、表示制御部１９５は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあっても良い。または、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が各ブロックと同様の処理を実行しても良い。

＜基本動作＞
次に、図１、図２を用いて、本実施例の液晶プロジェクタ１００の基本動作を説明する。

図２は、本実施例の液晶プロジェクタ１００の基本動作の制御を説明するためのフロー図である。図２の動作は、基本的にＣＰＵ１１０が、ＲＯＭ１１１に記憶されたプログラムに基づいて、各機能ブロックを制御することにより実行されるものである。図２のフロー図は、操作部１１３や不図示のリモコンによりユーザが液晶プロジェクタ１００の電源のオンを指示した時点をスタートとしている。

操作部１１３や不図示のリモコンによりユーザが液晶プロジェクタ１００の電源のオンを指示すると、ＣＰＵ１１０は、不図示の電源部からプロジェクタ１００の各部に不図示の電源回路から電源を供給が供給する。

次に、ＣＰＵ１１０は、ユーザによる操作部１１３やリモコンの操作により選択された表示モードを判定する（Ｓ２１０）。本実施例のプロジェクタ１００の表示モードの一つは、画像入力部１３０より入力された映像を表示する「入力画像表示モード」である。また、本実施例のプロジェクタ１００の表示モードの一つは、記録再生部１９１により記録媒体１９２から読み出された静止画データや動画データの画像や映像を表示する「ファイル再生表示モード」である。また、本実施例のプロジェクタ１００の表示モードの一つは、通信部１９３から受信した静止画データや動画データの画像や映像を表示する「ファイル受信表示モード」である。

なお、本実施例では、ユーザにより表示モードが選択される場合について説明するが、電源を投入した時点での表示モードは、前回終了時の表示モードになっていてもよく、また、前述のいずれかの表示モードをデフォルトの表示モードとしてもよい。その場合には、Ｓ２１０の処理は省略可能である。

ここでは、Ｓ２１０で、「入力画像表示モード」が選択されたものとして説明する。

「入力画像表示モード」が選択されると、ＣＰＵ１１０は、画像入力部１３０から映像が入力されているか否かを判定する（Ｓ２２０）。入力されていない場合（Ｓ２２０でＮｏ）には、入力が検出されるまで待機し、入力されている場合（Ｓ２２０でＹｅｓ）には、制御部は、投影処理（Ｓ２３０）を実行する。

ＣＰＵ１１０は、投影処理として、画像入力部１３０より入力された映像を画像処理部１４０に送信し、画像処理部１４０に、映像の画素数、フレームレート、形状の変形を実行させ、処理の施された１画面分の画像を液晶制御部１５０に送信する。そして、ＣＰＵ１１０は、液晶制御部１５０に、受信した１画面分の画像の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色成分の階調レベルに応じた透過率となるように、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を制御させる。

そして、ＣＰＵ１１０は、光源制御部１６０に光源１６１からの光の出力を制御させる。色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離し、それぞれの光を、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂに供給する。液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂに供給された、各色の光は、各液晶パネルの画素毎に透過する光量が制限される。そして、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）それぞれの光は、色合成部１６３に供給され再び合成される。そして、色合成部１６３で合成された光は、投影光学系１７１を介して、不図示のスクリーンに投影される。

この投影処理は、画像を投影している間、１フレームの画像毎に順次、実行されている。

なお、このとき、ユーザにより投影光学系１７１の操作をする指示が指示部１１１から入力されると、ＣＰＵ１１０は、光学系制御部１７０に、投影画像の焦点を変更したり、光学系の拡大率を変更したりするように投影光学系１７１のアクチュエータを制御させる。

この表示処理実行中に、ＣＰＵ１１０は、ユーザにより表示モードを切り替える指示が指示部１１１から入力されたか否かを判定する（Ｓ２４０）。ここで、ユーザにより表示モードを切り替える指示が指示部１１１から入力されると（Ｓ２４０でＹｅｓ）、ＣＰＵ１１０は、再びＳ２１０に戻り、表示モードの判定を行う。このとき、ＣＰＵ１１０は、画像処理部１４０に、表示モードを選択させるためのメニュー画面をＯＳＤ画像として送信し、投影中の画像に対して、このＯＳＤ画面を重畳させるように画像処理部１４０を制御する。ユーザは、この投影されたＯＳＤ画面を見ながら、表示モードを選択するのである。

一方、表示処理実行中に、ユーザにより表示モードを切り替える指示が指示部１１１から入力されない場合は（Ｓ２４０でＮｏ）、ＣＰＵ１１０は、ユーザにより投影終了の指示が指示部１１１から入力されたか否かを判定する（Ｓ２５０）。ここで、ユーザにより投影終了の指示が指示部１１１から入力された場合には（Ｓ２５０でＹｅｓ）、ＣＰＵ１１０は、プロジェクタ１００の各ブロックに対する電源供給を停止させ、画像投影を終了させる。一方、ユーザにより投影終了の指示が指示部１１１から入力された場合には（Ｓ２５０でＮｏ）、ＣＰＵ１１０は、Ｓ２２０へ戻り、以降、ユーザにより投影終了の指示が指示部１１１から入力されるまでの間Ｓ２２０からＳ２５０までの処理を繰り返す。

以上のように、本実施例の液晶プロジェクタ１００は、スクリーンに対して画像を投影する。

なお、「ファイル再生表示モード」では、ＣＰＵ１１０は、記録再生部１９１に、記録媒体１９２から静止画データや動画データのファイルリストや各ファイルのサムネイルデータを読み出させ、ＲＡＭ１１２に一時的に記憶する。そして、ＣＰＵ１１０は、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＲＡＭ１１２に一時記憶されたファイルリストに基づく文字画像や各ファイルのサムネイルデータに基づく画像を生成し、画像処理部１４０に送信する。そして、ＣＰＵ１１０は、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御する。

次に、投影画面上において、記録媒体１９２に記録された静止画データや動画データにそれぞれ対応する文字や画像を選択する指示が指示部１１１を通して入力される。そうすると、ＣＰＵ１１０は、選択された静止画データや動画データを記録媒体１９２から読み出すように記録再生部１９１を制御する。そして、ＣＰＵ１１０は、読み出された静止画データや動画データをＲＡＭ１１２に一時的に記憶し、ＲＯＭ１１１記憶されたプログラムに基づいて、静止画データや動画データの画像や映像を再生する。

そして、ＣＰＵ１１０は、例えば再生した動画データの映像を順次、画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御する。また、静止画データを再生した場合には、再生した画像を画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御する。

また、「ファイル受信表示モード」では、ＣＰＵ１１０は、通信部１９３から受信した静止画データや動画データをＲＡＭ１１２に一時的に記憶し、ＲＯＭ１１１記憶されたプログラムに基づいて、静止画データや動画データの画像や映像を再生する。そして、ＣＰＵ１１０は、例えば再生した動画データの映像を順次、画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御する。また、静止画データを再生した場合には、再生した画像を画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御する。

次に本実施例の液晶プロジェクタ１００の特徴的な構成について詳しく説明する。

図３は画像処理部１４０、液晶制御部１５０および撮像部１８０の内部構成を示した図である。

画像処理部１４０は、前処理部１４１、メモリ制御部１４２、画像メモリ１４３、後処理部１４４、出力同期信号生成部１４５で構成される。画像処理部１４０を構成する各部は、レジスタバス１９９を介してＣＰＵ１１０と接続されている。また、前処理部１４１、メモリ制御部１４２には、画像入力部１３０からの入力フレーム同期信号および入力水平同期信号（以下、ＩＶＤ、ＩＨＤと記す）を含んだタイミング信号が入力されている。更には、メモリ制御部１４２、後処理部１４４には、出力同期信号生成部１４５からの出力フレーム同期信号および出力水平同期信号（以下、ＯＶＤ、ＯＨＤと記す）を含んだタイミング信号が入力されている。

前処理部１４１は、画像入力部１３０から入力された画像を、液晶パネル１５１に適した色空間、解像度へ変換する。具体的には、色空間変換、拡大縮小処理を含む表示レイアウトの変換処理を行う。

メモリ制御部１４２は、ＩＰ変換やフレームレート変換などの時間軸上の変換処理や、投影画像の形状補正のために使用される画像メモリ１４３のメモリアドレスの発行および画像の書き込み・読み出し制御を行う。メモリ制御部１４２のフレームレート変換処理には、同じ画像を画像メモリ１４３から２度読み出すことにより実現されるフレームレートの倍速化処理も含まれる。いずれのケースにおいても、画像メモリ１４３に対して、ＩＶＤおよびＩＨＤに同期して画像の書き込み制御を行い、ＯＶＤおよびＯＨＤに同期して画像の読み出し制御を行う。

後処理部１４４は、較正パターン生成部１４７、合成部１４８、画像補正部１４９で構成されている。較正パターン生成部１４７は、投影映像の投影位置もしくは形状の較正のために必要なパターンを生成する。このパターンは、例えば図４（ａ）に示すような複数の矩形からなる公知のパターンであってもよく、または特許文献ＵＳ８９０７７９５で開示されている技術を用いて生成される２次元座標情報をコード化したパターンであってもよい。

合成部１４８は、較正パターン生成部１４７が生成した較正パターンを入力画像に合成する。また、合成の際には階調のオーバーフロー、アンダーフローが発生しないように、較正パターンの階調を補正する。

なお、投影画像に合成された較正パターンは、液晶プロジェクタ１００の使用者に視認されないことが望ましい。そこで、合成部１４８は較正パターンを常に画像に合成するのではなく、必要に応じて例えば数分に１回１フレームだけ合成してもよい。他には、前述の様にメモリ制御部１４２が倍速化した或るフレームには図４（ｂ）の様に較正パターンを減算して合成、その次のフレームには較正パターンを図４（ｃ）のように加算して合成する合成方法を用いてもよい。この合成方法は、視覚の時間的な積分効果を利用して較正パターンを視認されにくくすることができる。

画像補正部１４９は、液晶パネル１５１と投影光学系１７１起因の表示むら（色むら、輝度むら）、ディスクリネーションなどの補正処理を行う。更には、液晶パネル１５１の階調性に合わせた、ディザを代表とする階調変換やガンマ変換などの画像処理を行う。

出力同期信号生成部１４５は、出力同期信号（ＯＶＤ・ＯＨＤ）を生成するブロックであり、自身に入力されている不図示のドットクロックのベースとなる基準クロックをカウントしてＯＶＤ・ＯＨＤを生成する。このＯＶＤ・ＯＨＤは、メモリ制御部１４２による画像メモリ１４３の読み出しから後処理部１４４、更には液晶制御部１５０によって駆動される液晶パネル１５１の更新タイミングを同期化するための基準信号として扱われる。

液晶制御部１５０は、ＰＷＭ変換部１５２およびパネルタイミングコントローラ１５３で構成される。液晶制御部１５０を構成する各部は、レジスタバス１９９を介してＣＰＵ１１０と接続されている。ＰＷＭ変換部１５２は、画像処理部１４０で処理されたデジタルの画像信号を階調に応じて所定のＰＷＭパターンに変換して、ＰＷＭ変調方式の液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂに送信する。

ここで、画像の階調とＰＷＭパターンの対応について図５を用いて説明する。ここでは４ビット（０〜１５階調）を表現する例について説明する。

液晶パネル１５１は、１フレーム期間内にてＳＦと呼ばれる時間区間単位で各画素の光の反射率もしくは透過率を切り替えて発光／非発光状態を変化させることで階調を表現する。この発光／非発光の期間の一例を表したのが図５（ａ）である。階調０を表現したい場合はＳＦ１〜ＳＦ４の全ての期間において非発光とする。階調５を表現したい場合はＳＦ１とＳＦ３の期間に発光とし、ＳＦ２およびＳＦ４の期間を非発光とする。同様に、階調１０を表現する場合は、ＳＦ２およびＳＦ４の期間に発光しその他のＳＦ期間は非発光、階調１５を表現したい場合は全ＳＦ期間において発光する。

なお、液晶パネル１５１の発光／非発光状態は、液晶パネルの画素電極に印可される2値（Ｈレベル／Ｌレベル）の電圧値にて決定される。ＰＷＭ変換部１５２は、入力された画像の階調に応じて図５（ｂ）のように液晶パネルの画素電極に対してＨレベルもしくはＬレベルの電圧を印可することで、図５（ａ）のように液晶パネルの発光／非発光を制御できる。以降の説明では、この印可電圧のことをＰＷＭパターンと呼ぶ。

パネルタイミングコントローラ１５３は、画像処理部１４０から受信した出力同期信号に同期して、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂを駆動するために必要な制御信号や走査電圧信号を生成する。また、図５（ｃ）、（ｄ）は、図５（ａ）、（ｂ）よりも各ＳＦ期間を短くすることで、短時間で４ビットを表現することができる発光／非発光例とそのＰＷＭパターンについて示した例である。

撮像部１８０は、撮像光学系１８１、撮像センサ１８２、信号変換部１８３、撮像タイミングコントローラ１８４からなる。撮影部１８０を構成する各部は、レジスタバス１９９を介してＣＰＵ１１０と接続されている。撮像光学系１８１を通って入射する光は、撮像センサ１８２によって光電変換され画像信号となる。この画像信号に対して信号変換部１８３では撮像画像のゲインおよびＡＤ変換等が行われ、ＣＰＵ１１０に対してデジタル化された撮像画像信号が送られる。撮像タイミングコントローラ１８４は、撮像センサ１８２の露光や読み出しのタイミングを制御する。

撮像タイミングコントローラ１８４は、画像処理部１４０の出力同期信号生成部１４５から出力されるＯＶＤに同期して動作する。つまり、撮像センサ１８２の露光および読み出しのタイミングもＯＶＤに同期するため、パネル１５１の更新タイミングと撮像センサ１８２の露光および読み出しのタイミングは同期動作する。

次に、液晶パネル１５１を構成する各画素の更新タイミングについて図６を用いて説明する。なお、液晶パネル１５１のライン数はＮライン（Ｎは整数）とする。

図６（ａ）は液晶パネル１５１の各水平ラインの更新タイミングについて示した図である。なお、液晶パネル１５１のライン数はＮライン（Ｎは整数）であるものとする。また、全ラインが同じタイミングで更新される方式ではなく、以下で説明する様に所定順に更新される方式である。

まず、時間ｔ６−１において、或るフレーム（ここではフレーム２）のフレーム同期信号ＯＶＤが立ち上がり時間に同期して、パネル１ライン目のＳＦ１期間が開始される。この期間において、１ライン目の各画素は、図５で説明したＰＷＭパターンに基づいて発光／もしくは非発光が行われる。なお、ＳＦ期間毎に各画素が発光もしくは非発光を切り替えることは以下のＳＦ期間の説明でも同様であるため今後の説明は省略する。

また、２ライン目のＳＦ１期間はｔ６−２で、３ライン目のＳＦ１期間はｔ６−４とそれぞれ一定時間順に開始され、ｔ６−５では最終ラインであるＮライン目のＳＦ１期間が開始される。また、ｔ６−３で１ライン目のＳＦ１期間が終了し、ＳＦ２が開始される。２ライン目以降のＳＦ２期間も同様にライン順に開始されていく。これはＳＦ３、４についても同様であり、ｔ６−６でパネル１ライン目のＳＦ４期間が終了すると、次のフレーム（フレーム３）の同期信号ＯＶＤの立ち上がり時間ｔ６−７までは光変調をＯＦＦする。この期間をブランキング期間と呼ぶ。また、ｔ６−１からｔ６−６までの全ＳＦの合計期間をＰＷＭ変調期間と呼ぶ。

以降の時間では、これまでの説明と同様に、ライン毎に異なるタイミングにて各ＳＦ期間が開始・終了される。フレーム３のフレーム同期信号ＯＶＤに同期して、ｔ６−７にてパネル１ライン目はフレーム３のＳＦ１期間が開始されるのに対し、Ｎ−１ライン目やＮライン目はまだフレーム２のＳＦ４期間中であり、Ｎライン目のＳＦ４の期間が終了するのはｔ６−８になってからである。

なお、図６（ｂ）は、図６（ａ）で説明した液晶パネル１５１の各ラインの更新タイミングを簡易化して表現した図である。本図の様に表記すると、ＰＷＭ変調パネルの全ラインの更新タイミングを簡単に表現することが可能となるため、以降の説明ではこのように表記する。

図６（ｂ）より投影画像のフレームレートの遅いケースにおける液晶パネル１５１の更新タイミングを表したのが、図６（ｃ）である。出力フレーム同期信号ＯＶＤの発生周期は、投影される画像のフレームレートによって変動する。一方、ＰＷＭ変調期間はＰＷＭパターンによって一意に決まるため、フレームレートの変動はブランキング期間の長さに現れる。よって図６（ｃ）のブランキング期間は図６（ｂ）のそれと比較して長くなる。

次に、図７を用いて、本実施例における液晶プロジェクタ１００において、較正パターンを重畳して投影した画像を撮影し、撮像画像から較正パターンの形状を検出して投影画像の形状補正を行う際の各部の動作について説明する。

Ｓ７０１では、メモリ制御部１４２は、以下の手順で入力画像のフレームレートを倍速化する。まず、メモリ制御部１４２は、ＩＶＤに同期して、受信した画像を画像メモリ１４３に書きこむ。その後、メモリ制御部１４２は、ＯＶＤに同期して、書き込み時とは倍のスピードで、若しくは書き込み時とは倍のデータバス幅を使って画像メモリ１４３から画像を２度にわたって読み出す。以上のようにメモリ制御部１４２が動作することで、画像のフレームレートが倍速化され、かつ倍速後の２フレームにわたって同じ画像がメモリ制御部１４２から出力される。また、出力同期信号生成部１４５は、倍速化後の画像のフレームの前後フレームを識別可能なフレーム識別信号（不図示）を生成し、後処理部１４４に送信する。

Ｓ７０２では、ＣＰＵ１１０は、投影画像に較正パターンを合成するタイミングとなったかを判断する。このタイミングは例えば、数秒毎であってもよいし、不図示の加速度センサによって投影画像の振動を検出したタイミングであってもよい。また、操作部１１３を介して液晶プロジェクタ１００の使用者の指示を受けたタイミングであってもよい。ＣＰＵ１１０が投影画像に較正パターンを合成するタイミングとなったと判断するとＳ７０３に進む。

Ｓ７０３では、ＣＰＵ１１０は、投影画像のフレームレートを測定する。ＣＰＵ１１０は、フレームレートの判定結果を撮像タイミングコントローラ１８４に通知する。Ｓ７０４において、ＣＰＵ１１０は、あるフレームのＰＷＭ変調期間とその前もしくは後のフレームのＰＷＭ変調期間が、同時に発生する瞬間があるか否かを判断する。例えば、投影画像の全ラインを撮影したい場合、この判断基準は以下の様に行う。

１／（投影映像のフレームレート）
＜ 液晶パネル１５１の全ラインのＰＷＭ変調期間
＝ （液晶パネル１５１のＮ行目のＳＦ４の終了時間）
−（液晶パネル１５１の１行目のＳＦ１の開始時間） （式１）

上式が成立する場合、液晶パネル１５１の更新タイミングは、図６（ｂ）に記載の様に、フレーム２のＳＦ期間とその前後のフレーム（フレーム１、３）のＳＦ期間が、液晶パネル１５１のライン間で同時に発生する場合である。この場合、Ｓ７０５に進む。一方、上式が不成立の場合は、図６（ｃ）のようにあるフレームのＳＦ期間とその前後のフレーム３のＳＦ期間がライン間で被らないケースであり、Ｓ７０７に進む。

なお、ここでは投影映像のフレームレートを判断分岐基準として用いたが、別の例としてはＯＶＤの発生間隔を用いてもよい。ＯＶＤの発生間隔 ＝ １／（投影映像のフレームレート）が成り立つため、式１の左辺を（ＯＶＤの発生間隔）に置き換えればよい。

Ｓ７０５では、ＣＰＵ１１０はＰＷＭ変換部１５２に対して、ＰＷＭパターンを変更して、ＰＷＭ変調期間を短くするように指示を出す。具体的にはＰＷＭ変調期間が、下式を満たすようにＰＷＭパターンを変更する。

１／（投影映像のフレームレート）
＞ 液晶パネル１５１の全ラインのＰＷＭ変調期間 （式２）
ＰＷＭ変更部１５２は、ＣＰＵ１１０からの指示を受け、ＰＷＭ変調信号を変更する。例えば、変更前が図５（ｂ）のようなＰＷＭパターンであったとすると、各ＳＦ期間を半分とした図５（ｄ）の様なＰＷＭパターンに変更する。ＰＷＭパターンがこのように変更されることで、液晶パネル１５１の各ラインの更新タイミングは、図６（ｂ）から図６（ｄ）のように変更される。

Ｓ７０５にて各部が以上の様に動作することで、液晶パネル１５１の各ラインの更新タイミングにおいて、或るフレームのＳＦ期間とその前もしくは後のフレームのＳＦ期間が、同時に発生する瞬間が発生することはなくなる。

Ｓ７０６では、ＣＰＵ１１０は、Ｓ７０５によるＰＷＭ変調期間変更による投影画像の輝度低下を補うために、光源１６１の発光強度を決定し、光源制御部１６０に対して光源１６１の発光強度を上げるように指示する。光源制御部１６１はＣＰＵ１１０の指示に従って、光源１６１の発光強度を上げる。なお、この発光強度は変更前の発光強度に比べて、
（変更前のＰＷＭ変調期間／変更後のＰＷＭ変調期間）倍
であることが望ましい。

Ｓ７０７では、撮像タイミングコントローラ１８４は、撮像センサ１８２の露光期間が、液晶パネル１５１の全ラインのＰＭＷ変調期間全てを含むように各ラインの露光タイミングを決定する。例えば、フレーム２の投影画像を撮影する場合は、液晶パネル１５１の更新タイミングが図６（ｃ）のようなタイミングであるならば、ｔ６−１１〜ｔ６−１４までの期間に露光を行う。液晶パネル１５１の更新タイミングが図６（ｄ）のようなタイミングであるならば、ｔ６−２１〜ｔ６−２３までの期間に露光を行う。

Ｓ７０８では、合成部１４８は、自身に入力される画像に対して較正パターンを合成する。ここでは、前述の様に、フレーム２には図４（ｂ）の様に較正パターンを減算、その次のフレームであるフレーム３には図４（ｃ）の様に較正パターンを加算して合成するものとする。なお、フレーム２は、メモリ制御部１４２がＳ７０１にて倍速化したフレームのうち先側のフレームであり、フレーム３はメモリ制御部１４２がＳ７０１にて倍速化したフレームのうち後側のフレームである。

Ｓ７０９では、合成部１４８にて較正パターンが出力された画像は、画像補正部１４９および液晶制御部１５０を通って液晶素子１５１上に形成され、投影光学系１７１を通して投影される。

Ｓ７１０では撮像部１８０は、Ｓ７０８にて投影された画像を、Ｓ７０６で定めた露光期間にしたがって撮影する。この例では、図４（ｂ）および図４（ｃ）の投影画像を撮影するために、連続して２枚の画像を撮影する。その後、撮像部１８０は撮影された画像をＣＰＵ１１０に送信する。

Ｓ７１１では、ＣＰＵ１１０は、撮影画像から較正パターンを検出する。前述の様に倍速化された画像に対してそれぞれ図４（ｂ）、図４（ｃ）のように較正パターンを減算・加算した画像を撮影した場合、以下の様に２つの画像の差分をとることで図４（ａ）較正パターンだけを検出することができる。

較正パターン＝（図４（ｃ）の撮影画像）−（図４（ｂ）の撮影画像） （式３）
Ｓ７１２では、ＣＰＵ１１０は、検出されたパターン情報を基にメモリ制御部１４２による画像形状および投影位置の補正パラメータを生成する。一例としては、検出された較正パターンの形状の４頂点の座標から投影画像の補正に必要な射影変換パラメータを生成する方法が挙げられる。ただし、ここでの補正パラメータの生成方法はこれに限るものではなく、公知の技術を含め、どのようなものであってもよい。

Ｓ７１３では、メモリ制御部１４２は、Ｓ７１１で生成された補正パラメータに基づいて画像メモリ１４３へのアクセスアドレスを発行し、画像を変形させる。

以上が、本実施例における液晶プロジェクタ１００において、較正パターンを重畳して投影した画像を撮影し、撮像画像から較正パターンの形状を検出して投影画像の形状補正を行うシーケンスである。

液晶プロジェクタ１００の各部が上記の様に動作することによって、ＰＷＭ変調方式の液晶パネル１５１の投影画像を撮影する場合において、複数フレームの画像が混ざった画像が撮影されることなく、単一フレームの画像を撮影することが可能である。またこの撮影画像を使うことで較正パターンを適切に検出することができるようになり、投影画像の位置や形状を適切に補正することが可能となる。

なお、ここまで撮像部１８０は液晶プロジェクタ１００の内部に含まれる構成について説明してきたが、本発明が適用可能な構成はこれに限定されず、本実施例で説明した撮像部１８０を含むデジタルカメラと液晶プロジェクタからなる構成であってもよい。この場合、液晶プロジェクタから出力フレーム同期信号ＯＶＤをデジタルカメラに有線もしくは無線の通信手段にて送信することで、ここまで説明してきた特徴的な動作を実現可能である。

＜第２の実施形態＞
次に、図８〜図１０を用いて本発明の別の実施例について説明する。

まず、本実施例における液晶プロジェクタ１００の構成について、図８を用いて実施例１と異なる箇所について説明する。実施例１との構成の違いは、後処理部１４４に階調置換部１４６が備わっていることである。階調置換部１４６は、自身に入力される画像の任意のフレームの階調値を任意の階調値に置換できる。例えば、黒レベルを表す値に置換する場合、以降の説明ではこの置換処理のことを黒挿入と呼ぶ。

次に、図９を用いて、本実施例における液晶プロジェクタ１００が、較正パターンを重畳して投影した画像を撮影し、撮像画像から較正パターンの形状を検出して投影画像の形状補正を行う際の各部の動作について説明する。

Ｓ９０１〜Ｓ９０４における液晶プロジェクタ１００の各部の動作は、Ｓ７０１〜Ｓ７０４と同様であるため説明は省略する。Ｓ９０５では、ＣＰＵ１１０は、撮影したいフレームの前後のフレームに対して黒挿入を行うよう、階調置換部１４６に対して指示する。階調置換部１４６は、ＣＰＵ１１０からの指示を受け、階調を置換する。

Ｓ９０６では、ＣＰＵ１１０は、Ｓ９０５での黒挿入処理による投影画像の輝度低下を補うために、光源１６１の発光強度を決定し、光源制御部１６０に対して光源１６１の発光強度を上げるように指示する。光源制御部１６１はＣＰＵ１１０の指示に従って、光源１６１の発光強度を上げる。なお、この発光強度は変更前の発光強度に比べて、２倍であることが望ましい。

Ｓ９０７における液晶プロジェクタ１００の各部の動作は、Ｓ７０７と同様であるため説明は省略する。Ｓ９０８では、合成部１４８は、自身に入力される画像に対して較正パターンを合成する。ここでは、黒挿入されていない或るフレーム（ここではフレーム２とする）の画像に対して、図４（ｂ）の様に較正パターンを減算して付加する。また、その次以降のフレームのうち黒挿入されていないフレーム（ここではフレーム４とする）の画像に対して図４（ｃ）の様に較正パターンを加算して合成するものとする。

Ｓ９０９における液晶プロジェクタ１００の各部の動作は、Ｓ７０８、Ｓ７０９と同様であるため説明は省略する。Ｓ９１０では、撮像部１８０は、Ｓ９０８にて投影された画像を、前述のようにＯＶＤに同期して撮影する。この例では、図４（ｂ）および図４（ｃ）の投影画像を撮影するために、そのフレームに応じたＯＶＤに同期して２枚の画像を撮影する。その後、撮像部１８０は撮影された画像をＣＰＵ１１０に送信する。Ｓ９１１〜Ｓ９１３における液晶プロジェクタ１００の各部の動作は、Ｓ７１１〜７１３と同様であるため説明は省略する。

以上が、本実施例における液晶プロジェクタ１００において、較正パターンを重畳して投影した画像を撮影し、撮像画像から較正パターンの形状を検出して投影画像の形状補正を行うシーケンスである。

以上説明したように、画素が所定順に更新される液晶パネル１５１の投影画像を撮影する際に、前後フレームの画像が混ざった画像が撮影されることなく単一フレームの画像を撮影することができる。またこの撮影画像を使うことで較正パターンを適切に検出することができるようになり、投影画像の位置や形状を適切に補正することが可能となる。

＜第３の実施形態＞
実施例１および２の撮像センサ１８２は全画素一括読み出しが可能な所謂グローバルシャッタ方式のものとして説明を行ってきた。本実施例における撮像センサ１８２は、ライン毎に異なるタイミングで読み出しを行うローリングシャッタ方式のものとして説明する。なお、液晶プロジェクタ１００の他の構成は実施例１もしくは２と同様の構成ため説明は省略する。

ここで、本実施例における、撮像センサ１８２の撮像タイミングについて、図１０（ｃ）を用いて説明する。なお、液晶パネルの更新タイミングは実施例２の図１０（ｂ）と同様であり、撮像センサ１８２は、フレーム２およびフレーム４の投影画像の全面を撮影する例として説明する。

撮像タイミングコントローラ１８４は、少なくとも下記２点を満たすように撮像センサ１８２の撮影タイミングを決定する。１点目は、撮像センサ１８２の全ラインの露光時間は、液晶パネル１５１の全ラインのＰＷＭ変調期間を全て含むことである。よって、フレーム４を撮影するための露光開始時間は撮像センサ１８２の全ラインともｔ６−９以前であり、また、フレーム２の露光終了期間はｔ６−８以降となる。

２点目は、撮像センサ１８２の全ラインの読み出し期間は、液晶パネル１５１の全ラインのＰＷＭ変調期間が終了した後の、ブランキングおよび黒挿入フレームのＰＷＭ変調期間内に行うことである。よって、フレーム２の露光画像の読み出し期間はｔ６−８以降に開始され、ｔ６−９までには終了する。

なお、撮像センサ１８２の各ラインの露光開始のずれ時間は、撮影画像のライン毎の明るさのばらつきを防ぐために、１ラインの読み出し期間（ｔＲ）に等しいとより好ましい。そこで、撮像センサ１８２は、各ラインの読み出しにかかる時間（ｔＲ）分だけ前の水平ラインの露光開始よりも時間を遅らせて次のラインの露光を開始する。以上から、撮像タイミングコントローラ１８４は、フレーム４の投影画像を撮影するための撮像センサ１８２の露光開始時間ｔ６−１０を、フレーム４のＳＦ１の開始期間ｔ６−９よりも ｔＲ×（Ｍ−１） だけ前の時間と定める。

ただし、フレーム４のＯＶＤより前に露光開始となるため、また、図１０（ｃ）には未記載であるが、撮像タイミングコントローラは、フレーム２の撮影画像を得るための露光開始時間もここまで説明してきたフレーム４のそれと同じように決定する。同様にフレーム４の撮影画像を得るための露光終了時間もフレーム２と同じように決定する。

以上説明したように、液晶プロジェクタ１００の各部が動作することによって、ローリングシャッタ方式の撮像センサ１８２によって投影画像を撮影する場合においても、前後フレームの階調が混ざることがなく、適切な階調の撮影画像を得ることができる。また、ここまで液晶パネルを使った液晶プロジェクタ１００についての説明をしてきたが、本発明の適用範囲はこれに限るものではなく、ＰＷＭ変調方式のパネルであればＤＭＤパネルを使った投影装置であってもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 液晶プロジェクタ
１１０ ＣＰＵ
１４０ 画像処理部
１４１ 前処理部
１４４ 後処理部
１４５ 出力同期信号生成部
１４６ 階調置換部
１４７ 較正パターン生成部
１４８ 合成部
１４９ 画像補正部
１５０ 液晶制御部
１５１ 液晶パネル
１５２ ＰＷＭ変換部
１５３ パネルタイミングコントローラ
１６１ 光源
１７１ 投影光学系
１８０ 撮像部
１８１ 撮像光学系
１８２ 撮像センサ
１８３ 信号変換部
１８４ 撮像タイミングコントローラ

Claims (9)

1. 光源と、
   複数の画素で構成され、各画素が前記光源の光をそれぞれＰＷＭ変調することで階調を表現するパネルと、
   映像信号をＰＷＭパターンに変換するＰＷＭ変換手段と、
   映像信号のフレーム同期信号に同期し、かつ前記ＰＷＭパターンに基づいて前記パネルの各画素を、１フレームに複数回それぞれ異なるタイミングで変調させるパネル更新手段と、
   前記パネルによって変調された光を投影する投影手段と、
   前記映像信号のフレーム同期信号に同期して、前記投影手段によって投影された投影映像を撮影可能な撮像手段と、
   前記パネルの非変調期間を延長する延長手段と、を備え、
   前記撮像手段は、撮影対象となる投影画像のフレームに対応した前記パネルの変調期間で露光することを特徴とする投影装置。
2. 前記延長手段は、撮影対象となる前記投影画像の領域に対応した前記パネルのラインの更新タイミングにおいて、或るフレームのＰＷＭ変調期間とその前もしくは後のフレームのＰＷＭ変調期間が、同時に発生する瞬間の有無を判断し、該期間があると判断した場合には非駆動期間を延長することを特徴とする請求項１に記載の投影装置。
3. 前記延長手段は、前記ＰＷＭパターンの時間を短縮することで、非変調期間を延長することを特徴
   とする請求項１に記載の投影装置。
4. 前記延長手段は、前記映像信号の或るフレームを、黒レベルを表す信号に置換することで、非変調期間を延長することを特徴とする請求項１に記載の投影装置。
5. 前記光源の発光強度の制御が可能な光源制御手段を更に備え、
   該光源制御手段は、前記非変調期間が延長した非変調期間の期間に応じて、光源の発光強度を上げることを特徴とする請求項２乃至４のいずれか１項に記載の投影装置。
6. 投影対象となる映像信号に所定のパターンを重畳するパターン重畳手段を更に備え、
   前記撮像制御手段は、所定のパターンが重畳された画像信号のフレーム同期信号に基づいて前記撮像手段の撮像タイミングを制御することを特徴とする請求項１乃至５のいずれか１項に記載の投影装置。
7. 前記パターン重畳手段は、映像信号のＮフレーム（Ｎは２以上の整数）期間中に１度だけ所定のパターンを重畳することを特徴とする請求項６に記載の投影装置。
8. 前記パターン重畳手段は、映像信号の連続するフレームにおいて、フレーム毎に異なるパターンを重畳することを特徴とする請求項７に記載の投影装置。
9. 光源と、複数の画素で構成され、各画素が前記光源の光をそれぞれＰＷＭ変調することで階調を表現するパネルと、映像信号をＰＷＭパターンに変換するＰＷＭ変換手段と、映像信号のフレーム同期信号に同期し、かつ前記ＰＷＭパターンに基づいて前記パネルの各画素を、１フレームに複数回それぞれ異なるタイミングで変調させるパネル更新手段と、前記パネルによって変調された光を投影する投影手段とを備えている投影装置の制御方法であって、
   前記映像信号のフレーム同期信号に同期して、前記投影装置によって投影された投影映像を撮像する工程と、
   前記パネルの非変調期間を延長する工程と、
   撮影対象となる投影画像のフレームに対応した前記パネルの変調期間を露光期間と定める工程とを有することを特徴とする撮影方法。