JP2015164238A - 投影装置及び画像処理方法 - Google Patents

Abstract

【課題】ハードウェア上の制約を考慮して好適な画質の台形補正を実現する。
【解決手段】画像処理装置は、入力された画像信号を投影装置に係る光学条件に基づいて変形した後の画像信号の形状及びサイズを決定し、変形後の画像信号に対応する変形パラメータを設定する。画像処理装置は、変形後の画像信号の画素数を優先してサイズを決定する第１のモードと、該第１のモードよりも小さいサイズを決定する第２のモードとを切り替えて、変形後の画像信号のサイズを決定する。
【選択図】図６

Description

本発明は、投影装置及び画像処理方法に関し、特に投影面と投影装置との位置関係に応じて画像を変形させる補正技術に関する。

液晶プロジェクタ等の投影装置は、入力された画像をスクリーン等の投影面に投影することで、画像を提示することができる。

投影装置を用いて画像を提示する際、投影装置とスクリーンとが正対しない場合には、投影面において投影された画像が台形状に歪む幾何学歪みが発生する。入力された画像と同形状の画像を提示するために、入力された画像を信号処理することでこのような幾何学歪みを解消する機能（台形補正機能、キーストーン補正機能）を備える投影装置も存在する。

台形補正は、補正後の投影用の画像をメモリ空間に構築するために、入力された画像をバッファ領域に一時的に保持しながら実行される。しかしながら、バッファ領域が有限であるため、通常バッファ領域の容量によって補正における画像の変形量が制限される。特許文献１には、入力された画像を間引いて生成した縮小画像を補正対象とすることで、通常であれば制限されるような変形を伴う台形補正を実現する投影装置が開示されている。

特開２００４−２４６２４２号公報

しかしながら、特許文献２に記載の方法では間引きにより生成した縮小画像を補正した後、元の解像度に戻すよう補間処理を行うため、提示された画像は単に台形補正のみを行った画像に比べて画質が劣化する。

本発明は、上述の問題点に鑑みてなされたものであり、ハードウェア上の制約を考慮して好適な画質の台形補正を実現する投影装置及び画像処理方法を提供することを目的とする。

前述の目的を達成するために、本発明の投影装置は、以下の構成を備えることを特徴とする。具体的には投影装置は、入力された画像信号を信号処理によって幾何学変形する変形手段と、変形手段による変形後の画像信号に基づいて投影光の変調を行う像を形成する光変調手段と、光変調手段に光を投影することで変形後の画像信号を投影する投影手段と、投影装置に係る光学条件に基づいて変形後の画像信号の形状及びサイズを決定し、変形後の画像信号に対応する変形パラメータを変形手段に設定する設定手段と、を有し、設定手段は、変形後の画像信号の画素数を優先してサイズを決定する第１のモードと、該第１のモードよりも小さいサイズを決定する第２のモードとを切り替えて、変形後の画像信号のサイズを決定することを特徴とする。

このような構成により本発明によれば、ハードウェア上の制約を考慮して好適な画質の台形補正を実現することが可能となる。

本発明の実施形態に係る液晶プロジェクタ１００の機能構成を示したブロック図 本発明の実施形態に係る液晶プロジェクタ１００で実行される基本処理を例示したフローチャート 本発明の実施形態に係る画像処理部１４０の内部構成を示したブロック図 本発明の実施形態に係る液晶プロジェクタ１００で実行されるパラメータ決定処理を例示したフローチャート 本発明の実施形態に係るスクリーン上に投影された画像の形状を説明するための図 本発明の実施形態１に係る座標決定処理を例示したフローチャート 本発明の実施形態に係る台形補正後に理論上の最大サイズとなる投影形状を説明するための図 本発明の実施形態に係るハードウェア上の制約条件を説明するための図 本発明の実施形態１に係る座標決定処理において設定される試行サイズを説明するための図 本発明の実施形態１の適用例を説明するための図 本発明の実施形態２に係る座標決定処理を例示したフローチャート 本発明の実施形態に係る水平周期内で処理可能な画素数の制約を説明するための図

[実施形態１]
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。以下に説明する一実施形態は、投影装置の一例としての、台形補正機能を有する液晶プロジェクタに、本発明を適用した例を説明する。しかし、本発明は、入力された画像に台形補正を行って投影用の画像を生成することが可能な任意の機器に適用可能である。

《液晶プロジェクタ１００の構成》
図１は、本発明の実施形態に係る液晶プロジェクタ１００の機能構成を示すブロック図である。本実施形態ではハードウェアとして液晶プロジェクタ１００が備える各ブロックにおいて処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は該各ブロックと同様の処理を行うプログラムで実現されてもよい。

本実施形態の液晶プロジェクタ１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部１４０を有する。また、液晶プロジェクタ１００は、さらに、液晶制御部１５０、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。また、液晶プロジェクタ１００は、さらに、記録再生部１９１、記録媒体１９２、通信部１９３、撮像部１９４、表示制御部１９５、表示部１９６を有していてもよい。

ＣＰＵ１１０は、液晶プロジェクタ１００の各動作ブロックを制御する。ＲＯＭ１１１は、ＣＰＵ１１０の処理手順を記述した制御プログラムを記憶するためのものである。ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納するものである。また、ＣＰＵ１１０は、記録再生部１９１により記録媒体１９２から再生された静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、ＣＰＵ１１０は、通信部１９３より受信した静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、撮像部１９４により得られた画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、静止画データや動画データに変換して記録媒体１９２に記録させることもできる。

また、操作部１１３は、ユーザの指示を受け付け、ＣＰＵ１１０に指示信号を送信するものであり、例えば、スイッチやダイヤル、表示部１９６上に設けられたタッチパネルなどからなる。また、操作部１１３は、例えば、リモートコントローラ（以下、単にリモコンとする）からの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。また、ＣＰＵ１１０は、操作部１１３や、通信部１９３から入力された制御信号を受信して、液晶プロジェクタ１００の各動作ブロックを制御する。

画像入力部１３０は、外部装置から映像信号を受信するものであり、例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子等を含む。また、アナログ映像信号を受信した場合には、受信したアナログ映像信号をデジタル映像信号に変換する。そして、受信した映像信号を、画像処理部１４０に送信する。

画像処理部１４０は、画像入力部１３０から受信した映像信号（元画像信号）にフレーム数、画素数、画像形状などの変更に係る信号処理を施して、液晶制御部１５０に送信する。画像処理部１４０は、フレーム間引き処理、フレーム補間処理、解像度変換処理、歪み補正処理（台形補正処理、キーストン補正処理）といった機能を実行することが可能である。また、画像処理部１４０は、画像入力部１３０から受信した映像信号以外にも、ＣＰＵ１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。

液晶制御部１５０は、画像処理部１４０で処理の施された映像信号に基づいて、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの画素の液晶に印可する電圧を制御して、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を調整する。たとえば、画像処理部１４０に映像信号が入力されている場合、液晶制御部１５０は、画像処理部１４０から１フレームの画像を受信する度に、画像に対応する透過率となるように、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを制御する。液晶素子１５１Ｒは、赤色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整するためのものである。液晶素子１５１Ｇは、緑色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整するためのものである。液晶素子１５１Ｂは、青色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整するためのものである。各色成分の液晶素子１５１は、光源からの光を変調することで、素子上に形成された像に対応する画像を投影面に投影することができる。

光源制御部１６０は、光源１６１のオン／オフを制御や光量の制御をする。また、光源１６１は、不図示のスクリーンに画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであってもよい。また、色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。また、色合成部１６３は、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを透過して光変調された赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１７１に送られる。このとき、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、液晶制御部１５０により制御されている。そのため、色合成部１６３により合成された光は、投影光学系１７１によりスクリーンに投影されると、画像処理部１４０により入力された画像に対応する画像がスクリーン上に表示されることになる。

光学系制御部１７０は、投影光学系１７１を制御する。また、投影光学系１７１は、色合成部１６３から出力された合成光をスクリーンに投影するためのものである。投影光学系１７１は、複数のレンズ、レンズ駆動用のアクチュエータからなり、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。

記録再生部１９１は、記録媒体１９２から静止画データや動画データを再生したり、また、撮像部１９４により得られた画像や映像の静止画データや動画データをＣＰＵ１１０から受信して記録媒体１９２に記録したりするものである。また、通信部１９３より受信した静止画データや動画データを記録媒体１９２に記録してもよい。記録再生部１９１は、例えば、記録媒体１９２と電気的に接続するインタフェースや記録媒体１９２と通信する。また、記録媒体１９２は、静止画データや動画データ、その他、本実施形態の液晶プロジェクタに必要な制御データなどを記録することができるものとする。また記録媒体１９２は、着脱可能な記録媒体であっても、内蔵型の記録媒体であってもよい。

通信部１９３は、外部装置からの制御信号や静止画データ、動画データなどを受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１３０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであってもよい。

撮像部１９４は、本実施形態の液晶プロジェクタ１００の周辺を撮像して画像信号を取得するものであり、投影光学系１７１を介して投影された画像を撮影（スクリーン方向を撮影）することができる。撮像部１９４は、得られた画像や映像をＣＰＵ１１０に送信し、ＣＰＵ１１０は、その画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムに基づいて、静止画データや動画データに変換する。撮像部１９４は、被写体の光学像を取得するレンズ、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサ、光学像を画像信号に変換する撮像素子、撮像素子により得られた画像信号をデジタル信号に変換するＡＤ変換部などからなる。また、撮像部１９４は、スクリーン方向を撮影するものに限られず、例えば、スクリーンと逆方向の視聴者側を撮影してもよい。

表示制御部１９５は、液晶プロジェクタ１００に備えられた表示部１９６に液晶プロジェクタ１００を操作するための操作画面やスイッチアイコン等の画像を表示させるための制御をする。また、表示部１９６は、液晶プロジェクタ１００を操作するための操作画面やスイッチアイコンを表示するものである。表示部１９６は、画像を表示できればどのようなものであってもよい。例えば、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイであってよい。また、特定のボタンをユーザに認識可能に掲示するために、各ボタンに対応するＬＥＤ等を発光させるものであってもよい。

なお、本実施形態の画像処理部１４０、液晶制御部１５０、光源制御部１６０、光学系制御部１７０、記録再生部１９１、表示制御部１９５は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあってもよい。または、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が各ブロックと同様の処理を実行してもよい。

《基本処理》
このような構成をもつ本実施形態の液晶プロジェクタ１００の基本処理について、図２のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、ＣＰＵ１１０が、例えばＲＯＭ１１１に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１１２に展開して実行することにより実現することができる。本基本処理は、例えば液晶プロジェクタ１００が起動され、液晶プロジェクタ１００が有する各ブロックに不図示の電源回路から電源が供給された後に開始されるものとして説明する。

Ｓ２１０で、ＣＰＵ１１０は、現在設定されている表示モードを判定する。本実施形態の液晶プロジェクタ１００は、表示モードとして「入力画像表示モード」、「ファイル再生表示モード」、及び「ファイル受信表示モード」の３つのモードを有するものとする。「入力画像表示モード」では、液晶プロジェクタ１００は画像入力部１３０を介して外部装置から入力された映像信号（元画像信号）を表示する。「ファイル再生表示モード」では、液晶プロジェクタ１００は記録再生部１９１により記録媒体１９２から読み出された静止画データや動画データに係る元画像信号を表示する。また「ファイル受信表示モード」では、液晶プロジェクタ１００は通信部１９３を介して外部装置から受信した静止画データや動画データに係る元画像信号を表示する。表示モードは、ユーザにより変更可能なものであり、例えばユーザがリモコンを操作することにより送信された信号に応じて変更されてよい。また、電源投入時に設定される表示モードは、例えば前回の電源断時に設定されていた表示モードが選択されてもよいし、３つの表示モードのうちデフォルトに設定されたモードが常に選択されるものであってもよい。各表示モードでは、投影対象である元画像信号の取得経路が異なるのみで処理の内容は基本的に変わらないため、以下の説明では入力画像表示モードが設定されている場合の処理について述べる。

Ｓ２２０で、ＣＰＵ１１０は、画像入力部１３０に元画像信号が入力されている状態であるか否かを判断する。ＣＰＵ１１０は、元画像信号が画像入力部１３０に入力されていると判断した場合は処理をＳ２３０に移し、入力されていないと判断した場合は本ステップの処理を繰り返す。

Ｓ２３０で、ＣＰＵ１１０は、入力された元画像信号を投影する投影処理を実行する。具体的にはＣＰＵ１１０は、画像入力部１３０に入力された元画像信号を画像処理部１４０に伝送させ、元画像信号の画素数、フレームレート、形状等を投影用に変更させ、１画面に係る投影用の画像を液晶制御部１５０に出力させる。液晶制御部１５０はＣＰＵ１１０の制御の下、入力された１画面に係る画像の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色成分の階調レベルに応じた透過率となるように、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を制御する。またＣＰＵ１１０は、光源制御部１６０に光源１６１からの光の出力を制御させる。色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離し、各色の光を、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂに供給する。液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂに供給された、各色の光は、各液晶素子の画素毎に透過する光量が制限される。そして、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）それぞれの光は、色合成部１６３に供給され再び合成され、投影光学系１７１を介して不図示のスクリーン（投影面）に投影される。本ステップの投影処理は、画像の投影を行う設定がなされている間、順次入力される各フレームの画像について実行される。

なお、本フローチャートでは詳細な説明は割愛するが、ＣＰＵ１１０は、順次入力された各フレームの画像について処理を行っている間に投影光学系１７１の駆動指示がなされた場合は対応する処理を実行するものとする。具体的にはＣＰＵ１１０は、駆動指示に対応して投影光学系１７１の焦点状態や拡大率を変更するよう、光学系制御部１７０に制御信号を送出し、投影光学系１７１の各種アクチュエータの駆動制御をさせる。

Ｓ２４０で、ＣＰＵ１１０は、操作部１１３が表示モードの切り替え指示を受信したか否かを判断する。ＣＰＵ１１０は、表示モードの切り替え指示を受信したと判断した場合は処理をＳ２１０に戻し、なされていないと判断した場合は処理をＳ２５０に移す。なお、切り替え指示を受信した場合、ＣＰＵ１１０は画像処理部１４０に表示モードを選択させるためのメニュー画面をＯＳＤ画像として伝送し、投影中の画像に重畳させて提示するように画像処理部１４０を制御する。これによりユーザは、提示されたＯＳＤ画面を見ながら、表示モードを選択することが可能となる。

Ｓ２５０で、ＣＰＵ１１０は、操作部１１３が投影終了の指示を受信したか否かを判断する。ＣＰＵ１１０は、投影終了の指示を受信した場合は液晶プロジェクタ１００が有する各ブロックへの電源供給を停止し、本基本処理を完了する。またＣＰＵ１１０は、投影終了の指示を受信していない場合は処理をＳ２２０に移す。

このように、本基本処理により液晶プロジェクタ１００は、所定の元画像信号をスクリーンに投影して提示することが可能となる。なお、上述したように「ファイル再生表示モード」及び「ファイル受信表示モード」では投影に係る基本的な処理は変わらないが、入力された元画像信号は次のように取り扱えばよい。

例えば「ファイル再生表示モード」では、ＣＰＵ１１０は、記録再生部１９１により記録媒体１９２から読み出された静止画データや動画データのファイルリストや各ファイルのサムネイルデータをＲＡＭ１１２に一時的に記憶する。そして、ＣＰＵ１１０は、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＲＡＭ１１２に一時記憶されたファイルリストに基づく文字画像や各ファイルのサムネイルデータに基づく画像を生成し、画像処理部１４０に送信する。そしてＣＰＵ１１０は、通常の投影処理と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御して該画像を提示させる。投影された画面に対して、操作部１１３が表示するデータを選択する指示を受信した場合、ＣＰＵ１１０は、記録再生部１９１に選択されたデータを記録媒体１９２から読み出させる。そしてＣＰＵ１１０は、読み出されたデータをＲＡＭ１１２に一時的に記憶し、上述した処理と同様に該データの画像信号を処理する。

また例えば「ファイル受信表示モード」では、ＣＰＵ１１０は、通信部１９３により受信された静止画データや動画データをＲＡＭ１１２に一時的に記憶し、上述した処理と同様に該データの画像信号を処理する。

《画像処理部１４０の特徴構成》
次に、上述した画像処理部１４０の本発明に係る特徴構成について、図３を用いて詳細を説明する。

画像処理部１４０には、設定された表示モードに応じて、画像入力部１３０、記録再生部１９１、あるいは通信部１９３が取得した元画像信号３０１が順次入力される。また画像処理部１４０には、元画像信号３０１に同期した垂直同期信号、水平同期信号、クロック信号等のタイミング信号３０２が、元画像信号３０１の入力元であるブロックから入力される。本実施形態では、画像処理部１４０は入力されたタイミング信号３０２に基づいて動作するものとして説明するが、これに限られるものでなく、画像処理部１４０はタイミング信号３０２に基づいて新たにタイミング信号を生成して使用してもよい。

各種画像処理部３１０はＣＰＵ１１０の制御の下、入力された元画像信号３０１に対して各種の画像処理を適用して、画像処理後信号３０３を生成する。具体的には各種画像処理部３１０は、元画像信号３０１のヒストグラムやＡＰＬ等の統計情報取得したり、元画像信号３０１に対してＩＰ変換、フレームレート変換、解像度変換、γ変換、色域変換、色補正、エッジ強調、ＯＳＤ合成当の処理を適用する。

各種画像処理部３１０により出力された画像処理後信号３０３は、変形処理部３２０を介してフレームメモリ３３０に格納される。フレームメモリ３３０は、変形処理部３２０においてなされる台形補正処理に係り、処理前に画像信号を一時的に保持するためのバッファ領域として用いられる。またフレームメモリ３３０は、台形補正処理により生成された投影用の画像信号（変形後画像信号３０４）の格納領域としても用いられる。なお、フレームメモリ３３０は、専用の記憶領域であってもよいし、ＲＡＭ１１２上に確保される領域であってもよい。

変形処理部３２０は、演算により確定した台形補正による変形後の形状の情報に基づいて、順次フレームメモリ３３０に格納された画像処理後信号３０３を読み出し、変形後画像信号３０４を生成する。具体的には変形処理部３２０は、台形補正による変形後の形状を射影変換により特定する。例えば図１２に示されるように、実線で規定される画像処理後信号３０３上の任意の座標を（ｘｓ，ｙｓ）とすると、一点鎖線で規定される変形後画像信号３０４上の該座標に対応する座標（ｘｄ，ｙｄ）は
で表すことができる。ここで、Ｍは画像処理後信号３０３から変形後画像信号３０４への射影変換行列（３×３）であり、（ｘｓｏ，ｙｓｏ）は画像処理後信号３０３上の基準とした頂点の座標、（ｘｄｏ，ｙｄｏ）は該座標に対応する変形後画像信号３０４上の座標である。

従って、変形処理部３２０は、射影変換行列Ｍの逆行列Ｍ^-1を用いて変形後画像信号３０４の各座標に対応する画像処理後信号３０３の座標を
として特定する。逆行列Ｍ^-1は、例えば変形後の形状の決定の後にＣＰＵ１１０が生成して画像処理部１４０に供給されるものであってもよいし、画像処理部１４０内において算出されるものであってもよい。なお、式２により得られた画像処理後信号３０３上の座標が整数値となるのであれば、画像処理後信号３０３の該当座標の画素値を、変形後画像信号３０４上の対応座標の画素値としてもよい。また、式２により得られる画像処理後信号３０３上の座標が整数値にならない場合は、バイリニア、バイキュービック、その他の任意の補間方法を使用して、該座標の周辺画素の画素値から対応座標の画素値を算出すればよい。また、式２により得られた画像処理後信号３０３上の座標が画像処理後信号３０３の範囲外を指す場合、該画素値は黒またはユーザが設定した背景色とすればよい。

このように、変形処理部３２０は、変形後画像信号３０４の全ての座標の画素値を算出し、変形後画像信号３０４を生成してフレームメモリ３３０に格納する。

《パラメータ決定処理》
以下、このような画像処理部１４０における変形後画像信号３０４の生成に係る台形補正用の変形パラメータを決定するパラメータ決定処理について、図４のフローチャートを用いて詳細を説明する。該フローチャートに対応する処理は、ＣＰＵ１１０が、例えばＲＯＭ１１１に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１１２に展開して実行することにより実現することができる。本パラメータ決定処理は、例えば投影画像の形状をスクリーンとの位置関係に応じて自動的に補正する指示を操作部１１３が受け付けた際に開始されるものとして説明する。

Ｓ４０１で、ＣＰＵ１１０は、液晶プロジェクタ１００が設置されている傾斜角や投影光学系１７１に係るズームレンズのズーム値やシフトレンズのレンズシフト量などの光学条件の情報を取得する。傾斜角の情報は、例えば液晶プロジェクタ１００が有する不図示の傾斜センサの出力値に基づいて取得してもよいし、またスクリーンまでの距離を複数点測ることによって液晶プロジェクタ１００とスクリーンとがなす相対角を検出することにより取得してもよい。あるいはＣＰＵ１１０は、例えば操作部１１３が取得した、ユーザによる指定された台形補正用の各種パラメータに基づいて傾斜角の情報を取得してもよい。投影光学系１７１に係るパラメータの情報は、光学系制御部１７０が制御するエンコーダにより検出された値を使用してもよいし、ユーザにより設定されたパラメータを使用してもよい。

Ｓ４０２で、ＣＰＵ１１０は、台形補正をせずにスクリーン上に投影された画像の形状を定義する。ここで、台形補正をせずに液晶プロジェクタ１００によりスクリーン上に投影された画像の形状について、図５を参照して説明する。

図５（ａ）は、液晶プロジェクタ１００と正対する位置関係にあるスクリーンを仮想的に規定した仮想スクリーン５１０及び実際に画像が投影されるスクリーン５２０と液晶プロジェクタ１００との位置関係を示している。図５（ａ）の例では、説明を簡単にするために液晶プロジェクタ１００を基準に各スクリーンとの位置関係を規定している。即ち、液晶プロジェクタ１００が傾斜せず、スクリーン５２０が傾斜した状態として図示されている。しかし、これは単に液晶プロジェクタ１００を基準に位置関係を規定したからであり、実際はスクリーン５２０が傾斜せずに液晶プロジェクタ１００のみが傾斜している、あるいは双方が傾斜している位置関係であっても、図５（ａ）の状態と幾何学的に等価である。図では仮想スクリーン５１０の２次元平面内の鉛直上向き方向にｙ軸を、該平面内でｙ軸に直交する方向にｘ軸が規定されている。またｚ軸は液晶プロジェクタ１００の光軸方向について規定されており、左手系の座標系となっている。スクリーン５２０は、仮想スクリーン５１０上の座標（ｘ０，ｙ０，０）を中心として、ｙ軸と平行な軸周りにθｈ、ｘ軸と平行な軸周りにθｖだけ仮想スクリーン５１０から傾いた関係にあるものとする。

仮想スクリーン５１０と液晶プロジェクタ１００とは正対する位置関係にあるため、仮想スクリーン５１０に投影された画像は、投影対象の元画像信号と相似する矩形状となる。一方で、仮想スクリーン５１０と傾きを有する関係にあるスクリーン５２０に投影された画像は、例えば図５（ｂ）に示すように幾何学歪みが生じた形状（補正前投影形状５４０）となる。このとき、スクリーン５２０上の補正前投影形状５４０は、以下のようにしてその形状が定義される。

スクリーン５２０で規定される平面は、ｘｙｚ座標系（光軸中心座標系）において
ｚ＝（ｘ−ｘ０）ｔａｎθｈ＋（ｙ−ｙ０）ｔａｎθｖ ・・・（３）
となる。ここで、仮想スクリーン５１０上に投影される点Ｐｉ（ｘｉ，ｙｉ，０）がスクリーン５２０上では点Ｐｔｉ（ｘｔｉ，ｙｔｉ，ｚｔｉ）に投影されるとすると、点Ｐｔｉの座標は、光源Ｊと点Ｐｉを通過する直線の、スクリーン５２０の平面との交点となる。液晶プロジェクタ１００と仮想スクリーン５１０との距離がＬであるとすると、光源Ｊの座標は（０，０，−Ｌ）となり、直線Ｊ−Ｐｉは
と規定される。従って、点Ｐｔｉの座標は式３及び式４から
と規定できる（ここで、Ｋｉ＝Ｌ−ｘｉ×ｔａｎθｈ−ｙｉ×ｔａｎθｖである）。

しかし、該座標は光軸中心座標系の座標であるため、実際に提示された場合に観察されるスクリーン５２０上の座標を座標変換により算出する必要がある。スクリーン５２０の平面内に、ｘ’軸とｙ’軸を規定し、平面に直交する軸をｚ’軸として規定すると、ｘｙｚ座標からｘ’ｙ’ｚ’座標系への変換行列Ｍｓは
と表すことができる。ただし、式６においてθｖ’とθｚは
である。よって、該変換行列Ｍｓを点Ｐｔｉの光軸中心座標系の座標に乗算することで、ｘ’−ｙ’座標系での補正前投影形状５４０を定義することができる。

Ｓ４０３で、ＣＰＵ１１０は、台形補正後の投影形状を定めるための基準点を決定する。本実施形態ではＣＰＵ１１０は、図５（ｂ）に示されるように、補正前投影形状５４０の端点のうち、補正前投影形状５４０内部に所望のアスペクト比（元画像信号のアスペクト比）の矩形５６０を規定可能な１つの端点５７０を基準点として決定する。しかし、基準点の定め方はこれに限られるものでなく、例えば補正前投影形状５４０の対角線（破線）の交点５５０を基準点として定めるものであってもよい。

Ｓ４０４で、ＣＰＵ１１０は、画像処理部１４０における台形補正処理により生成可能な最大サイズの変形後画像信号３０４の四隅の座標、即ち４頂点の座標を決定する座標決定処理を実行する。

〈座標決定処理〉
ここで、本ステップにおいて実行される座標決定処理の詳細について図６のフローチャートを用いて以下に説明する。

Ｓ６０１で、ＣＰＵ１１０は、補正前投影形状の領域内に規定できる、台形補正後の最大サイズの投影形状をスクリーン上の補正前投影形状から決定する。具体的にはＣＰＵ１１０はまず、スクリーン５２０上、ｘ’−ｙ’座標系での補正前投影形状５４０に対して、図７（ａ）のように基準点５７０を通るｘ’軸及びｙ’軸の各々に平行な直線を定義する。そしてＣＰＵ１１０は、各直線が補正前投影形状５４０の外縁と交差する点までの距離を取得する。即ち、ＣＰＵ１１０は、図示されるように基準点５７０から、基準点５７０を通りｘ’軸に平行な直線が補正前投影形状５４０の外縁と交差する点までの距離ｄ１を取得する。またＣＰＵ１１０は、基準点５７０から、基準点５７０を通りｙ’軸に平行な直線が補正前投影形状５４０の外縁と交差する点までの距離ｄ２を取得する。さらにＣＰＵ１１０は、所望のアスペクト比に基づいて決定される対角線方向に延びる基準点５７０を通る直線を定義し、基準点５７０から該直線が補正前投影形状５４０の外縁と交差する点までの距離ｄ３を取得する。

次にＣＰＵ１１０は、取得した距離ｄ１〜ｄ３を、所望のアスペクト比に基づく長辺、短辺、対角線の比に従って規格化し、最も小さい値を方向を特定する。例えば所望のアスペクト比が４：３である場合、長辺：短辺：対角線＝４：３：５となるため、規格化後の値はｄ１／４、ｄ２／３、ｄ３／５となる。そしてＣＰＵ１１０は、特定した最も小さい値方向における補正前投影形状５４０の外縁との交点と基準点５７０とを通る、所望のアスペクト比の矩形領域を、台形補正後の最大投影形状として決定する。図７（ａ）の例では規格化後の値が最少となる方向がｘ軸方向となっており、基準点５７０と交点７１１とを通る、即ち長辺がｄ１の所望のアスペクト比の矩形領域７１０が台形補正後の最大投影形状として決定される。

Ｓ６０２で、ＣＰＵ１１０は、Ｓ６０１において決定した補正後の最大投影形状のサイズを指標化し、ハードウェア制約下での補正可否を判定する初期の試行サイズとして設定する。本実施形態では試行サイズは相対値として得られればよいため、例えば初期の試行サイズに対して基準値（１．０）を割り当て、判定を行う他のサイズは基準値に合わせて規格化した値（相対値）で表現する。相対値は、例えば補正前投影形状５４０のｘ’座標の差に基づくｄ１の比率でもよいし、液晶プロジェクタ１００と正対した仮想スクリーン５１０に投影される補正前投影形状のｘ座標の差に基づくｄ１の比率でとして規定されてもよい。

Ｓ６０３で、ＣＰＵ１１０は、ハードウェア制約下での補正可否の判定に使用する、補正可能な最大サイズ及び補正不可能な最小サイズの変数を初期化する。具体的にはＣＰＵ１１０は、補正可能な最大サイズは０に、補正不可能な最小サイズは初期の試行サイズを示す基準値よりも大きい所定値に設定する。またＣＰＵ１１０はＳ６０４で、試行回数を示すカウンタ変数を０に初期化する。

Ｓ６０５で、ＣＰＵ１１０は、現在の試行サイズにする台形補正を行った場合の、各色の液晶素子１５１上における投影対象の画像の四隅の座標を算出する。具体的にはＣＰＵ１１０は、現在の試行サイズに対応する補正後の投影形状の四隅の座標値（ｘ’ｙ’ｚ’座標系：スクリーン５２０上）を、仮想スクリーン５１０上の座標値（ｘｙｚ座標系）に射影変換し、液晶素子１５１上の座標を算出する。ｘ’ｙ’ｚ’座標系からｘｙｚ座標系への変換は式６に示した変換行列Ｍｓの逆行列をスクリーン５２０上の座標値に乗じることにより算出することができる。各液晶素子１５１上での補正後の画像形状は、仮想スクリーン５１０上の形状と相似であるため、各液晶素子１５１上の座標は原点のオフセットのみで求められる。図７（ｂ）は、現在の試行サイズについて規定した液晶素子１５１上の補正後の画像形状７２０を例示しており、該形状は撮像素子上の投影対象の表示範囲７３０内に収まっている。なお、図７（ｂ）の例では想定される液晶プロジェクタ１００における液晶素子１５１の走査順に合わせてｙ軸が仮想スクリーン５１０の座標系と逆方向に規定されているため、液晶素子１５１上の座標値の算出には、軸方向変更に伴う変換を含む。

Ｓ６０６で、ＣＰＵ１１０は、Ｓ６０５において算出された液晶素子１５１上の投影対象画像の四隅の座標に基づいて、現在の試行サイズに係る補正がハードウェア制約下で実現可能か否かを判定する処理を行う。即ち、理論上は元画像信号の形状を任意の四角形状に幾何学変形することは可能であるが、集積回路等のハードウェアを用いて映像の信号レートの時間内に入力画像を変形して出力画像を得ることができない可能性もあるため、本ステップにおいてその判定を行う。

〈判定処理の概要〉
ここで、本ステップで行われる判定処理の流れについて、図面を参照して詳細を説明する。本実施形態では判定において考慮する液晶プロジェクタ１００におけるハードウェア上の制約として、メモリアクセス帯域の制約、メモリバッファ容量による水平ラインの傾きの制約、処理時間の制約を例に説明するが、他の制約条件が判定に含まれてもよい。また本発明の実施においてハードウェア上の制約に係る判定は上記３つの制約全てを考慮して行われるものでなくてよく、上記３つの制約の少なくともいずれかを考慮して行われるものであってもよい。

上述したように、台形補正後の元画像信号は、変形処理部３２０によりフレームメモリ３３０に格納される。例えば、図８（ａ）に示されるような元画像信号（入力画像）８１０をスクリーンの上方から下方に向かって投影する場合、台形補正後の形状は画像信号（出力画像）８２０のようになる。このとき、入力画像８１０と出力画像８２０とを比較すると、全体的には縦方向に縮小されているが、画像上部に注目すると、局所的に拡大されている。図８（ａ）の例では１段目の文字列が約１．３倍に縦長になっている。入力画像８１０の各水平ラインの信号が変形処理部３２０に入ってくるタイミングは一定であり、変形処理部３２０は順次入力される信号を処理して出力画像８２０を生成する。従って変形処理部３２０は、１段目の文字列の領域について水平ライン数で１．３倍の画像データを出力画像８２０としてフレームメモリ３３０に書き出す必要がある。このとき、変形処理部３２０は計算上、入力画像８１０の水平３ライン入力される時間内に、約水平４ライン分の補正後の出力画像８２０をフレームメモリ３３０に書き出すことになる。つまり、１段目の文字列の領域が入力される際には、変形を行わない場合に比べて１．３倍のメモリアクセス帯域が必要になる。台形補正処理を行う回路では通常このような処理を考慮して、入力よりも大きなアクセス帯域を確保して設計されているが、変形量が大きくなった場合に確保していたアクセス帯域を上回るため処理できなくなることがある。従って、本実施形態ではこのような予め確保された帯域使用量をハードウェア上の制約の１つとして判定において考慮する。

また台形補正処理は、図８（ａ）のように１軸の回転を考慮するものだけでなく、図８（ｂ）のように２軸以上の回転を考慮する場合もある。図８（ｂ）では、図８（ａ）とは異なり出力画像８２０の上辺に傾きが生じており、入力画像８１０の右上頂点の画素は出力画像８２０において水平Ｌｕライン目に現れている。このとき、変形処理部３２０での処理において入力画像８１０の最上辺の画素のデータは、Ｌｕライン目の画素をフレームメモリ３３０に書き出すタイミングまで保持しておく必要がある。つまり、例えば変形処理部３２０に設けられた画素データを保持しておく内部バッファ（不図示）の容量によって、変形処理部３２０が補正可能な水平ラインの両端点において垂直方向の変位量の差に制約が生じる。従って、本実施形態ではこのようなデータの一時保持に係る内部バッファの容量に基づく、出力画像８２０において実現可能な水平ラインの両端点における垂直方向の変位量の差をハードウェア上の制約の１つとして判定において考慮する。

また図８（ｂ）の例では、入力画像８１０の左上の領域が出力画像８２０において水平方向及び垂直方向に引き伸ばされている。通常の液晶プロジェクタでは水平方向及び垂直方向の拡大を伴う変形の場合、入力画像の１画素から出力画像の複数の画素を生成する処理を行うことになる。このとき、１クロックに出力画像の２画素を生成できるように処理能力が設計されている場合は、引き伸ばしにより３画素を生成するのであれば処理に２クロックが必要なことになる。即ち、水平方向及び垂直方向に拡大する画素が多い場合は、その分出力画像の生成に時間を要することになる。一方で、特に表示フレーム単位で順次画像信号が入力されるようなケースでは、水平１ラインが水平同期信号に同期して入力されるため、遅延を生じないためには該１ラインの補正処理に使用可能な時間は水平周期に限られる。従って、本実施形態では水平１ライン中について水平方向及び垂直方向への拡大により生成する画素も含めた水平周期内で処理可能な画素数をハードウェア上の制約の１つとして判定において考慮する。

以下、ＣＰＵ１１０が、液晶素子１５１上での入力画像８１０に係る四隅の座標値と出力画像８２０の四隅の座標値とに基づいて、上記のハードウェア制約下で現在の試行サイズに係る補正が実現可能か否かの判定する方法を説明する。判定においては、上記のハードウェア制約の各々を個別に判定し、全ての制約条件において制約条件を満たす場合にのみ補正が実現可能と判定されるものとする。

まず、入力画像８１０における特定の画素位置の画素を注目画素として、該注目画素に対応する画素の出力画像８２０における拡大率を求めることで、処理時間上の制約条件を満たすか否かを判定する方法を説明する。具体的にはＣＰＵ１１０は、注目画素とその近傍画素の補正後の座標を式１に従って算出し、入力画像８１０及び出力画像８２０における該画素間の距離の比を拡大率として算出する。例えば図１２に示されるように入力画像８１０の座標（ｘｓ１，ｙｓ１）の画素を注目画素とし、その右隣の座標（ｘｓ１＋１，ｙｓ１）の画素を近傍画素とし、台形補正後にこれらの画素が座標（ｘｄ１，ｙｄ１）及び（ｘｄ２，ｙｄ２）に移動した場合を考える。このとき、注目画素の水平方向の拡大率ρｘは、
ρｘ＝（ｘｄ２−ｘｄ１）／（ｘｓ２−ｘｓ１）
＝（ｘｄ２−ｘｄ１）／（ｘｓ１＋１−ｘｓ１）
＝ｘｄ２−ｘｄ１
っとして得ることができる。また同様に注目画素の垂直方向の拡大率ρｙは、入力画像８１０の注目画素の直下の座標（ｘｓ１，ｙｓ１＋１）が台形補正後に（ｘｄ３，ｙｄ３）に移動したとすると、
ρｙ＝ｙｄ３−ｙｄ１
として得ることができる。本ステップでは説明を簡単にする目的で、隣接する２画素の距離から各成分の拡大率を求めたが、注目画素の両隣の画素の距離や注目画素の周辺の複数画素の距離の平均値等によって拡大率を算出してもよい。従って、ＣＰＵ１１０は水平１ライン中の各画素の拡大率に基づいて、水平１ラインについて処理する画素数を算出し、処理時間上の制約条件を満たすか否かを判定する。具体的にはＣＰＵ１１０は、水平１ラインについて処理する画素数に基づく処理時間が、予め定められた処理時間以内に完了するか否かにより制約条件を満たすか否かの判定を行う。

また水平ラインの両端点における垂直方向の変位量の差に係る制約条件については、出力画像８２０の上辺と下辺のいずれかに最大の差が現れるため、ＣＰＵ１１０は上辺及び下辺について両端点における変位量の差を算出して判定を行う。具体的にはＣＰＵ１１０は、算出した差が内部バッファ容量に基づいて予め定められた値以下となるかにより制約条件を満たすか否かの判定を行う。また帯域使用量に係る制約条件については、ＣＰＵ１１０は出力画像８２０のフレームメモリ３３０への書き込みにおいて必要となる帯域使用量を求め、該帯域使用量が予め確保された帯域使用量以下となるか否かにより制約条件を満たすか否かの判定を行う。

Ｓ６０７で、ＣＰＵ１１０は、現在の試行サイズに係る補正がハードウェア制約下で実現可能か否かを、Ｓ６０６における判定結果に基づいて判断する。ＣＰＵ１１０は、補正がハードウェア制約下で実現可能と判断した場合は処理をＳ６０８に移し、実現不可能と判断した場合は処理をＳ６１１に移す。

Ｓ６０８で、ＣＰＵ１１０は、台形補正後の投影対象画像に係る液晶素子１５１上の四隅の座標の情報をＲＡＭ１１２に格納する。そしてＣＰＵ１１０はＳ６０９で、試行回数の変数の値が０であるか否かを判断する。即ち、本ステップにおいてＣＰＵ１１０は、基準値１．０を割り当てた最大サイズでの台形補正が可能であるか否かを判断することになる。ＣＰＵ１１０は、試行回数の変数の値が０であると判断した場合、現在ＲＡＭ１１２に格納されている補正後の投影対象画像に係る四隅の座標を決定した座標として出力して本座標決定処理を完了し、処理をパラメータ決定処理に戻す。またＣＰＵ１１０は、試行回数の変数の値が０ではないと判断した場合は処理をＳ６１０に移す。

Ｓ６１０で、ＣＰＵ１１０は、現在の試行サイズの値を補正可能な最大サイズの変数に入力し、処理をＳ６１２に移す。本実施形態の座標決定処理では、後述するように基準値１．０を割り当てた最大サイズでの台形補正を実現不可能であった場合には、例えば予め定めた基準により決定した最小サイズから順に試行サイズを大きくしながら実現可能な最大サイズを探索していく。つまり、本ステップを実行したということは、少なくとも最大サイズでの台形補正は実現不可能であると判断した後に最小サイズから順に試行サイズを大きくしている最中である。従って、ＣＰＵ１１０は、台形補正を実現可能と判断した現在の試行サイズを本ステップにおいて探索した中の最大サイズとした上で、より大きな試行サイズの探索に係る後段の処理を実行していくことになる。

ここで、試行サイズを小さくすることで上述のハードウェア上の制約を満たし、台形補正処理が実現可能となる原理について説明する。まず帯域使用量に係る制約条件は、出力画像８２０のサイズが小さくなることで局所領域に係る拡大率が低下するため、必要となる帯域使用量が低減することで満たされうる。また処理時間に係る制約条件も、台形補正により生成が必要となる画素数が低減するため、水平周期中に水平１ラインに係る画素の処理量が低減することで満たされうる。さらに、水平ラインの両端点における垂直方向変位量の差に係る制約条件は、試行サイズの変化が液晶素子１５１上に形成する出力画像８２０を相似形に変形することになるため、上辺または下辺における垂直方向変位量の差が低減することで満たされうる。従って、本実施形態の座標決定処理では、最大サイズでの台形補正が実現不可能であった場合に、試行サイズを小さいサイズに変更しながら制約条件を満たすサイズを探索する。

一方、Ｓ６０７において現在の試行サイズに係る補正がハードウェア制約下で実現不可能であると判断した場合、ＣＰＵ１１０はＳ６１１で、現在の試行サイズの値を補正不可能な最小サイズの変数に入力し、処理をＳ６１２に移す。

Ｓ６１２で、ＣＰＵ１１０は、試行回数の変数の値をインクリメントする。そしてＣＰＵ１１０はＳ６１３で、インクリメント後の試行回数の値が予め定められた試行回数を行ったことを示す値ｎとなったか否かを判断する。ＣＰＵ１１０は、インクリメント後の試行回数の値がｎであると判断した場合、現在ＲＡＭ１１２に格納されている補正後の投影対象画像に係る四隅の座標を決定した座標として出力して本座標決定処理を完了し、処理をパラメータ決定処理に戻す。一方、インクリメント後の試行回数の値がｎに満たないと判断した場合、ＣＰＵ１１０はＳ６１４で、次に台形補正の実現可否の判定を行う試行サイズを決定し、更新する。次に決定される試行サイズは、判定済みの補正可能な最大サイズよりも大きくかつ補正不可能な最小サイズよりも小さい値であればよい。本実施形態ではＣＰＵ１１０は、次に判定を行う試行サイズを、補正可能な最大サイズの変数の値と補正不可能な最小サイズの変数の値の平均値として決定する。しかしながら、本発明の実施において次の試行サイズの決定はこのような二分法を用いる方式に限定される必要はない。

予め定められた試行回数を行ったことを示す値ｎ、即ち予め定められた試行回数そのものは、本実施形態の試行サイズの決定方式では、液晶素子１５１のパネルサイズに基づいて決定すればよい。例えば、ＷＵＸＧＡの液晶素子１５１であれば画素数が多い方向、即ち水平方向の画素数１９２０は、２¹⁰より大きく、２¹¹より小さい値であるため、二分法を１２回試行すれば１画素単位で求めることができる。また、補正可能な最大サイズと補正不可能な最小サイズの間を探索するため、補正可能なサイズと補正不可能なサイズとの境界がいずれにあったとしても、１２回の試行の間には補正可能となる試行サイズが必ず現れる。なお、精度よりも処理時間の短縮化の方が優先される場合は、回数ｎをより小さな値とし、それに合わせて試行サイズの決定方式を定めてよい。

Ｓ６１５で、ＣＰＵ１１０は、新たに決定した試行サイズについて、スクリーン５２０上の台形補正後の投影形状を決定する。例えばＣＰＵ１１０は、Ｓ６０１の処理で特定した、規格化後の値が最も小さい方向の最大サイズの辺の長さに新たな試行サイズの値を乗じることで、該方向の投影形状の辺の長さを算出し、これと所望のアスペクト比とに基づいて投影形状を決定する。例えば図７（ａ）では規格化後の値が最も小さい方向が水平方向である例について示したが、この場合、新たな試行サイズに係る水平方向の投影形状の辺の長さは、図９（ａ）のようにｄ１に試行サイズの値を乗じたｄ１’となる。そしてＣＰＵ１１０は、投影形状の決定後処理をＳ６０５に戻し、判定に係る処理を繰り返し行う。

このようにすることで、本実施形態の座標決定処理では、投影形状が理論上の最大サイズとなる台形補正がハードウェア上の制約により実現不可能であったとしても、ハードウェアの制約条件を満たす最大サイズの投影形状を探索し、その四隅の座標を出力できる。例えば１２回の試行における出力画像８２０の四隅の座標及びその判定結果が図９（ｂ）及び（ｃ）のようであったとすると、最終的に１２回目の試行において判定結果がＯＫ（補正可能）となっているため、１２回目の座標の情報が決定した座標として出力される。

座標決定処理後、ＣＰＵ１１０はパラメータ決定処理のＳ４０５で、液晶素子１５１上の各座標についての台形補正パラメータを算出する。具体的にはＣＰＵ１１０は、元画像信号の四隅の座標と、座標決定処理により得られたハードウェアの制約条件下で最大サイズとなる補正後の対象画像の四隅の座標とに基づいて、射影変換行列Ｍｓ及び各オフセット値ｘｓｏ、ｙｓｏ、ｘｄｏ、ｙｄｏを算出する。そしてＣＰＵ１１０はＳ４０６で、得られた補正パラメータを画像処理部１４０に設定してパラメータ決定処理を完了する。

《適用例》
例えば、垂直方向の台形補正の補正パラメータは固定のまま、本実施形態の方式を使用して水平方向の台形補正の補正パラメータを、補正量が大きくなる方向に順次変更して変形させる場合について、出力画像８２０の四隅の座標の遷移を図１０を用いて説明する。

垂直方向の台形補正を行った後の出力画像８２０の形状が図１０（ａ）の形状１０１０のようである場合を考える。この状態から水平方向の台形補正量を徐々に増加させていくと、図１０（ｂ）のように出力画像８２０の右下の頂点が投影対象の表示範囲７３０の右辺に内接した状態で変形が遷移する。ここで、頂点が隣接した状態であるということは座標決定処理において試行回数の変数の値が０のまま、即ち理論上の最大サイズの補正後投影形状がハードウェア上の制約を満たした状態で実現できていること示している。

また図１０（ｂ）に示されるように出力画像８２０の左上の頂点が表示範囲７３０の上辺に内接した後、さらに補正量を増加させていくと、図１０（ｃ）のように今度は左上の頂点が内接した状態で変形が遷移する。この場合も同様に、頂点が隣接した状態で遷移しているため、理論上の最大サイズの補正後投影形状がハードウェア上の制約を満たした状態で実現できていることになる。

また図１０（ｄ）の例では、出力画像８２０の左上の頂点が表示範囲７３０の上辺に接していた状態から、さらに補正量を増加させていくことで出力画像８２０の基準点以外の頂点が表示範囲７３０のいずれの辺にも内接しない状態で変形が遷移している。このように頂点が隣接しない状態は、座標決定処理において試行回数の変数の値が０、即ち理論上の最大サイズの補正後投影形状がハードウェア上の制約を満たさなかった状態を示している。

以上説明したように、本実施形態の画像処理装置は、ハードウェア上の制約を考慮して好適な画質の台形補正を実現することができる。具体的には画像処理装置は、入力された画像信号を投影装置に係る光学条件に基づいて変形した後の画像信号の形状及びサイズを決定し、変形後の画像信号に対応する変形パラメータを設定する。画像処理装置は、変形後の画像信号の画素数を優先してサイズを決定する第１のモードと、該第１のモードよりも小さいサイズを決定する第２のモードとを切り替えて、変形後の画像信号のサイズを決定する。

このようにすることで、入力画像に対する台形補正がハードウェアの制約条件を満たして実現可能な第１のモードでは、液晶素子パネル上での画素数を優先した、即ちパネル上で最大のサイズとなる画像を提示用に出力することができる。また台形補正が液晶素子パネル上で最大のサイズとなる台形補正がハードウェアの制約条件を満たして実現することが不可能な場合であっても、第２のモードに切り替えてハードウェアの制約条件を満たす最大のサイズの画像を提示用に出力することができる。このとき出力される画像は入力画像の縮小率を最小限にしているため、縮小処理に伴う画質劣化を抑えることができる。

［実施形態２］
上述した実施形態１では、座標決定処理が実行される度に液晶素子１５１のパネル上で実現できる理論上の最大サイズを求め、該サイズから判定を開始する例について説明した。しかしながら、液晶プロジェクタ１００の現実的な使用態様を想定すると、台形補正に係る変形量はユーザがリモコン等を使用して変形量を順次変更することが多いと考えられる。即ち、このような使用態様では補正量は順次段階的に変更され、さらに前回の補正量決定により規定された液晶素子１５１上の画像形状と類似した形状となる可能性が高い。本実施形態では、このような事実に基づき、さらに座標決定処理に要する時間を短縮する態様について説明する。

本実施形態の説明において、液晶プロジェクタ１００の構成は実施形態１と同様であるものとして説明を省略する。また、以下に説明する本実施形態の液晶プロジェクタ１００で実行される座標決定処理では、実施形態１と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、本実施形態の座標決定処理に特徴的な処理の説明に留める。

〈座標決定処理〉
以下、本実施形態の液晶プロジェクタ１００のパラメータ決定処理において実行される座標決定処理の詳細について、図１１のフローチャートを用いて詳細を説明する。

ＣＰＵ１１０はＳ１１０１で、ＲＡＭ１１２から前回の座標決定処理において決定した補正後の投影対象画像の四隅の座標に対応する試行サイズ（前回試行サイズ）の情報を取得する。そしてＣＰＵ１１０は、取得した前回試行サイズの情報を初期の試行サイズとして設定し、処理をＳ６０３に移す。

なお、本実施形態では、前回試行サイズの情報が後述のＳ１１０３の処理によって既にＲＡＭ１１２に格納されている例について説明する。しかしながら、ＲＡＭ１１２に前回試行サイズの情報が格納されていない場合は実施形態１と同様にＳ６０２と同様に基準値１．０を初期の試行サイズとして設定すればよい。

Ｓ６０４において試行回数の変数を初期化した後、ＣＰＵ１１０はＳ１１０２で、実施形態１の座標決定処理のＳ６１５と同様に現在の試行サイズ（前回試行サイズ）に基づいてスクリーン５２０上の台形補正後の投影形状を決定し、処理をＳ６０５に移す。なお、本ステップの処理はＳ６１４の処理後に実行される場合は、現在の試行サイズがＳ６１４で決定した次の試行サイズとなる。

Ｓ６０８において補正後の投影対象画像に係る四隅の座標の情報をＲＡＭ１１２に格納した後、ＣＰＵ１１０はＳ１１０３で、ハードウェアの制約条件を満たすと判定した現在の試行サイズの情報をＲＡＭ１１２に格納する。

Ｓ１１０４で、ＣＰＵ１１０は、現在の試行サイズでの出力画像８２０の四隅の座標の各々と、１つ前に設定した試行サイズでの出力画像８２０の対応する四隅の座標との差を算出し、該差の最大値が予め定められた閾値ｍ以下であるかを判断する。ここで、閾値ｍ＝１であれば、１画素単位で変形可能な最大サイズの補正後の投影対象画像を算出することができる。しかし、１画素単位で算出すると処理に時間を要することになるので、１以上の値がｍとして設定されてもよい。ＣＰＵ１１０は、出力画像８２０の四隅の座標の差分の最大値が閾値ｍ以下であると判断した場合、現在ＲＡＭ１１２に格納されている補正後の投影対象画像に係る四隅の座標を決定した座標として出力して本座標決定処理を完了する。またＣＰＵ１１０は、差の最大値が閾値ｍより大きいと判断した場合、処理をＳ６１０に移す。

このようにすることで、本実施形態の液晶プロジェクタ１００では、好適な画質となる台形補正の補正パラメータの算出に係る処理時間を短縮することができる。

なお、実施形態１及び２において、座標決定処理において光学条件に基づいて決定された台形補正の変形後形状を変更しながらハードウェア上の制約条件を満たすか否かを判定するものとして説明したが、本発明の実施はこれに限られるものではない。例えば光学条件に基づいて制約条件を満たす変形量の上限値が予め判明している場合は、決定された変形量が該上限値を上回るか否かにより、台形補正処理において縮小処理を行うか否かを決定する構成であってもよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 投影装置であって、
   入力された画像信号を信号処理によって幾何学変形する変形手段と、
   前記変形手段による変形後の前記画像信号に基づいて投影光の変調を行う像を形成する光変調手段と、
   前記光変調手段に光を投影することで前記変形後の画像信号を投影する投影手段と、
   前記投影装置に係る光学条件に基づいて前記変形後の画像信号の形状及びサイズを決定し、前記変形後の画像信号に対応する変形パラメータを前記変形手段に設定する設定手段と、を有し、
   前記設定手段は、前記変形後の画像信号の画素数を優先してサイズを決定する第１のモードと、該第１のモードよりも小さいサイズを決定する第２のモードとを切り替えて、前記変形後の画像信号のサイズを決定する
   ことを特徴とする投影装置。
2. 前記設定手段は、前記光学条件に基づいて決定した前記変形後の画像信号の形状について前記第１のモードで決定したサイズが前記変形手段のハードウェア上の制約条件を満たさない場合に、前記第２のモードに切り替えて前記変形後の画像信号のサイズを決定することを特徴とする請求項１に記載の投影装置。
3. 前記変形手段は、幾何学変形に際して前記変形後の画像信号を格納する記憶領域を有し、
   前記変形手段のハードウェア上の制約条件は、
   前記記憶領域への前記変形後の画像信号の格納に係る帯域使用量が予め定められた値以下であること、
   前記入力された画像信号の水平ラインの端点の前記変形後の画像信号における垂直方向の変位量の差が予め定められた値以下であること、及び
   前記変形後の画像信号の生成に係る処理量が予め定められた値以下であること
   のうちの少なくともいずれかの条件である
   ことを特徴とする請求項２に記載の投影装置。
4. 前記設定手段は、前記第２のモードで前記変形後の画像信号のサイズを決定する場合に、前記変形手段のハードウェア上の制約条件を満たす最大のサイズに決定することを特徴とする請求項２または３に記載の投影装置。
5. 前記光学条件は、前記投影装置の傾斜角、前記投影手段に含まれるズームレンズのズーム値、及び前記投影手段に含まれるシフトレンズのレンズシフト量のうちの少なくともいずれかであることを特徴とする請求項１乃至４のいずれか１項に記載の投影装置。
6. 投影光の変調を行う像を形成する光変調手段を有する投影装置で使用される画像処理方法であって、
   設定手段が、前記投影装置に係る光学条件に基づいて、入力された画像信号の変形後の形状及びサイズを決定し、対応する変形パラメータを設定する設定工程と、
   変形手段が、前記設定工程において設定された変形パラメータに基づいて前記入力された画像信号を信号処理によって幾何学変形する変形工程と、を有し、
   前記設定手段は前記設定工程において、前記変形工程における変形後の前記画像信号の画素数を優先してサイズを決定する第１のモードと、該第１のモードよりも小さいサイズを決定する第２のモードとを切り替えて、前記変形後の画像信号のサイズを決定する
   ことを特徴とする画像処理方法。
7. 入力された画像信号に対応する画像を投影する投影手段と、
   前記入力された画像信号の変形量を指示する指示手段と、
   前記指示手段により指示された変形量に応じて前記入力された画像信号の形状を幾何学変形する変形手段と、を有し、
   前記変形手段は、前記指示された変形量が所定の量を上回る場合に、変形後の画像信号のサイズを前記指示された変形量が前記所定の量を上回らない場合に決定するサイズよりも小さくする
   ことを特徴とする投影装置。
8. 前記所定の量は、前記指示された変形量に応じて決定された前記変形後の画像信号のサイズが前記変形手段のハードウェア上の制約条件を満たさない変形量に対応して定められることを特徴とする請求項７に記載の投影装置。
9. 前記変形手段は、幾何学変形に際して前記変形後の画像信号を格納する記憶領域を有し、
   前記変形手段のハードウェア上の制約条件は、
   前記記憶領域への前記変形後の画像信号の格納に係る帯域使用量が予め定められた値以下であること、
   前記入力された画像信号の水平ラインの端点の前記変形後の画像信号における垂直方向の変位量の差が予め定められた値以下であること、及び
   前記変形後の画像信号の生成に係る処理量が予め定められた値以下であること
   のうちの少なくともいずれかの条件である
   ことを特徴とする請求項８に記載の投影装置。
10. 前記変形手段は、前記指示された変形量が所定の量を上回る場合に、前記変形後の画像信号のサイズを前記変形手段のハードウェア上の制約条件を満たす最大のサイズに決定することを特徴とする請求項８または９に記載の投影装置。
11. 入力された画像信号に対応する画像を投影する投影手段を有する投影装置で使用される画像処理方法であって、
    指示手段が、前記入力された画像信号の変形量を指示する指示工程と、
    変形手段が、前記指示工程において指示された変形量に応じて前記入力された画像信号の形状を幾何学変形する変形工程と、を有し、
    前記変形手段は前記変形工程において、前記指示された変形量が所定の量を上回る場合に、変形後の画像信号のサイズを前記指示された変形量が前記所定の量を上回らない場合に決定するサイズよりも小さくする
    ことを特徴とする画像処理方法。