JP2019191443A - 投影装置 - Google Patents

Abstract

【課題】キーストーン補正の後段に格子点補間方式の回路を配置しても、キーストーン補正後の投影画像に対して格子点補間方式の補正をユーザーの意図通りに施すことが可能な投影装置を提供すること。【解決手段】格子状の調整パターンを生成するパターン生成部と、入力画像の有効領域を変形するための変形情報を基に変形処理を行う第一の変形手段と、入力画像を所定の間隔で区切った格子点を移動させることで当該格子点を含む四辺形内の変形を行う第二の変形手段と、を有し、前記パターン生成部と前記第一の変形手段と前記第二の変形手段は順に構成され、第二の変形手段は、前記調整パターンの格子点に与える設定値を保持する第一の格子点テーブルを前記変形情報に基づいてマッピングして生成された第二の格子点テーブルの設定値を用いて変形を行うことを特徴とする構成とした。【選択図】 図２

Description

本発明は、矩形形状の入力画像をキーストーン変形や４隅の調整点を四辺形に変形させる大変形機能と、矩形形状に細かく区切って格子点を移動させて変形させる小変形機能を持つ投影装置に関し、特に大変形機能を基に小変形機能へ与える変形情報の生成手段に関するものである。

従来からプロジェクタを複数台用いてマルチ投影することで、高解像度表示を実現する方法がある。マルチ投影を実現する際には一般的に、投影画像の一部をブレンド領域として重ね合わせて投影する。ブレンド領域の位置合わせにはキーストーン補正を用いて投影画像を正しい矩形形状にしてから重ね合わせる。しかしながら、近年４ｋ２ｋや８ｋ４ｋといった高解像度な画像が制作され、表示装置も高解像度化してきた。そのため、プロジェクタを複数台用いてマルチ投影する際のブレンド領域の僅かなずれが、画質の低下を招くことから、キーストーン補正よりも細かく変形可能な詳細調整機能が必要となっている。

このような変形機能は、一般的に調整するための格子点を設定して、講師点間を線形補間して補正する方法（以後、格子点補間方式）がある。この方法では、補正後の画素位置に対応する元画像の周辺の画素を線形補間し、隣接の画素と輝度分配することによって１画素以下の位置調整をすることができ、詳細な位置調整が可能となる。この方法では、ユーザーがブレンド領域にある調整点を選択し、位置ずれを解消できる座標に調整点を移動させることで、プロジェクタはその座標に基づき変形処理を施す。キーストーン補正を行い矩形形状に直したのちに、詳細調整機能をすることによって、ブレンド領域の位置ずれを低減できる。

例えば、特許文献１のように、画像を複数の四辺形領域に分割し、四辺形領域の頂点を制御点とし、移動前の制御点を頂点の１つとして含んでいた四辺形領域を、前記移動部によって移動された制御点を頂点に含む形状に変形する技術が開示されている。

特開２０１３−７８００１号公報

しかしながら、上述の特許文献に開示された従来技術で調整するための調整パターンの重畳回路とキーストーン補正回路と上述の特許文献に開示された従来技術の格子点補間方式の回路とを順に組み合わせると、好適に位置調整ができないことがあった。それは、調整パターンがキーストーン補正によって歪むため、調整パターンと格子点補間方式の格子点の位置とがずれるためであった。

そこで、本発明の目的は、キーストーン補正の後段に格子点補間方式の回路を配置しても、キーストーン補正後の投影画像に対して格子点補間方式の補正をユーザーの意図通りに施すことが可能な投影装置を提供することである。

上記目的を達成するために、本発明は、格子状の調整パターンを生成するパターン生成部と、入力画像の有効領域を変形するための変形情報を基に変形処理を行う第一の変形手段と、入力画像を所定の間隔で区切った格子点を移動させることで当該格子点を含む四辺形内の変形を行う第二の変形手段と、を有し、前記パターン生成部と前記第一の変形手段と前記第二の変形手段は順に構成され、第二の変形手段は、前記調整パターンの格子点に与える設定値を保持する第一の格子点テーブルを前記変形情報に基づいてマッピングして生成された第二の格子点テーブルの設定値を用いて変形を行うことを特徴とする構成とする。

本発明によれば、キーストーン補正の後段に格子点補間方式の回路を配置しても、キーストーン補正後の投影画像に対して格子点補間方式の補正をユーザーの意図通りに施すことが可能となる。

投影システムの構成と投影画像を説明する図 本発明の投影装置のブロック図 前段変形処理部の描画領域を説明する図 キーストーン変形の変形前座標と変形後座標を説明する図 後段変形処理による表示画像を説明する図 後段変形処理の変形計算方法の概要を説明する図 実施例１の動作を説明するフローチャート。 実施例１の動作を説明するフローチャート。 投影装置１０の入力画像と調整パターンを示す図 投影装置１０の調整パターンと後段変形処理部の格子の位置関係を示す図 前段変形処理後の出力画像を示す図 変形情報を用いない場合の後段変形処理部の動作を説明する図 変形情報を用いた後段変形処理の処理方法を説明する図

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

［実施例１］
以下、本発明の第1の実施例による、キーストーン変形後に微小に歪んだ投影画像の一部を小変形して補正する際の変形情報の生成方法について説明する。

本実施例では、図１に示す構成を例に、本発明の特徴的な動作を説明する。投影装置１０は入力装置２０から画像が入力されている。入力されている画像は、投影装置１０の投影画像３０として投影される。投影装置１０はスクリーンに対して煽って投影する場合には図１の投影領域３０の通りの四辺形に歪む。これを後述の前段変形処理部２０４のキーストーン補正によって投影領域４０のように変形する。投影領域４０は投影装置１０の投影光学系１７１の特性やスクリーンの歪みによって僅かに歪んでいる。この歪みを後述の後段変形処理部２０６によって投影領域５０のように矩形に変形する。

本実施例では、キーストーン補正によって補正した投影領域４０を投影領域５０のように矩形に変形する際の好適な変形情報の生成方法について説明する。

図２は、本実施例の投影装置１０の全体の構成を示す図である。本実施例の投影装置１０は、制御部１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部１４０を有する。また、投影装置１０は、さらに、液晶制御部１５０、液晶変調素子１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１７０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１６０、投影光学系１７１を有する。また、投影装置１０は、さらに、記録再生部１９１、記録媒体１９２、通信部１９３、表示制御部１９５、表示部１９６を有する。

制御部１１０は、投影装置１０の各動作ブロックを制御するものある。ＲＯＭ１１１には制御部１１０の処理手順を記述した制御プログラムや初期値データが記憶されており、ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納されるものである。また、制御部１１０は、通信部１９３より受信した静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。

操作部１１３は、ユーザーの指示を受け付け、制御部１１０に指示信号を送信するものであり、例えば、スイッチやダイヤルなどからなる。また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号を制御部１１０に送信するものであってもよい。また、制御部１１０は、操作部１１３や、通信部１９３から入力された制御信号を受信して、投影装置１０の各動作ブロックを制御する。

画像入力部１３０は、外部装置から送信される画像を受信するものである。ここで、外部装置とは、画像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。さらには、ＵＳＢフラッシュメモリやＳＤカードのようなメディアに記録された画像を読み込むこともできる。

画像処理部１４０は、画像入力部１３０から受信した画像信号にフレーム数、画素数、画素値、画像形状などの変更処理を施して、液晶制御部１５０に送信するものであり、例えば画像処理用のマイクロプロセッサからなる。解像度変換（スケーリング）処理、色補正処理、前段変形処理（キーストーン補正処理）、後段変形処理（格子点変形補正）、パネル補正といった機能を実行することが可能である。また、画像処理部１４０は、所望のテストパターン画像を生成して液晶制御部１５０に送信することもできる。また、画像処理部１４０は、画像入力部１３０から受信した画像信号以外にも、制御部１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。画像処理部１４０の内部構成の詳細に関しては後述する。

液晶制御部１５０は、画像処理部１４０で処理の施された映像信号に基づいて、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの画素の液晶に印可する電圧を制御して、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を調整するものであり、制御用のマイクロプロセッサからなる。

たとえば、画像処理部１４０に映像信号が入力されている場合、液晶制御部１５０は、画像処理部１４０から１フレームの画像を受信する度に、画像に対応する透過率となるように、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを制御する。液晶素子１５１Ｒは、赤色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整するためのものである。液晶素子１５１Ｇは、緑色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整するためのものである。

液晶素子１５１Ｂは、青色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整するためのものである。本実施例では、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光の変調を透過型の液晶素子で説明したが、ＤＭＤや反射型液晶素子など光を変調できる素子であれば形態は問わない。

光源制御部１６０は、光源１６１のオン／オフを制御や光量の制御をするものであり、制御用のマイクロプロセッサからなる。また、光源１６１は、不図示のスクリーンに画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。また、色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。

また、色合成部１６３は、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１７１に送られる。このとき、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、液晶制御部１５０により制御されている。そのため、色合成部１６３により合成された光は、投影光学系１７１によりスクリーンに投影されると、画像処理部１４０により入力された画像に対応する画像がスクリーン上に表示されることになる。

光学系制御部１７０は、投影光学系１７１を制御するものであり、制御用のマイクロプロセッサからなる。また、投影光学系１７１は、色合成部１６３から出力された合成光をスクリーンに投影するためのものであり、複数のレンズ、レンズ駆動用のアクチュエータからなり、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。

記録再生部１９１は、記録媒体１９２から静止画データや動画データを再生する。また、通信部１９３より受信した静止画データや動画データを記録媒体１９２に記録しても良い。記録再生部１９１は、例えば、記録媒体１９２と電気的に接続するインタフェースや記録媒体１９２と通信するためのマイクロプロセッサからなる。また、記録媒体１９２は、静止画データや動画データ、その他、本実施例の液晶プロジェクタに必要な制御データなどを記録することができるものであり、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体であってよく、着脱可能な記録媒体であっても、内蔵型の記録媒体であってもよい。

通信部１９３は、投影装置１０と投影装置２０の間で、マルチ投影時のブレンド領域の位置調整をするためのパターンを生成する際に用いる情報をやりとりする。やりとりする情報は後述する。

通信部１９３は、そのほか、外部機器からの制御信号や静止画データ、動画データなどを受信することもでき、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１３０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであっても良い。ここで、外部装置は、投影装置１０と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。

表示制御部１９５は、投影装置１０に備えられた表示部１９６に投影装置１０を操作するための操作画面やスイッチアイコン等の画像を表示させるための制御をするものであり、表示制御を行うマイクロプロセッサなどからなる。また、表示部１９６は、投影装置１０を操作するための操作画面やスイッチアイコンを表示するものである。表示部１９６は、画像を表示できればどのようなものであっても良い。例えば、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイであって良い。また、特定のボタンをユーザーに認識可能に掲示するために、各ボタンに対応するＬＥＤ等を発光させるものであってもよい。

なお、本実施例の画像処理部１４０、液晶制御部１５０、光源制御部１６０、光学系制御部１７０、記録再生部１９１、表示制御部１９５は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあっても良い。または、例えば、ＲＯＭ１１１に記憶されたプログラムによって、制御部１１０が各ブロックと同様の処理を実行しても良い。

続いて、図２（ｂ）に画像処理部１４０の内部構成を示す。画像処理部１４０に入力された画像は、初めに前段処理部１４１に入力され、解像度変換部２０１で処理される。解像度変換部２０１は、入力画像の解像度を所望の解像度へ変換する。

本実施例では、液晶素子１５１の解像度に合わせるように入力画像の解像度を変換する。例えば、液晶素子１５１の解像度が１９２０×１０８０である場合、入力画像の解像度が１２８０×７２０の場合、縦横共に１．５倍に拡大して、１９２０×１０８０へ変換する。このように液晶素子１５１の解像度と入力画像の解像度のアスペクト比が同じ場合には単純に拡大すればよい。ただし、例えば入力画像の解像度が１０２４×７６８のようにアスペクト比が液晶素子１５１と異なる場合には、縦もしくは横の幅の比に合わせてアスペクト比を保持したまま拡大し、画像は液晶素子１５１の中央に配置し、周辺の余った画素については黒を出力する。

色補正部２０２は、カラーマトリクス変換、クロマ処理、ガンマ処理、色空間変換などの色補正を行う。入力画像が投影された際に所望の色となるように処理を行う。

ＯＳＤ生成部２０３は、設定メニューのＯＳＤやブレンド領域６０の調整用のパターンを生成し出力する。制御部１１０がブレンド領域の位置調整の処理を実行している場合やテストパターンの出力処理を実行している場合は、制御部１１０の指示によりＯＳＤ生成部２０３はパターンを入力画像に重畳し、後段の前段変形処理部２０４へ出力する。ＯＳＤ生成部２０３が生成するパターンは後段変形処理部２０５で変形する際に用いる格子状の調整パターンとする。格子は所定間隔で区切られたパターンで、たとえば、水平３点垂直３点であったり、水平９点垂直６点であったりする。

前段変形処理部２０４は、入力画像を矩形から台形等の四辺形形状に変形する。本実施例では、前段変形処理部２０４は投影装置１０を煽って投影した際に、台形に歪むのを補正するキーストーン補正とする前段変形処理部２０４でＲ／Ｇ／Ｂの色毎に画像信号を変形し、フレームメモリ２０５に書き込む。書き込みが完了したら、フレームメモリ２０５から信号を読み出し、前段変形処理部２０４を経由して変形が施された信号を出力する。

前段変形処理部２０４は、変形の式に基づいて、前段変形処理部２０４に入力された画像信号に幾何学的な変形処理を施し、後段処理部１４２へ変形後画像信号を出力する。キーストーン補正は射影変換で実現できるため、変形処理部２０４は、制御部１１０から射影変換のための変形情報（元画像の４頂点の座標と変形後画像の４頂点の座標）を入力する。元画像の座標を（ｘｓ、ｙｓ）とすると、変形後画像の座標（ｘｄ、ｙｄ）は式１で表わされる。

ここで、Ｍは３×３行列で、制御部１１０から入力される変形情報の元画像から変形後画像への射影変換行列である。この行列Ｍは、一般的に元画像の４隅座標と変形後画像の４隅座標を用いて連立方程式を解くことで求められる。ｘｓｏ、ｙｓｏは、図４に実線で示す元画像の１つの頂点の座標であり、ｘｄｏ、ｙｄｏは、図４に一点鎖線で示す変形後画像の、元画像の頂点（ｘｓｏ、ｙｓｏ）に対応する頂点の座標値である。

行列Ｍの逆行列Ｍ^-1とオフセット（ｘｓｏ，ｙｓｏ）、（ｘｄｏ，ｙｄｏ）から式１は式２に変形できる。制御部１１０から、変形情報として逆行列Ｍ^-1とオフセット（ｘｓｏ，ｙｓｏ）、（ｘｄｏ，ｙｄｏ）が入力され、前段変形処理部２０４は式２に従って変形後の座標値（ｘｄ、ｙｄ）に対応する元画像の座標（ｘｓ、ｙｓ）を求める。

式２に基づいて求められた元画像の座標が整数になれば、元画像座標（ｘｓ、ｙｓ）が持つ画素値をそのまま変換後座標（ｘｄ、ｙｄ）の持つ画素値としてもよい。しかし、式２に基づいて求められた元画像の座標は整数になるとは限らないので、周辺画素の値を用いて補間することで、変形後座標（ｘｄ、ｙｄ）の持つ画素値を求める。補間の方法は、バイリニア、バイキュービック、その他の任意の補間方法を用いればよい。また、式２に基づいて求められた元画像の座標が、元画像領域の範囲外である場合には、その画素値は黒またはユーザーが設定した背景色とする。

前段変形処理部２０４は、このようにして変換後座標の全てについて画素値を求め、変換後画像を作成する。また、上記説明では、制御部１１０から前段変形処理部２０４には、変形情報として逆行列Ｍ^-1が入力されるとした。しかし、行列Ｍを入力して前段変形処理部２０４の内部で逆行列Ｍ^-1を求めてもよい。また、式１を使った変形処理を行ってもよい。

また、上記説明では、制御部１１０が射影変換行列を求めて前段変形処理部２０４へ送信するとしたが、制御部１１０が変形前座標と変形後座標を前段変形処理部２０４へ送信し、前段変形処理部２０４が行列Ｍもしくは逆行列Ｍ^-1を生成してもよい。この場合は、制御部１１０は、前段変形処理部２０４から行列Ｍと逆行列Ｍ^-1を取得する。また、前段変形処理部２０４は、投影画像３０を大きく歪ませる粗調整の機能として考えた場合、１画素単位で変形後の座標を設定することが望ましい。

ここで、前段変形処理部２０４の取り扱う描画領域について図３を用いて説明する。図３（ａ）に示す出力画像領域３１１は、画像処理部１４０から出力された画像を表示する液晶表示素子１５１の描画領域であり、この領域が投影される範囲は図１の投影領域３０となる。前段変形処理部２０４の変形無の場合には入力画像がこの領域に描画される。

図３（ａ）に示す有効領域３１２は、前段変形処理部２０４で変形された場合に、入力画像が変形されて描画される出力画像領域３１１内の領域である。投影装置１０の煽り角に基づきキーストーン補正された場合に、図１の投影領域４０に投影される。

無効領域３１３は、前段変形処理部２０４で変形された場合に、入力画像が変形されて描画されない出力画像領域３１１内の領域である。前段変形処理部２０４によって出力された画像は後段処理部１４２へ入力される。後段処理部１４２に入力された画像は後段変形処理部２０６に入力される。

本実施例における後段変形処理部２０６は、入力画像の画素に対して変形後座標を求め、求めた座標から補間画素値を求める。具体的には以下のような処理を行う。任意形状に変形する方法として、予め調整点を設定して、調整点を変形後はどの座標に移動させるかを指定し、移動後の調整点間を補間して画像を変形する方法がある。後段変形処理部２０６は図６（ａ）のように、調整点６０１を格子状に持っている。後段変形処理部２０６は、調整点６０１の数分の水平方向成分と垂直方向成分のデータである変形座標テーブルの設定値に基づく変形処理を行う。変形座標テーブルの値は、調整後の絶対座標でもよいし、調整前座標と調整後座標の相対座標（＝移動量）でもよい。

後段変形処理部２０６でＲ／Ｇ／Ｂの色毎に画像信号を変形し、不図示のラインメモリに書き込む。書き込みが完了したら、ラインメモリから信号を読み出し、後段変形処理部２０６を経由して変形が施された信号を出力する。本実施例では後段変形処理部２０６は小変形として説明するため、ラインメモリとしたが、フレームメモリでもよい。

補間方法を、図６（ｂ）（ｃ）を用いて説明する。図６（ｂ）は変形前を示し、図６（ｃ）は変形後を示す。補間に用いる調整点をＰ１、Ｐ２、Ｐ３、Ｐ４とする。変形座標テーブルには、制御部１１０は操作部１１３による調整点の移動指示を受け、図６（ｂ）のＰ１の座標が図６（ｃ）のＰ１の座標になるような水平方向移動量と垂直方向移動量を設定する。図６（ｂ）の変形前画像の座標Ｓは、調整点Ｐ１を図６（ｃ）のように移動させた場合に、変形後画像の座標Ｄとなる。

図６（ｂ）の座標Ｐ１’は、Ｐ１と座標Ｓを通る直線と、線分Ｐ２−Ｐ４の交点である。変形前画像の座標Ｓの位置は図６（ｂ）の線分Ｐ１−Ｐ１’のα：１−αの位置とする。図６（ｂ）の座標Ｐ１’の位置は線分Ｐ２−Ｐ４のβ：１−βの位置とする。図６（ｃ）の変形後画像の座標Ｄは、図６（ｂ）の座標Ｓに基づく比率と同様に、線分Ｐ２−Ｐ４をβ：１−βで分けたＰ１’’とＰ１を結ぶ線分をさらにα：１−αで分けた位置となる。

このように変形後画像の座標Ｄの位置が求まれば、周辺画素の画素値を用いて補間することで、変形後画像の座標Ｄの画素値を求めることができる。補間の方法は、前述のバイリニア方式以外にもバイキュービックやその他の任意の補間方法を用いてもよい。この方法で、図５（ａ）の画像を１画素未満で左にシフトした場合、図５（ｂ）の画像に示すようになる。図５（ａ）の画像は暗階調画素５０１と明階調画素５０２の２値階調から構成される。図５（ｂ）の画像では、シフトによって生じる画素５０３と画素５０４の２画素の積分値が明階調画素５０２相当の輝度となり、明階調画素５０２を輝度分配することで画素５０３と画素５０４が生成される。図５（ｂ）の例では画素５０４の方が画素５０３よりも明るいため、やや輝度重心が５０４側に寄った調整となっていると言える。

変形後画像において変形前画像より小さくなる部分については、その画素値は黒またはユーザーが設定した背景色とする。後段変形処理部２０６はこのように画像の一部の位置を調整するほか、全調整点の位置情報に同値のオフセットを加えることによって、画像全体をシフトすることも可能である。後段変形処理部２０６は、以上の手順で変形後画像の座標の全てについて画素値を求めることで、変形後の画像を作成する。また、後段変形処理部２０５はＲ／Ｇ／Ｂ各色に対して同一の変形を行う。

制御部１１０には、ユーザーが操作部１１３を介して図６（ａ）の調整点６０１のうち任意の座標の調整量が入力される。制御部１１０は、入力された移動量を変形座標テーブルに格納する。変形座標テーブルを後段変形処理部２０５に渡して、変形を行う。

以上のように後段変形処理部２０６について説明したが、後段変形処理部２０６の格子点数はＯＳＤ生成部２０３で生成する格子状パターンの格子点数と必ずしも一致している必要はなく、多くてもよい。通常、変形形状の自由度の向上や精度を鑑みてハードウェアとしては細かい調整点を持ち、ユーザーが調整するＯＳＤ生成部２０３で生成する格子状パターンの調整点は調整工数を鑑みて粗い調整点を持つ。このとき、整数倍であることが望ましい。

この場合、後段変形処理部２０６に与える変形座標テーブルの他に、ＯＳＤ生成部２０３で生成する格子状パターンの調整点の数分のテーブル（ＯＳＤ調整点テーブルとする）を持つ。制御部１１０は、ＯＳＤ調整点テーブルに基づき、後述の変形座標算出プログラムによって調整点６０１の調整後の移動量を求め、変形座標テーブルを生成する。生成した変形座標テーブルを後段処理部２０６に送信することで、ユーザー見えにはＯＳＤ生成部２０３で生成した格子状パターンの調整点を移動させたように動作することができる。

また、後段変形処理部２０６は前段変形処理部２０４によって大きく変形された後の微調整に用いる機能として考える場合、１画素以下の単位で調整可能であることが望ましい。パネル補正部２０７は、ＶＴガンマやムラ補正などのパネルの色補正を行う。

以下、図７のフローチャートを用いて、本実施例の特徴的な動作について説明する。制御部１１０によって後段変形処理部２０６への変形座標テーブル設定処理が開始されると、図７（ａ）のフローチャートに沿った処理を行う。変形座標テーブルは、前段変形処理部２０４が動作した後もしくは、ユーザーによって操作部１１３から制御部１１０へ後段変形処理を指示する信号が送信された場合に生成される。

本実施例では、前段変形処理部２０４による変形後に、後段変形処理部２０６を行った場合の投影装置１０の動作を記載する。本実施例では、前段変形処理部２０４で求めた変形情報を基に後段変形処理部２０６の変形座標データを生成することで、ユーザーが好適に後段変形処理部２０６を用いた投影画像の位置調整が可能であることを説明する。

本実施例では、図８（ａ）の入力画像８０１が入力され、ＯＳＤ生成部２０３は図８（ｂ）の調整パターン８０２を重畳する。ユーザーが操作部１１３から操作可能な調整点は調整パターン８０２の交点上であり、Ａ００〜Ａ４４まである。
制御部１１０は、調整パターン８０２の交点上の調整点（Ａ００〜Ａ４４）分のテーブルであるＯＳＤ調整点テーブル持ち、ユーザーはこの調整点に操作部１１３を介してＯＳＤ調整点テーブルに移動量を設定する。たとえばユーザーが調整点８０３を操作部１１３で指定し、変形を指示すると、制御部１１０はＡ００に移動量を設定する。ＯＳＤ生成部２０３が出力して前段変形処理部２０４へ入力される画像は図８（ｃ）のようになる。

このとき、図９（ａ）に示すように後段変形処理部２０６は内部処理格子点として格子点群９０１のようになっている。座標ＸＹは後段変形処理部２０６の出力後座標である。原点は、座標（０，０）の点である。Ｘは水平方向、Ｙは垂直方向を示している。前段変形処理部２０４で変形処理が行われない場合の調整パターン８０２の調整点の全点は後段変形処理部２０６の格子点群９０１と重なるように設定してある。制御部１１０は図９（ａ）のようにＯＳＤ調整点テーブルの調整点Ａ００の値を原点に配置する。他、調整点Ａ１０、調整点Ａ２０を所定間隔で配置する。

ユーザーが操作部１１３を介して調整点８０３を右下に移動させようとすると、制御部１１０は、ＯＳＤ調整点テーブルにその移動量を設定し、ＯＳＤ調整点テーブルを基に後段変形処理部２０６の格子点群９０１に与える変形座標テーブルの移動量を算出する。調整点８０３は、後段変形処理部２０６の結果により、図９（ｂ）の変形後調整点９０３のように移動する。

本実施例では、図７のフローチャートに入る前に、前段変形処理部２０４でキーストーン補正が行われ、変形情報が生成されているものとする。変形情報は、行列Ｍとその逆行列Ｍ^-1とオフセット（変形前：ｘｓｏ，ｙｓｏ）、（変形後：ｘｄｏ，ｙｄｏ）とする。前段変形処理部２０４でキーストーン変形されて出力された画像は図１０のようになっている。入力画像８０１は前段変形処理部２０４によって前段変形処理出力画像１００１となり、同様に調整パターン８０２も前段変形処理後出力パターン１００２のようになる。

このときの後段変形処理部２０６の格子点群９０１と前段変形処理後出力パターン１００２との関係は図１１（ａ）のようになる。前段変形処理部２０４による変形がないときは図９（ａ）のように調整点８０３の位置にあったが、前段変形処理部２０４によるキーストーン変形後は調整点１１０１の位置へ移動する。後段変形処理部２０６において、前段変形処理部２０４の変形情報を用いずに変形しようとすると、前段変形処理後出力パターン１００２の調整点位置に合わせた移動量算出ができない。

たとえば、図１１（ｂ）に示す後段変形処理部２０６の格子点群９０１の調整点Ｓに与える移動量を周囲４点から補間で求める場合に、前段変形処理後出力パターン１００２の調整点Ａ００、Ａ１０、Ａ０１、Ａ１１に与えた移動量で計算されない。それは、後段変形処理部２０６の格子点群９０１に対してＯＳＤ調整点テーブルの各データは、図１１（ｃ）の前段変形処理部２０４の変形無し時の調整パターン８０２の調整点にマッピングされるため調整点Ａ００は原点の位置になる。

その結果、変形情報を用いない場合、図９を用いて説明した前段変形処理部２０４の変形がない場合と同じ計算を行う。この場合、調整点Ｓは前段変形処理部２０４変形無し時の調整パターン８０２の調整点Ａ０１、Ａ１１、Ａ１２，Ａ０２に囲まれている。移動量算出においては、Ａ０１，Ａ１１，Ａ１２，Ａ０２の移動量を基に補間して求める。したがって、調整点Ｓは本来用いたい４点（Ａ００、Ａ１０、Ａ０１、Ａ１１）の移動量と異なる値で計算されるため、ユーザーの意図通りの変形がされない。

本実施例に記載の方法では、前段変形処理部２０４で変形された後の前段変形処理後出力パターン１００２の調整点位置を基に、格子点群９０１の移動量を算出することができるようになる。そのため、ユーザーの意図通りの変形ができるようになる。

Ｓ７０１は、制御部１１０が前段変形処理部２０４でキーストーン変形を行う際に生成した変形情報として逆射影変換行列Ｍ^-1とオフセット（変形前：ｘｓｏ，ｙｓｏ）、（変形後：ｘｄｏ，ｙｄｏ）を取得する。

Ｓ７０２は、後段変形処理部２０６で変形する為の変形座標テーブル（格子点毎の移動量情報）を取得する。Ｓ７０３では、Ｓ７０１で取得した変形情報およびＳ７０２で取得した変形座標テーブルに基づき、新規の変形座標テーブルを生成する。具体的な変形座標テーブル生成方法については後述する。Ｓ７０４では、Ｓ７０３で生成した変形座標テーブルを後段変形処理部２０６へ送信する。Ｓ７０５では、ユーザーが操作部１１３により、後段変形処理を終了したかを制御部１１０が取得し、終了した場合には後段変形処理を終了し、継続する場合にはＳ７０２へ戻る。

以上で、本実施例の後段変形処理部２０６への変形座標テーブル設定処理の動作を終了する。

次に、Ｓ７０３の変形座標テーブル生成方法について、図７（ｂ）のフローチャートを用いて説明する。本フローチャートでは、制御部１１０がＯＳＤ調整点テーブルを基に、変形座標テーブルを生成する。

Ｓ７２１では、Ｓ７２２〜Ｓ７３０までの繰り返し処理の開始として、後段変形処理部２０６の格子点群９０１の原点を指定する。Ｓ７２２では、格子点群９０１のうちループで選択された注目格子点に対して、式２を用いて射影変換する。たとえば、図１１（ｂ）の格子点Ｓに対して、射影変換すると図１２（ａ）の座標Ｓ２の位置にマッピングされる。座標Ｘ’Ｙ’は前段変形処理部２０４の入力座標である。原点は、座標（０，０）の点である。Ｘ’は水平方向、Ｙ’は垂直方向を示している。格子点群９０１の他の格子点群は式２による射影変換によって、変換後格子点群１２０１のようになる。

Ｓ７２３では、Ｓ７２２で求めた座標Ｓ２が調整パターン８０２の交点上の調整点のどの４点に囲まれているかを求める。領域１００１内の射影変換後の座標で、調整パターン８０２の外側にある格子点は４点に囲まれない点となる。４点の求め方は、具体的に以下のように求めることができる。

Ｓ７２２の式２による射影変換によって、図１２（ａ）のように格子点群９０１は前段変形処理部２０４による変形前の調整パターン８０２の形状を基準とした位置に変換され、変換後格子点群１２０１のようになる。例えば、注目格子点Ｓ２は調整パターン８０２の調整点Ｐ０（０，０）、Ｐ１（１，０），Ｐ２（１，１）、Ｐ３（０，１）に囲まれている。図１２（ｂ）を用いて具体的な周囲４点の調整点の求め方を説明する。本実施例では、調整パターン８０２の調整点は等間隔になっており、調整パターン８０２の調整点の間隔はＰ０とＰ１の水平方向間隔はｗｉｄｔｈであり、Ｐ０とＰ３の垂直方向間隔ｈｅｉｇｈｔとなっている。周囲４点の調整点はこれらを使って求められる。

Ｓ２のｘ座標をＸｓ２、ｙ座標をＹｓ２とする。左上調整点Ｐ０は、（（Ｘｓ２／ｗｉｄｔｈ）の整数部、（Ｙｓ２／ｈｅｉｇｈｔ）の整数部）と求められる。Ｐ１，Ｐ２，Ｐ３はそれぞれ調整パターン８０２の調整点でＰ０に対して（＋１，０）、（＋１，＋１）、（０，＋１）の位置となる。

以上により、注目格子点Ｓ２の周囲４点（Ｐ０〜Ｐ３）を求めることができる。Ｓ７２２を行うことによって、Ｓ７２３にて前段変形処理後出力パターン１００２の調整点基準の４点を求めることができる。そのほか、格子点群９０１の点全点の距離を計算し、近い４点を選択する方法がある。４点の求め方は、４点を選び出せる方法であれば、どのような方法でも構わない。

Ｓ７２４では、Ｓ７２２で求めた座標Ｓ２が出力画像領域３１１外になる場合には周囲４点は存在しない。存在する場合は、Ｓ７２５へ移行する。存在しない場合はＳ７２６へ移行する。Ｓ７２５では、Ｓ７２３で求めた周囲４点（図１２（ａ）Ｐ０〜Ｐ３）のＯＳＤ調整点テーブルに設定された移動量を用いて線形補間にて変形座標テーブルの格子点Ｓに与える移動量を求める。Ｓ７２３で求めた周囲４点Ｐ０、Ｐ１，Ｐ２，Ｐ３にはＡ００，Ａ１０、Ａ１１，Ａ０１に格納された値がマッピングされる。

まず、Ｓ２での移動量を求めるために、Ｐ０〜Ｐ３を用いた線形補間を行うための距離の比を求める。図１２（ｂ）に示すように、Ｓ２の水平線とＰ０−Ｐ３の線分の交点をＳ３、Ｓ２の水平線とＰ１−Ｐ２の線分の交点をＳ４とする。まず、点Ｐ０から点Ｓ３および点Ｓ３から点Ｐ３の比を求める。

点Ｐ０〜Ｐ３、Ｓ３，Ｓ４の座標を次のように定義する。Ｐ０（Ｘｐ０、Ｙｐ０）、Ｐ１（Ｘｐ１、Ｙｐ１）、Ｐ２（Ｘｐ２、Ｙｐ２）、Ｐ３（Ｘｐ３、Ｙｐ３）、Ｓ３（Ｘｓ３、Ｙｓ３）、Ｓ４（Ｘｓ４、Ｙｓ４）とする。Ｓ３は矩形形状のＰ０〜Ｐ３のＰ０−Ｐ３の辺上で、Ｓ２の水平線上であるため、Ｘｓ３＝Ｘｐ０、Ｙｓ３＝Ｙｓ２である。Ｐ０−Ｓ３：Ｓ３−Ｐ３をａ：（１−ａ）としてこれを求める。

Ｐ０−Ｓ３：Ｓ３−Ｐ３＝ａ：（１−ａ）＝（Ｙｓ３−Ｙｐ０）／（Ｙｐ３−Ｙｐ０）：（Ｙｐ３−Ｙｓ３）／（Ｙｐ３−Ｙｐ０）
と求まる。

Ｐ１−Ｓ４：Ｓ４−Ｐ２は、Ｐ０〜Ｐ３が矩形形状であるためＰ０−Ｓ３：Ｓ３−Ｐ３と同じである。

次に、Ｓ３−Ｓ２：Ｓ２−Ｓ４をｂ：（１−ｂ）としてこれを求める。

Ｓ３−Ｓ２：Ｓ２−Ｓ４＝ｂ：（１−ｂ）＝（Ｘｓ２−Ｘｓ３）／（Ｘｓ４−Ｘｓ３）：（Ｘｓ４−Ｘｓ２）／（Ｘｓ４−Ｘｓ３）
と求まる。

次に、Ｓ２に設定する移動量を図１２（ｃ）を用いて求める。Ｐ０、Ｐ１、Ｐ２、Ｐ３に設定されたＯＳＤ調整点テーブルの移動量をそれぞれ水平方向、垂直方向があり、Ｐ０＝（ＭＡＸｐ０、ＭＡＹｐ０）、Ｐ１＝（ＭＡＸｐ１、ＭＡＹｐ１）、Ｐ２＝（ＭＡＸｐ２、ＭＡＹｐ２）、Ｐ３＝（ＭＡＸｐ３、ＭＡＹｐ３）とする。

まず、Ｓ２の水平方向の移動量ＭＡＸｓ２を求める。はじめにＳ３の水平方向の移動量ＭＡＸｓ３を求める。Ｓ３はＰ０−Ｐ３に対して比ａ：１−ａの位置にあり
ＭＡＸｓ３ ＝ （１−ａ） ＊ ＭＡＸｐ０ ＋ ａ ＊ ＭＡＸｐ３
同様にＳ４の水平方向の移動量ＭＡＸｓ４は
ＭＡＸｓ４ ＝ （１−ａ） ＊ ＭＡＸｐ１ ＋ ａ ＊ ＭＡＸｐ２
Ｓ２の移動量ＭＡＸｓ２はＳ３−Ｓ４に対して比ｂ：１−ｂの位置にあり
ＭＡＸｓ２ ＝ （１−ｂ） ＊ ＭＡＸｓ３ ＋ ｂ ＊ ＭＡＸｓ４
Ｓ２の垂直方向の移動量ＭＡＹｓ２も同様に求まる。このＳ２の移動量（ＭＡＸｓ２、ＭＡＹｓ２）の値が変形座標テーブルの格子点Ｓに与える移動量となる。Ｓ７２６では、注目格子点の移動量を０と設定する。

なお、０以外にもっとも近い調整パターン８０２の交点上の調整点に与えられた移動量を設定してもよい。Ｓ７２７では、Ｘ方向をインクリメントする。Ｓ７２８では、Ｘ方向が格子点群９０１の右端を超えた場合にＳ７２９へ、超えていない場合はＳ７２２へ戻る。Ｓ７２９では、Ｘを０に戻し、Ｙ方向をインクリメントする。Ｓ７３０では、Ｙ方向が格子点群９０１の下端を超えた場合に変形座標テーブル生成を終了し、超えていない場合はＳ７２２へ戻る。

以上で、後段変形処理部２０６に与える変形座標テーブルが生成され、処理が終了となる。

本実施例のように前段変形処理部２０４の変形情報を用いて、後段変形処理部２０６に与える変形座標テーブルを生成することで、図１２（ｄ）の後段変形処理部２０６による変形前調整点１２０２を調整点１２０３の位置に変形することができる。よって、ユーザーがキーストーン変形後に微調整として格子点による変形処理を行う場合に、好適に調整をおこなうことができる。

なお、本実施例は逆射影変換行列Ｍ^-1を用いた変形座標テーブル算出を行ったが、射影変換行列Ｍを用いた算出方法もあり、変形情報を用いた変形座標テーブルの算出方法であれば、方法は問わない。

なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、制御部１１０がメモリ上に展開したコンピュータプログラムにより実行されても良い。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０ 投影装置
２０ 入力装置
３０ 投影装置１０の前段および後段変形処理無投影画像
４０ 投影装置１０の前段変形処理後投影画像
５０ 投影装置１０の後段変形処理後投影画像
１１０ 制御部
１１１ ＲＯＭ
１４０ 画像処理部
１４１ 前段処理部
１４２ 後段処理部
１５０ 液晶駆動部
１５１ 液晶素子
１９３ 通信部
２０３ ＯＳＤ生成部
２０４ 前段変形処理部
２０６ 後段変形処理部

Claims (5)

1. 格子状の調整パターンを生成するパターン生成部と、
   入力画像の有効領域を変形するための変形情報を基に変形処理を行う第一の変形手段と、
   入力画像を所定の間隔で区切った格子点を移動させることで当該格子点を含む四辺形内の変形を行う第二の変形手段と、を有し、
   前記パターン生成部と前記第一の変形手段と前記第二の変形手段は順に構成され、
   前記第二の変形手段は、前記調整パターンの格子点に与える設定値を保持する第一の格子点テーブルを前記変形情報に基づいてマッピングして生成された第二の格子点テーブルの設定値を用いて変形を行う
   ことを特徴とする投影装置。
2. 前記第一の変形手段は射影変換行列による変形である
   ことを特徴とする請求項１に記載の投影装置。
3. 前記変形情報は４隅の点の変形前および変形後の座標であり、
   前記第一の変形手段は前記変形情報から射影変換行列を算出し、前記射影変換行列を用いて変形する
   ことを特徴とする請求項２に記載の投影装置。
4. 前記パターン生成部の生成する調整パターンの格子点数は前記第二の変形手段の有する格子点数と同じか少ない
   ことを特徴とする請求項１に記載の投影装置。
5. 前記第一の変形手段はｎ画素（ｎは自然数）単位で調整可能であり、前記第二の変形手段は１画素以下の単位で調整可能である
   ことを特徴とする請求項１に記載の投影装置。