JP2020080064A - 投影制御装置、投影装置、投影装置の制御方法、プログラム、記憶媒体 - Google Patents

投影制御装置、投影装置、投影装置の制御方法、プログラム、記憶媒体 Download PDF

Info

Publication number
JP2020080064A
JP2020080064A JP2018213227A JP2018213227A JP2020080064A JP 2020080064 A JP2020080064 A JP 2020080064A JP 2018213227 A JP2018213227 A JP 2018213227A JP 2018213227 A JP2018213227 A JP 2018213227A JP 2020080064 A JP2020080064 A JP 2020080064A
Authority
JP
Japan
Prior art keywords
image
projection
index
control apparatus
projection control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018213227A
Other languages
English (en)
Inventor
賢太 刀川
Kenta Tachikawa
賢太 刀川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018213227A priority Critical patent/JP2020080064A/ja
Publication of JP2020080064A publication Critical patent/JP2020080064A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】高画質に投影領域を撮像することができない場合にも、投影領域の調整後における投影画像の画質を示す画像を生成する。【解決手段】入力画像を幾何変形処理した画像に基づいて画像を投影する投影装置を制御する投影制御装置は、前記投影装置の前記幾何変形処理に用いる変形量を取得する取得手段と、前記変形量を用いて前記幾何変形処理が施された画像に基づいて、投影面における画像である投影画像の画質を示す指標画像を生成する生成手段と、を備えることを特徴とする。【選択図】図４

Description

本発明は、投影制御装置、投影装置、投影装置の制御方法、プログラム、記憶媒体に関する。
プロジェクタ（投影装置）には、プロジェクタとスクリーンの相対角に起因する台形歪みを画像処理により幾何学的に補正（幾何変形処理）するキーストーン補正機能を備えたものがある。また、プロジェクタには、プロジェクタの本体位置や角度を変えずに投影領域をシフトすることができるレンズシフト機能や、プロジェクタの投影領域の大きさを調整することができるレンズズーム機能を備えたものがある。
このような、キーストーン補正機能やレンズシフト機能、レンズズーム機能を用いる場合、プロジェクタの本体設置の状態によって投影画像の空間周波数特性（コントラスト感度特性）が変化することが分かっている。ここで、空間周波数特性とは、空間周波数ごとに、入力画像の持つコントラストをどの程度忠実に再現できるかを示すものであり、画質を評価するための指標として用いられる。
空間周波数特性を活用する技術の一例として特許文献１では、プロジェクタは、調整用パターンを投影し、それを撮像した画像を解析することによって投影画像の空間周波数特性に応じた合焦の評価値を決定する。そして、プロジェクタは、評価値を棒グラフにして表示することが開示されている。特許文献１によれば、容易に精度よくプロジェクタの焦合状態をユーザが把握することができる。
特開２０１５−７３３３３号公報
しかし、特許文献１における技術を適用して、キーストーン補正機能やレンズシフト機能、レンズズーム機能を用いた投影領域の調整後における投影画像の画質をユーザに示す場合には、投影領域を撮像した高解像度な画像を解析する必要がある。そのため、従来は、ユーザに示すために、投影領域の調整後における投影画像の画質を示す画像を生成する場合には、高画質に投影領域を撮像する必要があった。
そこで、本発明は、上記課題に鑑み、高画質に投影領域を撮像することができない場合にも、投影領域の調整後における投影画像の画質を示す画像を生成することを目的とする。
本発明の第１の態様は、
入力画像を幾何変形処理した画像に基づいて画像を投影する投影装置を制御する投影制御装置であって、
前記投影装置の前記幾何変形処理に用いる変形量を取得する取得手段と、
前記変形量を用いて前記幾何変形処理が施された画像に基づいて、投影面における画像である投影画像の画質を示す指標画像を生成する生成手段と、
を備える、
ことを特徴とする投影制御装置である。
本発明の第２の態様は、
入力画像を幾何変形処理した画像に基づいて画像を投影する投影装置の制御方法であって、
前記投影装置の前記幾何変形処理に用いる変形量を取得する取得工程と、
前記変形量を用いて前記幾何変形処理が施された画像に基づいて、投影面における画像である投影画像の画質を示す指標画像を生成する生成工程と、
を有する、
ことを特徴とする投影装置の制御方法である。
本発明によれば、高画質に投影領域を撮像することができない場合にも、投影領域の調整後における投影画像の画質を示す画像を生成することができる。
実施形態１に係る投影システムの外観図 実施形態１に係るプロジェクタおよびＰＣの構成図 実施形態１に係るキーストーン補正を説明する図 実施形態１に係る設置アシスト処理のフローチャート 実施形態１に係る評価用画像生成部の処理を説明する図 実施形態１に係るパターンを説明する図 実施形態１に係る空間周波数特性曲線を示す図 実施形態１に係る指標画像を示す図 実施形態１に係る指標画像の投影例 変形例３に係る指標画像を示す図 変形例３に係る指標画像の生成方法を説明する図 実施形態２に係る投影システムの外観図 実施形態２に係る設置アシスト処理のフローチャート 実施形態２に係る指標画像の投影例 実施形態３に係る投影システムの外観図 実施形態３に係る設置アシスト処理のフローチャート 実施形態３に係る指標画像の投影例
以下、図面を参照して本発明の例示的な実施形態を詳細に説明する。なお、本発明は説明する実施形態に限定されない。また、実施形態で説明される構成要素の全てが本発明に必須とは限らない。
＜実施形態１＞
実施形態１に係る投影システムは、幾何学補正（幾何変形処理）時のキーストーン補正量（変形量）に基づいて、当該幾何学補正後における投影面での画像（投影画像）の画質を評価する。そして、投影システムは、当該画質を示す画像を生成して、スクリーンなどに投影する。これにより、投影領域を高画質に撮像することができない場合にも、投影領域の調整後における投影画像の画質を示す画像を生成することができる。また、当該評価をユーザは容易に把握することができるため、ユーザは容易にプロジェクタの投影位置の修正を行うことができる。
［投影システムの構成］
以下では、本実施形態に係る投影システム１０について、図１を用いて説明する。図１
は、実施形態１に係る投影システム１０を示す外観図である。投影システム１０は、プロジェクタ１００、ＰＣ２００、カメラ３００を有する。ここで、ＰＣ２００とプロジェクタ１００とは相互に通信可能であり、ＰＣ２００とカメラ３００とは相互に通信可能である。なお、本実施形態では、ＴＣＰ／ＩＰを通信プロトコルとして用いるローカルエリアネットワーク（ＬＡＮ）によって各機器間の通信が行われる。
また、投影システム１０は、プロジェクタ１００を用いることで、スクリーン４００上に画像を投影することができる。なお、画像が投影される対象は、スクリーン４００に限らず、任意の壁やバルーンなど任意の投影対象物であってよい。
プロジェクタ１００は、本実施形態では、ＷＵＸＧＡ（Ｗｉｄｅ−Ｕｌｔｒａ Ｅｘｔｅｎｄｅｄ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ；１９２０×１２００ピクセル）の解像度を有する投影装置である。なお、プロジェクタ１００の解像度は、ＷＵＸＧＡに限らず、任意のものでよい。プロジェクタ１００は、ＰＣ２００から受信したコマンドに応じた動作を行い、動作の結果をＰＣ２００に送信する。
ＰＣ２００は、投影制御装置、および画像処理装置として動作する。ＰＣ２００は、予め定められたコマンドをプロジェクタ１００およびカメラ３００に送信することにより、プロジェクタ１００およびカメラ３００の動作を制御することができる。なお、ＰＣ２００として、スマートフォンやタブレットなど、その他の情報処理装置を用いてもよい。また、プロジェクタ１００の内部にＰＣ２００が備えられていてもよい。
カメラ３００は、例えば、デジタルカメラ、ウェブカメラ、ネットワークカメラなどの撮像装置である。ここで、カメラ３００は、プロジェクタ１００の投影領域全体を撮像範囲として含むように設置され、撮像範囲が変わらないように固定されている。例えば、カメラ３００は、ＰＣ２００からの要求に応じて撮影を行い、得られた画像信号をＰＣ２００に送信することができる。なお、カメラ３００は、ＰＣ２００やプロジェクタ１００に内蔵されていてもよい。
［プロジェクタ１００およびＰＣ２００の構成］
図２は、投影システム１０が有するプロジェクタ１００およびＰＣ２００の構成図である。以下では、図２を用いて、プロジェクタ１００およびＰＣ２００の各機能部について説明する。
（プロジェクタ１００の構成）
プロジェクタ１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、投影部１０４、投影制御部１０５、ＶＲＡＭ１０６、操作部１０７、ネットワークＩＦ１０８、画像処理部１０９、画像入力部１１０を有する。これらの各機能部は、内部バス１１１によって互いに通信ができるように接続されている。
ＣＰＵ１０１は、プログラマブルプロセッサの一例であり、例えばＲＯＭ１０３に記憶されているプログラムをＲＡＭ１０２に読み込んで実行することにより、プロジェクタ１００の各機能部を制御する。
ＲＡＭ１０２は、ＣＰＵ１０１がプログラムを実行する際のワークメモリとして用いられる。ＲＡＭ１０２には、プログラムやプログラムの実行に用いる変数などが記憶される。なお、ＲＡＭ１０２は、例えばデータバッファとなでの他の用途に用いられてもよい。
ＲＯＭ１０３は、ＣＰＵ１０１が実行するプログラム、メニュー画面などの表示に用いるためのＧＵＩデータなど各種の設定値などが記憶される。ＲＯＭ１０３は、データの読
み取りが可能であるだけでなく、データの書き換えも可能であってもよい。
投影部１０４は、光源、投影光学系などを有し、投影制御部１０５から供給される入力画像に基づいて光学像をスクリーン４００（投影面）に投影する。本実施形態では、投影部１０４は、液晶パネルを光学変調素子として用いて、光源からの光の反射率もしくは透過率を入力画像に従って制御する。これにより、投影部１０４は、入力画像に基づく光学像を生成して、投影光学系によってスクリーン４００に投影画像（投影領域）として投影する。
投影制御部１０５は、画像処理部１０９から供給される入力画像を投影部１０４に供給する。
ＶＲＡＭ１０６は、ＰＣ２００やメディアプレーヤーなどの外部から受信した入力画像を格納するビデオメモリである。
操作部１０７は、キーボタン、スイッチ、タッチパネルなどの入力デバイスを有し、ユーザからプロジェクタ１００への指示を受け付ける。また、ＣＰＵ１０１は、操作部１０７への操作を監視しており、操作部１０７への操作を検出すると、検出した操作に応じた処理を実行する。なお、プロジェクタ１００とリモートコントローラとが接続されている場合、操作部１０７は、リモートコントローラから受信した操作信号をＣＰＵ１０１に通知する。
ネットワークＩＦ１０８は、プロジェクタ１００を通信ネットワークに接続するインタフェースであり、サポートする通信ネットワークの規格に準拠した構成を有する。本実施形態において、プロジェクタ１００は、ネットワークＩＦ１０８を通じて、ＰＣ２００と共通のローカルネットワークに接続される。従って、プロジェクタ１００とＰＣ２００との通信は、ネットワークＩＦ１０８を介して実行される。
画像処理部１０９は、ＶＲＡＭ１０６に格納された入力画像に対して様々な画像処理を必要に応じて適用し、投影制御部１０５に供給する。なお、画像処理部１０９は、例えば画像処理用のマイクロプロセッサであってよい。あるいは、画像処理部１０９に相当する動作を、ＣＰＵ１０１がＲＯＭ１０３に記憶されたプログラムを実行することによって実現してもよい。
また、画像処理部１０９は、フレーム間引き処理、フレーム補間処理、解像度変換処理、メニュー画面などのＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）を重複させる処理、キーストーン補正処理、エッジブレンディング処理などが実行可能である。しかし、これらに限定されず、画像処理部１０９は、他の画像処理が実行可能であってもよい。
画像入力部１１０は、ＰＣ２００などの外部装置が出力する画像信号（映像信号）を直接または間接的に受信するインタフェースであり、サポートする画像信号に応じた構成を有する。画像入力部１１０は、例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標；Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子の１つ以上を含む。画像入力部１１０は、受信した画像信号を入力画像として、ＶＲＡＭ１０６に格納する。ここで、画像入力部１１０は、デジタル画像信号を受信した場合には、変換などを行わずにＶＲＡＭ１０６に格納してアナログ画像信号を受信した場合には、デジタル画像信号に変換してＶＲＡＭ１０６に格納する。
（ＰＣ２００の構成）
次に、図２を用いて、ＰＣ２００の構成について説明する。ＰＣ２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、操作部２０４、表示部２０５、ネットワークＩＦ２０６、画像出力部２０７、通信部２０８を有する。また、ＰＣ２００は、変形量取得部２０９、指示部２１３、生成部２２０を有する。生成部２２０は、評価用画像生成部２１０、指標決定部２１１、指標画像生成部２１２を有する。なお、これらの各機能部は内部バス２１４によって通信可能に接続されている。また、ＰＣ２００は、外部ディスプレイが接続可能な汎用コンピュータであってよいため、汎用コンピュータに準じた構成でよい。また、上述のように、プロジェクタ１００の内部にＰＣ２００が備えられていてもよい。
ＣＰＵ２０１は、プログラマブルプロセッサの一例であり、例えばＲＯＭ２０３に記憶されているプログラム（ＯＳやアプリケーションプログラム）をＲＡＭ２０２に読み込んで実行することにより、ＰＣ２００の各機能部を制御する。
ＲＡＭ２０２は、ＣＰＵ２０１がプログラムを実行する際のワークメモリとして用いられる。ＲＡＭ２０２には、プログラムやプログラムの実行に用いる変数などが記憶される。また、ＲＡＭ２０２は、例えば、データバッファなどの他の用途に用いられてもよい。
ＲＯＭ２０３には、ＣＰＵ２０１が実行するプログラム、メニュー画面などの表示に用いるためのＧＵＩデータ、各種の設定値などが記憶される。ＲＯＭ２０３は、書き換え可能であってよい。なお、ＰＣ２００は、ＲＯＭ２０３よりも大容量のＨＤＤやＳＳＤなどの記憶装置を有してもよく、この場合ＯＳやアプリケーションプログラムといった容量の大きいプログラムは記憶装置に記憶してもよい。
操作部２０４は、キーボード、マウスなどのポインティングデバイス、タッチパネル、スイッチなどの入力デバイスを有し、ＰＣ２００への指示をユーザから受け付ける。ここで、キーボードは、ソフトウェアキーボードであってもよい。ＣＰＵ２０１は、操作部２０４への操作を監視しており、操作部２０４へのユーザ操作を検出すると、検出した操作に応じた処理を実行する。
表示部２０５は、例えば、液晶パネルや有機ＥＬパネルである。表示部２０５は、ＯＳやアプリケーションプログラムに応じて、ＣＰＵ２０１から提供される画像を画面に表示する。なお、表示部２０５は、ＰＣ２００の内部に存在している必要はなく、外部装置であってもよい。また、表示部２０５は、タッチパネルなどを有するタッチディスプレイであってもよい。
ネットワークＩＦ２０６は、ＰＣ２００を通信ネットワークに接続するインタフェースであり、サポートする通信ネットワークの規格に準拠した構成を有する。本実施形態では、ＰＣ２００は、ネットワークＩＦ２０６を通じてプロジェクタ１００と、共通のローカルネットワークにおいて接続される。従って、ＰＣ２００とプロジェクタ１００との通信は、ネットワークＩＦ２０６を介して実行される。
画像出力部２０７は、プロジェクタ１００などの外部装置に画像信号を送信するインタフェースであり、サポートする画像信号に応じた構成を有する。画像出力部２０７は例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子の１つ以上を含む。
なお、本実施形態では、画像出力部２０７は、プロジェクタ１００の投影領域の調整を有する投影制御アプリケーションプログラムのＵＩ画面を表示部２０５に表示させる。しかし、これに限らず、画像出力部２０７は、接続された外部機器にＵＩ画面を表示させてもよい。
通信部２０８は、外部機器と通信を行うための通信インタフェースであり、代表的にはＵＳＢインタフェースであるが、ＲＳ−２３２Ｃなど他の規格に準じた構成を有してもよい。本実施形態では、カメラ３００が通信部２０８に接続され、通信部２０８は、カメラ３００が撮像した画像信号（撮影画像）を受信する。このとき、カメラ３００とＰＣ２００との通信方法に特に制限はなく、両者がサポートしている任意の規格に準拠した通信が行われればよい。
変形量取得部２０９は、プロジェクタ１００にユーザから入力される、もしくは入力されたキーストーン補正量（以後、変形量と呼ぶ）を、ネットワークＩＦ２０６を介して取得する。ここで、「変形量がユーザから入力される」とは、例えば、プロジェクタ１００の操作部１０７を介して、ユーザが手動で投影画像に対するキーストーン補正を行うことによって入力されることを示す。
生成部２２０は、変形量に基づいてパターン画像などをキーストーン補正（幾何変形処理）した画像に基づいて、当該キーストーン補正によって変化する投影画像の画質を示す指標画像（提示画像）を生成する。また、生成部２２０は、評価用画像生成部２１０、指標決定部２１１、指標画像生成部２１２によって構成される。
評価用画像生成部２１０は、キーストーン補正後の投影画像の画質（見え方）を決定するため、形状を変化させるキーストーン補正を矩形のパターン画像などの画像に施す。その後、評価用画像生成部２１０は、当該画像に対して、形状などを変化させずに画素数を増やす処理である単純拡大をした後に、画像の形状が矩形に戻るように再度キーストーン補正を施すことによって評価用画像を生成する。この単純拡大をする処理は、注目する周波数帯域における空間周波数特性に対して単純拡大後のキーストーン補正が与える影響を抑えるために行われる。なお、評価用画像生成部２１０が用いる画像は、矩形のパターン画像に限らず、どのような形状であってもよい。また、本実施形態では、空間周波数特性は、０〜１．０の範囲により示され、値が大きいほど対応する領域の画質の評価が高い。
指標決定部２１１は、評価用画像生成部２１０が生成した評価用画像から空間周波数特性曲線を決定する。そして、指標決定部２１１は、プロジェクタ１００が投影できる限界解像度における空間周波数特性の数値を画質指標として決定して、キーストーン補正後の投影画像の当該画質指標の分布を決定する。なお、空間周波数特性曲線および画質指標については、後述にて詳細に説明する。
指標画像生成部２１２は、指標決定部２１１で生成された画質指標の分布を基に、ユーザのプロジェクタ設置をアシストするための、投影画像の画質を示すような指標画像（提示画像）を生成する。なお、指標画像については、後述にて詳細に説明する。
指示部２１３は、指標画像生成部２１２が生成した指標画像と同じものを、プロジェクタ１００に生成させるためのコマンドを生成して出力する。なお、指示部２１３は、指標画像を生成させるためのコマンドではなく、指標画像自体をプロジェクタ１００に出力してもよい。
［キーストーン補正について］
次に、プロジェクタ１００の画像処理部１０９が行うキーストーン補正について図３を用いて説明する。画像処理部１０９は、画像入力部１１０がＶＲＡＭ１０６に格納した入力画像に対して、キーストーン補正を行う。
ここで、キーストーン補正とは、投影領域に対する法線方向と投影方向（投影光学系の
光軸方向）とのずれに応じて、投影画像に生じる台形歪みを相殺するように入力画像を幾何学的変換（変形）させる補正（幾何変形処理）である。これによれば、プロジェクタ１００とスクリーン４００との位置関係に依存せずに、入力画像と同じ形状に投影画像をすることができる。なお、幾何学的変換は、プロジェクタ１００の液晶パネル座標上での射影変換によって実現できるため、キーストーン補正は、幾何補正の補正量である射影変換のパラメータの決定によって実現できるといえる。従って、例えば、ＣＰＵ１０１は、入力画像を変形する際における入力画像の各頂点の移動量と移動方向に基づいて射影変換のパラメータを決定し、画像処理部１０９に与えることによってキーストーン補正が実現できる。
また、例えば、図３が示すような、入力画像１５０の任意の画素Ｐの座標を（ｘｓ，ｙｓ）とすると、射影変換による変形後の入力画像（変形画像１５１）の画素Ｐの座標（ｘｄ，ｙｄ）は、以下の式１で示すことができる。
Figure 2020080064
ここで、Ｎは３×３行列で、入力画像１５０から変形画像１５１への射影変換行列である。この行列Ｎは、一般的に、入力画像１５０の４隅頂点の座標（４つの頂点の座標）と変形画像１５１の４隅頂点の座標を用いて連立方程式を解くことで求められる。また、座標（ｘｓｏ，ｙｓｏ）は、図３に実線で示す入力画像１５０の左上の頂点の座標であり、座標（ｘｄｏ，ｙｄｏ）は、図３に一点鎖線で示す変形画像１５１において、入力画像１５０の左上の頂点の座標（ｘｓｏ，ｙｓｏ）に対応する頂点の座標である。
また、行列Ｎの逆行列Ｎ−１を用いると、式１は、下記の式２に変形できる。つまり、入力画像１５０の画素Ｐの座標（ｘｓ，ｙｓ）は、逆行列Ｎ−１と座標（ｘｄ，ｙｄ）、座標（ｘｄｏ，ｙｄｏ）、座標（ｘｓｏ，ｙｓｏ）から決定することができる。そのため、ＣＰＵ１０１は、変形パラメータとして、逆行列Ｎ−１と座標（ｘｓｏ，ｙｓｏ）、座標（ｘｄｏ，ｙｄｏ）を画像処理部１０９に与える。画像処理部１０９は、式２に従って、変形画像の画素Ｐの座標（ｘｄ，ｙｄ）に対応する入力画像１５０の画素Ｐの座標（ｘｓ，ｙｓ）を決定する。
Figure 2020080064
ここで、式２によって得られるｘｓ，ｙｓの値がいずれも整数であれば、画像処理部１０９は、入力画像１５０の画素Ｐの画素値を、変形画像１５１の画素Ｐの画素値とすることができる。一方、式２によって得られるｘｓ，ｙｓの値のいずれかが整数でない場合、画像処理部１０９は、変形画像１５１の画素Ｐの画素値に相当する画素値を、画素Ｐの複数の周辺画素の値を用いた補間演算により求めることができる。補間演算は、例えばバイリニア、バイキュービックなど、公知の補間演算のいずれかを用いて行うことができる。また、式２によって得られる座標（ｘｓ，ｙｓ）が、入力画像１５０の外部領域の座標の場合、上述に関わらず、画像処理部１０９は、変形画像１５１の座標（ｘｄ，ｙｄ）における画素Ｐの画素値を黒（０）またはユーザが設定した背景色とする。このようにして、画像処理部１０９は、キーストーン補正後の入力画像の全座標についての画素値を求め、変形画像を生成することができる。
なお、ここでは、ＣＰＵ１０１が画像処理部１０９に、行列Ｎとその逆行列Ｎ−１の両方を供給するが、いずれか一方の行列だけをＣＰＵ１０１が供給し、画像処理部１０９が他方の行列を算出してもよい。
なお、変形画像の頂点の座標は、例えば、ユーザからの入力により取得することができる。この際、ユーザ入力を支援するため、ＣＰＵ２０１は、投影制御アプリケーションプログラムを用いて、プロジェクタ１００にテストパターンを投影させるようにしてもよい。
［設置アシスト処理について］
次に、キーストーン補正後の投影画像の画質を示す指標画像を投影することによって、プロジェクタ１００の本体設置をアシストする処理（以降、設置アシスト処理と呼ぶ）のフローについて、図４を用いて詳細に説明する。具体的には、設置アシスト処理とは、Ｓ５０２〜Ｓ５０８の処理に相当し、取得した変形量に基づいて、キーストーン補正後の投影画像の画質を示す指標画像を生成して、プロジェクタ１００に投影させる処理である。なお、このフローの処理は、ＣＰＵ２０１が、ＰＣ２００の各機能部を制御することによって実行する。
Ｓ５００では、変形量取得部２０９は、ネットワークＩＦ２０６を介して、プロジェクタ１００に対してユーザから入力される変形量を取得する。そして、変形量取得部２０９は、プロジェクタ１００に入力される変形量を、生成部２２０（評価用画像生成部２１０）に出力する。
なお、変形量取得部２０９は、カメラ３００が検出（撮影）したスクリーン４００および投影画像の画像（撮影画像）を解析することによって、変形量を取得してもよい。具体的には、変形量取得部２０９は、当該解析により、スクリーン４００の４隅頂点の座標値と変形前の投影画像の４隅頂点の座標値を取得することによって、スクリーン４００に投影画像をあわせるための変形量を取得してもよい。また、変形量取得部２０９は、撮影画像における投影画像の変形後の４隅頂点の座標値をユーザに指定（入力）させることによって、当該指定された情報と変形前の投影画像とから変形量を取得してもよい。従って、本実施形態では、投影画像の変形前後の４隅頂点の座標値が取得できればよいため、高画質な撮影画像は不要である。
また、カメラ３００を用いて変形量の取得する例の説明を行ったが、他の例も適用可能である。例えば、プロジェクタ１００内にジャイロセンサーを設け、プロジェクタ１００の設置の傾きから変形量が取得されてもよいし、スクリーン４００に設けた光検知センサを用いて変形量が取得されてもよい。
Ｓ５０１では、設置アシスト処理を実行するか否かが判定されている。Ｓ５０１では、生成部２２０は、プロジェクタ１００に入力される変形量の変化を検出したときに、設置アシスト処理を実行する。つまり、Ｓ５０１では、生成部２２０は、指標画像を生成するか否かを判定しているともいえる。設置アシスト処理が実行されると、処理工程はＳ５０２に遷移して、それ以外の場合には、処理工程はＳ５００に遷移する。これにより、ＰＣ２００は、プロジェクタ１００の設置、調整の最中にも、指標画像を更新することができる。なお、設置アシスト処理の実行条件は、プロジェクタ１００のレンズシフト量やレンズズーム量に変化があった場合としてもよく、ユーザのボタン押下による更新指示でもよい。また、生成部２２０は、所定の期間経過するごとに、設置アシスト処理を実行してもよい。
以下のＳ５０２〜Ｓ５０４の処理は、プロジェクタ１００に入力された入力画像がキーストーン補正を施された結果、投影画像において、どのように見えるかを模擬した評価用画像を生成する処理である。以下では、図５（Ａ）が示すような画質指標決定のための矩形のパターン画像６００ａを用いて、評価用画像生成部２１０が評価用画像を生成する。なお、パターン画像６００ａは、予めＲＯＭ２０３に記憶されている。
ここで、パターン画像６００ａは、空間周波数特性を決定するための斜めエッジのパターン６０１ａを複数有する（敷き詰めた）構成をとる。このように、斜めエッジのパターン６０１ａを採用することで、国際標準化されている斜めエッジ法のＭＴＦ算出（ＩＳＯ１２２３３：Ｓｌａｎｔｅｄ−Ｅｄｇｅ法）によって、より細かい空間分解能で、後述する空間周波数特性曲線を決定することができる。
図６（Ａ）は、１ブロック（１つ）の斜めエッジのパターン６０１ａを示す模式図である。本実施形態では、斜めエッジのパターン６０１ａの１ブロックの解像度を縦６０ｐｉｘｅｌ、横９２ｐｉｘｅｌの解像度として、縦横共に２０ブロックずつ、合計４００ブロックで構成されるパターン画像６００ａを用いる。なお、図６（Ａ）では、縦方向に急峻なエッジのパターンを示しているが、エッジの角度についての限定はなく、また、ストライプやチェッカー（チェック）のようなパターンであってもよい。また、斜めエッジのパターン６０１ａの１ブロックの解像度やパターン画像６００ａを構成する斜めエッジのパターン６０１ａの個数に限定はない。
Ｓ５０２では、評価用画像生成部２１０は、変形量に基づいて、パターン画像６００ａに対してキーストーン補正を行うことにより、図５（Ｂ）が示すような、パターン画像６００ａが変形された台形状の領域６０２ｂを含むパターン画像６００ｂを生成する。図５（Ｂ）において、パターン画像６００ｂにおける領域６０２ｂ以外の領域は、パターン画像６００ａから生成された領域ではないため、領域６０２ｂをパターン画像と呼んでもよい。
Ｓ５０３では、評価用画像生成部２１０は、キーストーン補正を施したパターン画像６００ｂを４倍に単純拡大することで、図５（Ｃ）が示すパターン画像６００ｃを生成する。ここで、「４倍に単純拡大する」とは、パターン画像６００ｂの解像度を４倍にすることを示し、より詳細には、パターン画像６００ｂを構成する画素の数を、縦方向に４倍にし、横方向に４倍にすることを示している。この単純拡大の処理は、Ｓ５０４における再変形の処理が、空間周波数特性に与える影響を抑えるために行われている。本実施形態では、Ｓ５０４において行われるキーストーン補正が、パターン画像６００ｃの空間周波数特性に与える影響を十分に抑えることができるように、パターン画像６００ｂを４倍に単純拡大している。この拡大倍率の数値は、４倍以上の数値が好ましいが、４倍以外の他の数値であってもよい。ただし、この拡大倍率は、折り返し雑音の影響を低減するために少なくとも２倍以上である必要がある。
Ｓ５０４では、評価用画像生成部２１０は、パターン画像６００ｃの有効画素領域６０２ｃの４つの頂点をパターン画像６００ａの４つの頂点の位置に戻すために、キーストーン補正処理をパターン画像６００ｃに施す。ここで、図５（Ｃ）においては、有効画素領域６０２ｃは、破線によって囲われている領域であり、パターン画像６００ａの領域および領域６０２ｂに一対一対応している領域である。つまり、Ｓ５０４では、変形されたパターン画像６００ｃにおける有効画素領域６０２ｃを、Ｓ５０２におけるキーストーン補正処理が施される前の形状（矩形）に変形する処理が行われる。これにより、評価用画像生成部２１０は、図５（Ｄ）に示すような、スクリーン４００に投影される際における画像の見えを模擬する評価用画像であるパターン画像６００ｄを生成する。なお、評価用画像生成部２１０は、生成したパターン画像６００ｄを指標決定部２１１に出力する。
なお、Ｓ５０２〜Ｓ５０４の処理による空間周波数特性の低下が少ない場合の斜めエッジのパターン６０１ｄの例を図６（Ｂ）に示し、空間周波数特性が大きく低下する場合の斜めエッジのパターン６０１ｄの例を図６（Ｃ）に示している。ここで、パターン６０１ｄは、パターン画像６００が有する１ブロックのパターンである。空間周波数特性の低下が少ない場合には、パターン６０１ｄにおける斜めエッジの境界が明確であり、空間周波数特性の低下が大きい場合には、パターン６０１ｄにおける斜めエッジの境界が不明確である（ぼけている）。
Ｓ５０５では、指標決定部２１１が、空間周波数特性曲線Ｍｉｊを決定する。図７は、Ｓ５０５において決定される空間周波数特性曲線Ｍｉｊのグラフを示している。ここで、パターン画像６００ｄにおいて、左からｉ番目、上からｊ番目に位置する斜めエッジのパターン６０１ｄ（以降、パターン６０１ｄｉｊと呼ぶ）がある領域の空間周波数特性曲線をＭｉｊとする。なお、空間周波数特性曲線とは、空間周波数に対して、入力画像の持つコントラストをどの程度忠実に再現できるかを空間周波数特性として示したものである。つまり、空間周波数特性曲線Ｍｉｊのグラフの縦軸の値が大きいほど、キーストーン補正による画質の劣化が少ないことを示している。
また、空間周波数特性曲線Ｍｉｊを決定するために、指標決定部２１１は、パターン画像６００ｄのパターン６０１ｄｉｊのエッジを横切る方向の複数のエッジ広がり関数（ＥＳＦ）を加算平均することで一つのＥＳＦを得る。指標決定部２１１は、この加重平均したＥＳＦを微分し、フーリエ変換を施すことにより空間周波数特性曲線Ｍｉｊを決定する。図７が示す空間周波数特性曲線Ｍｉｊ＿Ｈｉｇｈは、図６（Ｂ）に示すような空間周波数特性の低下が少ない斜めエッジのパターン６０１ｄから得られた空間周波数特性を例示した曲線である。一方、図７が示す空間周波数特性曲線Ｍｉｊ＿Ｌｏｗは、図６（Ｃ）に示すような空間周波数特性の低下が大きい斜めエッジのパターン６０１ｄから得られた空間周波数特性を例示した曲線である。
Ｓ５０６では、指標決定部２１１は、空間周波数特性曲線Ｍｉｊから所定の周波数に対応する空間周波数特性を画質指標として取得することによって、パターン画像６００ｄの領域全体における画質指標の分布を取得する。ここで、所定の周波数は、２ｄｏｔ／ｃｙｃｌｅとする。また、この周波数２ｄｏｔ／ｃｙｃｌｅは、データ上で表現可能な空間周波数の最大値（最高値）であり、かつ、プロジェクタ１００により投影することができる限界解像度である。本実施形態では、指標決定部２１１は、パターン６０１ｄｉｊがある領域の画質指標を、周波数が２ｄｏｔ／ｃｙｃｌｅである場合での空間周波数特性であるＭｉｊ＿２ｄｏｔ／ｃｙｃｌｅに決定する。例えば、図７が示す空間周波数特性Ｍｉｊ＿ｈｉｇｈ＿２ｄｏｔ／ｃｙｃｌｅは、空間周波数特性曲線Ｍｉｊ＿Ｈｉｇｈにおける周波数が２ｄｏｔ／ｃｙｃｌｅである場合での空間周波数特性である。指標決定部２１１は、このような処理をパターン６０１ｄごとに行うことによって、キーストーン補正処理後の投影画像における画質指標の二次元分布（画質）を取得（生成）する。なお、本実施形態において、空間周波数特性は、入力画像の持つコントラストをどの程度忠実に再現できるかを示したものであるため、画質指標は、キーストーン補正による投影画像の画質の低下度合い（変化）を示しているともいえる。
なお、本実施形態においては、１つのパターン画像６００ｄを用いているが、その数に限定はなく、また、２つ以上のパターン画像６００ｄを基に各パターン６０１ｄのある領域ごとの画質指標を決定し、二乗平均平方根によって１つの値にしてもよい。また、画質指標を定義する空間周波数は２ｄｏｔ／ｃｙｃｌｅとは異なる値を用いてもよいし、一定の周波数帯域における空間周波数特性の平均値を画質指標にしてもよい。
Ｓ５０７では、指標画像生成部２１２は、Ｓ５０６において指標決定部２１１が決定した画質指標の二次元分布に基づき、指標画像７００を生成する。具体的には、指標画像生成部２１２は、図８（Ａ）が示すような、投影画像の画質指標の二次元分布を視覚的に示す指標画像７００を生成する。本実施形態では、指標画像７００はグレースケールにより示されており、白色のブロックは空間周波数特性（画質指標）の高い領域（投影領域）を示し、黒色のブロックは空間周波数特性の低い領域（投影領域）を示す。なお、図８（Ａ）が示す指標画像７００の各ブロックは、パターン画像６００ｄの各パターン６０１ｄに対応している。
このとき、例えば、投影画像の左半分の画質指標の平均値に対して、右半分の平均値が所定の値Ｔｈ１以上に低いような偏りがある場合を想定する。このような場合には、指標画像生成部２１２は、プロジェクタ１００の光軸を水平右方向にあおらせる（移動させる）ように促すメッセージ７０１を、図８（Ｂ）のように指標画像７００に含めるとよい。つまり、指標画像生成部２１２は、プロジェクタ１００の位置調整を促す表示であるメッセージ７０１を指標画像７００に含めるとよい。なお、メッセージ７０１ではなく、例えば、プロジェクタ１００の光軸を移動すべき方向を示す矢印などの画像が指標画像７００に含まれていてもよい。なお、指標画像７００は、メッセージ７０１のみにより構成されていてもよい。
なお、図８（Ａ）が示すように、指標画像７００は、画質指標（空間周波数特性）と４つの色の対応を示すグレーバー７０２（カラーバー）を有していてもよく、画質指標の分布は、グレーバー７０２に応じた色によって表示されていてもよい。なお、グレーバー７０２の色の数は４つの色に限らず、他の数でもよい。また、指標画像７００において、グレーバー７０２が表示されずに、各ブロックに対応する画質指標の数値と同じ階調値の色により画質指標の分布が表示されてもよい。なお、本実施形態では、画質指標の分布は、グレースケールによって示されているが、これに限らず、カラースケールによって示されていてもよい。
また、投影画像全体における画質指標が所定の閾値Ｔｈ２を下回る場合には、指標画像生成部２１２は、変形量を少なくできるようにプロジェクタ１００の設置や調整の再実行を促すメッセージを含む指標画像７００を生成してもよい。なお、所定の値Ｔｈ１や所定の閾値Ｔｈ２は、実験的に決定されてもよく、また、入力画像などの空間周波数特性を基に決定されてもよい。入力画像の空間周波数特性を基に決定する場合、入力画像の空間周波数特性が高い領域においては所定の閾値Ｔｈ２や所定の値Ｔｈ１が高く設定され、空間周波数特性の低い領域においては所定の閾値Ｔｈ２や所定の値Ｔｈ１が低く設定されるとよい。これにより、入力画像における細い線が並ぶような繊細な描写を繊細に投影（再現）できるように、メッセージ７０１を基にプロジェクタ１００を位置調整することがユーザは可能である。
また、指標画像７００では、ブロックごとに対応する画質指標を数字で表示されていてもよい。また、指標画像生成部２１２は、図８（Ｃ）に示すように指標画像７００におけるブロック７１０の数を少なくして、各ブロック７１０に対応する画質指標の分布を示す指標画像７００を生成してもよい。つまり、指標画像生成部２１２は、画質指標の分布の粒度を粗くして指標画像７００を生成してもよい。画質指標の分布を粗くすることにより、ユーザは、投影画像全体の空間周波数特性を大まかに捉えることができる。なお、各ブロック７１０に対応する画質指標は、投影画像における各ブロック７１０に対応する領域の画質指標の平均値から決定されてもよいし、実験的に決定される比率に基づいて加重平均により決定されてもよい。
Ｓ５０８では、指示部２１３は、コマンドによって、Ｓ５０７において生成された指標
画像７００と同じ画像を、プロジェクタ１００に生成させる。そして、指示部２１３は、投影させるためのコマンドを生成し、プロジェクタ１００に出力する。これにより、指示部２１３は、プロジェクタ１００に指標画像７００を投影させる。従って、既に指標画像７００をプロジェクタ１００が投影している場合には、指示部２１３によって投影している指標画像７００が更新されることになる。
Ｓ５０９では、指示部２１３は、指標画像７００の投影の終了条件が満たされているか否かを判定しており、本実施形態では、指標画像７００の投影終了のユーザ指示があるか否かを終了条件としている。終了条件が満たされていない場合には、処理工程はＳ５００に遷移して、再度変形量が取得されて、再度設置アシスト処理を実行するか否かが判定される。終了条件が満たされている場合には、Ｓ５１０において指示部２１３は、指標画像７００の投影を終了するコマンドをプロジェクタ１００に出力し、指標画像７００の投影を終了する。
図９（Ａ）は、プロジェクタ１００が指標画像７００を投影する例を示している。図９（Ｂ）は、図９（Ａ）が示す指標画像７００中のメッセージ７０１に従い、プロジェクタ１００の設置をユーザが改善した場合に生成される指標画像７００を、プロジェクタ１００が投影する例を示している。図９（Ａ）が示すように、キーストーン補正後の投影画像の空間周波数特性の分布を指標画像７００としてプロジェクタ１００が投影することにより、ユーザは、指標画像７００を確認しながらプロジェクタ１００の設置や調整を行うことができる。また、ユーザは、プロジェクタ１００の再調整後の結果も図９（Ｂ）に示す指標画像７００によって同様に確認することができるため、投影画像のキーストーン補正による空間周波数特性の変化を抑えられていることの確認を容易に行うことができる。
本実施形態によれば、プロジェクタと撮像装置それぞれの解像度によらず、また、撮像装置がなくとも、プロジェクタのキーストーン補正後の投影画像の空間周波数特性の分布（画質）を示す画像を生成して、ユーザに提示することができる。そのため、高解像度な撮像装置（撮影画像）の用意が必要なく、投影画像を分割して撮像したデータを合成する処理などを行う必要がない。また、ユーザは、投影画像の空間周波数特性を容易に確認することができ、プロジェクタの本体設置や調整の時間短縮ができる。
［変形例１］
実施形態１において、評価用画像生成部２１０を備えるＰＣ２００について説明をしたが、評価用画像生成部２１０の代わりに画質指標の参照テーブル（画質指標参照テーブル）を備える構成であってもよい。ここで、参照テーブルは、投影画像の画質指標（画質指標分布）と変形量とが対応付けられている。本変形例では、Ｓ５０６において、指標決定部２１１は、参照テーブルを用いることによって、変形量に基づいて画質指標分布を取得することができるため、実施形態１と同様の効果を得ることができる。このとき、参照テーブルは、予めＳ５０２〜Ｓ５０６に相当する処理を、変形量ごとに網羅的に計算しておくことで生成することが可能である。なお、例えば、網羅的に計算されずに、変形量と画質指標との所定の数以上の対応が予め計算されて参照テーブルに記憶されていてもよい。この場合には、計算が行われていない対応については、計算済の対応から補間することによって決定することができる。また、この構成をとる場合には、Ｓ５０３〜Ｓ５０５の処理は不要である。なお、予めＳ５０２〜Ｓ５０６に相当する処理を変形量ごとに計算しておくことにより、参照テーブルではなく、空間周波数特性曲線が用意されていてもよい。また、参照テーブルは、予めＳ５０２〜Ｓ５０７に相当する処理を変形量ごとに計算しておくことにより、指標画像７００と変形量とが対応付けられていてもよい。
［変形例２］
実施形態１において、ＰＣ２００は、変形量に基づいて空間周波数特性曲線を生成して
いたが、変形例２においては、さらにレンズシフト量またはレンズズーム量を考慮して補正した空間周波数曲線を生成する。このように、プロジェクタ１００に設定されたレンズシフト量またはレンズズーム量を基に空間周波数特性曲線を補正することによれば、プロジェクタ１００の投射光学系が投影画像に与える影響を考慮した空間周波数特性曲線を決定することができる。
ここで、プロジェクタ１００の投射レンズの中心からスクリーン４００における投影画像中の特定の領域までの距離をｒとする。このとき、レンズシフト機能により、投影画像を水平右方向にシフトさせたとき、例えば、投影画像の右上角の領域と投射レンズの中心との距離ｒは増加する。また、レンズズーム機能により、投影画像を拡大したとき、同様に投影画像の右上角の領域と投射レンズの中心との距離ｒは増加する。そして、一般的には、空間周波数特性はレンズ中心からの距離ｒが大きいほど低下する。
そこで、本変形例では、指標決定部２１１が、プロジェクタ１００に設定されているレンズシフト量、またはレンズズーム量と投射レンズの光学特性を基に、空間周波数特性曲線を補正する。実施形態１と変形例２では、Ｓ５０５における処理のみが異なるため、以下では、Ｓ５０５の処理について説明する。また、以下では、パターン画像６００ｄの斜めエッジのパターン６０１ｄｉｊに対応する領域の空間周波数特性曲線Ｍｉｊを補正する方法を説明する。
指標決定部２１１は、プロジェクタ１００に設定されているレンズシフト量またはレンズズーム量に基づいて、斜めエッジのパターン６０１ｄｉｊの中心とレンズ中心との距離ｒを決定する。なお、この距離ｒの決定には、投影画像を撮像した撮像画像やセンサなども用いるとよい。指標決定部２１１は、決定した距離ｒに基づいて、距離ｒに対応する空間周波数特性曲線である補正曲線Ｍ＿ｒを取得する。なお、指標決定部２１１は、補正曲線Ｍ＿ｒ（空間周波数特性曲線Ｍ＿ｒ）を、予めＲＡＭ２０２に格納された補正曲線テーブルを参照することにより取得できる。この補正曲線テーブルは、ＲＯＭ２０３に格納されていてもよく、プロジェクタ１００内のＲＡＭ１０２、もしくはＲＯＭ１０３に格納されていてもよい。なお、ＣＰＵ２０１が、所定の計算式に基づいて距離ｒから補正曲線Ｍ＿ｒを計算してもよい。
指標決定部２１１は、実施形態１と同様の方法により斜めエッジのパターン６０１ｄｉｊから求めた空間周波数特性曲線Ｍｉｊに対して、補正曲線Ｍ＿ｒを空間周波数ごとに乗算する。その結果、レンズシフト量またはレンズズーム量から決まる投射レンズの光学特性を基に、斜めエッジのパターン６０１ｄｉｊに対応する領域の空間周波数特性曲線Ｍｉｊの補正をすることができる。
［変形例３］
変形例３では、ＰＣ２００は、図１０（Ａ）が示すような、漢字で示された文字の“黒”を示すドット文字８０１ａが敷き詰められたパターン画像８００ａに対してＳ５０２〜Ｓ５０４と同様の処理を施す。そして、ＰＣ２００は、図１０（Ｃ）が示すように、当該処理が施されたドット文字８０１ｃが指標画像８００ｃに含まれるようにしてプロジェクタ１００に投影させる。これにより、キーストーン補正後の投影画像でのドット文字の見え方をユーザに提示することができる。ここで、ドット文字とは、白の画素と黒の画素とによって、文字を構成している画像を示す。なお、パターン画像８００ａは、パターン画像６００ａと解像度が同じである。
指標画像８００ｃの生成の具体的な流れとしては、評価用画像生成部２１０が、パターン画像８００ａに対して、Ｓ５０２〜Ｓ５０４の処理をすることで、キーストーン補正後の投影画像でのドット文字の見え方を模擬するパターン画像８００ｂを生成する。ここで
、図１０（Ｂ）は、パターン画像８００ｂを示している。また、パターン画像８００ｂは、Ｓ５０２〜Ｓ５０４の処理がされているドット文字８０１ｂを敷き詰めることにより構成されている。本変形例では、ドット文字８０１ａは任意の解像度でよく、Ｓ５０３において単純拡大の処理が施されるため、ドット文字８０１ｂの解像度はドット文字８０１ａの解像度の４倍である。
次に、指標画像生成部２１２は、図１０（Ｃ）が示すように、所定の領域ごとに枠８０２ｃを生成して、枠８０２ｃの内部に、ドット文字８０１ｂを拡大したドット文字８０１ｃを生成することにより指標画像８００ｃを生成する。なお、枠８０２ｃの色は、指標決定部２１１が決定した画質指標に基づくカラースケール（グレースケール）によって示される。
より詳細には、図１１（Ａ）が示すような、ドット文字８０１ｂが敷き詰められたパターン画像８００ｂがある。ここで、図１１（Ａ）のＰ００やＰ１０は、ドット文字８０１ｂの１つ１つを示している。これに対して、指標画像生成部２１２は、例えば、図１１（Ａ）において破線によって囲われている各領域からそれぞれ１つのドット文字８０１ｂを抽出する。ここで、破線によって囲われている領域と枠８０２ｃが囲う領域とは、投影画像における同一の領域と対応している。そして、指標画像生成部２１２は、図１１（Ｂ）が示すように、枠８０２ｃに大きさをあわせるように、抽出したドット文字８０１ｂを大きくしてドット文字８０１ｃを生成することによって指標画像８００ｃを生成する。
以上により、指標画像生成部２１２は、指標画像８００ｃを生成することができる。その結果、ユーザは、表示される指標画像８００ｃによって、キーストーン補正後の投影画像における空間周波数特性の分布（画質）とドット文字の見えの変化を同時に確認することができる。ここで、ドット文字は拡大されて表示がされるため、ユーザは、プロジェクタ１００の投影画像から離れた位置からもドット文字の見えを確認することができる。
なお、本変形例では、漢字で示された文字の“黒”を敷き詰めたパターン画像８００ａを例に説明を行ったが、他の文字を採用してもよく、また、ストライプやチェッカーのようなパターンを採用してもよい。また、必ずしも指標画像に文字やテストパターンを含める必要はなく、領域ごとの枠８０２ｃのみを含むような指標画像が生成されてもよい。
＜実施形態２＞
実施形態１では、１台のプロジェクタに対する設置アシスト処理について説明したが、実施形態２では、スタック投影を行う際のプロジェクタの設置アシスト処理について説明する。スタック投影とは、大画面投影時の高輝度化のために、複数のプロジェクタが投影画像の全域を重ね合わせるマルチプロジェクションの一形態である。
図１２は、本実施形態に係る投影システム２０を示す外観図である。投影システム２０は、プロジェクタ１００ａ、プロジェクタ１００ｂ、ＰＣ２００、カメラ３００を有する。投影システム２０は、光学像の解像度の向上や輝度を維持した大画面表示などのために、複数のプロジェクタの投影面上での投影画像を重畳させるスタック投影を行う。本実施形態においては、プロジェクタ１００ａの投影画像を基準として、プロジェクタ１００ｂの投影画像をキーストーン補正により合わせることによってスタック投影を実現する場合について説明する。従って、本実施形態では、プロジェクタ１００ａが投影する領域とプロジェクタ１００ｂが投影する領域とが重畳することによって構成される投影画像の画質を示す指標画像が生成される。なお、プロジェクタの台数および配置、基準とする投影画像などはこれに限らない。なお、投影システム２０を構成するプロジェクタ１００と、ＰＣ２００の内部構成や通信手段については実施形態１の投影システム１０と同様であるため、説明は省略する。
（設置アシスト処理について）
以下では、本実施形態に係る設置アシスト処理について図１３が示すフローを用いて説明する。なお、このフローの処理は、ＣＰＵ２０１が、ＰＣ２００の各機能部を制御することによって実行する。
Ｓ９００では、変形量取得部２０９は、プロジェクタ１００ａとプロジェクタ１００ｂとのそれぞれから、変形量を取得する。また、変形量取得部２０９は、取得した２つの変形量を生成部２２０に出力する。
Ｓ９０１では、生成部２２０は、設置アシスト処理の実行をするか否かを判定している。本実施形態においては、プロジェクタ１００ｂの変形量に変化があることを実行条件としている。つまり、本実施形態では、プロジェクタ１００ａの投影画像に対してプロジェクタ１００ｂの投影画像を重畳させるための、プロジェクタ１００ｂの変形量が変化したか否かが判定されている。なお、この実行条件は、プロジェクタ１００ａとプロジェクタ１００ｂのいずれかの変形量に変化があることを実行条件としてもよい。
Ｓ９０２〜Ｓ９０４では、プロジェクタ１００ａとプロジェクタ１００ｂのそれぞれについて、Ｓ５０２〜Ｓ５０４と同様の処理を行うことにより、それぞれに対応するパターン画像６００ｄを生成する。このため、Ｓ９０２〜Ｓ９０４の詳細な処理の説明は省略する。
Ｓ９０５では、評価用画像生成部２１０は、プロジェクタ１００ａに対応するパターン画像６００ｄとプロジェクタ１００ｂに対応するパターン画像６００ｄとを加算平均（合成）することにより、スタック投影時のパターン画像６００ｄを生成する。なお、評価用画像生成部２１０は、画像を重畳させる際に生じる輝度差を調整して、滑らかな投影を実現するために光量に傾斜をつけるブレンド処理を行っている場合には、ブレンドの比率を考慮した加重平均（合成）により当該生成をしてもよい。なお、当該生成には、加重平均に限らず、相乗平均や調和平均を用いてもよい。なお、このとき、評価用画像生成部２１０は、Ｓ９０２〜Ｓ９０５までの処理をドット文字が敷き詰められた画像に施すことにより、スタック投影時のドット文字の見えを模擬した画像を生成することもできる。
Ｓ９０６〜Ｓ９０８では、実施形態１のＳ５０５〜Ｓ５０７のそれぞれと同様の処理を、Ｓ９０５において生成されたスタック投影時のパターン画像６００ｄに対して行う処理が行われる。このため、Ｓ９０６〜Ｓ９０８の詳細な処理の説明は省略する。
Ｓ９０９では、指示部２１３は、Ｓ９０８において生成された指標画像７００を、プロジェクタ１００ａに生成させるコマンドを出力する。また、指示部２１３は、指標画像７００を投影させるコマンドをプロジェクタ１００ａに出力する。なお、本実施形態では、指示部２１３は、プロジェクタ１００ａに対して、これらのコマンドを出力しているが、他に接続されたプロジェクタにコマンドを出力してもよく、また、ＰＣ２００の表示部２０５に出力してもよい。
Ｓ９１０では、指示部２１３は、指標画像７００の投影の終了条件が満たされているか否かを判定しており、本実施形態では指標画像７００の投影終了のユーザ指示があるか否かを終了条件としている。終了条件が満たされていない場合には、処理工程はＳ９００に遷移する。終了条件が満たされている場合には、処理工程はＳ９１１に遷移する。
Ｓ９１１では、指示部２１３は、指標画像７００の投影を終了するコマンドをプロジェクタ１００ａに出力し、設置アシスト処理を終了する。
図１４は、プロジェクタ１００ａに対して指標画像７００を生成させるコマンドおよび投影させるコマンドを指示部２１３が出力したときに、スクリーン４００に表示される指標画像７００を示している。プロジェクタ１００ａは、スタック投影時のキーストーン補正後の投影画像の空間周波数特性の分布を、指標画像７００として投影している。このため、ユーザは、投影画像の空間周波数特性の分布（画質）を指標画像７００により確認しながら、プロジェクタ１００ａおよびプロジェクタ１００ｂの設置や調整を行うことができる。
本実施形態によれば、プロジェクタと撮像装置それぞれの解像度によらず、また、高画質な撮影画像がなくとも、スタック投影時の幾何学補正後の投影画像の空間周波数特性の分布（画質）を示す画像を生成して、ユーザに提示することができる。つまり、スタック投影時においても、実施形態１と同様の効果を得ることができる。
＜実施形態３＞
本実施形態では、ブレンド投影を行う際のプロジェクタの設置アシスト処理について説明する。ブレンド投影とは、光学像の解像度の向上や輝度を維持した大画面化などのために、複数のプロジェクタの投影面上での投影画像を並べてシームレスにつなぎ合わせるマルチプロジェクションの一形態である。
図１５（Ａ）は、本実施形態に係る投影システム３０を示す外観図である。投影システム３０は、３つのプロジェクタ１００ａおよびプロジェクタ１００ｂ、プロジェクタ１００ｃと、ＰＣ２００、カメラ３００を有している。投影システム３０は、複数のプロジェクタの投影画像をシームレスにつなぎ合わせるブレンド投影を行う。また、図１５（Ｂ）は、正面からスクリーン４００を見たときのプロジェクタ１００ａ〜プロジェクタ１００ｃのそれぞれの投影画像を示す。
ここで、本実施形態では、プロジェクタ１００ａおよびプロジェクタ１００ｂの２台が、スクリーン４００上でそれぞれの投影画像１０００ａと投影画像１０００ｂとを一部重ね合わせる形態とするが、プロジェクタ１００の台数および形態はこれに限らない。また、投影システム３０は、プロジェクタ１００ｃに投影画像１０００ｃを投影させ、プロジェクタ１００ａ，１００ｂの投影画像１０００ａ，１０００ｂをキーストーン補正により投影画像１０００ｃの範囲に応じて調整する。これにより、ブレンド投影を実現する。なお、本実施形態では、投影画像１０００ａと投影画像１０００ｂとは、隣接領域において水平方向に１０％の重畳領域を有するように調整されており、視認性を向上させるために光量に傾斜をつける処理が行われている。このため、投影画像１０００ｃは、この重畳領域を考慮したアスペクト比で投影される。つまり、本実施形態でも実施形態２と同様に、プロジェクタ１００ａが投影する領域とプロジェクタ１００ｂが投影する領域とが重畳することによって構成される投影画像の画質を示す指標画像が生成される。なお、重畳領域の位置や重畳領域の割合、光源のブレンド処理の有無はこれに限らず、任意のものでよい。
なお、投影システム３０を構成する各プロジェクタ１００と、ＰＣ２００の内部構成については実施形態１と同様であるため、各構成の詳細な説明は省略する。
（設置アシスト処理について）
以下にて、本実施形態における設置アシスト処理を、図１６のフローを用いて説明する。なお、このフローの処理は、ＣＰＵ２０１が、ＰＣ２００の各機能部を制御することによって実行する。
Ｓ１０００では、変形量取得部２０９は、プロジェクタ１００ａとプロジェクタ１００ｂとのそれぞれから、変形量を取得する。また、変形量取得部２０９は、生成部２２０に取得した２つの変形量を出力する。
Ｓ１００１では、生成部２２０は、設置アシスト処理の実行条件の判定を行う。ここで、本実施形態では、プロジェクタ１００ａ、１００ｂのいずれかの変形量に変化があることを実行条件としている。実行条件を満たす場合には、処理工程はＳ１００２に遷移して、実行条件を満たさない場合には、処理工程はＳ１０００に遷移する。
Ｓ１００２〜Ｓ１００６では、プロジェクタ１００ａおよびプロジェクタ１００ｂそれぞれについて、実施形態１のＳ５０２〜Ｓ５０６と同様に、パターン画像６００ｄの生成および画質指標分布の決定が行われるため、説明は省略する。
Ｓ１００７では、指標画像生成部２１２は、ブレンド投影の重畳領域について、Ｓ１００６において決定されたプロジェクタ１００ａ，１００ｂそれぞれの投影画像の画質指標分布を加算平均することで、ブレンド投影時の画質指標分布を決定する。つまり、指標画像生成部２１２は、重畳領域について、プロジェクタ１００ａおよび１００ｂのそれぞれの投影画像の画質を加重平均することによって、ブレンド投影時の当該重畳領域の画質を決定している。なお、画像を重畳させる際に生じる輝度差を調整し、滑らかな投影を実現するために光量に傾斜をつけるブレンド処理を行っている場合、ブレンドの比率を考慮して加重平均により決定してもよい。なお、ブレンド投影時の当該重畳領域の画質の決定には、加重平均に限らず、相乗平均や調和平均等の一般化平均を用いてもよい。
Ｓ１００８では、実施形態１のＳ５０７と同様の処理が行われて、指標画像生成部２１２は、ブレンド投影時の画質指標分布から指標画像７００の生成を行うため、詳細な説明は省略する。
Ｓ１００９では、指示部２１３は、Ｓ１００８で生成した指標画像７００を、プロジェクタ１００ｃに生成させるコマンドを生成して、プロジェクタ１００ｃに対して出力する。また、指示部２１３は、指標画像７００を投影させるコマンドを、プロジェクタ１００ｃに対して出力する。
Ｓ１０１０では、指示部２１３は、指標画像７００の投影の終了のユーザ指示があるか否かを終了条件として判定している。終了条件が満たされていない場合には、処理工程は、Ｓ１０００に遷移する。終了条件が満たされている場合には、処理工程はＳ１０１１に遷移する。
Ｓ１０１１では、指示部２１３は、指標画像７００の投影を終了するコマンドをプロジェクタ１００ｃに出力し、設置アシスト処理を終了する。
図１７（Ａ）は、プロジェクタ１００ｃが指標画像７００を投影している様子を示した図である。ここで、プロジェクタ１００ｃは、ブレンド投影時におけるキーストーン補正後の投影画像の空間周波数特性の分布を指標画像７００として投影している。このため、ブレンド投影時における投影画像の空間周波数特性を確認しながら、ユーザはプロジェクタ１００ａ、１００ｂの設置や調整を行うことができる。
図１７（Ｂ）は、図１７（Ａ）が示す投影の様子をスクリーン４００の正面から見た図である。本実施形態では、投影画像１０００ａ，１０００ｂのそれぞれの隣接領域において１０％の重畳領域を設けている。具体的には、投影画像１０００ａ，１０００ｂは水平方向２ブロックが重畳領域である。そのため、Ｓ１００７において決定される画質指標分
布は、垂直方向に２０ブロック、水平方向に３８ブロックの大きさであり、指標画像７００のブロック数と同様に構成される。
本実施形態によれば、プロジェクタと撮像装置それぞれの解像度によらず、また、高画質な撮影画像がなくとも、ブレンド投影時の幾何学補正後の投影画像の空間周波数特性の分布（画質）を示す画像を生成して、ユーザに提示することができる。つまり、ブレンド投影時においても、実施形態１と同様の効果を得ることができる。
なお、上記の各実施形態や各変形例の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００：プロジェクタ、２００：ＰＣ、２０９：変形量取得部、
２１２：指標画像生成部、２２０：生成部

Claims (20)

  1. 入力画像を幾何変形処理した画像に基づいて画像を投影する投影装置を制御する投影制御装置であって、
    前記投影装置の前記幾何変形処理に用いる変形量を取得する取得手段と、
    前記変形量を用いて前記幾何変形処理が施された画像に基づいて、投影面における画像である投影画像の画質を示す指標画像を生成する生成手段と、
    を備える、
    ことを特徴とする投影制御装置。
  2. 前記生成手段は、
    前記投影画像の周波数特性の分布を示す前記指標画像を生成する、
    ことを特徴とする請求項１に記載の投影制御装置。
  3. 前記周波数特性は、表現可能な空間周波数の最大値における周波数特性である、
    ことを特徴とする請求項２に記載の投影制御装置。
  4. 前記投影装置に前記指標画像を投影させる指示手段をさらに備える、
    ことを特徴とする請求項１から３のいずれか１項に記載の投影制御装置。
  5. 前記生成手段は、パターン画像に対して前記変形量を用いた前記幾何変形処理を施した評価用画像に基づいて、前記指標画像を生成する
    ことを特徴とする請求項１から４のいずれか１項に記載の投影制御装置。
  6. 前記生成手段は、
    パターン画像に対して、前記変形量を用いた前記幾何変形処理を施した後に、解像度を高くする処理を施し、さらに、前記幾何変形処理を施す前の形状に変形する処理を施すことによって評価用画像を生成し、
    前記評価用画像に基づいて、前記指標画像を生成する、
    ことを特徴とする請求項１から５のいずれか１項に記載の投影制御装置。
  7. 前記パターン画像は、斜めエッジを示すパターンを複数有する画像である、
    ことを特徴とする請求項５または請求項６に記載の投影制御装置。
  8. 前記生成手段は、
    複数の前記パターンそれぞれに対して周波数特性を決定し、
    前記複数のパターンに対応する領域ごとの当該周波数特性を示す前記指標画像を生成する、
    ことを特徴とする請求項７に記載の投影制御装置。
  9. 前記変形量と前記投影画像の画質とが対応付けられているテーブルをさらに有し、
    前記テーブルは、前記変形量を用いて前記幾何変形処理が施された画像に基づいて生成されたものであり、
    前記生成手段は、前記テーブルから前記変形量に応じて取得した画質に基づいて、前記指標画像を生成する、
    ことを特徴とする請求項１から５のいずれか１項に記載の投影制御装置。
  10. 前記生成手段は、さらに、前記投影装置のレンズシフト量またはレンズズーム量に基づいて、前記指標画像を生成する、
    ことを特徴とする請求項１から９のいずれか１項に記載の投影制御装置。
  11. 前記投影画像は、前記投影装置の第１投影画像と、前記投影装置とは異なる第２投影装置の第２投影画像とが重畳したものであり、
    前記取得手段は、さらに、前記第２投影装置の前記幾何変形処理に用いる第２変形量を取得し、
    前記生成手段は、前記変形量および前記第２変形量に基づいて前記指標画像を生成する、
    ことを特徴とする請求項１から１０のいずれか１項に記載の投影制御装置。
  12. 前記生成手段は、
    前記変形量を用いて前記幾何変形処理が施された画像と前記第２変形量を用いて前記幾何変形処理が施された画像とが合成された画像に基づいて、前記指標画像を生成する、
    ことを特徴とする請求項１１に記載の投影制御装置。
  13. 前記生成手段は、
    前記変形量に基づいて前記第１投影画像の画質を決定して、
    前記第２変形量に基づいて前記第２投影画像の画質を決定して、
    前記第１投影画像と前記第２投影画像との重畳領域における前記画質を、前記第１投影画像の画質と前記第２投影画像の画質とを加算平均することにより決定して、前記指標画像を生成する、
    ことを特徴とする請求項１１に記載の投影制御装置。
  14. 前記生成手段は、前記投影画像の画質に応じて、前記投影装置の位置調整を促す表示を含む前記指標画像を生成する、
    ことを特徴とする請求項１から１３のいずれか１項に記載の投影制御装置。
  15. 前記生成手段は、所定の画像に対して前記変形量を用いて前記幾何変形処理を施した画像を含む前記指標画像を生成する、
    ことを特徴とする請求項１から１４のいずれか１項に記載の投影制御装置。
  16. 前記生成手段は、前記変形量の変化を検出した場合、または、ユーザからの指示がある場合、または、所定の期間ごとに、前記指標画像を生成する、
    ことを特徴とする請求項１から１５のいずれか１項に記載の投影制御装置。
  17. 請求項１から１６のいずれか１項に記載の投影制御装置と、
    画像を投影する投影手段と、
    を備えることを特徴とする投影装置。
  18. 入力画像を幾何変形処理した画像に基づいて画像を投影する投影装置の制御方法であって、
    前記投影装置の前記幾何変形処理に用いる変形量を取得する取得工程と、
    前記変形量を用いて前記幾何変形処理が施された画像に基づいて、投影面における画像である投影画像の画質を示す指標画像を生成する生成工程と、
    を有する、
    ことを特徴とする投影装置の制御方法。
  19. 請求項１８に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
  20. 請求項１９に記載のプログラムを記憶するコンピュータが読み取り可能な記憶媒体。
JP2018213227A 2018-11-13 2018-11-13 投影制御装置、投影装置、投影装置の制御方法、プログラム、記憶媒体 Pending JP2020080064A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018213227A JP2020080064A (ja) 2018-11-13 2018-11-13 投影制御装置、投影装置、投影装置の制御方法、プログラム、記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018213227A JP2020080064A (ja) 2018-11-13 2018-11-13 投影制御装置、投影装置、投影装置の制御方法、プログラム、記憶媒体

Publications (1)

Publication Number Publication Date
JP2020080064A true JP2020080064A (ja) 2020-05-28

Family

ID=70801795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018213227A Pending JP2020080064A (ja) 2018-11-13 2018-11-13 投影制御装置、投影装置、投影装置の制御方法、プログラム、記憶媒体

Country Status (1)

Country Link
JP (1) JP2020080064A (ja)

Similar Documents

Publication Publication Date Title
US9818377B2 (en) Projection system, image processing apparatus, and correction method
US10663844B2 (en) Projection control apparatus and control method thereof, and projection system
US9661257B2 (en) Projection system, image processing device, and projection method
JP5560771B2 (ja) 画像補正装置、画像表示システム、画像補正方法
JP3925521B2 (ja) スクリーンの一部の辺を用いたキーストーン補正
JP3908255B2 (ja) 画像投影システム
JP2006121240A (ja) 画像投射方法、プロジェクタ、及びコンピュータプログラム
KR20080094102A (ko) 화상 투영 방법 및 프로젝터
JP2019134312A (ja) 投写システム、投写システムの制御方法、プロジェクター
JP2020088691A (ja) 投写制御装置およびその制御方法、ならびに投写システム
JP6794983B2 (ja) 情報処理装置、情報処理方法、プログラム、及び画像表示装置
JP2012142669A (ja) 投写制御装置、投写システム、テストチャート、投写領域判定方法
JP2019207392A (ja) 制御装置、制御方法、投影システム、プログラム、記憶媒体
JP4578341B2 (ja) 画像投射方法、プロジェクタ、及びコンピュータプログラム
JP2020178221A (ja) 投影制御装置、投影制御方法およびプログラム
JP7096664B2 (ja) 投写制御装置およびその制御方法、ならびに投写システム
JP2020194998A (ja) 制御装置、投影システム、制御方法、プログラムおよび記憶媒体
JP6752052B2 (ja) 映像処理装置および映像処理方法、プログラム
JP2019204034A (ja) 投影制御装置、その制御方法、投影システム、プログラムおよび記憶媒体
JP7116543B2 (ja) 投写制御装置およびその制御方法、ならびに投写システム
JP2020080064A (ja) 投影制御装置、投影装置、投影装置の制御方法、プログラム、記憶媒体
JP5160547B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置
JP2020191586A (ja) 投影装置
JP6795998B2 (ja) Ｍｔｆ測定装置およびそのプログラム
JP6967382B2 (ja) Ｍｔｆ測定装置およびそのプログラム