JP2022138883A - 画像生成方法、制御方法、および情報処理装置 - Google Patents

Abstract

【課題】プロジェクターが投射画像を投射する投射面における補正を反映した投射状態を予め確認しながら補正をする。【解決手段】第１画像をプロジェクター１０に出力することと、前記第１画像に基づく投射画像が前記プロジェクターによって投射される投射面を撮像した撮像画像を取得することと、前記撮像画像から、前記投射画像が投射される前記投射面の第１投射領域を検出することと、前記第１投射領域の輪郭線上における複数の補正対象点のうち一の補正対象点に対応して設けられ、前記一の補正対象点の補正方向を示す一又は複数のアイコンを前記撮像画像に重畳した第１の調整用画像を生成することと、前記第１の調整用画像を、表示装置に表示させることと、前記一又は複数のアイコンに対して前記一の補正対象点を移動させる指示を受け付けた場合に、移動後の前記一の補正対象点の位置に基づいて、第２画像を生成することと、を含む、画像生成方法。【選択図】図２

Description

本発明は、画像生成方法、制御方法、および情報処理装置に関する。

プロジェクターからスクリーンに画像を投射する場合、投射光の光軸とスクリーンとのなす角度に応じてスクリーンに投射される画像が歪む。典型的には、スクリーンに投射される画像の外枠の形状は、台形となる。スクリーンに投射される画像の形状を補正する方法として、キーストーン補正が知られている。キーストーン補正とは、投射される画像の歪みを、投射前の時点で電子的にキャンセルする補正方法のことである。

特許文献１には、情報端末上で画面を確認しながらキーストーン補正をして、補正指示をプロジェクターに送信する方法が開示されている。

特開２０１９－１２５９５５号公報

しかし、特許文献１に係る技術において、情報端末上に表示される画面は、プロジェクターが静止画や動画等の画像を投射する投射面上での、投射領域の外形調整結果として目標とする外形を、予め表示するものに過ぎない。すなわち、補正が反映された後の投射領域の外形を予め確認しながら補正をすることができないという課題がある。

本発明の一態様に係る画像生成方法は、第１画像をプロジェクターに出力することと、前記第１画像に基づく投射画像が前記プロジェクターによって投射される投射面を撮像した撮像画像を取得することと、前記撮像画像から、前記投射画像が投射される前記投射面の第１投射領域を検出することと、前記第１投射領域の輪郭線上における複数の補正対象点のうち一の補正対象点に対応して設けられ、前記一の補正対象点の補正方向を示す一又は複数のアイコンを前記撮像画像に重畳した第１の調整用画像を生成することと、前記第１の調整用画像を、表示装置に表示させることと、前記一又は複数のアイコンに対して前記一の補正対象点を移動させる指示を受け付けた場合に、移動後の前記一の補正対象点の位置に基づいて、第２画像を生成することと、を含む画像生成方法である。

また、本発明の一態様に係る制御方法は、上記の画像生成方法によって生成された前記第２画像を、前記表示装置に出力する制御方法である。

また、本発明の一態様に係る情報処理装置は、第１画像をプロジェクターに出力する第１画像出力部と、前記第１画像に基づく投射画像が前記プロジェクターによって投射される投射面を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像から、前記投射画像が投射される前記投射面の第１投射領域を検出する投射領域検出部と、前記第１投射領域の輪郭線上における複数の補正対象点のうち一の補正対象点に対応して設けられ、前記一の補正対象点の補正方向を示す一又は複数のアイコンを前記撮像画像に重畳した第１の調整用画像を生成する第１調整用画像生成部と、前記第１の調整用画像を、表示装置に表示させる表示制御部と、前記一又は複数のアイコンに対して前記一の補正対象点を移動させる指示を受け付けた場合に、移動後の前記一の補正対象点の位置に基づいて、第２画像を生成する第２画像生成部と、前記第２画像を前記プロジェクターに出力する第２画像出力部と、を備える情報処理装置である。

第１実施形態に係る情報処理システム１の構成を示すブロック図である。 第１実施形態に係る情報処理装置１０の構成を示すブロック図である。 カメラ画像及びパネル画像各々の特徴点の検出例を示す図である。 第１の調整用画像の例を示す図である。 第１の調整用画像の例を示す図である。 第２の調整用画像の例を示す図である。 第１の調整用画像の例を示す図である。 第２の調整用画像の例を示す図である。 第１の調整用画像の例を示す図である。 第２の調整用画像の例を示す図である。 第１の調整用画像の例を示す図である。 第１の調整用画像の例を示す図である。 第１の調整用画像の例を示す図である。 第２の調整用画像の例を示す図である。 第２の調整用画像の例を示す図である。 第２の調整用画像の例を示す図である。 第１実施形態に係るプロジェクター２０の構成を示すブロック図である。 第１実施形態に係る情報処理システム１の動作を示すフローチャートである。 第２実施形態に係る情報処理装置１０Ａの構成を示すブロック図である。 第２実施形態に係るプロジェクター２０Ａの構成を示すブロック図である。

以下、実施形態に係る画像生成方法、制御方法、及び情報処理装置について図面を参照して説明する。なお、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施形態は、好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本開示の範囲は、以下の説明において特に本開示を限定する旨の記載がない限り、これらの形態に限られるものではない。

１．第１実施形態
１－１：全体構成
図１は、第１実施形態に係る情報処理システム１の構成を示すブロック図である。情報処理システム１は、後述のプロジェクター２０による投射領域の外形の手動調整を、後述の情報処理装置１０での操作により、従来よりも効率的に行うシステムである。

情報処理システム１は、静止画や動画等の画像をスクリーンや壁等の平面に投射するプロジェクター２０を備える。なお、図１においては、情報処理システム１が備えるプロジェクターとして、１台のプロジェクター２０が図示されるが、本開示の実施形態はこれには限定されない。例えばマルチプロジェクションを実行するため、情報処理システム１は、複数台のプロジェクター２０を備えてもよい。

また、情報処理システム１は、情報処理装置１０を備える。情報処理装置１０は、プロジェクター２０によって投射される投射画像の基となる第１画像を、当該プロジェクター２０に出力する。スクリーンに画像を投射する場合、スクリーンの形状にとらわれず、投射領域の形状をユーザーの希望に応じて変更したいことがある。このような場合、情報処理装置１０は、投射領域の形状をユーザーの操作に応じて補正する。具体的には、情報処理装置１０は、投射領域の形状に関するユーザーの補正指示に基づいて、新たにプロジェクター２０に出力する第２画像を生成する。

１－２：情報処理装置の構成
図２は、情報処理装置１０の構成例を示すブロック図である。情報処理装置１０は、ＰＣを典型例とするが、これには限定されず、例えばタブレット端末やスマートフォンであってもよい。情報処理装置１０は、撮像装置１１０、処理装置１２０、記憶装置１３０、表示装置１４０、及び通信装置１５０を備える。情報処理装置１０の各要素は、情報を通信するための単体又は複数のバスで相互に接続される。

撮像装置１１０は、情報処理装置１０からプロジェクター２０に対して出力される第１画像に基づく投射画像が、プロジェクター２０によって投射される投射面を撮像する。撮像装置１１０は、処理装置１２０による制御のもとで、各種画像を撮像する。例えば、ＰＣ、タブレット端末、及びスマートフォンに備わるＷＥＢカメラが撮像装置１１０として好適に利用されるが、これには限定されず、外付けのカメラであってもよい。

処理装置１２０は、情報処理装置１０の全体を制御するプロセッサであり、例えば、単数又は複数のチップで構成される。処理装置１２０は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成される。なお、処理装置１２０の機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現してもよい。処理装置１２０は、各種の処理を並列的又は逐次的に実行する。

記憶装置１３０は、処理装置１２０が読取可能な記録媒体であり、処理装置１２０が実行する制御プログラムＰＲ１を含む複数のプログラム、情報処理装置１０がプロジェクター２０に対して出力する上述の第１画像、情報処理装置１０が後述の方法を用いることによって生成する上述の第２画像を記憶する。記憶装置１３０は、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）等の少なくとも１つによって構成されてもよい。記憶装置１３０は、レジスタ、キャッシュ、メインメモリ又は主記憶装置等と呼ばれてもよい。

表示装置１４０は、画像や文字情報を表示するデバイスである。表示装置１４０は、処理装置１２０による制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機ＥＬ（Electro Luminescence）表示パネル等の各種の表示パネルが表示装置１４０として好適に利用される。

通信装置１５０は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。とりわけ本実施形態において、通信装置１５０は、情報処理装置１０を、有線又は無線で、プロジェクター２０と接続するために用いる通信装置である。通信装置１５０は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。

処理装置１２０は、記憶装置１３０から制御プログラムＰＲ１を読み出して実行することによって、第１画像出力部１２１、撮像画像取得部１２２、投射領域検出部１２３、第１調整用画像生成部１２４、第２調整用画像生成部１２５、第２画像生成部１２６、第２画像出力部１２７、及び表示制御部１２８として機能する。なお、制御プログラムＰＲ１は、図示しない通信網を介して、情報処理装置１０を管理するサーバなどの他の装置から送信されてもよい。

第１画像出力部１２１は、記憶装置１３０に格納される第１画像を、プロジェクター２０に出力する。

撮像画像取得部１２２は、第１画像に基づく投射画像がプロジェクター２０によって投射される投射面を撮像した撮像画像を取得する。

投射領域検出部１２３は、撮像画像取得部１２２によって取得された撮像画像から、投射画像が投射される投射面の第１投射領域を検出する。

とりわけこの際、投射領域検出部１２３は、撮像画像取得部１２２によって撮像された撮像画像の特徴点と、プロジェクター２０に出力した第１画像の特徴点との対応を検出し、検出結果に基づいて、撮像画像の座標と、第１画像の座標との射影変換行列を算出する。なお、以下では撮像画像を「カメラ画像」、撮像画像の座標を「カメラ座標」、第１画像を「パネル画像」、第１画像の座標を「パネル座標」と呼称することがある。

図３は、カメラ画像及びパネル画像各々の特徴点の検出例を示す。図３に示す例において、投射領域検出部１２３は、カメラ画像から特徴点ｐ_１ ^ｃ、ｐ_２ ^ｃ、・・・ｐ_１３ ^ｃを検出し、パネル画像から特徴点ｐ_１ ^ｐ、ｐ_２ ^ｐ、・・・ｐ_１３ ^ｐを検出する。なお、特徴点の検出方法としては、例えば、ＦＡＳＴ特徴検出、Ｈａｒｒｉｓ、及びＳｔｅｐｈｅｎｓ、Ｐｌｅｓｓｅｙのコーナー検出アルゴリズム、ＯＲＢ、Ｓｈｉ＆Ｔｏｍａｓｉ法、ＳＵＲＦ、ＫＡＺＥ、及びＭＳＥＲ法のうち、１以上の方法を用いることが好適である。

次に、投射領域検出部１２３は、カメラ画像における特徴点と、パネル画像における特徴点との対応関係を取得する。図３に示す例においては、投射領域検出部１２３は、カメラ画像の特徴点ｐ_１ ^ｃとパネル画像の特徴点ｐ_１ ^ｐ、カメラ画像の特徴点ｐ_２ ^ｃとパネル画像の特徴点ｐ_２ ^ｐ、・・・カメラ画像の特徴点ｐ_１３ ^ｃとパネル画像の特徴点ｐ_１３ ^ｐとが対応することを示す情報を得る。

次に、投射領域検出部１２３は、互いに対応する全ての特徴点の座標から、以下の数式［１］を用いて、射影変換行列Ｈを求める。なお、図３に示す例においては、カメラ画像とパネル画像の特徴点の個数は各々１３個であるが、数式［１］ではこれを一般化してＮ個としている。また、カメラ画像の特徴点ｐ_ｎ ^ｃの座標を（ｘ_ｎ ^ｃ，ｙ_ｎ ^ｃ）、パネル画像の特徴点ｐ_ｎ ^ｐの座標を（ｘ_ｎ ^ｐ，ｙ_ｎ ^ｐ）とする。但し、ｎは、≦ｎ≦Ｎを充足する整数である。

投射領域検出部１２３は、パネル座標系におけるパネル画像の四隅の座標に対して、射影変換行列Ｈを乗じることにより、第１投射領域３０の四隅の座標を算出してもよい。より詳細には、投射領域検出部１２３は、投射画像が投射される、パネル画像の四隅の座標に対して、射影変換行列Ｈを乗じることにより、カメラ座標系における投射面での第１投射領域３０の四隅の座標を算出する。投射領域検出部１２３は、この算出結果を用いて、第１投射領域３０を検出してもよい。

この射影変換行列Ｈは、撮像されたカメラ画像とパネル画像上の全ての座標に対して有効であるため、この射影変換行列を用いることにより、カメラ座標上でユーザーが指定した点の座標が、パネル座標上のどこの座標なのかが求められる。より詳細には、カメラ座標上でユーザーが指定した点の座標に対し、上述の射影変換行列Ｈの逆行列Ｈ^－１を乗じるステップを含む方法により、パネル座標上のどこの座標なのかが求められる。同様に、カメラ画像上にて、後述のように、アイコン３１Ｈ～３４Ｈ、３１Ｖ～３４Ｖ、３５Ｈ、３６Ｖ、３７Ｈ、及び３８Ｖを用いて選択される補正対象点３１～３８の移動は、移動前の補正対象点３１～３８の座標と移動後の補正対象点３１～３８の座標のそれぞれに対して、射影変換行列Ｈの逆行列Ｈ^－１を乗じるステップを含む方法により、パネル座標上での移動として求められる。

なお、この射影変換行列Ｈ、あるいは射影変換行列Ｈの逆行列Ｈ^－１は、撮像装置１１０が固定されている場合には、撮像装置１１０が撮像を開始した時点での、静止画であるカメラ画像とパネル画像とに基づいて算出されればよい。一方で、撮像装置１１０が固定されていない場合には、撮像装置１１０で撮像されるフレーム毎に、射影変換行列Ｈあるいは射影変換行列Ｈの逆行列Ｈ^－１が算出されることが好適である。

なお、詳細については後述するが、この射影変換行列Ｈの逆行列Ｈ^－１全体を、本明細書において「パラメータ」と呼称することがある。

投射領域検出部１２３は、算出した射影変換行列Ｈを、後述の第１調整用画像生成部１２４、後述の第２調整用画像生成部１２５、及び後述の第２画像生成部１２６に出力する。

また、射影変換行列Ｈを算出するために、第１画像としてのパネル画像とは別個に、射影変換行列Ｈの算出に特化した画像を用いてもよい。より詳細には、第１画像をプロジェクター２０に出力する前段階で、投射領域検出部１２３は、射影変換行列Ｈの算出用に特化した画像を用いて、予め射影変換行列Ｈを算出すると好適である。

図３の例においては、カメラ画像及びパネル画像として風景写真が用いられているが、これには限定されない。例えば、射影変換行列Ｈを算出するにあたり、風景写真の代わりに、チェスボードの画像を使用してもよい。チェスボード画像を用いる場合には、パネルに投射するチェスボード画像を生成する際に、パネル座標上の格子座標は既知となり、撮像画像中のチェスボード画像から格子点を検出することで、カメラ座標上の格子座標を得ることができる。その後、双方の格子座標の対応関係から、射影変換行列Ｈを算出することが可能である。

さらに、投射領域検出部１２３は、検出又は算出した第１投射領域３０を、第１調整用画像生成部１２４、及び第２調整用画像生成部１２５に出力する。

第１調整用画像生成部１２４は、第１投射領域３０の輪郭線上における複数の補正対象点のうち一の補正対象点に対応して設けられ、一の補正対象点の補正方向を示す一又は複数のアイコンを、撮像装置１１０によって撮像される撮像画像に重畳した第１の調整用画像を生成する。

また、第２調整用画像生成部１２５は、第１の調整用画像において、一の補正対象点を移動させる指示を受け付けた場合に、当該指示に基づいて移動した後の補正対象点に基づいて、第１投射領域が補正された第２投射領域を含む第２の調整用画像を生成する。

図４Ａ～図４Ｇは、第１の調整用画像及び第２の調整用画像の例を示す。より詳細には、図４Ａ、図４Ｂ、図４Ｄ、図４Ｆは、第１の調整用画像の例を示し、図４Ｃ、図４Ｅ、図４Ｇは、第２の調整用画像の例を示す。図４Ａの黒枠は、第１投射領域３０の外縁を示す外枠である。外枠の４つの頂点が補正対象点３１～３４となる。外枠の４つの辺の中点が補正対象点３５～３８となる。なお、図４Ａにおいて、第１投射領域３０は長方形となっているが、その長軸と平行にＸ軸を、短軸と平行にＹ軸を規定する。その上で、補正対象点３２から補正対象点３３に向かう方向を＋Ｘ方向、補正対象点３３から補正対象点３２に向かう方向を－Ｘ方向とする。また、補正対象点３２から補正対象点３１に向かう方向を＋Ｙ方向、補正対象点３１から補正対象点３２に向かう方向を－Ｙ方向とする。なお、以下の記載では、＋Ｘ方向と－Ｘ方向とを総称して、「水平方向」と称する。また、＋Ｙ方向と－Ｙ方向とを総称して、「鉛直方向」と称する。第１投射領域３０の頂点である補正対象点３１には、当該補正対象点３１の補正方向を示すアイコンとして、補正方向が水平方向であることを示すアイコン３１Ｈと、補正方向が鉛直方向であることを示すアイコン３１Ｖが表示される。他の頂点である補正対象点３２～３４の各々についても同様に、補正方向が水平方向であることを示すアイコン３２Ｈ～３４Ｈと、補正方向が鉛直方向であることを示すアイコン３２Ｖ～３４Ｖが表示される。また、第１投射領域３０の鉛直方向の辺の中点である補正対象点３５には、当該補正対象点３５の補正方向を示すアイコンとして、補正方向が水平方向であることを示すアイコン３５Ｈが表示される。同様に、第１投射領域３０の鉛直方向の辺の中点である補正対象点３７には、当該補正対象点３７の補正方向を示すアイコンとして、補正方向が水平方向であることを示すアイコン３７Ｈが表示される。また、第１投射領域３０の水平方向の辺の中点である補正対象点３６には、当該補正対象点３６の補正方向を示すアイコンとして、補正方向が鉛直方向であることを示すアイコン３６Ｈが表示される。同様に、第１投射領域３０の水平方向の辺の中点である補正対象点３８には、当該補正対象点３８の補正方向を示すアイコンとして、補正方向が鉛直方向であることを示すアイコン３８Ｈが表示される。なお、図４Ａにおいて、第１投射領域３０に内接するように、プロジェクター２０によって、第１画像に基づく投射画像３９が投射されている。

情報処理システム１のユーザーは、これらのアイコンのうち１のアイコンを選択することで、いずれかの補正対象点の補正方向を指定する。その後、当該ユーザーは、当該補正対象点の補正量を指定する。

図４Ｂに示されるように、ユーザーが、アイコン３７Ｈを、例えばマウスをクリックすることにより選択すると、アイコン３７Ｈは、例えば白抜きのアイコンとなり強調表示される。アイコン３７Ｈは、第１投射領域３０の鉛直方向の辺の中点である補正対象点３７に表示される。

これにより、図４Ｃに示されるように、補正対象点３７は、点線で示す軸上のみを移動可能となる。その後、ユーザーが、例えばマウスをクリックさせた状態のままドラッグさせることにより、補正対象点３７が設定された鉛直方向の辺は、水平方向に移動する。この結果、第１投射領域３０は、第２投射領域４０Ａに変形する。

また、図４Ｄに示されるように、ユーザーが、アイコン３４Ｈを、例えばマウスをクリックすることにより選択すると、アイコン３４Ｈは、例えば白抜きのアイコンとなり強調表示される。アイコン３４Ｈは、第１投射領域３０の頂点である補正対象点３４に表示される。

これにより、図４Ｅに示されるように、補正対象点３４は、補正対象点３４が含まれていた水平方向の辺上のみを移動可能となる。その後、ユーザーが、例えばマウスをクリックさせた状態のままドラッグさせることにより、補正対象点３４は、水平方向に移動し、第１投射領域３０は、第２投射領域４０Ｂに変形する。

また、図４Ｆに示されるように、ユーザーが、第１投射領域３０の頂点である補正対象点３４に表示される、補正方向が鉛直方向であることを示すアイコン３４Ｖを、例えばマウスをクリックすることにより選択すると、アイコン３４Ｖは、例えば白抜きのアイコンとなり強調表示される。

これにより、図４Ｇに示されるように、補正対象点３４は、補正対象点３４が含まれていた鉛直方向の辺上のみを移動可能となる。その後、ユーザーが、例えばマウスをクリックさせた状態のままドラッグさせることにより、補正対象点３４は、鉛直方向に移動し、第１投射領域３０は、第２投射領域４０Ｃに変形する。

なお、補正対象点３１～３８の移動時には、図４Ｃ、図４Ｅ、及び図４Ｇに示されるように、後述の表示制御部１２８は、アイコン３１Ｈ～３４Ｈ、３１Ｖ～３４Ｖ、３５Ｈ、３６Ｖ、３７Ｈ、及び３８Ｖの表示を停止させてもよいが、これには限定されず、表示させてもよい。また、とりわけ図４Ａ、図４Ｂ、図４Ｄ、及び図４Ｆにおいて、例えばアイコンを用いることによる補正対象点３１～３８の明示はされていないが、補正対象点３１～３８は、明示されてもよく、されなくてもよい。

また、補正対象点３１～３８、及びアイコン３１Ｈ～３４Ｈ、３１Ｖ～３４Ｖ、３５Ｈ、３６Ｖ、３７Ｈ、及び３８Ｖは、撮像装置１１０による、プロジェクター２０によって投射される投射面の撮像を開始した瞬間の静止画に基づいて表示されることが好適であるが、これには限定されない。

図５Ａ～図５Ｅは、図４Ａ～図４Ｇに例示される第１の調整用画像及び第２の調整用画像における、補正対象点近傍の拡大図を示す。なお、図５Ａ～図５Ｅにおいては、例として、補正対象点３４の近傍の拡大図を示すが、これはあくまで一例であって、他の補正対象点についても同様である。

図５Ａは、第１の調整用画像において、ユーザーが未だ操作を行っていない状態での拡大図である。まず、図５Ｂに示されるように、情報処理システム１のユーザーは、第１の調整用画像において、例えばマウスを用いて、ユーザー・インタフェースに備わる矢印アイコン４１で、アイコン３４Ｖを選択し、マウスをクリックする。

すると、図５Ｃに示されるように、アイコン３４Ｈ及びアイコン３４Ｖが消失すると共に、アイコン３４Ａで示される円内を拡大したサムネイル画面５０が表示される。

図５Ｄの第２の調整用画像に示されるように、ユーザーがマウスをクリックし続けている間、マウスの上下移動により、補正対象点３４の上下移動が可能となる。また、上下移動した後の補正対象点３４に基づいて、投射面の第２投射領域４０が表示される。図５Ｄにおいては、第２投射領域４０を一点鎖線で示す。

最後に、ユーザーがマウスのクリックを解除すると、図５Ｅの第２の調整用画像に示されるように、補正対象点３４の移動が確定する。その後、新たな投射領域である第２投射領域４０に合わせて、後述のように、第１画像が変形されて生成された第２画像に基づく投射画像３９Ａが、第２の調整用画像に表示される。これに伴い、補正対象点３４には、図５Ａと同様、再度アイコン３４Ｈ及びアイコン３４Ｖが表示される。

その後、後述のように、第１画像が変形されて生成された第２画像は、プロジェクター２０に出力され、プロジェクター２０は、第２画像に基づいて生成される第２の投射画像をスクリーンや壁等に投射する。

なお、ユーザーによるマウスのクリックの解除の代わりに、例えばユーザー・インタフェース内に示される「決定」ボタンをクリックすることにより、補正対象点３４の移動が確定され、新たな投射領域である第２投射領域に合わせて、第１画像が変形された第２画像に基づく投射画像３９Ａが、第２の調整用画像に表示される構成としてもよい。

なお、図５Ｅには、投射限界領域４２が二点鎖線で明示されている。この投射限界領域４２は、第２投射領域４０が超えることのできない領域であり、後述の第２画像生成部１２６が生成する第２画像に基づく投射画像は、投射限界領域４２を踏み越えて投射されることはできない。すなわち、投射限界領域４２は、第２の調整用画像において、ユーザーが補正対象点３４を移動させることのできる範囲を限定するためのものである。

投射限界領域４２のカメラ画像上での四隅の座標である（ｘ_ＬＴ ^ｃ,ｙ_ＬＴ ^ｃ）、（ｘ_ＲＴ ^ｃ，ｙ_ＬＴ ^ｃ）、（ｘ_ＲＢ ^ｃ，ｙ_ＬＴ ^ｃ）、（ｘ_ＬＢ ^ｃ，ｙ_ＬＴ ^ｃ）は、数式［１］に含まれる射影変換行列Ｈと、パネル画像を投射する際のパネル水平方向解像度Ｗ_ｐ、パネル垂直方向解像度Ｈ_ｐとした場合のパネル上の投射限界の四隅の座標である、（ｘ_ＬＴ ^ｐ,ｙ_ＬＴ ^ｐ）＝（０，０）、（ｘ_ＲＴ ^ｐ，ｙ_ＲＴ ^ｐ）＝（Ｗ_ｐ，０）、（ｘ_ＲＢ，ｙ_ＲＢ ^ｐ）＝（Ｗ_ｐ，Ｈ_ｐ）、（ｘ_ＬＢ ^ｐ，ｙ_ＬＢ ^ｐ）＝（０，Ｈ_ｐ）とを用いて、以下の数式［２］により算出される。

上述の投射領域検出部１２３は、上記の数式［２］を用いて算出された、投射限界領域４２のカメラ画像上での四隅の座標を、第２調整用画像生成部１２５に出力し、第２調整用画像生成部１２５は、当該投射限界領域４２のカメラ画像上での四隅の座標を用いて、第２の調整用画像上に、投射限界領域４２を設定する。

図６は、別法としての第２の調整用画像の拡大図を示す。図６に示されるように、ユーザーがマウスをクリックし続けている間、第２投射領域４０が表示され続けると共に、これに加えて、補正対象点３４の移動中に、投射画像３９の変形が逐次実行されてもよい。これは例えば、後述のように第２画像生成部１２６によって生成された第２画像が、カメラ座標上でどのような形状となるか逐次シミュレーションすることによって実現されてもよい。これにより、ユーザーによる直感的な動作が可能となる。

なお、第２の調整用画像として、図６に示す調整用画像を用いる場合には、撮像装置１１０が固定されていることが好適であるが、これには限定されない。とりわけ、第２画像生成部１２６によって生成された第２画像が、カメラ座標上でどのような形状となるか、撮像装置１１０とプロジェクター２０との位置関係に係るデータを用いて逐次シミュレーションする場合には、撮像装置１１０が固定されていることは必須の条件としなくてもよい。

第２画像生成部１２６は、第１の調整用画像において、一又は複数のアイコンに対して一の補正対象点を移動させる指示を受け付けた場合に、移動後の一の補正対象点の位置に基づいて、第２画像を生成する。具体的には、第２画像生成部１２６は、アイコン３１Ｈ～３４Ｈ、３１Ｖ～３４Ｖ、３５Ｈ、３６Ｖ、３７Ｈ、及び３８Ｖに対して、補正対象点３１～３８を移動させる指示を受け付けた場合に、移動後の補正対象点３１～３８の位置に基づいて、第２画像を生成する。

より詳細には、第１の調整用画像において、ある補正対象点を移動させる指示を受け付けると共に、数式［１］において、カメラ画像における、座標（ｘ_Ｎ ^ｃ，ｙ_Ｎ ^ｃ）の特徴点ｐ_Ｎ ^ｃがこの補正対象点に一致することを仮定する。この場合、数式［１］の左辺の行列において、Ｎ列の成分（ｘ_Ｎ ^ｃ，ｙ_Ｎ ^ｃ，１）が変更される一方で、右辺におけるパネル画像の特徴点の座標を表す行列には変更がない。このため、数式［１］を用いることにより、新たな射影変換行列Ｈ′が算出される。その後、カメラ画像上の各画素に対応する座標に対して、新たな射影変換行列Ｈ′の逆行列Ｈ′^－１を乗じるステップを含む方法により、第２画像としてのパネル画像が生成される。

この第２画像を生成する際に用いたパラメータである、射影変換行列Ｈ′の逆行列Ｈ′^－１を、当初プロジェクターに出力していた第１画像としてのパネル画像とカメラ画像との対応関係を示す、射影変換行列Ｈの逆行列Ｈ^－１と区別するために、本明細書では、当該対応関係を示すパラメータを「第１のパラメータ」、第２画像を生成するために用いたパラメータを「第２のパラメータ」と呼称することがある。

第２画像出力部１２７は、第２画像生成部１２６によって生成された第２画像を、プロジェクター２０に出力する。

表示制御部１２８は、第１調整用画像生成部１２４により生成される第１の調整用画像、及び第２調整用画像生成部１２５により生成される第２の調整用画像を、表示装置１４０に表示させる。これに加えて、表示制御部１２８は、ユーザーの操作に応じて、各種アイコンの表示／非表示を切り替えてもよい。

１－３：プロジェクターの構成
図７は、プロジェクター２０の構成を示すブロック図である。プロジェクター２０は、投射装置２１０、処理装置２２０、記憶装置２３０、通信装置２４０を備える。プロジェクター２０の各要素は、情報を通信するための単体又は複数のバスで相互に接続される。また、プロジェクター２０の各要素は、単数又は複数の機器で構成され、プロジェクター２０の一部の要素は省略されてもよい。

投射装置２１０は、後述の投射制御部２２１によって、情報処理装置１０から取得した第１画像に基づいて生成される第１の投射画像、及び、情報処理装置１０から取得した第２画像に基づいて生成される第２の投射画像をスクリーンや壁等に投射する装置である。投射装置２１０は、例えば、光源、液晶パネル、投射レンズを含み、光源からの光を、液晶パネルを用いて変調し、変調された光を、投射レンズを介してスクリーンや壁等に投射する。

処理装置２２０は、プロジェクター２０の全体を制御するプロセッサであり、例えば、単数又は複数のチップで構成される。処理装置２２０は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成される。なお、処理装置２２０の機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現してもよい。処理装置２２０は、各種の処理を並列的又は逐次的に実行する。

記憶装置２３０は、処理装置２２０が読取可能な記録媒体であり、処理装置２２０が実行する制御プログラムＰＲ２を含む複数のプログラムを記憶する。記憶装置２３０は、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）等の少なくとも１つによって構成されてもよい。記憶装置２３０は、レジスタ、キャッシュ、メインメモリ又は主記憶装置等と呼ばれてもよい。

通信装置２４０は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。とりわけ本実施形態において、通信装置２４０は、プロジェクター２０を、有線又は無線で、情報処理装置１０と接続するための通信装置である。通信装置２４０は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。

処理装置２２０は、記憶装置２３０から制御プログラムＰＲ２を読み出して実行することによって、投射制御部２２１として機能する。なお、制御プログラムＰＲ２は、図示しない通信網を介して、プロジェクター２０を管理するサーバなどの他の装置から送信されてもよい。

投射制御部２２１は、情報処理装置１０から取得した第１画像に基づいて第１の投射画像を生成し、投射装置２１０に、当該第１の投射画像を壁やスクリーン等に対して投射させる。また、投射制御部２２１は、情報処理装置１０から取得した第２画像に基づいて第２の投射画像を生成し、投射装置２１０に、当該第２の投射画像を壁やスクリーン等に対して投射させる。

１－４：情報処理システム１の動作
次に、情報処理システム１の動作について説明する。図８は、情報処理システム１の動作の一例を示すフローチャートである。

まず、第１画像出力部１２１が、プロジェクター２０に対して第１画像を出力する（ステップＳ１）。これを受けて、プロジェクター２０は、第１画像に基づいて投射画像を生成し、壁やスクリーン等の投射面に投射画像を投射する。

次に、撮像画像取得部１２２は、撮像装置１１０に、上述の投射画像がプロジェクター２０によって投射される投射面を撮像させ、撮像させた撮像画像を取得する（ステップＳ２）。

投射領域検出部１２３は、撮像画像取得部１２２によって取得された撮像画像から、第１投射領域３０を検出する（ステップＳ３）。

第１調整用画像生成部１２４は、アイコン３１Ｈ～３４Ｈ、３１Ｖ～３４Ｖ、３５Ｈ、３６Ｖ、３７Ｈ、及び３８Ｖを、撮像画像取得部１２２によって取得された撮像画像に重畳した第１の調整用画像を生成する（ステップＳ４）。

表示制御部１２８は、第１調整用画像生成部１２４によって生成された第１の調整用画像を、表示装置１４０に表示させる（ステップＳ５）。

第２調整用画像生成部１２５は、第２画像生成部１２６によって生成された第２画像が投射される、投射面の第２投射領域４０を含む第２の調整用画像を生成する（ステップＳ６）。

表示制御部１２８は、第２調整用画像生成部１２５によって生成された第２の調整用画像を、表示装置１４０に表示させる（ステップＳ７）。

第２画像生成部１２６は、アイコン３１Ｈ～３４Ｈ、３１Ｖ～３４Ｖ、３５Ｈ、３６Ｖ、３７Ｈ、及び３８Ｖに対して補正対象点３１～３８を移動させる指示を受け付けた場合に、移動後の補正対象点３１～３８の位置に基づいて、第２画像を生成する（ステップＳ８）。

これをもって補正を終了する場合（ステップＳ９のＹＥＳ）には、処理はステップＳ１０に移行する。まだ補正を終了しない場合（ステップＳ９のＮＯ）には、処理はステップＳ４に移行する。

ステップＳ９でＹＥＳだった場合には、第２画像出力部１２７は、第２画像生成部１２６によって出力された第２画像を、プロジェクター２０に出力する（ステップＳ１０）。

以上説明したように、本実施形態によれば、第１画像をプロジェクター２０に出力することと、第１画像に基づく投射画像３９が前記プロジェクター２０によって投射される投射面を撮像した撮像画像を取得することと、撮像画像から、投射画像３９が投射される投射面の第１投射領域３０を検出することと、第１投射領域３０の輪郭線上における複数の補正対象点のうち一の補正対象点に対応して設けられ、一の補正対象点の補正方向を示す一又は複数のアイコンを撮像画像に重畳した第１の調整用画像を生成することと、第１の調整用画像を、表示装置１４０に表示させることと、一又は複数のアイコンに対して一の補正対象点を移動させる指示を受け付けた場合に、移動後の一の補正対象点の位置に基づいて、第２画像を生成することと、を含む、画像生成方法が提供される。

とりわけ本実施形態によれば、情報処理装置１０は、一の補正対象点の補正方向を示す一又は複数のアイコンを、情報処理装置１０によって撮像される撮像画像に重畳した第１の調整用画像を、情報処理装置１０が備える表示装置１４０で表示する。また、情報処理装置１０は、第１の調整用画像において、補正対象点を移動させる指示を受け付けた場合に、移動後の補正対象点の位置に基づいて、第２画像を生成する。これにより、投射面における補正を反映した投射状態を確認しながら、プロジェクター２０から投射される投射画像を補正することが可能となる。したがって、プロジェクター２０から投射画像が投射される投射面の状態を目視で確認する必要がなくなる。

また、第１投射領域が四角形であり、補正対象点が当該四角形の四隅に加えて、各辺上にも設定される場合には、各辺の位置を補正する場合に当該各辺の両端の２点の各々を個別に移動させる場合に比較して、補正のための調整工数を減らすことが可能となる。

さらに、一の補正対象点に対応して設けられる複数のアイコンの各々、あるいは、一の補正対象点に対応して設けられる一のアイコンが、一方向への補正方向を示す場合には、補正対象点の移動が一軸上でのみ許可されることで、誤操作が減らせ、精度よく補正することが可能となる。

さらに、第２投射領域４０を含む第２の調整用画像を生成する場合には、補正時に、投射限界領域４２と、第１投射領域３０と、第２投射領域４０とを、撮像画像に重畳して、表示装置１４０に表示することが可能となる。

２．第２実施形態
以下、図９及び図１０を参照することにより、本実施形態に係る情報処理システム１Ａについて説明する。なお、情報処理システム１Ａは、情報処理システム１に比較して、情報処理装置１０の代わりに情報処理装置１０Ａを、プロジェクター２０の代わりにプロジェクター２０Ａを備える点を除けば、情報処理システム１と同様の全体構成を有するため、当該全体構成の図示は省略する。また、以下では説明の簡略化のため、主として情報処理システム１Ａが情報処理システム１と異なる点について説明され、同一の構成要素については同一の符号を用いられると共に、その詳細な説明は省略される。

２－１．情報処理装置の構成
図９は、情報処理装置１０Ａの構成例を示すブロック図である。情報処理装置１０Ａは、情報処理装置１０と異なり、処理装置１２０の代わりに処理装置１２０Ａを備える。処理装置１２０Ａは、処理装置１２０と異なり、第２画像生成部１２６、及び第２画像出力部１２７を必須の構成要素としない。

２－２．プロジェクターの構成
図１０は、プロジェクター２０Ａの構成例を示すブロック図である。プロジェクター２０Ａは、プロジェクター２０と異なり、処理装置２２０の代わりに処理装置２２０Ａを備える。処理装置２２０Ａは、処理装置２２０と異なり、投射制御部２２１に加えて、第２画像生成部２２２を備える。

第２画像生成部３２２は、第１実施形態における情報処理装置１０の第２画像生成部１２６と同様に、上述の第１の調整用画像において、一又は複数のアイコンに対して一の補正対象点を移動させる指示を受け付けた場合に、移動後の一の補正対象点の位置に基づいて、上述の第２画像を生成する。さらに、第２画像生成部２２２は生成した第２画像を、投射制御部２２１に出力する。

すなわち、本実施形態に係る情報処理システム１Ａを、第１実施形態に係る情報処理システム１と比較した場合、情報処理システム１においては情報処理装置１０で第２画像を生成していたところ、本実施形態においては、プロジェクター２０Ａで第２画像を生成するという相違がある。

本実施形態によれば、プロジェクター２０Ａの処理装置２２０Ａが、第２画像生成部２２２として機能することにより、情報処理装置１０Ａの側で第２画像を生成する必要がなくなる。これにより、本実施形態においては、情報処理装置１０Ａの負荷を低減させることが可能となる。

３．変形例
本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。

３－１．変形例１
撮像画像取得部１２２は、撮像装置１１０によって撮像された撮像画像を取得し、投射領域検出部１２３は、撮像画像取得部１２２によって取得された撮像画像から、投射画像が投射される投射面の第１投射領域を検出するとしたが、これには限定されない。例えば、投射領域検出部１２３は、プロジェクター２０に出力する第１画像としてのパネル画像、及び撮像装置１１０とプロジェクター２０との位置関係に基づくデータを用いて、上述の撮像画像をシミュレートし、シミュレートされた撮像画像から、第１投射領域を検出してもよい。

３－２．変形例２
第１実施形態における情報処理システム１では、情報処理装置１０が第２画像生成部１２６を備える一方で、第２実施形態に係る情報処理システム１Ａでは、プロジェクター２０Ａが第２画像生成部２２２を備えるが、これには限定されない。例えば、情報処理装置１０又は１０Ａとプロジェクター２０又は２０Ａとの双方が、第２画像生成部を備える構成としてもよい。具体的には、情報処理装置１０又は１０Ａが、第１画像と第１投射領域に対する補正に基づいて第２画像を生成した上で、プロジェクター２０又は２０Ａが、当該第２画像に対して重畳的にさらに補正を加えることにより第３画像を生成し、当該第３画像に基づく投射画像を、投射面に投射してもよい。

１，１Ａ…情報処理システム、１０，１０Ａ…情報処理装置、１１０…撮像装置、１２０，１２０Ａ…処理装置、１２１…第１画像出力部、１２２…撮像画像取得部、１２３…投射領域検出部、１２４…第１調整用画像生成部、１２５…第２調整用画像生成部、１２６…第２画像生成部、１２７…第２画像出力部、１２８…表示制御部、１３０…記憶装置、１４０…表示装置、１５０…通信装置、２０，２０Ａ…プロジェクター、２１０…投射装置、２２０，２２０Ａ…処理装置、２２１…投射制御部、２２２…第２画像生成部、２３０…記憶装置、２４０…通信装置

次に、投射領域検出部１２３は、互いに対応する全ての特徴点の座標から、以下の数式［１］を用いて、射影変換行列Ｈを求める。なお、図３に示す例においては、カメラ画像とパネル画像の特徴点の個数は各々１３個であるが、数式［１］ではこれを一般化してＮ個としている。また、カメラ画像の特徴点ｐ_ｎ ^ｃの座標を（ｘ_ｎ ^ｃ，ｙ_ｎ ^ｃ）、パネル画像の特徴点ｐ_ｎ ^ｐの座標を（ｘ_ｎ ^ｐ，ｙ_ｎ ^ｐ）とする。但し、ｎは、１≦ｎ≦Ｎを充足する整数である。

投射限界領域４２のカメラ画像上での四隅の座標である（ｘ_ＬＴ ^ｃ,ｙ_ＬＴ ^ｃ）、（ｘ_ＲＴ ^ｃ，ｙ _ＲＴ ^ｃ ）、（ｘ_ＲＢ ^ｃ，ｙ _ＲＢ ^ｃ ）、（ｘ_ＬＢ ^ｃ，ｙ _ＬＢ ^ｃ ）は、数式［１］に含まれる射影変換行列Ｈと、パネル画像を投射する際のパネル水平方向解像度Ｗ_ｐ、パネル垂直方向解像度Ｈ_ｐとした場合のパネル上の投射限界の四隅の座標である、（ｘ_ＬＴ ^ｐ,ｙ_ＬＴ ^ｐ）＝（０，０）、（ｘ_ＲＴ ^ｐ，ｙ_ＲＴ ^ｐ）＝（Ｗ_ｐ，０）、（ｘ_ＲＢ ^ｐ _，ｙ_ＲＢ ^ｐ）＝（Ｗ_ｐ，Ｈ_ｐ）、（ｘ_ＬＢ ^ｐ，ｙ_ＬＢ ^ｐ）＝（０，Ｈ_ｐ）とを用いて、以下の数式［２］により算出される。

第２画像生成部２２２は、第１実施形態における情報処理装置１０の第２画像生成部１２６と同様に、上述の第１の調整用画像において、一又は複数のアイコンに対して一の補正対象点を移動させる指示を受け付けた場合に、移動後の一の補正対象点の位置に基づいて、上述の第２画像を生成する。さらに、第２画像生成部２２２は生成した第２画像を、投射制御部２２１に出力する。

Claims (9)

1. 第１画像をプロジェクターに出力することと、
   前記第１画像に基づく投射画像が前記プロジェクターによって投射される投射面を撮像した撮像画像を取得することと、
   前記撮像画像から、前記投射画像が投射される前記投射面の第１投射領域を検出することと、
   前記第１投射領域の輪郭線上における複数の補正対象点のうち一の補正対象点に対応して設けられ、前記一の補正対象点の補正方向を示す一又は複数のアイコンを前記撮像画像に重畳した第１の調整用画像を生成することと、
   前記第１の調整用画像を、表示装置に表示させることと、
   前記一又は複数のアイコンに対して前記一の補正対象点を移動させる指示を受け付けた場合に、移動後の前記一の補正対象点の位置に基づいて、第２画像を生成することと、を含む、
   画像生成方法。
2. 前記第１画像は、第１パラメータを用いた画像処理によって生成され、
   前記移動後の前記一の補正対象点の位置に基づいて前記画像処理に用いる第２パラメータが生成され、
   前記第２画像は、前記第２パラメータを用いた前記画像処理によって生成される、
   請求項１に記載の画像生成方法。
3. 請求項１または請求項２に記載の画像生成方法によって生成された前記第２画像を、前記表示装置に出力する制御方法。
4. 前記指示に基づいて移動した後の前記補正対象点に基づいて前記第１投射領域が補正された第２投射領域を含む第２の調整用画像を生成し、生成された第２の調整用画像を前記表示装置に表示することをさらに含む、請求項３に記載の制御方法。
5. 前記第１投射領域が四角形であり、前記複数の補正対象点が、前記第１投射領域の四隅に設定される、請求項３または請求項４に記載の制御方法。
6. 前記第１投射領域の四隅に設定された前記補正対象点のうち一の補正対象点に対応して設けられる複数のアイコンの各々は、一方向への補正方向を示す、請求項５に記載の制御方法。
7. 前記第１投射領域が四角形であり、前記複数の補正対象点が、前記第１投射領域の四辺上に設定される、請求項３から請求項６のいずれか１項に記載の制御方法。
8. 前記第１投射領域の四辺に設定された前記補正対象点のうち一の補正対象点に対応して設けられる一のアイコンは、一方向への補正方向を示す、請求項７に記載の制御方法。
9. 第１画像をプロジェクターに出力する第１画像出力部と、
   前記第１画像に基づく投射画像が前記プロジェクターによって投射される投射面を撮像した撮像画像を取得する撮像画像取得部と、
   前記撮像画像から、前記投射画像が投射される前記投射面の第１投射領域を検出する投射領域検出部と、
   前記第１投射領域の輪郭線上における複数の補正対象点のうち一の補正対象点に対応して設けられ、前記一の補正対象点の補正方向を示す一又は複数のアイコンを前記撮像画像に重畳した第１の調整用画像を生成する第１調整用画像生成部と、
   前記第１の調整用画像を、表示装置に表示させる表示制御部と、
   前記一又は複数のアイコンに対して前記一の補正対象点を移動させる指示を受け付けた場合に、移動後の前記一の補正対象点の位置に基づいて、第２画像を生成する第２画像生成部と、
   前記第２画像を前記プロジェクターに出力する第２画像出力部と、を備える情報処理装置。

Images