JP2019045549A - 画像投写システム、端末装置及び画像投写システムの制御方法 - Google Patents

Abstract

【課題】マーカーを検出するためのカメラをプロジェクターが備えていない場合でも、マーカーの位置に基づく処理を行うことが可能な画像投写システム、端末装置及び画像投写システムの制御方法を提供する。【解決手段】画像投写システム１００は、投写面Ｓｐに画像を投写するプロジェクター２と、プロジェクター２との通信が可能な端末装置１と、を備え、端末装置１は、撮像部１４と、撮像部１４が撮像した撮像画像に基づいて、投写面Ｓｐに配置されたマーカーＭを検出するマーカー検出部と、マーカーＭの位置に基づく領域情報をプロジェクター２に送信する通信部と、を備え、プロジェクター２は、画像情報が入力される画像情報入力部と、端末装置１から領域情報を受信する通信部と、画像情報に対して領域情報に応じた処理を行う画像情報処理部と、画像情報処理部により処理が施された画像情報に基づいて投写面Ｓｐに画像を投写する画像投写部と、を備える。【選択図】図１

Description

本発明は、画像を投写する画像投写システム、端末装置及び画像投写システムの制御方法に関する。

ユーザーによって指定された領域に基づいて映像を加工する技術が種々提案されている（例えば、特許文献１参照）。特許文献１には、ホワイトボード等の投影対象上に配置されたポイントマーカーの位置に基づいて投影範囲を設定する投影装置が記載されている。

特開２００６−９８７８９号公報

しかしながら、特許文献１に記載の技術では、投影対象上に配置されたポイントマーカーを、プロジェクターに備わるカメラで検出しているため、カメラを備えた高価なプロジェクターが必要になってしまうという問題を有する。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］本適用例に係る画像投写システムは、投写面に画像を投写するプロジェクターと、前記プロジェクターとの通信が可能な端末装置と、を備えた画像投写システムであって、前記端末装置は、撮像部と、前記撮像部が撮像した撮像画像に基づいて、前記投写面に配置されたマーカーを検出する検出部と、前記検出部により検出された前記マーカーの位置に基づく領域情報を前記プロジェクターに送信する送信部と、を備え、前記プロジェクターは、画像情報が入力される画像情報入力部と、前記端末装置から前記領域情報を受信する受信部と、前記画像情報に対して前記領域情報に応じた処理を行う処理部と、前記処理部により前記処理が施された画像情報に基づいて前記投写面に画像を投写する投写部と、を備えたことを特徴とする。

この画像投写システムによれば、端末装置が、投写面に配置されたマーカーを検出し、マーカーの位置に基づく領域情報をプロジェクターに送信するため、プロジェクターは、マーカーを検出するためのカメラを備えていない場合でも、マーカーの位置に基づく処理を行うことが可能となる。

［適用例２］上記適用例に係る画像投写システムにおいて、前記処理部は、前記領域情報に基づく領域の内側又は外側をマスクする処理を行ってもよい。

この画像投写システムによれば、プロジェクターの処理部が、投写面に配置されたマーカーの位置に基づいて画像の一部をマスクするマスク処理を行うため、マスク処理を容易に行うことが可能となる。

［適用例３］上記適用例に係る画像投写システムにおいて、前記送信部は、前記撮像部が前記マーカーを撮像する際に、前記プロジェクターに所定の基準画像を投写させるための制御情報を送信することが望ましい。

この画像投写システムによれば、マーカーを撮像する際に基準画像が投写されるため、この基準画像を基準にすることにより、マーカーの位置を正しく検出することが可能となる。

［適用例４］上記適用例に係る画像投写システムにおいて、前記端末装置は、前記撮像部により撮像された前記基準画像に基づいて、前記撮像部により撮像された前記マーカーの位置を補正する補正部をさらに備えることが望ましい。

この画像投写システムによれば、基準画像に基づいてマーカーの位置を補正する補正部を備えているため、撮像する場所等に拘らず、マーカーの位置を正しく検出することが可能となる。

［適用例５］上記適用例に係る画像投写システムにおいて、前記領域情報は、領域の形状を表す情報を含み、前記端末装置は、前記検出部により検出された前記マーカーの位置に基づいて、前記領域情報を生成する生成部をさらに備えることが望ましい。

この画像投写システムによれば、領域の形状を表す領域情報を端末装置が生成するため、プロジェクターが領域の形状を決定する必要がなく、プロジェクターが行う処理を簡略化することが可能となる。

［適用例６］本適用例に係る端末装置は、プロジェクターとの通信が可能な端末装置であって、撮像部と、前記撮像部が撮像した撮像画像に基づいて、前記プロジェクターが画像を投写する投写面に配置されたマーカーを検出する検出部と、前記検出部により検出された前記マーカーの位置に基づく領域情報を前記プロジェクターに送信して、前記プロジェクターに前記領域情報に応じた処理を行わせる送信部と、を備えたことを特徴とする。

この端末装置によれば、投写面に配置されたマーカーを検出し、マーカーの位置に基づく領域情報をプロジェクターに送信するため、プロジェクターは、マーカーを検出するためのカメラを備えていない場合でも、マーカーの位置に基づく処理を行うことが可能となる。

［適用例７］本適用例に係る画像投写システムの制御方法は、投写面に画像を投写するプロジェクターと、前記プロジェクターとの通信が可能な端末装置と、を備えた画像投写システムの制御方法であって、前記端末装置の撮像部が撮像した撮像画像に基づいて、前記端末装置が、前記投写面に配置されたマーカーを検出し、前記端末装置が、検出された前記マーカーの位置に基づく領域情報を前記プロジェクターに送信し、前記プロジェクターが、画像情報に対して、前記端末装置から受信した前記領域情報に応じた処理を行い、前記プロジェクターが、前記処理が施された画像情報に基づいて前記投写面に画像を投写する、ことを特徴とする。

この画像投写システムの制御方法によれば、端末装置が、投写面に配置されたマーカーを検出し、マーカーの位置に基づく領域情報をプロジェクターに送信するため、プロジェクターは、マーカーを検出するためのカメラを備えていない場合でも、マーカーの位置に基づく処理を行うことが可能となる。

画像投写システムを示す説明図。 端末装置の概略構成を示すブロック図。 プロジェクターの概略構成を示すブロック図。 画像の加工に用いられるフィルターを生成する際の画像投写システムの動作を説明するためのフローチャート。 画像投写システムの動作を説明するための説明図であり、投写面を示す図。 画像投写システムの動作を説明するための説明図であり、投写面を示す図。 画像投写システムの動作を説明するための説明図であり、投写面を示す図。 端末装置の表示部に表示される案内画像を示す図。 端末装置の表示部に表示される案内画像を示す図。 フィルターの生成時に端末装置の表示部に表示される画像を示す図。 フィルターの生成時に端末装置の表示部に表示される画像を示す図。 画像投写システムの動作を説明するための説明図であり、投写面を示す図。

以下、本実施形態の画像投写システムについて、図面を参照して説明する。
図１は、本実施形態の画像投写システム１００を示す説明図である。
図１に示すように、画像投写システム１００は、端末装置１と、プロジェクター２とを備えている。端末装置１は、例えば、スマートフォン等の携帯型の通信機器であり、画像を表示する表示部１２や撮像部１４等を一体的に備えて構成されている。プロジェクター２は、図示しない外部の画像供給装置等から画像情報の供給を受けて、この画像情報に応じた画像をスクリーンや壁面、ホワイトボード等の投写面Ｓｐに投写する。端末装置１及びプロジェクター２は、無線で接続されており、無線通信により情報の送受信を行うことが可能となっている。

本実施形態の画像投写システム１００は、ユーザーによって指定された領域に基づいて、投写する画像を加工することができる。具体的には、ユーザーが、投写面Ｓｐ上に複数のマーカーＭを配置し、これを端末装置１の撮像部１４で撮像すると、端末装置１は、撮像された画像の中からマーカーＭを検出し、マーカーＭの位置に基づく領域（以降、「指定領域」と呼ぶ。）を特定する。そして、端末装置１は、指定領域の外側をマスクするためのフィルターを生成し、プロジェクター２に送信する。プロジェクター２は、端末装置１から受信したフィルターを用いて画像情報を加工することにより、指定領域の外側がマスクされた画像を投写面Ｓｐに投写する。

図２は、端末装置１の概略構成を示すブロック図である。
図２に示すように、端末装置１は、制御部１０と、記憶部１１と、表示部１２と、入力操作部１３と、撮像部１４と、送信部としての通信部１５とを含んで構成されている。

制御部１０は、１つ又は複数のプロセッサーを含んで構成される。制御部１０は、記憶部１１に記憶されているＯＳ（Operating System）やアプリケーションプログラムに従って動作することにより、端末装置１の動作を統括制御する。

記憶部１１は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のメモリーを備えて構成される。記憶部１１は、ＯＳ、アプリケーションプログラム及び各種データ等を記憶する。本実施形態の記憶部１１には、上述したフィルターを生成するためのアプリケーションプログラム（フィルター生成プログラムＰｆ）が記憶されている。

表示部１２は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイ等の表示装置を備えて構成され、画像情報に基づく画像を表示する。

入力操作部１３は、表示部１２と一体的に構成されるタッチパネルや、各種操作ボタン等によって構成され、ユーザーによる入力操作を受け付ける。ユーザーが入力操作部１３を操作すると、入力操作部１３は、ユーザーの操作内容に応じた操作信号を制御部１０に出力する。

撮像部１４は、ＣＣＤ（Charge Coupled Device）センサー、或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等の撮像素子（図示せず）を備えたカメラである。撮像部１４は、制御部１０の制御に基づいて撮像を行い、その撮像結果である画像情報（撮像画像情報）を制御部１０に出力する。制御部１０は、撮像結果をリアルタイムで表示部１２に表示するライブビュー用の撮像を撮像部１４に繰り返し行わせ、撮像画像情報に基づく一連の画像をライブビュー映像として表示部１２に表示させる。また、ユーザーによりシャッター操作がなされた場合等、所定の条件が成立した場合には、制御部１０は、撮像部１４に記録用の撮像を行わせ、撮像画像情報を記憶部１１に記憶させる。

通信部１５は、無線ＬＡＮ（Local Area Network）やＢｌｕｅｔｏｏｔｈ（登録商標）等によって無線通信を行うための無線通信デバイスを備えて構成される。通信部１５は、制御部１０の制御に基づいて、プロジェクター２等の外部の装置と無線接続を行って、無線で情報の送受信を行う。

また、本実施形態の制御部１０は、フィルター生成プログラムＰｆによって実現される機能ブロックとして、検出部としてのマーカー検出部１６と、生成部としてのフィルター生成部１７とを有している。
マーカー検出部１６は、撮像画像情報に基づく画像、即ち撮像部１４が撮像した撮像画像に基づいて、投写面Ｓｐ上に配置されたマーカーＭを検出する。
フィルター生成部１７は、マーカー検出部１６によって撮像画像内から検出されたマーカーＭの位置に基づいて指定領域を特定する。そして、フィルター生成部１７は、指定領域に対応するフィルターを生成し、通信部１５を介してプロジェクター２に送信する。

次に、プロジェクター２の構成について説明する。
図３は、プロジェクター２の概略構成を示すブロック図である。
図３に示すように、プロジェクター２は、制御部２０と、記憶部２１と、入力操作部２２と、受信部としての通信部２３と、画像情報入力部２４と、処理部としての画像情報処理部２５と、ＯＳＤ処理部２６と、投写部としての画像投写部２７とを一体的に備えて構成されている。プロジェクター２は、画像情報入力部２４に入力される画像情報に基づいて、画像投写部２７から投写面Ｓｐに画像を投写する。

制御部２０は、１つ又は複数のプロセッサーを備えて構成され、記憶部２１に記憶されている制御プログラムに従って動作することによりプロジェクター２の動作を統括制御する。

記憶部２１は、ＲＡＭ及びＲＯＭ等を備えて構成される。ＲＡＭは、各種データ等の一時記憶に用いられ、ＲＯＭは、プロジェクター２の動作を制御するための制御プログラムや制御データ等を記憶する。また、記憶部２１は、画像投写部２７により投写するための画像情報を記憶していてもよい。

入力操作部２２は、ユーザーがプロジェクター２に対して各種指示を行うための複数の操作キーを備えている。入力操作部２２が備える操作キーとしては、電源のオンとオフとを切り替えるための「電源キー」、各種設定を行うためのメニューを表示させる「メニューキー」、メニューの項目を選択するための「方向キー」等がある。ユーザーが入力操作部２２の各種操作キーを操作すると、入力操作部２２は、ユーザーの操作内容に応じた操作信号を制御部２０に出力する。なお、遠隔操作が可能なリモコン（図示せず）を、入力操作部２２として用いる構成としてもよい。この場合、リモコンは、ユーザーの操作内容に応じた赤外線の操作信号を発信し、図示しないリモコン信号受信部がこれを受信して制御部２０に伝達する。

通信部２３は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等によって無線通信を行うための無線通信デバイスを備えて構成される。通信部２３は、制御部２０の制御に基づいて、端末装置１等の外部の装置と無線接続を行って、無線で情報の送受信を行う。

画像情報入力部２４は、コンピューターや画像再生装置等の外部の画像供給装置（図示せず）に接続され、画像供給装置から画像情報の供給を受ける。また、画像情報入力部２４は、制御部２０から、記憶部２１に記憶されている画像情報の供給を受けることができる。画像情報入力部２４は、制御部２０の制御に基づいて、画像供給装置又は制御部２０から入力された画像情報（入力画像情報）に、必要に応じて様々な処理（例えば、解像度変換処理や画質調整処理等）を施し、処理後の画像情報を画像情報処理部２５に出力する。

画像情報処理部２５は、制御部２０の制御に基づいて、画像情報入力部２４から入力される画像情報に対して、端末装置１から受信したフィルターを用いた画像処理（画像の加工）を施し、処理後の画像情報をＯＳＤ処理部２６に出力する。この画像処理は、画像情報入力部２４から入力される画像情報に基づく画像（入力画像）のうち、一部の領域（指定領域）の画像のみを表示させ、他の領域をマスクするマスク処理である。なお、制御部２０からマスク処理を行う旨の指示がない場合には、画像情報処理部２５は、画像情報入力部２４から入力される画像情報を、そのままＯＳＤ処理部２６に出力する。

ＯＳＤ処理部２６は、制御部２０の制御に基づいて、入力画像上にメッセージ画像やメニュー画像等のＯＳＤ（オンスクリーンディスプレイ）画像を重畳して表示するための処理を行う。ＯＳＤ処理部２６は、図示しないＯＳＤメモリーを備えており、ＯＳＤ画像を形成するための図形やフォント等を表すＯＳＤ画像情報を記憶している。制御部２０が、ＯＳＤ画像の重畳を指示すると、ＯＳＤ処理部２６は、必要なＯＳＤ画像情報をＯＳＤメモリーから読み出し、入力画像上の所定の位置にＯＳＤ画像が重畳されるように、画像情報処理部２５から入力される画像情報にこのＯＳＤ画像情報を合成する。ＯＳＤ画像情報が合成された画像情報は、画像投写部２７のライトバルブ駆動部３４に出力される。なお、制御部２０からＯＳＤ画像を重畳する旨の指示がない場合には、ＯＳＤ処理部２６は、画像情報処理部２５から入力される画像情報を、そのままライトバルブ駆動部３４に出力する。

画像投写部２７は、光源３１、光変調装置としての３つの液晶ライトバルブ３２Ｒ，３２Ｇ，３２Ｂ、投写光学系としての投写レンズ３３、ライトバルブ駆動部３４等で構成されている。画像投写部２７は、光源３１から射出された光を、液晶ライトバルブ３２Ｒ，３２Ｇ，３２Ｂで変調して画像光を形成し、この画像光を投写レンズ３３から投写して投写面Ｓｐに画像を表示する。

光源３１は、超高圧水銀ランプやメタルハライドランプ等の放電型の光源ランプ、又は発光ダイオードや半導体レーザー等の固体光源を含んで構成されている。光源３１から射出された光は、図示しないインテグレーター光学系によって輝度分布が略均一な光に変換され、図示しない色分離光学系によって光の３原色である赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色光成分に分離された後、それぞれ液晶ライトバルブ３２Ｒ，３２Ｇ，３２Ｂに入射する。

液晶ライトバルブ３２Ｒ，３２Ｇ，３２Ｂは、それぞれ一対の透明基板間に液晶が封入された透過型の液晶パネル等によって構成される。各液晶パネルには、マトリクス状に配列された複数の画素からなる矩形の画像形成領域３２ｉが形成されており、液晶に対して画素毎に駆動電圧を印加可能になっている。

ライトバルブ駆動部３４は、液晶ライトバルブ３２Ｒ，３２Ｇ，３２Ｂの画像形成領域３２ｉに画像を形成する。具体的には、ライトバルブ駆動部３４は、ＯＳＤ処理部２６から入力される画像情報に応じた駆動電圧を、画像形成領域３２ｉの各画素に印加し、各画素を画像情報に応じた光透過率に設定する。光源３１から射出された光は、液晶ライトバルブ３２Ｒ，３２Ｇ，３２Ｂの画像形成領域３２ｉを透過することによって画素毎に変調され、画像情報に応じた画像光が色光毎に形成される。形成された各色の画像光は、図示しない色合成光学系によって画素毎に合成されてカラー画像を表す画像光となり、投写レンズ３３によって投写面Ｓｐに拡大投写される。この結果、投写面Ｓｐ上には、画像情報に基づく画像が表示される。

なお、画像情報入力部２４、画像情報処理部２５及びＯＳＤ処理部２６は、１つ又は複数のプロセッサー等によって構成されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の専用の処理装置によって構成されてもよい。

次に、画像投写システム１００の動作について説明する。
図４は、画像の加工に用いられるフィルターを生成する際の画像投写システム１００の動作（制御方法）を説明するためのフローチャートである。また、図５〜図１２は、画像投写システム１００の動作を説明するための説明図であり、このうち、図５〜図７及び図１２は、投写面Ｓｐを示す図、図８〜図１１は、端末装置１を示す図である。

図５に示すように、プロジェクター２が、加工の対象となる入力画像Ａｉを投写面Ｓｐに投写しているときに、ユーザーが端末装置１の入力操作部１３を操作してフィルター生成プログラムＰｆを起動すると、端末装置１の制御部１０は、フィルター生成プログラムＰｆに従った動作を開始する。

図４に示すように、ステップＳ１０１では、制御部１０は、プロジェクター２と無線接続を行う。そして、無線接続が確立した後、ステップＳ１０２では、制御部１０は、投写中の入力画像Ａｉの解像度に関する情報（解像度情報）をプロジェクター２から取得し、記憶部１１に記憶する。

ステップＳ１０３では、制御部１０は、マーカーＭの配置をユーザーに促す案内画像（図示せず）を表示部１２に表示する。この案内画像には、投写面Ｓｐ上に複数のマーカーＭを配置することを促すメッセージや、マーカーＭの配置が完了した後に入力操作部１３に所定の操作を行うことを促すメッセージ等が含まれる。

この案内画像が表示されると、ユーザーは、投写面Ｓｐ上にマーカーＭを配置する。具体的には、ユーザーは、投写面Ｓｐに投写される入力画像Ａｉの一部の領域を、所望の形状で表示させたい場合に、その形状に応じた位置に少なくとも３つのマーカーＭを配置する。例えば、ユーザーは、三角形の領域に画像を表示させたい場合には、三角形の頂点に対応する３つの位置にマーカーＭを配置すればよい（図６参照）。マーカーＭを配置した後、ユーザーは、案内画像のメッセージに従って、配置が完了したことを示す入力操作を行う。

マーカーＭは、例えば、小さな円板状の物体であり、鉛直に立設された投写面Ｓｐに固定するための固定具を備えている。固定具としては、弱粘着性を有する粘着体や、ホワイトボード等に固定可能なマグネット、壁面等に固定可能な鋲等を利用可能である。なお、投写面Ｓｐが水平である場合には、固定具は不要である。また、マーカーＭの形状は、円板状に限定されず、撮像部１４で撮像された画像から検出可能な形状であればよい。

ステップＳ１０４では、制御部１０は、入力操作部１３からの操作信号に基づいて、マーカーＭの配置が完了したことを示す入力操作がなされたか否かを判断する。そして、制御部１０は、この入力操作がなされていない場合には本ステップを繰り返し、入力操作がなされた場合には、ステップＳ１０５に処理を移す。

マーカーＭの配置が完了したことを示す入力操作がなされてステップＳ１０５に処理が移行した場合には、制御部１０は、プロジェクター２に所定の基準画像を投写させるための制御情報を通信部１５から送信させる。

図７に示すように、プロジェクター２の制御部２０は、通信部２３からこの制御情報が入力されると、全域が白色の画像（全白画像Ａｗ）の四隅にＬ字型の基準マークＡｍが配置された基準画像Ａｓを画像投写部２７から投写させる。具体的には、プロジェクター２の制御部２０は、画像情報入力部２４に指示をして、入力画像情報の代わりに、入力画像Ａｉと同じ解像度を有する全白画像Ａｗの画像情報を出力させるとともに、ＯＳＤ処理部２６に対して、全白画像Ａｗの四隅の位置に所定のＯＳＤ画像（基準マークＡｍ）を重畳させる指示を行う。

その後、ステップＳ１０６では、制御部１０は、投写された基準画像Ａｓを撮像部１４で撮像するための案内画像を表示部１２に表示させる。

図８及び図９は、端末装置１の表示部１２に表示される案内画像Ｂｇを示す図である。
図８に示すように、案内画像Ｂｇは、撮像部１４によって撮像されているライブビュー映像Ｂｖ上に重畳して表示される。このため、ユーザーが投写面Ｓｐに投写されている基準画像Ａｓに撮像部１４を向けている場合には、表示部１２には、撮像された基準画像Ａｓに重ねて案内画像Ｂｇが表示される。

案内画像Ｂｇには、基準画像Ａｓを正面から撮像することを促すテキストメッセージＢｔとともに、４つの円環状の照準マークＢｍが表示されている。制御部１０は、プロジェクター２から取得した解像度情報に基づいて、入力画像Ａｉのアスペクト比を認識し、認識したアスペクト比に基づいて、基準画像Ａｓの４つの基準マークＡｍに対応する位置に照準マークＢｍを配置する。ユーザーは、撮像されている４つの基準マークＡｍのそれぞれが照準マークＢｍ内に収まるように、必要に応じて撮影場所や端末装置１の姿勢を変えながら撮像部１４を基準画像Ａｓに向ける。

ステップＳ１０７では、制御部１０は、投写面Ｓｐ上の基準画像Ａｓを正面から撮像するための条件が成立したか否かを判断する。具体的には、制御部１０は、４つの照準マークＢｍのそれぞれに基準マークＡｍが収まっているか否かを監視しており、４つの照準マークＢｍのすべてにおいて、照準マークＢｍ内に占める基準マークＡｍの割合（面積）が所定の閾値を超えた場合（図９参照）には、基準画像Ａｓを正面から撮像するための条件が成立したと判断する。制御部１０は、条件が成立していない場合には本ステップを繰り返し、条件が成立した場合には、ステップＳ１０８に処理を移す。

条件が成立してステップＳ１０８に処理が移行した場合には、制御部１０は、撮像部１４に記録用の撮像を行わせ、撮像画像情報を記憶部１１に記憶する。

ステップＳ１０９では、マーカー検出部１６が、投写面Ｓｐ上の基準画像Ａｓを撮像した撮像画像から、投写面Ｓｐ上に配置された複数のマーカーＭを検出する。撮像画像からマーカーＭを検出する手法としては、テンプレートマッチングやＨａａｒ−ｌｉｋｅ特徴量を利用した検出手法等を適用することができる。マーカー検出部１６は、検出したマーカーＭの重心の位置を基準点として特定し、その座標を記憶部１１に記憶する。

マーカーＭの基準点が特定されると、フィルター生成部１７がフィルターを生成する。
図１０及び図１１は、フィルターの生成時に端末装置１の表示部１２に表示される画像を示す図である。
まず、ステップＳ１１０では、フィルター生成部１７は、画像を加工するための指定領域を確定する。具体的には、図１０に示すように、フィルター生成部１７は、入力画像Ａｉに対応する画像領域Ｃｉの中に、特定された複数の基準点Ｐｓを配置した画像を表示部１２に表示するとともに、これら複数の基準点Ｐｓ間を繋ぐ線の種類を決定する。例えば、フィルター生成部１７は、表示部１２に選択メニュー（図示せず）を表示して、直線、波線、自由曲線（フリーハンド）等の選択肢の中から、１つの線種をユーザーに選択させる。そして、フィルター生成部１７は、線種として直線が選択された場合には、複数の基準点Ｐｓ間を直線で繋ぎ、線種として波線が選択された場合には、複数の基準点Ｐｓ間を波状の曲線で繋ぐ。また、自由曲線が選択された場合には、フィルター生成部１７は、ユーザーに表示部１２（タッチパネル）上で基準点Ｐｓ間を辿る描画操作を行わせ、辿った軌跡に応じた線で基準点Ｐｓ間を繋ぐ。

図１１に示すように、フィルター生成部１７は、決定した線Ｌ（例えば、直線）で基準点Ｐｓ間を繋いだ画像を表示部１２に表示する。線Ｌで囲まれた領域は、上述した指定領域Ｃｓに相当する。つまり、基準点Ｐｓとそれを繋ぐ線Ｌとを決定することで指定領域Ｃｓの位置及び形状が確定する。

次いで、ステップＳ１１１では、フィルター生成部１７は、確定した指定領域Ｃｓの位置及び形状に基づいて、領域情報としてのフィルターを生成する。ここで、フィルターとは、ステップＳ１０２で取得した解像度情報に基づく解像度、即ちプロジェクター２の入力画像Ａｉの解像度と同じ解像度を有し、指定領域Ｃｓの位置及び形状に基づいて、各画素に「０」又は「１」のデータを割り当てたデータ群である。フィルター生成部１７は、指定領域Ｃｓに含まれる画素には「１」を、指定領域Ｃｓの外側に位置する画素には「０」を割り当てたフィルターを生成する。

そして、ステップＳ１１２では、フィルター生成部１７は、生成したフィルターを通信部１５からプロジェクター２に送信させる。その後、制御部１０は、フィルター生成プログラムＰｆに基づく処理を終了する。

プロジェクター２の制御部２０は、端末装置１から送信されたフィルターが通信部２３を介して入力されると、入力されたフィルターを画像情報処理部２５に出力し、このフィルターを用いた画像処理の実行を指示する。また、制御部２０は、画像情報入力部２４に対して、入力画像情報の出力を指示する。

画像情報処理部２５は、制御部２０の指示に基づき、画像情報入力部２４から入力される入力画像情報に対して、端末装置１から送信されたフィルターを用いた画像処理を実行する。具体的には、画像情報処理部２５は、入力画像情報に含まれる各画素の輝度値のうち、フィルター内のデータが「０」の画素、即ち指定領域Ｃｓに含まれない画素の輝度値を０（黒色に相当する輝度値）に設定することにより、指定領域Ｃｓの外側をマスクする。画像情報処理部２５が、処理後の画像情報をＯＳＤ処理部２６に出力すると、この画像情報に基づく画像が画像投写部２７から投写される。この結果、図１２に示すように、投写面Ｓｐには、入力画像Ａｉのうち、指定領域Ｃｓに含まれる部分のみが表示される。なお、図１２には、投写面Ｓｐ上に配置されたマーカーＭがユーザーによって取り外された状態が示されている。

以上説明したように、本実施形態の画像投写システム１００及びその制御方法によれば、以下の効果を得ることができる。

（１）本実施形態の画像投写システム１００及びその制御方法によれば、端末装置１が、投写面Ｓｐに配置されたマーカーＭを検出し、マーカーＭの位置に基づいて生成したフィルターをプロジェクター２に送信するため、プロジェクター２は、マーカーＭを検出するためのカメラを備えていない場合でも、マーカーＭの位置に基づく処理を行うことが可能となる。

（２）本実施形態の画像投写システム１００及びその制御方法によれば、プロジェクター２の画像情報処理部２５が、投写面Ｓｐに配置されたマーカーＭの位置に基づいて画像の一部をマスクするマスク処理を行うため、マスク処理を容易に行うことが可能となる。

（３）本実施形態の画像投写システム１００及びその制御方法によれば、マーカーＭを撮像する際に基準画像Ａｓが投写されるため、この基準画像Ａｓを基準にすることにより、マーカーＭの位置を正しく検出することが可能となる。

（４）本実施形態の画像投写システム１００及びその制御方法によれば、指定領域Ｃｓの形状に応じたフィルターを端末装置１が生成するため、プロジェクター２が指定領域Ｃｓの形状を決定する必要がなく、プロジェクター２が行う処理を簡略化することが可能となる。

なお、端末装置１単独、及びその制御方法によっても、上記と同様の効果を得ることが可能である。

（変形例）
また、上記実施形態は、以下のように変更してもよい。

上記実施形態では、端末装置１がマーカーＭの基準点Ｐｓに基づいてフィルターを生成し、生成したフィルターを領域情報としてプロジェクター２に送信しているが、この態様に限定されない。例えば、端末装置１がマーカーＭの基準点Ｐｓの座標を領域情報としてプロジェクター２に送信し、プロジェクター２の制御部２０が、受信した基準点Ｐｓの座標に基づいてフィルターを生成するようにしてもよい。この場合には、プロジェクター２の制御部２０がフィルター生成部として機能する。

上記実施形態では、制御部２０は、全白画像ＡｗにＯＳＤ画像（基準マークＡｍ）を重畳させることにより、画像投写部２７から基準画像Ａｓを投写させているが、基準画像Ａｓは、ＯＳＤ画像を利用する態様に限定されない。例えば、全白画像Ａｗの四隅に基準マークＡｍを予め配置した基準画像Ａｓの画像情報を記憶部２１に記憶しておいて、制御部２０が、この画像情報を記憶部２１から読み出して、画像情報入力部２４に出力するようにしてもよい。また、基準マークＡｍの形状は、Ｌ字型に限定されず、他の形状であってもよいし、基準マークＡｍを配置することなく、全白画像Ａｗの４つの角部（頂点）を基準として利用するようにしてもよい。

上記実施形態では、ユーザーが投写面Ｓｐ上にマーカーＭを配置する態様を示したが、この態様に限定されない。例えば、ホワイトボードや黒板等、筆記が可能な投写面Ｓｐに画像を投写する場合には、マーカー検出部１６は、ユーザーが投写面Ｓｐに筆記（描画）した所定のマークをマーカーＭの代わりに検出するようにしてもよい。

上記実施形態では、ユーザーが投写面Ｓｐ上に配置した少なくとも３つのマーカーＭに基づいて指定領域Ｃｓを決定しているが、マーカーＭの数は３つ以上に限定されない。例えば、２つのマーカーＭを対角の頂点とする矩形の領域を指定領域Ｃｓとしてもよい。また、指定領域Ｃｓの形状や大きさについては、予め決定しておくか、メニュー等によって別途選択させることにより、１つのマーカーＭで指定領域Ｃｓの位置のみを指定するようにしてもよい。

上記実施形態において、マーカーＭの基準点Ｐｓ間を繋ぐ線の種類は、直線、波線、自由曲線に限定されず、湾曲した曲線や、折れ線等を含んでいてもよい。例えば、ユーザーが、五角形の頂点に対応する位置にマーカーＭを配置するとともに、これらの基準点Ｐｓ間を、その中間地点で内側に折れ曲がる折れ線で繋ぐようにすれば、星形の指定領域Ｃｓとすることも可能となる。

上記実施形態では、画像情報処理部２５が、ユーザーによって指定された指定領域Ｃｓの外側をマスクして、内側のみを表示する態様を示したが、この態様に限定されない。例えば、指定領域Ｃｓの内側をマスクして、外側のみを表示させるようにしてもよい。また、画像情報処理部２５が行う画像処理は、指定領域Ｃｓの内側と外側とで異なる処理を行う態様であれば、マスク処理に限定されない。例えば、指定領域Ｃｓの内側と外側の一方をモノクロ表示として他方をカラー表示とする処理を行ってもよい。また、指定領域Ｃｓの内側と外側の一方に対して、他方の明るさ、コントラスト又はシャープネス等を変えるような処理であってもよい。

上記実施形態において、プロジェクター２は、端末装置１から受信したフィルターを記憶部２１に記憶しておくようにして、後で必要となった場合に、制御部２０が記憶部２１から読み出して再利用できるようにしてもよい。

上記実施形態では、４つの照準マークＢｍのそれぞれに基準マークＡｍが収まるようにユーザーが撮像場所や端末装置１の姿勢を調整することによって、基準画像Ａｓを正面から撮像するようにしているが、この態様に限定されない。例えば、正面からずれた位置から基準画像Ａｓを撮像して、撮像画像が歪んでいる場合であっても、４つの基準マークＡｍの特定の頂点の位置に基づいて、撮像画像の歪みを補正する機能（歪み補正機能）を端末装置１に備えるようにすれば、マーカー検出部１６は、撮像する場所や端末装置１の姿勢に拘らず、マーカーＭの基準点Ｐｓの位置を正しく補正することが可能である。なお、歪み補正機能は、例えば、制御部１０がフィルター生成プログラムＰｆに従って動作することによって実現することが可能であり、この場合の制御部１０は、マーカーＭの位置を補正する補正部に相当する。

上記実施形態において、端末装置１は、スマートフォンに限定されず、例えば、タブレット端末やパーソナルコンピューター等であってもよい。また、端末装置１とプロジェクター２との接続は、無線接続に限定されず、有線接続であってもよい。

上記実施形態において、端末装置１は、マーカーＭを検出して基準点Ｐｓを特定した後で、例えば、表示部１２（タッチパネル）上でのドラッグ操作等によって、基準点Ｐｓの座標の修正が可能な構成としてもよい。同様に、端末装置１は、基準点Ｐｓ間を線で繋いで指定領域Ｃｓを確定した後で、例えば、表示部１２（タッチパネル）上でのドラッグ操作等によって、線の態様を調整可能な構成としてもよい。

上記実施形態では、光変調装置として、透過型の液晶ライトバルブ３２Ｒ，３２Ｇ，３２Ｂを用いているが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いることも可能である。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源３１から射出された光を変調するデジタルミラーデバイス等を用いることもできる。また、色光別に複数の光変調装置を備える構成に限定されず、１つの光変調装置で複数の色光を時分割で変調する構成としてもよい。

１…端末装置、２…プロジェクター、１０…制御部、１１…記憶部、１２…表示部、１３…入力操作部、１４…撮像部、１５…通信部、１６…マーカー検出部、１７…フィルター生成部、２０…制御部、２１…記憶部、２２…入力操作部、２３…通信部、２４…画像情報入力部、２５…画像情報処理部、２６…ＯＳＤ処理部、２７…画像投写部、３１…光源、３２Ｒ，３２Ｇ，３２Ｂ…液晶ライトバルブ、３３…投写レンズ、３４…ライトバルブ駆動部、１００…画像投写システム、Ａｉ…入力画像、Ａｍ…基準マーク、Ａｓ…基準画像、Ａｗ…全白画像、Ｂｇ…案内画像、Ｂｍ…照準マーク、Ｂｔ…テキストメッセージ、Ｂｖ…ライブビュー映像、Ｃｉ…画像領域、Ｃｓ…指定領域、Ｌ…線、Ｍ…マーカー、Ｐｆ…フィルター生成プログラム、Ｐｓ…基準点、Ｓｐ…投写面。

Claims (7)

1. 投写面に画像を投写するプロジェクターと、前記プロジェクターとの通信が可能な端末装置と、を備えた画像投写システムであって、
   前記端末装置は、
   撮像部と、
   前記撮像部が撮像した撮像画像に基づいて、前記投写面に配置されたマーカーを検出する検出部と、
   前記検出部により検出された前記マーカーの位置に基づく領域情報を前記プロジェクターに送信する送信部と、を備え、
   前記プロジェクターは、
   画像情報が入力される画像情報入力部と、
   前記端末装置から前記領域情報を受信する受信部と、
   前記画像情報に対して前記領域情報に応じた処理を行う処理部と、
   前記処理部により前記処理が施された画像情報に基づいて前記投写面に画像を投写する投写部と、
   を備えたことを特徴とする画像投写システム。
2. 請求項１に記載の画像投写システムであって、
   前記処理部は、前記領域情報に基づく領域の内側又は外側をマスクする処理を行うことを特徴とする画像投写システム。
3. 請求項１又は２に記載の画像投写システムであって、
   前記送信部は、前記撮像部が前記マーカーを撮像する際に、前記プロジェクターに所定の基準画像を投写させるための制御情報を送信することを特徴とする画像投写システム。
4. 請求項３に記載の画像投写システムであって、
   前記端末装置は、前記撮像部により撮像された前記基準画像に基づいて、前記撮像部により撮像された前記マーカーの位置を補正する補正部をさらに備えることを特徴とする画像投写システム。
5. 請求項１〜４のいずれか一項に記載の画像投写システムであって、
   前記領域情報は、領域の形状を表す情報を含み、
   前記端末装置は、前記検出部により検出された前記マーカーの位置に基づいて、前記領域情報を生成する生成部をさらに備えることを特徴とする画像投写システム。
6. プロジェクターとの通信が可能な端末装置であって、
   撮像部と、
   前記撮像部が撮像した撮像画像に基づいて、前記プロジェクターが画像を投写する投写面に配置されたマーカーを検出する検出部と、
   前記検出部により検出された前記マーカーの位置に基づく領域情報を前記プロジェクターに送信して、前記プロジェクターに前記領域情報に応じた処理を行わせる送信部と、
   を備えたことを特徴とする端末装置。
7. 投写面に画像を投写するプロジェクターと、前記プロジェクターとの通信が可能な端末装置と、を備えた画像投写システムの制御方法であって、
   前記端末装置の撮像部が撮像した撮像画像に基づいて、前記端末装置が、前記投写面に配置されたマーカーを検出し、
   前記端末装置が、検出された前記マーカーの位置に基づく領域情報を前記プロジェクターに送信し、
   前記プロジェクターが、画像情報に対して、前記端末装置から受信した前記領域情報に応じた処理を行い、
   前記プロジェクターが、前記処理が施された画像情報に基づいて前記投写面に画像を投写する、
   ことを特徴とする画像投写システムの制御方法。

Images