JP2022099487A - 画像表示システム、画像表示システムの制御方法、及び、表示装置の制御方法 - Google Patents

Abstract

【課題】拡張画面モードの場合においても、投射画像における指示位置の操作が適切に実行され得る画像表示システムを提供すること。【解決手段】画像供給装置は、第１画像に含まれる第２画像を表示する表示部と、第１画像に含まれ第２画像とは異なる第３画像に基づく画像信号を送信する第１通信部とを有し、表示装置は、受信した画像信号に基づく第４画像を表示する表示部と、第４画像に対する指示体による指示位置を検出する検出部と、検出された指示位置について第４画像上の位置を表す第４画像の座標系における第１座標を特定する特定部と、第２画像の解像度を示す第１情報と、画像供給装置における第２画像に対する第３画像の位置を示す第２情報を取得する取得部と、第１情報及び第２情報に基づいて、第１座標を第１画像上の位置を表す第１画像の座標系における第２座標に変換する演算部と、第２座標を画像供給装置に送信する第２通信部とを備える。【選択図】図１

Description

本発明は、画像表示システム、当該画像表示システムの制御方法、及び、表示装置の制御方法に関する。

ＰＣ（Personal Computer）の画面をスクリーンに投射し、投射された画像に対して、電子ペンやユーザーの指などの指示体を用いて各種指示を入力するインタラクティブ機能を備えたプロジェクターが知られている。このようなプロジェクターによれば、指示体を用いて投射画像に重ねて文字を描画したり、投射画像内に表示されているアイコンを指定することで、当該アイコンに紐付けされた動作を実行することができる。

例えば、特許文献１には、インタラクティブ機能を備えたプロジェクターと、当該プロジェクターに接続されたＰＣとからなる表示システムが開示されている。当該表示システムによれば、プロジェクターの投射画像において指示体により行われる操作指示位置の情報をＰＣへ送信することにより、ＰＣにおいてマウス操作として認識することができる。

特開２０１６－１０５２６４号公報

しかしながら、特許文献１の表示システムでは、ＰＣにおいて認識された指示位置が、投射画像での指示位置とずれてしまうことがあった。詳しくは、ＰＣのディスプレイ設定が拡張画面モードに設定されていた場合、プロジェクターの投射画像における指示位置と、ＰＣの拡張画面上での位置とが対応していないため、ＰＣにおいて認識された指示位置がずれてしまうという課題があった。
つまり、ＰＣが拡張画面モードの場合においても、投射画像における指示位置の操作が適切に実行され得る画像表示システムが求められていた。

本願に係る画像表示システムの制御方法によれば、画像供給装置は、第１画像に含まれる第２画像を表示し、前記第１画像に含まれ前記第２画像とは異なる第３画像に基づく画像信号を表示装置に送信し、前記表示装置は、前記画像信号に基づく第４画像を表示し、前記第４画像に対する指示体による指示位置を検出し、前記指示位置について前記第４画像上の位置を表す前記第４画像の座標系における第１座標を特定し、前記第２画像の解像度を示す第１情報と、前記画像供給装置における、前記第２画像に対する前記第３画像の位置を示す第２情報を取得し、前記第１情報及び前記第２情報に基づいて、前記第１座標を、前記第１画像上の位置を表す前記第１画像の座標系における第２座標に変換し、前記第２座標を前記画像供給装置に送信し、前記画像供給装置は、前記表示装置から前記第２座標を受信した場合に、前記第２座標に基づく処理を実行する。

本願に係る画像表示システムは、画像供給装置と、前記画像供給装置との間で双方向に通信可能に設けられた表示装置とを含む画像表示システムであって、前記画像供給装置は、第１画像に含まれる第２画像を表示する表示部と、前記第１画像に含まれ前記第２画像とは異なる第３画像に基づく画像信号を送信する第１通信部とを、有し、前記表示装置は、受信した前記画像信号に基づく第４画像を表示する表示部と、前記第４画像に対する指示体による指示位置を検出する検出部と、検出された前記指示位置について前記第４画像上の位置を表す前記第４画像の座標系における第１座標を特定する特定部と、前記第２画像の解像度を示す第１情報と、前記画像供給装置における、前記第２画像に対する前記第３画像の位置を示す第２情報を取得する取得部と、前記第１情報及び前記第２情報に基づいて、前記第１座標を、前記第１画像上の位置を表す前記第１画像の座標系における第２座標に変換する演算部と、前記第２座標を前記画像供給装置に送信する第２通信部とを備える。

本願に係る表示装置の制御方法によれば、第１画像に含まれる第２画像を表示する画像供給装置であって、前記第１画像に含まれ前記第２画像とは異なる第３画像に基づく画像信号を送信する前記画像供給装置と、通信する表示装置の制御方法であって、前記表示装置は、前記画像供給装置から受信した前記画像信号に基づく第４画像を表示し、前記第４画像に対する指示体による指示位置を検出し、前記指示位置について前記第４画像上の位置を表す前記第４画像の座標系における第１座標を特定し、前記第２画像の解像度を示す第１情報と、前記画像供給装置における、前記第２画像に対する前記第３画像の位置を示す第２情報を取得し、前記第１情報及び前記第２情報に基づいて、前記第１座標を、前記第１画像上の位置を表す前記第１画像の座標系における第２座標に変換し、前記第２座標を前記画像供給装置に送信する。

実施形態１に係る画像表示システムの概要図。 ＰＣの概略構成を示すブロック図。 プロジェクターの概略構成を示すブロック図。 ＰＣ拡張適合プログラムにおける処理の流れを示すフローチャート図。 横並び全体画像における解像度を示す図。 縦並び全体画像における解像度を示す図。 実施形態２のＰｊ拡張適合プログラムのフローチャート図。 第２情報の設定画面の一態様図。 第１情報の設定画面の一態様図。 実施形態３のＰｊ拡張適合プログラムのフローチャート図。

実施形態１
＊＊＊画像表示システムの概要＊＊＊
図１は、本実施形態に係る画像表示システムの概略構成図である。
図１に示すように、画像表示システム１００は、画像供給装置としてのＰＣ５０と、表示装置としてのプロジェクター８０とから構成される。ＰＣ５０とプロジェクター８０とは、双方向に通信可能に設けられている。

ＰＣ５０は、ノート型パーソナルコンピューターであり、マルチディスプレイ機能を備えている。なお、ノート型パソコンに限定するものではなく、マルチディスプレイ機能を有するＯＳ（Operating System）が搭載された画像供給装置であれば良く、例えば、ディスクトップ型ＰＣであっても良いし、タブレット、スマートフォンなどの携帯型端末であっても良い。
図１に示すように、ＰＣ５０は、マルチディスプレイ機能の拡張モードを用いて表示を行っている。詳しくは、ＰＣ５０の内部では、第１画像２と、第２画像３とが左右に並んだ横長の全体画像１を、原点ｏを基準に認識している。そして、全体画像１のうち、左側の第１画像２をＰＣ５０の表示部に第１画像２ａとして表示させ、右側の第２画像３をプロジェクター８０で投射してスクリーンＳＣに第２画像３ｂとして投射表示させている。つまり、第１画像２に対する第２画像３の位置が右側であることを示す。
ここで、図５に示すように、第１画像２に対する第２画像３の位置が右側であるとは、例えば、第２画像３の原点ｐのｘ座標値が、第１画像２の原点ｏのｘ座標値より大きい値である場合にあたる。同様に、第１画像２に対する第２画像３の位置が左側であるとは、例えば、第２画像３の原点ｐのｘ座標値が、第１画像２の原点ｏのｘ座標値より小さい値である場合にあたる。また、図６に示すように、第１画像２に対する第２画像３の位置が下側であるとは、例えば、第２画像３の原点ｐのｙ座標値が、第１画像２の原点ｏのｙ座標値より大きい値である場合にあたる。同様に、第１画像２に対する第２画像３の位置が上側であるとは、例えば、第２画像３の原点ｐのｙ座標値が、第１画像２の原点ｏのｙ座標値より大きい値である場合にあたる。

図１に戻る。
プロジェクター８０は、インタラクティブ機能を備えたプロジェクターであり、スクリーンＳＣの上部に設置されている。好適例としてスクリーンＳＣは、ホワイトボードであり、投射された画像に重ねてペンによる書込みをしたり、投射表示されたアイコンに対して指で操作することなどが可能に設けられている。なお、プロジェクター８０は、ペンなどの指示体や、指による操作をマウスによる操作と認識するマウスモードに設定されている。好適例において、ＰＣ５０とプロジェクター８０とは、ＨＤＭＩ（登録商標：High-Definition Multimedia Interface）規格に準拠したケーブル７で接続されている。
なお、全体画像１は第１画像に相当し、第１画像２は第２画像、第２画像３は第３画像に相当する。

図１は、会議における１シーンを示しており、ＰＣ５０の第１画像２には会議で確認する項目事項が表示され、プロジェクター８０による第２画像３ｂには実績を示す棒グラフが表示されている。ユーザーは、第２画像３ｂに表示されているページ戻しアイコン９に触れて、棒グラフ表示を１ページ戻す操作を行っている。
画像表示システム１００によれば、後述の制御方法を用いることにより、拡張モードにおいて、プロジェクター８０の第２画像３ｂに行われた操作を、ＰＣ５０において適切に実行することができる。続いて、ＰＣ５０、プロジェクター８０の詳細な構成について説明する。

＊＊＊ＰＣおよびプロジェクターの構成＊＊＊
図２は、ＰＣの概略構成を示すブロック図である。
図２に示すように、ＰＣ５０は、制御部４１、表示部４２、操作部４４、記憶部４７、通信部４８、無線通信部４９などから構成されている。制御部４１は、システムバス４３を介して、上記各部と接続している。なお、通信部４８、無線通信部４９は、第１通信部に相当する。

制御部４１は、１つ又は複数のプロセッサーを含んで構成される。制御部４１は、記憶部４７に記憶されているＯＳ（Operating System）や、アプリケーションプログラムに従って動作することにより、ＰＣ５０の動作を統括制御する。

表示部４２は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイ等の表示デバイスを備えて構成され、画像信号を含む画像データに基づく画像を表示する。

操作部４４は、キーボードや、タッチパッドであり、操作者による入力操作を受け付ける。操作者が操作部４４を操作すると、操作部４４は、システムバス４３を介して、操作内容に応じた操作信号を制御部４１に出力する。

記憶部４７は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリーから構成される。記憶部４７は、ＯＳ、アプリケーションプログラム、および各種データなどを記憶する。アプリケーションプログラムには、後述するＰＣ拡張適合プログラム４５も含まれる。

通信部４８は、インターフェイス部であり、インターフェイス回路、及び、ＨＤＭＩ端子を含んで構成される。ＨＤＭＩ端子には、ＨＤＭＩ規格に準拠したケーブル７が接続される。

無線通信部４９は、無線ＬＡＮ（Local Area Network）や、Ｂｌｕｅｔｏｏｔｈ（登録商標）などにより無線通信を行うための無線通信デバイスを備えて構成される。無線通信部４９は、制御部４１の制御に基づき、プロジェクター８０などの外部の装置との間で無線接続による情報の送受信を行う。

図３は、プロジェクターの概略構成を示すブロック図である。
図３に示すように、プロジェクター８０は、制御部２０、記憶部２１、操作部２２、操作信号受信部２３、通信部２４、無線通信部２５、検出部２６、画像情報入力部２７、画像情報処理部２８、ＯＳＤ処理部２９、表示部としての画像投写部３０などから構成されている。なお、通信部２４、無線通信部２５は、第２通信部に相当する。
プロジェクター８０は、画像情報入力部２７に入力される画像信号を含む画像データに基づいて、画像投写部３０から画像を投射する。

制御部２０は、１つ又は複数のプロセッサーを備えて構成され、記憶部２１に記憶されている制御プログラムに従って動作することによりプロジェクター８０の動作を統括制御する。

記憶部２１は、ＲＡＭ、およびＲＯＭを備えて構成される。ＲＡＭは、各種データ等の一時記憶に用いられ、ＲＯＭは、プロジェクター８０の動作を制御するための制御プログラムや制御データなどを記憶する。制御プログラムには、後述するＰｊ拡張適合プログラム３９も含まれる。なお、Ｐｊ拡張適合プログラム３９には３つのバリエーションがあり、各実施形態に対応したＰｊ拡張適合プログラム３９ａ～３９ｃが記憶されている。

操作部２２は、操作者がプロジェクター８０に対して各種指示を行うための複数の操作キーを備えている。操作部２２が備える操作キーとしては、電源のオンとオフとを切り替えるための「電源キー」、各種設定を行うためのメニューを表示させる「メニューキー」、メニューの項目を選択するための「方向キー」などがある。操作者が操作部２２の各種操作キーを操作すると、操作部２２は、操作内容に応じた操作信号を制御部２０に出力する。

操作信号受信部２３は、赤外線信号受信部であり、図示しない受光素子やデコーダー等を備えて構成される。操作信号受信部２３は、リモコン５から送信される赤外線の操作信号を受信してデコードし、制御部２０に伝達する。なお、リモコン５には、選択項目を選択するための方向キーや、決定キー、数字入力用のテンキーなどが設けられている。また、Ｂｌｕｅｔｏｏｔｈに準拠したリモコン、および受信部であっても良い。

通信部２４は、インターフェイス部であり、インターフェイス回路、及び、ＨＤＭＩ端子を含んで構成される。ＨＤＭＩ端子には、ＨＤＭＩ規格に準拠したケーブル７が接続される。

無線通信部２５は、無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈなどにより無線通信を行うための無線通信デバイスを備えて構成される。無線通信部２５は、制御部２０の制御に基づき、ＰＣ５０などの外部の装置との間で無線接続による情報の送受信を行う。

検出部２６は、撮像部であり、ＣＣＤ（Charge Coupled Device）センサー、またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーなどの撮像素子を備えたカメラである。検出部２６は、制御部２０の制御に基づいて画像投写部３０から投射される第２画像３ｂを撮像し、撮像した画像データを制御部２０に出力する。制御部２０は、撮像データを解析し、指示体や、指の位置を特定する。
なお、検出部２６は、光源および光センサーを備え、可視光や、赤外光をスクリーンＳＣに向けて照射し、反射光を受信して解析することにより、指示体や、指の位置を特定することであっても良い。

画像情報入力部２７は、ＰＣ５０からケーブル７を介して、画像信号を含む画像情報の供給を受ける。なお、無線通信部２５を用いて無線通信により、画像供給装置から画像情報を受信しても良い。また、画像情報入力部２７は、制御部２０から、記憶部２１に記憶されている画像情報の供給を受けることができる。画像情報入力部２７は、制御部２０の制御に基づいて、画像供給装置又は制御部２０から入力された画像情報に対して、必要に応じて様々な画像処理を施し、処理後の画像情報を画像情報処理部２８に出力する。

画像情報処理部２８は、制御部２０の制御に基づいて、画像情報入力部２７から入力される画像情報に対して、必要な画像処理を施し、処理後の画像情報をＯＳＤ処理部２９に出力する。

ＯＳＤ処理部２９は、制御部２０の制御に基づいて、入力画像上にメッセージ画像や、設定画面、メニュー画像等のＯＳＤ（オンスクリーンディスプレイ）画像を重畳して表示するための処理を行う。ＯＳＤ処理部２９は、図示しないＯＳＤメモリーを備えており、ＯＳＤ画像を形成するための図形やフォント等を表すＯＳＤ画像情報を記憶している。ＯＳＤ画像情報には、後述する設定画面の画像情報も含まれている。制御部２０が、ＯＳＤ画像の重畳を指示すると、ＯＳＤ処理部２９は、必要なＯＳＤ画像情報をＯＳＤメモリーから読み出し、入力画像上の所定の位置にＯＳＤ画像が重畳されるように、画像情報処理部２８から入力される画像情報にこのＯＳＤ画像情報を合成する。ＯＳＤ画像情報が合成された画像情報は、画像投写部３０のライトバルブ駆動部３４に出力される。

画像投写部３０は、光源３１、光変調装置としての３つの液晶ライトバルブ３２Ｒ，３２Ｇ，３２Ｂ、投写光学系としての投写レンズ３３、ライトバルブ駆動部３４などから構成される。
画像投写部３０は、光源３１から射出された光を、液晶ライトバルブ３２Ｒ，３２Ｇ，３２Ｂで変調して画像光を形成し、この画像光を投写レンズ３３から投射する。

光源３１は、発光ダイオードや半導体レーザー等の固体光源を含んで構成されている。なお、超高圧水銀ランプやメタルハライドランプなどの放電型の光源ランプを用いても良い。光源３１から射出された光は、図示しないインテグレーター光学系によって輝度分布が略均一な光に変換され、図示しない色分離光学系によって光の３原色である赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色光成分に分離された後、それぞれ液晶ライトバルブ３２Ｒ，３２Ｇ，３２Ｂに入射する。

液晶ライトバルブ３２Ｒ，３２Ｇ，３２Ｂは、それぞれ一対の透明基板間に液晶が封入された透過型の液晶パネル等によって構成される。各液晶パネルには、マトリクス状に配列された複数の画素からなる矩形の画像形成領域３２ｉが形成されており、液晶に対して画素毎に駆動電圧を印加可能になっている。

ライトバルブ駆動部３４は、液晶ライトバルブ３２Ｒ，３２Ｇ，３２Ｂの画像形成領域３２ｉに画像を形成する。具体的には、ライトバルブ駆動部３４は、ＯＳＤ処理部２９から入力される画像情報に応じた駆動電圧を、画像形成領域３２ｉの各画素に印加し、各画素を画像情報に応じた光透過率に設定する。光源３１から射出された光は、液晶ライトバルブ３２Ｒ，３２Ｇ，３２Ｂの画像形成領域３２ｉを透過することによって画素毎に変調され、画像情報に応じた画像光が色光毎に形成される。形成された各色の画像光は、図示しない色合成光学系によって画素毎に合成されてカラー画像を表す画像光となり、投写レンズ３３によって拡大投射される。

なお、画像情報入力部２７、画像情報処理部２８、およびＯＳＤ処理部２９は、１つ又は複数のプロセッサー等によって構成されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの専用の処理装置によって構成されてもよい。
また、上記では、プロジェクター８０は、３つの液晶ライトバルブ３２Ｒ，３２Ｇ，３２Ｂを光変調装置として備える構成を例示したが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いても良い。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源２１から射出された光を変調するデジタルミラーデバイス等を光変調装置として用いても良い。また、色光別に複数の光変調装置を備える構成に限定されず、１つの光変調装置で複数の色光を時分割で変調する構成としても良い。

＊＊＊ＰＣ拡張適合プログラムの流れ＊＊＊
図４は、ＰＣ拡張適合プログラムの処理の流れを示すフローチャート図である。図５は、横並び拡張モードにおける画像の座標態様を示す図である。
ここでは、ＰＣ拡張適合プログラム４５を搭載したＰＣ５０、およびプロジェクター８０による拡張モードにおける制御方法について、図４を主体に、適宜、図１、図５を交えて説明する。
なお、以下説明において、各ステップの実行主体はＰＣ５０の制御部４１、および、プロジェクター８０の制御部２０である。

ステップＳ１では、ＰＣ５０においてディスプレイ設定の拡張モードが選択される。一例として、拡張モードにおいて、図１に示すように、全体画像１において、左側の第１画像２をＰＣ５０に表示させ、右側の第２画像３をプロジェクター８０に表示させる設定がなされたものとする。なお、拡張モードが選択されると、記憶部４７のＰＣ拡張適合プログラム４５が自動的に起動するように設定されている。

ステップＳ２では、ＰＣ５０において第１画像２による第１画像２ａを表示する。詳しくは、第１画像２の画像信号に基づく画像が、ＰＣ５０の表示部４２に第１画像２ａとして表示される。

ステップＳ３では、ＰＣ５０は、第２画像３の画像信号を含む画像情報をプロジェクター８０に送信する。つまり、ＰＣ５０は、ステップＳ１～Ｓ３で、全体画像１に含まれる第１画像２を表示し、全体画像１に含まれ第１画像２とは異なる第２画像３に基づく画像信号をプロジェクター８０に送信する。
ステップＳ４では、ＰＣ５０は、第１画像２の解像度を示す第１情報と、第１画像２に対する第２画像３の位置を示す第２情報とを、プロジェクター８０に送信する。なお、好適例において第１情報、第２情報は、ＨＤＭＩに準拠したケーブル７のＣＥＣ（Consumer Electronics Control）機能を用いて送信する。詳しくは、ケーブル７におけるＣＥＣ機能用の信号ラインに、ＶＳＣ(Vendor Specific Command)コマンドにより第１情報、第２情報を載せて送信する。つまり、ケーブル７において、画像信号、および、第１情報、第２情報は並行して送信される。

ステップＳ１１では、プロジェクター８０は、受信した第２画像３の画像信号による第２画像３ｂを投射する。なお、第２画像３ｂは、第４画像に相当する。
ステップＳ１２では、プロジェクター８０は、第１情報、第２情報を受信する。詳しくは、取得部としての通信部２４により、第１情報、第２情報を受信する。プロジェクター８０は、第１情報、第２情報を受信すると、記憶部２１のＰｊ拡張適合プログラム３９ａを起動する。なお、ここでは、処理内容を明確にするために２つのステップに分けて記載しているが、実際は、前述した通り、ケーブル７を介して、第２画像３の画像信号の受信と、第１情報、第２情報の受信とは並行して行われる。

ステップＳ１３では、プロジェクター８０は、スクリーンＳＣに投射された第２画像３ｂに対して操作指示が行われた場合、当該指示位置を検出する。詳しくは、検出部２６により第２画像３ｂを撮像し、撮像データを解析することにより、操作の有無を確認し、操作指示が行われた場合は、当該指示位置を検出する。操作による指示位置を検出した場合は、ステップＳ１４に進む。操作がないか、指示位置を検出できなかった場合は、検出を継続する。

ステップＳ１４では、プロジェクター８０は、検出された指示位置の座標である第１座標を特定する。詳しくは、制御部２０が、撮像データにおける指示位置と、第２画像３の座標系における座標とを照合する特定部５１として機能することにより、第１座標を特定する。例えば、図１に示すように、第２画像３ｂにおけるページ戻しアイコン９が操作された場合は、指示位置ｑの座標を、原点ｐを基準としたＸＹ座標における第１座標（１５５０，９００）と特定する。なお、第２画像３ｂの解像度はハイビジョン（１９２０×１０８０）で、第２画像３ｂの左上を原点ｐとしている。

ステップＳ１５では、プロジェクター８０は、第１座標を第２座標に変換する。詳しくは、第１情報及び第２情報に基づいて、特定された第１座標を、全体画像１の座標系における第２座標に変換する。
例えば、指示位置ｑの場合、第１情報における第１画像２の解像度がハイビジョンであることから、拡張された第２画像３の解像度も同じハイビジョンであることが解る。これは、拡張モードにおける２つの画像の解像度は、一般的に同一であるからである。そして、第２情報から第１画像２に対する第２画像３の位置が、右であることが解る。これにより、図５に示すように、ＰＣ５０における全体画像１の座標系が特定される。全体画像１の座標系では、第１画像２の左上を原点ｏとして、右隣りに第２画像３が配置されるため、Ｘ座標は１９２０×２で最大３８４０となる。Ｙ座標は最大１０８０である。よって、ＸＹ座標は（３８４０，１０８０）と横長の座標系となる。

ここで、第２画像３の座標系において特定された指示位置ｑの第１座標（１５５０，９００）を、そのままＰＣ５０に送信した場合を考えると、当該座標は、ＰＣ５０における全体画像１の座標系では、第１画像２における座標と誤認識されてしまい、ページ戻しは実行されないことになってしまう。このため、指示位置ｑの第１座標を全体画像１の座標系における第２座標に変換する。詳しくは、第１座標（１５５０，９００）に対して、第２画像３の原点座標（１９２０，０）を加算することにより、第２座標（３４７０，９００）に変換する。なお、この変換は、制御部２０が、第１情報及び第２情報から全体画像１の座標系を認識し、第１座標に対して、第２画像３の原点座標を加算する演算部５２として機能することにより行われる。

ステップＳ１６では、プロジェクター８０は、変換された第２座標をＰＣ５０に送信する。なお、プロジェクター８０による投射画像が、第１画像２である場合、換言すれば、第２情報が左である場合は、第１座標と第２座標とが同じ座標系となるため、ステップＳ１５の変換処理は不要であり、ステップＳ１４で特定した第１座標を、ステップＳ１６でそのまま送信すれば良い。

ステップＳ５では、ＰＣ５０は、受信した第２座標に基づく処理を実行する。例えば、第２座標（３４７０，９００）を受信した場合、図５の第２画像３における指示位置ｑに配置されたページ戻しアイコン９に紐づけされた機能が実行される。
なお、アイコンへの割当て機能の実行だけでなく、ペンなどの指示体により投射画像に重ねてスクリーンＳＣに記入された文字などの描写内容を、ＯＳＤ処理部２９により、第２画像３に重畳させることも可能である。

図６は、縦並び拡張モードにおける画像の座標態様を示す図であり、図５に対応している。上記では、横並び拡張モードでの事例を説明したが、２つの画像が上下に配置された縦並び拡張モードにおいても、同様に、この制御方法を適用することができる。
図６に示すように、全体画像１１において、上側の第１画像２をＰＣ５０に表示させ、下側の第２画像３をプロジェクター８０に表示させる拡張モード設定がなされたものとする。ここで、プロジェクター８０の第２画像３の座標系において、ページ戻しアイコン９を操作した場合、指示位置ｑの座標は、ステップＳ１４において第１座標（１５５０，９００）と特定される。また、ステップＳ１２で受信した第１情報の解像度はハイビジョンで、第２情報の第１画像２に対する第２画像３の位置は下側である。

ステップＳ１５では、プロジェクター８０は、まず、図６に示す、ＰＣ５０における全体画像１１の座標系を特定する。全体画像１１の座標系では、第１画像２の左上を原点ｏとして、下に第２画像３が配置されるため、Ｙ座標は１０８０×２で最大２１６０となる。Ｘ座標は最大１９２０である。よって、ＸＹ座標は（１９２０，２１６０）と縦長の座標系となる。次に、指示位置ｑの第１座標を全体画像１１の座標系における第２座標に変換する。詳しくは、第１座標（１５５０，９００）に対して、第２画像３の原点座標（０，１０８０）を加算することにより、第２座標（１５５０，１９８０）に変換する。ステップＳ１６では、プロジェクター８０は、変換された第２座標をＰＣ５０に送信する。

ステップＳ５では、ＰＣ５０は、受信した第２座標に基づく処理を実行する。例えば、第２座標（１５５０，１９８０）を受信した場合、図６の第２画像３における指示位置ｑに配置されたページ戻しアイコン９に紐づけされた機能が実行される。
なお、プロジェクター８０による投射画像が、第１画像２である場合、換言すれば、第２情報が上である場合は、第１座標と第２座標とが同じ座標系となるため、ステップＳ１５の変換処理は不要であり、ステップＳ１４で特定した第１座標を、ステップＳ１６でそのまま送信すれば良い。

以上述べた通り、本実施形態の画像表示システム１００、および、当該システムの制御方法によれば、以下の効果を得ることができる。
ＰＣ５０と、ＰＣ５０との間で双方向に通信可能に設けられたプロジェクター８０とを含む画像表示システム１００であって、ＰＣ５０は、第１画像としての全体画像１に含まれる第２画像としての第１画像２を表示する表示部４２と、全体画像１に含まれ第１画像２とは異なる第３画像としての第２画像３に基づく画像信号を送信する第１通信部とを、有し、プロジェクター８０は、受信した画像信号に基づく第４画像としての第２画像３ｂを表示する表示部としての画像投写部３０と、第２画像３ｂに対する指示体による指示位置を検出する検出部２６と、検出された指示位置について第２画像３ｂ上の位置を表す第２画像３の座標系における第１座標を特定する特定部５１と、第１画像２の解像度を示す第１情報と、ＰＣ５０における第１画像２に対する第２画像３の位置を示す第２情報を取得する通信部２４と、第１情報及び第２情報に基づいて、第１座標を、全体画像１上の位置を表す全体画像１の座標系における第２座標に変換する演算部５２と、第２座標をＰＣ５０に送信する第２通信部としての通信部２４を備える。

この画像表示システム１００によれば、プロジェクター８０は、第１画像２の解像度を示す第１情報と、ＰＣ５０における第１画像２に対する第２画像３の位置を示す第２情報に基づき、指示体による指示位置を示す第１座標を、全体画像１上の位置を表す全体画像の座標系における第２座標に変換し、第２座標をプロジェクター８０に送信する。
よって、ＰＣ５０は、全体画像１の座標系に変換された第２座標により、プロジェクター８０が投射する第２画像３ｂにおける指示位置を正しく認識することができる。
従って、ＰＣ５０が拡張モードの場合においても、投射画像における指示位置の操作が適切に実行可能な画像表示システム１００を提供することができる。

画像表示システム１００の制御方法によれば、ＰＣ５０は、全体画像１に含まれる第１画像２を表示し、全体画像１に含まれ第１画像２とは異なる第２画像３に基づく画像信号をプロジェクター８０に送信する。そして、プロジェクター８０は、画像信号に基づく第２画像３ｂを表示し、第２画像３ｂに対する指示体による指示位置を検出し、指示位置について第２画像３ｂ上の位置を表す第２画像３の座標系における第１座標を特定し、第１画像２の解像度を示す第１情報と、ＰＣ５０における第１画像２に対する第２画像３の位置を示す第２情報を取得し、第１情報及び第２情報に基づいて、第１座標を、全体画像１上の位置を表す全体画像の座標系における第２座標に変換し、第２座標をプロジェクター８０に送信し、ＰＣ５０は、プロジェクター８０から第２座標を受信した場合に、第２座標に基づく処理を実行する。なお、プロジェクター８０が主体となって、表示装置の制御方法として第２座標の送信までを行うことであっても良い。

この方法によれば、プロジェクター８０は、第１画像２の解像度を示す第１情報と、ＰＣ５０における第１画像２に対する第２画像３の位置を示す第２情報に基づき、指示体による指示位置を示す第１座標を、全体画像１上の位置を表す全体画像の座標系における第２座標に変換し、第２座標をプロジェクター８０に送信する。
よって、ＰＣ５０は、全体画像１の座標系に変換された第２座標により、プロジェクター８０が投射する第２画像３ｂにおける指示位置を正しく認識することができる。
従って、ＰＣ５０が拡張モードの場合においても、投射画像における指示位置の操作が適切に実行可能な画像表示システム１００の制御方法を提供することができる。

また、ＰＣ５０は、第１情報及び第２情報を含むデータをプロジェクター８０に送信し、プロジェクター８０は、受信したデータから第１情報及び第２情報を取得する。
これにより、プロジェクター８０は、第１情報及び第２情報を取得することができる。

実施形態２
＊＊＊Ｐｊ拡張適合プログラムの流れ－１＊＊＊
図７は、Ｐｊ拡張適合プログラムの処理の流れを示すフローチャート図である。図８、図９は、第１情報及び第２情報の入力設定画面の一例を示す図である。
実施形態１では、ＰＣ５０が主体的に第１情報及び第２情報をプロジェクター８０に送信する方法を採用していたが、本実施形態では、プロジェクター８０が主体的に当該情報を取得する点が実施形態１と異なる。
また、本実施形態では、ＰＣ５０とプロジェクター８０との間における画像情報の送受信にケーブル７を用いず、双方の無線通信部４９と無線通信部２５とを用いて画像情報の送受信を行う点も、実施形態１と異なる。これらの点以外は、実施形態１の画像表示システム１００と同様である。以下、実施形態１と同じ構成部位には、同一の附番を附し、重複する説明は省略する。

まず、ＰＣ５０におけるステップＳ１からステップＳ３の処理は、実施形態１での説明と同じであるが、ステップＳ１で拡張モードが選択された際に、ＰＣ拡張適合プログラムは起動しない設定となっている。換言すれば、本実施形態ではＰＣ５０に専用のアプリケーションは必要ない。
ステップＳ１で拡張モードが選択された後、ステップＳ２ではＰＣ５０において第１画像２による第１画像２ａを表示する。続いて、ステップＳ３では、ＰＣ５０は、第２画像３の画像信号を含む画像情報をプロジェクター８０に送信する。なお、画像情報は、無線通信部４９から無線ＬＡＮ環境で送信される。

ステップＳ２１では、プロジェクター８０は、受信した第２画像３の画像信号による第２画像３ｂを投射する。なお、本実施形態では、プロジェクターが起動すると、記憶部２１のＰｊ拡張適合プログラム３９ｂが自動的に起動する設定となっている。
ステップＳ２２では、プロジェクター８０は、拡張表示の設定内容の入力設定画面を表示する。詳しくは、ＯＳＤ処理部２９により、図８に示す設定画面６１を、第２画像３ｂ上に重畳表示させる。

設定画面６１は、第２情報の入力画面であり、拡張モードにおける第２画像３の表示位置の選択項目が一覧表示されている。選択項目は、プロジェクター８０の拡張モードにおける表示位置が、上、下、左、右、複製の５項目が設けられている。
ステップＳ２３では、プロジェクター８０は、選択画面で入力される第１情報及び第２情報を受付ける。詳しくは、ユーザーが、選択画面に、第１情報及び第２情報を入力する。ユーザーは、設定画面６１の選択項目の中から、ＰＣ５０で拡張モード設定した際の表示位置と同じ項目を選択する。
例えば、図１に示す拡張モード設定の場合、ユーザーは、リモコン５の方向キーで、「ＰＪ表示：右」のアイコン６２を選択する。これにより、図８のように、アイコン６２が反転表示される。続けて、ユーザーがリモコン５の決定キーを押すと、第２情報は右として入力される。
なお、ディフォルトでは、「ＰＪ表示：複製」のアイコン６３が反転表示されているため、拡張設定していない場合は、そのままリモコン５の決定キーを押すことで設定画面６１は終了する。

第２情報が入力されると、設定画面６１が図９の設定画面６５に切替わる。
設定画面６５は、第１情報の入力画面であり、第１画像２の解像度の選択項目が一覧表示されている。選択項目は、解像度が、ＷＸＧＡ、ＵＸＧＡ、ＦＨＤ、２Ｋ、４Ｋ、キー入力の６項目が設けられている。なお、他の解像度の選択肢がさらに設けられていても良い。
例えば、図１に示す拡張モード設定の場合、ユーザーは、リモコン５の方向キーで、「ＦＨＤ（１９２０×１０８０）」のアイコン６６を選択する。これにより、図９のように、アイコン６６が反転表示される。続けて、ユーザーがリモコン５の決定キーを押すと、第１情報はＦＨＤとして入力され、設定画面６５は終了する。
なお、「キー入力」のアイコン６７が選択された場合は、解像度入力用の別画面が表示されるため、当該画面にリモコン５のテンキーで、解像度を手入力することもできる。

以降のステップＳ２４からステップＳ２７は、実施形態１のステップＳ１３からステップＳ１６と同じである。詳しくは、プロジェクター８０は、ステップＳ２４では、第２画像３ｂに対して操作指示が行われた場合、当該指示位置を検出する。ステップＳ２５では検出された指示位置の座標である第１座標を特定する。
そして、ステップＳ２６では、ステップＳ２３で入力された第１情報及び第２情報に基づき、第１座標を第２座標に変換する。ステップＳ２７では、変換された第２座標をＰＣ５０に送信する。

ステップＳ５では、ＰＣ５０は、受信した第２座標に基づく処理を実行する。例えば、第２座標（３４７０，９００）を受信した場合、図５の第２画像３における指示位置ｑに配置されたページ戻しアイコン９に紐づけされた機能が実行される。
なお、上記の通り、本実施形態では、第１情報及び第２情報を受付ける選択画面を表示させるＯＳＤ処理部２９、及び、制御部２０が取得部としての機能を果たす。

以上述べた通り、本実施形態によれば、実施形態１での効果に加えて、以下の効果を得ることができる。
プロジェクター８０は、第１情報及び第２情報の入力を促す設定画面６１，６５を表示し、設定画面６１，６５において設定された第１情報及び第２情報を取得する。
これにより、ＰＣ５０に専用のアプリケーションを必要とせずに、プロジェクター８０主体で、効率良く第１情報及び第２情報を取得することができる。ＰＣ５０は、第１情報及び第２情報に基づき、全体画像１の座標系に変換された第２座標により、プロジェクター８０が投射する第２画像３ｂにおける指示位置を正しく認識することができる。
従って、ＰＣ５０が拡張モードの場合においても、投射画像における指示位置の操作が適切に実行可能な画像表示システム１００、及び、制御方法を提供することができる。

実施形態３
＊＊＊Ｐｊ拡張適合プログラムの流れ－２＊＊＊
図１０は、Ｐｊ拡張適合プログラムの処理の流れを示すフローチャート図である。
実施形態２では、第１情報及び第２情報を設定画面６１，６５に入力させることにより取得していたが、本実施形態では、第１情報の取得を自動化した点が、実施形態２と異なる。また、プロジェクター８０が主体的に当該情報を取得する点、および、ＰＣ５０とプロジェクター８０との間における画像情報の送受信を、双方の無線通信部４９と無線通信部２５とを用いて行う点は、実施形態２と同じである。以下、上記各実施形態と同じ構成部位には、同一の附番を附し、重複する説明は省略する。

まず、ＰＣ５０におけるステップＳ１からステップＳ３の処理は、実施形態１での説明と同じであるが、ステップＳ１で拡張モードが選択された際に、ＰＣ拡張適合プログラムは起動しない設定となっている。換言すれば、本実施形態ではＰＣ５０に専用のアプリケーションは必要ない。
ステップＳ１で拡張モードが選択された後、ステップＳ２ではＰＣ５０において第１画像２による第１画像２ａを表示する。続いて、ステップＳ３では、ＰＣ５０は、第２画像３の画像信号を含む画像情報をプロジェクター８０に送信する。なお、画像情報は、無線通信部４９から無線ＬＡＮ環境で送信される。

ステップＳ３１では、プロジェクター８０は、受信した第２画像３の画像信号による第２画像３ｂを投射する。なお、本実施形態では、プロジェクターが起動すると、記憶部２１のＰｊ拡張適合プログラム３９ｃが自動的に起動する設定となっている。
ステップＳ３２では、プロジェクター８０は、受信した第２画像３の画像信号の解像度を解析する。そして、解析した解像度を、第１画像２の解像度と推定する。前述したように、拡張モードにおける第１画像２と第２画像３との解像度は、一般的に同じであることから、第２画像３の解像度を、第１画像２の解像度と推定する。

ステップＳ３３では、プロジェクター８０は、拡張表示の第２情報の入力設定画面を表示する。詳しくは、ＯＳＤ処理部２９により、図８に示す設定画面６１を、第２画像３ｂ上に重畳表示させる。ユーザーは、設定画面６１の選択項目の中から、ＰＣ５０で拡張モード設定した際の表示位置と同じ項目を選択する。
例えば、図１に示す拡張モード設定の場合、ユーザーは、リモコン５の方向キーで、「ＰＪ表示：右」のアイコン６２を選択する。これにより、図８のように、アイコン６２が反転表示される。続けて、ユーザーがリモコン５の決定キーを押すと、第２情報は右として入力され、設定画面６１は終了する。なお、本実施形態では、実施形態２と異なり設定画面の切替えは行われない。

以降のステップＳ３５からステップＳ３８は、実施形態１のステップＳ１３からステップＳ１６と同じである。詳しくは、プロジェクター８０は、ステップＳ３５では、第２画像３ｂに対して操作指示が行われた場合、当該指示位置を検出する。ステップＳ３６では検出された指示位置の座標である第１座標を特定する。
そして、ステップＳ３７では、ステップＳ３２で推定した第１情報と、ステップＳ３４で入力された第２情報に基づき、第１座標を第２座標に変換する。ステップＳ３８では、変換された第２座標をＰＣ５０に送信する。

ステップＳ５では、ＰＣ５０は、受信した第２座標に基づく処理を実行する。例えば、第２座標（３４７０，９００）を受信した場合、図５の第２画像３における指示位置ｑに配置されたページ戻しアイコン９に紐づけされた機能が実行される。
なお、上記の通り、本実施形態では、第２画像３の画像信号を解析して第１情報を取得する制御部２０、及び、第２情報を受付ける選択画面を表示させるＯＳＤ処理部２９、及び、制御部２０が取得部としての機能を果たす。

以上述べた通り、本実施形態によれば、上記各実施形態での効果に加えて、以下の効果を得ることができる。
プロジェクター８０は、受信した第２画像３の画像信号に基づいて、第１情報を推定し、第２情報の入力を促す設定画面６１を表示し、設定画面６１において設定された第２情報を取得する。
これにより、ＰＣ５０に専用のアプリケーションを必要とせずに、プロジェクター８０主体で、効率良く第１情報及び第２情報を取得することができる。また、ユーザーによる入力操作は、第２情報だけで良いので簡便である。ＰＣ５０は、第１情報及び第２情報に基づき、全体画像１の座標系に変換された第２座標により、プロジェクター８０が投射する第２画像３ｂにおける指示位置を正しく認識することができる。
従って、ＰＣ５０が拡張モードの場合においても、投射画像における指示位置の操作が適切に実行可能な画像表示システム１００、及び、制御方法を提供することができる。

また、図３に示したプロジェクター８０の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター８０の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

上述した実施形態では、表示装置としてプロジェクター８０を用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、液晶表示パネルに画像を表示する液晶表示や、有機ＥＬパネルに画像を表示する表示装置など、モニター若しくはテレビなどの自発光型の表示装置を用いた構成としてもよい。この場合、指示体や、指の位置を特定するために、表示装置にＣＣＤセンサー、またはＣＭＯＳセンサーなどの撮像素子を備えさせる構成でもよいし、表示パネルをタッチパネルとする構成としてもよい。

１…全体画像、２…第１画像、２ａ…第１画像、３…第２画像、３ｂ…第２画像、５…リモコン、７…ケーブル、９…ページ戻しアイコン、１１…全体画像、２０…制御部、２１…記憶部、２２…操作部、２３…操作信号受信部、２４…通信部、２５…無線通信部、２６…検出部、２７…画像情報入力部、２８…画像情報処理部、２９…ＯＳＤ処理部、３０…画像投写部、３１…光源、３２ｉ…画像形成領域、３２Ｒ…液晶ライトバルブ、３３…投写レンズ、３４…ライトバルブ駆動部、３９…Ｐｊ拡張適合プログラム、４１…制御部、４２…表示部、４３…システムバス、４４…操作部、４５…ＰＣ拡張適合プログラム、４７…記憶部、４８…通信部、４９…無線通信部、５０…ＰＣ、５１…特定部、５２…演算部、６１，６５…設定画面、６２，６３，６５，６６，６７…アイコン、８０…プロジェクター、１００…画像表示システム。

Claims (6)

1. 画像供給装置は、
   第１画像に含まれる第２画像を表示し、前記第１画像に含まれ前記第２画像とは異なる第３画像に基づく画像信号を表示装置に送信し、
   前記表示装置は、
   前記画像信号に基づく第４画像を表示し、
   前記第４画像に対する指示体による指示位置を検出し、前記指示位置について前記第４画像上の位置を表す前記第４画像の座標系における第１座標を特定し、
   前記第２画像の解像度を示す第１情報と、前記画像供給装置における、前記第２画像に対する前記第３画像の位置を示す第２情報を取得し、
   前記第１情報及び前記第２情報に基づいて、前記第１座標を、前記第１画像上の位置を表す前記第１画像の座標系における第２座標に変換し、
   前記第２座標を前記画像供給装置に送信し、
   前記画像供給装置は、前記表示装置から前記第２座標を受信した場合に、前記第２座標に基づく処理を実行する、
   画像表示システムの制御方法。
2. 前記表示装置は、前記第１情報及び前記第２情報の入力を促す設定画面を表示し、
   前記設定画面において設定された前記第１情報及び前記第２情報を取得する、
   請求項１に記載の画像表示システムの制御方法。
3. 前記画像供給装置は、前記第１情報及び前記第２情報を含むデータを前記表示装置に送信し、
   前記表示装置は、受信した前記データから前記第１情報及び前記第２情報を取得する、
   請求項１に記載の画像表示システムの制御方法。
4. 前記表示装置は、
   受信した前記画像信号に基づいて、前記第１情報を推定し、
   前記第２情報の入力を促す設定画面を表示し、
   前記設定画面において設定された前記第２情報を取得する、
   請求項１に記載の画像表示システムの制御方法。
5. 画像供給装置と、前記画像供給装置との間で双方向に通信可能に設けられた表示装置とを含む画像表示システムであって、
   前記画像供給装置は、
   第１画像に含まれる第２画像を表示する表示部と、
   前記第１画像に含まれ前記第２画像とは異なる第３画像に基づく画像信号を送信する第１通信部とを、有し、
   前記表示装置は、
   受信した前記画像信号に基づく第４画像を表示する表示部と、
   前記第４画像に対する指示体による指示位置を検出する検出部と、
   検出された前記指示位置について前記第４画像上の位置を表す前記第４画像の座標系における第１座標を特定する特定部と、
   前記第２画像の解像度を示す第１情報と、前記画像供給装置における、前記第２画像に対する前記第３画像の位置を示す第２情報を取得する取得部と、
   前記第１情報及び前記第２情報に基づいて、前記第１座標を、前記第１画像上の位置を表す前記第１画像の座標系における第２座標に変換する演算部と、
   前記第２座標を前記画像供給装置に送信する第２通信部と、を備える、
   画像表示システム。
6. 第１画像に含まれる第２画像を表示する画像供給装置であって、前記第１画像に含まれ前記第２画像とは異なる第３画像に基づく画像信号を送信する前記画像供給装置と、通信する表示装置の制御方法であって、
   前記表示装置は、
   前記画像供給装置から受信した前記画像信号に基づく第４画像を表示し、
   前記第４画像に対する指示体による指示位置を検出し、前記指示位置について前記第４画像上の位置を表す前記第４画像の座標系における第１座標を特定し、
   前記第２画像の解像度を示す第１情報と、前記画像供給装置における、前記第２画像に対する前記第３画像の位置を示す第２情報を取得し、
   前記第１情報及び前記第２情報に基づいて、前記第１座標を、前記第１画像上の位置を表す前記第１画像の座標系における第２座標に変換し、
   前記第２座標を前記画像供給装置に送信する、
   表示装置の制御方法。

Images