JP2013033303A - 電子機器、操作支援方法及びプログラム - Google Patents

Abstract

【課題】 タッチパネルを備える第１ディスプレイと、タッチパネルが設けられていない第２ディスプレイとが接続されたとき、第１ディスプレイに設けられたタッチパネルを用いた第２ディスプレイの操作を支援できる電子機器及び操作支援方法を提供すること。
【解決手段】 実施形態によれば、電子機器は、タッチパネルと第１ディスプレイとを備えるタッチスクリーンディスプレイを具備し、第２ディスプレイと接続可能な電子機器であって、操作画面切替手段と入力制御手段とを具備する。操作画面切替手段は、前記第１ディスプレイと前記第２ディスプレイのいずれか一方を、前記タッチパネルを用いた入力によって操作される操作対象画面に設定する。入力制御手段は、前記第２ディスプレイが前記操作対象画面に設定された場合、前記タッチパネルを用いた入力に応じて前記第２ディスプレイを操作する。
【選択図】図３

Description

本発明の実施形態は、タッチスクリーンディスプレイを備える電子機器、並びに該機器に適用される入力支援方法及びプログラムに関する。

ディスプレイの画面をタッチすることによって、該ディスプレイに表示された画像内のオブジェクトを直感的に操作できるタッチスクリーンディスプレイが普及している。ユーザは、例えば、ディスプレイに表示されたアイコン、ボタン、スクロールバー、画像、ウィンドウ等のオブジェクトをタッチすることによって、タッチしたオブジェクトに関連付けられた機能を実行することができる。このようなタッチスクリーンディスプレイは、例えば、携帯型ゲーム機、スマートフォン、タブレット型パーソナルコンピュータ（ＰＣ）等で利用されている。

また、会議場や講義室のような広い場所に集まった聴衆が視認でき、且つ発表者（ユーザ）が直感的に操作できる大型のタッチスクリーンディスプレイを実現することもできる。そのような大型のタッチスクリーンディスプレイでは、タッチスクリーンディスプレイの上部に手が届かないことや、タッチスクリーンディスプレイの左端や右端に移動しなければならないことによって、タッチ操作のための労力を要する可能性がある。そのため、タッチスクリーンディスプレイに表示されている所定の領域の画像を縮小し、縮小した画像をタッチスクリーンディスプレイ内の別の小画面領域に表示し、この小画面領域へのタッチ操作を当該所定の領域に対するタッチ操作に置き換えることにより、タッチスクリーンディスプレイを操作する技術が提案されている。これにより、ユーザは、大型のタッチスクリーンディスプレイを利用するときに、ユーザが現在操作している位置から離れた位置に表示されている対象を容易に操作することができる。

特開２００９−６４２０９号公報

ところで、コンピュータに、タッチパネルを備える第１ディスプレイと、タッチパネルが設けられていない第２ディスプレイとが接続されることがある。その場合、コンピュータは、第１ディスプレイと第２ディスプレイとに同時に同じ映像を表示すること（クローン表示）や、第１ディスプレイと第２ディスプレイとに同時に異なる映像を表示すること（拡張表示）ができる。拡張表示では、ユーザは、複数のディスプレイをあたかも一つのディスプレイとして利用することができる。

しかし、第１ディスプレイ（タッチスクリーンディスプレイ）では、画面に表示されたオブジェクトを、タッチパネルを用いて直感的に操作できる一方、第２ディスプレイでは、タッチパネルを用いた直感的な操作を行うことができない。

本発明は、タッチパネルを備える第１ディスプレイと、タッチパネルが設けられていない第２ディスプレイとが接続されたとき、第１ディスプレイに設けられたタッチパネルを用いた第２ディスプレイの操作を支援できる電子機器、操作支援方法及びプログラムを提供することを目的とする。

実施形態によれば、電子機器は、タッチパネルと第１ディスプレイとを備えるタッチスクリーンディスプレイを具備し、第２ディスプレイと接続可能な電子機器であって、操作画面切替手段と入力制御手段とを具備する。操作画面切替手段は、前記第１ディスプレイと前記第２ディスプレイのいずれか一方を、前記タッチパネルを用いた入力によって操作される操作対象画面に設定する。入力制御手段は、前記第２ディスプレイが前記操作対象画面に設定された場合、前記タッチパネルを用いた入力に応じて前記第２ディスプレイを操作する。

実施形態に係る電子機器の外観を示す斜視図。 同実施形態の電子機器の構成を示すブロック図。 同実施形態の電子機器によって実行される操作支援プログラムの構成を示すブロック図。 同実施形態の電子機器によって表示される画面の例を示す図。 同実施形態の電子機器によって表示される画面の別の例を示す図。 同実施形態の電子機器によって表示される画面のさらに別の例を示す図。 同実施形態の電子機器によって表示される画面の遷移の例を示す図。 同実施形態の電子機器によって実行される画面画像表示制御処理の手順の例を示すフローチャート。 同実施形態の電子機器によって実行されるタッチ入力制御処理の手順の例を示すフローチャート。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばタブレットタイプのパーソナルコンピュータ（ＰＣ）１０として実現される。また、この電子機器は、スマートフォン、ＰＤＡ、ノートブックタイプのＰＣ等としても実現され得る。図１に示すように、本コンピュータ１０は、コンピュータ本体１１とタッチスクリーンディスプレイ１７とから構成される。

コンピュータ本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、ＬＣＤ（liquid crystal display）１７Ａ及びタッチパネル１７Ｂが組み込まれている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面を覆うように設けられる。タッチスクリーンディスプレイ１７は、コンピュータ本体１１の上面に重ね合わせるように取り付けられている。

コンピュータ本体１１の上側面には、本コンピュータ１０を電源オン／電源オフするためのパワーボタン、音量調節ボタン、メモリカードスロット等が配置されている。コンピュータ本体１１の下側面には、スピーカ等が配置されている。コンピュータ本体の右側面には、例えばＵＳＢ（universal serial bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１３、ＨＤＭＩ（high-definition multimedia interface）規格に対応した外部ディスプレイ接続端子２等が設けられている。この外部ディスプレイ接続端子２は、デジタル映像信号を外部ディスプレイに出力するために用いられる。

図２は、本コンピュータ１０のシステム構成を示す図である。
本コンピュータ１０は、図２に示されるように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスコントローラ１０５、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０７、ＬＡＮコントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール１１０、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ（ＥＣ）１１３、ＥＥＰＲＯＭ１１４、ＨＤＭＩ制御回路３等を備える。

ＣＰＵ１０１は、コンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、操作支援プログラム２０２、各種アプリケーションプログラム等を実行する。操作支援プログラム２０２は、タッチスクリーンディスプレイ１７を用いた入力操作を支援するための操作支援機能を有する。操作支援プログラム２０２は、タッチスクリーンディスプレイ１７に設けられたタッチパネル１７Ｂを用いて、タッチスクリーンディスプレイ１７に設けられたＬＣＤ１７Ａに表示された画面だけでなく、例えば、ＨＤＭＩ端子２を介して接続された外部ディスプレイ装置１に表示された画面も操作できるように、タッチパネル１７Ｂを用いた入力を制御する。

例えば、外部ディスプレイ装置１がコンピュータ１０に接続されていないとき、タッチパネル１７Ｂを用いた操作によって、ＬＣＤ１７Ａに表示された画面が操作される。そして、例えば、外部ディスプレイ装置１がコンピュータ１０に接続されているとき、操作支援プログラム２０２は、タッチパネル１７Ｂを用いた操作によって、ＬＣＤ１７Ａに表示された画面と外部ディスプレイ装置１に表示された画面のいずれか一方が操作されるように制御する。そのため、タッチパネル１７Ｂを用いて外部ディスプレイ装置１に表示された画面を操作する場合、操作支援プログラム２０２は、タッチパネル１７Ｂ上のタッチ入力（操作）を、外部ディスプレイ装置１に表示された画面上の操作に変換する。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０５との通信を実行する機能も有している。

グラフィクスコントローラ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０５によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて映像を表示する。

ＨＤＭＩ端子２は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルで外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。つまり、コンピュータ１０は、ＨＤＭＩ端子２等を介して、外部ディスプレイ装置１に接続可能である。

サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。

サウスブリッジ１０４は、タッチパネル１７Ｂを制御するためのＵＳＢコントローラを内蔵している。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うためのポインティングデバイスである。ユーザは、タッチパネル１７Ｂを用いて、ＬＣＤ１７Ａの画面に表示されたグラフィカルユーザインタフェース（ＧＵＩ）等を操作することができる。例えば、ユーザは、画面に表示されたボタンをタッチすることによって、当該ボタンに対応する機能の実行を指示することができる。また、このＵＳＢコントローラは、例えば、ＵＳＢコネクタ１３に接続されたＵＳＢ２．０規格のケーブルを介して外部機器との通信を実行する。

さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ１０８は、例えばＩＥＥＥ ８０２．３規格の有線通信を実行する有線通信デバイスである。無線ＬＡＮコントローラ１１２は、例えばＩＥＥＥ ８０２．１１ｇ規格の無線通信を実行する無線通信デバイスである。Ｂｌｕｅｔｏｏｔｈモジュール１１０は、外部機器とのＢｌｕｅｔｏｏｔｈ通信を実行する通信モジュールである。

ＥＣ１１３は、電力管理のためのエンベデッドコントローラを含む１チップマイクロコンピュータである。ＥＣ１１３は、ユーザによるパワーボタンの操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。

なお、コンピュータ１０は、タッチパネルを有さないディスプレイを内蔵し、タッチパネルとディスプレイとを備えるタッチスクリーンディスプレイを外部接続する構成であってもよい。また、コンピュータ１０は、タッチパネルとディスプレイとを備えるタッチスクリーンディスプレイと、タッチパネルを有さないディスプレイとを外部接続する構成であってもよい。

次いで、図３を参照して、操作支援プログラム２０２の一機能構成を説明する。操作支援プログラム２０２は、タッチスクリーンディスプレイ１７に設けられたタッチパネル１７Ｂを用いて、タッチスクリーンディスプレイ１７に設けられたＬＣＤ１７Ａに表示された画面だけでなく、例えば、ＨＤＭＩ端子２を介して接続された外部ディスプレイ装置１に表示された画面も操作できるように、タッチパネル１７Ｂを用いた入力を制御する。ＬＣＤ１７Ａの画面と外部ディスプレイ装置１の画面とには、それぞれ、アイコン、ボタン、スクロールバー、画像、テキスト、ウィンドウ等の各種のオブジェクトが表示されている。このオブジェクトは、ユーザによる操作の対象であるＧＵＩである。操作支援プログラム２０２は、操作画面切替部３０、表示制御部３１及び入力制御部３２を備える。

操作画面切替部３０は、コンピュータ１０に、タッチスクリーンディスプレイ１７と１以上のディスプレイとが接続されているときに（すなわち、コンピュータ１０が、タッチスクリーンディスプレイ１７と１以上のディスプレイとを利用可能であるときに）、タッチスクリーンディスプレイ１７に設けられたタッチパネル１７Ｂを用いて操作する対象のディスプレイ（以下、操作対象画面、メイン画面とも称する）を切り替える。操作画面切替部３０は、例えば、ユーザによる所定の操作に応じて、操作対象画面を切り替える。操作画面切替部３０は、例えば、操作支援プログラム２０２が起動されたとき、外部ディスプレイ装置１がコンピュータ１０に接続されたとき等に、外部ディスプレイ装置１の画面を操作対象であるメイン画面に設定し、ＬＣＤ１７Ａの画面を操作対象でない画面（以下、非メイン画面とも称する）に設定する。また、操作画面切替部３０は、例えば、操作支援プログラム２０２が終了したとき、外部ディスプレイ装置１がコンピュータ１０から切断されたとき等に、ＬＣＤ１７Ａの画面をメイン画面に設定し、外部ディスプレイ装置１の画面を非メイン画面に設定する。

タッチパネル１７Ｂを用いたタッチ入力は、メイン画面に作用するように制御される。すなわち、ＬＣＤ１７Ａの画面がメイン画面に設定され、外部ディスプレイ装置１の画面が非メイン画面に設定されたとき、タッチパネル１７Ｂを用いたタッチ入力に応じて、メイン画面であるＬＣＤ１７Ａの画面が操作される。タッチパネル１７ＢによるＬＣＤ１７Ａの画面の操作は、例えば、タッチスクリーンディスプレイ１７の通常の動作によって実現され得る。また、外部ディスプレイ装置１の画面がメイン画面に設定され、ＬＣＤ１７Ａの画面が非メイン画面に設定されたとき、タッチパネル１７Ｂを用いたタッチ入力に応じて、メイン画面である外部ディスプレイ装置１の画面が操作される。タッチパネル１７Ｂによる外部ディスプレイ装置１の画面の操作は、後述する表示制御部３１と入力制御部３２とによって実現される。

操作画面切替部３０は、外部ディスプレイ装置１の画面がメイン画面に設定され、ＬＣＤ１７Ａの画面が非メイン画面に設定されたとき、表示制御部３１（表示イベント検出部３１１）に、外部ディスプレイ装置１の画面がメイン画面に設定されたことを通知する。

表示制御部３１は、タッチスクリーンディスプレイ１７に設けられたＬＣＤ１７Ａに表示される画像を制御する。表示制御部３１は、表示イベント検出部３１１、画面画像キャプチャ部３１２、画面情報検出部３１３、操作画像生成部３１４、及び操作画像表示部３１５を備える。

表示イベント検出部３１１は、操作画面切替部３０によって外部ディスプレイ装置１の画面がメイン画面に設定されたことを示す通知を受けた場合、メイン画面に表示されている画面画像（例えば、デスクトップ画面の画像）を非メイン画面に表示するための表示イベントを検出する。表示イベントは、メイン画面の画面画像を非メイン画面に表示するためのイベントだけでなく、非メイン画面に既に表示されている、メイン画面の画面画像を更新するためのイベントも含む。したがって、表示イベント検出部３１１は、例えば、所定の操作が行われたこと（例えば、所定のボタンが押されたこと）、メイン画面に表示されている画面画像が更新されたこと等を表示イベントとして検出する。表示イベント検出部３１１によって表示イベントが検出されたとき、メイン画面に表示されている画面画像が非メイン画面に表示される。
表示イベント検出部３１１は、表示イベントが検出された場合、表示イベントが検出されたことを画面画像キャプチャ部３１２と画面情報検出部３１３とに通知する。

画面画像キャプチャ部３１２は、表示イベント検出部３１１による通知に応じて、画面に描画されている画像をキャプチャする。キャプチャされた画像は、例えば、外部ディスプレイ装置１の画面に描画されている画像（メイン画面画像とも云う）と、ＬＣＤ１７Ａの画面に描画されている画像（非メイン画面画像とも云う）とを含む。画面画像キャプチャ部３１２は、キャプチャされた画像を操作画像生成部３１４に出力する。

また、画面情報検出部３１３は、表示イベント検出部３１１による通知に応じて、メイン画面の画面サイズ（ＬＸ，ＬＹ）と非メイン画面の画面サイズ（ｌｘ，ｌｙ）とを検出する。画面情報検出部３１３は、例えば、ＯＳ２０１によって検出されている、外部ディスプレイ装置１（メイン画面）の画面サイズやＬＣＤ１７Ａ（非メイン画面）の画面サイズ等を示す画面情報を用いて、メイン画面の画面サイズ（ＬＸ，ＬＹ）と非メイン画面の画面サイズ（ｌｘ，ｌｙ）とを検出する。画面サイズは、例えばピクセル単位で表される画面の幅と高さとを示す。画面情報検出部３１３は、検出されたメイン画面の画面サイズ（ＬＸ，ＬＹ）と非メイン画面の画面サイズ（ｌｘ，ｌｙ）とを操作画像生成部３１４に出力する。

操作画像生成部３１４は、画面画像キャプチャ部３１２によって出力されたキャプチャ画像を用いて、メイン画面画像と非メイン画面画像とを切り出す。そして、操作画像生成部３１４は、画面情報検出部３１３によって出力されたメイン画面の画面サイズ（ＬＸ，ＬＹ）と非メイン画面の画面サイズ（ｌｘ，ｌｙ）とを用いて、メイン画面画像のサイズ（ＬＸ，ＬＹ）を、非メイン画面であるＬＣＤ１７Ａの画面サイズ（ｌｘ，ｌｙ）に応じて変更することにより、メイン画面を操作するための操作画像を生成する。例えば、メイン画面の画面サイズ（ＬＸ，ＬＹ）が非メイン画面の画面サイズ（ｌｘ，ｌｙ）よりも大きい場合、メイン画面画像をサイズ（ｌｘ，ｌｙ）に縮小した操作画像を生成する。また、メイン画面の画面サイズ（ＬＸ，ＬＹ）が非メイン画面の画面サイズ（ｌｘ，ｌｙ）よりも小さい場合、メイン画面画像をサイズ（ｌｘ，ｌｙ）に拡大した操作画像を生成する。したがって、非メイン画面上の座標（ｘ，ｙ）とメイン画面画像上の座標（Ｘ，Ｙ）との対応は次式によって算出される。
ｘ＝（ｌｘ／ＬＸ）×Ｘ
ｙ＝（ｌｙ／ＬＹ）×Ｙ
操作画像生成部３１４は、伸縮されたメイン画面画像（操作画像）を操作画像表示部３１５に出力する。なお、メイン画面画像は、非メイン画面の画面サイズに限らず、非メイン画面に表示可能なサイズ（すなわち、非メイン画面の画面サイズよりも小さいサイズ）に伸縮されてもよい。

操作画像表示部３１５は、操作画像生成部３１４によって出力された、伸縮されたメイン画面画像を非メイン画面であるＬＣＤ１７Ａの画面に表示する。操作画像表示部３１５は、メイン画面画像を、例えば所定の透過度で非メイン画面に重畳して描画する。メイン画面画像が透過して表示されることにより、ユーザは、非メイン画面に既に表示されている画像と、メイン画面を操作するために新たに表示されたメイン画面画像とを区別して視認できるので、タッチ入力等の操作を容易に行うことができる。なお、非メイン画面に表示されるメイン画面画像が、非メイン画面の画面サイズよりも小さいとき、操作画像表示部３１５は、メイン画面画像を透過せずに非メイン画面に表示してもよい。また、操作画像表示部３１５は、メイン画面画像が非メイン画面に既に表示されているとき（すなわち、メイン画面画像を更新するためのイベントが起きているとき）、操作画像生成部３１４によって出力されたメイン画面画像を用いて、非メイン画面に表示されているメイン画面画像を更新する。操作画像表示部３１５は、非メイン画面にメイン画面画像が表示されたこと（又は、非メイン画面に表示されている画面画像が更新されたこと）を、入力制御部３２（タッチ入力検出部３２１）に通知する。

なお、表示イベント検出部３１１は、さらに、メイン画面画像の一部を拡大して表示するための表示イベントを検出してもよい。表示イベント検出部３１１は、例えば、非メイン画面に表示されているメイン画面画像がタッチされたことを表示イベントとして検出する。そして、表示イベント検出部３１１は、そのタッチされた位置を示す座標情報を操作画像生成部３１４に出力する。

操作画像生成部３１４は、表示イベント検出部３１１によって出力された座標情報を用いて、メイン画面画像から、その座標情報で示される位置を含む所定の領域を切り出す。そして、操作画像生成部３１４は、切り出された画像を非メイン画面のサイズに応じて伸縮する。具体的には、例えば、表示イベント検出部３１１によって出力された座標情報が、メイン画面画像に含まれる１以上のウィンドウの内の第１ウィンドウ内の位置であるとき、操作画像生成部３１４は、メイン画面画像から、第１ウィンドウを含む画像（領域）を切り出す。切り出される画像は、例えば、第１ウィンドウを含み、且つ非メイン画面と同様のアスペクト比を有する領域に対応する。操作画像生成部３１４は、切り出された画像を、非メイン画面のサイズに応じて伸縮する。操作画像生成部３１４は、伸縮された画像を操作画像表示部３１５に出力する。そして、操作画像表示部３１５は、伸縮された画像を用いて、非メイン画面に表示されている画面画像を更新する。

次いで、入力制御部３２は、外部ディスプレイ装置１の画面がメイン画面（タッチパネル１７Ｂによる操作対象の画面）に設定され、ＬＣＤ１７Ａの画面が非メイン画面に設定されているとき、非メイン画面に表示されたメイン画面画像に対する、タッチパネル１７Ｂを用いたタッチ入力が、メイン画面に作用するように制御する。入力制御部３２は、タッチ入力検出部３２１、座標変換部３２２及び入力イベント生成部３２３を備える。

タッチ入力検出部３２１は、タッチパネル１７Ｂを用いたタッチ入力を検出する。このタッチ入力は、タッチパネル１７Ｂを触れる操作を示し、タップ入力、ドラッグ入力、フリック入力等を含み、また複数の箇所が同時に触れられるマルチタッチ入力も含む。タッチ入力検出部３２１は、非メイン画面（すなわち、タッチパネル１７Ｂ）上のタッチ入力座標（ｘ，ｙ）を検出する。そして、タッチ入力検出部３２１は、検出された非メイン画面上のタッチ入力座標（ｘ，ｙ）を座標変換部３２２に出力する。

座標変換部３２２は、タッチ入力検出部３２１によって検出されたタッチ入力座標（ｘ，ｙ）を、メイン画面（外部ディスプレイ装置１）上の座標（Ｘ，Ｙ）に変換する。座標変換部３２２は、例えば、以下の式を用いて、タッチ入力座標（ｘ，ｙ）に対応するメイン画面上の座標（Ｘ，Ｙ）を算出する。
Ｘ＝（ＬＸ／ｌｘ）×ｘ
Ｙ＝（ＬＹ／ｌｙ）×ｙ
なお、上述のように、（ＬＸ，ＬＹ）はメイン画面のサイズを示し、（ｌｘ，ｌｙ）は非メイン画面のサイズを示す。座標変換部３２２は、算出されたメイン画面上の座標（Ｘ，Ｙ）をイベント生成部３２３に出力する。

入力イベント生成部３２３は、座標変換部３２２によって出力されたメイン画面上の座標（Ｘ，Ｙ）を用いて、座標（Ｘ，Ｙ）がタッチされたことを示すイベントを発行する。コンピュータ１０によって実行されるＯＳ２０１や各種のプログラムは、発行されたイベントに応じて、当該イベントに対応する処理を実行する。これにより、非メイン画面（タッチパネル１７Ｂ）上でのタッチ入力が、メイン画面上でのタッチ入力に置き換えられ、メイン画面に作用する。例えば、発行されたイベントに示される座標（Ｘ，Ｙ）が、メイン画面上に表示されたボタン内の位置を示す場合、そのボタンに関連付けられた機能が実行される。また、例えば、発行されたイベントに示される座標（Ｘ，Ｙ）が、メイン画面上に表示されたウィンドウ内の位置を示す場合、そのウィンドウがアクティブな状態に設定される。

以上の構成により、タッチパネル１７ＢとＬＣＤ１７Ａとを備えるタッチスクリーンディスプレイ１７と、タッチパネルが設けられていない外部ディスプレイ装置１とが接続されたとき、タッチスクリーンディスプレイ１７に設けられたタッチパネル１７Ｂを用いて外部ディスプレイ装置１に表示されたオブジェクトを容易に操作できる。つまり、タッチスクリーンディスプレイ１７に設けられたタッチパネル１７Ｂを用いた操作を、ＬＣＤ１７Ａと外部ディスプレイ装置１のいずれか一方に作用させることができる。また、外部ディスプレイ装置１が操作対象画面（メイン画面）に設定されているとき、外部ディスプレイ装置１に表示されている画面の画像をタッチスクリーンディスプレイ１７（ＬＣＤ１７Ａ）に表示することによって、タッチパネル１７Ｂを用いて外部ディスプレイ装置１の操作を直感的に行うことができる。

図４から図７は、本実施形態のコンピュータ１０によって表示される画面の例を示す。図４から図７に示す例では、コンピュータ１０に、タッチスクリーンディスプレイ１７が内蔵され、外部ディスプレイ装置１が接続されることを想定する。また、操作画面切替部３０によって、外部ディスプレイ装置１が、タッチパネル１７Ｂによって操作されるメイン画面（操作対象画面）４２に設定され、タッチスクリーンディスプレイ１７に設けられたＬＣＤ１７Ａが、タッチパネル１７Ｂによって操作されない非メイン画面４１に設定されることを想定する。つまり、タッチパネル１７Ｂによる入力は、非メイン画面４１であるＬＣＤ１７Ａではなく、メイン画面４２（外部ディスプレイ装置１）を操作するために用いられる。

図４に示す例では、メイン画面４２にウィンドウ４２１，４２２，４２３，４２４が表示されている。ユーザは、メイン画面４２上で指示したい点４２Ａに対応する、非メイン画面４１（タッチパネル１７Ｂ）上の点４１Ａをタッチすることにより、メイン画面４２に対するタッチ入力を行う。ユーザは、例えば、メイン画面４２を参照しながら、メイン画面４２上の点４２Ａが相対的に対応する非メイン画面４１上の点４１Ａをタッチする。

ユーザが、非メイン画面４１上の点４１Ａをタッチした場合、点４１Ａに対するタッチ入力は、メイン画面４２上の点４２Ａに対するタッチ入力に置き換えられる。具体的には、非メイン画面４１上の点４１Ａの座標が、メイン画面４２上の座標（点４２Ａ）に変換される。そして、点４１Ａに対するタッチ入力は、メイン画面４２上の点４２Ａに対するタッチ入力として作用する。これによりユーザは、タッチパネル１７Ｂを用いて、外部ディスプレイ装置１であるメイン画面４２を操作することができる。具体的には、例えば、ユーザが非メイン画面４１上の点４１Ａをタッチした場合、この点４１Ａに対応する、メイン画面４２上の点４２Ａを含むウィンドウ４２１がアクティブな状態に設定される。

しかし、メイン画面４２を参照しながら非メイン画面４１上で操作を行うので、メイン画面４２上の指示したい点に対応しない、非メイン画面４１上の点をタッチしてしまう等、タッチミスが生じることがある。つまり、ユーザがタッチしている対象は、タッチスクリーンディスプレイ１７（すなわち、コンピュータ１０本体側）であるが、システムによって制御される対象は外部ディスプレイ装置１の画面となるので、ユーザの感覚に基づく相対的な操作が求められ、ボタンの押しミス等が発生する可能性がある。例えば、メイン画面４２上に複数の細かいオブジェクト（ボタン等）が表示されている場合には、メイン画面４２上の指示したい点に対応する、非メイン画面４１上の点を正確に指示することは難しい。また、例えば、タッチしたいボタンとは異なるボタンがタッチされ、意図しない処理が実行されてしまう可能性がある。

そのため、図５に示す例のように、所定の操作に応じて、メイン画面４２に表示されている画面画像に対応する画像が非メイン画面４３に表示される。これによりユーザは、メイン画面４２自体を見ることなく、タッチパネル１７Ｂを用いて（すなわち、非メイン画面４３を見て）メイン画面４２に対する操作を行うことができる。つまり、ユーザは、相対的な操作ではなく、直接的な操作を行うことができるようになるので、ボタンの押しミスのような誤操作が防止され、ユーザによる操作性を向上させることができる。

図５に示す例では、図４に示した例と同様に、メイン画面４２にウィンドウ４２１，４２２，４２３，４２４が表示されている。そして、非メイン画面４３には、メイン画面４２の画面画像が伸縮された画像が所定の透過度で表示されている。したがって、非メイン画面４３に表示された画像に含まれるウィンドウ４３１，４３２，４３３，４３４は、メイン画面４２に表示されたウィンドウ４２１，４２２，４２３，４２４にそれぞれ対応する。ユーザは、メイン画面４２上で指示したい点４２Ｂに対応する、非メイン画面４３（タッチパネル１７Ｂ）上の点４３Ａをタッチすることにより、メイン画面４２に対するタッチ入力を行う。したがってユーザは、非メイン画面４３に表示された、メイン画面４２の画面画像が縮小された画像を見て、メイン画面４２自体を見ることなく、メイン画面４２を直感的に操作することができる。

ユーザが、非メイン画面４３上の点４３Ａをタッチした場合、点４３Ａに対するタッチ入力は、メイン画面４２上の点４２Ｂに対するタッチ入力に置き換えられる。具体的には、非メイン画面４３上の点４３Ａの座標が、メイン画面４２上の座標（点４２Ｂ）に変換される。そして、点４３Ａに対するタッチ入力は、メイン画面４２上の点４２Ｂに対するタッチ入力として作用する。例えば、ユーザが、非メイン画面４３上の点４３Ａをタッチした場合、この点４３Ａに対応する、メイン画面４２上の点４２Ｂを含むウィンドウ４２１がアクティブな状態に設定される。

また、図６に示す例では、図４に示した例と同様に、メイン画面４２にウィンドウ４２１，４２２，４２３，４２４が表示されている。そして、例えば、図５に示した非メイン画面４３上でウィンドウ４２１内の位置を指示する操作（タッチ入力）が行われたことに応じて、非メイン画面４４には、メイン画面画像の一部が拡大された画像が所定の透過度で描画される。この操作は、例えば、ウィンドウ４２１をアクティブな状態に設定するための操作である。図６の非メイン画面４４には、操作されたウィンドウ４２１に対応するウィンドウ４４１を主に含む領域が拡大された画像が描画されている。非メイン画面４４に表示された画像に含まれるウィンドウ４４１，４４２，４４４は、メイン画面４２に表示されたウィンドウ４２１，４２２，４２４にそれぞれ対応している。

ユーザは、メイン画面４２上で指示したい点４２Ｃに対応する、非メイン画面４４（タッチパネル１７Ｂ）上の点４４Ａをタッチすることにより、メイン画面４２に対するタッチ入力を行う。ユーザは、非メイン画面４４に表示された、メイン画面画像の一部が拡大された画像を見ることにより、メイン画面４２を見ることなく、メイン画面４２を操作することができる。また、メイン画面画像の一部が拡大された画像を用いることにより、画面画像内の細かいオブジェクト等を容易に操作することができる。

ユーザが、非メイン画面４４上の点４４Ａをタッチした場合、点４４Ａに対するタッチ入力は、メイン画面４２上の点４２Ｃに対するタッチ入力に置き換えられる。具体的には、非メイン画面４４上の点４４Ａの座標が、メイン画面４２上の座標（点４２Ｃ）に変換される。そして、点４４Ａに対するタッチ入力は、メイン画面４２上の点４２Ｃに対するタッチ入力として作用する。例えば、ユーザが、非メイン画面４４上のボタン４４５をタッチしたことに応じて、このボタン４４５に対応する、メイン画面４２上のボタン４２５に関連付けられた機能（処理）が実行される。

次いで、図７は、メイン画面４２に表示された画面画像が、非メイン画面４１に表示される際の画面遷移の例を示す。ここで、タッチスクリーンディスプレイ１７を内蔵するコンピュータ１０は、起動ボタン（ハードウェアボタン）５１を備えることを想定する。この起動ボタン５１は、メイン画面４２に表示された画面画像を非メイン画面４１に表示することを指示するためのボタンである。この起動ボタン５１が押されたことは、表示イベント検出部３１１によって、メイン画面４２に表示されている画面画像を非メイン画面４１に表示するための表示イベントとして検出される。

図４を参照して説明したように、ユーザは、メイン画面４２上で指示したい点４２Ａに対応する、非メイン画面４１（タッチパネル１７Ｂ）上の点４１Ａをタッチすることにより、メイン画面４２に対するタッチ入力を行う。これによりユーザは、タッチパネル１７Ｂを用いて、外部ディスプレイ装置１であるメイン画面４２を操作することができる。

そして、起動ボタン５１を指５２等で押すことによって、図５を参照して説明したように、非メイン画面４３に、メイン画面４２に表示されている画面画像が描画される。これによりユーザは、タッチパネル１７Ｂ（非メイン画面４３）を用いて、メイン画面４２を見ることなく、メイン画面４２を直感的に操作することができる。

次いで、図８に示すフローチャートを参照して、電子機器１０によって実行される画面画像表示制御処理の手順の例について説明する。なお、ここでは、処理の開始時に、タッチスクリーンディスプレイ１７に設けられたＬＣＤ１７Ａが、タッチパネル１７Ｂによる操作対象画面（メイン画面）に設定されていることを想定する。

まず、操作画面切替部３０は、操作対象画面（メイン画面）を外部ディスプレイ装置１に切り替えるか否かを判定する（ブロックＢ１０１）。操作画面切替部３０は、例えば、ユーザによる所定の操作が検出されたとき、操作対象画面を切り替える。例えば、操作支援プログラム２０２が起動されたこと、外部ディスプレイ装置１がコンピュータ１０に接続されたこと等に応じて、操作対象画面がＬＣＤ１７Ａから外部ディスプレイ装置１に切り替えられる。操作対象画面が外部ディスプレイ装置１に切り替えられない場合（ブロックＢ１０１のＮＯ）、ブロックＢ１０１に戻り、再度、操作対象画面を外部ディスプレイ装置１に切り替えるか否かが判定される。操作対象画面が外部ディスプレイ装置１に切り替えられる場合（ブロックＢ１０１のＹＥＳ）、操作画面切替部３０は、外部ディスプレイ装置１を操作対象画面に設定する（ブロックＢ１０２）。また、操作画面切替部３０は、ＬＣＤ１７Ａを操作対象でない画面（非メイン画面）に設定する。

次いで、表示イベント検出部３１１は、操作対象画面の操作を支援するための操作画像をＬＣＤ１７Ａに表示するか否かを判定する（ブロックＢ１０３）。例えば、操作画像をＬＣＤ１７Ａに表示するためのボタン５１が押されたことが検出されたとき、操作画像がＬＣＤ１７Ａに表示される。操作画像をＬＣＤ１７Ａに表示しない場合（ブロックＢ１０３のＮＯ）、表示イベント検出部３１１は、ブロックＢ１０３に戻り、再度、操作画像をＬＣＤ１７Ａ表示するか否かを判定する。

操作画像をＬＣＤ１７Ａに表示する場合（ブロックＢ１０３のＹＥＳ）、画面情報検出部３１３は、操作対象画面（メイン画面）である外部ディスプレイ装置１の画面サイズ（ＬＸ，ＬＹ）を検出する（ブロックＢ１０４）。そして、画面情報検出部３１３は、非メイン画面であるＬＣＤ１７Ａの画面サイズ（ｌｘ，ｌｙ）を検出する（ブロックＢ１０５）。

次いで、画面画像キャプチャ部３１２は、画面に描画されている画像をキャプチャする（ブロックＢ１０６）。キャプチャされた画像は、例えば、外部ディスプレイ装置１の画面に描画されている画像（メイン画面画像）と、ＬＣＤ１７Ａの画面に描画されている画像（非メイン画面画像）とを含む。操作画像生成部３１４は、キャプチャされた画像から、メイン画面画像と非メイン画面画像とを切り出す（ブロックＢ１０７）。そして、操作画像生成部３１４は、メイン画面画像を、非メイン画面であるＬＣＤ１７Ａの画面サイズ（ｌｘ，ｌｙ）に応じて伸縮する（ブロックＢ１０８）。例えば、メイン画面の画面サイズ（ＬＸ，ＬＹ）が非メイン画面１７Ａの画面サイズ（ｌｘ，ｌｙ）よりも大きい場合、メイン画面画像をサイズ（ｌｘ，ｌｙ）に縮小する。また、メイン画面の画面サイズ（ＬＸ，ＬＹ）が非メイン画面１７Ａの画面サイズ（ｌｘ，ｌｙ）よりも小さい場合、メイン画面画像をサイズ（ｌｘ，ｌｙ）に拡大する。そして、操作画像表示部３１５は、伸縮されたメイン画面画像（操作画像）を非メイン画面であるＬＣＤ１７Ａの画面に透過して描画する（ブロックＢ１０９）。

次いで、表示イベント検出部３１１は、メイン画面に描画されている画像が更新されたか否かを判定する（ブロックＢ１１０）。メイン画面に描画されている画像は、例えば、ユーザによる操作や各種のイベントが発生することによって更新される。メイン画面に描画されている画像が更新されている場合（ブロックＢ１１０のＹＥＳ）、ブロックＢ１０６からブロックＢ１０９までの処理が実行されることによって、非メイン画面に描画されているメイン画面画像が更新される。

メイン画面に描画されている画像が更新されていない場合（ブロックＢ１１０のＮＯ）、表示イベント検出部３１１は、操作画像の描画を終了するか否かを判定する（ブロックＢ１１１）。表示イベント検出部３１１は、例えば、外部ディスプレイ装置１の画面が非メイン画面に切り替えられるとき、又は外部ディスプレイ装置１とコンピュータ１０との間の接続が解除（切断）されたとき、操作画像の描画を終了する。

操作画像の描画を終了しない場合（ブロックＢ１１１のＮＯ）、ブロックＢ１１０に戻り、再度、メイン画面が更新されたか否かが判定される。一方、操作画像の描画を終了する場合（ブロックＢ１１１のＹＥＳ）、操作画像表示部３１５は、操作画像の描画を終了する（ブロックＢ１１２）。

また、図９は、コンピュータ１０によって実行されるタッチ入力制御処理の手順の例を示す。以下では、外部ディスプレイ装置１の画面がメイン画面に設定され、タッチスクリーンディスプレイ１７（ＬＣＤ１７Ａ）の画面が非メイン画面に設定されていることを想定する。また、非メイン画面には、メイン画面に表示されている画面の画像が表示されていることを想定する。

まず、タッチ入力検出部３２１は、タッチパネル１７Ｂを用いたタッチ入力が検出されたか否かを判定する（ブロックＢ２１）。このタッチ入力は、タッチパネル１７Ｂに触れる操作を示し、ドラッグ入力、フリック入力等も含む。タッチ入力が検出されていない場合（ブロックＢ２１のＮＯ）、ブロックＢ２１に戻り、再度、タッチ入力が検出されたか否かが判定される。

タッチ入力が検出された場合（ブロックＢ２１のＹＥＳ）、タッチ入力検出部３２１は、非メイン画面（すなわち、タッチパネル１７Ｂ）上のタッチ入力座標（ｘ，ｙ）を検出する（ブロックＢ２２）。そして、座標変換部３２２は、検出されたタッチ入力座標（ｘ，ｙ）を、メイン画面（外部ディスプレイ装置１）上の座標（Ｘ，Ｙ）に変換する（ブロックＢ２３）。

次いで、入力イベント生成部３２３は、メイン画面上の座標（Ｘ，Ｙ）がタッチされたことを示すイベントを発行する（ブロックＢ２４）。コンピュータ１０によって実行されるＯＳ２０１や各種のプログラムは、発行されたイベントに応じて、当該イベントに対応する処理を実行する。例えば、イベントに示される座標（Ｘ，Ｙ）が、メイン画面上に表示されたボタン内を示す座標である場合、そのボタンに関連付けられた機能が実行される。また、例えば、イベントに示される座標（Ｘ，Ｙ）が、メイン画面上に表示されたウィンドウ内を示す座標である場合、そのウィンドウがアクティブな状態に設定される。

以上の画面画像表示制御処理及びタッチ入力制御処理により、タッチスクリーンディスプレイ１７に設けられたＬＣＤ１７Ａと外部ディスプレイ装置１のいずれか一方が、タッチスクリーンディスプレイ１７に設けられたタッチパネル１７Ｂを用いた入力によって操作される操作対象画面に設定される。これにより、タッチパネル１７Ｂを用いて、ＬＣＤ１７に表示された画面だけでなく、外部ディスプレイ装置１に表示された画面も操作することができる。また、外部ディスプレイ装置１が操作対象画面に設定されている場合、所定の操作に応じて、外部ディスプレイ装置１の画面画像がＬＣＤ１７Ａの画面に表示される。その場合、タッチパネル１７Ｂ上でのタッチ入力を外部ディスプレイ装置１上でのタッチ入力に置き換え、タッチパネル１７Ｂを用いたタッチ入力によって、外部ディスプレイ装置１に表示されたオブジェクトを直感的に操作することができる。

以上説明したように、本実施形態によれば、タッチパネルを備える第１ディスプレイ（タッチスクリーンディスプレイ１７）と、タッチパネルが設けられていない第２ディスプレイ（外部ディスプレイ装置１）とが接続されたとき、第１ディスプレイに設けられたタッチパネルを用いた第２ディスプレイの操作を支援することができる。つまり、第１ディスプレイに設けられたタッチパネルを用いた操作を、第２ディスプレイに作用させることができる。また、第２ディスプレイが操作対象画面に設定されたとき、第２ディスプレイに表示されている画像に対応する画像が第１ディスプレイに表示される。これにより、タッチパネルを用いて第２ディスプレイの操作を直感的に行うことができる。

なお、本実施形態の画面画像表示制御処理及びタッチ入力制御処理の手順は全てソフトウェアによって実行することができる。このため、画面画像表示制御処理及びタッチ入力制御処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

２０２…操作支援プログラム、３０…操作画面切替部、３１…表示制御部、３２…入力制御部、３１１…表示イベント検出部、３１２…画面画像キャプチャ部、３１３…画面情報検出部、３１４…操作画像生成部、３１５…操作画像表示部、３２１…タッチ入力検出部、３２２…座標変換部、３２３…入力イベント生成部。

本発明の実施形態は、タッチスクリーンディスプレイを備える電子機器、並びに該機器に適用される操作支援方法及びプログラムに関する。

実施形態によれば、電子機器は、タッチパネルと第１ディスプレイとを備えるタッチスクリーンディスプレイと外部ディスプレイ接続端子と操作画面切替手段と表示制御手段と入力制御手段とを具備する。操作画面切替手段は、前記電子機器と当該電子機器外部の第２ディスプレイとが前記外部ディスプレイ接続端子を介して接続されている場合、前記第１ディスプレイと前記第２ディスプレイのいずれか一方を、前記タッチパネルを用いた入力によって操作される操作対象画面に設定する。表示制御手段は、前記第２ディスプレイが前記操作対象画面に設定された場合、前記第１ディスプレイのサイズに基づいて、前記第２ディスプレイに表示されている第２画像に対応する第１画像を生成し、前記生成された第１画像を前記第１ディスプレイに表示させる。入力制御手段は、前記第２ディスプレイが前記操作対象画面に設定された場合、前記タッチパネルを用いた入力に応じて前記第２ディスプレイを操作する。

Claims (11)

1. タッチパネルと第１ディスプレイとを備えるタッチスクリーンディスプレイを具備し、第２ディスプレイと接続可能な電子機器であって、
   前記第１ディスプレイと前記第２ディスプレイのいずれか一方を、前記タッチパネルを用いた入力によって操作される操作対象画面に設定する操作画面切替手段と、
   前記第２ディスプレイが前記操作対象画面に設定された場合、前記タッチパネルを用いた入力に応じて前記第２ディスプレイを操作する入力制御手段とを具備する電子機器。
2. 前記第２ディスプレイが前記操作対象画面に設定された場合、前記第２ディスプレイに表示されている画像に対応する画像を前記第１ディスプレイに表示する表示制御手段をさらに具備する請求項１記載の電子機器。
3. 前記表示制御手段は、前記第２ディスプレイに表示されている画像を前記第１ディスプレイのサイズに基づいて変更し、前記変更された画像を前記第１ディスプレイに表示する請求項２記載の電子機器。
4. 前記表示制御手段は、前記第２ディスプレイに表示されている画像に対応する画像を前記第１ディスプレイに透過して表示する請求項２記載の電子機器。
5. 前記第２ディスプレイに表示されている画像は、１以上のウィンドウを含み、
   前記表示制御手段は、前記１以上のウィンドウの内の、１つのウィンドウ内の位置が指示されたとき、当該１つのウィンドウを拡大して前記第１ディスプレイに表示する請求項２記載の電子機器。
6. 前記入力制御手段は、前記第２ディスプレイが前記操作対象画面に設定されている場合に、前記タッチパネルを用いた入力によって前記第１ディスプレイ内の第１座標が指示されたとき、前記第１座標を前記第２ディスプレイ内の第２座標に変換し、前記第２座標が指示されたことを示すイベントを発行する請求項１又は請求項２記載の電子機器。
7. 前記操作画面切替手段は、ユーザによる操作に応じて、当該ユーザによる操作によって指定された前記第１ディスプレイ又は前記第２ディスプレイを前記操作対象画面に設定する請求項１記載の電子機器。
8. タッチパネルと第１ディスプレイとを備えるタッチスクリーンディスプレイを具備し、第２ディスプレイと接続可能な電子機器に対する操作を支援する操作支援方法であって、
   前記第１ディスプレイと前記第２ディスプレイのいずれか一方を、前記タッチパネルを用いた入力によって操作される操作対象画面に設定し、
   前記第２ディスプレイが前記操作対象画面に設定された場合、前記タッチパネルを用いた入力に応じて前記第２ディスプレイを操作する操作支援方法。
9. 前記第２ディスプレイが前記操作対象画面に設定された場合、前記第２ディスプレイに表示されている画像に対応する画像を前記第１ディスプレイに表示する請求項８記載の操作支援方法。
10. タッチパネルと第１ディスプレイとを備えるタッチスクリーンディスプレイを具備し、第２ディスプレイと接続可能なコンピュータに対する操作を支援するプログラムであって、
    前記第１ディスプレイと前記第２ディスプレイのいずれか一方を、前記タッチパネルを用いた入力によって操作される操作対象画面に設定する手順と、
    前記第２ディスプレイが前記操作対象画面に設定された場合、前記タッチパネルを用いた入力に応じて前記第２ディスプレイを操作する手順とを前記コンピュータに実行させるプログラム。
11. 前記第２ディスプレイが前記操作対象画面に設定された場合、前記第２ディスプレイに表示されている画像に対応する画像を前記第１ディスプレイに表示する手順を前記コンピュータにさらに実行させる請求項１０記載のプログラム。

Images