JP2019040623A - 画像表示装置および画像表示装置の制御方法 - Google Patents

Abstract

【課題】画像表示装置上のユーザの所望位置にソフトウェアキーボードを表示することができ、自然なキー操作を可能とする画像表示装置及びその制御方法を提供する。【解決手段】画像表示装置は、画像を表示する表示部と、表示部の上に配置されたタッチ検出部とを備え、表示部に表示された画面（３００）上で複数の点（６０２）〜（６０８）が同時にタッチされたことを受けて、ソフトウェアキーボードの左右方向がタッチされた複数の点の近似直線（３０２）に沿い、ソフトウェアキーボードの上方向がベクトル（３０４）の方向と一致するように、ソフトウェアキーボードを表示し、ソフトウェアキーボード上で同時に４点以上がタッチされた場合には、キー入力操作を実行しない。これにより、ユーザは、ソフトウェアキーボードを容易に操作することができ、自然なキー操作を行なうことができる。【選択図】図９

Description

本発明は、画像表示装置等に関する。

近年、スマートフォン及びタブレット等の携帯型の情報処理装置が普及している。そのユーザインターフェイス装置として、画像表示面上にタッチパネルが配置されたディスプレイ（以下、タッチパネルディスプレイという）が採用されている。タッチパネルディスプレイに表示された対象を直接タッチ操作するだけでなく、文字及び数字等の入力（以下、文字入力という）が必要な場合には、画面にソフトウェアキーボードを表示し、これを操作することが一般化している。

この影響もあり、コンピュータにおいてもタッチパネルディスプレイが搭載され、従来のコンピュータ用キーボード（以下、単にキーボードという）及びコンピュータ用マウスの代りに、タッチ操作が採用されるようになってきた。タッチ操作を想定したユーザインターフェイスを採用したオペレーティングシステム（以下、ＯＳという）も提供されている。

例えば、図１に示すようなアプリケーションをウィンドウ表示可能なＯＳが採用されたタッチパネルディスプレイにおいて、ユーザはソフトウェアキーボードを用いて文字入力することができる。具体的には、表示されている画面９００内の所定ボタン９０２にタッチすると、図２に示した画面９１０のようにソフトウェアキーボード９１２が表示される。これによって、図３に示すように、ユーザは、ソフトウェアキーボード９１２のキーにタッチして、アプリケーション（ウィンドウ９１４）に対して文字を入力することができる。

タッチパネルディスプレイの大画面化が進展しており、今後、タッチパネルディスプレイが種々の用途に使用されることが予想される。例えば、電子黒板等の用途は元より、画像表示面を水平に配置して、タッチ操作可能なテーブル（事務用テーブル又は会議用テーブル等）として使用することが提案されている。

このようなタッチ操作可能な画像表示装置の普及に伴い、タッチ操作の改善が要望されている。例えば、下記特許文献１には、使用者の異なる指の長さ、指と指との間の相対的な位置、及び習慣的な操作しぐさに基づいて、タッチ表示装置上に表示されるキーボードレイアウトの表示外観を調整する方法が開示されている。具体的には、右手の人差指と中指とでタッチ表示装置にタッチすることにより、表示領域のサイズを考慮してキーピッチ及びキーサイズパラメータを計算し、中指をドラッグしてそのタッチ位置を変更することにより、キーボードの曲率及び湾曲状態を計算し、それらに基づいて、湾曲したキーボードを表示することが開示されている。

特開２０１２−１２８８３２号公報

しかし、大画面のタッチパネルディスプレイについては操作性向上に関して依然として課題がある。例えば、大画面のタッチパネルディスプレイを、画像表示面を水平に配置して、テーブルとして使用した画像表示装置には次のような問題がある。

即ち、ソフトウェアキーボードを表示させるためには、所定のボタン又はアイコン等を選択しなければならず、即座に表示できない問題がある。

また、表示画面に対するユーザの位置は、必ずしも一定ではないにもかかわらず、ソフトウェアキーボードは、通常、画面上の予め定められた位置又は前回表示されていた位置に、画面の辺に平行に配置されて表示される。したがって、ハードウェアキーボードであれば、キーボードだけをキー操作しやすい位置に移動させればよいのに対して、ユーザがソフトウェアキーボードに合せて移動する、又は、画像表示装置自体をユーザがキー操作しやすい位置に移動させることが必要になり、ユーザが不便に感じることがある。ソフトウェアキーボードの位置をユーザが変更可能であったとしても、ソフトウェアキーボードが一旦表示された後に、ユーザが使用しやすい位置にソフトウェアキーボードを移動させなければならず、煩雑である。

そもそも、ソフトウェアキーボードに関しては、ハードウェアキーボードとは異なり、指を少しふれただけでもキー入力と判定されてしまうので、指をホームポジションに置くことができない問題がある。思考しながら文字入力を行なう場合には、時々キー操作を中断し、キーボードに指が軽くふれたまま思考することがあり、そのようなときに、逐一キーボードから指を離さなければならないことは、滑らかな文字入力を阻害する原因になる。

これらの問題は、特許文献１に開示された技術によって解決することはできない。

したがって、本発明は、ユーザが文字入力したい場合に速やかに、画像表示装置上のユーザの所望位置にソフトウェアキーボードを表示することができ、ユーザに負担をかけることなく、自然なキー操作を可能とする画像表示装置及びその制御方法を提供することを目的とする。

画像を表示するための表示部と、
前記表示部の画像表示面上に配置され、ユーザによるタッチ位置を検出するタッチ検出部と、
ユーザによる入力を受け付ける入力装置を表す入力装置画像を記憶する記憶部と、
前記タッチ検出部により検出されたユーザのタッチ位置に基づき、前記入力装置画像を表示する表示制御部と、
を備え、
前記表示制御部は、前記入力装置画像の全体が表示できない場合は、当該入力装置画像の全体が表示できるよう移動して表示することを特徴とする。

本発明の画像表示装置の制御方法は、
画像を表示する表示部の画像表示面上において、ユーザによるタッチ位置を検出するタッチ検出ステップと、
ユーザによる入力を受け付ける入力装置を表す入力装置画像を記憶する記憶ステップと、
前記タッチ検出ステップにより検出されたユーザのタッチ位置に基づき、前記入力装置画像を表示する表示制御ステップと、
を含み、
前記表示制御ステップは、前記入力装置画像の全体が表示できない場合は、当該入力装置画像の全体が前記画像表示面に収まるよう移動して表示することを特徴とする。

本発明によれば、ユーザが画像表示装置のタッチパネルディスプレイ上で、入力装置を模した仮想画像を介して入力したい場合、ユーザが入力装置をタッチ操作するときの指の形態でタッチパネルにタッチするだけで、ユーザの入力操作に適した位置に仮想画像を表示することができる。したがって、ユーザは、速やかに自然な入力操作を行なうことができる。

特に、入力装置がコンピュータ用のキーボードであれば、ユーザがキーボードのホームポジションに指を置くように、タッチパネル上に指を置けば、ユーザの手の大きさ（指の間隔）に応じた大きさのソフトウェアキーボードを表示することができる。したがって、ユーザは、表示されたソフトウェアキーボードを介して、自然なキー入力操作を行なうことができる。

また、表示されたソフトウェアキーボードを介してキー入力を行なう場合に、ソフトウェアキーボード上で４点以上の点を同時にタッチした場合には、キー入力処理を実行しないことにより、ユーザは、ソフトウェアキーボードの上に指を置いたまま、キー操作を中断することができ、ハードウェアキーボードの操作感に近い、自然なキーボード操作を行なうことができる。

従来のソフトウェアキーボードを表示するための操作を示す図である。 従来のソフトウェアキーボードが表示された状態の画面を示す図である。 従来のソフトウェアキーボードによる文字入力を示す図である。 本発明の実施の形態に係る画像表示装置の構成の概略を示すブロック図である。 タッチ入力の検出方法の一例を示す図である。 画面に複数のアプリケーションを表すウィンドウが表示された状態を示す図である。 ソフトウェアキーボードをユーザの所望位置に表示するためのプログラムの制御構造を示すフローチャートである。 タッチパネルディスプレイが複数の指でタッチされた状態を示す図である。 ソフトウェアキーボードを表示する位置及び方向を決定する処理を説明するための図である。 キーボード画像を示す図である。 ソフトウェアキーボードが表示された状態を示す図である。 図１１とは別の位置にソフトウェアキーボードが表示された状態を示す図である。 ソフトウェアキーボードのサイズを調整してユーザの所望位置に表示するためのプログラムの制御構造を示すフローチャートである。 タッチパネルディスプレイが８本の指でタッチされた状態を示す図である。 大きさを調整したソフトウェアキーボードを表示する位置及び方向を決定する処理を説明するための図である。

以下の実施の形態では、同一の部品には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。

以下において、「タッチ」とは入力位置の検出装置が位置を検出可能な状態になることを意味し、検出装置に接触して押圧する場合、押圧せずに接触する場合、及び、接触せずに近接する場合を含む。入力位置の検出装置には、接触型に限らず非接触型の装置を用いることもできる。非接触型の検出装置の場合には「タッチ」とは、入力位置を検出可能な距離まで検出装置に近接した状態を意味する。

（第１の実施の形態）
図４を参照して、本発明の第１の実施の形態に係る画像表示装置１００は、演算処理部（以下、ＣＰＵと記す）１０２、読出専用メモリ（以下、ＲＯＭと記す）１０４、書換可能メモリ（以下、ＲＡＭと記す）１０６、記録部１０８、タッチ検出部１１２、表示部１１４、表示制御部１１６、ビデオメモリ（以下、ＶＲＡＭと記す）１１８、及びバス１２０を備えている。ＣＰＵ１０２は、画像表示装置１００全体を制御する。

後述するように、タッチ検出部１１２及び表示部１１４がタッチパネルディスプレイを構成し、タッチパネルディスプレイの画像表示面が水平に配置され、画像表示装置１００はテーブルとして使用される。

ＲＯＭ１０４は不揮発性の記憶装置であり、画像表示装置１００の動作を制御するために必要なプログラム及びデータを記憶している。ＲＡＭ１０６は、通電が遮断された場合にデータが消去される揮発性の記憶装置である。記録部１０８は、通電が遮断された場合にもデータを保持する不揮発性記憶装置であり、例えば、ハードディスクドライブ、又はフラッシュメモリ等である。記録部１０８は着脱可能に構成されていてもよい。ＣＰＵ１０２は、バス１２０を介してＲＯＭ１０４からプログラムをＲＡＭ１０６上に読出して、ＲＡＭ１０６の一部を作業領域としてプログラムを実行する。ＣＰＵ１０２は、ＲＯＭ１０４に格納されているプログラムにしたがって画像表示装置１００を構成する各部の制御を行なう。

バス１２０には、ＣＰＵ１０２、ＲＯＭ１０４、ＲＡＭ１０６、記録部１０８、タッチ検出部１１２、表示制御部１１６、及びＶＲＡＭ１１８が接続されている。各部間のデータ（制御情報を含む）交換は、バス１２０を介して行なわれる。

表示部１１４は、画像を表示するための表示パネル（液晶パネル等）である。表示制御部１１６は、表示部１１４を駆動するための駆動部を備え、ＶＲＡＭ１１８に記憶された画像データを所定のタイミングで読出し、表示部１１４に画像として表示するための信号を生成して、表示部１１４に出力する。表示される画像データは、ＣＰＵ１０２が記録部１０８から読出して、ＶＲＡＭ１１８に伝送する。

タッチ検出部１１２は、例えばタッチパネルであり、ユーザによるタッチ操作を検出する。タッチ検出部１１２は、表示部１１４の表示画面に重畳して配置される。タッチ検出部１１２へのタッチは、タッチ位置に対応する、表示画面に表示された画像の点を指定する操作である。したがって、本願明細書においては、記載の冗長性を排除するために、表示部１１４に表示された画像へのタッチと記載されている場合、この記載は、対応するタッチ検出部１１２上の位置へのタッチを意味する。タッチ検出部１１２にタッチパネルを用いる場合のタッチ操作の検出について、図５を参照して説明する。

図５は、赤外線遮断検出方式のタッチパネル（タッチ検出部１１２）を示す。タッチパネルは、長方形の書込面の隣接する２辺にそれぞれ一列に配置された発光ダイオード列（以下、ＬＥＤ列と記す）２００、２０２と、それぞれのＬＥＤ列２００、２０２に対向させて一列に配置された２つのフォトダイオード列（以下、ＰＤ列と記す）２１０、２１２とを備えている。ＬＥＤ列２００、２０２の各ＬＥＤから赤外線を発光し、この赤外線を対向するＰＤ列２１０、２１２の各ＰＤが検出する。図５において、ＬＥＤ列２００、２０２の各ＬＥＤから赤外線を上向き及び左向きの矢印で示す。

タッチパネルは、例えばマイクロコンピュータ（以下、マイコンという）（ＣＰＵ、メモリ、及び入出力回路等を含む素子）を備え、各ＬＥＤの発光を制御する。各ＰＤは、受光した光の強度に応じた電圧を出力する。ＰＤの出力電圧は、アンプによって増幅される。また、各ＰＤ列２１０、２１２の複数のＰＤからは同時に信号が出力されるので、出力信号は一旦バッファに保存された後、ＰＤの配列順序に応じたシリアル信号として出力され、マイコンに伝送される。ＰＤ列２１０から出力されるシリアル信号の順序は、Ｘ座標を表す。ＰＤ列２１２から出力されるシリアル信号の順序は、Ｙ座標を表す。

ユーザ（図５において破線で示す）２２０が指でタッチパネル上にタッチすると、タッチされた位置で赤外線が遮断される。したがって、遮断される前まで、その赤外線を受光していたＰＤの出力電圧は減少する。タッチされた位置（ＸＹ座標）に対応するＰＤからの信号部分が減少するので、マイコンは、受信した２つのシリアル信号の信号レベルが低下している部分を検出し、タッチされた位置座標を求める。マイコンは、決定した位置座標をＣＰＵ１０２に伝送する。このタッチ位置を検出する処理は、所定の検出周期で繰返されるので、同じ点が検出周期よりも長い時間タッチされていると、同じ座標データが繰返し出力される。どこにもタッチされていなければ、マイコンは位置座標を伝送しない。

上記したタッチされた位置の検出技術は公知であるので、これ以上の説明は繰返さない。また、タッチ検出部１１２には、赤外線遮断方式以外のタッチパネル（静電容量方式、表面弾性波方式、抵抗膜方式等）を用いてもよい。なお、静電容量方式では、センサに近接していれば非接触でも位置を検出することができる。

画像表示装置１００は上記のように構成されており、ユーザは画像表示装置１００をコンピュータと同様に操作することができる。即ち、ユーザは、図６に示すように、表示部１１４に表示された画面３００上のユーザインターフェイス（操作ボタン等）を、タッチ検出部１１２を介してタッチ操作し、アプリケーションプログラムを起動すること、及び、起動したアプリケーションによって表示されるウィンドウ内の操作を、タッチ検出部１１２を介して行なうことができる。そのような状態で、ユーザが、特定のアプリケーションに対して文字入力する場合、ソフトウェアキーボードを表示して行なう。以下、図７を参照して、ユーザの所望位置にソフトウェアキーボードを表示する処理に関して説明する。

図７に示した、画像表示装置１００にソフトウェアキーボードを表示するためのプログラムは、画像表示装置１００の電源がオンされたときに、例えばＲＯＭ１０４から読出されて実行される。

ＯＳの起動及びプログラムの実行に必要な初期設定が行なわれた後、ステップ４００において、ＣＰＵ１０２は、タッチ検出部１１２がタッチされたか否かを判定する。上記したように、ＣＰＵ１０２は、タッチ検出部１１２から座標データを受信したか否かを判定する。タッチ検出部１１２は、タッチされていなければ位置座標を出力せず、タッチされると、タッチされた点の位置座標（Ｘ座標，Ｙ座標）を出力する。タッチされたと判定された場合、制御はステップ４０２に移行する。そうでなければ、ステップ４００が繰返される。

ステップ４０２において、ＣＰＵ１０２は、ステップ４００で検出されたタッチが、タッチ検出部１１２の複数点への同時タッチ（以下「マルチタッチ」という）であるか否かを判定する。上記のタッチ検出方式では、同時に複数の点がタッチされた場合でも、ＣＰＵ１０２はタッチ位置の座標データを時系列に取得するので、例えば、ＣＰＵ１０２は、所定時間内に受信した複数の座標データに関して、座標データとその後に受信した座標データとの距離を計算し、距離が、指の大きさ等を考慮して定められた所定値以上であれば異なる点がタッチされたと判定し、所定値未満であれば同じ点へのタッチであると判定する。したがって、ＣＰＵ１０２は、所定時間内に受信した複数の座標データに関して、シングルタッチであるか、マルチタッチであるかを判定することができ、マルチタッチである場合には、同時にタッチされた点の数及びその位置を特定することができる。なお、タッチ検出部１１２において、シングルタッチであるかマルチタッチであるかが判定され、その情報と、マルチタッチである場合には、同時にタッチされた点の数及びその位置を出力するように構成されてもよい。マルチタッチであれば、制御はステップ４０４に移行する。そうでなければ、制御はステップ４２０に移行する。

ステップ４２０において、ＣＰＵ１０２は、終了操作であるか否かを判定する。終了の指示は、例えば、画面３００において、ＯＳを終了するためのボタンがタッチされることによってなされる。終了の指示であると判定された場合、本プログラムは終了する。そうでなければ、制御はステップ４２２に移行する。

マルチタッチであった場合、ステップ４０４において、ＣＰＵ１０２は、ステップ４００で検出されたタッチが、４点以上のマルチタッチであるか否かを判定する。４点以上のマルチタッチであると判定された場合、制御はステップ４０６に移行する。そうでなければ、制御はステップ４２２に移行する。

４点以上のマルチタッチであった場合、ステップ４０６において、ＣＰＵ１０２は、ソフトウェアキーボードが表示中であるか否かを判定する。例えば、本プログラムの起動時に、ＲＡＭ１０６の所定アドレスにフラグ領域（例えば１ビットの領域）を確保し、初期値として、ソフトウェアキーボードを表示していない状態を表す値、例えば“０”を設定しておくとすると、ＣＰＵ１０２はフラグの値により、ソフトウェアキーボードを表示中であるか否かを判定することができる。ソフトウェアキーボードが表示中でなければ（フラグ＝０）、制御はステップ４０８に移行する。そうでなければ（ソフトウェアキーボードが表示中であれば）、制御はステップ４１８に移行する。なお、フラグは、後述するステップ４１４において、ソフトウェアキーボードが表示されていることを表す値、例えば“１”に設定される。

ステップ４１８において、ＣＰＵ１０２は、４点以上のマルチタッチ位置が表示中のソフトウェアキーボード内にあるか否かを判定する。後述するように、ＣＰＵ１０２がソフトウェアキーボードを表示するので、ＣＰＵ１０２は、ソフトウェアキーボードを表示している領域を特定するための情報（例えば、４つの頂点の座標）を用いて、マルチタッチ位置が、ソフトウェアキーボード内にあるか否かを判定することができる。ソフトウェアキーボード上がタッチされたと判定された場合、制御はステップ４００に戻る。そうでなければ、即ち、ソフトウェアキーボード以外の領域がタッチされた場合、制御はステップ４２２に移行する。

ステップ４２２において、ＣＰＵ１０２は、ステップ４００で検知したタッチ操作に応じ処理を実行する。例えば、画面に表示されているボタンがタッチされたことが検出された場合、ＣＰＵ１０２は、タッチされたボタンに予め割付けられた処理を実行する。また、ＣＰＵ１０２は、各ウィンドウの右上の「×」印がタッチされた場合、アプリケーションを終了させる（ウィンドウを消去する）、ウィンドウの辺がタッチされてドラッグ操作された場合、ウィンドウのサイズを変化させる等の処理を実行する。例えば、ＣＰＵ１０２は、複数の画像をページ単位で表示するアプリケーションのウィンドウ上で、左右へのドラッグ又はフリック操作がなされると、ページ送り又はページ戻しの処理を実行する。ＣＰＵ１０２は、表示された画像上で、２点に同時にタッチされ、タッチされた２点間の距離が変化すると、画像を拡大又は縮小する処理を実行し、一方の点の周りに他方の点が回転移動されると、画像を回転して表示する処理を実行する。また、ソフトウェアキーボードが表示されており、ソフトウェアキーボード上がタッチされた場合、キー入力処理が実行される。例えば、「Ｃｔｒｌ」キー、「Ａｌｔ」キー及び「Ｄｅｌ」キーの３つのキーが同時にタッチされた場合、ＯＳに関する情報（実行中のプログラムの情報等）が表示される。これらのタッチ操作及びそれに対応する処理は公知であるので、繰返し説明を行なわない。

ソフトウェアキーボードが表示されていない場合、ステップ４０８において、ＣＰＵ１０２は、タッチされた複数の点の２次元分布を近似する直線（以下、近似直線という。近似直線は、マルチタッチされた複数の点による散布図の回帰直線である。）を計算し、その傾きａ及び切片ｂ（Ｙ軸と交わる点のＹ座標）をＲＡＭ１０６に記憶する。近似直線は、ｙ＝ａｘ＋ｂで表される。便宜上、画面３００の左上の頂点を座標の原点Ｏとし、画面３００の右方向をＸ軸の正方向、画面３００の下方向をＹ軸の正方向とする。但し、これに限定されず、座標の原点、Ｘ軸及びＹ軸をどのように設定するかは任意である。

ここでは、図８に示すように、ユーザ６００が、左右の人差指及び中指を用いて、タッチ検出部１１２上の４点を同時にタッチしたとする。図８において、ユーザ６００及びユーザの左右の手を破線で示す。実際に検出されるタッチ位置は点であるが、便宜上タッチ位置を所定の大きさの白丸６０２〜６０８で示す。

この場合、図９に示すように、ＣＰＵ１０２は、タッチされた４点（白丸６０２〜６０８）の近似直線３０２を、例えば、公知の最小二乗法により求める。図９においては、便宜上ウィンドウを表示していないが、実際には画面３００には図８と同じウィンドウが表示されている。

最小二乗法では、各点から近似直線への垂直距離を２乗した値の総和が最小になるように、近似直線が決定される。傾きａ及び切片ｂは、下記の式１及び式２によって求められる。ここで、タッチ点の総数をｎ（ｎ≧４）とし、各タッチ位置ｉの座標を（ｘｉ，ｙｉ）とする。なお、図８及び図９では４点がマルチタッチされた場合を示すが、これに限定されず、４点以上（ｎ≧４）のマルチタッチであればよい。

ステップ４１０において、ＣＰＵ１０２は、ユーザが向いている方向（以下「正面方向」ともいう）を決定する。具体的には、ＣＰＵ１０２は、ＲＡＭ１０６に記憶された傾きａの逆数１／ａを計算し、逆数１／ａの傾きを有し、近似直線に直交し画面の中心（対角線の交点）Ｃの方向を向くベクトル３０４を求める。このベクトル３０４は、正面方向を定めるためのものであり、長さは任意であり、単位ベクトルであってもよい。

ステップ４１２において、ＣＰＵ１０２は、マルチタッチされた点の重心Ｇを計算する。具体的には、下記の式３及び式４によって、重心Ｇの座標（ｘＧ，ｙＧ）が求められる。

ステップ４１４において、ＣＰＵ１０２は、キーボード画像をソフトウェアキーボードとして表示部１１４に表示し、ＲＡＭ１０６に記憶されたフラグを、ソフトウェアキーボードの表示中を表す値（例えば“１”）に設定する。ここでは、予め記録部１０８に、図１０に示すキーボード画像３１２のデータが記憶されているとする。ＣＰＵ１０２は、ＲＡＭ１０６からキーボード画像データを読出して、ＶＲＡＭ１１８上の画面３００の画像データ上に上書きする。キーボード画像３１２がユーザによってソフトウェアキーボードとして使用される場合、キーボード画像３１２の上下の端部は、上側の端部３１４がユーザからより遠くに位置し、下側の端部３１６がユーザからより近くに位置する。

図１０には、便宜上、キー操作におけるホームポジションの位置の例を、８つの破線の円で示している。これらは、左右の人差指、中指、薬指、及び小指の指先を置く位置を表す。８つの破線の円は、キーボード画像３１２自体には含まれていない。

このとき、ＣＰＵ１０２は、キーボード画像３１２を表示する位置を次のようにして決定する。即ち、キーボード画像３１２の長手方向（長辺）が、ステップ４０６で決定した近似直線に平行であり、キーボード画像３１２の中心（頂点の対角線の交点）が、重心Ｇと一致するようにする。さらに、キーボード画像３１２の短辺に沿って、下側の長辺（端部３１６）から上側の長辺（端部３１４）に向かう方向が、ステップ４０８で決定したベクトル３０４の方向と一致するようにする。これによって、図８のようにユーザ６００がタッチ検出部１１２にタッチした場合、図１１に示すように、ソフトウェアキーボード３２２が表示される。

なお、ユーザのマルチタッチ位置が、画面の周縁部に近い位置を含む場合、キーボード画像の中心と重心Ｇとが一致するようにしてキーボード画像３１２を表示すると、キーボード画像３１２の一部が表示されないことがある。その場合には、キーボード画像３１２が全て表示されるように、キーボード画像３１２の中心を、近似直線に沿って平行移動させて表示するのが好ましい。タッチ位置が画面３００の隅に近い場合には、キーボード画像３１２を、近似直線に沿って平行移動させただけでは、キーボード画像３１２全体を表示できないことがある。その場合には、さらに、近似直線３０２に垂直な方向（ベクトル３０４の方向）に平行移動させ、キーボード画像３１２全体が表示されるようにすることが好ましい。

ステップ４１６において、ＣＰＵ１０２は、ソフトウェアキーボード３２２に対して、ユーザによるキー入力を受付けるアプリケーション（以下「キー入力ソフト」という）を起動する。その後、制御はステップ４００に戻る。

ここで起動されるキー入力ソフトは、タッチ検出部１１２によって検出されたタッチ位置が、ソフトウェアキーボード３２２上のどのキーに対応するかを決定し、決定されたキーのコード（ＡＳＣＩＩコード等）を生成する。生成されたキーコードは、ワープロソフト等の文字生成ソフトに渡され、文字データに変換され、文字データは、文字入力状態にある別のアプリケーションに渡される。これによって、文字入力状態にあるアプリケーションを表すウィンドウに文字が表示される。なお、キー操作により、文字入力以外に、ＯＳに対する指示（システムコマンド）を入力することができるようにするには、キー入力ソフトが生成したキーコードは、ＯＳを介してワープロソフト等の文字生成ソフトに渡されるように構成される。これらのソフトウェアの構成及び処理は、通常のコンピュータにおいて実行される、公知の文字入力ソフト（日本語入力ソフト等）の処理と同じであるので、説明を繰返さない。

以上により、ユーザは、タッチパネルディスプレイに表示された画面３００（ソフトウェアキーボードの表示の有無は任意）上で３点以下の同時タッチを行なうことによって、アプリケーションの実行及び停止等を行なうことができる（ステップ４００→ステップ４０２→ステップ４２０→ステップ４２２、ステップ４００→ステップ４０４→ステップ４２２、又は、ステップ４００→ステップ４０２→ステップ４０４→ステップ４０６→ステップ４１８→ステップ４２２のフローを参照）。

一方、ユーザ６００が、タッチパネルディスプレイに表示された画面３００上にソフトウェアキーボードが表示されていない状態で、画面３００上で４点以上のマルチタッチを行なうことによって、マルチタッチされた部分に、マルチタッチ位置を考慮して、ソフトウェアキーボードを表示することができる（ステップ４００〜ステップ４１６が順次実行されるフローを参照）。ユーザ６００は自分から見て、画面３００の中心Ｃを超えない位置にマルチタッチすれば、タッチパネルディスプレイ（表示部１１４）に表示されるソフトウェアキーボード３２２は、画像表示装置１００に対するユーザの位置及び向きを考慮して表示されるので、ユーザ６００は速やかに自然なキー操作を行なうことができる。

例えば、図１２に示すように、画面の右側に位置するユーザ６１０が、４点以上のマルチタッチを行なえば、ソフトウェアキーボード３３２が表示される。したがって、複数のユーザが、画像表示装置１００を取り囲んで、表示された画面にタッチしながら会話する場合に、各ユーザが操作し易い方向及び位置に、ソフトウェアキーボードを表示することができる。

また、タッチパネルディスプレイに表示された画面３００上にソフトウェアキーボードが表示されている状態で、ユーザがソフトウェアキーボード上で、４点以上のマルチタッチを行なった場合には、何もキー入力操作は実行されない（ステップ４００→ステップ４０２→ステップ４０４→ステップ４０６→ステップ４１８→ステップ４００のフローを参照）。したがって、ユーザは、ソフトウェアキーボードの上に指を置いたまま、キー操作を中断することができ、ハードウェアキーボードの操作感に近い、自然なキーボード操作を行なうことができる。

なお、表示されたソフトウェアキーボードを消去する処理は、ステップ４２２で実行される。例えば、図１０に示したキーボード画像３１２がソフトウェアキーボードとして表示されていれば、「×」キー３１８がタッチされた場合に、ＣＰＵ１０２は、ソフトウェアキーボードを消去し、ステップ４１６で起動されたアプリケーションを終了する。このとき、ＣＰＵ１０２はフラグを“０”に設定する。

上記では、ソフトウェアキーボードの長辺が近似直線に平行になるように、ソフトウェアキーボードを表示する場合を説明したが、これに限定されない。ソフトウェアキーボードの長辺は、近似直線に沿っていればよく、即ち近似直線に略平行であればよい。

上記では近似直線を、最小二乗法で求める場合を説明したが、これに限定されない。近似直線は、マルチタッチされた複数の点が近似直線に沿って、その周りに分散するように決定すればよい。例えば、最も距離が離れている２点を結ぶ直線を、近似直線として決定してもよい。

また、距離に応じてタッチ点をクラスタリングして近似直線を求めてもよい。例えば、タッチ点の集合のうち、他のタッチ点から大きく離れている点を排除した後、残りのタッチ点を用いて近似直線を求めてもよい。

上記では、ソフトウェアキーボード（キーボード画像３１２）の中心が、ステップ４１２で求めた重心Ｇに一致するようにソフトウェアキーボードを表示する場合を説明したが、これに限定されない。キーボードは左右対称とは限らないので、キーボード画像の所定の代表点が、ステップ４１２で求めた重心Ｇに一致するように、ソフトウェアキーボードを表示すればよい。

上記では、４点以上のマルチタッチにより、ソフトウェアキーボードを表示する場合を説明したが、これに限定されない。キーボードが表示されていない状態であれば、３点以上のマルチタッチによりソフトウェアキーボードを表示してもよい。また、アプリケーションを表すウィンドウ、アイコン、又はボタン等の何らかのオブジェクトを表す領域以外の領域において、２点以上が同時にタッチされた場合に、ソフトウェアキーボードを表示してもよい。なお、２点のマルチタッチでソフトウェアキーボードを表示する場合には、ソフトウェアキーボードの方向を決定するために、近似直線の代りに、タッチされた２点を通る直線を用いればよく、最小二乗法等の近似直線を求める処理は不要である。

上記では、図１０に示したソフトウェアキーボードを表示する場合を説明したが、これに限定されない。表示するソフトウェアキーボードの種類（キー配置、キー形状及び表示される言語等）は任意である。また、ソフトウェアキーボードの形状は矩形に限定されず、任意である。また、コンピュータ用のソフトウェアキーボードに限定されない。表示部１１４に表示される、入力装置を表す仮想的な入力画像であり、ユーザが指でタッチ操作する場合に、入力画像のユーザに対する配置（特に向き）によって、その入力操作の難易度が変化するような入力画像であれば、本願発明を適用することができる。例えば、作曲用アプリケーションに音符を入力するための音楽用キーボード（鍵盤）であってもよい。
また、記録部１０８に記憶されるキーボード画像は、ビットマップデータに限定されない。記録部１０８に記憶されるキーボード画像には、コンピュータグラフィックス（ＣＧ）により、ビットマップのキーボード画像を生成することができるＣＧデータも含まれる。

（第２の実施の形態）
第１の実施の形態では、予め用意しておいたキーボード画像をそのままの大きさで、表示する場合を説明したが、第２の実施の形態では、ユーザのタッチ位置に応じて、キーボードサイズを変更して表示する。

第２の実施の形態に係る画像表示装置は、第１の実施の形態として説明した画像表示装置１００と同じ構成をしており、同様の機能を有している。以下においては、重複説明を繰返さず、主として第１の実施の形態と異なる点を説明する。

図１３に示した、画像表示装置１００において、ソフトウェアキーボードの大きさを調整して表示するためのプログラムは、図７に示したプログラムと同様に起動され、同様に実行される。図１３が図７と異なるのは、ステップ５００〜ステップ５０４が追加され、ステップ４１４がステップ５０６に変更されている点だけである。追加されたステップは、図１４に示すように、ユーザが左右の親指以外の指で、タッチ検出部１１２上の８点を同時にタッチした場合に実行される。図１３において、図７と同じ番号が付されたステップでは、ＣＰＵ１０２は、図７のステップと同じ処理を実行する。

本プログラムの起動後、ステップ４００において、ＣＰＵ１０２は、タッチ検出部１１２がタッチされたか否かを判定する。図１４に示したように、ユーザが８点のマルチタッチを行なったとすると、ステップ４００〜４１２の処理が順に実行される。

ステップ４１２に続くステップ５００において、ＣＰＵ１０２は、８点のマルチタッチであるか否かを判定する。８点のマルチタッチであると判定された場合、制御はステップ５０２に移行する。そうでなければ、制御はステップ４１４に移行する。

ステップ５０２において、ＣＰＵ１０２は、全てのマルチタッチ点を含む矩形領域を決定する。具体的には、図１５に示すように、ＣＰＵ１０２は、ステップ４０８で求められた近似直線７０２に平行な２本の直線と、近似直線７０２に垂直な２本の直線によって囲まれる矩形領域７０６が全てのマルチタッチ点を含み、その矩形領域の面積が最小になるように、４本の直線を決定し、それらの直線の４つの交点の座標を計算し、矩形領域７０６を特定する情報として、ＲＡＭ１０６に記憶する。

ステップ５０４において、ＣＰＵ１０２は、ＲＡＭ１０６に記憶された矩形領域７０６を特定する情報（４つの頂点の座標）から、ソフトウェアキーボードの大きさを決定する。ここでは、予め記録部１０８に、図１０に示すキーボード画像３１２のデータに加えて、キーボード画像３１２の基準長Ｌも記憶されているとする。基準長Ｌは、例えば、８つの破線の円のうち、左右端の２つの円（左右の小指のタッチ位置を表す円）の中心間距離（画素値）である。

ＣＰＵ１０２は、記録部１０８から基準長Ｌを読出し、矩形領域７０６の長辺の長さを基準長Ｌで除算して、基準長Ｌに対する矩形領域７０６の長辺の長さの比率を計算する。

ステップ５０６において、ＣＰＵ１０２は、記録部１０８からキーボード画像３１２のデータを読出し、基準長Ｌが矩形領域７０６の長辺の長さに等しくなるように、スケーリング（拡大又は縮小）して表示する。具体的には、ＣＰＵ１０２は、ステップ５０４で計算された比率で、キーボード画像３１２をスケーリングした画像データ（以下「表示用キーボード画像」という）を生成して、ＲＡＭ１０６に記憶する。さらに、ＣＰＵ１０２は、ＲＡＭ１０６から表示用キーボード画像データを読出して、ＶＲＡＭ１１８上の画面３００に対応する画像データ上に上書きする。これによって、表示用キーボード画像が、ソフトウェアキーボードとして表示部１１４に表示される。

このとき、ＣＰＵ１０２は、表示用キーボード画像を表示する位置を次のようにして決定する。即ち、表示用キーボード画像の長手方向（長辺）が、ステップ４０６で決定した近似直線に平行であり、表示用キーボード画像の中心（頂点の対角線の交点）が、重心Ｇと一致するようにする。さらに、表示用キーボード画像の短辺に沿って、下側の長辺（端部３１６）から上側の長辺（端部３１４）に向かう方向が、ステップ４０８で決定したベクトル７０４の方向と一致するようにする。これによって、図１５のようにユーザがタッチ検出部１１２にタッチした場合、図１１と同様に、表示用キーボード画像がソフトウェアキーボードとして表示される。但し、このとき表示されるソフトウェアキーボードは、サイズが調整された表示用キーボード画像である。

以上により、第２の実施の形態においては、ユーザが画面７００上で８点の同時タッチ以外のタッチ操作を行なった場合、第１の実施の形態と同様の処理を行なうことができる。これに加えて、ユーザが、ソフトウェアキーボードが表示されていない画面７００上で８点の同時タッチを行なった場合には、タッチ点の相対距離に応じて、キーボード画像３１２の大きさを調整して表示することができる。例えば、ユーザの手の大きさに応じた大きさのソフトウェアキーボードを表示し、ユーザに適切なキーピッチ（隣接するキーの間隔）のソフトウェアキーボードを表示することができる。したがって、ユーザのキー操作をより容易にすることができる。

（第３の実施の形態）
第２の実施の形態では、８つのタッチ点を含む矩形領域７０６を特定する情報を求める場合を説明したが、これに限定されない。第３の実施の形態では、基準長Ｌに対応させる距離として、８つのタッチ点のうち相対距離が最大である２点間の距離を求める。
第３の実施の形態に係る画像表示装置は、第１の実施の形態に係る画像表示装置１００と同じ構成をしており、同様の機能を有している。第３の実施の形態に係る画像表示装置において実行されるソフトウェアキーボードの大きさを調整して表示するためのプログラムでは、第２の実施の形態とは異なり、図１３において、ステップ５０２（矩形を決定する処理）が行なわれることなく、ステップ５０４の表示サイズを決定する処理が実行される。ステップ５０４において、ＣＰＵ１０２は、タッチされた８点のうち相対距離が最大である２点間の距離Ｌｍａｘを求め、記録部１０８からキーボード画像３１２の基準長Ｌを読出し、距離Ｌｍａｘを基準長Ｌで除算して、比率Ｌｍａｘ／Ｌを計算する。その後、第２の実施の形態と同様に、ステップ５０６において、ＣＰＵ１０２は、記録部１０８からキーボード画像３１２のデータを読出し、比率Ｌｍａｘ／Ｌを用いてスケーリングして、表示用キーボード画像を生成する。そして、近似直線７０２及び重心Ｇに基づいて、表示用キーボード画像を表示する。
以上により、第３の実施の形態においては、ユーザが画面７００上で８点の同時タッチ以外のタッチ操作を行なった場合、第１の実施の形態と同様の処理を行なうことができる。これに加えて、ユーザが、ソフトウェアキーボードが表示されていない画面７００上で８点の同時タッチを行なった場合には、キーボード画像３１２の大きさを調整して表示することができる。

（第４の実施の形態）
第３の実施の形態では、ソフトウェアキーボードの大きさを、８つのタッチ点のうち相対距離が最大である２点間の距離、即ちタッチされた小指間の距離に応じて調整する場合を説明したがこれに限定されない。第４の実施の形態では、キーボード画像３１２のホームポジションの位置から得られる所定の基準長を記録部１０８に記憶しておき、タッチ点の位置から基準長に対応する長さを計算し、得られた値の基準長に対する比率を用いて、キーボード画像３１２をスケーリングする。
第４の実施の形態に係る画像表示装置は、第１の実施の形態に係る画像表示装置１００と同じ構成をしており、同様の機能を有している。第４の実施の形態に係る画像表示装置において実行されるソフトウェアキーボードの大きさを調整して表示するためのプログラムでは、第３の実施の形態と同様に、図１３において、ステップ５０２（矩形を決定する処理）が行なわれることなく、ステップ５０４の表示サイズを決定する処理が実行される。具体的には、８つのタッチ点のうちの最も内側にある２点（左右の人差指のタッチ点に対応）が、ソフトウェアキーボードの「ｆ」キー及び「ｊ」キーと一致するように、キーボード画像３１２をスケーリングして、表示する。予めキーボード画像３１２の「ｆ」キー及び「ｊ」キー間の距離Ｄ１を記録部１０８に記憶しておく。ステップ５０４において、ＣＰＵ１０２は、８つのタッチ点のうちの最も内側にある２点間の距離Ｄ２を計算し、記録部１０８から距離Ｄ１を読出し、比率Ｄ２／Ｄ１を計算する。その後、第２の実施の形態と同様に、ステップ５０６において、ＣＰＵ１０２は、記録部１０８から読出したキーボード画像３１２を比率Ｄ２／Ｄ１でスケーリングして、表示用キーボード画像を生成する。そして、上記したように、近似直線７０２及び重心Ｇに基づいて、表示用キーボード画像を表示する。
以上により、第４の実施の形態においては、ユーザが画面７００上で８点の同時タッチ以外のタッチ操作を行なった場合、第１の実施の形態と同様の処理を行なうことができる。これに加えて、ユーザが、ソフトウェアキーボードが表示されていない画面７００上で８点の同時タッチを行なった場合には、キーボード画像３１２の大きさを調整して表示することができる。
なお、基準長を設定するためのキーは、「ｆ」キー及び「ｊ」キー以外のキーであってもよい。例えば、「ｄ」キー及び「ｋ」キーを用いても、「ｓ」キー及び「ｌ」キーを用いても、それ以外のキーの組合せを用いてもよい。

（第５の実施の形態）
第５の実施の形態では、キーボード画像３１２のホームポジションを表す複数の点のうち、少なくとも２点の位置を基準点の位置として記録部１０８に記憶しておき、２点の基準点に対応する２点のタッチ点の位置が、当該２点の基準点の位置と一致するようにキーボード画像３１２をスケーリングする。
第５の実施の形態に係る画像表示装置は、第１の実施の形態に係る画像表示装置１００と同じ構成をしており、同様の機能を有している。第５の実施の形態に係る画像表示装置において実行されるソフトウェアキーボードの大きさを調整して表示するためのプログラムでは、図１３において、ステップ４１２（重心を計算する処理）、ステップ５０２（矩形を決定する処理）及びステップ５０４（表示サイズを決定する処理）が行なわれることなく、ステップ５０６が実行される。ステップ５０６において、ＣＰＵ１０２は、キーボード画像３１２の「ｆ」キー及び「ｊ」キーのそれぞれの中心の位置が、８つのタッチ点のうちの最も内側にある２点に一致するように、キーボード画像３１２をスケーリングし回転させて表示する。その場合、上記したように重心Ｇを求める処理は不要である。ユーザの正面方向を決定するために、近似直線を求める処理は必要である。
以上により、第５の実施の形態においては、ユーザが画面７００上で８点の同時タッチ以外のタッチ操作を行なった場合、第１の実施の形態と同様の処理を行なうことができる。これに加えて、ユーザが、ソフトウェアキーボードが表示されていない画面７００上で８点の同時タッチを行なった場合には、キーボード画像３１２の大きさを調整して表示することができる。
なお、「ｆ」キー及び「ｊ」キー以外のホームポジションのキーを使用してもよい。例えば、「ｄ」キー及び「ｋ」キーを用いても、「ｓ」キー及び「ｌ」キーを用いても、それ以外のキーの組合せを用いてもよい。

以上、実施の形態を説明することにより本発明を説明したが、上記した実施の形態は例示であって、本発明は上記した実施の形態に限定されるものではなく、種々変更して実施することができる。

また、上述した実施態様における画像表示装置は、画像を表示するための表示部と、表示部の画像表示面上に配置され、表示部により表示された画像上の位置を指定する操作により指定される位置を検出する検出部と、検出部により複数の位置が同時に検出されたことを受けて、検出された複数の位置の２次元分布を近似する直線を算出する直線算出部と、ユーザによるタッチ操作の対象である入力装置を表す画像を記憶する記憶部とを含む。表示部は、入力装置を表す仮想画像として、記憶部から読出した画像を表示する。入力装置は、ユーザによって使用されるときに、ユーザに対向する２つの端部を備え、入力装置を表す画像は、入力装置の２つの端部のうち、ユーザからより遠くに位置する端部に対応する第１端部と、ユーザからより近くに位置する端部に対応する第２端部とを備える。仮想画像として表示された画像において、入力装置がユーザによって使用されるときの入力装置の左右方向に対応する、当該画像の左右方向は、近似直線に沿い、第１端部及び第２端部は、画像表示面の中心に対して同じ側に位置し、且つ、第１端部は第２端部よりも、画像表示面の中心により近く位置してもよい。

好ましくは、画像表示装置は、検出部によって検出された複数の位置の重心を算出する重心算出部をさらに含み、表示部は、さらに入力装置を表す画像の代表点が重心に一致するように、仮想画像を表示してもよい。

より好ましくは、入力装置はコンピュータ用キーボードであり、記憶部は、入力装置を表す画像上のホームポジションの位置から得られる基準長をさらに記憶している。画像表示装置は、検出部により８点の位置が検出されたことを受けて、検出された８点から得られる基準長に対応する距離を算出する距離算出部と、基準長に対する、距離算出部により算出された距離の比率で、入力装置を表す画像をスケーリングして表示用画像を生成する画像処理部とをさらに備える。表示部は、検出部により８点の位置が検出されたことを受けて、入力装置を表す仮想画像として、入力装置を表す画像に代えて、表示用画像を表示してもよい。

さらに好ましくは、仮想画像はコンピュータ用キーボードの画像であり、記憶部は、入力装置を表す画像上のホームポジションを表す８点のうち少なくとも２点の位置をさらに記憶している。画像表示装置は、検出部により８点の位置が検出されたことを受けて、当該８点のうち、記憶部に記憶されたホームポジションを表す２点に対応する２点を特定する点特定部と、点特定部により特定された２点の位置が、記憶部に記憶された、対応するホームポジションを表す２点に一致するように、入力装置を表す画像をスケーリングして表示用画像を生成する画像処理部とをさらに備える。表示部は、検出部により８点の位置が検出されたことを受けて、入力装置を表す仮想画像として、入力装置を表す画像に代えて、表示用画像を表示してもよい。

好ましくは、画像表示装置は、表示部に仮想画像が表示されている状態において、検出部により仮想画像上の位置が同時に所定数未満検出されたことを受けて、当該検出に応じた入力処理を実行する入力部をさらに備える。入力部は、検出部により仮想画像の位置が同時に所定数以上検出されたことを受けて、入力処理を実行しなくてもよい。

より好ましくは、所定数は４であってもよい。

上述した実施態様の画像表示装置の制御方法は、画像を表示する表示部と、表示部の画像表示面上に配置され、表示部により表示された画像上の位置を指定する操作により指定される位置を検出する検出部と、ユーザによるタッチ操作の対象である入力装置を表す画像を記憶する記憶部とを含む画像表示装置の制御方法である。この制御方法は、表示部に画像を表示するステップと、検出部により、表示部に表示された画像上の位置を指定する操作により指定される位置を検出する検出ステップと、検出ステップにより複数の位置が同時に検出されたことを受けて、検出された複数点の位置の２次元分布を近似する直線を算出するステップと、表示部に、入力装置を表す仮想画像として、記憶部から読出した画像を表示するステップとを含む。入力装置は、ユーザによって使用されるときに、ユーザに対向する２つの端部を備え、入力装置を表す画像は、入力装置の２つの端部のうち、ユーザからより遠くに位置する端部に対応する第１端部と、ユーザからより近くに位置する端部に対応する第２端部とを備える。仮想画像として表示された画像において、入力装置がユーザによって使用されるときの入力装置の左右方向に対応する、当該画像の左右方向は、近似直線に沿い、第１端部及び第２端部は、画像表示面の中心に対して同じ側に位置し、且つ、第１端部は第２端部よりも、画像表示面の中心により近く位置してもよい。

１００ 画像表示装置
１０２ 演算処理部（ＣＰＵ）
１０４ 読出専用メモリ（ＲＯＭ）
１０６ 書換可能メモリ（ＲＡＭ）
１０８ 記録部
１１２ タッチ検出部
１１４ 表示部
１１６ 表示制御部
１１８ ビデオメモリ（ＶＲＡＭ）
１２０ バス

Claims (7)

1. 画像を表示するための表示部と、
   前記表示部の画像表示面上に配置され、ユーザによるタッチ位置を検出するタッチ検出部と、
   ユーザによる入力を受け付ける入力装置を表す入力装置画像を記憶する記憶部と、
   前記タッチ検出部により検出されたユーザのタッチ位置に基づき、前記入力装置画像を表示する表示制御部と、
   を備え、
   前記表示制御部は、前記入力装置画像の全体が表示できない場合は、当該入力装置画像の全体が表示できるよう移動して表示することを特徴とする画像表示装置。
2. 前記入力装置画像は、第一端部と第二端部とを含み、
   前記表示制御部は、前記タッチ位置に基づき、前記画像表示面の中心に対して同じ側であって、且つ、前記第一端部は前記第二端部よりも、前記画像表示面の中心より近い位置に、前記入力装置画像を表示することを特徴とする請求項１に記載の画像表示装置。
3. 前記画像表示装置は、複数のタッが同時に検出された場合、当該複数のタッチ位置に基づきユーザの方向を決定する決定部を更に備え、
   前記決定部は、前記複数のタッチ位置の２次元分布を近似する直線に直交し画面の中心に向く方向をユーザが向いている方向として決定し、
   前記表示制御部は、前記決定部により決定された方向のユーザに正対するよう前記入力装置画像を表示することを特徴とする請求項１または２に記載の画像表示装置。
4. 前記表示制御部は、前記入力装置画像の代表点が、前記複数のタッチ位置に基づく重心に一致するように、当該入力装置画像を表示することを特徴とする請求項３に記載の画像表示装置。
5. 前記入力装置画像は、前記第一端部および前記第二端部とは異なる短辺を更に含み、
   前記表示制御部は、前記短辺に沿って、前記第二端部から前記第一端部に向かう方向が、前記近似直線に直交し前記画像表示面の中心の方向を向くベクトルの方向と一致するように、前記入力装置画像を表示することを特徴とする請求項４に記載の画像表示装置。
6. 前記記憶部は、前記入力装置画像上のホームポジションの位置から得られる基準長を更に記憶し、
   前記タッチ検出部により第一所定数の位置が検出されたことを受けて、検出された第一所定数の位置から得られる前記基準長に対応する距離を算出する距離算出部と、
   前記基準長に対する、前記距離算出部により算出された前記距離の比率で、前記入力装置画像をスケーリングして表示用画像を生成する画像処理部と、
   を更に備え、
   前記表示制御部は、前記タッチ検出部により第一所定数の位置が検出されたことを受けて、前記入力装置画像として、前記入力装置画像に代えて、前記表示用画像を表示することを特徴とする請求項３から５のいずれか一に記載の画像表示装置。
7. 画像表示装置の制御方法であって、
   画像を表示する表示部の画像表示面上において、ユーザによるタッチ位置を検出するタッチ検出ステップと、
   ユーザによる入力を受け付ける入力装置を表す入力装置画像を記憶する記憶ステップと、
   前記タッチ検出ステップにより検出されたユーザのタッチ位置に基づき、前記入力装置画像を表示する表示制御ステップと、
   を含み、
   前記表示制御ステップは、前記入力装置画像の全体が表示できない場合は、当該入力装置画像の全体が前記画像表示面に収まるよう移動して表示することを特徴とする制御方法。

Images