JP2014071700A - 表示制御装置、表示制御方法及びプログラム - Google Patents

Abstract

【課題】ユーザの入力操作の対象を確定して選択する前に、近接検知時に入力操作の対象に関する支援情報又は関連情報を明示的に表示し、ユーザの正確な入力操作を支援して操作性を向上させる。
【解決手段】携帯端末１は、画面ＤＰに対する指ＦＧの近接を検知する近接検知部１０と、近接が検知された指ＦＧの近接座標に対応する画面ＤＰ上の位置である近接対応位置又は近接対応位置の周囲に、画面ＤＰ上の近接対応位置に表示されている項目の関連情報又は支援情報として、画面ＤＰ上の近接対応位置に表示されている項目とその項目に隣接する全ての項目との拡大イメージを表示させるキーイメージ合成部５３と、を備える。
【選択図】図２

Description

本発明は、タッチパネルを介した入力操作の支援を行う表示制御装置、表示制御方法及びプログラムに関する。

近年、タッチパネルを搭載した電子機器が増えている。ユーザにとって直感的なユーザインターフェースを提供可能なタッチパネルは、携帯電話機又はスマートフォンを含む電子機器の入力操作を受け付けるデバイスとして、広く用いられている。タッチパネルは、電子機器に設けられた表示部（例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electroluminescence）ディスプレイ）の画面に対する入力操作の受け付けと、入力操作に対する動作実行結果の表示とを同一の画面内において行うことを可能にする。

また最近、指の近接を検知可能なタッチパネルが知られている（例えば特許文献１参照）。特許文献１の非接触型ユーザ入力装置は、複数の線状の送信電極と、各送信電極に送信用の交流電流を供給する発信器と、各送信電極とは接触しないように配置された複数の線状の受信電極と、受信電極を流れる交流電流を受信する受信器とを含む。送信電極と受信電極との各交差点ではコンデンサが形成される。また、ユーザの指先の近接に応じてコンデンサが形成されるので、指先の近接程度に応じてコンデンサの静電容量値が変化する。非接触型ユーザ入力装置は、静電容量値の変化を基に、タッチパネルと指との距離を認識できる。

特許文献１のようなタッチパネルは、タッチパネルの水平面から所定の高さ未満の空間上の位置に指がかざされた状態、即ち、指とタッチパネルとの近接状態を検知可能であり、指とタッチパネルとの間の距離により定まる静電容量値を基に、空間上の指をタッチパネルに対して略平行にスライド操作させたことを、指をタッチパネルに直接触れてスライド操作させた場合と同様に検知できる。このため、指の近接を検知可能なタッチパネルは、新たなユーザインターフェースとしての確立が期待されている。

特開２００２−３４２０３３号公報

しかしながら、従来のタッチパネルには、ユーザがアプリケーションにおいてタッチパネルに対して何かしらの入力操作を行わないと、ユーザにとってどのような動作が実行されるのかが分からないという課題があった。例えば、初心者のユーザがあまり使用しないアプリケーションを使用する場合に、画面に表示されたアイコン等のボタンの機能を熟知していないユーザがそのボタンにタッチ操作を行った結果、ユーザの意図に沿わない動作が実行されることがあり、ユーザが誤操作してしまうということがある。

また、特許文献１では、上述したユースケース、即ち、ユーザがあまり使用しないアプリケーションを使用する場合に画面に表示されたアイコン等のボタンを近接操作する場合の動作については特に開示がなされていない。ただ、指の近接を検知可能なタッチパネルにおいても、上述したユースケースにおいて説明した同様な課題が生じるものと考えられる。

本発明は、上述した事情に鑑みて案出されたものであり、ユーザの入力操作の対象を確定して選択する前に、近接検知時に入力操作の対象に関する支援情報又は関連情報を明示的に表示し、ユーザの正確な入力操作を支援して操作性を向上させる表示制御装置、表示制御方法及びプログラムを提供することを目的とする。

本発明の一実施形態の表示制御装置は、画面にデータを表示する表示部と、前記画面に対する指の近接を検知して近接検知信号を出力する近接検知部と、前記画面に対する前記指の接触を検知する接触検知部と、前記近接検知信号を基に、前記近接が検知された前記指の鉛直下方向における前記画面上の位置である近接対応位置又は前記近接対応位置の周囲に、前記画面上の前記近接対応位置に表示されている項目の関連情報又は支援情報を表示させる表示制御部と、前記関連情報又は支援情報に対する前記指の近接又は接触に応じて、前記近接対応位置又は前記接触が検知された接触位置に対応する項目に応じた動作を実行する動作実行部と、を備える。

この構成によれば、画面に対する指の近接が検知された際に指の鉛直下方向における画面上の位置である近接対応位置に表示されている項目（例えばボタン）の関連情報又は支援情報を近接対応位置又はその周囲に表示するため、ユーザの入力操作の対象を確定して選択する前に、近接検知時に入力操作の対象に関する支援情報又は関連情報を明示的に表示し、ユーザの正確な入力操作を支援して操作性を向上させることができる。

また、本発明の一実施形態の表示制御方法は、画面にデータを表示する表示制御装置における表示制御方法であって、前記画面に対する指の近接を検知して近接検知信号を出力するステップと、前記近接検知信号を基に、前記近接が検知された前記指の鉛直下方向における前記画面上の位置である近接対応位置又は前記近接対応位置の周囲に、前記画面上の前記近接対応位置に表示されている項目の関連情報又は支援情報を表示させるステップと、前記画面に対する前記指の接触を検知するステップと、前記関連情報又は支援情報に対する前記指の近接又は接触に応じて、前記近接対応位置又は前記接触が検知された接触位置に対応する項目に応じた動作を実行するステップと、を有する。

この方法によれば、画面に対する指の近接が検知された際に指の鉛直下方向における画面上の位置である近接対応位置に表示されている項目（例えばボタン）の関連情報又は支援情報を近接対応位置又はその周囲に表示するため、ユーザの入力操作の対象を確定して選択する前に、近接検知時に入力操作の対象に関する支援情報又は関連情報を明示的に表示し、ユーザの正確な入力操作を支援して操作性を向上させることができる。

また、本発明は、画面にデータを表示する表示制御装置であるコンピュータに、前記画面に対する指の近接を検知して近接検知信号を出力するステップと、前記近接検知信号を基に、前記近接が検知された前記指の鉛直下方向における前記画面上の位置である近接対応位置又は前記近接対応位置の周囲に、前記画面上の前記近接対応位置に表示されている項目の関連情報又は支援情報を表示させるステップと、前記画面に対する前記指の接触を検知するステップと、前記関連情報又は支援情報に対する前記指の近接又は接触に応じて、前記近接対応位置又は前記接触が検知された接触位置に対応する項目に応じた動作を実行するステップと、を実行させるためのプログラムである。

このプログラムによれば、画面に対する指の近接が検知された際に指の鉛直下方向における画面上の位置である近接対応位置に表示されている項目（例えばボタン）の関連情報又は支援情報を近接対応位置又はその周囲に表示するため、ユーザの入力操作の対象を確定して選択する前に、近接検知時に入力操作の対象に関する支援情報又は関連情報を明示的に表示し、ユーザの正確な入力操作を支援して操作性を向上させることができる。

本発明によれば、ユーザの入力操作の対象を確定して選択する前に、近接検知時に入力操作の対象に関する支援情報又は関連情報を明示的に表示し、ユーザの正確な入力操作を支援して操作性を向上させることができる。

第１の実施形態の携帯端末１の機能的構成を示すブロック図 近接対応キーである「Ｃ」のキーと同時に「Ｃ」のキーに隣接する全てのキーを拡大表示する様子を示す図 指を移動（ホバースライド操作）させる際に、全ての拡大表示キーの表示内容を切り替えるタイミングを示す図 指の移動（ホバースライド操作）に応じて切り替えて表示する全ての拡大表示キーのうち中心となる拡大表示キーの表示位置を示す説明図 （Ａ）第１の実施形態の携帯端末１の動作手順を説明するフローチャート、（Ｂ）図５（Ａ）に示す動作手順のうち近接対応位置のキーの拡大表示の動作手順を説明するフローチャート 第２の実施形態の携帯端末１Ａの機能的構成を示すブロック図 指ＦＧの近接対応キーである平仮名「あ」のキーと平仮名「あ」のキーの関連キーとを表示する様子を示す図 第２の実施形態の携帯端末１Ａの動作手順を説明するフローチャート 第３の実施形態の携帯端末１Ｂの機能的構成を示すブロック図 指ＦＧが設定変更項目の簡易ボタンに近接した場合に、近接対応位置に表示されている簡易ボタンに対応する同一グループのメニュー一覧をユーザが視認可能な表示形態にて表示する様子を示す図 動作実行項目のボタンとして動画撮影ボタンに所定時間以上、指ＦＧが近接した場合の様子を示す図 第３の実施形態の携帯端末１Ｃの動作手順を説明するフローチャート 第４の実施形態の携帯端末の機能的構成を示すブロック図 （Ａ）セキュリティロック画面とタッチパネルに設けられた９個の検知点とを示す図、（Ｂ）タッチ検知領域、低ホバー検知領域及び高ホバー検知領域の概念図、（Ｃ）各々の検知領域に設けられた検知点と指の軌跡とを示す図 セキュリティロック画面に対する指ＦＧの解除操作の軌跡の表示形態と軌跡位置（高さ）の表示形態とを示す説明図 第４の実施形態の携帯端末１Ｃの動作手順を説明するフローチャート タッチ検知領域、低ホバー検知領域、高ホバー検知領域のｚ軸方向における合計２個又は３個の各検知点をそれぞれ１個の検知点とみなした場合に入力された指ＦＧの軌跡の画面表示例の説明図、（Ａ）各々の検知領域に設けられた検知点と指の軌跡とを示す図、（Ｂ）全ての検知領域のｚ軸方向における３個の検知点を１個の検知点とみなした場合の指ＦＧの軌跡（図１７（Ａ）参照）の画面表示例、（Ｃ）低ホバー検知領域及び高ホバー検知領域のｚ軸方向における２個の検知点を１個の検知点とみなした場合の指ＦＧの軌跡（図１７（Ａ）参照）の画面表示例、（Ｄ）タッチ検知領域における指ＦＧの軌跡（図１７（Ａ）参照）の画面表示例

以下、本発明に係る表示制御装置、表示制御方法及びプログラムの各実施形態について、図面を参照して説明する。本発明に係る表示制御装置は、データを画面に表示する表示部を含む電子機器であり、例えば携帯電話機、スマートフォン、タブレット端末、デジタルスチルカメラ、ＰＤＡ（personal digital assistant）又は電子書籍端末等である。以下、各実施形態を説明するための表示制御装置の一例として、携帯端末（例えばスマートフォン）を用いて説明する。

なお、本発明は、装置としての表示制御装置、又は表示制御装置をコンピュータとして表示制御装置が実行する各動作（ステップ）を実行させるためのプログラムとして表現することも可能である。更に、本発明は、表示制御装置により実行される各動作（ステップ）を含む表示制御方法として表現することも可能である。即ち、本発明は、装置、方法及びプログラムのうちいずれのカテゴリーにおいても表現可能である。

（各実施形態に必要な用語の説明）
また、以下の説明において、ユーザからのタッチ操作の受け付けが可能であって、携帯端末の表示部（例えばＬＣＤ又は有機ＥＬディスプレイ）の画面に表示されたアプリケーション毎のコンテンツの一部を選択可能とするための項目、又は当該選択によってコンテンツに対する所定の動作を実行させるための項目を「ボタン」と定義する。所定の動作とは、例えばアプリケーションにおいて現在表示されているコンテンツに関連した内容を実行する動作（例えば映像データを再生する動作）である。

アプリケーションに対するユーザからの動作又は設定変更の実行の指示部分としての「ボタン」は、アプリケーションのコンテンツとして、例えばニュースの見出しが表示されている場合、ハイパーリンクされた文字列、即ち、ニュースの見出しでも良いし、ユーザの選択操作を促すための画像（例えばアイコン）でも良いし、又は、文字列と画像との組合せでも良い。携帯端末は、ユーザの入力操作に応じて、ボタンに対する入力操作として、例えばボタンに対応する「ニュースの見出し」の選択を受け付け、選択されたボタンに対応するニュースの詳細を表示することができる。なお、「ボタン」は携帯端末において起動しているアプリケーションに応じて定められる。

以下の説明において、タッチパネルへの指示媒体（検知対象）としては、一例としてユーザの指（例えば人差し指）を用いて説明するが、指に限らず、ユーザの手により把持された導電性のスタイラスを用いても良い。また、指示媒体（検知対象）は、タッチパネルの構造及び検知方式に応じて、タッチパネルへの近接及びタッチ（接触）が検出可能なものであれば特に限定されない。

また、タッチパネル上の水平面を表す２軸をｘ軸及びｙ軸とし、タッチパネル上の水平面に対して垂直な方向（高さ方向）を表す軸をｚ軸とする。更に、以下の説明において、「座標」は、タッチパネルが指のタッチ（接触）を検知した時のタッチパネルの水平面上の位置により定まるタッチ座標（ｘ、ｙ）、又は、タッチパネルが指の近接を検知した時の空間上の位置により定まる近接座標（ｘ、ｙ、ｚ）のいずれかを示す。近接座標のｚ座標値は、タッチパネルの水平面から指が空間上に離間している高さを表す。

更に、以下の説明において、タッチパネルの水平面上から離間する方向に向かって離間した空間上の近接検知領域内の位置に指をかざす操作を「ホバー操作」と定義し、ホバー操作によってかざされた空間上の位置からタッチパネルの水平面に対して略平行にスライド（移動）する操作を、「ホバースライド操作」と定義する。従って、指がタッチパネルの面上に直接タッチする操作は「ホバー操作」ではなく、「タッチ操作」となる。また、指をタッチパネルの水平面上にタッチ（接触）させてから同水平面上に沿ってスライド（移動）する操作を、「タッチスライド操作」と定義する。

なお、ホバー操作又はホバースライド操作が検知されるためには、指とタッチパネルの面上との距離は、タッチパネルが検出する静電容量値に反比例するため、タッチパネルが検出可能な静電容量値の範囲に対応することが好ましい。このため、以下の各実施形態の携帯端末に搭載されるタッチパネルには、指の近接を検知可能な近接検知領域（ｚ座標値：ｚ３）が予め設けられている（図１４（Ｂ）参照）。指がタッチパネルに向かって近接検知領域内に進入すると、タッチパネルは、指の近接を検知する。このように、タッチパネルに向かって近接検知領域外の高さから近接検知領域内の高さに指をかざすことで指の近接が検知され始める操作を「ホバーイン」といい、タッチパネルから離間するように近接検知領域内から近接検知領域外に指を移動させることで指の近接が検知されなくなる操作を「ホバーアウト」という。

（第１の実施形態）
第１の実施形態では、携帯端末１は、画面に表示されたＱＷＥＲＴＹ形式のソフトウェアキーボードのいずれかのキーに対して指が近接した場合に、ホバー操作中又はホバースライド操作中の指の近接座標に対応する画面上の位置（以下、「近接対応位置」と定義する）の周囲に、近接対応位置に表示されている項目（例えばアルファベット「Ｃ」のキー）の関連情報又は支援情報として、近接対応位置に表示されているキーとそのキーに隣接する全てのキーとを拡大表示させる。

（第１の実施形態の携帯端末１の機能的構成）
先ず、第１の実施形態の携帯端末１の機能的構成について、図１を参照して説明する。図１は、第１の実施形態の携帯端末１の機能的構成を示すブロック図である。図１に示す携帯端末１は、近接検知部１０、近接座標評価部１１、タッチ検知部２０、タッチ座標評価部２１、キー位置／指位置判定部３０、キーボードアプリ４０、画面表示部５０、キーイメージ生成部５１、拡大キーイメージ生成部５２及びキーイメージ合成部５３を含む。キー位置／指位置判定部３０は、表示キー位置情報３１を保持する。キーボードアプリ４０は、同時拡大単位設定情報４１（図２参照）、描画切り替え設定情報４２（図３参照）及び拡大表示位置設定情報４３（図４参照）を保持する。

キー位置／指位置判定部３０、キーボードアプリ４０、キーイメージ生成部５１、拡大キーイメージ生成部５２及びキーイメージ合成部５３の各部は、携帯端末１に内蔵されるプロセッサ（不図示）が本発明に係るプログラムを読み込んで実行することによって動作可能となる。なお、プロセッサは、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）であり、以下の各実施形態においても同様である。

近接検知部１０は、ホバー操作又はホバースライド操作によってユーザの指ＦＧ（図２参照）がタッチパネル１５に近接したことを検知する。近接検知部５は、指がタッチパネル１５に近接した旨の近接通知を近接座標評価部１１に出力する。

近接座標評価部１１は、近接検知部１０から出力された近接通知を基に、指ＦＧのタッチパネル１５に対する近接座標（ｘ、ｙ、ｚ）を、近接検知時における近接検知信号として算出する。なお、以下の説明において、近接検知信号は、近接座標であるとして説明するが、近接検知時に算出される静電容量値でも良い。上述したように、近接座標（ｘ、ｙ、ｚ）のうち、ｘ成分及びｙ成分は画面表示部５０の画面ＤＰ（図２参照）に搭載されたタッチパネル１５の水平面上の位置を表す座標値、即ち近接対応位置を示す座標値であって、ｚ成分は指ＦＧとタッチパネル１５との間のｚ軸方向の距離（高さ）を表す座標値である。近接座標評価部１１は、算出された近接座標（ｘ、ｙ、ｚ）の情報をキー位置／指位置判定部３０に出力する。なお、近接検知部１０と近接座標評価部１１とを纏めて近接検知部として構成しても良い。

接触検知部としてのタッチ検知部２０は、タッチ操作又はタッチスライド操作によって指ＦＧがタッチパネル１５にタッチ（接触）した動作を検知する。タッチ検知部２０は、指ＦＧがタッチパネル１５にタッチ（接触）した旨の接触通知をタッチ座標評価部２１に出力する。

タッチ座標評価部２１は、タッチ検知部２０から出力された接触通知を基に、指ＦＧがタッチパネル１５にタッチ（接触）した時のタッチ座標（ｘ、ｙ）を算出する。タッチ座標評価部２１は、算出されたタッチ座標（ｘ、ｙ）の情報をキー位置／指位置判定部３０に出力する。なお、タッチ検知部２０とタッチ座標評価部２１とを纏めて接触検知部として構成しても良い。

なお、本実施形態を含む各実施形態において、指ＦＧのタッチ（接触）と近接との両方を検知可能なタッチパネル１５は、近接検知部１０、近接座標評価部１１、タッチ検知部２０及びタッチ座標評価部２１とを用いて構成可能である。

キー位置／指位置判定部３０は、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）の情報と表示キー位置情報３１とを基に、近接座標（ｘ、ｙ、ｚ）のうちｘ座標値及びｙ座標値、即ちホバー操作又はホバースライド操作中の指ＦＧの近接対応位置に表示されているキー（以下、「近接対応キー」と定義する）を判定する。

表示キー位置情報３１とは、後述する画面表示部５０の画面ＤＰ（図２参照）にＱＷＥＲＴＹ形式のソフトウェアキーボードが表示されている場合では、画面ＤＰ内における同ソフトウェアキーボードの表示位置及び同ソフトウェアキーボードを構成する各々のキーの表示位置をそれぞれ示す情報である。

なお、表示キー位置情報３１はキー位置／指位置判定部３０により保持されているが、キーボードアプリ４０により保持されていても良い。この場合、キー位置／指位置判定部３０は、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）の情報をキーボードアプリ４０に出力する。キーボードアプリ４０は、キー位置／指位置判定部３０から出力された情報を基に、表示キー位置情報３１を基に近接対応位置に表示されている近接対応キーの情報を判定してキー位置／指位置判定部３０に出力する。

キー位置／指位置判定部３０は、近接対応キーを判定した後、判定した近接対応キーと同時に拡大表示するキーの数情報をキーボードアプリ４０に問い合わせ、更に、近接対応キーを含む複数のキーの拡大キーイメージ（データ）を生成する旨の拡大キーイメージ生成指示を拡大キーイメージ生成部５２に出力する。

動作実行部としてのキーボードアプリ４０は、携帯端末１に内蔵されるＲＯＭ（Read Only Memory）に予め記憶され、例えばＱＷＥＲＴＹ形式のソフトウェアキーボードの画面データをキーイメージ生成部５１に生成させ、画面ＤＰに表示されたＱＷＥＲＴＹ形式のソフトウェアキーボードに対するユーザの入力操作（例えば文字入力操作）を受け付けるアプリケーションである。

キーボードアプリ４０は、同時拡大単位設定情報４１を基に、キー位置／指位置判定部３０からの問い合わせに対する回答情報として、近接対応キーと同時に拡大表示するキーの数情報をキー位置／指位置判定部３０に出力する。

同時拡大単位設定情報４１とは、近接対応キーの拡大表示と同時に拡大表示するキーの数を示す情報であり、本実施形態では、近接対応キーに隣接する「全て」のキーを表す情報である。図２は、近接対応キーである「Ｃ」のキーと同時に「Ｃ」のキーに隣接する全てのキーを拡大表示する様子を示す図である。

例えば指ＦＧが画面ＤＰ上に表示されている「Ｃ」のキーに近接すると、「Ｃ」のキーが近接対応キーとなり、キーボードアプリ４０は、同時拡大単位設定情報４１を基に、近接対応キーと同時に拡大表示するキーの数情報は近接対応キーに隣接する全てのキーである旨の数情報（＝４個）を回答情報としてキー位置／指位置判定部３０に出力する。キー位置／指位置判定部３０は、キーボードアプリ４０からの回答情報と表示キー位置情報３１とを基に、近接対応キー（「Ｃ」のキー）と同時に拡大表示するキーを、「Ｘ」、「Ｖ」、「Ｄ」、「Ｆ」の各キーと判定する。更に、キー位置／指位置判定部３０は、近接対応キー（「Ｃ」のキー）と近接対応キーと同時に拡大表示するキー（「Ｘ」、「Ｖ」、「Ｄ」、「Ｆ」の各キー）とを、拡大キーイメージ生成部５２が生成する対象として判定する。キー位置／指位置判定部３０は、近接対応キー（「Ｃ」のキー）と近接対応キーに隣接する全てのキー（「Ｘ」、「Ｖ」、「Ｄ」、「Ｆ」の各キー）との拡大表示キーイメージを生成する旨の拡大キーイメージ生成指示を拡大キーイメージ生成部５２に出力する。

従って、図２に示すように、画面ＤＰ上に表示されている「Ｃ」のキーに指ＦＧが近接すると、携帯端末１は、領域ＡＲ１により囲まれた「Ｃ」のキーと「Ｃ」のキーに隣接する全てのキー（「Ｘ」、「Ｖ」、「Ｄ」、「Ｆ」の各キー）とを、拡大表示前の「Ｃ」のキーの表示位置を中心としてそれぞれ同一の拡大倍率によって拡大表示する（図２に示す領域ＡＲ２参照）。これにより、携帯端末１は、ＱＷＥＲＴＹ形式のソフトウェアキーボードにおいて各々のキーが隣接して表示されている場合に、特定のキーと特定のキーが全方位に隣接するキーとを合わせて関連情報として拡大表示することにより、指ＦＧを近接させたユーザに対する近辺のキーを簡易に選択させることができる。

以下、ＱＷＥＲＴＹ形式のソフトウェアキーボードにおいて、拡大表示されたキーを、単に「拡大表示キー」という。なお、拡大表示された全ての拡大表示キーの領域ＡＲ２によって、ＱＷＥＲＴＹ形式のソフトウェアキーボードの一部（具体的には「Ｘ」、「Ｃ」、「Ｖ」、「Ｄ」、「Ｆ」のキー全部と、「Ｚ」、「Ｓ」、「Ｅ」、「Ｒ」、「Ｔ」、「Ｇ」、「Ｂ」の一部）が隠れる（図２の矢印の右側参照）。

次に、描画切り替え設定情報４２とは、ホバー操作中の指ＦＧが画面ＤＰに平行に移動（ホバースライド操作）した場合に、全ての拡大表示キーの表示内容を指ＦＧの移動に応じて切り替えるタイミングを表す情報であり、キーボードアプリ４０の動作において予め規定されている。但し、描画切り替え設定情報４２は、ユーザの設定変更操作によって適宜変更されても良い。図３は、指ＦＧを移動（ホバースライド操作）させる際に、全ての拡大表示キーの表示内容を切り替えるタイミングを示す図である。図３に示す左側の領域ＰＡＲは、同図に示す右側の点線の領域ＰＡＲを拡大表示したものである。

描画切り替え設定情報４２は、次の３種類のタイミングを示す情報のうちいずれかである。図３を参照して具体的に説明する。

第１番目のタイミングは、「Ｃ」のキーに対してホバー操作中の指ＦＧが矢印ＲＷの方向に移動（ホバースライド操作）する際、拡大表示前の「Ｃ」のキーの表示領域の境界線ＢＲ１上の点Ｐ１を超えたタイミングである。即ち、キー位置／指位置判定部３０は、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）の情報をキーボードアプリ４０に出力すると共に、キーボードアプリ４０は、キー位置／指位置判定部３０から出力された近接座標（ｘ、ｙ、ｚ）の情報を基に、近接座標（ｘ、ｙ、ｚ）が描画切り替え設定情報４２の第１番目のタイミングを満たした時にその旨の情報を拡大キーイメージ生成部５２に出力する。これにより、携帯端末１は、指ＦＧがホバーアウトしなくても連続的な入力操作ができるような上級者のユーザに対し、拡大表示されていない元々の倍率で表示されたキーの境界線を越えた時点で拡大表示キーの表示内容の切り替えを分かり易く認知させることができ、ユーザの操作性を向上させることができる。

第２番目のタイミングは、「Ｃ」のキーに対してホバー操作中の指ＦＧが矢印ＲＷの方向に移動（ホバースライド操作）する際、拡大表示後の「Ｃ」のキーの表示領域の境界線ＢＲ２上の点Ｐ２を超えたタイミングである。即ち、キー位置／指位置判定部３０は、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）の情報をキーボードアプリ４０に出力すると共に、キーボードアプリ４０は、キー位置／指位置判定部３０から出力された近接座標（ｘ、ｙ、ｚ）の情報を基に、近接座標（ｘ、ｙ、ｚ）が描画切り替え設定情報４２の第２番目のタイミングを満たした時にその旨の情報を拡大キーイメージ生成部５２に出力する。これにより、携帯端末１は、上級者といえるユーザでなくても、画面ＤＰ上に実際に表示されている拡大表示キーの「Ｃ」の境界線ＢＲ２を超えた時点で拡大表示キーの表示内容の切り替えを明示的に分かり易く認知させることができ、ユーザの誤操作を軽減でき、ユーザの操作性を向上させることができる。

第３番目のタイミングは、「Ｃ」のキーに対してホバー操作中の指ＦＧが矢印ＲＷの方向に移動（ホバースライド操作）する際、全ての拡大表示キーの領域ＡＲ２の表示領域の外枠に相当する境界線上の点Ｐ３を超えたタイミングである。即ち、キー位置／指位置判定部３０は、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）の情報をキーボードアプリ４０に出力すると共に、キーボードアプリ４０は、キー位置／指位置判定部３０から出力された近接座標（ｘ、ｙ、ｚ）の情報を基に、近接座標（ｘ、ｙ、ｚ）が描画切り替え設定情報４２の第３番目のタイミングを満たした時にその旨の情報を拡大キーイメージ生成部５２に出力する。これにより、携帯端末１は、ホバー操作又はホバースライド操作に慣れていない初心者等のユーザに対して、画面ＤＰ上に実際に表示されている拡大表示キーの領域ＡＲ２の外枠の境界線を超えた時点で拡大表示キーの表示の切り替えを明示的に分かり易く認知させることができ、ユーザの誤操作を軽減でき、ユーザの操作性を向上させることができる。

このように、タッチパネル１５に対する指ＦＧの移動時（ホバースライド操作時）の移動速度はユーザのホバー操作又はホバースライド操作の熟練度によって異なるため、携帯端末１は、ユーザが自己の熟練度又は嗜好に応じた描画切り替え設定情報４２を用いるように設定することで、ユーザの利便性を考慮した拡大表示キーの切り替えを適切に行うことができる。

次に、拡大表示位置設定情報４３とは、近接座標（ｘ、ｙ、ｚ）が描画切り替え設定情報４２のタイミングを満たした時に、指ＦＧの移動に応じて拡大表示キーの表示内容を切り替える時の中心となる拡大表示キーの表示位置を示す情報である。図４は、指ＦＧの移動（ホバースライド操作）に応じて切り替えて表示する全ての拡大表示キーのうち中心となる拡大表示キーの表示位置を示す説明図である。

拡大表示位置設定情報４３は、次の２種類の表示位置を示す情報である。図４を参照して具体的に説明する。先ず、前提の操作として、ホバー操作中の指ＦＧが、拡大表示前の「Ｃ」のキーから移動（ホバースライド操作）し、拡大表示前の「Ｃ」のキーと拡大表示前の「Ｖ」のキーとの境界を超えて拡大表示前の「Ｖ」のキーの表示領域に進入したとする。即ち、図４の説明では、拡大表示キーの表示内容を切り替えるために用いられる描画切り替え設定情報４２は、説明及び図４の内容を簡単にするために、第１番目のタイミングを示す情報とする。

第１番目の表示位置は、上述した指ＦＧの前提となる移動（ホバースライド操作）があった場合に、移動（ホバースライド操作）後の指ＦＧの近接対応位置に表示されている拡大表示前のキー（「Ｖ」のキー）の表示位置である。即ち、キー位置／指位置判定部３０は、上述した指ＦＧの前提となる移動（ホバースライド操作）があった場合には、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）の情報をキーボードアプリ４０に出力する。更に、キーボードアプリ４０は、キー位置／指位置判定部３０から出力された近接座標（ｘ、ｙ、ｚ）の情報を基に、近接座標（ｘ、ｙ、ｚ）が描画切り替え設定情報４２の第１番目のタイミングを満たした時に、指ＦＧの移動に応じて拡大表示キーの表示内容を切り替えた時の中心となる拡大表示キーの表示位置の情報は「移動（ホバースライド操作）後の指ＦＧの近接対応位置に表示されている拡大表示前の「Ｖ」のキーの表示位置である」旨の情報を拡大キーイメージ生成部５２に出力する。従って、携帯端末１は、上述した指ＦＧの前提となる移動（ホバースライド操作）があった場合には、移動（ホバースライド操作）後の指ＦＧの近接対応位置に表示されている拡大表示前の「Ｖ」のキーの表示位置を中心として、近接対応キーとしての「Ｖ」のキーと「Ｖ」のキーに隣接する全てのキー（「Ｃ」、「Ｂ」、「Ｆ」、「Ｇ」の各キー）とを拡大表示（描画）する（図４の右上段参照）。

第２番目の表示位置は、上述した指ＦＧの前提となる移動（ホバースライド操作）があった場合に、指ＦＧの移動（ホバースライド操作）前に表示されていた全ての拡大表示キーの初期表示位置のうち、移動（ホバースライド操作）後の指ＦＧの近接対応位置に表示されている拡大表示キーの表示位置である。更に、拡大表示位置設定情報４３が第２番目の表示位置を示す情報である場合には、移動後の指ＦＧの近接対応位置に表示されている拡大表示後の「Ｖ」のキーの移動（ホバースライド操作）方向に隣接する全てのキー（「Ｂ」、「Ｇ」の各キー）の拡大表示キーの表示が追加（継続）され、同移動（ホバースライド操作）方向の反対側に隣接する全てのキー（「Ｃ」、「Ｆ」の各キー）の拡大表示キーの表示が消去される。即ち、キー位置／指位置判定部３０は、上述した指ＦＧの前提となる移動（ホバースライド操作）があった場合には、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）の情報をキーボードアプリ４０に出力する。更に、キーボードアプリ４０は、キー位置／指位置判定部３０から出力された近接座標（ｘ、ｙ、ｚ）の情報を基に、近接座標（ｘ、ｙ、ｚ）が描画切り替え設定情報４２の第１番目のタイミングを満たした時に、指ＦＧの移動に応じて拡大表示キーの表示内容を切り替えた時の中心となる拡大表示キーの表示位置の情報は「指ＦＧの移動（ホバースライド操作）前に表示されていた全ての拡大表示キーの初期表示位置のうち、移動（ホバースライド操作）後の指ＦＧの近接対応位置に表示されている拡大表示キー（「Ｖ」のキー）の初期表示位置である」旨の情報を拡大キーイメージ生成部５２に出力する。従って、携帯端末１は、上述した指ＦＧの前提となる移動（ホバースライド操作）があった場合には、移動（ホバースライド操作）後の指ＦＧの近接対応キー（「Ｖ」のキー）の初期表示位置を中心に、移動（ホバースライド操作）方向に隣接する全てのキー（「Ｂ」、「Ｇ」の各キー）の拡大表示キーを追加して表示し、移動（ホバースライド操作）方向の反対方向に隣接する全てのキー（「Ｃ」、「Ｆ」の各キー）の拡大表示キーを消去する（図４の右下段参照）。

このように、携帯端末１は、ユーザが自己の熟練度又は嗜好に応じた拡大表示位置設定情報４３を用いるように設定することで、第１番目の表示位置を示す拡大表示位置設定情報４３によれば、第２番目の表示位置を示す拡大表示位置設定情報４３を用いる場合に比べて、指ＦＧの移動（ホバースライド操作）によって拡大表示キーの表示内容を切り替える場合の指ＦＧの移動量を相対的に低減することができ、ユーザの操作を簡易化させることができる。

また、携帯端末１は、第２番目の表示位置を示す拡大表示位置設定情報４３によれば、既に表示されている拡大表示キーの表示位置を変更せずに、指ＦＧの移動方向に隣接する全てのキーを追加して表示し、移動方向の反対方向に隣接する全てのキーを削除するため、指ＦＧの移動（ホバースライド操作）後における全ての拡大表示キーの視認性を向上させることができる。

画面表示部５０は、例えばＬＣＤ又は有機ＥＬディスプレイを用いて構成され、画面ＤＰにデータを表示する機能を有し、後述するキーイメージ合成部５３から出力された画面データを画面ＤＰに表示する。本実施形態では、画面表示部５０が表示する画面データは、ＱＷＥＲＴＹ形式のソフトウェアキーボードの画面のデータ、又は、ＱＷＥＲＴＹ形式のソフトウェアキーボードの画面と拡大表示キーとが合成された画面のデータである。

キーイメージ生成部５１は、キーボードアプリ４０から出力されたＱＷＥＲＴＹ形式のソフトウェアキーボードの画面データ生成指示を基に、同形式のソフトウェアキーボード（図２参照）の画面データを生成してキーイメージ合成部５３に出力する。

拡大キーイメージ生成部５２は、キー位置／指位置判定部３０から出力された拡大キーイメージ生成指示を基に、拡大表示キーのイメージデータ（画像データ）を生成してキーイメージ合成部５３に出力する。また、拡大キーイメージ生成部５２は、キー位置／指位置判定部３０から出力された拡大キーイメージ生成指示と、キーボードアプリ４０から出力された各情報とを基に、指ＦＧの移動（ホバースライド操作）後における拡大表示キーのイメージデータ（画像データ）を生成してキーイメージ合成部５３に出力する。なお、キーボードアプリ４０から出力された各情報とは、描画切り替え設定情報４２を満たす旨の情報と、指ＦＧの移動に応じて拡大表示キーの表示内容を切り替える時の中心となる拡大表示キーの表示位置の情報とである。更に、拡大キーイメージ生成部５２は、キーボードアプリ４０から出力された全ての拡大表示キーのうち中心となる拡大表示キーの表示位置に関する情報をキーイメージ合成部５３に出力する。

表示制御部としてのキーイメージ合成部５３は、キーイメージ生成部５１から出力されたＱＷＥＲＴＹ形式のソフトウェアキーボードの画面データと拡大キーイメージ生成部５２から出力された拡大表示キーのイメージデータとを合成し、拡大キーイメージ生成部５２から出力された全ての拡大表示キーのうち中心となる拡大表示キーの表示位置に関する情報を基に、合成後の画面データを画面表示部５０の画面ＤＰの所定位置に表示させる。所定位置とは、拡大キーイメージ生成部５２から出力された中心となる拡大表示キーの表示位置を基にした所定位置である。なお、キーイメージ合成部５３は、拡大キーイメージ生成部５２から拡大表示キーのイメージデータを入力しない場合には、キーイメージ生成部５１から出力されたＱＷＥＲＴＹ形式のソフトウェアキーボードの画面データをそのまま画面表示部５０の画面ＤＰに表示させる。

なお、キーイメージ合成部５３は、合成後の画面データを画面表示部５０の画面ＤＰに表示させた場合に、現在拡大表示キーが画面ＤＰ上に表示されている旨の情報を、携帯端末１に内蔵される不図示のＲＡＭ（Random Access Memory）に一時的に記憶する。この情報は、例えばキー位置／指位置判定部３０により参照される。

（第１の実施形態の携帯端末１の動作）
図５（Ａ）は、第１の実施形態の携帯端末１の動作手順を説明するフローチャートである。図５（Ｂ）は、図５（Ａ）に示す動作手順のうち近接対応位置のキーの拡大表示の動作手順を説明するフローチャートである。図５（Ａ）又は（Ｂ）の説明において、必要に応じて、図２から図４の内容を参照する。

図５（Ａ）において、携帯端末１は、近接検知部１０がタッチパネル１５に対する指ＦＧの近接を検知するまで待機する（Ｓ１１）。近接検知部１０がタッチパネル１５に対する指ＦＧの近接を検知した場合には（Ｓ１１、ＹＥＳ）、近接座標評価部１１は、近接検知部１０から出力された近接通知を基に、指ＦＧのタッチパネル１５に対する近接座標（ｘ、ｙ、ｚ）を算出する。近接座標評価部１１は、算出された近接座標（ｘ、ｙ、ｚ）の情報をキー位置／指位置判定部３０に出力する。

ステップＳ１１の後、携帯端末１の動作はステップＳ１２に進む。ステップＳ１２の動作の詳細は図５（Ｂ）を参照して後述し、先にステップＳ１３以降の動作を説明する。

ステップＳ１２の後、携帯端末１は、タッチ検知部２０がタッチパネル１５に対する指ＦＧのタッチ（接触）を検知するまで待機する（Ｓ１３）。タッチ検知部２０がタッチパネル１５に対する指ＦＧのタッチ（接触）を検知した場合には（Ｓ１３、ＹＥＳ）、タッチ座標評価部２１は、タッチ検知部２０から出力された接触通知を基に、指ＦＧのタッチパネル１５に対するタッチ座標（ｘ、ｙ）を算出する。タッチ座標評価部２１は、算出されたタッチ座標（ｘ、ｙ）の情報をキー位置／指位置判定部３０に出力する。

キー位置／指位置判定部３０は、タッチ座標評価部２１から出力されたタッチ座標（ｘ、ｙ）の情報を基に、タッチ座標（ｘ、ｙ）の位置に表示されているＱＷＥＲＴＹ形式のソフトウェアキーボードのキーを、ユーザの入力操作の対象の該当キーとして確定する（Ｓ１４）。キー位置／指位置判定部３０は、タッチ座標（ｘ、ｙ）の位置に表示されているキーの情報とそのキーに応じた動作（例えば文字入力操作）を実行させる旨の動作実行指示とをキーボードアプリ４０に出力する。キーボードアプリ４０は、キー位置／指位置判定部３０から出力された動作実行指示を基に、ユーザの入力操作の対象の該当キーとして確定されたキーに応じた動作（例えば文字入力操作）を実行する。この後、携帯端末１の動作はステップ１２に戻る。

一方、タッチ検知部２０がタッチパネル１５に対する指ＦＧのタッチ（接触）を検知しない場合には（Ｓ１３、ＮＯ）、キー位置／指位置判定部３０は、図３に示したように、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）の情報を基に、近接対応位置に対してホバー操作中の指ＦＧが近接対応キーを跨いで移動（ホバースライド操作）したか否か、即ち近接座標（ｘ、ｙ、ｚ）が描画切り替え設定情報４２により定められるいずれかのタイミングを満たしたか否かをキーボードアプリ４０に判定させる（Ｓ１５）。図５（Ａ）の説明では、図３を参照して上述したように、描画切り替え設定情報４２は、第１番目のタイミングを示す情報であるとする。即ち、描画切り替え設定情報４２は、図３を参照すると、「Ｃ」のキーに対してホバー操作中の指ＦＧが矢印ＲＷの方向に移動（ホバースライド操作）する際、拡大表示前の「Ｃ」のキーの表示領域の境界線ＢＲ１上の点Ｐ１を超えたタイミングを示す情報である。

キーボードアプリ４０が近接対応位置に対してホバー操作中の指ＦＧが近接対応キーを跨いで移動（ホバースライド操作）していないと判定した場合には（Ｓ１５、ＮＯ）、指ＦＧの移動（ホバースライド操作）があっても現在表示されている拡大表示キーの表示内容の切り替えは行われず、携帯端末１の動作はステップＳ１３に戻る。

一方、キーボードアプリ４０が近接対応位置に対してホバー操作中の指ＦＧが近接対応キーを跨いで移動（ホバースライド操作）したと判定した場合には（Ｓ１５、ＹＥＳ）、指ＦＧの移動（ホバースライド操作）に応じて現在表示されている拡大表示キーの表示内容が切り替わることになり、携帯端末１の動作はステップＳ１２に戻る。

次に、図５（Ｂ）において、キー位置／指位置判定部３０は、拡大表示キーが既に表示済みであるか否かを判定する（Ｓ１２−１）。具体的には、キー位置／指位置判定部３０は、携帯端末１に内蔵されるＲＡＭ（不図示）に、現在拡大表示キーが画面ＤＰ上に表示されている旨の情報が記憶されているか否かに応じて、拡大表示キーが既に表示済みであるか否かを判定する。

キー位置／指位置判定部３０は、拡大表示キーが既に表示済みでないと判定した場合には（Ｓ１２−１、ＮＯ）、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）の情報と表示キー位置情報３１とを基に、近接対応位置の座標（ｘ、ｙ）に表示されている近接対応キーを判定する。キー位置／指位置判定部３０は、近接対応キーを判定した後、判定した近接対応キーと同時に拡大表示するキーの数情報をキーボードアプリ４０に問い合わる。

キーボードアプリ４０は、同時拡大単位設定情報４１を基に、キー位置／指位置判定部３０からの問い合わせに対する回答情報として、近接対応キーと同時に拡大表示するキーの数情報（＝４個）をキー位置／指位置判定部３０に出力する。

キー位置／指位置判定部３０は、キーボードアプリ４０からの回答情報と表示キー位置情報３１とを基に、近接対応キー（「Ｃ」のキー）と同時に拡大表示するキーを、「Ｘ」、「Ｖ」、「Ｄ」、「Ｆ」の各キーと判定する。更に、キー位置／指位置判定部３０は、近接対応キー（「Ｃ」のキー）と近接対応キーと同時に拡大表示するキー（「Ｘ」、「Ｖ」、「Ｄ」、「Ｆ」の各キー）とを、拡大キーイメージ生成部５２が生成する対象として判定する。キー位置／指位置判定部３０は、近接対応キー（「Ｃ」のキー）と近接対応キーに隣接する全てのキー（「Ｘ」、「Ｖ」、「Ｄ」、「Ｆ」の各キー）との拡大表示キーイメージを生成する旨の拡大キーイメージ生成指示を拡大キーイメージ生成部５２に出力する。

拡大キーイメージ生成部５２は、キー位置／指位置判定部３０から出力された拡大キーイメージ生成指示を基に、拡大表示キーのイメージデータを生成してキーイメージ合成部５３に出力する。キーイメージ合成部５３は、キーイメージ生成部５１から出力されたソフトウェアキーボードの画面データと拡大キーイメージ生成部５２から出力された拡大表示キーのイメージデータとを合成し、合成後の画面データを画面表示部５０の画面ＤＰに表示させる（Ｓ１２−２）。即ち、キーイメージ合成部５３は、画面表示部５０の画面ＤＰに表示されているソフトウェアキーボードに対し、拡大表示前の近接対応キー（「Ｃ」のキー）の表示位置を中心として、拡大キーイメージ生成部５２により生成された拡大表示キーを画面表示部５０の画面ＤＰに表示させる（図２参照）。

一方、キー位置／指位置判定部３０は、拡大表示キーが既に表示済みであると判定した場合には（Ｓ１２−１、ＹＥＳ）、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）の情報と表示キー位置情報３１とを基に、移動（ホバースライド操作）後の指ＦＧの近接対応位置に表示されている近接対応キーを判定する。キー位置／指位置判定部３０は、近接対応キーを判定した後、近接対応キーの情報をキーボードアプリ４０に出力すると共に、指ＦＧの移動（ホバースライド操作）に応じて拡大表示キーの表示内容を切り替えた時の中心となる近接対応キーの表示位置を定める拡大表示位置設定情報４３をキーボードアプリ４０に問い合わせる（Ｓ１２−３）。キーボードアプリ４０は、キー位置／指位置判定部３０からの問い合わせに対し、拡大表示位置設定情報４３を参照して、指ＦＧの移動（ホバースライド操作）に応じて拡大表示キーの表示内容を切り替えた時の中心となる拡大表示キーの表示位置の情報を拡大キーイメージ生成部５２に出力する。更に、キーボードアプリ４０は、同時拡大単位設定情報４１を基に、キー位置／指位置判定部３０からの問い合わせに対する回答情報として、近接対応キーと同時に拡大表示するキーの数情報は近接対応キーに隣接する全てのキーである旨の数情報（＝４個）をキー位置／指位置判定部３０に出力する。

更に、キー位置／指位置判定部３０は、キーボードアプリ４０からの回答情報と表示キー位置情報３１とを基に、近接対応キー（「Ｃ」のキー）と同時に拡大表示するキーを、「Ｘ」、「Ｖ」、「Ｄ」、「Ｆ」の各キーと判定する。更に、キー位置／指位置判定部３０は、近接対応キー（「Ｃ」のキー）と近接対応キーと同時に拡大表示するキー（「Ｘ」、「Ｖ」、「Ｄ」、「Ｆ」の各キー）とを、拡大キーイメージ生成部５２が生成する対象として判定する。キー位置／指位置判定部３０は、近接対応キー（「Ｃ」のキー）と近接対応キーに隣接する全てのキー（「Ｘ」、「Ｖ」、「Ｄ」、「Ｆ」の各キー）との拡大表示キーイメージを生成する旨の拡大キーイメージ生成指示を拡大キーイメージ生成部５２に出力する。

キーボードアプリ４０は、拡大表示位置設定情報４３が第１の表示位置、即ち移動（ホバースライド操作）後の指ＦＧの近接対応キーに表示されている拡大表示前のキーの表示位置である場合には（Ｓ１２−３、第１の表示位置）、図４の右上段に示すように、指ＦＧの移動に応じて拡大表示キーの表示内容を切り替えた時の中心となる拡大表示キーの表示位置の情報は「移動（ホバースライド操作）後の指ＦＧの近接対応位置に表示されている拡大表示前の「Ｖ」のキーの表示位置である」旨の情報を拡大キーイメージ生成部５２に出力する。

拡大キーイメージ生成部５２は、キー位置／指位置判定部３０から出力された拡大キーイメージ生成指示と、キーボードアプリ４０から出力された各情報とを基に、指ＦＧの移動（ホバースライド操作）後における拡大表示キーのイメージデータを生成してキーイメージ合成部５３に出力する。キーイメージ合成部５３は、キーイメージ生成部５１から出力されたソフトウェアキーボードの画面データと拡大キーイメージ生成部５２から出力された拡大表示キーのイメージデータとを合成し、合成後の画面データを画面表示部５０の画面ＤＰに表示させる。即ち、キーイメージ合成部５３は、画面表示部５０の画面ＤＰに表示されているソフトウェアキーボードに対し、指ＦＧの移動後における拡大表示前の近接対応キーの表示位置を中心として、拡大キーイメージ生成部５２により生成された拡大表示キーを画面表示部５０の画面ＤＰに表示（描画）させる（Ｓ１２−２）。

一方、キーボードアプリ４０は、拡大表示位置設定情報４３が第２の表示位置、即ち拡大表示キーの初期表示位置を基準とした表示位置である場合には（Ｓ１２−３、第２の表示位置）、図４の右下段に示すように、指ＦＧの移動に応じて拡大表示キーの表示内容を切り替えた時の中心となる拡大表示キーの表示位置の情報は「指ＦＧの移動（ホバースライド操作）前に表示されていた全ての拡大表示キーの初期表示位置のうち、移動（ホバースライド操作）後の指ＦＧの近接対応位置に表示されている拡大表示キー（「Ｖ」のキー）の初期表示位置である」旨の情報を拡大キーイメージ生成部５２に出力する。

拡大キーイメージ生成部５２は、キー位置／指位置判定部３０から出力された拡大キーイメージ生成指示と、キーボードアプリ４０から出力された各情報とを基に、指ＦＧの移動（ホバースライド操作）後における拡大表示キーのイメージデータを生成してキーイメージ合成部５３に出力する。キーイメージ合成部５３は、キーイメージ生成部５１から出力されたソフトウェアキーボードの画面データと拡大キーイメージ生成部５２から出力された拡大表示キーのイメージデータとを合成し、合成後の画面データを画面表示部５０の画面ＤＰに表示させる。即ち、キーイメージ合成部５３は、画面表示部５０の画面ＤＰに表示されているソフトウェアキーボードに対し、指ＦＧの移動後における近接対応キーの初期表示位置を中心に、移動方向に隣接する全てのキーの拡大表示キーを追加して表示し、移動方向の反対方向に隣接する全てのキーの拡大表示キーの表示を消去する（Ｓ１２−４）。

以上により、本実施形態の携帯端末１は、ＱＷＥＲＴＹ形式のソフトウェアキーボードが表示された画面ＤＰに対する指ＦＧの近接が検知された際に、ホバー操作中又はホバースライド操作中の指ＦＧの近接座標に対応する画面上の位置である近接対応位置に表示されているキーの関連情報又は支援情報として、近接対応キーに隣接する全てのキーを近接対応位置の周囲に表示する。これにより、携帯端末１は、ユーザの入力操作の対象となるキーをタッチ操作によって確定して選択する前に、近接検知時に入力操作の対象に関する支援情報又は関連情報を明示的に表示（描画）でき、ユーザの正確な入力操作を支援して操作性を向上させることができる。

（第２の実施形態）
第２の実施形態では、携帯端末１Ａは、画面に表示されたテンキー形式のソフトウェアキーボードのいずれかのキーに対して指が近接した場合に、近接対応位置の周囲に、近接対応位置に表示されている項目（例えば平仮名「あ」のキー）の関連情報又は支援情報として、近接対応位置に表示されているキー（例えば平仮名「あ」のキー）とそのキーを一回又は複数回押下した場合に選択可能となる関連キー（例えば平仮名「い」、「う」、「え」、「お」の各キー）とを表示又は拡大表示させる（図７参照）。

（第２の実施形態の携帯端末１Ａの機能的構成）
図６は、第２の実施形態の携帯端末１Ａの機能的構成を示すブロック図である。図１に示す携帯端末１と同一の構成要素については同一の符号を付すことで説明を省略し、異なる内容について説明する。

図６に示す携帯端末１Ａは、近接検知部１０、近接座標評価部１１、タッチ検知部２０、タッチ座標評価部２１、キー位置／指位置判定部３０Ａ、キーボードアプリ４０Ａ、画面表示部５０、キーイメージ生成部５１、キーイメージ合成部５３、表示対象キー判定部５４及び表示対象キーイメージ生成部５５を含む。キーボードアプリ４０Ａは、表示キー位置情報３１及び関連キー情報４４（図７参照）を保持する。本実施形態では、表示キー位置情報３１はキーボードアプリ４０Ａにより保持されるが、表示キー位置情報３１の内容は第１の実施形態と同一であるので説明を省略する。更に、表示キー位置情報３１は、第１の実施形態と同様にキー位置／指位置判定部３０Ａにより保持されても良い。

キー位置／指位置判定部３０Ａ、キーボードアプリ４０Ａ、キーイメージ生成部５１、キーイメージ合成部５３、表示対象キー判定部５４及び表示対象キーイメージ生成部５５の各部は、携帯端末１Ａに内蔵されるプロセッサ（不図示）が本発明に係るプログラムを読み込んで実行することによって動作可能となる。

キー位置／指位置判定部３０Ａは、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）の情報と近接座標（ｘ、ｙ、ｚ）に対応する近接対応位置に表示されているキーを判定する旨の判定指示とをキーボードアプリ４０Ａに出力する。更に、キー位置／指位置判定部３０Ａは、近接が検知された指ＦＧに対する近接対応位置に表示されているキーとそのキーの関連情報又は支援情報となる関連キーとを判定する旨の判定指示を表示対象キー判定部５４に出力する。

動作実行部としてのキーボードアプリ４０Ａは、携帯端末１に内蔵されるＲＯＭに予め記憶され、例えばテンキー形式のソフトウェアキーボードの画面データをキーイメージ生成部５１に生成させ、画面ＤＰに表示されたテンキー形式のソフトウェアキーボードに対するユーザの入力操作（例えば文字入力操作）を受け付けるアプリケーションである。

キーボードアプリ４０Ａは、キー位置／指位置判定部３０Ａから出力された近接座標（ｘ、ｙ、ｚ）の情報と近接座標（ｘ、ｙ、ｚ）に対応する近接対応位置に表示されているキーを判定する旨の判定指示と表示キー位置情報３１とを基に、近接座標（ｘ、ｙ、ｚ）のうちｘ座標値及びｙ座標値、即ち近接が検知された指ＦＧの近接対応位置に表示されている近接対応キーを判定する。

更に、キーボードアプリ４０Ａは、関連キー情報４４を基に、判定した近接対応キーの関連情報又は支援情報となる関連キーを判定する。図７は、指ＦＧの近接対応キーである平仮名「あ」のキーと平仮名「あ」のキーの関連キーとを表示する様子を示す図である。本実施形態では、図７に示すように、関連キーとは、例えば近接対応キーが平仮名「あ」のキーである場合に、その平仮名「あ」のキーを一回又は複数回押下した場合に選択可能となるキー（例えば平仮名「い」、「う」、「え」、「お」の各キー）であり、ユーザの文字入力を簡易化又は効率化させるための関連情報又は支援情報である。キーボードアプリ４０Ａは、判定した近接対応キーと関連キーとの各情報を表示対象キー判定部５４に出力する。

表示対象項目判定部としての表示対象キー判定部５４は、キー位置／指位置判定部３０Ａから出力された判定指示とキーボードアプリ４０Ａから出力された近接対応キー及び関連キーの各情報とを基に、近接が検知された指ＦＧに対応する近接対応位置の周囲に関連キーを、近接対応キーの関連情報又は支援情報として表示すると判定する。表示対象キー判定部５４は、関連キーの情報と関連キーのイメージデータを生成する旨の関連キーイメージ生成指示とを表示対象キーイメージ生成部５５に出力する。

表示対象キーイメージ生成部５５は、表示対象キー判定部５４から出力された関連キーの情報と関連キーイメージ生成指示とを基に、関連キーのイメージデータを生成してキーイメージ合成部５３に出力する。

（第２の実施形態の携帯端末１Ａの動作手順）
図８は、第２の実施形態の携帯端末１Ａの動作手順を説明するフローチャートである。図８の説明において、必要に応じて、図７の内容を参照する。

図８において、携帯端末１Ａは、近接検知部１０がタッチパネル１５に対する指ＦＧの近接を検知するまで待機する（Ｓ２１）。近接検知部１０がタッチパネル１５に対する指ＦＧの近接を検知した場合には（Ｓ２１、ＹＥＳ）、近接座標評価部１１は、近接検知部１０から出力された近接通知を基に、指ＦＧのタッチパネル１５に対する近接座標（ｘ、ｙ、ｚ）を算出する。近接座標評価部１１は、算出された近接座標（ｘ、ｙ、ｚ）の情報をキー位置／指位置判定部３０Ａに出力する。

キー位置／指位置判定部３０Ａは、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）の情報と近接座標（ｘ、ｙ、ｚ）に対応する近接対応位置に表示されているキーを判定する旨の判定指示とをキーボードアプリ４０Ａに出力する。更に、キー位置／指位置判定部３０Ａは、近接が検知された指ＦＧに対する近接対応位置に表示されているキーとそのキーの関連情報又は支援情報となる関連キーとを判定する旨の判定指示を表示対象キー判定部５４に出力する。

キーボードアプリ４０Ａは、キー位置／指位置判定部３０Ａから出力された近接座標（ｘ、ｙ、ｚ）の情報と近接座標（ｘ、ｙ、ｚ）に対応する近接対応位置に表示されているキーを判定する旨の判定指示と表示キー位置情報３１とを基に、近接座標（ｘ、ｙ、ｚ）のうちｘ座標値及びｙ座標値、即ち近接が検知された指ＦＧの近接対応位置に表示されている近接対応キーを判定する（Ｓ２２）。

更に、キーボードアプリ４０Ａは、関連キー情報４４を基に、判定した近接対応キーの関連情報又は支援情報となる関連キーを判定する（Ｓ２３）。キーボードアプリ４０Ａは、判定した近接対応キーと関連キーとの各情報を表示対象キー判定部５４に出力する。表示対象キー判定部５４は、キー位置／指位置判定部３０Ａから出力された判定指示とキーボードアプリ４０Ａから出力された近接対応キー及び関連キーの各情報とを基に、近接が検知された指ＦＧに対応する近接対応位置の周囲に関連キーを、近接対応キーの関連情報又は支援情報として表示すると判定する（Ｓ２３）。表示対象キー判定部５４は、関連キーの情報と関連キーのイメージデータを生成する旨の関連キーイメージ生成指示とを表示対象キーイメージ生成部５５に出力する。

表示対象キーイメージ生成部５５は、表示対象キー判定部５４から出力された関連キーの情報と関連キーイメージ生成指示とを基に、関連キーのイメージデータを生成してキーイメージ合成部５３に出力する。キーイメージ合成部５３は、キーイメージ生成部５１から出力されたテンキー形式のソフトウェアキーボードの画面データと表示対象キーイメージ生成部５５から出力された関連キーのイメージデータとを合成し、合成後の画面データを画面表示部５０の画面ＤＰに表示させる。即ち、キーイメージ合成部５３は、画面表示部５０の画面ＤＰに表示されているテンキー形式のソフトウェアキーボードに対し、ホバー操作中の指ＦＧの近接対応キーの表示位置の周囲に、近接対応キーの関連情報又は支援情報としての関連キーを追加して表示（描画）する（Ｓ２４）。

なお、図７には、関連キー（平仮名「い」、「う」、「え」、「お」の各キー）が近接対応キー（平仮名「あ」のキー）の周囲に表示される例が示されているが、近接対応キーに対する関連キーの相対的な表示位置は予め定まっているとする（図７の領域ＳＰＫ参照）。また、ステップＳ２４では、キーイメージ合成部５３は、近接対応キーと関連キーとを画面表示部５０の画面ＤＰに表示させる際に、キーイメージ生成部５１が生成したテンキー形式のソフトウェアキーボードのキーと同一の表示倍率で表示しても良いし拡大して表示しても良い。図７では、拡大表示されている例が示されている。

ステップＳ２４の後、携帯端末１Ａは、タッチ検知部２０がタッチパネル１５に対する指ＦＧのタッチ（接触）を検知するまで待機する（Ｓ２５）。タッチ検知部２０がタッチパネル１５に対する指ＦＧのタッチ（接触）を検知した場合には（Ｓ２５、ＹＥＳ）、タッチ座標評価部２１は、タッチ検知部２０から出力された接触通知を基に、指ＦＧのタッチパネル１５に対するタッチ座標（ｘ、ｙ）を算出する。タッチ座標評価部２１は、算出されたタッチ座標（ｘ、ｙ）の情報をキー位置／指位置判定部３０Ａに出力する。

キー位置／指位置判定部３０Ａは、タッチ座標評価部２１から出力されたタッチ座標（ｘ、ｙ）の情報を基に、タッチ座標（ｘ、ｙ）の位置に表示されているテンキー形式のソフトウェアキーボードのキーを、ユーザの入力操作の対象の該当キーとして確定する（Ｓ２６）。キー位置／指位置判定部３０Ａは、タッチ座標（ｘ、ｙ）の位置に表示されているキーの情報とそのキーに応じた動作（例えば文字入力操作）を実行させる旨の動作実行指示とをキーボードアプリ４０Ａに出力する。キーボードアプリ４０Ａは、キー位置／指位置判定部３０Ａから出力された動作実行指示を基に、ユーザの入力操作の対象の該当キーとして確定されたキーに応じた動作（例えば文字入力操作）を実行する。この後、図８では携帯端末１Ａの動作は終了するが、指ＦＧがホバーアウトしなければ、携帯端末１Ａの動作はステップＳ２１に戻っても良い。

一方、タッチ検知部２０がタッチパネル１５に対する指ＦＧのタッチ（接触）を検知しない場合には（Ｓ２５、ＮＯ）、キー位置／指位置判定部３０Ａは、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）の情報を基に、ホバー操作中又はホバースライド操作中の指ＦＧが他のキーに移動（ホバースライド操作）したか否かを判定する（Ｓ２７）。

ホバー操作中又はホバースライド操作中の指ＦＧが他のキーに移動（ホバースライド操作）していないと判定された場合には（Ｓ２７、ＮＯ）、携帯端末１Ａの動作はステップＳ２５に戻る。

一方、ホバー操作中又はホバースライド操作中の指ＦＧが他のキーに移動（ホバースライド操作）したと判定された場合には（Ｓ２７、ＹＥＳ）、携帯端末１Ａの動作はステップＳ２２に戻る。

以上により、本実施形態の携帯端末１Ａは、テンキー形式のソフトウェアキーボードが表示された画面ＤＰに対する指ＦＧの近接が検知された際に、指ＦＧの近接座標に対応する画面上の位置である近接対応位置に表示されているキーの関連情報又は支援情報として、近接対応キーを一回又は複数回押下した際に選択可能となる関連キーを近接対応位置の周囲に表示する。これにより、携帯端末１Ａは、ユーザの入力操作の対象となるキーをタッチ操作によって確定して選択する前に、近接検知時に入力操作の対象に関する支援情報又は関連情報を明示的に表示（描画）でき、ユーザの正確な入力操作を支援して操作性を向上させることができる。

（第３の実施形態）
第３の実施形態では、携帯端末１Ｂは、カメラ機能のアプリケーションにおけるプレビュー画面において、ユーザに対する被写体の視認性を向上させるために、後述する動作実行項目（例えばボタン）と後述する設定変更項目（例えばボタン）とを被写体に対して透過的に表示する。

また、第３の実施形態では、携帯端末１Ｂは、カメラ機能のアプリケーションにおけるプレビュー画面において透過的に表示された「設定変更機能を実行させるためのボタン」に対して指が近接した場合に、近接対応位置の周囲に、当該ボタンの関連情報又は支援情報として、当該ボタンに対応する同一グループ内の設定変更機能を有する複数の設定変更項目（例えばボタン）を視認可能な表示形態にて表示する（図１０参照）。以下、本実施形態において、設定変更機能を実行させるための設定変更項目を簡易的に示すボタンであって、携帯端末１Ｂによりプレビュー画面の被写体に対して透過的に且つ簡易的なボタンとして表示されたボタンを、単に「簡易ボタン」という。

また、第３の実施形態では、携帯端末１Ｂは、カメラ機能のアプリケーションにおけるプレビュー画面において透過的に表示された「動作機能を実行させるためのボタン」に対して指が近接した場合に、近接対応位置に表示されているボタンを視認可能な表示形態にて表示し、更に、画面に表示されている全ての項目（例えばボタン）のうち近接対応位置に表示されているボタンを除く他のボタンを画面から消去する（図１１参照）。

また、第３の実施形態において、カメラ機能のアプリケーションにおいて、静止画若しくは動画の撮影動作と撮影されたデータの閲覧動作とを含む動作機能を実行させるためにプレビュー画面において被写体に対して透過的に表示される項目（例えばボタン）を、「動作実行項目」と定義する。更に、カメラ機能のアプリケーションにおいて、撮影動作に対する種々の条件となる設定変更の内容を含む設定変更機能を実行させるためにプレビュー画面において被写体に対して透過的に表示される項目（例えばボタン）を、「設定変更項目」と定義する。

（第３の実施形態の携帯端末１Ｂの機能的構成）
図９は、第３の実施形態の携帯端末１Ｂの機能的構成を示すブロック図である。図１に示す携帯端末１と同一の構成要素については同一の符号を付すことで説明を省略し、異なる内容について説明する。

図９に示す携帯端末１Ｂは、近接検知部１０、近接座標評価部１１、タッチ検知部２０、タッチ座標評価部２１、ボタン位置／指位置判定部３０Ｂ、カメラアプリ４０Ｂ、画面表示部５０、ボタン実行内容判定部５６、表示可変ボタンイメージ生成部５７、カメラプレビュー画面生成部５８及びカメラ画面合成部５９を含む。カメラアプリ４０Ｂは、表示ボタン位置情報４５及びボタン実行内容情報４６を保持する。

ボタン位置／指位置判定部３０Ｂ、カメラアプリ４０Ｂ、ボタン実行内容判定部５６、表示可変ボタンイメージ生成部５７、カメラプレビュー画面生成部５８及びカメラ画面合成部５９の各部は、携帯端末１Ｂに内蔵されるプロセッサ（不図示）が本発明に係るプログラムを読み込んで実行することによって動作可能となる。

ボタン位置／指位置判定部３０Ｂは、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）の情報と近接座標（ｘ、ｙ、ｚ）に対応する近接対応位置に表示されているボタン（以下、「近接対応ボタン」と定義する）を判定する旨の判定指示とをカメラアプリ４０Ｂに出力する。更に、ボタン位置／指位置判定部３０Ｂは、近接が検知された指ＦＧに対する近接対応位置に表示されているボタンが動作実行項目であるか設定変更項目であるかを判定する旨の判定指示をボタン実行内容判定部５６に出力する。

動作実行部としてのカメラアプリ４０Ｂは、携帯端末１Ｂに設けられたカメラ機構（不図示）を用いた静止画若しくは動画のデータの撮影動作と撮影されたデータの閲覧動作とを含む動作機能、及び、撮影動作に対する種々の条件となる設定変更の内容を含む設定変更機能を実行するアプリケーションであり、携帯端末１Ｂに内蔵されるＲＯＭに予め記憶されている。また、カメラアプリ４０Ｂは、撮影動作前に被写体を確認的に映し出すプレビュー画面の画面データをカメラプレビュー画面生成部５８に生成させ、画面ＤＰに表示されたプレビュー画面の内容に対するユーザの入力操作（例えば静止画の撮影動作の入力操作）を受け付ける。

カメラアプリ４０Ｂは、ボタン位置／指位置判定部３０Ｂから出力された近接座標（ｘ、ｙ、ｚ）の情報と近接座標（ｘ、ｙ、ｚ）に対応する近接対応位置に表示されているボタンを判定する旨の判定指示と表示ボタン位置情報４５とを基に、近接座標（ｘ、ｙ、ｚ）のうちｘ座標値及びｙ座標値、即ち近接が検知された指ＦＧの近接対応位置に表示されている近接対応ボタンを判定する。

表示ボタン位置情報４５は、カメラプレビュー画面生成部５８が生成するプレビュー画面において表示される動作実行項目と設定変更項目とのそれぞれの表示位置を定める情報である。カメラアプリ４０Ｂは、ボタン実行内容情報４６を基に、表示ボタン位置情報４５を用いて判定した近接対応ボタンの実行内容を判定する。

ボタン実行内容情報４６は、カメラプレビュー画面生成部５８が生成するプレビュー画面において表示される各々の動作実行項目と設定変更項目とがユーザのタッチ操作によって選択された場合に実行する動作又は設定変更の内容を定める情報である。カメラアプリ４０Ｂは、ボタン実行内容情報４６を用いて判定した近接対応ボタンの実行内容の情報をボタン実行内容判定部５６に出力する。

なお、本実施形態では、ボタン実行内容情報４６はカメラアプリ４０Ｂにより保持されるが、ボタン実行内容判定部５６により保持されても良い。この場合、ボタン実行内容判定部５６は、カメラアプリ４０Ｂから近接対応ボタンの情報を得た後、ボタン実行内容判定部５６が保持するボタン実行内容情報４６を基に、近接対応ボタンの実行内容を判定する。

項目動作判定部としてのボタン実行内容判定部５６は、ボタン位置／指位置判定部３０Ｂから出力された判定指示とカメラアプリ４０Ｂから出力された近接対応ボタンの実行内容の情報とを基に、近接が検知された指ＦＧに対応する近接対応位置に表示されている近接対応ボタンが動作実行項目であるか設定変更項目であるかを判定する。

ボタン実行内容判定部５６は、近接対応ボタンが設定変更項目であると判定した場合には、プレビュー画面において被写体に対して透過的に表示されている簡易ボタンに関連する関連情報又は支援情報としての具体的な設定変更内容をユーザに対して視認可能な表示形態にて表示する旨の情報と視認可能な表示形態の設定変更項目のボタンイメージデータを生成する旨の生成指示とを表示可変ボタンイメージ生成部５７に出力する。

ボタン実行内容判定部５６は、近接対応ボタンが動作実行項目であると判定した場合には、プレビュー画面において近接対応ボタンをユーザに対して視認可能な表示形態にて表示する旨の情報と同プレビュー画面において被写体に対して透過的に表示されている全ての項目のうち近接対応位置に表示されている動作実行項目（例えばボタン）を除く他のボタン（設定変更項目を示す簡易ボタンと動作実行項目とを含む）を画面から消去する旨の消去指示を表示可変ボタンイメージ生成部５７に出力する。

表示可変ボタンイメージ生成部５７は、ボタン実行内容判定部５６から出力された情報と生成指示とを基に、プレビュー画面において近接が検知された指ＦＧに対応する近接対応位置に表示されている設定変更項目（簡易ボタン）の表示形態を、初期状態の透過的な表示形態からユーザが視認可能な表示形態に可変したボタンイメージデータを生成する。表示可変ボタンイメージ生成部５７は、生成された設定変更項目のボタンイメージデータをカメラ画面合成部５９に出力する。

表示可変ボタンイメージ生成部５７は、ボタン実行内容判定部５６から出力された情報と消去指示とを基に、プレビュー画面において近接が検知された指ＦＧに対応する近接対応位置に表示されている動作実行項目の表示形態を、初期状態の透過的な表示形態からユーザが視認可能な表示形態に可変したボタンイメージデータを生成すると共に、残りの動作実行項目及び設定変更項目（簡易ボタン）を消去する旨の情報をカメラ画面合成部５９に出力する。

カメラプレビュー画面生成部５８は、カメラアプリ４０Ｂから出力されたプレビュー画面の画面データの生成指示を基に、プレビュー画面の画面データを生成する。本実施形態では、上述したように、カメラプレビュー画面生成部５８は、プレビュー画面において、設定変更項目と動作実行項目とを被写体に対して透過的な表示形態となるように画面データを生成する。カメラプレビュー画面生成部５８は、生成された画面データをカメラ画面合成部５９に出力する。

表示制御部としてのカメラ画面合成部５９は、カメラプレビュー画面生成部５８から出力されたプレビュー画面の画面データと表示可変ボタンイメージ生成部５７から出力された設定変更項目のボタンイメージデータとを合成し、合成後の画面データを画面表示部５０の画面ＤＰに表示させる（図１０参照）。カメラ画面合成部５９は、図１０に示すように、表示可変ボタンイメージ生成部５７から出力された設定変更項目のボタンイメージデータを、設定変更項目の簡易ボタンが表示されていた画面ＤＰ内における表示位置の周囲に表示させる。

図１０は、指ＦＧが設定変更項目の簡易ボタンに近接した場合に、近接対応位置に表示されている簡易ボタンに対応する同一グループのメニュー一覧をユーザが視認可能な表示形態にて表示する様子を示す図である。

図１０の左側のプレビュー画面の左端部には、複数の簡易ボタンＢＴ１が被写体に対して透過的な表示形態にて表示されている。図１０では一例として５個の簡易ボタンＢＴ１が表示されている。各々の簡易ボタンは、携帯端末１Ｂのカメラ機能の撮影動作時における設定変更項目の内容を簡易的に示すために表示されている。更に、一つの簡易ボタンに対し、その簡易ボタンに予め割り当てられた同一グループに纏められた複数の設定変更項目が対応付けられている。

一方、図１０の左側のプレビュー画面の右端部には、複数のボタンＢＴ２が被写体に対して透過的な表示形態にて表示されている。図１０では一例として３個のボタンＢＴ２が表示されている。各々のボタンは、携帯端末１Ｂのカメラ機能の撮影動作に対する動作実行項目であり、それぞれ図１０の左側のプレビュー画面の右端部の上から静止画の撮影用のボタン、動画の撮影用のボタン、撮影済みの静止画若しくは動作の閲覧用のボタンである。

指ＦＧが設定変更項目を示す簡易ボタンのいずれかに近接した場合、携帯端末１Ｂは、図１０の右側のプレビュー画面に示すように、指ＦＧに対応する近接対応位置に表示されている簡易ボタンに対応する複数の設定変更項目ＧＤを、ユーザが視認可能な表示形態にて表示する。これにより、携帯端末１Ｂは、指ＦＧの近接が検知されていないプレビュー画面では被写体に対して簡易的且つ透過的な表示形態で表示されていた簡易ボタンに対して指ＦＧが近接したことで、当該簡易ボタンの関連情報又は支援情報としての複数の設定変更項目の各ボタンをユーザが視認可能な表示形態で表示することで、ユーザの操作性を向上させることができる。

また、カメラ画面合成部５９は、カメラプレビュー画面生成部５８から出力されたプレビュー画面の画面データと表示可変ボタンイメージ生成部５７から出力された動作実行項目のボタンイメージデータとを合成して画面表示部５０の画面ＤＰに表示させる。

更に、カメラ画面合成部５９は、近接対応位置に表示されている近接対応ボタンに対する指ＦＧの近接が検知されてから一定時間以上経過した旨の情報を、携帯端末１Ｂのタイマ（不図示）から取得した場合に、表示可変ボタンイメージ生成部５７から出力された消去指示を基に、プレビュー画面の画面データから指ＦＧの近接が検知された近接対応位置に表示されている動作実行項目を除く他の設定変更項目の簡易ボタン及び動作実行項目を消去した画面を、画面表示部５０の画面ＤＰに表示させる（図１１参照）。

図１１は、動作実行項目のボタンとして動画撮影ボタンに所定時間以上、指ＦＧが近接した場合の様子を示す図である。なお、図１１の説明では、図１０の内容と同一の内容の説明は省略し、異なる内容について説明する。

指ＦＧが動作実行項目を示すボタンＢＴ２のうち中央のボタン（動画の撮影用のボタン）に一定時間以上近接した場合、携帯端末１Ｂは、図１１の右側のプレビュー画面に示すように、指ＦＧに対応する近接対応位置に表示されているボタン（動画の撮影用のボタン）の表示形態をユーザが視認可能な表示形態に変更すると共に、当該ボタン（動画の撮影用のボタン）を除く他の全てのボタンを消去する。即ち、ユーザが動画の撮影動作となる被写体又は撮影条件となる設定変更を行った後等で動画の撮影用のボタンを一定時間以上近接させている場合には、ユーザは動画の撮影を行いたいと考えられる。このため、携帯端末１Ｂは、動画の撮影動作時に不要なボタンを全て消去することで、ユーザの被写体の動作実行項目に対する動作の実行時における視認性及び操作性を向上させることができる。

（第３の実施形態の携帯端末１Ｂの動作手順）
図１２は、第３の実施形態の携帯端末１Ｂの動作手順を説明するフローチャートである。図１２の説明において、必要に応じて、図１０又は図１１の内容を参照する。

図１２において、カメラ画面合成部５９は、カメラアプリ４０Ｂのプレビュー画面において、カメラアプリ４０Ｂにおいて同一のグループとして纏められた複数の設定変更項目を示す単一の簡易ボタンを複数個、画面表示部５０の画面ＤＰの左端部に表示させ、更に、カメラアプリ４０Ｂにおける動作実行項目のボタンを画面表示部５０の画面ＤＰの右端部に表示させている（Ｓ３１、図１０又は図１１参照）。なお、複数の設定変更項目を示す単一の簡易ボタン及び動作実行項目のボタンの各表示位置は、カメラアプリ４０Ｂにおいて予め定められているとする。

携帯端末１Ｂは、近接検知部１０がタッチパネル１５に対する指ＦＧの近接を検知するまで待機する（Ｓ３２）。近接検知部１０がタッチパネル１５に対する指ＦＧの近接を検知した場合には（Ｓ３２、ＹＥＳ）、近接座標評価部１１は、近接検知部１０から出力された近接通知を基に、指ＦＧのタッチパネル１５に対する近接座標（ｘ、ｙ、ｚ）を算出する。近接座標評価部１１は、算出された近接座標（ｘ、ｙ、ｚ）の情報をボタン位置／指位置判定部３０Ｂに出力する。

ボタン位置／指位置判定部３０Ｂは、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）の情報と近接対応ボタンを判定する旨の判定指示とをカメラアプリ４０Ｂに出力する。更に、ボタン位置／指位置判定部３０Ｂは、近接が検知された指ＦＧに対する近接対応位置に表示されているボタンが動作実行項目であるか設定変更項目であるかを判定する旨の判定指示をボタン実行内容判定部５６に出力する。

カメラアプリ４０Ｂは、ボタン位置／指位置判定部３０Ｂから出力された近接座標（ｘ、ｙ、ｚ）の情報と近接座標（ｘ、ｙ、ｚ）に対応する近接対応位置に表示されているボタンを判定する旨の判定指示と表示ボタン位置情報４５とを基に、近接座標（ｘ、ｙ、ｚ）のうちｘ座標値及びｙ座標値、即ち近接が検知された指ＦＧの近接対応位置に表示されている近接対応ボタンを判定する。カメラアプリ４０Ｂは、ボタン実行内容情報４６を基に、表示ボタン位置情報４５を用いて判定した近接対応ボタンの実行内容を判定する。カメラアプリ４０Ｂは、ボタン実行内容情報４６を用いて判定した近接対応ボタンの実行内容の情報をボタン実行内容判定部５６に出力する。

ボタン実行内容判定部５６は、ボタン位置／指位置判定部３０Ｂから出力された判定指示とカメラアプリ４０Ｂから出力された近接対応ボタンの実行内容の情報とを基に、近接が検知された指ＦＧに対応する近接対応位置に表示されている近接対応ボタンが動作実行項目であるか設定変更項目であるかを判定する（Ｓ３３）。

ボタン実行内容判定部５６は、近接対応ボタンが設定変更項目であると判定した場合には（Ｓ３３、設定変更項目）、プレビュー画面において被写体に対して透過的に表示されている設定変更項目の簡易ボタンに関連する関連情報又は支援情報としての具体的な設定変更内容をユーザに対して視認可能な表示形態にて表示する旨の情報と視認可能な表示形態の設定変更項目のボタンイメージデータを生成する旨の生成指示とを表示可変ボタンイメージ生成部５７に出力する。

表示可変ボタンイメージ生成部５７は、ボタン実行内容判定部５６から出力された情報と生成指示とを基に、プレビュー画面において近接が検知された指ＦＧに対応する近接対応位置に表示されている設定変更項目の簡易ボタンの表示形態を、初期状態の透過的な表示形態からユーザが視認可能な表示形態に可変したボタンイメージデータを生成する。表示可変ボタンイメージ生成部５７は、設定変更項目のボタンイメージデータをカメラ画面合成部５９に出力する。

カメラ画面合成部５９は、カメラプレビュー画面生成部５８から出力されたプレビュー画面の画面データと表示可変ボタンイメージ生成部５７から出力された設定変更項目のボタンイメージデータとを合成し、合成後の画面データを画面表示部５０の画面ＤＰに表示させる（Ｓ３４、図１０参照）。

ステップＳ３４の後、携帯端末１Ｂは、タッチ検知部２０がタッチパネル１５に対する指ＦＧのタッチ（接触）を検知するまで待機する（Ｓ３５）。タッチ検知部２０がタッチパネル１５に対する指ＦＧのタッチ（接触）を検知した場合には（Ｓ３５、ＹＥＳ）、ボタン位置／指位置判定部３０Ｂは、タッチ座標評価部２１から出力されたタッチ座標（ｘ、ｙ）の情報をカメラアプリ４０Ｂに出力する。カメラアプリ４０Ｂは、ボタン位置／指位置判定部３０Ｂから出力されたタッチ座標（ｘ、ｙ）の情報に該当するプレビュー画面上の項目に応じた動作又は設定変更の内容を実行する（Ｓ３６）。

一方、ボタン実行内容判定部５６は、近接対応ボタンが動作実行項目であると判定した場合には（Ｓ３３、動作実行項目）、プレビュー画面において近接対応ボタンをユーザに対して視認可能な表示形態にて表示する旨の情報と同プレビュー画面において被写体に対して透過的に表示されている全ての項目のうち近接対応位置に表示されている動作実行項目（例えばボタン）を除く他のボタン（設定変更項目の簡易ボタンと動作実行項目とを含む）を画面から消去する旨の消去指示を表示可変ボタンイメージ生成部５７に出力する。

表示可変ボタンイメージ生成部５７は、ボタン実行内容判定部５６から出力された情報と消去指示とを基に、プレビュー画面において近接が検知された指ＦＧに対応する近接対応位置に表示されている動作実行項目の表示形態を、初期状態の透過的な表示形態からユーザが視認可能な表示形態に可変したボタンイメージデータを生成すると共に、残りの動作実行項目及び設定変更項目を消去する旨の情報をカメラ画面合成部５９に出力する。

カメラ画面合成部５９は、カメラプレビュー画面生成部５８から出力されたプレビュー画面の画面データと表示可変ボタンイメージ生成部５７から出力された動作実行項目のボタンイメージデータとを合成して画面表示部５０の画面ＤＰに表示させる（Ｓ３７）。

更に、カメラ画面合成部５９は、近接対応位置に表示されている近接対応ボタンに対する指ＦＧの近接が検知されてから一定時間以上経過した旨の情報を、携帯端末１Ｂのタイマ（不図示）から取得した場合に（Ｓ３８、ＹＥＳ）、表示可変ボタンイメージ生成部５７から出力された消去指示を基に、プレビュー画面の画面データから指ＦＧの近接が検知された近接対応位置に表示されている動作実行項目を除く他の設定変更項目の簡易ボタン及び動作実行項目を消去した画面を、画面表示部５０の画面ＤＰに表示させる（Ｓ３９、図１１参照）。ステップＳ３９の後、携帯端末１Ｂの動作はステップＳ３５に戻るので、以降の動作の説明は省略する。

以上により、本実施形態の携帯端末１Ｂは、カメラ機能のアプリケーション（カメラアプリ４０Ｂ）のプレビュー画面において透過的に表示されている、それぞれ同一のグループとして予め設定された複数の設定変更項目を示す簡易ボタンに対して指ＦＧが近接した場合に、各簡易ボタンに対応する複数の設定変更項目を透過的な表示形態からユーザが視認可能な表示形態にて表示させる（図１０参照）。これにより、携帯端末１Ｂは、指ＦＧの近接が検知された簡易ボタン（近接対応ボタン）の関連情報又は支援情報として、当該近接対応ボタンが示す複数の設定変更項目の内容を、ユーザが視認可能な表示形態で表示することで、ユーザの操作性を向上させることができる。

更に、携帯端末１Ｂは、カメラ機能のアプリケーション（カメラアプリ４０Ｂ）のプレビュー画面において透過的に表示されている各動作実行項目を示すボタンに対して指ＦＧが近接した場合に、近接対応ボタンを透過的な表示形態からユーザが視認可能な表示形態にて表示させ、更に、同一の近接対応ボタンに対する指ＦＧ近接が一定時間以上継続した場合に残りの項目（動作実行項目、設定変更項目の簡易ボタン）の各ボタンの表示を消去する。これにより、携帯端末１Ｂは、例えば指ＦＧが動画の撮影用のボタンを一定時間以上近接させた場合に、動画の撮影時に不要な残りのボタンを全て消去することで、ユーザの被写体の動作実行項目に対する動作の実行時における視認性及び操作性を向上させることができる。

（第４の実施形態）
第４の実施形態では、携帯端末１Ｃは、一定時間以上ユーザからの入力操作が行われなくなった場合に起動するセキュリティロック（例えば画面ロック）の機能において表示されるセキュリティロック画面において、ユーザがセキュリティロックを解除するための解除操作を支援するための関連情報又は支援情報として、当該解除操作の軌跡のイメージと当該軌跡のイメージにおける近接若しくは接触の検知領域とを識別可能な表示形態で表示させる（図１５参照）。

図１３は、第４の実施形態の携帯端末１Ｃの機能的構成を示すブロック図である。図１に示す携帯端末１と同一の構成要素については同一の符号を付すことで説明を省略し、異なる内容について説明する。

図１３に示す携帯端末１Ｃは、近接検知部１０、近接座標評価部１１、タッチ検知部２０、タッチ座標評価部２１、軌跡検知位置／指位置判定部３２、セキュリティロックアプリ４０Ｃ、画面表示部５０、軌跡保持部６０、軌跡イメージ生成部６１、セキュリティロック画面生成部６２及びセキュリティロック画面合成部６３を含む。軌跡検知位置／指位置判定部３２は、検知領域情報３３を保持している。セキュリティロックアプリ４０Ｃは、軌跡一致判定部４７を含む構成であり、更に解除軌跡情報４８を保持している。

軌跡検知位置／指位置判定部３２、セキュリティロックアプリ４０Ｃ、軌跡一致判定部４７、軌跡イメージ生成部６１、セキュリティロック画面生成部６２及びセキュリティロック画面合成部６３の各部は、携帯端末１Ｃに内蔵されるプロセッサ（不図示）が本発明に係るプログラムを読み込んで実行することによって動作可能となる。

軌跡位置判定部としての軌跡検知位置／指位置判定部３２は、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）又はタッチ座標評価部２１から出力されたタッチ座標（ｘ、ｙ）の情報と検知領域情報３３とを基に、セキュリティロック画面に対する指ＦＧの解除操作の軌跡位置と指ＦＧが通過している検知領域を判定する。軌跡検知位置／指位置判定部３２は、判定した指ＦＧの解除操作の軌跡位置の情報をセキュリティロックアプリ４０Ｃに出力し、更に、判定した指ＦＧの解除操作の軌跡位置と指ＦＧが通過している検知領域の情報とを対応付けて軌跡保持部６０に一時的に記憶する。

検知領域情報３３は、セキュリティロック画面に対する指ＦＧの解除操作の軌跡位置と予め規定されている検知領域との関係を示す情報である。検知領域情報３３について、図１４（Ａ）〜（Ｃ）を参照して説明する。図１４（Ａ）は、セキュリティロック画面とタッチパネル１５に設けられた９個の検知点とを示す図である。図１４（Ｂ）は、タッチ検知領域、低ホバー検知領域及び高ホバー検知領域の概念図である。図１４（Ｃ）は、各々の検知領域に設けられた検知点と指ＦＧの軌跡とを示す図である。

携帯端末１Ｃのタッチパネル１５では、図１４（Ａ）に示すように、画面ＤＰに表示されたセキュリティロック画面において、例えば各検知点の間隔が規定値であって全て等しい合計９個の検知点ＤＴ１〜ＤＴ９が設けられている。なお、隣接する検知点同士の縦方向の間隔又は横方向における間隔は常に同一値となるように検知点の位置が定められなくても良く、例えば隣接する検知点同士の縦方向の間隔と横方向の間隔とが異なる値でも良い。

更に、携帯端末１Ｃのタッチパネル１５では、図１４（Ａ）に示す合計９個の検知点ＤＴ１〜ＤＴ９が、図１４（Ｂ）に示すタッチ検知領域（逆ハッチング部参照）と、第１空間近接検知領域としての低ホバー検知領域（ドットパターン部参照）と、第２空間近接検知領域としての高ホバー検知領域（ハッチング部参照）とにおいてそれぞれ設けられ、合計２７個の検知点ＤＴ１〜ＤＴ２７が設けられている（図１４（Ｃ）参照）。

即ち、タッチ検知領域には合計９個の検知点ＤＴ１〜ＤＴ９が設けられ、低ホバー検知領域には合計９個の検知点ＤＴ１０〜ＤＴ１８が設けられ、高ホバー検知領域には合計９個の検知点ＤＴ１９〜ＤＴ２７が設けられている。軌跡検知位置／指位置判定部３２は、解除操作中の指ＦＧがこれらの合計２７個の検知点ＤＴ１〜ＤＴ２７のうちいずれの検知点を通過したかを判定する。なお、タッチ検知領域はｚ軸方向の高さが０（ゼロ）の位置に設けられ、低ホバー検知領域はｚ軸方向の高さが０（ゼロ）〜ｚ１の間に設けられ、高ホバー検知領域はｚ軸方向の高さがｚ１〜ｚ２の間に設けられている。

更に、軌跡検知位置／指位置判定部３２は、軌跡保持部６０を参照して指ＦＧの解除操作の軌跡（例えば直線又は曲線）と指ＦＧの解除操作の軌跡が通過している検知領域とを含む軌跡イメージを生成する旨の情報を軌跡イメージ生成部６１に出力する。

動作実行部としてのセキュリティロックアプリ４０Ｃは、携帯端末１Ｃに内蔵されるＲＯＭに予め記憶され、携帯端末１Ｃに対して一定時間以上ユーザからの入力操作が行われなくなった場合に携帯端末１Ｃのユーザ使用をロックするためのアプリケーションである。セキュリティロックアプリ４０Ｃは、一定時間以上ユーザからの入力操作が行われなくなったことによる携帯端末１Ｃのサスペンド状態に対して何かしらの入力操作（例えば電源ボタン又は所定のホームボタンの押下）を基に、セキュリティロック画面生成部６２にセキュリティロック画面を生成させ、画面表示部５０の画面ＤＰに表示されたセキュリティロック画面に対するユーザからの解除操作を受け付ける。

軌跡一致判定部４７は、セキュリティロックアプリ４０Ｃが軌跡検知位置／指位置判定部３２から出力された軌跡位置の情報を取得し、指ＦＧがホバーアウトした旨の情報を軌跡検知位置／指位置判定部３２から出力された場合に、ホバーアウトまでに軌跡検知位置／指位置判定部３２から出力された軌跡位置の情報と解除軌跡情報４８とを比較する。

更に、軌跡一致判定部４７は、比較結果の情報と軌跡検知位置／指位置判定部３２が軌跡保持部６０に記憶した指ＦＧの解除操作の軌跡位置と指ＦＧが通過している検知領域の情報とを対応付けて軌跡保持部６０に一時的に記憶する。軌跡一致判定部４７は、ホバーアウトまでに軌跡検知位置／指位置判定部３２から出力された軌跡位置の情報と解除軌跡情報４８とが一致した場合に、セキュリティロックを解除する旨の情報をセキュリティロックアプリ４０Ｃに出力する。

解除軌跡情報４８は、セキュリティロック画面が表示されている場合に、セキュリティロック画面を解除して携帯端末１Ｃに対するユーザの入力操作を可能とするために予め登録された解除操作の軌跡情報である。解除軌跡情報４８は、ユーザの設定変更操作によって適宜、変更されても良い。

軌跡保持部６０は、携帯端末１Ｃに内蔵されるＲＡＭを用いて構成され、軌跡検知位置／指位置判定部３２から出力された指ＦＧの解除操作の軌跡位置と指ＦＧが通過している検知領域の情報とを対応付けて一時的に記憶する。また、軌跡保持部６０は、軌跡一致判定部４７の比較結果と指ＦＧの解除操作の軌跡位置と指ＦＧが通過している検知領域の情報とを対応付けて一時的に記憶する。

軌跡イメージ生成部６１は、軌跡検知位置／指位置判定部３２から出力された情報を基に、軌跡保持部６０を参照して、指ＦＧの解除操作の軌跡（例えば直線又は曲線）と指ＦＧの解除操作の軌跡が通過している検知領域とを含む軌跡イメージデータを生成してセキュリティロック画面合成部６３に出力する。軌跡イメージデータについては、図１５を参照して後述する。

セキュリティロック画面生成部６２は、セキュリティロックアプリ４０Ｃから出力されたセキュリティロック画面の生成指示を基に、セキュリティロック画面の画面データを生成する。セキュリティロック画面生成部６２は、生成された画面データをセキュリティロック画面合成部６３に出力する。

表示制御部としてのセキュリティロック画面合成部６３は、セキュリティロック画面生成部６２から出力されたセキュリティロック画面の画面データと軌跡イメージ生成部６１から出力された軌跡イメージデータとを合成し、合成後の画面データを画面表示部５０の画面ＤＰに表示させる（図１５参照）。セキュリティロック画面合成部６３は、軌跡イメージ生成部６１から出力された軌跡イメージデータを、指ＦＧの解除操作の開始時からの軌跡と軌跡位置（検知領域）とを明示的に画面ＤＰに表示させる。

次に、本実施形態の指ＦＧの解除操作時の軌跡位置と軌跡が通過している検知領域（軌跡位置の高さ）とを示す軌跡イメージデータについて、図１５を参照して説明する。図１５は、セキュリティロック画面に対する指ＦＧの解除操作の軌跡の表示形態と軌跡位置（高さ）の表示形態とを示す説明図である。図１５では、解除操作が入力されている状態として、順番に５つの状態Ａ、状態Ｂ、状態Ｃ、状態Ｄ、状態Ｅが示されている。

状態Ａは、指ＦＧの解除操作が未だ入力されていない状態である。状態Ｂは、先ず指ＦＧがタッチ検知領域の検知点ＤＴ７（図１４（Ａ）参照）にタッチした状態を示す。軌跡イメージ生成部６１は、状態Ｂに対応する軌跡イメージデータとして、指ＦＧの軌跡位置の高さ（検知領域）を示す表示形態（例えば半透明の赤色の円形状：図１５では逆ハッチング部参照）のイメージデータを生成する。従って、携帯端末１Ｃは、状態Ｂでは、指ＦＧの軌跡位置の高さがタッチ検知領域であることを示すイメージデータとして、半透明の赤色の円形状（図１５では逆ハッチング部参照）のイメージデータをセキュリティロック画面に表示させる。

次に、状態Ｃは、指ＦＧが同タッチ検知領域の位置のままで検知点ＤＴ８（図１４（Ａ）参照）を通過した状態を示す。軌跡イメージ生成部６１は、状態Ｃに対応する軌跡イメージデータとして、指ＦＧの軌跡位置の高さ（検知領域）を示す表示形態（例えば半透明の赤色の円形状：図１５では逆ハッチング部参照）のイメージデータを生成し、更に、指ＦＧの軌跡位置の高さ（検知領域）を示す表示形態と同系色の赤色（図１５では逆ハッチング部参照）を用いて指ＦＧの軌跡を示す直線のイメージデータを生成する。従って、携帯端末１Ｃは、状態Ｃでは、指ＦＧの軌跡位置の高さがタッチ検知領域であることを示すイメージデータとして、半透明の赤色の円形状の（図１５では逆ハッチング部参照）イメージデータをセキュリティロック画面に表示させる。更に、携帯端末１Ｃは、指ＦＧの軌跡位置の高さ（検知領域）を示す表示形態と同系色の赤色（図１５では逆ハッチング部参照）を用いて指ＦＧの軌跡を示す直線のイメージデータをセキュリティロック画面に表示させる。

次に、状態Ｄは、指ＦＧが低ホバー検知領域の位置で同低ホバー検知領域の中央の検知点を通過する直前の状態を示す。軌跡イメージ生成部６１は、状態Ｄに対応する軌跡イメージデータとして、指ＦＧの軌跡位置の高さ（検知領域）を示す表示形態（例えば半透明の緑色の円形状：図１５ではドットパターン部参照）のイメージデータを生成し、更に、指ＦＧの軌跡位置の高さ（検知領域）を示す表示形態と同系色の緑色（図１５ではドットパターン部参照）を用いて指ＦＧの軌跡を示す直線のイメージデータを生成する。従って、携帯端末１Ｃは、状態Ｄでは、指ＦＧの軌跡位置の高さが低ホバー検知領域であることを示すイメージデータとして、半透明の緑色の円形状（図１５ではドットパターン部参照）のイメージデータをセキュリティロック画面に表示させる。更に、携帯端末１Ｃは、指ＦＧの軌跡位置の高さ（検知領域）を示す表示形態と同系色の緑色（図１５ではドットパターン部参照）を用いて指ＦＧの軌跡を示す直線のイメージデータをセキュリティロック画面に表示させる。

最後に、状態Ｅは、指ＦＧが高ホバー検知領域の位置で同高ホバー検知領域の中央の検知点を通過した直後の状態を示す。軌跡イメージ生成部６１は、状態Ｅに対応する軌跡イメージデータとして、指ＦＧの軌跡位置の高さ（検知領域）を示す表示形態（例えば半透明の黄色の円形状：図１５ではハッチング部参照）のイメージデータを生成し、更に、指ＦＧの軌跡位置の高さ（検知領域）を示す表示形態と同系色の黄色（図１５ではハッチング部参照）を用いて指ＦＧの軌跡を示す直線のイメージデータを生成する。従って、携帯端末１Ｃは、状態Ｅでは、指ＦＧの軌跡位置の高さが高ホバー検知領域であることを示すイメージデータとして、半透明の黄色の円形状（図１５ではハッチング部参照）のイメージデータをセキュリティロック画面に表示させる。更に、携帯端末１Ｃは、指ＦＧの軌跡位置の高さ（検知領域）を示す表示形態と同系色の黄色（図１５ではハッチング部参照）を用いて指ＦＧの軌跡を示す直線のイメージデータをセキュリティロック画面に表示させる。

このように、携帯端末１Ｃは、指ＦＧがセキュリティロック画面に対する解除操作の開始時から終了時までの間、所定の検知点の位置の中で指ＦＧの近接又は接触時に通過した時の位置（近接対応位置又は接触位置）の関連情報又は支援情報として、指ＦＧの軌跡位置の高さ（検知領域）と、指ＦＧの同軌跡位置の高さを通過した軌跡とを例えば同系色又は同系パターンの表示形態として表示する。これにより、携帯端末１Ｃは、解除操作時に指ＦＧが辿った軌跡（例えば直線又は曲線）と現在又はその直前に軌跡が通過した時の検知領域とを対応付けて簡易的に表示させることができる。従って、携帯端末１Ｃは、ユーザが頭の中で記憶している解除軌跡情報４８と現在実行されている解除操作とをユーザに対して視覚的に比較及び確認させながら、セキュリティロック画面の解除操作を容易に行わせることができる。

（第４の実施形態の携帯端末１Ｃの動作手順）
図１６は、第４の実施形態の携帯端末１Ｃの動作手順を説明するフローチャートである。図１６の説明において、必要に応じて、図１４又は図１５の内容を参照する。

図１６において、セキュリティロック画面合成部６３は、セキュリティロック画面生成部６２が生成したセキュリティロック画面の画面データを画面表示部５０の画面ＤＰに表示させている（Ｓ４１）。携帯端末１Ｃは、近接検知部１０がタッチパネル１５に対する指ＦＧの近接又はタッチ検知部２０がタッチパネル１５に対する指ＦＧの接触のいずれかを検知するまで待機する（Ｓ４２）。

近接検知部１０がタッチパネル１５に対する指ＦＧの近接又はタッチ検知部２０がタッチパネル１５に対する指ＦＧの接触のいずれかを検知した場合には（Ｓ４２、ＹＥＳ）、軌跡検知位置／指位置判定部３２は、近接座標評価部１１から出力された近接座標（ｘ、ｙ、ｚ）又はタッチ座標評価部２１から出力されたタッチ座標（ｘ、ｙ）の情報と検知領域情報３３とを基に、セキュリティロック画面に対する指ＦＧの解除操作の軌跡位置と指ＦＧが通過している検知領域を判定する。軌跡検知位置／指位置判定部３２は、判定した指ＦＧの解除操作の軌跡位置の情報をセキュリティロックアプリ４０Ｃに出力し、更に、判定した指ＦＧの解除操作の軌跡位置と指ＦＧが通過している検知領域の情報とを対応付けて軌跡保持部６０に一時的に記憶する。更に、軌跡検知位置／指位置判定部３２は、軌跡保持部６０を参照して指ＦＧの解除操作の軌跡（例えば直線又は曲線）と指ＦＧの解除操作の軌跡が通過している検知領域とを含む軌跡イメージを生成する旨の情報を軌跡イメージ生成部６１に出力する。

軌跡イメージ生成部６１は、軌跡検知位置／指位置判定部３２から出力された情報を基に、軌跡保持部６０を参照して、指ＦＧの解除操作の軌跡（例えば直線又は曲線）と指ＦＧの解除操作の軌跡が通過している検知領域とを含む軌跡イメージデータを生成してセキュリティロック画面合成部６３に出力する。

セキュリティロック画面合成部６３は、セキュリティロック画面生成部６２から出力されたセキュリティロック画面の画面データと軌跡イメージ生成部６１から出力された軌跡イメージデータとを合成し、合成後の画面データを画面表示部５０の画面ＤＰに表示させる（図１５参照）。即ち、セキュリティロック画面合成部６３は、指ＦＧの位置（高さ）に応じて、指ＦＧの解除操作時の軌跡位置と軌跡が通過している検知領域（軌跡位置の高さ）とを示す軌跡イメージデータをセキュリティロック画面に表示させる（Ｓ４３、図１５の状態Ｂ参照）。

ステップＳ４３の後、ホバー操作中又はタッチ操作中の指ＦＧの移動（ホバースライド操作又はタッチスライド操作）があった場合には（Ｓ４４、ＹＥＳ）、セキュリティロック画面合成部６３は、ステップＳ４３と同様に、指ＦＧの移動（ホバースライド操作又はタッチスライド操作）に応じて、指ＦＧの解除操作時の軌跡位置と軌跡が通過している検知領域（軌跡位置の高さ）とを示す軌跡イメージデータをセキュリティロック画面に表示させる（Ｓ４５、図１５の状態Ｃ、状態Ｄ、状態Ｅ参照）。

ステップＳ４５の後、指ＦＧがホバーアウトしていない場合には（Ｓ４６、ＮＯ）、携帯端末１Ｃの動作はステップＳ４４まで戻る。一方、ステップＳ４５の後、指ＦＧがホバーアウトした場合には（Ｓ４６、ＹＥＳ）、軌跡一致判定部４７は、ホバーアウトまでに検知された指ＦＧの解除操作の軌跡と解除軌跡情報４８とを比較する（Ｓ４７）。

ホバーアウトまでに検知された指ＦＧの解除操作の軌跡と解除軌跡情報４８とが一致した場合には（Ｓ４７、ＹＥＳ）、軌跡一致判定部４７は、セキュリティロックを解除する旨の情報をセキュリティロックアプリ４０Ｃに出力する。セキュリティロックアプリ４０Ｃは、軌跡一致判定部４７から出力された情報を基に、画面表示部５０の画面ＤＰに表示されているセキュリティロック画面を解除し（Ｓ４９）、ユーザからの携帯端末１Ｃに対する入力操作を受け付け可能な状態に移行させる。

一方、ホバーアウトまでに検知された指ＦＧの解除操作の軌跡と解除軌跡情報４８とが一致しない場合には（Ｓ４７、ＮＯ）、軌跡一致判定部４７は、ステップＳ４７の比較時点から一定時間が経過した後に、指ＦＧの解除操作の軌跡を消去する（Ｓ５０）。ステップＳ５０の後、携帯端末１Ｃの動作はステップＳ４１に戻る。

以上により、本実施形態の携帯端末１Ｃは、指ＦＧがホバーアウトしない条件下においてセキュリティロック画面に対する解除操作の開始時から終了時までの間、所定の検知点の位置の中で指ＦＧの近接又は接触時に通過した時の位置の関連情報又は支援情報として、指ＦＧの軌跡位置の高さ（検知領域）と、指ＦＧの同軌跡位置の高さを通過した軌跡とを例えば同系色又は同系パターンの表示形態として表示する。

これにより、携帯端末１Ｃは、解除操作時に指ＦＧが辿った軌跡（例えば直線又は曲線）と現在又はその直前に軌跡が通過した時の検知領域とを対応付けて簡易的に表示させることができる。従って、携帯端末１Ｃは、頭の中で記憶している解除軌跡情報４８と現在実行されている解除操作とをユーザに視覚的に比較及び確認させながら、セキュリティロック画面の解除操作を容易に行わせることができる。

以上、図面を参照して各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種実施の形態の変更例または修正例、更に各種実施の形態の組み合わせ例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、第４の実施形態では、軌跡検知位置／指位置判定部３２は、図１４（Ｂ）に示す３つの検知領域の層（タッチ検知領域、低ホバー検知領域、高ホバー検知領域）毎に規定した各９個の検知点をそれぞれｚ軸方向において異なる検知点として、指ＦＧの軌跡の一致判定に用いると説明した。また、軌跡検知位置／指位置判定部３２は、３つの検知領域の層のうち例えば２つの層（低ホバー検知領域と高ホバー検知領域）又は全ての層のｚ軸方向における合計２個又は３個の各検知点をそれぞれ１個の検知点とみなして、指ＦＧの軌跡の一致判定の動作を簡易化させても良い（図１７参照）。

図１７は、タッチ検知領域、低ホバー検知領域及び高ホバー検知領域のｚ軸方向における合計２個又は３個の各検知点をそれぞれ１個の検知点とみなした場合に入力された指ＦＧの軌跡の画面表示例の説明図である。図１７（Ａ）は、各々の検知領域に設けられた検知点と指の軌跡とを示す図である。図１７（Ｂ）は、全ての検知領域のｚ軸方向における３個の検知点を１個の検知点とみなした場合の指ＦＧの軌跡（図１７（Ａ）参照）の画面表示例である。図１７（Ｃ）は、低ホバー検知領域及び高ホバー検知領域のｚ軸方向における２個の検知点を１個の検知点とみなした場合の指ＦＧの軌跡（図１７（Ａ）参照）の画面表示例である。図１７（Ｄ）は、タッチ検知領域における指ＦＧの軌跡（図１７（Ａ）参照）の画面表示例である。

図１７（Ｂ）では、軌跡検知位置／指位置判定部３２は、図１７（Ａ）に示す３つの検知領域の層（タッチ検知領域、低ホバー検知領域、高ホバー検知領域）の各９個の検知点のうち、ｘ座標値及びｙ座標値が同一であってｚ座標値が異なる３個の検知点を１個の検知点とみなす。例えば、図１７（Ｂ）では、検知点ＤＴ１，ＤＴ１０，ＤＴ１９が同一の検知点（例えばＤＴ１）とみなされ、図１７（Ａ）に示す指ＦＧの軌跡において検知点ＤＴ７，ＤＴ８，ＤＴ５，ＤＴ６，ＤＴ３を通過した様子が表示されている。

図１７（Ｃ）では、軌跡検知位置／指位置判定部３２は、図１７（Ａ）に示す２つの検知領域の層（低ホバー検知領域、高ホバー検知領域）の各９個の検知点のうち、ｘ座標値及びｙ座標値が同一であってｚ座標値が異なる２個の検知点を１個の検知点とみなす。例えば、図１７（Ｃ）では、検知点ＤＴ１０，ＤＴ１９が同一の検知点とみなされ、図１７（Ａ）に示す指ＦＧの軌跡において検知点ＤＴ１６，ＤＴ１７，ＤＴ１４，ＤＴ１５を通過した様子が表示されている。

更に、軌跡検知位置／指位置判定部３２は、図１７（Ａ）に示すタッチ検知領域における合計９個の検知点と、同図に示す低ホバー検知領域及び高ホバー検知領域における合計１８個の検知点のうちｚ軸方向の検知点を同一の検知点とみなした結果としての合計９個の検知点とを、異なる検知点として識別する。例えば、図１７（Ｄ）では、図１７（Ａ）に示す指ＦＧの軌跡のうち、図１７（Ｃ）に示す指ＦＧの軌跡の画面表示例に続いて、タッチ検知領域における検知点ＤＴ６及びＤＴ３を通過した様子が表示されている。これにより、携帯端末１Ｃは、ユーザのホバー操作又はホバースライド操作がタッチ操作又はタッチスライド操作に比べて安定的に行うことが困難である場合を考慮して、ユーザが行うことができるホバー操作又はホバースライド操作の精度又は嗜好に応じて、セキュリティロック画面に対するロック解除の操作を簡素化することができる。

本発明は、ユーザの入力操作の対象を確定して選択する前に、近接検知時に入力操作の対象に関する支援情報又は関連情報を明示的に表示し、ユーザの正確な入力操作を支援して操作性を向上させる表示装置、表示制御方法及びプログラムとして有用である。

１、１Ａ、１Ｂ、１Ｃ 携帯端末
１０ 近接検知部
１１ 近接座標評価部
２０ タッチ検知部
２１ タッチ座標評価部
３０、３０Ａ キー位置／指位置判定部
３０Ｂ ボタン位置／指位置判定部
３２ 軌跡検知位置／指位置判定部
４０、４０Ａ キーボードアプリ
４０Ｂ カメラアプリ
４０Ｃ セキュリティロックアプリ
４７ 軌跡一致判定部
５０ 画面表示部
５１ キーイメージ合成部
５２ 拡大キーイメージ生成部
５３、５３Ａ キーイメージ合成部
５４ 表示対象キー判定部
５５ 表示対象キーイメージ生成部
５６ ボタン実行内容判定部
５７ 表示可変ボタンイメージ生成部
５８ カメラプレビュー画面生成部
５９ カメラ画面合成部
６０ 軌跡保持部
６１ 軌跡イメージ生成部
６２ セキュリティロック画面生成部
６３ セキュリティロック画面合成部

Claims (13)

1. 画面にデータを表示する表示部と、
   前記画面に対する指の近接を検知して近接検知信号を出力する近接検知部と、
   前記画面に対する前記指の接触を検知する接触検知部と、
   前記近接検知信号を基に、前記近接が検知された前記指の前記近接検知信号に対応する前記画面上の位置である近接対応位置又は前記近接対応位置の周囲に、前記画面上の前記近接対応位置に表示されている項目の関連情報又は支援情報を表示させる表示制御部と、
   前記関連情報又は支援情報に対する前記指の接触に応じて、前記接触が検知された接触位置に対応する項目に応じた動作を実行する動作実行部と、を備える表示制御装置。
2. 請求項１に記載の表示制御装置であって、
   前記表示制御部は、
   前記関連情報又は支援情報として、前記近接対応位置に表示されている項目と前記近接対応位置に表示されている項目に隣接する全ての項目とを拡大表示する表示制御装置。
3. 請求項２に記載の表示制御装置であって、
   前記表示制御部は、
   前記近接が検知された前記指が前記拡大表示前の前記近接対応位置に表示されている項目の表示領域の境界を超えて移動した場合に、前記指の移動に応じて前記拡大表示された全ての項目を切り替えて表示する表示制御装置。
4. 請求項２に記載の表示制御装置であって、
   前記表示制御部は、
   前記近接が検知された前記指が前記拡大表示後の前記近接対応位置に表示されている項目の表示領域の境界を超えて移動した場合に、前記指の移動に応じて前記拡大表示された全ての項目を切り替えて表示する表示制御装置。
5. 請求項２に記載の表示制御装置であって、
   前記表示制御部は、
   前記近接が検知された前記指が前記拡大表示された全ての項目の表示領域の境界を超えて移動した場合に、前記指の移動方向に応じて前記拡大表示された全ての項目を切り替えて表示する表示制御装置。
6. 請求項３から５のうちいずれか一項に記載の表示制御装置であって、
   前記表示制御部は、
   前記近接が検知された前記指の移動に応じて、前記指の移動後における前記近接対応位置に表示されている項目を中心に、前記項目と前記項目に隣接する全ての項目とを拡大表示する表示制御装置。
7. 請求項３から５のうちいずれか一項に記載の表示制御装置であって、
   前記表示制御部は、
   前記近接が検知された前記指の移動に応じて、前記拡大表示された全ての項目に対し、前記指の移動方向に隣接して表示されている項目の拡大表示を継続し、前記指の移動方向と反対側に隣接して表示されている項目の拡大表示を消去する表示制御装置。
8. 請求項１に記載の表示制御装置であって、
   前記近接対応位置に表示されている項目に関連する関連項目を判定する表示対象項目判定部と、を更に備え、
   前記表示制御部は、
   前記関連情報又は支援情報として、前記近接対応位置に表示されている項目の周囲に前記判定された前記関連項目を表示させる表示制御装置。
9. 請求項１に記載の表示制御装置であって、
   前記画面に表示されている項目が、前記動作実行部に所定の設定変更を実行させるための設定変更項目又は所定の動作を実行させるための動作実行項目のいずれであるかを判定する項目動作判定部と、を更に備え、
   前記表示制御部は、
   同一のグループとして設定された複数の前記設定変更項目を単一のボタンとして前記画面に対して透過的に表示させると共に、前記近接が検知された前記指の前記近接対応位置に前記単一のボタンが表示されている場合に、前記単一のボタンに対応する前記複数の設定変更項目を視認可能に表示させる表示制御装置。
10. 請求項１に記載の表示制御装置であって、
    前記画面に表示されている項目が、前記動作実行部に所定の設定変更を実行させるための設定変更項目又は所定の動作を実行させるための動作実行項目のいずれであるかを判定する項目動作判定部と、を更に備え、
    前記表示制御部は、
    前記動作実行項目を前記画面に対して透過的に表示させると共に、前記近接が検知された前記指の前記近接対応位置に透過的に表示された前記動作実行項目が表示されている場合に、前記動作実行項目を除く他の前記画面上に表示されている全ての項目を消去する表示制御装置。
11. 請求項１に記載の表示制御装置であって、
    前記近接が検知された前記指が前記画面上、前記画面上から第１の高さまでの第１空間近接検知領域内、及び前記第１空間近接検知領域から第２の高さまでの第２空間近接検知領域内のうちいずれに対して入力操作しているかを判定する軌跡位置判定部と、を更に備え、
    前記表示制御部は、
    前記判定された前記指の入力操作の軌跡位置を、前記画面上、前記第１空間近接検知領域内及び前記第２空間近接検知領域内に対応する各表示形態のうちいずれかを用いて識別可能に表示させる表示制御装置。
12. 画面にデータを表示する表示制御装置における表示制御方法であって、
    前記画面に対する指の近接を検知して近接検知信号を出力するステップと、
    前記近接検知信号を基に、前記近接が検知された前記指の前記近接検知信号に対応する前記画面上の位置である近接対応位置又は前記近接対応位置の周囲に、前記画面上の前記近接対応位置に表示されている項目の関連情報又は支援情報を表示させるステップと、
    前記画面に対する前記指の接触を検知するステップと、
    前記関連情報又は支援情報に対する前記指の近接又は接触に応じて、前記近接対応位置又は前記接触が検知された接触位置に対応する項目に応じた動作を実行するステップと、を有する表示制御方法。
13. 画面にデータを表示する表示制御装置であるコンピュータに、
    前記画面に対する指の近接を検知して近接検知信号を出力するステップと、
    前記近接検知信号を基に、前記近接が検知された前記指の前記近接検知信号に対応する前記画面上の位置である近接対応位置又は前記近接対応位置の周囲に、前記画面上の前記近接対応位置に表示されている項目の関連情報又は支援情報を表示させるステップと、
    前記画面に対する前記指の接触を検知するステップと、
    前記関連情報又は支援情報に対する前記指の近接又は接触に応じて、前記近接対応位置又は前記接触が検知された接触位置に対応する項目に応じた動作を実行するステップと、を実行させるためのプログラム。

Images