JP2006236143A - 入力処理プログラム、携帯端末装置、及び入力処理方法 - Google Patents

Abstract

【課題】 表示部に複数表示されたアイコンのうち、ユーザが選択しようとしているアイコンを予測して拡大表示することで、ユーザに対してアイコンを選択させ易くする。
【解決手段】 複数のアイコンが表示されるメイン表示部１３の表示面にタッチパネル２０を設けると共に、メイン表示部１３の近傍に、二つの近接検出用カメラ部１４，１５を設ける。制御部は、この各カメラ部１４，１５により撮像されたメイン表示部１３及びメイン表示部１３の近傍の撮像画像に基づいて、ユーザの指とメイン表示部１３の表示面との相対的な位置関係を検出する。そして、ユーザの指がメイン表示部１３の表示面に対して所定の距離以上近接したことを検出した際に、そのユーザの指が近接しているアイコンを拡大表示する。また、ユーザの指がメイン表示部１３に触れたことをタッチパネル２０で検出した際に、拡大表示したアイコンに対応するアプリケーション機能を実行制御する。
【選択図】 図１

Description

本発明は、例えば携帯電話機，ＰＨＳ電話機（PHS：Personal Handyphone System），ＰＤＡ装置（PDA：Personal Digital Assistant），ノート型のパーソナルコンピュータ装置等に設けて好適な入力処理プログラム、携帯端末装置、及び入力処理方法に関し、特に指やスタイラスペン等の入力支持手段が近接したアイコンを拡大表示し、及び（又は）複数のアイコンに分割表示することで直感的な入力操作を可能とすると共に、入力に必要な操作数の削減等を図った入力処理プログラム、携帯端末装置、及び入力処理方法に関する。

近年、携帯電話機には多くの機能が実装されている。ユーザはそれらの機能を使用するために、携帯電話機のメニューから所望の機能を選択して使用する。このメニューはアイコンの形になっていることも多く、ユーザは十字キー等を操作して所望のアイコンを選択する。

このアイコンの選択に関する背景技術としては、特開２０００−２４２３８３号の公開特許公報（特許文献１）において、表示部の画面上にて、カーソルがアイコンに合わされたときに、ユーザに対して違和感を与えることなくカーソルの拡大表示を行うことを目的とした画面表示拡大制御装置が開示されている。

この特許文献１に開示されている技術の場合、カーソルが合わされたときに拡大表示を行うアイコンを予め選択して登録しておくと共に、拡大表示を行うアイコンの拡大率を予め設定して登録しておく。

拡大表示制御部は、カーソルがアイコンに合わされたことを検出すると、拡大表示設定部に登録されている、そのアイコンの拡大表示のＯＮ／ＯＦＦを示す拡大表示ＯＮ／ＯＦＦ情報に基づいて、そのアイコンの拡大表示のＯＮ／ＯＦＦを検出する。そして、カーソルが合わされているアイコンの拡大表示が「ＯＮ」として登録されていた場合に、拡大表示設定部に登録されている、ユーザにより指定されたそのアイコンの拡大率を示す拡大率情報に基づいて、該拡大率でそのアイコンを拡大表示する。

これにより、ユーザが希望するアイコンのみ、ユーザが希望する拡大率で拡大表示することができるため、ユーザに違和感を与えることなくアイコンの拡大表示を行うことが可能となる。

特開２０００−２４２３８３号公報（第４頁〜第５頁：図３）

しかし、年々、携帯電話機に実装される機能は多くなっているのであるが、これに対して実装される十字キーやテンキーの数は変わらない。これは、携帯電話機に実装される機能が増える毎に、一つのキーに対して割り当てられる機能が増えていることを示している。このため、十字キーやテンキーを使用して所望の機能を選択する方法では、一つのキーに対して割り当てられている機能が多くなっている今日においては、直感的な操作がしづらくなってきている。

同様に、携帯電話機で文字入力を行う場合、テンキーにそれぞれ割り当てられた複数の文字の中から所望の文字を選択操作して該文字入力を行うのが一般的である。具体的には、例えば「１」のテンキーに「あ」、「い」、「う」、「え」、「お」、「ぁ」、「ぃ」、「ぅ」、「ぇ」、「ぉ」の文字が割り当てられていた場合、この「１」のテンキーを１回押圧操作すると「あ」の文字が入力され、「１」のテンキーを４回押圧操作すると「え」の文字が入力されるようになっている。また、「１」のテンキーを７回押圧操作すると「ぃ」の文字が入力され、「１」のテンキーを１０回押圧操作すると「ぉ」の文字が入力されるようになっている。

すなわち、所望の文字を入力する場合、この入力する所望の文字に対応する数分、テンキーを押圧操作する必要がある。例えば、上述の例において「ぉ」の文字を入力する場合、「１」のテンキーの１０回もの押圧操作を必要とする。

このように一つのキーに対して割り当てられる文字（及び機能）が多くなると、所望の文字（或いは機能）を選択するために、対応する数分の入力操作数を必要とする問題がある。

本発明は、上述の課題に鑑みてなされたものであり、一つのキーに対して複数の機能や文字等が割り当てられている場合でも、直感的、かつ、少ない操作数で所望の機能や文字等を選択可能な入力処理プログラム、携帯端末装置、及び入力処理方法の提供を目的とする。

本発明に係る入力処理プログラムは、上述の課題を解決するために、
アイコンの表示情報に基づいて、表示手段に対して一つ或いは複数のアイコンを配置して表示するアイコン表示手段と、
上記表示手段に表示されているアイコンに触れることで、該アイコンを選択するための選択手段と上記表示手段の表示面との間の距離を検出する距離検出手段からの検出出力に基づいて、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下となったか否かを判別する近接判別手段と、
コンピュータを上記近接判別手段として機能させることで、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下になったものと判別された際に、上記選択手段が近接している上記表示手段の表示面上の位置を検出する位置検出手段からの検出出力と、上記アイコン表示手段により上記表示手段に表示されているアイコンの表示情報とに基づいて、上記選択手段が近接している上記表示面上の位置に表示されているアイコンを検出する近接アイコン検出手段と、
コンピュータを上記近接アイコン検出手段として機能させることで検出された上記選択手段が近接しているアイコンを拡大して上記表示手段に表示するアイコン表示変更手段
としてコンピュータを機能させる。

また、本発明に係る携帯端末装置は、上述の課題を解決するための手段として、
アイコンの表示情報に基づいて、表示手段に対して一つ或いは複数のアイコンを配置して表示するアイコン表示手段と、
上記表示手段に表示されているアイコンに触れることで、該アイコンを選択するための選択手段と上記表示手段の表示面との間の距離を検出する距離検出手段と、
上記距離検出手段からの検出出力に基づいて、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下となったか否かを判別する近接判別手段と、
上記近接判別手段により、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下になったものと判別された際に、上記選択手段が近接している上記表示手段の表示面上の位置を検出する位置検出手段と、
上記位置検出手段からの検出出力と、上記アイコン表示手段により上記表示手段に表示されているアイコンの表示情報とに基づいて、上記選択手段が近接している上記表示面上の位置に表示されているアイコンを検出する近接アイコン検出手段と、
上記近接アイコン検出手段で検出された上記選択手段が近接しているアイコンを拡大して上記表示手段に表示するアイコン表示変更手段と
を有する。

また、本発明に係る入力処理方法は、上述の課題を解決するための手段として、
アイコン表示手段が、アイコンの表示情報に基づいて、表示手段に対して一つ或いは複数のアイコンを配置して表示するステップと、
上記表示手段に表示されているアイコンに触れることで該アイコンを選択するための選択手段と上記表示手段の表示面との間の距離を検出する距離検出手段からの検出出力に基づいて、近接判別手段が、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下となったか否かを判別するステップと、
上記近接判別手段により、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下になったものと判別された際に、近接アイコン検出手段が、上記選択手段が近接している上記表示手段の表示面上の位置を検出する位置検出手段からの検出出力と、上記アイコン表示手段により上記表示手段に表示されているアイコンの表示情報とに基づいて、上記選択手段が近接している上記表示面上の位置に表示されているアイコンを検出するステップと、
アイコン表示変更手段が、上記近接アイコン検出手段により検出された上記選択手段が近接しているアイコンを拡大して上記表示手段に表示するステップと
を有する。

このような本発明は、選択手段と表示手段の表示面との間の距離が所定の距離以下となった際に、この選択手段が近接している表示手段上の位置に表示されているアイコンを拡大表示することで、アイコンの認識性の向上を通じて操作性の向上を図る。

本発明は、選択手段と表示手段の表示面との間の距離が所定の距離以下となった際に、この選択手段が近接している表示手段上の位置に表示されているアイコンを拡大表示することができる。

表示手段の画面サイズの小さな機器の場合、ユーザは、この小さな画面の中に複数表示されたアイコンの中から、所望のアイコンを選択する必要がある。この選択の際に、表示手段に表示されているアイコンを選択手段で触れて選択しようとすると、選択手段自体の大きさで所望のアイコン以外のアイコンに誤って触れてしまい選択されてしまう不都合を生ずる。

しかし、本発明の場合、選択手段が近づいたアイコンが拡大表示されるため、ユーザは、この選択手段を近づけたアイコンに略々確実にタッチすることができる。このため、サイズの小さな表示部に多数のアイコンが表示されている場合でも、ユーザが希望するアイコンを確実に選択可能とすることができる。

また、各アイコンの表示位置は、毎回、同じ表示位置であるため、ユーザがこれら各アイコンの表示位置を体感的に憶えてしまうようになる。そして、所望のアイコンの選択は、ユーザが所望のアイコンの表示位置をタッチすることで行うため、所望のアイコンを、直感的に選択可能とすることができる。

また、本発明は、複数の機能、或いは複数の文字や記号がそれぞれ割り当てられた複数のアイコンを表示手段に表示し、選択手段が近接した際に、そのアイコンに割り当てられている各機能、文字或いは記号に対応するアイコンを形成し、これら各アイコンを拡大して分割的に表示することができる。

これにより、表示手段の表示面のサイズが小さい場合でも、この小さな表示面を有効に利用して、ユーザに所望の機能、文字或いは記号を選択させ易くすることができる。また、各機能、文字或いは記号に対応するアイコンが拡大表示されるため、誤入力を防止することができる。

また、選択手段で表示手段の表示面がタッチされる前に、選択手段の接触が予想されるアイコンを分割して、このアイコンに割り当てられている各機能、文字或いは記号の各アイコンを一覧的に表示し、この一覧的に表示された各アイコンの中から、選択手段のタッチにより、実際に実行が指定された機能、或いは実際に入力が指定された文字や記号の入力を受け付けるようになっている。このため、所望の文字や記号の入力操作を、１回のタッチ操作のみで終了させることができる。従って、所望の機能の選択操作、或いは所望の文字や記号の入力操作を大幅に削減することができる。

本発明は、携帯電話機に適用することができる。

［携帯電話機の外観構成］
図１（ａ）に、この本発明の第１の実施の形態となる携帯電話機を正面側から見た場合の斜視図を、また、図１（ｂ）に、この第１の実施の形態となる携帯電話機を背面側から見た場合の斜視図を示す。

この図１（ａ），（ｂ）に示すように、この携帯電話機は、いわゆる折り畳み式の携帯電話機となっており、上部筐体１と、下部筐体２とがヒンジ部３を介して回動自在に連結されている。

下部筐体２には、当該携帯電話機を折り畳んだ際に内側となる面側に、電話番号入力や発信操作等、所定の操作を行うためのキー入力部４が設けられている。このキー入力部４に設けられているキーとしては、「０」〜「９」の数字キー、＊キー、＃キー等の記号キー、発信操作を行うキー、各種機能を設定するキー、当該携帯電話機の背面側に設けられているカメラ部５を用いた撮影操作を行う撮影キー６等が設けられている。

また、下部筐体２の一方の側面部には、回転操作と押圧操作が可能となっており、携帯メールの編集や各種入力操作を行うための回転操作部７が設けられている。

また、下部筐体２の下端部近傍（ヒンジ部３が設けられている端部に対して反対側となる端部の近傍）には、ユーザの通話音声等を電気信号に変換するマイクロホン部８が設けられている。

一方、上部筐体１には、当該携帯電話機を折り畳んだ際に内側と面側のヒンジ部３近傍に設けられ、入力された電話番号や携帯メール編集時における文字のクリア（削除）に用いられるクリアキー９と、メール編集時やアドレス帳編集時に入力する文字の種類を変更するための文字種変更キー１０とが設けられている。この文字種変更キー１０を操作することで、例えばかな文字→数字→英文字・・・等のように入力する文字の種類が切り替わるようになっている。

また、この上部筐体１には、ヒシジ部３が設けられた端部に対して反対側となる端部にホイップアンテナ１１が設けられており、また、この端部近傍には、通話音声や着信音等の音響出力を得るためのスピーカ部１２が設けられている。

また、この上部筐体１には、各種情報やカメラ部５によって撮影された画像、通話相手から送られてきた画像等を表示するためのメイン表示部１３が設けられている。このメイン表示部１３の表面には、いわゆるタッチパネル２０が設けられており、ユーザの指などが触れた場合には、当該携帯電話機の制御部側で（図２に示す制御部）、表示部１３のどの位置に指が触れたかを検出可能となっている。

また、この上部筐体１には、メイン表示部１３に指等が近づいたことを検出するための二つの近接検出用カメラ部１４，１５が設けられている。後に説明するが、当該実施の形態の携帯電話機の場合、この近接検出用カメラ部１４，１５で撮像される画像に基づいて、メイン表示部１３のどの位置にユーザの指等が近づいたかを検出しており、このユーザの指が近づいたことを検出したタイミングで、該ユーザの指が近づいたメイン表示部１３上の位置に対応するアイコンや文字等の拡大表示（及び分割表示）を行うようになっている。

また、この上部筐体１の背面には、当該携帯電話機のユーザが周りの風景や人物等の所望の被写体を撮影する際に用いるカメラ部５が設けられている。また、この上部筐体１の背面には、当該携帯電話機を折畳んだ際に外側の面側の略々中央に、各種情報やカメラ部５によって撮影された画像、通話相手から送られてきた画像等を表示する、上記メイン表示部１３よりも小さめのサブ表示部１６が設けられている。

また、この上部筐体１の、上記回転操作部７が設けられている側面部と同じ側面部には、イヤホンジャック１７が設けられており、このイヤホンジャック１７にイヤホン装置を装着することで、上記スピーカ部１２から音響出力を得る代わりに、このイヤホン装置を介して音響出力を得ることができるようになっている。

［携帯電話機の電気構成］
図２に、この実施の形態の携帯電話機のブロック図を示す。この図２に示すように、この携帯電話機は、電話や携帯メール等の通信制御を行うための通信処理プログラム（コミュニケーションプログラム）や、タッチパネル２０に対してユーザの指が近接したことが検出された際に、ユーザの指の位置に対応するアイコンや文字等の拡大表示や分割表示等を行うための入力処理プログラムの他、当該携帯電話機の機器ＩＤ等が記憶されたＲＯＭ３１（ROM：Read Only Memory）と、このＲＯＭ３１に記憶されているプログラムに基づいて、当該携帯電話機の通信処理，表示処理及び入力処理等を制御する制御部３２とを有している。

また、この携帯電話機は、アンテナ１１を介して送受信する画像データ、音声データ、携帯メールのデータ等を基地局との間で無線で送受信する通信回路３３と、上記メイン表示部１３及びサブ表示部１６に相当する表示部３４とを有している。なお、この表示部３４のうち、メイン表示部１３には、上述のようにその表面側にタッチパネル２０が設けられている。

また、この携帯電話機は、上記「０」〜「９」の数字キー、＊キー、＃キー等の記号キー、発信操作を行うキー、各種機能を設定するキー、撮影キー６、回転操作部７、クリアキー９と、及び文字種変更キー１０等の各キーが設けられた操作部３５と、電話帳データや、画像、メールデータ、応答メッセージなど種々のデータを記憶する、読出し及び書込み可能なメモリ３６とを有している。

また、この携帯電話機は、通話音声や着信音等の音響出力を得るためのスピーカ部１２と、当該携帯電話機のユーザの送話音声を電気信号に変換するためのマイクロホン部８と、当該携帯電話機の背面側に設けられているカメラ部５の撮像制御を行うカメラ制御部３７とを有している。

また、この携帯電話機は、例えば二つの近接検出用カメラ部１４，１５で撮像された画像に基づいて、ユーザの指が上記メイン表示部１３にどれぐらい、どの位置に近づいたかを検出する位置検出部３８と、メイン表示部１３の表面に設けられているタッチパネル２０を制御するタッチパネル制御部３９とを有している。

これらの各ブロックは、制御部３２からの制御データを伝送する制御ライン４０、及び画像データや音声データ、携帯メールのデータ等のデータを伝送するデータライン４１により相互に接続されており、また、各ブロックは、全て図示しない電源回路から供給される電源によって動作するようになっている。

［アイコンの拡大処理］
この実施の形態の携帯電話機は、二つの近接検出用カメラ部１４，１５で撮像されたメイン表示部１３の撮像画像に基づいて、ユーザの指がどれぐらいメイン表示部１３に近づいているか、及びユーザの指が近づいたメイン表示部１３上の位置を検出することで、メイン表示部１３に表示しているアイコンのうち、どのアイコンがユーザによって選択されようとしているかを検出する。

ユーザの指がメイン表示部１３に近接したことを検出するまでは、例えば同じ大きさのアイコンを等間隔でメイン表示部１３に表示するのであるが、ユーザの指がメイン表示部１３に近接したことを検出したタイミングで、その指が近づいた位置に対応するアイコンを拡大表示し、どのアイコンが選択されようとしているかをユーザに認識させる。

ユーザは、この拡大表示されたアイコンが、自分で選択を希望するアイコンであった場合、そのアイコンの表示領域をタッチする。制御部３２は、タッチパネル２０を介して、拡大表示しているアイコンがユーザによりタッチされたことを検出すると、このアイコンに対応するアプリケーション機能を実行制御する。

図３のフローチャートに、このようなアイコンの拡大処理の流れを示す。このフローチャートに示す処理は、制御部３２により、図２に示すＲＯＭ３１に記憶されている入力処理プログラムに基づいて実行される。制御部３２は、ＲＯＭ３１に記憶されている各アイコンの表示位置，表示形態、表示サイズ等を示す各アイコンの表示情報に基づいて、例えば図４（ａ）に示すようにメイン表示部１３に対して当該携帯電話機に設けられているアプリケーション機能に対応するアイコンを表示することで、この入力処理プログラムに基づく図３のフローチャートをスタートとさせる。

なお、この図４（ａ）は、カメラ機能の起動を指定するための「カメラ」のアイコン、携帯メールの作成や読み出し等を指定するための「メール」のアイコン、当該携帯電話機の携帯事業者のコミュニケーションネットワークやインターネット等の所定のネットワーク上に設けられているＷｅｂサイトへのネットワーク接続を指定するための「Ｗｅｂ」のアイコン等がメイン表示部１３に表示されている例である。

制御部３２は、このようにメイン表示部１３に対して各アイコンを表示すると、各近接検出用カメラ部１４，１５を起動制御し、この近接検出用カメラ部１４，１５からの各撮像画像に基づいて位置検出部３８で検出される「ユーザの指とメイン表示部１３との間の距離」及び「ユーザの指が近づいているメイン表示部１３上の位置」の各検出出力の取り込みを開始する。

図３のフローチャートのステップＳ１は、この位置検出部３８からの検出出力に基づく、制御部３２の、ユーザの指がメイン表示部１３に近接したか否かの監視処理を示している。制御部３２は、ユーザの指がメイン表示部１３に近接したものと判別するまでの間は、このステップＳ１を繰り返し実行することで、該近接したか否かの監視を継続して行い、ユーザの指がメイン表示部１３に近接したことを示す、上記位置検出部３８からの検出出力を取り込んだタイミングで処理をステップＳ２に進める。

ステップＳ２では、制御部３２が、位置検出部３８で検出される「ユーザの指とメイン表示部１３との間の距離」の検出出力に基づいて、ユーザの指とメイン表示部１３との相対的な位置関係の監視を開始し、処理をステップＳ３に進める。

ステップＳ３では、制御部３２が、位置検出部３８で検出された「ユーザの指とメイン表示部１３との間の距離」の検出出力と、予め記憶されている閾値とを比較することで、ユーザの指とメイン表示部１３との間の距離が所定の距離α（＝上記閾値）以下となったか否かを判別する。そして、ユーザの指とメイン表示部１３との間の距離が所定の距離α以下となったことを検出するまでの間は、処理をステップＳ２に戻し、ユーザの指とメイン表示部１３との間の距離が所定の距離α以下となったか否かの判別を継続して行い、ユーザの指とメイン表示部１３との間の距離が所定の距離α以下となったことを検出したタイミングで処理をステップＳ４に進める。

ステップＳ４では、ユーザの指とメイン表示部１３との間の距離が所定の距離α以下となったため、制御部３２が、位置検出部３８で検出される「ユーザの指が近づいているメイン表示部１３上の位置」の検出出力に基づいて、現在、メイン表示部１３上に表示している各アイコンのうち、どのアイコンにユーザの指が近づいているかを検出する。そして、このユーザの指が近づいているアイコンを図４（ｂ）に示すように拡大表示制御する。なお、この図４（ｂ）は、携帯メールの作成や読み出し等を指定するための「メール」のアイコンが拡大表示された例を示している。

このようなステップＳ１〜ステップＳ４の処理をさらに詳細に説明すると、各近接検出用カメラ部１４，１５は、人間の左右の目を意識して、図１に示したようにメイン表示部１３の右上隅及び左上隅に近接して設けられている。この二つの近接検出用カメラ部１４，１５は、図５に示すようにメイン表示部１３の右上隅及び左上隅からそれぞれ撮像を行うのであるが、位置検出部３８は、この各カメラ部１４，１５が設けられている位置を示すカメラ位置情報、及び各カメラ部１４，１５で撮像された各撮像画像に写っているユーザの指の位置から、メイン表示部１３を上面側から見た場合の指の位置と、図６に示すようにメイン表示部１３とユーザの指との間の距離をを算出する。

そして、位置検出部３８は、この算出結果から、ユーザの指がどのアイコンに接近しているか（どのアイコンが選択されようとしているか）を判断すると共に、そのアイコンに対してユーザの指がどの程度接近しているかを判断する。

制御部３２は、位置検出部３８から供給される「ユーザの指とメイン表示部１３との間の距離」と、上記距離αに設定されている閾値とを比較することで、ユーザの指とメイン表示部１３との間の距離が距離α以下に縮まったかを判別する。すなわち、ユーザの指とメイン表示部１３との間の距離が距離αよりも離れている場合は、ユーザにアイコンの選択意志は薄いものと判断することができ、ユーザの指とメイン表示部１３との間の距離が距離αよりも縮まった場合は、ユーザに、そのアイコンの選択意志があるものと判断することができる。

このため、制御部３２は、ユーザの指とメイン表示部１３との間の距離が距離α以下に縮まったことを検出したタイミングで、位置検出部３８から供給される「ユーザの指が近づいているメイン表示部１３上の位置」の検出出力に基づいて、現在、メイン表示部１３上に表示している各アイコンのうち、どのアイコンにユーザの指が近づいているかを検出する。そして、このユーザの指が近づいているアイコンを図４（ｂ）に示すように拡大表示制御する。これにより、この拡大表示したアイコンを通じて、ユーザが選択しようとしているアプリケーション機能を該ユーザに認識させることができる。

次に、このように拡大表示したアイコンが、ユーザが実行を希望するアプリケーション機能に対応するアイコンであった場合、ユーザは、この拡大表示されたアイコンにタッチするはずである。

図２に示すタッチパネル制御部３９は、ユーザがタッチパネル２０にタッチしたか否かを検出しており、この検出出力を制御部３２に供給している。制御部３２は、図３のフローチャートのステップＳ５において、タッチパネル制御部３９から、ユーザがタッチパネル２０にタッチしたことを示す検出出力が供給されたか否かを判別することで、ユーザがタッチパネル２０にタッチしたか否かを判別する。そして、ユーザがタッチパネル２０にタッチしたことを示す検出出力が、タッチパネル制御部３９から供給されたタイミングで処理をステップＳ６に進める。

なお、上記ステップＳ４において拡大表示されたアイコンが、必ずしもユーザが選択を希望するアイコンであるとは限らない。そして、拡大表示されたアイコンが、ユーザが選択を希望するアイコンではない場合、ユーザはメイン表示部１３における、拡大表示されたアイコンの表示位置には指を触れることなく、メイン表示部１３の表示画面から上記距離αよりも指を大きく離すか、或いは指の位置を大きく変更するはずである。

このため、ステップＳ５において、タッチパネル制御部３９から、ユーザがタッチパネル２０にタッチしたことを示す検出出力が供給されない場合、制御部３２は、処理をステップＳ２に戻し、ユーザの指とメイン表示部１３との相対的な位置関係を引き続き監視する。

次に、ユーザがタッチパネル２０にタッチしたことを示す検出出力が、タッチパネル制御部３９から供給されると、制御部３２は、ステップＳ６において、例えば図４（ｃ）に示すように、ユーザによりタッチされたアイコンの表示色を変更制御し、及び（又は）ユーザによりタッチされたアイコンを高輝度で点灯（点滅）表示し、及び（又は）スピーカ部１２を介して所定の音声を発音制御する等、そのアイコンがユーザにより選択されたことを示す表示制御、及び（又は）音声出力制御を行う。そして、この表示制御及び（又は）音声出力制御を、例えば１秒等の一定時間行った後、ユーザによりタッチされたアイコンに対応するアプリケーション機能を実行制御して、この図３のフローチャートに示すルーチンの実行を終了する。

［第１の実施の形態の効果］
以上の説明から明らかなように、この第１の実施の形態の携帯電話機は、メイン表示部１３に表示されている各アイコンのうち、ユーザの指が近づいたアイコンが拡大表示し、タッチパネル２０にユーザの指がタッチした際に、その拡大表示したアイコンに対応するアプリケーション機能を実行する。

携帯電話機の場合、メイン表示部１３のサイズが小さく、また、ユーザは、この小さな画面の中に複数表示されたアイコンの中から、所望のアプリケーション機能に対応するアイコンを選択する必要がある。この選択の際に、メイン表示部１３上のアイコンを指でタッチして選択しようとすると、指の大きさで他のアイコンが誤って選択される不都合も生ずる。

また、スタイラスペン等を用いてアイコンにタッチするようにすれば、所望のアイコンを略々確実に選択することが可能となるが、この場合、携帯電話機と共にスタイラスペンを常備しておく必要があり、また、スタイラスペンを紛失するおそれもある。

しかし、当該実施の形態の携帯電話機の場合、スタイラスペン等の特別な手段を用いることなく、指で所望のアイコンを選択することができる。また、指が近づいたアイコンが拡大表示されるため、ユーザは、この指を近づけた所望のアイコンを確実にタッチすることができる。このため、サイズの小さな表示部に多数のアイコンが表示されている場合でも、ユーザが希望するアプリケーション機能に対応するアイコンを確実に選択可能とすることができる。

また、各アイコンの表示位置は、毎回、同じ位置であるため、ユーザが当該携帯電話機を使用しているうちに各アイコンの表示位置を憶えてしまうようになる。そして、所望のアイコンの選択は、ユーザが所望のアイコンの表示位置をタッチすることで行う。このため、所望のアプリケーション機能に対応するアイコンを、直感的に選択可能とすることができる。

なお、この第１の実施の形態の説明では、メイン表示部１３の表面に設けられているタッチパネル２０により、ユーザの指がメイン表示部１３に触れたか否かを検出することとしたが、二つの近接検出用カメラ部１４，１５で撮像された撮像画像に基づいて、ユーザの指がメイン表示部１３に触れたか否かを検出するようにしてもよい。この場合、二つの近接検出用カメラ部１４，１５で撮像された撮像画像に基づいて、ユーザの指とメイン表示部１３との間の距離、及びユーザの指がメイン表示部１３に触れたか否かが判別されることとなるため、タッチパネル２０を不要とすることができる。

［第２の実施の形態］
次に、本発明の第２の実施の形態の携帯電話機の説明をする。この第２の実施の形態の携帯電話機は、ユーザの指がアイコンに近づいた際に、このアイコンを拡大表示すると共に、このアイコンに割り当てられている複数の機能や文字を分割して表示するようにしたものである。

なお、この第２の実施の形態と上述の第１の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略することとする。

図７のフローチャートに、このようなアイコンの拡大分割処理の流れを示す。このフローチャートに示す処理は、制御部３２により、図２に示すＲＯＭ３１に記憶されている入力処理プログラムに基づいて実行される。制御部３２は、例えば図８（ａ）に示すようにそれぞれ複数の文字や記号が割り当てられているアイコンをメイン表示部１３に表示することで、この入力処理プログラムに基づく図７のフローチャートをスタートとさせる。

なお、図８（ａ）に示す例は、上段、中段、下段にそれぞれ３つのアイコンを表示した例であり、上段右端のアイコンには「，＠．」の各記号が割り当てられており、上段中央のアイコンには「ＡＢＣ」の各文字が割り当てられており、上段右端のアイコンには「ＤＥＦ」の各文字が割り当てられている例である。

制御部３２は、このようにメイン表示部１３に対して各アイコンを表示すると、各近接検出用カメラ部１４，１５を起動制御し、ステップＳ１１において、この近接検出用カメラ部１４，１５からの各撮像画像に基づいて位置検出部３８で検出される「ユーザの指とメイン表示部１３との間の距離」及び「ユーザの指が近づいているメイン表示部１３上の位置」の各検出出力の取り込みを開始する。そして、ユーザの指がメイン表示部１３に近接したことを示す、上記位置検出部３８からの検出出力を取り込んだタイミングで処理をステップＳ１２に進める。

ステップＳ１２では、制御部３２が、位置検出部３８で検出される「ユーザの指とメイン表示部１３との間の距離」の検出出力に基づいて、ユーザの指とメイン表示部１３との相対的な位置関係の監視を開始し、処理をステップＳ１３に進める。

ステップＳ１３では、制御部３２が、位置検出部３８で検出された「ユーザの指とメイン表示部１３との間の距離」の検出出力と、予め記憶されている閾値とを比較することで、ユーザの指とメイン表示部１３との間の距離が所定の距離α（＝上記閾値）以下となったか否かを判別する。そして、ユーザの指とメイン表示部１３との間の距離が所定の距離α以下となったことを検出するまでの間は、処理をステップＳ１２に戻し、ユーザの指とメイン表示部１３との間の距離が所定の距離α以下となったか否かの判別を継続して行い、ユーザの指とメイン表示部１３との間の距離が所定の距離α以下となったことを検出したタイミングで処理をステップＳ１４に進める。

ステップＳ１４では、ユーザの指とメイン表示部１３との間の距離が所定の距離α以下となったため、制御部３２が、位置検出部３８で検出される「ユーザの指が近づいているメイン表示部１３上の位置」の検出出力に基づいて、現在、メイン表示部１３上に表示している各アイコンのうち、どのアイコンにユーザの指が近づいているかを検出する。そして、このユーザの指が近づいているアイコンに割り当てられている文字或いは記号を、図８（ｂ）に示すように拡大分割表示する。

この図８（ｂ）は、制御部３２が、上段中央のアイコンにユーザの指が近づいたことを検出した例である。この場合、制御部３２は、この上段中央のアイコンに割り当てられている「ＡＢＣ」の各文字をアイコン化して、大きめに拡大すると共に、各文字のアイコンを分割して表示制御する。これにより、この拡大分割表示したアイコンを通じて、ユーザに対して所望の文字や記号を選択させ易くすることができる。

ユーザは、このように拡大分割表示されたアイコンの中に、入力を希望する文字に対応するアイコンが存在する場合、この入力を希望する文字に対応するアイコンにタッチする。制御部３２は、ステップＳ１５において、タッチパネル制御部３９から、ユーザがタッチパネル２０にタッチしたことを示す検出出力が供給されたか否かを判別することで、ユーザがタッチパネル２０にタッチしたか否かを判別する。そして、ユーザがタッチパネル２０にタッチしたことを示す検出出力が、タッチパネル制御部３９から供給されたタイミングで処理をステップＳ１６に進める。

なお、このように拡大分割表示されたアイコンの中に、入力を希望する文字が存在しない場合、ユーザは、他のアイコンの表示位置に指を移動させ、或いはメイン表示部１３の表示面から大きく指を離間させるはずである。このため、制御部３２は、ステップＳ１５において、「ユーザの指が近づいているメイン表示部１３上の位置」の検出出力に基づいて、ユーザの指の位置が、上記アイコンの表示位置から大きく移動し、或いはメイン表示部１３と指との間の距離が上記距離α以上となったか否かを判別する。

そして、ユーザの指の位置が、上記アイコンの表示位置から大きく移動し、或いはメイン表示部１３の表示面から大きく離れたものと判別した場合は、処理をステップＳ１２に戻し、ユーザの指とメイン表示部１３との相対的な位置関係を引き続き監視する。これにより、ユーザの指が各アイコンの表示位置を移動する毎に、この移動先となるアイコンに割り当てられている各文字や記号が、上述のように拡大分割表示されることとなる。

次に、ステップＳ１６では、制御部３２が、例えば図８（ｃ）に示すように、ユーザによりタッチされたアイコンの表示色を変更制御し、及び（又は）ユーザによりタッチされたアイコンを高輝度で点灯（点滅）表示し、及び（又は）スピーカ部１２を介して所定の音声を発音制御する等、そのアイコンに対応する文字や記号がユーザにより選択されたことを示す表示制御、及び（又は）音声出力制御を行い、処理をステップＳ１７に進める。なお、図８（ｃ）は、拡大分割表示された「ＡＢＣ」の各文字のうち、ユーザが「Ａ」の文字に対応するアイコンをタッチした例を示している。

ステップＳ１７では、制御部３２が、このステップＳ１６の表示制御及び（又は）音声出力制御を、例えば１秒等の一定時間行った後、ユーザによりタッチされたアイコンに対応する文字を、例えばメイン表示部１３に表示している携帯メールの入力画面等に表示制御して、この図７のフローチャートに示すルーチンの実行を終了する。

［第２の実施の形態の効果］
以上の説明から明らかなように、この第２の実施の形態の携帯電話機は、複数の文字や記号がそれぞれ割り当てられた複数のアイコンをメイン表示部１３に表示し、ユーザの指が近接した際に、そのユーザの指が近接したアイコンに割り当てられている各文字や記号を拡大分割表示する。これにより、上述の第１の実施の形態と同様の効果を得ることができる他、以下の効果を得ることができる。

すなわち、各文字や記号に対応するアイコンを拡大表示することで、携帯電話機の小さな表示領域を有効に利用して、ユーザに所望の文字や記号を選択させ易くすることができる。また、各文字や記号に対応するアイコンが拡大表示されるため、誤入力を防止することができる。

また、ユーザが指でメイン表示部１３をタッチする前に、ユーザにより入力が予想される文字や記号の一覧を表示し、この一覧の中から、タッチにより、実際に入力が指定された文字や記号の入力を受け付けるようになっている。このため、所望の文字や記号の入力操作を、１回のタッチ操作のみで終了させることができる。従って、所望の文字や記号の入力操作を大幅に削減することができる。

なお、この第２の実施の形態の説明では、各アイコンには複数の文字や記号が割り当てられており、ユーザの指が近接した際に、そのアイコンに割り当てられている各文字や記号を拡大分割表示することとしたが、これは、各アイコンには複数の機能が割り当てられており、ユーザの指が近接した際に、そのアイコンに割り当てられている各機能を示す文字やアイコンを拡大分割表示するようにしてもよい。

［変形例１］
上述の各実施の形態の説明では、メイン表示部１３とユーザの指の相対的な位置関係を二つの近接検出用カメラ部１４，１５により撮像された撮像画像に基づいて検出することとしたが、この二つの近接検出用カメラ部１４，１５の代わりに、上記タッチパネル２０として静電容量方式のタッチパネルを設け、この静電容量方式のタッチパネルで検出される電流値に基づいて、メイン表示部１３とユーザの指の相対的な位置関係を検出するようにしてもよい。

静電容量方式のタッチパネルの場合、図９に示すように当該タッチパネルにユーザの指が近づくにつれ、検出される電流値が大きくなる。このため、制御部３２は、図９に示すようにユーザの指と当該タッチパネルとの間の距離が上述の一定距離αとなった際に検出される電流値を閾値Ｓとして保持すると共に、ユーザの指が当該タッチパネルに触れた際に検出される電流値を閾値Ｌとして保持する。

そして、当該タッチパネルから閾値Ｓの電流値が検出された際に、ユーザの指と当該タッチパネルとの間の距離が一定距離αとなったものと判断して、上述のアイコンの拡大処理、或いはアイコンの拡大分割処理を行い、当該タッチパネルから閾値Ｌの電流値が検出された際に、ユーザの指が当該タッチパネルに触れたものと判断して、ユーザが触れたアイコンに対応するアプリケーション機能を実行し、或いはユーザが触れたアイコンに対応する文字や記号の入力処理を行う。これにより、各実施の形態と同様の効果を得ることができる。

［変形例２］
また、上記各近接検出用カメラ部１４，１５の代わりに、メイン表示部１３に対して光学式のセンサを設け、この光学式のセンサで検出される光の遮断位置に基づいて、メイン表示部１３とユーザの指の相対的な位置関係を検出するようにしてもよい。

すなわち、この例の場合、図１０に示すようにメイン表示部１３の枠に、該メイン表示部１３の表示面から例えば５ｍｍの位置に、ユーザの指が当該メイン表示部１３に近接したことを検出するための第１の赤外線センサが設けられており、メイン表示部１３の表示面から例えば１ｍｍの位置に、ユーザの指が当該メイン表示部１３に触れたことを検出するための第２の赤外線センサが設けられている。

そして、ユーザの指がメイン表示部１３の表示面から例えば５ｍｍの位置まで近接すると、第１の赤外線センサからの赤外線出力が遮断されたことを示す検出出力が得られ、ユーザの指がメイン表示部１３の表示面から例えば１ｍｍの位置まで近接すると、第２の赤外線センサからの赤外線出力が遮断されたことを示す検出出力が得られるようになっている。

制御部３２は、第１の赤外線センサからの赤外線出力が遮断されたことを示す検出出力が得られた場合、ユーザの指とメイン表示部１３との間の距離が一定距離αとなったものと判断して、上述のアイコンの拡大処理、或いはアイコンの拡大分割処理を行い、第２の赤外線センサからの赤外線出力が遮断されたことを示す検出出力が得られた場合、ユーザの指がメイン表示部１３の表示面に触れたものと判断して、ユーザが触れたアイコンに対応するアプリケーション機能を実行し、或いはユーザが触れたアイコンに対応する文字や記号の入力処理を行う。これにより、図２に示すタッチパネル２０及びタッチパネル制御部３９を省略することができる他、上述の各実施の形態と同様の効果を得ることができる。

なお、この例では、ユーザの指がメイン表示部１３の表示面に近接したこと、及びユーザの指がメイン表示部１３の表示面に触れたことを、それぞれ赤外線センサで検出することとしたが、ユーザの指がメイン表示部１３の表示面に近接したことのみ赤外線センサで検出し、メイン表示部１３の表示面にユーザの指が触れたか否かは、該メイン表示部１３の表示面にタッチパネルを設け、このタッチパネルに触れたか否かで判別するようにしてもよい。

最後に、上述の各実施の形態の説明では、本発明を携帯電話機に適用することとしたが、これは、ＰＨＳ電話機（PHS：Personal Handyphone System）やＰＤＡ装置（PDA：Personal Digital Assistant）等の他の携帯端末装置に適用してもよい。

また、上述の各実施の形態は、あくまでも本発明の一例として開示したに過ぎない。このため、本発明は、上述の各実施の形態に限定されることはなく、上述の各実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。

本発明を適用した第１の実施の形態となる携帯電話機の外観を示す図である。 第１の実施の形態の携帯電話機のブロック図である。 第１の実施の形態の携帯電話機のアイコンの拡大処理の流れを示すフローチャートである。 第１の実施の形態の携帯電話機でアイコンが拡大処理される様子を示す模式図である。 第１の実施の形態の携帯電話機でメイン表示部上のユーザの指の位置の算出処理を説明するための図である。 第１の実施の形態の携帯電話機でメイン表示部とユーザの指との間の距離の算出処理を説明するための図である。 本発明を適用した第２の実施の形態の携帯電話機のアイコンの拡大分割処理の流れを示すフローチャートである。 第２の実施の形態の携帯電話機でアイコンが拡大分割処理される様子を示す模式図である。 静電容量方式のタッチパネルを用いてユーザの指の近接及びタッチを検出する変形例を説明するための図である。 赤外線センサを用いてユーザの指の近接及びタッチを検出する変形例を説明するための図である。

符号の説明

１ 上部筐体、２ 下部筐体、３ ヒンジ部、４ キー入力部、５ カメラ部、６ 撮影キー、７ 回転操作部、８ マイクロホン部、９ クリアキー、１０ 文字種変更キー、１１ ホイップアンテナ、１２ スピーカ部、１３ メイン表示部、１４ 近接検出用カメラ部、１５ 近接検出用カメラ部、１６ サブ表示部、１７ イヤホンジャック、２０ タッチパネル、３１ ＲＯＭ、 ３２ 制御部、３３ 通信回路、３４ 表示部、３５ 操作部、３６ メモリ、３７ カメラ制御部、３８ 位置検出部、３９ タッチパネル制御部、４０ 制御ライン、４１ データライン

Claims (7)

1. アイコンの表示情報に基づいて、表示手段に対して一つ或いは複数のアイコンを配置して表示するアイコン表示手段と、
   上記表示手段に表示されているアイコンに触れることで、該アイコンを選択するための選択手段と上記表示手段の表示面との間の距離を検出する距離検出手段からの検出出力に基づいて、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下となったか否かを判別する近接判別手段と、
   コンピュータを上記近接判別手段として機能させることで、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下になったものと判別された際に、上記選択手段が近接している上記表示手段の表示面上の位置を検出する位置検出手段からの検出出力と、上記アイコン表示手段により上記表示手段に表示されているアイコンの表示情報とに基づいて、上記選択手段が近接している上記表示面上の位置に表示されているアイコンを検出する近接アイコン検出手段と、
   コンピュータを上記近接アイコン検出手段として機能させることで検出された上記選択手段が近接しているアイコンを拡大して上記表示手段に表示するアイコン表示変更手段
   としてコンピュータを機能させる入力処理プログラム。
2. 請求項１に記載の入力処理プログラムであって、
   上記アイコンに対して複数の機能、或いは複数の文字や記号が割り当てられていた場合、上記アイコン変更表示手段としてコンピュータを機能させる際に、上記選択手段が近接しているアイコンを、このアイコンに割り当てられている各機能、或いは割り当てられている文字や記号にそれぞれ対応するアイコンに分割すると共に、該分割した各アイコンをそれぞれ拡大して上記表示手段に表示する上記アイコン変更表示手段としてコンピュータを機能させること
   を特徴とする入力処理プログラム。
3. 請求項１又は請求項２に記載の入力処理プログラムであって、
   接触検出手段により、上記表示手段の表示面上に上記拡大表示或いは分割表示しているアイコンに対して上記選択手段の接触が検出された際に、この選択手段の接触が検出されたアイコンに対応する機能を実行制御し、或いはこの選択手段の接触が検出されたアイコンに対応する文字或いは記号の入力処理を行う入力処理手段としてコンピュータを機能させること
   を特徴とする入力処理プログラム。
4. アイコンの表示情報に基づいて、表示手段に対して一つ或いは複数のアイコンを配置して表示するアイコン表示手段と、
   上記表示手段に表示されているアイコンに触れることで、該アイコンを選択するための選択手段と上記表示手段の表示面との間の距離を検出する距離検出手段と、
   上記距離検出手段からの検出出力に基づいて、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下となったか否かを判別する近接判別手段と、
   上記近接判別手段により、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下になったものと判別された際に、上記選択手段が近接している上記表示手段の表示面上の位置を検出する位置検出手段と、
   上記位置検出手段からの検出出力と、上記アイコン表示手段により上記表示手段に表示されているアイコンの表示情報とに基づいて、上記選択手段が近接している上記表示面上の位置に表示されているアイコンを検出する近接アイコン検出手段と、
   上記近接アイコン検出手段で検出された上記選択手段が近接しているアイコンを拡大して上記表示手段に表示するアイコン表示変更手段と
   を有する携帯端末装置。
5. 請求項４に記載の携帯端末装置であって、
   上記アイコンに対して複数の機能、或いは複数の文字や記号が割り当てられており、
   上記アイコン変更表示手段は、上記選択手段が近接しているアイコンを、このアイコンに割り当てられている各機能、或いは割り当てられている文字や記号にそれぞれ対応するアイコンに分割すると共に、該分割した各アイコンをそれぞれ拡大して上記表示手段に表示すること
   を特徴とする携帯端末装置。
6. 請求項４又は請求項５に記載の携帯端末装置であって、
   上記表示手段の表示面上に上記拡大表示或いは分割表示しているアイコンに対する上記選択手段の接触を検出する接触検出手段と、
   上記接触検出手段により上記選択手段の接触が検出されたアイコンに対応する機能を実行制御し、或いはこの選択手段の接触が検出されたアイコンに対応する文字或いは記号の入力処理を行う入力処理手段と
   を有することを特徴とする携帯端末装置。
7. アイコン表示手段が、アイコンの表示情報に基づいて、表示手段に対して一つ或いは複数のアイコンを配置して表示するステップと、
   上記表示手段に表示されているアイコンに触れることで該アイコンを選択するための選択手段と上記表示手段の表示面との間の距離を検出する距離検出手段からの検出出力に基づいて、近接判別手段が、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下となったか否かを判別するステップと、
   上記近接判別手段により、上記選択手段と上記表示手段の表示面との間の距離が所定の距離以下になったものと判別された際に、近接アイコン検出手段が、上記選択手段が近接している上記表示手段の表示面上の位置を検出する位置検出手段からの検出出力と、上記アイコン表示手段により上記表示手段に表示されているアイコンの表示情報とに基づいて、上記選択手段が近接している上記表示面上の位置に表示されているアイコンを検出するステップと、
   アイコン表示変更手段が、上記近接アイコン検出手段により検出された上記選択手段が近接しているアイコンを拡大して上記表示手段に表示するステップと
   を有する入力処理方法。

Images