JP2013206019A - 携帯端末装置及び制御方法 - Google Patents

Abstract

【課題】疑似的な触覚により、操作を行うことができる携帯端末装置を提供する。
【解決手段】携帯端末装置１００は、画像を表示する表示パネル部１１３ｂを含み、当該表示パネル部１１３ｂ上における利用者による接触操作を受け付け、接触位置を出力するタッチパネル１１３と、バイブレータ１１４と、前記画像におけるエッジを検出するエッジ検出部１１１と、前記接触位置が検出された前記エッジの位置と一致するか否かを判断し、一致する場合に、バイブレータ１１４に対して振動するよう制御し、一致しない場合に、バイブレータ１１４に対して振動を停止するよう制御する主制御部１０８とを備える。
【選択図】図２

Description

本発明は、表示面に生じた振動により、利用者に情報を提示する技術に関する。

従来、触覚を使った情報提供技術が研究されている。
非特許文献１によると、指の腹側で物をなぞりながら、指の爪に装着された振動子により、指に振動を与える触覚提示装置が提案されている。
また、非特許文献２によると、ピエゾ素子及びてこによって、大きな変位を発生する振動素子を備える振動タッチパネルが開示されている。機械式てこを用いたピエゾアクチュエータの上にアクリル板が載せられ、ピエゾアクチュエータは、印加電圧により鉛直上向きに変位し、これによりアクリル板に振動が生じ、アクリル板の上をなぞる指に振動を与える。

特開２００９−０２０７５９号公報 特開２００５−２０２５４５号公報 特開２００５−２６７０８０号公報 特開２００１−０２２２６７号公報

"爪上からの触覚提示装置（スマートフィンガー）"、［online]［平成２３年１２月２６日検索］、インターネット<URL:http://www-hiel.ist.osaka-u.ac.jp/japanese/exp/smart_finger.html> 鈴木 隆裕、他４名、"アクティブタッチによる凹凸覚提示のための振動タッチパネル"、［online]、2009年9月、日本バーチャルリアリティ学会大会論文集、［平成２３年１２月２６日検索］、インターネット<URL:http://robotics.naist.jp/〜takahiro-su/thesis/takahiro-su_vrsj2009.pdf>

従来技術によると、指に伝えられた振動により、「つるつる」や「ざらざら」などの触覚を疑似的に体感できるものの、このような疑似的な触覚体感技術は、利用者が触覚により、機械や装置を操作できるレベルに到達しているとは言えない。
本発明は、疑似的な触覚により、操作を行うことができる携帯端末装置を提供することを目的とする。

上記目的を達成するために、本発明は、携帯端末装置であって、画像を表示する表示パネルを含み、当該表示パネル上における利用者による接触操作を受け付け、接触位置を出力するタッチパネルと、バイブレータと、前記画像におけるエッジを検出するエッジ検出部と、前記接触位置が検出された前記エッジの位置と対応する位置か否かを判断し、対応する位置である場合に、前記バイブレータに対して振動するよう制御し、対応しない位置である場合に、前記バイブレータに対して振動を停止するよう制御する制御部とを備えることを特徴とする。

この構成によると、擬似的な触覚により、操作を行うことができる携帯端末装置を提供することができる。

本発明に係る実施の形態１としての携帯端末装置１００の外観斜視図である。 携帯端末装置１００の構成を示すブロック図である。 携帯端末装置１００のエッジ記憶部１１２が有するエッジ情報テーブル１２０のデータ構造の一例である。 携帯端末装置１００のタッチパネル１１３上における擬似的な触覚を説明するための概念図である。（ａ）タッチパネル１１３上に表示された画像１５１の上を指でなぞる様子を示す。（ｂ）指の腹とタッチパネル１１３の表面との実際の接触の様子を示す。（ｃ）指の腹により、タッチパネル１１３上において擬似的に知覚した表面１１３ｄを示す。 携帯端末装置１００の動作を示すフローチャートである。 本発明に係る実施の形態２としての携帯端末装置１００ａにおける操作画面の遷移を示す。 携帯端末装置１００ａの動作を示すフローチャートである。図８へ続く。 携帯端末装置１００ａの動作を示すフローチャートである。図７から続く。 携帯端末装置１００ａの外観斜視図である。 変形例としての携帯端末装置１００ｂの外観斜視図である。

１．実施の形態１
本発明に係る一の実施の形態としての携帯端末装置１００について説明する。
携帯端末装置１００は、図示していない基地局及び携帯電話網を介して、他の携帯端末装置や携帯電話機との間で、通話又は電子メールの送受信が可能となるように構成されている。

携帯端末装置１００は、図１に示すように、その正面において、表示面が露出するように、タッチパネル１１３が配置されている。利用者は、主として、タッチパネル１１３上に指先等を接触させながら、接触させた指先等をタッチパネル１１３上を滑らすように移動させることにより、携帯端末装置１００に対する操作を行う。
１．１ 携帯端末装置１００の構成
携帯端末装置１００は、図２に示すように、アンテナ１０１、通信回路１０２、音声処理部１０３、スピーカ１０４、マイクロホン１０５、通信制御部１０６、音声制御部１０７、主制御部１０８、入出力制御部１０９、画像記憶部１１０、エッジ検出部１１１、エッジ記憶部１１２、タッチパネル１１３、バイブレータ１１４及び操作部１１５から構成されている。

（１）タッチパネル１１３
タッチパネル１１３は、一例として、液晶ディスプレイなどの表示パネル部１１３ｂと、表示パネル部１１３ｂの表示面に取り付けられたタッチパッド部１１３ａとから構成されている。
利用者が、タッチパッド部１１３ａに指先等を接触させると、タッチパッド部１１３ａは、所定の時間間隔毎に、例えば、５０ｍ秒毎に、その接触位置を検出する。次に、接触位置を示す位置情報（ｘ座標値及びｙ座標値）を生成し、生成した位置情報を、入力信号として、入出力制御部１０９を介して、主制御部１０８へ出力する。利用者がタッチパッド部１１３ａに指先等を接触させながら、接触させた指先等をタッチパッド部１１３ａ上を滑らすように移動させると、タッチパッド部１１３ａは、連続的に指先等の接触位置を検出し、接触位置を示す位置情報（ｘ座標値及びｙ座標値）を連続的に生成し、入力信号として、入出力制御部１０９を介して、主制御部１０８へ出力する。

表示パネル部１１３ｂは、主制御部１０８から画像及び当該画像の表示位置を示す位置データを受け取り、受け取った位置データにより示される位置において、受け取った画像を表示する。
前記画像の一例は、風景を表した画像であり、表示パネル部１１３ｂは、位置データにより示される位置において、受け取った風景を表した画像を表示する。前記画像は、電子メールの受信を表す画像、設定時刻の到来を表す画像、当該携帯端末装置１００において現在選択されている機能を表す画像などであるとしてもよい。

（２）画像記憶部１１０及びエッジ記憶部１１２
画像記憶部１１０及びエッジ記憶部１１２は、それぞれ、不揮発性の半導体メモリから構成されている。
画像記憶部１１０は、タッチパネル１１３の表示パネル部１１３ｂに、現在、表示されている画像データ１３０を記憶している。画像データ１３０は、１個又は複数個のオブジェクトを含んでいる。画像データ１３０は、一例として、上記のように、風景を表した画像である。画像データ１３０が風景を表した画像である場合に、画像データ１３０は、オブジェクトとして、山、川、木などを含む。

上述したように、画像データ１３０は、電子メールの受信を表す画像、設定時刻の到来を表す画像、当該携帯端末装置１００において、現在選択されている機能を表す画像などであるとしてもよい。
また、エッジ記憶部１１２は、後述するエッジ検出部１１１により生成されるエッジ情報を保持するためのエッジ情報テーブル１２０を有する。

図３にエッジ情報テーブル１２０のデータ構造の一例を示す。
この図に一例として示すように、エッジ情報テーブル１２０は、オブジェクトに対応付けて、複数のエッジ情報を含み、各エッジ情報は、開始位置（ｘ座標及びｙ座標）並びに終了位置（ｘ座標及びｙ座標）から構成される。エッジ検出部１１１により画像から検出された一個のエッジは、複数の線分の単位に分解され、各エッジ情報は、各線分の位置を示している。

一例として、開始位置１２１「（１００、１１０）」は、あるエッジを構成する一個の線分の開始位置のｘ座標が「１００」であり、ｙ座標が「１１０」であることを示し、終了位置１２２「（２００、２１０）」は、当該線分の終了位置のｘ座標が「２００」であり、ｙ座標が「２１０」であることを示している。
なお、検出した一個のエッジが複数の線分の単位に分解され、エッジ情報は、各線分の位置を示すとしているが、これには限定されない。検出した一個のエッジが複数の線分の単位に分解され、当該エッジは、これらの複数の線分が連続していると捉え、一個のエッジ情報は、一個のエッジに対応し、連続する複数の線分の位置を示すとしてもよい。この場合に、各エッジ情報は、開始位置（ｘ座標及びｙ座標）、一個以上の中間位置（ｘ座標及びｙ座標）並びに終了位置（ｘ座標及びｙ座標）から構成される。

（３）操作部１１５
操作部１１５は、ボタン１１５ａ、１１５ｂ、１１５ｃ、１１５ｄ、１１５ｅ及び１１５ｆを備える。
図１に示すように、ボタン１１５ａ、１１５ｂ及び１１５ｃは、携帯端末装置１００の正面に配置され、ボタン１１５ｄ、１１５ｅ及び１１５ｆは、携帯端末装置１００の側面に配置されている。ボタン１１５ａ、１１５ｂ、１１５ｃ、１１５ｄ、１１５ｅ及び１１５ｆは、それぞれ、利用者に押下されることにより、操作される。

ボタン１１５ａは、オプションのメニューを表示するために用いられるボタンであり、ボタン１１５ｂは、デスクトップを表示するために用いられるボタンであり、ボタン１１５ｃは、一つ前の画面に戻るために用いられるボタンである。また、ボタン１１５ｄは、携帯端末装置１００をＯＮ又はＯＦＦとするために用いられる電源ボタンである。
ボタン１１５ｅは、触覚提示を開始するために用いられるボタン（触覚提示開始ボタン）であり、ボタン１１５ｆは、触覚提示を終了するために用いられるボタン（触覚提示終了ボタン）である。

これらのボタンが利用者により操作されると、操作部１１５は、各ボタンに対する操作がされたことを示す操作信号を、入力信号として、入出力制御部１０９を介して、主制御部１０８へ出力する。
（４）エッジ検出部１１１
エッジ検出部１１１は、主制御部１０８の制御により、画像記憶部１１０から画像データ１３０を読み出し、読み出した画像データ１３０から、キャニー法等のエッジ検出手法を用い、画像データ１３０に含まれる各オブジェクトのエッジを検出する。

ここで、オブジェクトのエッジとは、当該オブジェクトと他のオブジェクト、又は、当該オブジェクトと背景を区別する輪郭である。
次に、エッジ検出部１１１は、検出した各エッジを線分の単位に分解し、各エッジを構成する線分の位置を示すエッジ情報を生成する。
エッジ情報は、上述したように、各エッジを構成する線分の開始位置のｘ座標及びｙ座標、並びに、終了位置のｘ座標及びｙ座標から構成される。

次に、エッジ検出部１１１は、生成したエッジ情報を、オブジェクトに対応付けて、エッジ記憶部１１２が有するエッジ情報テーブル１２０に書き込む。画像データ１３０から複数のエッジ情報を生成した場合には、エッジ検出部１１１は、エッジ情報テーブル１２０に、複数の生成したエッジ情報を書き込む。
（５）入出力制御部１０９
入出力制御部１０９は、タッチパネル１１３、バイブレータ１１４及び操作部１１５と、主制御部１０８との間で、情報の入出力を中継する。

（６）主制御部１０８
主制御部１０８は、タッチパネル１１３のタッチパッド部１１３ａ及び操作部１１５から、入出力制御部１０９を介して、以下に示すように、入力信号を受け取る。
主制御部１０８は、利用者の指先等がタッチパッド部１１３ａに接触している時間帯において、所定の時間間隔毎に、例えば、５０ｍ秒毎に、タッチパネル１１３から、入出力制御部１０９を介して、指先等の接触位置を示す位置情報（ｘ座標値及びｙ座標値）を、入力信号として、受け取る。

また、主制御部１０８は、操作部１１５から、入出力制御部１０９を介して、操作信号を、入力信号として、受け取る。操作信号には、触覚提示開始ボタンの操作を示す操作信号、及び、触覚提示終了ボタンの操作を示す操作信号が含まれる。
触覚提示開始ボタンの操作を示す操作信号を受け取ると、主制御部１０８は、触覚提示モードを「ＯＮ」に設定する。また、触覚提示開始ボタンの操作を示す操作信号を受け取ると、主制御部１０８は、エッジ検出部１１１に対して、画像記憶部１１０から画像データ１３０を読み出し、読み出した画像データ１３０から、画像データ１３０に含まれるオブジェクトのエッジを検出して、エッジ情報を生成するように、指示する。また、触覚提示終了ボタンの操作を示す操作信号を受け取ると、主制御部１０８は、触覚提示モードを「ＯＦＦ」に設定する。

受け取った入力信号が位置情報（ｘ座標値及びｙ座標値）である場合、主制御部１０８は、触覚提示モードが「ＯＦＦ」であるか、又は、「ＯＮ」であるかを判断する。
主制御部１０８は、触覚提示モードが「ＯＦＦ」の場合に、受け取った位置情報に対応する他の処理を行う。
主制御部１０８は、触覚提示モードが「ＯＮ」の場合に、タッチパネル１１３から位置情報を受け取ると、エッジ記憶部１１２からエッジ情報テーブル１２０を読み出し、受け取った位置情報と、読み出したエッジ情報テーブル１２０に含まれるエッジ情報とを比較し、受け取った位置情報により示される位置が、エッジ情報テーブル１２０に含まれるいずれかのエッジ情報が示す線分内に存在するか否かを判断する。

ここで、受け取った位置情報により示される位置が、エッジ情報が示す線分内に存在するか否かの判断においては、以下に示すように、一定の幅をもって行うとしてもよい。
例えば、受け取った位置情報を中心とする半径「１０ドット」の円を想定し、主制御部１０８は、この円がいずれかのエッジ情報が示す線分と交差しているか否かを判断するとしてもよい。なお、この円の半径は、「１０ドット」には、限定されない。「５ドット」、「１５ドット」、「２０ドット」等としてもよい。また、ここで、円には、限定されない。受け取った位置情報を中心とする多角形を想定してもよい。中心から多角形の頂点までの距離は、例えば、「１０ドット」であるとしてもよい。多角形は、６角形、１２角形、１６角形などであるとしてもよい。

また、エッジ情報が示す線分は、幅を持つ矩形領域であるとしてもよい。具体的には、当該矩形領域は、当該線分を中心軸とし、中心軸の両側に、それぞれ、「５ドット」の幅の分だけ拡張して形成される矩形領域であるとしてもよい。この場合において、主制御部１０８は、受け取った位置情報により示される位置が、当該矩形領域内に存在するか否かを判断する。ここで、拡張する幅は、「５ドット」には限定されない。「３ドット」、「７ドット」、「１０ドット」等としてもよい。

さらに、主制御部１０８は、上記の円が、上記の矩形領域内に存在するか否かを判断するとしてもよい。すなわち、接触位置が検出されたエッジの位置と対応する位置（接触位置が検出されたエッジの位置と一致する位置であっても良いし、一致しない位置であっても良い）か否かを判断し、対応する位置である場合に、バイブレータに対して振動するよう制御し、対応しない位置である場合に、バイブレータに対して振動を停止するよう制御する。

受け取った位置情報により示される位置が、エッジ情報テーブル１２０に含まれるエッジ情報が示す線分内に存在する場合には、主制御部１０８は、入出力制御部１０９を介して、バイブレータ１１４に対して、５０ｍ秒間、振動するように指示する。つまり、バイブレータ１１４に対して、振動を開始するように指示し、振動開始から、５０ｍ秒が経過すると、振動を停止するように指示する。なお、バイブレータ１１４が振動する期間は、５０ｍ秒には限定されない。７５ｍ秒、１００ｍ秒などとしてもよい。

ここで、上記の円がいずれかのエッジ情報が示す線分と交差していると判断する場合に、バイブレータ１１４に対して、５０ｍ秒間、振動するように指示するとしてもよい。また、受け取った位置情報により示される位置が、上記の矩形領域内に存在すると判断する場合に、バイブレータ１１４に対して、５０ｍ秒間、振動するように指示するとしてもよい。さらに、主制御部１０８は、上記の円が、上記の矩形領域内に存在すると判断する場合に、バイブレータ１１４に対して、５０ｍ秒間、振動するように指示するとしてもよい。

主制御部１０８は、その他の制御を行う。
（７）バイブレータ１１４
バイブレータ１１４は、モーターの軸に重心を偏らせた重りを取り付けて構成されており、タッチパネル１１３の裏面において、タッチパネル１１３に接触する態様で、設けられている。バイブレータ１１４は、入出力制御部１０９を介して、主制御部１０８による制御により、振動し、また、その振動を停止する。

（８）アンテナ１０１、通信回路１０２及び通信制御部１０６
アンテナ１０１は、図示していない基地局との間で無線回線を介して無線信号を送受信する。通信回路１０２は、アンテナ１０１により送受信される無線信号の周波数選択や周波数変換等を行う。通信制御部１０６は、通信回路１０２と主制御部１０８との間で情報の送受信を中継する。

（９）音声処理部１０３、スピーカ１０４、マイクロホン１０５及び音声制御部１０７
音声処理部１０３は、通信回路１０２により受信された音声信号を復調してスピーカ１０４に対して音響信号として出力すると共に、マイクロホン１０５より入力された音響信号に対応して電気信号に変換された音声信号を変調し、通信回路１０２により送信させる。スピーカ１０４は、音声等の音響を出力する。マイクロホン１０５は、音声等の音響を入力する。音声制御部１０７は、音声処理部１０３における音声処理を制御する。

１．２ 携帯端末装置１００のタッチパネル１１３上における擬似的な触覚の説明
携帯端末装置１００のタッチパネル１１３上における擬似的な触覚について、図４（ａ）、（ｂ）及び（ｃ）を用いて、説明する
図４（ａ）に示すように、タッチパネル１１３には、一例として、画像１５１が表示さているものとする。ここで、画像１５１は、この図に示すように、縞模様からなるオブジェクトを含んでいる。利用者が、タッチパネル１１３の上を、指の腹でなぞっていくと、指の腹がオブジェクトのエッジ１５１ａ、１５１ｂ、・・・、１５１ｊに接する度に、バイブレータ１１４が振動する。

図４（ｂ）に示すように、タッチパネル１１３の表面１１３ｃは、実際には、平面であり、指の腹によりタッチパネル１１３の表面１１３ｃをなぞることにより、利用者は、指の腹の触覚によって、平面を認識する。
しかし、上記のように、指の腹がオブジェクトのエッジ１５１ａ、１５１ｂ、・・・、１５１ｊに接する度に、バイブレータ１１４が振動するので、利用者に、図４（ｃ）に示すように、タッチパネル１１３の表面１１３ｄは、凹凸を有する面であるように、体感させることができる。

１．３ 携帯端末装置１００の動作
携帯端末装置１００の動作について、図５に示すフローチャートを用いて説明する。以下においては、主制御部１０８の動作を中心として説明する。
主制御部１０８は、タッチパネル１１３のタッチパッド部１１３ａ及び操作部１１５から、入出力制御部１０９を介して、入力信号を受け取る（ステップＳ１０１）。

受け取った入力信号が、触覚提示開始ボタンの操作を示す操作信号である場合に（ステップＳ１０２で「Ｙｅｓ」）、主制御部１０８は、触覚提示モードを「ＯＮ」に設定し（ステップＳ１０３）、エッジ検出部１１１は、画像記憶部１１０から画像データ１３０を読み出し（ステップＳ１０４）、読み出した画像データ１３０からオブジェクトのエッジを検出して、エッジ情報を生成し、生成したエッジ情報をエッジ情報テーブル１２０に書き込む（ステップＳ１０５）。次に、ステップＳ１０１へ制御を移す。

また、入力信号として、触覚提示終了ボタンの操作を示す操作信号を受け取ると（ステップＳ１０６で「Ｙｅｓ」）、主制御部１０８は、触覚提示モードを「ＯＦＦ」に設定し（ステップＳ１０７）、ステップＳ１０１へ制御を移す。
また、受け取った入力信号が位置情報（ｘ座標値及びｙ座標値）ではない場合（ステップＳ１０８で「Ｎｏ」）、主制御部１０８は、受け取った入力信号に対応する他の処理を実行し（ステップＳ１１３）、ステップＳ１０１へ制御を移す。

また、受け取った入力信号が位置情報（ｘ座標値及びｙ座標値）である場合（ステップＳ１０８で「Ｙｅｓ」）、主制御部１０８は、触覚提示モードが「ＯＦＦ」であるか、又は、「ＯＮ」であるかを判断する（ステップＳ１０９）。
触覚提示モードが「ＯＦＦ」である場合（ステップＳ１０９で「ＯＦＦ」）、主制御部１０８は、受け取った位置情報（ｘ座標値及びｙ座標値）に対応する他の処理を行い（ステップＳ１１４）、ステップＳ１０１へ制御を移す。

触覚提示モードが「ＯＮ」である場合（ステップＳ１０９で「ＯＮ」）、主制御部１０８は、受け取った位置情報と、エッジ情報テーブル１２０に含まれているエッジ情報とを比較し、受け取った位置情報により示される位置が、エッジ情報テーブル１２０に含まれているいずれかのエッジ情報が示す線分内に存在するか否かを判断する（ステップＳ１１０）。

受け取った位置情報により示される位置が、エッジ情報テーブル１２０に含まれているいずれかのエッジ情報が示す線分内に存在しない場合（ステップＳ１１０で「範囲外」）、主制御部１０８は、ステップＳ１０１へ制御を移す。
受け取った位置情報により示される位置が、エッジ情報テーブル１２０に含まれているいずれかのエッジ情報が示す線分内に存在する場合（ステップＳ１１０で「範囲内」）、主制御部１０８は、入出力制御部１０９を介して、バイブレータ１１４に対して、振動を開始するように指示し、バイブレータ１１４は、振動を開始し（ステップＳ１１１）、主制御部１０８は、振動開始から５０ｍ秒が経過すると、入出力制御部１０９を介して、バイブレータ１１４に対して、振動を停止するように指示し、バイブレータ１１４は、振動を停止する（ステップＳ１１２）。次に、ステップＳ１０１へ制御を移す。

１．４ まとめ
以上説明したように、実施の形態１によると、タッチパネル１１３上における接触位置と、タッチパネルに表示された画像から検出されたエッジの位置とが対応する位置である場合に、バイブレータ１１４が振動するので、バイブレータ１１４の振動により、利用者は、エッジを振動により知ることができ、画像の形状を体感することができる。

こうして、タッチパネルに表示された画像を視認することができないような状況で、携帯端末装置を使用するような場合、例えば、視覚障害者が携帯端末装置を使用する場合、携帯端末装置をポケットの中で操作するような場合、満員電車の中で携帯端末装置を視認できない状況で操作するような場合などにおいて、利用者に当該画像の形状を体感させることができ、体感した画像の形状に基づいて、携帯端末装置に対する操作を行うことができるという優れた効果を奏する。

２．実施の形態２
本発明に係る別の実施の形態としての携帯端末装置１００ａ（図示していない）について説明する。
２．１ 携帯端末装置１００ａの構成
携帯端末装置１００ａは、実施の形態１の携帯端末装置１００と同様の構成を有する。ここでは、携帯端末装置１００との相違点を中心として、説明する。

（１）ボタン１１５ｇ、１１５ｈ及び１１５ｉ
携帯端末装置１００ａは、図９に示すように、その側面において、さらに、ボタン１１５ｇ、１１５ｈ及び１１５ｉを備える。
ボタン１１５ｇは、機能の実行を指示するためのボタン（実行ボタン）である。
ボタン１１５ｈは、触覚ショートカットの開始を指示するためのボタン（触覚ショートカット開始ボタン）であり、ボタン１１５ｉは、触覚ショートカットの終了を指示するためのボタン（触覚ショートカット終了ボタン）である。なお、触覚ショートカットについては、後述する。

なお、携帯端末装置１００ａは、その正面において、ボタン１１５ｇ、１１５ｈ及び１１５ｉを備えるとしてもよい。
（２）画像記憶部１１０
画像記憶部１１０は、さらに、タッチパネル１１３の表示パネル部１１３ｂに表示されるべき画像データ２１０、２２０及び２３０を予め記憶している。これらの画像データ２１０、２２０及び２３０のうちの、一個の画像データが、利用者の指示により、タッチパネル１１３の表示パネル部１１３ｂに表示される。

（ａ）画像データ２１０
画像データ２１０は、一例として、図６に示すように、オブジェクト２１１、２１２及び２１３を含む。オブジェクト２１１は、一の機能を起動するため、利用者の指示待ちである画面状態を表す状態表示オブジェクトである。また、オブジェクト２１２及び２１３は、それぞれ、操作ボタンを表すボタンオブジェクトである。これらのオブジェクトには、それぞれ、一つの機能が割り当てられている。

オブジェクト２１１は、この図に示すように、文字「Ａ」を表しており、オブジェクト２１１は、一例として、電子メールを受信するための機能を起動するため、利用者の指示待ちであることを示す。このオブジェクト２１１が表示されている状態において、利用者により、実行ボタンであるボタン１１５ｇが押下されると、電子メールの受信機能が起動する。このような操作方法を触覚ショートカットと呼ぶ。

オブジェクト２１２は、この図に示すように、文字「Ｃ」を表しており、オブジェクト２１２は、このオブジェクトに対する操作がされると、画像データ２３０を表示する機能が実行され、画像データ２３０に対応する画面状態に遷移することを示している。
オブジェクト２１３は、この図に示すように、文字「Ｂ」を表しており、オブジェクト２１３は、このオブジェクトに対する操作がされると、画像データ２２０を表示する機能が実行され、画像データ２２０に対応する画面状態に遷移することを示している。

（ｂ）画像データ２２０
画像データ２２０は、一例として、図６に示すように、オブジェクト２２１、２２２及び２２３を含む。オブジェクト２２１は、他の機能を起動するため、利用者の指示待ちである画面状態を表す状態表示オブジェクトである。また、オブジェクト２２２及び２２３は、それぞれ、操作ボタンを表すボタンオブジェクトである。これらのオブジェクトには、それぞれ、一つの機能が割り当てられている。

オブジェクト２２１は、この図に示すように、文字「Ｂ」を表しており、オブジェクト２２１は、一例として、音楽を再生するための機能を起動するため、利用者の指示待ちであることを示す。このオブジェクト２２１が表示されている状態において、利用者により、実行ボタンであるボタン１１５ｇが押下されると、音楽の再生機能が起動する。
オブジェクト２２２は、この図に示すように、文字「Ａ」を表しており、オブジェクト２２２は、このオブジェクトに対する操作がされると、画像データ２１０を表示する機能が実行され、画像データ２１０に対応する画面状態に遷移することを示している。

オブジェクト２２３は、この図に示すように、文字「Ｃ」を表しており、オブジェクト２２３は、このオブジェクトに対する操作がされると、画像データ２３０を表示する機能が実行され、画像データ２３０に対応する画面状態に遷移することを示している。
（ｃ）画像データ２３０
画像データ２３０は、一例として、図６に示すように、オブジェクト２３１、２３２及び２３３を含む。オブジェクト２３１は、他の機能を起動するため、利用者の指示待ちである画面状態を表す状態表示オブジェクトである。また、オブジェクト２３２及び２３３は、それぞれ、操作ボタンを表すボタンオブジェクトである。これらのオブジェクトには、それぞれ、一つの機能が割り当てられている。

オブジェクト２３１は、この図に示すように、文字「Ｃ」を表しており、オブジェクト２３１は、一例として、映像を再生するための機能を起動するため、利用者の指示待ちであることを示す。このオブジェクト２３１が表示されている状態において、利用者により、実行ボタンであるボタン１１５ｇが押下されると、映像の再生機能が起動する。
オブジェクト２３２は、この図に示すように、文字「Ｂ」を表しており、オブジェクト２３２は、このオブジェクトに対する操作がされると、画像データ２２０を表示する機能が実行され、画像データ２２０に対応する画面状態に遷移することを示している。

オブジェクト２３３は、この図に示すように、文字「Ａ」を表しており、オブジェクト２３３は、このオブジェクトに対する操作がされると、画像データ２１０を表示する機能が実行され、画像データ２１０に対応する画面状態に遷移することを示している。
（４）主制御部１０８
主制御部１０８は、タッチパネル１１３のタッチパッド部１１３ａ及び操作部１１５から、入出力制御部１０９を介して、以下に示すように、入力信号を受け取る。

主制御部１０８は、上述したように、タッチパネル１１３から、入出力制御部１０９を介して、位置情報（ｘ座標値及びｙ座標値）を受け取る。また、主制御部１０８は、操作部１１５から、入出力制御部１０９を介して、操作信号を受け取る。操作信号には、触覚ショートカット開始ボタンの操作を示す操作信号、及び、触覚ショートカット終了ボタンの操作を示す操作信号が含まれる。

触覚ショートカット開始ボタンの操作を示す操作信号を受け取ると、主制御部１０８は、触覚ショートカットモードを「ＯＮ」に設定する。また、触覚ショートカット開始ボタンの操作を示す操作信号を受け取ると、上述したように、主制御部１０８は、エッジ検出部１１１に対して、画像記憶部１１０から画像データを読み出し、読み出した画像データから、画像データに含まれるオブジェクトのエッジを検出して、エッジ情報を生成するように、指示する。また、触覚ショートカット終了ボタンの操作を示す操作信号を受け取ると、主制御部１０８は、触覚ショートカットモードを「ＯＦＦ」に設定する。

次に、主制御部１０８は、触覚ショートカットモードが「ＯＦＦ」であるか、又は、「ＯＮ」であるかを判断する。
触覚ショートカットモードが「ＯＦＦ」である場合、主制御部１０８は、受け取った入力信号に対応する他の処理を行う。
触覚ショートカットモードが「ＯＮ」である場合、主制御部１０８は、受け取った入力信号が実行ボタンの操作を示す操作信号であるとき、表示されている画像データ内の状態表示オブジェクトに対応する機能を実行する。例えば、画像データ２１０が表示されているときには、電子メールの受信機能を起動し、画像データ２２０が表示されているときには、音楽の再生機能を起動し、画像データ２３０が表示されているときには、映像の再生機能を起動する。

触覚ショートカットモードが「ＯＮ」である場合、主制御部１０８は、受け取った入力信号が実行ボタン以外の他のボタンの操作を示す操作信号であるとき、前記他のボタンに対応する機能を実行する。
触覚ショートカットモードが「ＯＮ」である場合、主制御部１０８は、受け取った入力信号が位置情報（ｘ座標値及びｙ座標値）であるとき、上述したように、エッジ記憶部１１２からエッジ情報テーブル１２０を読み出し、受け取った位置情報と、読み出したエッジ情報テーブル１２０に含まれるエッジ情報とを比較し、受け取った位置情報により示される位置が、エッジ情報テーブル１２０に含まれるいずれかのエッジ情報が示す線分内に存在するか否かを判断する。

受け取った位置情報により示される位置が、エッジ情報テーブル１２０に含まれるエッジ情報が示す線分内に存在しない場合には、主制御部１０８は、何もしない。
受け取った位置情報により示される位置が、エッジ情報テーブル１２０に含まれるエッジ情報が示す線分内に存在する場合には、主制御部１０８は、当該エッジ情報が、状態表示オブジェクトに対応するものか、又は、ボタンオブジェクトに対応するものかを判断する。

当該エッジ情報が、状態表示オブジェクトに対応するものであると判断する場合、主制御部１０８は、上述したように、入出力制御部１０９を介して、バイブレータ１１４に対して、５０ｍ秒間、振動するように指示する。
当該エッジ情報が、ボタンオブジェクトに対応するものであると判断する場合、主制御部１０８は、当該ボタンオブジェクトに対応する画像データを表示する機能を実行し、当該画像データに対応する画面状態に遷移する。

例えば、当該ボタンオブジェクトが、図６に示すオブジェクト２１２である場合に、主制御部１０８は、このオブジェクト２１２に対する操作がされたので、画像データ２３０を表示する機能を実行し、画像データ２３０に対応する画面状態に遷移する。
２．２ 携帯端末装置１００ａの動作
携帯端末装置１００ａの動作について、図７に示すフローチャートを用いて説明する。

以下においては、主制御部１０８の動作を中心として説明する。
主制御部１０８は、タッチパネル１１３のタッチパッド部１１３ａ及び操作部１１５から、入出力制御部１０９を介して、入力信号を受け取る（ステップＳ２０１）。
受け取った入力信号が、触覚ショートカット開始ボタンの操作を示す操作信号である場合に（ステップＳ２０２で「ＹＥＳ」）、主制御部１０８は、触覚ショートカットモードを「ＯＮ」に設定し（ステップＳ２０３）、エッジ検出部１１１は、画像記憶部１１０から、現在、表示されている画像データを読み出し（ステップＳ２０４）、読み出した画像データからオブジェクトのエッジを検出して、エッジ情報を生成し、生成したエッジ情報をエッジ情報テーブル１２０に書き込む（ステップＳ２０５）。次に、ステップＳ２０１へ制御を移す。

また、入力信号として、触覚ショートカット終了ボタンの操作を示す操作信号を受け取ると（ステップＳ２０６で「ＹＥＳ」）、主制御部１０８は、触覚ショートカットモードを「ＯＦＦ」に設定し（ステップＳ２０７）、ステップＳ２０１へ制御を移す。
次に、主制御部１０８は、触覚ショートカットモードが「ＯＦＦ」であるか、又は、「ＯＮ」であるかを判断する（ステップＳ２０８）。触覚ショートカットモードが「ＯＦＦ」である場合（ステップＳ２０８で「ＯＦＦ」）、その他の処理を行い（ステップＳ２１６）、ステップＳ２０１へ制御を移す。

触覚ショートカットモードが「ＯＮ」である場合（ステップＳ２０８で「ＯＮ」）、受け取った入力信号が実行ボタンの操作を示す操作信号であるとき（ステップＳ２０９で「ＹＥＳ」）、主制御部１０８は、当該機能を実行し（ステップＳ２１７）、ステップＳ２０１へ制御を移す。
受け取った入力信号が実行ボタンの操作を示す操作信号でない場合（ステップＳ２０９で「ＮＯ」）、受け取った入力信号が位置情報（ｘ座標値及びｙ座標値）でなければ（ステップＳ２１０で「ＮＯ」）、主制御部１０８は、受け取った入力信号に対応する他の処理を実行し（ステップＳ２１８）、ステップＳ２０１へ制御を移す。

また、受け取った入力信号が位置情報（ｘ座標値及びｙ座標値）である場合（ステップＳ２１０で「ＹＥＳ」）、主制御部１０８は、受け取った位置情報と、エッジ情報テーブル１２０に含まれているエッジ情報とを比較し、受け取った位置情報により示される位置が、エッジ情報テーブル１２０に含まれているいずれかのエッジ情報が示す線分内に存在するか否かを判断する（ステップＳ２１１）。

受け取った位置情報により示される位置が、エッジ情報テーブル１２０に含まれているいずれかのエッジ情報が示す線分内に存在しない場合（ステップＳ２１１で「範囲外」）、主制御部１０８は、ステップＳ２０１へ制御を移す。
受け取った位置情報により示される位置が、エッジ情報テーブル１２０に含まれているいずれかのエッジ情報が示す線分内に存在する場合（ステップＳ２１１で「範囲内」）、主制御部１０８は、受け取った位置情報により示される位置にあるオブジェクトが、状態表示オブジェクトであるか、又は、ボタンオブジェクトであるかを判断し（ステップＳ２１２）、状態表示オブジェクトであると判断する場合（ステップＳ２１２で「状態表示オブジェクト」）、主制御部１０８は、入出力制御部１０９を介して、バイブレータ１１４に対して、振動を開始するように指示し、バイブレータ１１４は、振動を開始し（ステップＳ２１３）、主制御部１０８は、振動開始から５０ｍ秒が経過すると、バイブレータ１１４に対して、振動を停止するように指示し、バイブレータ１１４は、振動を停止する（ステップＳ２１４）。次に、主制御部１０８は、ステップＳ２０１へ制御を移す。

ボタンオブジェクトであると判断する場合（ステップＳ２１２で「ボタンオブジェクト」）、主制御部１０８は、ボタンオブジェクトに対応する該当機能を実行し（ステップＳ２１５）、ステップＳ２０１へ制御を移す。
２．３ まとめ
以上説明したように、実施の形態２によると、携帯端末装置１００ａは、利用者によるボタン１１５ｇ（実行ボタン）の押下の操作を受け付ける操作部１１５を備えており、表示パネル部１１３ｂに表示される画像は、一の機能を起動するため、利用者の指示待ちである画面状態を表す状態表示オブジェクトを含み、前記状態表示オブジェクトには、当該機能が割り当てられており、主制御部１０８は、操作部１１５により前記操作を受け付けた場合に、当該状態表示オブジェクトに割り当てられた機能を実行する。

この構成によると、利用者の触覚により、状態表示オブジェクトの形状を体感して確認できた場合に、実行ボタンの押下により、状態表示オブジェクトに対応する機能が実行されるので、タッチパネルに表示された画像を視認することができないような状況で、携帯端末装置を使用するような場合であっても、携帯端末装置が備える機能の実行を行うことができるという優れた効果を奏する。

また、表示パネル部１１３ｂに表示される画像は、さらに、別の操作ボタンを表す別のボタンオブジェクトを含み、当該別のボタンオブジェクトには、別の画面状態への遷移を示す機能が割り当てられており、主制御部１０８は、さらに、タッチパッド部１１３ａにおける接触位置が前記別のボタンオブジェクトから検出されたエッジの位置と一致する場合に、前記別の画面状態への遷移を実行する。

この構成によると、利用者の触覚により、状態表示オブジェクトの形状を体感して確認できた場合に、当該機能が所望の機能ではないとき、ボタンオブジェクトに対する接触操作により、当該ボタンオブジェクトに対応する別の画面状態に遷移することができる。こうして、タッチパネルに表示された画像を視認することができないような状況で、携帯端末装置を使用するような場合であっても、別の画面状態への遷移を行うことができるという優れた効果を奏する。

３．その他の変形例
なお、本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
（１）実施の形態２において、図６に示す各画像データに含まれるボタンオブジェクトは、他の画像データを表示する機能が実行され、当該他の画像データに対応する画面状態に遷移することを示している。しかし、これには限定されない。

図６に示す各画像データに含まれるボタンオブジェクトは、当該画像データに含まれる状態表示オブジェクトに対応する機能を実行するための実行ボタンを表しているとしてもよい。
言い換えると、画像データは、画面状態を表す状態表示オブジェクトと、操作ボタンを表すボタンオブジェクトとを含み、前記状態表示オブジェクトには、一の機能が割り当てられている。主制御部１０８は、タッチパッド部１１３ａにおける接触位置が前記ボタンオブジェクトから検出されたエッジの位置と一致する場合に、当該状態表示オブジェクトに割り当てられた機能を実行するとしてもよい。

（２）実施の形態１において、受け取った入力信号が、触覚提示開始ボタンの操作を示す操作信号である場合に、エッジ検出部１１１は、画像記憶部１１０から画像データ１３０を読み出し、読み出した画像データ１３０からオブジェクトのエッジを検出して、エッジ情報を生成し、生成したエッジ情報をエッジ情報テーブル１２０に書き込むとしている。

また、実施の形態２において、受け取った入力信号が、触覚ショートカット開始ボタンの操作を示す操作信号である場合に、エッジ検出部１１１は、画像記憶部１１０から、現在、表示されている画像データを読み出し、読み出した画像データからオブジェクトのエッジを検出して、エッジ情報を生成し、生成したエッジ情報をエッジ情報テーブル１２０に書き込むとしている。

しかし、これらには限定されない。
エッジ検出部１１１は、表示パネル部１１３ｂに表示されるべき画像データに対して、予め、エッジ検出を行って、エッジ情報を生成し、生成したエッジ情報をエッジ情報テーブル１２０に書き込んでおくとしてもよい。
（３）図６に一例として示すように、状態表示オブジェクトは、文字「Ａ」、文字「Ｂ」、文字「Ｃ」などを表している。ここで、状態表示オブジェクトは、図形として単純な記号、文字、数字などを表すとしてもよい。例えば、状態表示オブジェクトは、記号「−」、数字「１」、記号「×」などを表すとしてもよい。

このような単純な記号、文字、数字を採用することより、画像の判別の効率を上げることができる。
（４）実施の形態１において、携帯端末装置１００の側面にボタン１１５ｅ及び１１５ｆが配置されている。ボタン１１５ｅは、触覚提示開始ボタンであり、ボタン１１５ｆは、触覚提示終了ボタンである。しかし、これには限定されない。

携帯端末装置１００の側面に、ボタン１１５ｅ及び１１５ｆに代えて、ボタン１１５ｅが配置されているとしてもよい。ボタン１１５ｅは、触覚提示を開始し、及び触覚提示を終了するために用いられる。
携帯端末装置１００の電源投入後、ボタン１１５ｅが押下されると、触覚提示モードが「ＯＮ」に設定される。次に、触覚提示モードが「ＯＮ」に設定されている場合に、再度、ボタン１１５ｅが押下されると、触覚提示モードが「ＯＦＦ」に設定されるとしてもよい。

（５）実施の形態２において、図９に示すように、携帯端末装置１００ａの側面にボタン１１５ｈ及び１１５ｉが配置されている。ボタン１１５ｈは、触覚ショートカット開始ボタンであり、ボタン１１５ｉは、触覚ショートカット終了ボタンである。しかし、これには限定されない。
携帯端末装置１００ａの変形例としての携帯端末装置１００ｂの外観斜視図を図１０に示す。

図１０に示すように、携帯端末装置１００ｂの側面には、携帯端末装置１００ａのボタン１１５ｈ及び１１５ｉに代えて、ボタン１１５ｊが配置されているとしてもよい。ボタン１１５ｊは、触覚ショートカットの開始を指示し、及び触覚ショートカットの終了を指示するために用いられる。
携帯端末装置１００の電源投入後、ボタン１１５ｊが押下されると、触覚ショートカットモードが「ＯＮ」に設定される。次に、触覚ショートカットモードが「ＯＮ」に設定されている場合に、再度、ボタン１１５ｊが押下されると、触覚ショートカットモードが「ＯＦＦ」に設定されるとしてもよい。

（６）本発明の一態様は、上記の携帯端末装置において用いられる制御方法であるとしてもよい。また、これらの制御方法をコンピュータにより実現するコンピュータプログラムであるとしてもよい。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

また、本発明の一態様は、前記コンピュータプログラムをコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラムであるとしてもよい。

また、本発明の一態様は、前記コンピュータプログラムを、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、上記の各装置は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。

また、前記プログラムを前記記録媒体に記録して移送することにより、又は前記プログラムを前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（７）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明に係る携帯端末装置は、タッチパネルに表示された画像を視認することができないような状況で、当該携帯端末装置を使用するような場合であっても、利用者に当該画像の形状を認識させ、当該画像に割り当てられた、当該携帯端末装置の操作を行うことができるという優れた効果を奏し、表示面に生じた振動により、利用者に情報を提示する技術として有用である。

１００、１００ａ 携帯端末装置
１０１ アンテナ
１０２ 通信回路
１０３ 音声処理部
１０４ スピーカ
１０５ マイクロホン
１０６ 通信制御部
１０７ 音声制御部
１０８ 主制御部
１０９ 入出力制御部
１１０ 画像記憶部
１１１ エッジ検出部
１１２ エッジ記憶部
１１３ タッチパネル
１１３ａ タッチパッド部
１１３ｂ 表示パネル部
１１４ バイブレータ
１１５ 操作部

Claims (5)

1. 携帯端末装置であって、
   画像を表示する表示パネルを含み、当該表示パネル上における利用者による接触操作を受け付け、接触位置を出力するタッチパネルと、
   バイブレータと、
   前記画像におけるエッジを検出するエッジ検出部と、
   前記接触位置が検出された前記エッジの位置と対応する位置か否かを判断し、対応する位置である場合に、前記バイブレータに対して振動するよう制御し、対応しない位置である場合に、前記バイブレータに対して振動を停止するよう制御する制御部と
   を備えることを特徴とする携帯端末装置。
2. 前記携帯端末装置は、さらに、
   利用者によるボタン押下の操作を受け付ける操作部を備えており、
   前記画像は、一の機能を起動するため、利用者の指示待ちである画面状態を表す状態表示オブジェクトを含み、前記状態表示オブジェクトには、当該機能が割り当てられており
   前記制御部は、さらに、前記操作部により前記操作を受け付けた場合に、当該状態表示オブジェクトに割り当てられた機能を実行する
   ことを特徴とする請求項１に記載の携帯端末装置。
3. 前記画像は、一の機能を起動するため、利用者の指示待ちである画面状態を表す状態表示オブジェクトと、操作ボタンを表すボタンオブジェクトとを含み、前記状態表示オブジェクトには、当該機能が割り当てられており、
   前記制御部は、さらに、前記接触位置が前記ボタンオブジェクトから検出されたエッジの位置と対応する位置である場合に、当該状態表示オブジェクトに割り当てられた機能を実行する
   ことを特徴とする請求項１に記載の携帯端末装置。
4. 前記画像は、さらに、別の操作ボタンを表す別のボタンオブジェクトを含み、当該別のボタンオブジェクトには、別の画面状態への遷移を示す機能が割り当てられており、
   前記制御部は、さらに、前記接触位置が前記別のボタンオブジェクトから検出されたエッジの位置と対応する位置である場合に、前記別の画面状態への遷移を実行する
   ことを特徴とする請求項２及び３のいずれかに記載の携帯端末装置。
5. 携帯端末装置で用いられる制御方法であって、
   前記携帯端末装置は、画像を表示する表示パネルを含み、当該表示パネル上における利用者による接触操作を受け付け、接触位置を出力するタッチパネルと、バイブレータとを備え、
   前記制御方法は、
   前記画像におけるエッジを検出するエッジ検出ステップと、
   前記接触位置が検出された前記エッジの位置と対応する位置か否かを判断し、対応する位置である場合に、前記バイブレータに対して振動するよう制御し、対応する位置でない場合に、前記バイブレータに対して振動を停止するよう制御する制御ステップと
   を含むことを特徴とする制御方法。

Images