JP2012208714A - 携帯電子機器 - Google Patents

Abstract

【課題】利用者が入力した操作を高い精度で検出することができる携帯電子機器を提供すること。
【解決手段】筐体と、前記筐体に配置された表示部と、前記表示部に重畳して配置されたタッチセンサとを備えるタッチパネルと、利用者と前記タッチパネルとの相対位置を検出する相対位置検出手段と、前記相対位置検出手段で検出した前記利用者と前記タッチパネルとの相対位置に基づいて、前記タッチパネルの前記表示部に表示させる画像と前記画像に対応した前記タッチセンサの検出領域との対応関係を調整する制御部と、を有することで上記課題を解決する。
【選択図】図９

Description

本発明は、タッチパネルを備える携帯電子機器に関する。

近年、直感的な操作を可能にするとともに、キーボードのように物理的に大きな面積を必要とするデバイスを具備しない入力装置として、画像を表示する表示部と当該表示部に表示させた画像に対する操作を検出するタッチセンサとで構成されるタッチパネルを用いる装置がある。入力装置としてタッチパネルを備える電子機器では、入力精度を向上させるために、タッチセンサでの検出と表示部に表示させた画像との位置関係を補正することが提案されている（特許文献１、特許文献２参照）。

特開２００１−６７１８６号公報 特開２００４−２８０５９０号公報

しかしながら、特許文献１および２に記載の補正方法は、利用者が入力した情報に基づいて学習することで補正を行うが、利用者が誤って入力した場合も当該入力に基づいて学習を行うため、補正の精度に限界がある。また、学習機能を用いて補正を行うためには、入力した履歴を蓄積していく必要があり、この処理のために記憶領域や処理領域を一定領域使用することになり、記憶機能、演算機能に負担をかけてしまう。また、表示位置と接触位置とのずれの補正では、利用者の認識とのずれを補正できない場合もある。

本発明は、上記に鑑みてなされたものであって、利用者が入力した操作を高い精度で検出することができる携帯電子機器を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、電子機器であって、筐体と、前記筐体に配置された表示部と、前記表示部に重畳して配置されたタッチセンサとを備えるタッチパネルと、利用者と前記タッチパネルとの相対位置を検出する相対位置検出手段と、前記相対位置検出手段で検出した前記利用者と前記タッチパネルとの相対位置に基づいて、前記タッチパネルの前記表示部に表示させる画像と前記画像に対応した前記タッチセンサの検出領域との対応関係を調整する制御部と、を有することを特徴とする。

また、前記相対位置検出手段は、前記筐体に配置され、前記タッチパネルに向かい合う領域の画像を撮影するカメラを有し、前記カメラで撮影した画像に含まれる利用者の顔の位置を抽出し、当該顔の位置に基づいて前記利用者と前記タッチパネルとの相対位置を検出することが好ましい。

また、前記相対位置検出手段は、前記利用者の顔として利用者の目の位置を抽出し、当該目の位置に基づいて前記利用者と前記タッチパネルとの相対位置を検出することが好ましい。

また、前記相対位置検出手段は、前記筐体の向きを検出する姿勢検出センサを有し、前記姿勢検出センサで検出した前記筐体の向きと予め設定された関係とに基づいて前記利用者と前記タッチパネルとの相対位置を検出することが好ましい。

また、前記制御部は、前記タッチパネルの前記表示部に画像を表示させていない状態から画像を表示させる状態となった場合、前記タッチパネルの前記表示部に表示させる画像と前記画像に対応した前記タッチセンサの検出領域との対応関係を調整することが好ましい。

また、前記筐体の加速度を検出する加速度センサをさらに有し、前記制御部は、前記加速度センサで設定した値以上の加速度を検出した場合、前記タッチパネルの前記表示部に表示させる画像と前記画像に対応した前記タッチセンサの検出領域との対応関係を調整することが好ましい。

また、前記制御部は、前記利用者が前記タッチパネルの正面となる位置を基準として、前記タッチパネルの正面に対して前記利用者が傾いている向きと同じ方向に、前記タッチパネルの前記表示部に表示させる画像に対して前記画像に対応した前記タッチセンサの検出領域をずらすことが好ましい。

また、前記制御部は、前記利用者が入力した操作の押し間違いの頻度を検出し、当該押し間違いの頻度に基づいて操作対象と検出領域とのズレ量をさらに調整することが好ましい。

前記制御部は、起動させ前記表示部に操作対象を表示させるアプリケーションの種類に応じて、操作対象と検出領域とのズレ量を変更することが好ましい。

前記制御部は、前記利用者が入力した補正操作に基づいて前記対応関係をさらに調整することが好ましい。

本発明にかかる携帯電子機器は、利用者が入力した操作を高い精度で検出することができるという効果を奏する。

図１は、携帯電話端末の外観を示す正面図である。 図２は、携帯電話端末の機能の概略構成を示すブロック図である。 図３は、携帯電話端末と利用者との関係の一例を示す斜視図である。 図４は、携帯電話端末と利用者との相対位置の一例を示す模式図である。 図５は、携帯電話端末で撮影した画像の一例を示す模式図である。 図６は、表示部に表示する画像とタッチセンサの検出領域との関係の一例を示す説明図である。 図７は、携帯電話端末と利用者との相対位置の一例を示す模式図である。 図８は、携帯電話端末で撮影した画像の一例を示す模式図である。 図９は、表示部に表示する画像とタッチセンサの検出領域との関係の一例を示す説明図である。 図１０は、携帯電話端末の調整動作の処理の一例を示すフロー図である。 図１１は、携帯電話端末の調整動作の処理の一例を示すフロー図である。 図１２は、携帯電話端末で撮影した画像の一例を示す模式図である。 図１３は、表示部に表示する画像とタッチセンサの検出領域との関係の一例を示す説明図である。 図１４は、携帯電話端末で撮影した画像の一例を示す模式図である。 図１５は、表示部に表示する画像とタッチセンサの検出領域との関係の一例を示す説明図である。 図１６は、携帯電話端末で撮影した画像の一例を示す模式図である。 図１７は、表示部に表示する画像とタッチセンサの検出領域との関係の一例を示す説明図である。 図１８は、表示部に表示する画像とタッチセンサの検出領域との関係の一例を示す説明図である。

以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、電子機器として携帯電話端末を例として説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、タッチパネルを備える各種装置、例えば、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ、ポータブルナビゲーション装置、パーソナルコンピュータ、ゲーム機等に対しても本発明は適用できる。

図１は、本発明の携帯電子機器の一実施形態である携帯電話端末１の外観を示す正面図であり、携帯電話端末１は、薄板状の筐体１２を有する。携帯電話端末１は、筐体１２の表面に、タッチパネル２と、ボタン２０、ボタン２２及び入力デバイス２４からなる入力部３と、レシーバ７と、マイク８と、カメラ１６と、が配置されている。タッチパネル２は、板状の筐体１２の面積が最も広い面に配置されている。また、入力部３も、筐体１２のタッチパネル２が配置されている面の、長手方向の一方の端部に配置されている。入力部３は、短手方向の一方から他方に向かって、ボタン２０、入力デバイス２４、ボタン２２の順で配置されている。また、レシーバ７は、筐体１２のタッチパネル２が配置されている面の長手方向の他方の端部、つまり、入力部３が配置されている端部とは反対側の端部に配置されている。また、マイク８は、筐体１２のタッチパネル２が配置されている面の長手方向の一方の端部、つまり、入力部３が配置されている端部に配置されている。また、カメラ１６は、タッチパネル２が配置されている面に配置されている。より具体的には、カメラ１６は、タッチパネル２が配置されている面のレシーバ７が配置されている端部に画像を撮影する撮影窓を露出した状態で配置されている。

タッチパネル２は、文字、図形、画像等を表示するとともに、指、スタイラス、ペン（ペンの先端、棒状部材の先端）等（以下、単に「指」という）を用いてタッチパネル２に対して行われる各種動作を検出する。例えば、携帯電話端末１は、利用者から文字の入力を受け付けるために、タッチパネル２上に仮想キーボードを表示させる。携帯電話端末１は、タッチパネル２上に仮想キーボードを表示させた状態で、指によってタッチパネル２に入力される各種動作を検出し、仮想キーボードのどのキーが押下されたか、接触されたかを検出し、押下、接触を検出したキーを入力したキーとすることで、文字入力を行うことができる。また、タッチパネル２は、文字の入力によらず、表示させている画像と、指によってタッチパネル２に対して行われる各種動作とに基づいて、各種操作の入力を検出し、入力された操作に基づいて各種制御を行う。

入力部３は、ボタン２０、２２が押下された場合に、押下されたボタンに対応する機能を起動させる。また、入力部３は、入力デバイス２４に入力された動作も操作として検出し、入力された操作に基づいて各種制御を行う。例えば、入力デバイス２４は、方向指示操作や決定操作を検出する。入力デバイス２４は、タッチパッド、光学式入力デバイス、４方及び中央にボタンを備える入力デバイス等で構成される。

カメラ１６は、画像を撮影する撮影装置である。撮影窓が、筐体１２のタッチパネル２が配置されている面に露出して配置されている。カメラ１６は、撮影窓から入射した撮影領域の光を読み取ることで、タッチパネル２に向かい合う面のうち所定の角度領域（撮影領域）の画像を取得する。

次に、携帯電話端末１の機能と制御部との関係を説明する。図２は、図１に示す携帯電話端末１の機能の概略構成を示すブロック図である。図２に示すように携帯電話端末１は、タッチパネル２と、入力部３と、電源部５と、通信部６と、レシーバ７と、マイク８と、記憶部９と、主制御部１０と、ＲＡＭ（Random Access Memory）１１と、カメラ１６と、加速度センサ１８と、を有する。なお、本実施形態では、カメラ１６の撮影機能と、カメラで撮影した画像を処理する制御部の該当機能と、の組み合わせが相対位置検出手段となる。

タッチパネル２は、表示部２Ｂと、表示部２Ｂに重畳されたタッチセンサ２Ａとを有する。タッチセンサ２Ａは、指を用いてタッチパネル２に対して行われた各種動作を、動作が行われた場所のタッチパネル２上での位置とともに検出する。タッチセンサ２Ａによって検出される動作には、指をタッチパネル２の表面に接触させる動作や、指をタッチパネル２の表面に接触させたまま移動させる動作や、指をタッチパネル２の表面から離す動作が含まれる。なお、タッチセンサ２Ａは、感圧式、静電式等のいずれの検出方式を採用していてもよい。表示部２Ｂは、例えば、液晶ディスプレイ（ＬＣＤ、Liquid Crystal Display）や、有機ＥＬ（Organic Electro−Luminescence）パネル等で構成され、文字、図形、画像等を表示する。

入力部３は、上述したようにボタン２０、２２と、入力デバイス２４とを有する。ボタン２０、２２は、物理的な入力（押下）を通じて利用者の操作を受け付け、受け付けた操作に対応する信号を主制御部１０へ送信する。また、入力デバイス２４も、利用者の操作を受け付け、受け付けた操作に対応する信号を主制御部１０へ送信する。

電源部５は、蓄電池または外部電源から得られる電力を、主制御部１０を含む携帯電話端末１の各機能部へ供給する。通信部６は、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ方式等による無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。レシーバ７は、電話通信における相手側の音声や着信音等を出力する。マイク８は、利用者等の音声を電気的な信号へ変換する。

記憶部９は、例えば、不揮発性メモリや磁気記憶装置であり、主制御部１０での処理に利用されるプログラムやデータを保存する。具体的には、記憶部９は、メールの送受信や閲覧のためのメールプログラム９Ａや、ＷＥＢページの閲覧のためのブラウザプログラム９Ｂや、カメラ１６で画像を撮影するためのカメラプログラム９Ｃや、カメラ１６で撮影した画像に含まれる顔を抽出する顔認識プログラム９Ｄや、表示部２Ｂに表示させる画像とタッチセンサ２Ａの検出領域との対応関係を調整する操作検出位置調整プログラム９Ｅや、各種プログラムを実行する際に用いる各種条件を対応付けた処理条件テーブル９Ｆを記憶する。また、記憶部９には、携帯電話端末１の基本的な機能を実現するオペレーティングシステムプログラムや、氏名、電話番号、メールアドレス等が登録されたアドレス帳データ等の他のプログラムやデータも記憶される。また、記憶部９には、タッチパネル２に入力された入力操作に基づいて制御動作、処理を決定するプログラム等も記憶される。なお、制御動作、処理とは、携帯電話端末１で実行する各種動作、処理が含まれ、例えば、カーソル、ポインタの移動、画面の表示切替、文字入力処理、各種アプリケーションの起動処理、終了処理がある。

主制御部１０は、例えば、ＣＰＵ（Central Processing Unit）であり、携帯電話端末１の動作を統括的に制御する。具体的には、主制御部１０は、記憶部９に記憶されているデータを必要に応じて参照しつつ、記憶部９に記憶されているプログラムを実行して、タッチパネル２、入力部３、通信部６、カメラ１６、加速度センサ１８、等を制御することによって各種処理を実行する。主制御部１０は、記憶部９に記憶されているプログラムや、処理を実行することによって取得／生成／加工されたデータを、一時的な記憶領域を提供するＲＡＭ１１に必要に応じて展開する。なお、主制御部１０が実行するプログラムや参照するデータは、通信部６による無線通信でサーバ装置からダウンロードすることとしてもよい。

カメラ１６は、上述したように画像を撮影する撮影窓が、筐体１２から露出して配置されており、撮影領域の画像を取得する撮像機構である。

加速度センサ１８は、筐体１２に加わる加速度を検出する検出器である。ここで、加速度センサ１８としては、種々の方法で加速度を検出する検出器を用いることができ、例えば、静電容量の変化や、ピエゾ抵抗の変化、相対位置の変化等で加速度を検出する検出器を用いることができる。また、加速度センサ１８は、加速度の大きさに加え加速度の方向を検出する。加速度センサ１８は、操作者が筐体１２を移動させたり振ったりする際に筐体１２に作用する加速度を検出し、検出した加速度情報を主制御部１０に送る。主制御部１０は、操作検出位置調整プログラム９Ｅを実行し、加速度センサ１８の検出結果を解析することで、具体的には検出した加速度の情報を積算することで筐体１２の姿勢の変化を算出し、携帯電話端末１（筐体１２）の移動を検出することができる。

次に、図３から図９を用いて、操作検出位置の調整方法の一例について説明する。図３は、携帯電話端末と利用者との関係の一例を示す斜視図である。図４は、携帯電話端末と利用者との相対位置の一例を示す模式図であり、図５は、携帯電話端末で撮影した画像の一例を示す模式図であり、図６は、表示部に表示する画像とタッチセンサの検出領域との関係の一例を示す説明図である。図７は、携帯電話端末と利用者との相対位置の一例を示す模式図であり、図８は、携帯電話端末で撮影した画像の一例を示す模式図であり、図９は、表示部に表示する画像とタッチセンサの検出領域との関係の一例を示す説明図である。

なお、図３から図９に示す操作検出位置の調整の処理は、カメラプログラム９Ｃ、顔認識プログラム９Ｄ、操作検出位置調整プログラム９Ｅが提供する機能に基づいて繰り返し実行される。より具体的には、携帯電話端末１は、カメラプログラム９Ｃが提供する機能（画像撮影機能）、顔認識プログラム９Ｄが提供する機能（顔抽出機能）により取得した各種検出結果および画像を操作検出位置調整プログラム９Ｅが提供する機能に基づいて解析して、表示部２Ｂに表示させる画像とタッチセンサ２Ａの検出領域との対応関係を調整する。つまり、携帯電話端末１の主制御部１０は、各部を制御し、表示部２Ｂに表示させる画像の位置と、当該画像への操作として検出する検出領域の位置との相対位置関係を調整する。

まず、図３に示すように、利用者Ｈは、携帯電話端末１のタッチパネル２を操作する場合、基本的にタッチパネル２と向かい合う状態で操作を行う。携帯電話端末１は、利用者Ｈにより入力されるタッチパネル２への操作を検出する場合、カメラ１６を起動させ、図４に示すようにカメラ１６と向かい合う撮影領域４０の画像を取得する。ここで、カメラ１６は、タッチパネル２が配置されている面と同じ面に撮影窓が配置されている。従って、撮影領域４０は、タッチパネル２に向かい合っている領域となる。

図４に示す相対位置で携帯電話端末１がカメラ１６によって撮影する撮影領域４０の画像は、利用者Ｈの顔を含んだ画像となる。なお、図４の利用者Ｈと携帯電話端末１との相対位置は、撮影領域４０の中心４２に利用者Ｈの目がある位置となる。なお、中心４２は、タッチパネル２の表面に直交する方向に延びている。携帯電話端末１は、図４に示す相対位置でカメラ１６により撮影を行うと図５に示す画像５０が取得される。画像５０は画像５０の中央に利用者Ｈａが映っている。また、画像５０は、向かい合う向きで見ると利用者Ｈａの右目Ｅｒが画面左側に表示され、左目Ｅｌが画面右側に表示される。

携帯電話端末１は、図５に示す画像５０を取得した場合、取得した画像５０を解析し、画像５０に含まれる利用者Ｈａを抽出する。携帯電話端末１は、利用者Ｈａを抽出したら、画像５０における利用者Ｈａの位置、本実施形態では、利用者Ｈａの目の位置を特定する。携帯電話端末１は、特定した目の位置に基づいて、表示部２Ｂに表示させる画像とタッチセンサ２Ａの検出領域との対応関係を設定する。

携帯電話端末１は、図４および図５に示すように利用者Ｈａが画像５０の中央にあり、中心４２と利用者Ｈの目が重なる場合、図６に示すように、タッチパネル２に表示させる画像の操作対象６０と、操作対象６０への操作を検出する検出領域６２と、を同一位置とする。つまり、携帯電話端末１は、タッチパネル２の表面における操作対象６０の位置と検出領域６２の位置とが同一位置、操作対象６０の中心と検出領域６２の中心とが重なる位置とする。なお、操作対象６０は、利用者が操作を入力対象としてタッチパネル２の表示部２Ｂに表示させる画像であり、ボタンや項目やウィンドウである。

次に、利用者Ｈと携帯電話端末１との相対位置が図７に示す関係の場合について説明する。なお、図７の利用者Ｈと携帯電話端末１との相対位置は、カメラ１６を中心として、撮影領域４０の中心４２よりも下側に所定角度回転させた線分４４に利用者Ｈの目がある位置となる。携帯電話端末１は、図７に示す相対位置でカメラ１６により撮影を行うと図８に示す画像５０ａが取得される。画像５０ａは中央よりも下側の領域に利用者Ｈａが映っている。また、画像５０ａも、向かい合う向きで見ると利用者Ｈａの右目Ｅｒが画面左側に表示され、左目Ｅｌが画面右側に表示される。

携帯電話端末１は、図８に示す画像５０ａを取得した場合、取得した画像５０ａを解析し、画像５０ａに含まれる利用者Ｈａを抽出し、画像５０ａにおける利用者Ｈａの目の位置を特定する。携帯電話端末１は、特定した目の位置に基づいて、表示部２Ｂに表示させる画像とタッチセンサ２Ａの検出領域との対応関係を設定する。

携帯電話端末１は、図７および図８に示すように利用者Ｈａが画像５０の中央よりも下側にあり、利用者Ｈの目が中心よりも下側にある場合、図９に示すように、操作対象６０に対して検出領域６２ａを画面下側の位置とする。つまり、携帯電話端末１は、検出領域６２の中心が操作対象６０の中心よりも下側となる位置とする。つまり、携帯電話端末１は、操作対象６０と検出領域６２ａとの位置関係を、図９に示すように、タッチパネル２の正面からタッチパネル２を見た場合、操作対象６０の上側の一部は、検出領域６２ａが重なっておらず、検出領域６２ａの下側の一部は、操作対象６０が重なっていない位置関係とする。

携帯電話端末１は、このように、カメラ１６で撮影した画像に基づいて、タッチパネル２と利用者Ｈとの相対位置を検出し、検出した相対位置に基づいて操作対象６０に対して検出領域６２をずらすことで、タッチパネル２と利用者Ｈとの相対位置に即した検出領域６２を設定することができる。これにより、利用者が意図した入力をより高い精度で検出することができる。

また、携帯電話端末１は、カメラ１６を用いてタッチパネル２と利用者Ｈとの相対位置を検出するため、利用者Ｈと携帯電話端末１との姿勢によらず、操作対象６０に対する検出領域６２を設定することができる。つまり、利用者Ｈ（の顔）とタッチパネル２との相対関係によって制御することで、利用者が寝ている場合、座っている場合、立っている場合のいずれでも、同様に制御することができる。

また、携帯電話端末１は、検出したタッチパネル２と利用者Ｈとの相対位置に基づいて、操作対象６０に対する検出領域６２の位置を調整するため、利用者の操作履歴等を学習し記憶することなく、操作対象６０の位置に対する検出領域６２の位置を調整することができる。これにより、携帯電話端末１は、簡単な処理で、操作対象６０の位置に対する検出領域６２の位置を適切に調整することができる。

携帯電話端末１は、利用者の目と操作対象６０とを結んだ領域が検出領域６２となるように、操作対象６０に対して検出領域６２をずらすことが好ましい。これにより、利用者は、目で見た操作対象６０にタッチすることで、検出領域６２にタッチすることができる。これにより、利用者が意図した入力をより高い精度で検出することができる。

携帯電話端末１は、図４から図６に示すように、利用者Ｈがタッチパネル２の正面、撮影領域４０の中心４２と利用者Ｈの目とが重なる位置関係の場合を基準として、基準位置からのずれ量に基づいて、操作対象６０に対して検出領域６２をずらすことが好ましい。基準位置を設定することで、操作対象６０に対して検出領域６２をずらす量を簡単に算出することができる。

次に、図１０および図１１を用いて、携帯電話端末１の主制御部１０によるタッチパネル２の調整動作の処理について説明する。ここで、図１０および図１１は、それぞれ携帯電話端末の調整動作の処理の一例を示すフロー図である。なお、図１０および図１１に示す処理は、上述したように、カメラプログラム９Ｃ、顔認識プログラム９Ｄ、操作検出位置調整プログラム９Ｅが提供する機能に基づいて繰り返し実行される。より具体的には、携帯電話端末１は、カメラプログラム９Ｃが提供する機能（画像撮影機能）、顔認識プログラム９Ｄが提供する機能（顔抽出機能）により取得した各種検出結果および画像を操作検出位置調整プログラム９Ｅが提供する機能に基づいて解析して、表示部２Ｂに表示させる画像とタッチセンサ２Ａの検出領域との対応関係を調整する。なお、主制御部１０は、タッチパネル２がＯＦＦになっている場合、つまりタッチパネル２で操作を検出していない場合、図１０に示す処理を繰り返し実行する。

主制御部１０は、ステップＳ１２として、タッチパネルがＯＮになったかを判定する。主制御部１０は、ステップＳ１２でタッチパネル２がＯＮになっていない（Ｎｏ）、つまりＯＦＦのままであると判定したら、本処理を終了する。また、主制御部１０は、ステップＳ１２でタッチパネル２がＯＮになった（Ｙｅｓ）と判定したら、ステップＳ１４としてカメラ１６の起動処理を行う。

主制御部１０は、ステップＳ１４でカメラ１６を起動したら、ステップＳ１６として、顔認識にて顔と目の位置を算出する。つまり、主制御部１０は、カメラ１６により画像の撮影を行い、顔認識プログラム９Ｄを処理することで撮影した画像を解析して画像に含まれる利用者の顔と目の位置を算出する。

主制御部１０は、ステップＳ１６で顔と目の位置を算出したら、ステップＳ１８として、真正面データと比較して角度を算出する。つまり、主制御部１０は、ステップＳ１８として、ステップＳ１６で取得した利用者の顔と目の位置と、基準となる真正面データの利用者の顔と目の位置と、を比較して、ステップＳ１６で検出した利用者の顔と目の位置との基準に対する角度を検出する。なお、真正面のデータは、設定操作、初期操作で真正面における利用者の画像を登録しても、代表的なサンプル画像を用いて設定してもよい。

主制御部１０は、ステップＳ１８で角度を検出したら、ステップＳ２０として正面から見ているかを判定する。つまり、ステップＳ１８で算出した角度が０度または、０度に近似できる角度であるかを判定する。主制御部１０は、ステップＳ２０で正面から見ている（Ｙｅｓ）と判定したら、本処理を終了する。つまり、操作対象６０に対して検出領域６２をずらす処理を行わずに、本処理を終了する。この場合、検出領域６２の中心は、操作対象６０の中心と一致する状態で対応付けられる。

主制御部１０は、ステップＳ２０で正面から見ていない（Ｎｏ）、つまりステップＳ１８で算出した角度が０度に近似できる角度ではないと判定したら、ステップＳ２２として角度を基にずれを補正する。つまり、ステップＳ１８で算出した角度に基づいて、操作対象６０に対して検出領域６２をずらす処理を行う。この場合、検出領域６２の中心は、操作対象６０の中心に対して、所定距離または所定角度ずれた状態となる。主制御部１０は、ステップＳ２２の処理を行ったら、本処理を終了する。

次に、図１１を用いてタッチパネル２がＯＮの状態の調整処理について説明する。主制御部１０は、タッチパネル２がＯＮになっている場合、つまりタッチパネル２で操作を検出している場合、図１１に示す処理を繰り返し実行する。

主制御部１０は、ステップＳ３２として、加速度センサ１８で端末の姿勢の変化（傾きの変化）が検出されたかを判定する。主制御部１０は、ステップＳ３２で端末の姿勢が変化していない（Ｎｏ）、と判定したら、本処理を終了する。つまり、主制御部１０は、現状の設定のままタッチパネル２で操作対象６０に対する検出領域６２を設定する。主制御部１０は、ステップＳ３２で端末の姿勢が変化した（Ｙｅｓ）と判定したら、ステップＳ３３としてずれをリセットする処理を実行する。つまり、操作対象６０と検出領域６２との関係を初期状態に戻す。主制御部１０は、ステップＳ３３の処理を行ったら、ステップＳ３４としてカメラ１６の起動処理を行う。

主制御部１０は、ステップＳ３４でカメラ１６を起動したら、ステップＳ３６として、顔認識にて顔と目の位置を算出する。つまり、主制御部１０は、カメラ１６により画像の撮影を行い、顔認識プログラム９Ｄを処理することで撮影した画像を解析して画像に含まれる利用者の顔と目の位置を算出する。

主制御部１０は、ステップＳ３６で顔と目の位置を算出したら、ステップＳ３８として、真正面データと比較して角度を算出する。つまり、主制御部１０は、ステップＳ３８として、ステップＳ３６で取得した利用者の顔と目の位置と、基準となる真正面データの利用者の顔と目の位置と、を比較して、ステップＳ３６で検出した利用者の顔と目の位置との基準に対する角度を検出する。

主制御部１０は、ステップＳ３８で角度を検出したら、ステップＳ４０として正面から見ているかを判定する。つまり、ステップＳ３８で算出した角度が０度または、０度に近似できる角度であるかを判定する。主制御部１０は、ステップＳ４０で正面から見ている（Ｙｅｓ）と判定したら、本処理を終了する。つまり、操作対象６０に対して検出領域６２をずらす処理を行わずに、本処理を終了する。この場合、検出領域６２の中心は、操作対象６０の中心と一致する状態で対応付けられる。

主制御部１０は、ステップＳ４０で正面から見ていない（Ｎｏ）、つまりステップＳ３８で算出した角度が０度に近似できる角度ではないと判定したら、ステップＳ４２として角度を基にずれを補正する。つまり、ステップＳ３８で算出した角度に基づいて、操作対象６０に対して検出領域６２をずらす処理を行う。この場合、検出領域６２の中心は、操作対象６０の中心に対して、所定距離または所定角度ずれた状態となる。主制御部１０は、ステップＳ４２の処理を行ったら、本処理を終了する。

携帯電話端末１は、図１０および図１１のフロー図の処理を実行することで、タッチパネル２の起動時、また、使用中に携帯電話端末１の姿勢の変化が検出される毎に、操作対象６０と検出領域６２との相対関係を適切な位置関係に調整する。これにより、利用者が意図した入力をより高い精度で検出することができる。

なお、上記実施形態では、加速度センサ１８での検出結果に基づいて、相対位置を再調整するタイミングを検出したがこれに限定されない。例えば、携帯電話端末１は、一定時間間隔で相対位置の再調整を行うようにしてもよい。また、利用者にとって特定の操作が入力された場合に相対位置の再調整を行うようにしてもよい。

また、図４から図９に示す例では、携帯電話端末１を縦向きで使用する場合で説明したが、これに限定されない。以下、図１２から図１５を用いて携帯電話端末１を横向きで使用した場合について説明する。ここで、図１２は、携帯電話端末で撮影した画像の一例を示す模式図であり、図１３は、表示部に表示する画像とタッチセンサの検出領域との関係の一例を示す説明図である。図１４は、携帯電話端末で撮影した画像の一例を示す模式図であり、図１５は、表示部に表示する画像とタッチセンサの検出領域との関係の一例を示す説明図である。

利用者Ｈは、携帯電話端末１のタッチパネル２を横向きで操作する場合も、基本的にタッチパネル２と向かい合う状態で操作を行う。携帯電話端末１は、利用者Ｈにより入力されるタッチパネル２への操作を検出する場合、カメラ１６を起動させ画像を取得する。

まず、携帯電話端末１がカメラ１６で図１２に示す画像５０ｂを取得した場合について説明する。画像５０ｂは画像５０ｂの中央に利用者Ｈａが映っている。また、画像５０ｂも、向かい合う向きで見ると利用者Ｈａの右目Ｅｒが画面左側に表示され、左目Ｅｌが画面右側に表示される。携帯電話端末１は、図１２に示す画像５０ｂを取得した場合、取得した画像５０ｂを解析し、画像５０ｂに含まれる利用者Ｈａを抽出する。携帯電話端末１は、利用者Ｈａを抽出したら、画像５０ｂにおける利用者Ｈａの位置、本実施形態では、利用者Ｈａの目の位置を特定する。携帯電話端末１は、特定した目の位置に基づいて、表示部２Ｂに表示させる画像とタッチセンサ２Ａの検出領域との対応関係を設定する。

携帯電話端末１は、図１２に示すように利用者Ｈａが画像５０ｂの中央にある場合、図１３に示すように、タッチパネル２に表示させる画像の操作対象７０と、操作対象７０への操作を検出する検出領域７２と、を同一位置とする。つまり、携帯電話端末１は、タッチパネル２の表面における操作対象７０の位置と検出領域７２の位置とが同一位置、操作対象７０の中心と検出領域７２の中心とが重なる位置とする。

次に、携帯電話端末１は、カメラ１６で図１４に示す画像５０ｃを取得した場合について説明する。画像５０ｃは中央よりも下側の領域に利用者Ｈａが映っている。また、画像５０ｃも、向かい合う向きで見ると利用者Ｈａの右目Ｅｒが画面左側に表示され、左目Ｅｌが画面右側に表示される。携帯電話端末１は、図１４に示す画像５０ｃを取得した場合、取得した画像５０ｃを解析し、画像５０ｃに含まれる利用者Ｈａを抽出し、画像５０ｃにおける利用者Ｈａの目の位置を特定する。携帯電話端末１は、特定した目の位置に基づいて、表示部２Ｂに表示させる画像とタッチセンサ２Ａの検出領域との対応関係を設定する。

携帯電話端末１は、図１４に示すように利用者Ｈａが画像５０ｃの中央よりも下側にあり、利用者Ｈａの目が中心よりも下側にある場合、図１５に示すように、操作対象７０に対して検出領域７２ａを画面下側の位置とする。つまり、携帯電話端末１は、検出領域７２の中心が操作対象７０の中心よりも下側となる位置とする。つまり、携帯電話端末１は、操作対象７０と検出領域７２ａとの位置関係を、図１５に示すように、タッチパネル２の正面からタッチパネル２を見た場合、操作対象７０の上側の一部は、検出領域７２ａが重なっておらず、検出領域７２ａの下側の一部は、操作対象７０が重なっていない位置関係とする。

携帯電話端末１は、このように、タッチパネル２を横向きで使用する場合も、カメラ１６で撮影した画像に基づいて、タッチパネル２と利用者Ｈとの相対位置を検出し、検出した相対位置に基づいて操作対象７０に対して検出領域７２をずらすことで、タッチパネル２と利用者Ｈとの相対位置に即した検出領域７２を設定することができる。これにより、利用者が意図した入力をより高い精度で検出することができる。

また、上記実施形態の携帯電子機器１は、利用者Ｈがタッチパネル２に対して基準位置の上下方向に移動している場合について説明したがこれに限定されない。携帯電子機器１は、利用者Ｈがタッチパネル２に対して基準位置の左右方向に移動している場合についても同様である。なお、左右方向は、撮影した画面上の左右方向と、操作対象７０に対して検出領域７２をずらす左右方向を反転する必要がある。

次に、携帯電話端末１は、カメラ１６で図１６に示す画像５０ｄを取得した場合について説明する。画像５０ｄは中央よりも左側の領域に利用者Ｈａが映っている。また、画像５０ｂも、向かい合う向きで見ると利用者Ｈａの右目Ｅｒが画面左端に表示され、左目Ｅｌが右目Ｅｒよりも画面右側に表示される。携帯電話端末１は、図１６に示す画像５０ｄを取得した場合、取得した画像５０ｄを解析し、画像５０ｄに含まれる利用者Ｈａを抽出し、画像５０ｄにおける利用者Ｈａの目の位置を特定する。携帯電話端末１は、特定した目の位置に基づいて、表示部２Ｂに表示させる画像とタッチセンサ２Ａの検出領域との対応関係を設定する。

携帯電話端末１は、図１６に示すように利用者Ｈａが画像５０ｄの中央よりも左側にあり、利用者Ｈａの目が中心よりも左側にある場合、図１７に示すように、操作対象６０に対して検出領域６２ｂを画面右側の位置とする。つまり、携帯電話端末１は、検出領域６２の中心が操作対象６０の中心よりも右側となる位置とする。つまり、携帯電話端末１は、操作対象６０と検出領域６２ｂとの位置関係を、図１７に示すように、タッチパネル２の正面からタッチパネル２を見た場合、操作対象６０の左側の一部は、検出領域６２ｂが重なっておらず、検出領域６２ｂの右側の一部は、操作対象６０が重なっていない位置関係とする。

携帯電話端末１は、このように、相対位置が基準位置に対して左右方向にずれた場合も、カメラ１６で撮影した画像に基づいて、タッチパネル２と利用者Ｈとの相対位置を検出し、検出した相対位置に基づいて操作対象６０に対して検出領域６２をずらすことで、タッチパネル２と利用者Ｈとの相対位置に即した検出領域６２を設定することができる。これにより、利用者が意図した入力をより高い精度で検出することができる。

次に、図１８は、表示部に表示する画像とタッチセンサの検出領域との関係の一例を示す説明図である。上記実施形態では、タッチパネル２の全領域で、操作対象６０に対する検出領域６２のずれ量を一定としたがこれに限定されない。例えば、図１８に示すように、タッチパネル２の上下方向の位置に応じて、操作対象６０に対する検出領域６２のずれ量を変化させてもよい。ここで、図１８に示すタッチパネル２は、操作対象６０が、縦に４個、横に３個の格子状に合計１２個配列されている。また、利用者とタッチパネル２との相対位置は、利用者がタッチパネル２の中心よりも下側となる位置となる関係である。携帯電話端末１は、１２個の対象領域のうち、画面の上下方向の一番下側の３個の操作対象６０のそれぞれに対応する検出領域８２のズレ量を小さくし、画面の上下方向の下側２段目の３個の操作対象６０のそれぞれに対応する検出領域８４のズレ量を検出領域８２のズレ量よりも大きくし、画面の上下方向の下側３段目の３個の操作対象６０のそれぞれに対応する検出領域８６のズレ量を検出領域８４のズレ量よりも大きくし、画面の上下方向の一番上の段の３個の操作対象６０のそれぞれに対応する検出領域８８のズレ量を検出領域８６のズレ量よりも大きくする。つまり、図１８に示すタッチパネル２は、画面の上下方向において、下から上に移動するにしたがってズレ量を大きくする設定となる。

このように、携帯電話端末１は、利用者とタッチパネル２との相対位置のずれに対応して、タッチパネル２の画面の各位置でのズレ量を調整することで、利用者が意図した入力をより高い精度で検出することができる。具体的には、利用者から遠い領域のズレ量は大きく、利用者から近い領域のズレ量は小さくすることで、利用者から見たタッチパネル２の操作対象６０と検出領域とが対応した位置関係となる。このため、利用者が意図した入力をより高い精度で検出することができる。

また、携帯電話端末１は、利用者とタッチパネル２との相対位置を検出する相対位置検出手段として、カメラ１６を用いることで、簡単な処理、安価な装置構成、既存の装置構成で、相対位置を好適に検出することができる。なお、相対位置検出手段は、カメラ１６に限定されない。タッチパネル２に対応する領域の状態を検出することができれば、タッチパネル２に対応する領域にいる人物を検出することができれば検出装置は特に限定されない。例えば、赤外線センサ、Time-of-Flight法（光源から出た光が対象物で反射し、センサに届くまでの光の時間と光の速度から、対象物までの距離を算出する方法）を用いた検出装置等を用いることができる。

また、相対位置検出手段は、タッチパネル２に対応する領域の状態を検出する装置を用いることが好ましいがこれに限定されない。相対位置検出手段は、筐体の向きを検出する姿勢検出センサを有し、姿勢検出センサで検出した筐体の向きと予め設定された関係とに基づいて利用者とタッチパネルとの相対位置を検出する構成としてもよい。このような構成としても、精度は低下するが簡単な処理で相対位置を検出することができる。

また、携帯電話端末１は、利用者が入力した操作履歴を蓄積し、利用者の入力の特性に基づいて設定する操作対象に対応する検出領域のズレ量を補正するようにしてもよい。つまり、利用者とタッチパネル２との相対位置に基づいて操作対象に対応する検出領域のズレ量を設定し、利用者の入力の特性に基づいて設定したズレ量をさらに補正してもよい。利用者の入力の特性としては、例えば、接触位置が検出領域の中央に対してどの程度ずれているか、接触位置が検出領域の中央に対してどの方向にずれやすいのか等の特性である。これにより、利用者の癖や習性を加味してズレ量を設定することができる。また、利用者とタッチパネル２との相対位置の条件に分けて利用者の入力の特性を検出することで、利用者とタッチパネル２との相対位置に適応した適切なずれ量の補正を行うことができる。

また、携帯電話端末１は、利用者が入力した操作の押し間違いの頻度を検出し、当該押し間違いの頻度に基づいて操作対象と検出領域とのズレ量をさらに調整するようにしてもよい。なお、押し間違いの判定は、種々の方法で実行することができる。例えば、前後の操作に基づいて判定しても良い。具体的には、入力された操作を取り消し、近傍の操作対象が操作された場合は、当該操作を押し間違いと判定すればよい。また、設定モードを設け、当該設定モードで操作対象を指定し、実際に入力された操作との相対関係を用いて押し間違いかを判定してもよい。この場合は、携帯電話端末１で指定して操作対象と実際に操作が入力された操作対象との関係で押し間違いか否かを判定することができる。

また、携帯電話端末１は、起動させタッチパネル２の表示部２Ｂに操作対象を表示させるアプリケーションの種類に応じて、操作対象と検出領域とのズレ量を変更するようにしてもよい。つまり、同一の位置に表示される同じ大きさの操作対象であっても、当該操作対象を表示させるアプリケーションの種類に基づいて、操作対象に対する検出領域のズレ量を異なる量としてもよい。このように、アプリケーションによって、ズレ量を変化させることで使用するアプリケーション毎に適切な補正を行うことができる。なお、携帯電話端末１は、起動するアプリケーション毎に、操作対象と検出領域とのズレ量の関係を記憶部９に記憶させ、記憶部９に記憶させた関係に基づいてズレ量を調整すればよい。また、操作対象と検出領域とのズレ量の関係は、操作対象の種類に応じて設定してもよい。例えば、アプリケーションがブラウザプログラム９Ａを処理することで実現するブラウザ機能である場合、操作対象がアイコン、リンク、ツールバーのそれぞれに検出領域のズレ量を設定すればよい。なお、携帯電話端末１は、ズレ量に加え、操作領域に対する検出領域の大きさの関係を記憶してもよい。例えば、ツールバーは、操作領域に対して検出領域を大きくする設定としてもよい。

また、携帯電話端末１は、設定した操作対象と検出領域とのズレ量を利用者がさらに手動で補正できるようにしてもよい。この場合、利用者は、初期設定や処理条件として補正処理を行ってもよいし、画像を表示させている状態で補正処理を設定するようにしてもよい。

１ 携帯電話端末
２ タッチパネル
２Ａ タッチセンサ
２Ｂ 表示部
３ 入力部
５ 電源部
６ 通信部
７ レシーバ
８ マイク
９ 記憶部
９Ａ メールプログラム
９Ｂ ブラウザプログラム
９Ｃ カメラプログラム
９Ｄ 顔認識プログラム
９Ｅ 操作検出位置調整プログラム
９Ｆ 処理条件テーブル
１０ 主制御部
１１ ＲＡＭ
１２ 筐体
１６ カメラ
１８ 加速度センサ
２０、２２ ボタン
２４ 入力デバイス

Claims (10)

1. 筐体と、
   前記筐体に配置された表示部と、前記表示部に重畳して配置されたタッチセンサとを備えるタッチパネルと、
   利用者と前記タッチパネルとの相対位置を検出する相対位置検出手段と、
   前記相対位置検出手段で検出した前記利用者と前記タッチパネルとの相対位置に基づいて、前記タッチパネルの前記表示部に表示させる画像と前記画像に対応した前記タッチセンサの検出領域との対応関係を調整する制御部と、を有することを特徴とする携帯電子機器。
2. 前記相対位置検出手段は、前記筐体に配置され、前記タッチパネルに向かい合う領域の画像を撮影するカメラを有し、
   前記カメラで撮影した画像に含まれる利用者の顔の位置を抽出し、当該顔の位置に基づいて前記利用者と前記タッチパネルとの相対位置を検出することを特徴とする請求項１に記載の携帯電子機器。
3. 前記相対位置検出手段は、前記利用者の顔として利用者の目の位置を抽出し、当該目の位置に基づいて前記利用者と前記タッチパネルとの相対位置を検出することを特徴とする請求項２に記載の携帯電子機器。
4. 前記相対位置検出手段は、前記筐体の向きを検出する姿勢検出センサを有し、
   前記姿勢検出センサで検出した前記筐体の向きと予め設定された関係とに基づいて前記利用者と前記タッチパネルとの相対位置を検出することを特徴とする請求項１に記載の携帯電子機器。
5. 前記制御部は、前記タッチパネルの前記表示部に画像を表示させていない状態から画像を表示させる状態となった場合、前記タッチパネルの前記表示部に表示させる画像と前記画像に対応した前記タッチセンサの検出領域との対応関係を調整することを特徴とする請求項１から４のいずれか一項に記載の携帯電子機器。
6. 前記筐体の加速度を検出する加速度センサをさらに有し、
   前記制御部は、前記加速度センサで設定した値以上の加速度を検出した場合、前記タッチパネルの前記表示部に表示させる画像と前記画像に対応した前記タッチセンサの検出領域との対応関係を調整することを特徴とする請求項１から５のいずれか一項に記載の携帯電子機器。
7. 前記制御部は、前記利用者が前記タッチパネルの正面となる位置を基準として、前記タッチパネルの正面に対して前記利用者が傾いている向きと同じ方向に、前記タッチパネルの前記表示部に表示させる画像に対して前記画像に対応した前記タッチセンサの検出領域をずらすことを特徴とする請求項１から６のいずれか一項に記載の携帯電子機器。
8. 前記制御部は、前記利用者が入力した操作の押し間違いの頻度を検出し、当該押し間違いの頻度に基づいて操作対象と検出領域とのズレ量をさらに調整することを特徴とする請求項１から７のいずれか一項に記載の携帯電子機器。
9. 前記制御部は、起動させ前記表示部に操作対象を表示させるアプリケーションの種類に応じて、操作対象と検出領域とのズレ量を変更することを特徴とする請求項１から８のいずれか一項に記載の携帯電子機器。
10. 前記制御部は、前記利用者が入力した補正操作に基づいて前記対応関係をさらに調整することを特徴とする請求項１から９のいずれか一項に記載の携帯電子機器。

Images