JP2013222322A - 携帯情報端末、及びそのタッチパネルにおける表示方法 - Google Patents

Abstract

【課題】利用者がどちらの手で携帯情報端末を保持しているかを確実に判別でき、利用者の姿勢や持ち方に応じてタッチパネル上で利用者が操作しやすい位置にアイコンなどを表示できるようにする。
【解決手段】筐体の背面及び側面の少なくとも一方に設けられた複数のタッチセンサーでの検出結果に基づき、携帯情報端末において利用者の手によって保持されている位置を検出する利用者保持点検出手段と、内側カメラによって撮像された画像から、利用者の顔の向きを認識する顔認識手段と、検出された位置と認識された顔の向きとから、いずれの手で携帯情報端末を保持しているかという情報を含む保持状態を推定する保持状態推定手段と、推定された保持状態に基づき、現在の保持状態において利用者が容易に操作可能となるように、タッチパネルに表示されるべきアイコンの表示位置を決定するアイコン表示位置変換手段と、を設ける。
【選択図】図２

Description

本発明は、携帯電話機やＰＤＡ（Personal Digital Assistant）などの携帯情報端末に関し、特に、入力用のタッチセンサーとディスプレイ面とが一体化したタッチパネルを搭載した携帯情報端末と、そのような携帯情報端末でのタッチパネルにおける表示方法とに関する。

携帯電話機やＰＤＡなどの携帯情報端末では、その取り扱ったり表示したりするコンテンツの多様化に伴って大型化が進んでおり、従来のタブレット型のＰＣ（パーソナルコンピュータ）との境界が曖昧となりつつある。このような携帯情報端末では、ディスプレイ面（表示画面）を有効に利用するために、ポインティングデバイスとしての入力用のタッチセンサーとディスプレイ面とが一体化したタッチパネルが採用されることが一般的になりつつある。タッチパネルを用いる携帯情報端末では、タッチパネルのディスプレイ面に表示されたアイコンやソフトボタンなどに対して指などで触れる動作（タッチ動作）を行うことによって、利用者の指示がその携帯情報端末に与えられることになる。以下の説明では、アイコンやソフトボタンを一括してアイコンと呼ぶことにする。利用者は、例えば片手でその携帯情報端末を把持しながら、把持している方の手の指によって（片手操作）、あるいは把持していない方の手の指によって（両手操作）、タッチパネルに対するタッチ動作を行い、携帯情報端末を操作することになる。

ところで、携帯情報端末を片手で操作する場合には、利用者の指の可動範囲が限られていることから、タッチパネル上でのアイコンの配置によっては指が届かない範囲にアイコンが表示されてしまい、そのアイコンを選択して操作するためには利用者がその携帯情報端末を持ち直すか片手操作を中断して両手操作に切り替えるかする必要が生じ、使用上の不便となる課題が出てきた。特に、携帯情報端末の大型化が進行すると、指が届かない範囲が広がるので、この課題は一層重大なものとなる。

特許文献１（特開２００９‐１６３２７８号公報）には、利用者が携帯情報端末を特定の把持態様で把持することを前提として、その携帯情報端末のタッチパネルにおいて、筐体を把持している手の近傍の領域であってその手の親指から届く範囲内にアイコンを配置することが開示されている。

片手操作の場合に右手で操作しているのか左手で操作しているのかによって、タッチパネル上での利用者の指が届く範囲が異なってくる。したがって、特定の把持態様を強制しないで利用者の指の届く範囲内にアイコンを配置するためには、利用者がその携帯情報端末を右手で把持しているのか左手で把持しているのかを識別する必要がある。特許文献２（特開２００９−１６９８２０号公報）には、携帯情報端末の筐体の左縁と右縁のそれぞれの上側にタッチセンサを設けてそのセンサからの出力によって、携帯情報端末が利用者の左右どちらの手で把持されているかを判別し、それに応じて操作しやすいようにタッチパネル上にアイコンを配置することが開示されている。特許文献３（特開２００９‐２９４７２５号公報）には、入力が受け付けられないロック状態からの復帰時に、利用者に対し、親指でタッチパネル上に斜線を引く入力操作を行わせ、そのときの入力経路から利用者がどちらの手で携帯情報端末を把持しているかを判別することが開示されている。

また、携帯情報端末が比較的細長い形状を有する場合、その長手方向のどのあたりの領域で利用者が携帯情報端末を把持しているかによっても、例えば上下方向に細長い携帯情報端末の場合に筐体の上半分の部分を把持しているか下半分の部分を把持しているかによっても、タッチパネル上での利用者の指が届く範囲が異なってくる。そこで特許文献４（特開２０１０−１５４０９０号公報）には、携帯情報端末の筐体の側面のみならず背面にも多数のセンサを設け、利用者が筐体のどの部分を握っているかを検出して、タッチパネルにおいて利用者が操作しやすい位置にアイコンを表示することが開示されている。

特開２００９‐１６３２７８号公報 特開２００９−１６９８２０号公報 特開２００９‐２９４７２５号公報 特開２０１０‐１５４０９０号公報

携帯情報端末は、典型的には片手だけで保持できてしかもその手だけで操作できるものであるから、利用者は様々な姿勢や持ち方によって携帯情報端末を保持することができる。利用者の姿勢や持ち方が異なると、関連技術におけるような複数のタッチセンサーのみを使用した方法によっては、利用者が左手でその情報携帯端末を保持しているのか右手で保持しているのかを正確に判別することが難しくなる。また、携帯情報端末を保持する手が同じであったとしても、姿勢や持ち方によって、片手操作の場合にタッチパネル上で指が到達し得る範囲が異なってくる。そのため、単に右手による操作か左手による操作かを判別した結果に基づいてタッチパネル上にアイコンを配置しても、それらのアイコンへのタッチ操作に利用者が不便を感じる可能性も生じる。

本発明の目的は、利用者がどちらの手で携帯情報端末を保持しているかを確実に判別でき、利用者の姿勢や持ち方に応じてタッチパネル上で利用者が操作しやすい位置にアイコンなどを表示できる携帯情報端末を提供することにある。

本発明の別の目的は、利用者がどちらの手で携帯情報端末を保持しているかを確実に判別でき、利用者の姿勢や持ち方に応じてタッチパネル上で利用者が操作しやすい位置にアイコンなどを表示できる、携帯情報端末でのタッチパネルにおける表示方法を提供することにある。

本発明の携帯情報端末は、筐体との前面に設けられたタッチパネルと内側カメラとを有する携帯情報端末であって、筐体の背面及び側面の少なくとも一方に設けられた複数のタッチセンサーと、タッチセンサーでの検出結果に基づき、携帯情報端末において利用者の手によって保持されている位置を検出する利用者保持点検出手段と、内側カメラによって撮像された画像から、利用者の顔の向きを認識する顔認識手段と、利用者保持点検出手段で検出された位置と認識された顔の向きとから、利用者がそのいずれの手で携帯情報端末を保持しているかという情報を含む保持状態を推定する保持状態推定手段と、保持状態推定手段で推定結果に基づき、現在の保持状態において利用者が容易に操作可能となるように、タッチパネルに表示されるべきアイコンの表示位置を決定するアイコン表示位置変換手段と、を備え、タッチパネルにおいてアイコン表示位置変換手段で決定された位置にアイコンが再配置される。

本発明の表示方法は、筐体と筐体の前面に設けられたタッチパネルと内側カメラと筐体の背面及び側面の少なくとも一方に設けられた複数のタッチセンサーとを有する携帯情報端末でのタッチパネルにおける表示方法であって、タッチセンサーでの検出結果に基づき、携帯情報端末において利用者の手によって保持されている位置を検出することと、内側カメラによって撮像された画像から、利用者の顔の向きを認識することと、検出された位置と認識された顔の向きとから、利用者がそのいずれの手で携帯情報端末を保持しているかという情報を含む保持状態を推定することと、保持状態の推定結果に基づき、現在の保持状態において利用者が容易に操作可能となるように、タッチパネルに表示されるべきアイコンの表示位置を決定し、その表示位置にアイコンを再配置して表示することと、を有する。

本発明によれば、利用者がどのように携帯情報端末を保持するかの形態に合わせて、タッチパネル上に表示されるアイコンの位置や大きさが調整され、アイコンが再配置されるので、利用者は不便を感じることなく携帯情報端末を使用することができるようになり、携帯情報端末が保有する機能を利用する際の利便性が増し、作業効率をあげることができる。

本発明の実施の一形態の携帯情報端末の外観を示す図である。 図１に示した携帯情報端末の構成を示すブロック図である。 図１に示した携帯情報端末の構成の別の例を示すブロック図である。 親指の可動域の検出を説明する図である。

次に、本発明の好ましい実施の形態について図面を参照して説明する。図１は、本発明の実施の一形態の携帯情報端末の外観を示している。

この携帯情報端末は、スマートフォンと呼ばれるカテゴリの携帯電話機として構成されたものであり、扁平な略長方形の筐体の前面（図において見えている面）に大型のタッチパネル１０１を備えている。また、筐体の前面には、テレビ電話として使用するときなどに利用者の顔画像を撮像するために設けられている内側カメラ１０３と、通話音声を再生するためのイヤーピース（スピーカ）１０４と、マイクロホン１０５と、タッチパネル１０１に例えばメニュー画面を表示するために用いられるホームボタン１０６と、が設けられている。また、筐体の側面には複数のタッチセンサー１０２が設けられている。図示したものでは、筐体を手で把持したときに各指の付け根や根元の部分が接触することとなるように、筐体の左縁と右縁とにそれぞれ複数のタッチセンサー１０２が設けられている。また、筐体の背面（図面における紙背面側）にも、筐体を把持している手の掌の位置を検出することを可能とするために、複数のタッチセンサーが設けられている。

図２は、この携帯情報端末１００の内部の回路構成を示すブロック図である。携帯情報端末１００の内部には、各タッチセンサー１０２での検出結果に基づき、携帯情報端末において利用者の手によって保持されている位置を検出する利用者保持点検出部２０２と、内側カメラ１０３によって撮像された画像から、利用者の顔の向きを認識する顔認識部２０１と、利用者保持点検出部２０２で検出された位置と顔認識部２０１で認識された顔の向きとから、利用者がそのいずれの手で携帯情報端末１００を保持しているかという情報を含む保持状態を推定する保持状態推定部２０３と、保持状態推定部２０３での推定結果に基づき、現在の保持状態において利用者が容易に操作可能となるように、タッチパネル１０１に表示されるべきアイコンの表示位置やアイコンの大きさを決定するアイコン表示位置変換部２０７と、タッチパネル１０１に対する表示処理を実行する表示処理部２０８と、を備えている。表示処理部２０８は、アイコン表示位置変換部２０７で決定された位置や大きさでアイコンが再配置され表示されるように、タッチパネル１０１を駆動する。なお、イヤーピース１０４、マイクロホン１０５及びホームボタン１０６は、本発明には直接の関連を有しないので、図２には示されていない。

次に、この携帯情報端末の動作について説明する。

一般に利用者により携帯情報端末の電源が投入された場合やスリープ状態が解除された場合には、携帯情報端末のタッチパネルには、画面ロック解除用のパスワードを入力するための画面が現れる。そこで本実施形態では、顔認識部２０１は、利用者が携帯情報端末１００に対して画面ロック解除用のパスワードを入力するタイミングにおいて、利用者の顔画像を撮像するように内側カメラ１０２を制御し、このとき撮像された画像を処理して利用者の顔の画像認識を行い、目、鼻、口などを抽出する。顔認識部２０２は、画像における目、鼻、口などの位置から、これらの位置関係や利用者の顔の向きなどの情報を取得する。

一方、携帯情報端末１００の筐体の側面や背面に設けられた複数のタッチセンサー１０２からのタッチセンサー信号は利用者保持点検出部２０２に入力されており、利用者保持点検出部２０２は、タッチセンサー信号の分布やパターンに基づき、携帯情報端末１００において利用者の手によって保持されている位置がどのあたりなのかを示す情報を生成する。この情報は、例えば、利用者の掌の位置を示す情報や、利用者がどちらの手で携帯情報端末１００を保持しているかといった推定情報も含んでいる。

保持状態推定部２０３は、顔認識部２０１での顔の向きの検出結果と利用者保持点検出部２０２からの情報とに基づいて、保持状態を表す情報として、携帯情報端末１００が保持されている向きと、保持している手と、携帯情報端末１００の持ち方（携帯情報端末１００の筐体のどのあたりを保持しているかなど）とを特定する。さらに、利用者の保持の姿勢などを特定してもよい。アイコン表示位置変換部２０７は、保持状態推定部２０３によって特定された保持状態に応じて、アイコン表示の基点となる位置を決定し、この基点の位置に基づいて、現在の保持状態において利用者が容易に操作可能となるように、タッチパネル１０１に表示されるべきアイコンの表示位置やアイコンの大きさを決定する。その結果、表示処理部２０８により、タッチパネル１０１上に、アイコン表示位置変換部２０７で決定された位置や大きさでアイコンが再配置され表示される。

なお、顔認識部２０１での顔認識の結果で顔の向きが判定できない場合には、携帯情報端末１００に内蔵されている不図示の傾きセンサあるいは加速度センサから得られる傾き情報により、携帯情報端末１００の保持方向を特定し、利用者保持点検出部２０２での検出結果に応じてどちらの手で携帯情報端末１００が保持されているかを判定すればよい。

利用者が携帯情報端末１００を持ち直すなどの動作を行った場合には、そのことがタッチセンサー１０２の検出結果から明らかになるので、上述の一連の作業を再度実施することにより、常に、利用者が操作しやすい位置にアイコンが配置されることになる。

ところで、利用者の手の大きさや指の動く範囲は利用者ごとに異なっている。そこで、そのような利用者ごとの個人差を考慮してタッチパネル１０１上にアイコンを配置するようにすると、利用者にとってさらに使い勝手がよい携帯情報端末を構成することができる。図３は、そのように構成した携帯情報端末の内部の回路構成を示している。

図３に示す携帯情報端末は、図２に示したものに比べ、タッチパネル１０１に対する利用者の入力を検出してタッチ操作が行われた位置の情報などを出力するタッチ位置検出部２０９と、利用者によるタッチパネル１０１への操作に基づいて、利用者の携帯情報端末を保持している手の親指のタッチパネル１０１上での移動可能範囲を検出する親指可動域検出部２０４と、親指可動域検出部２０４で検出された移動可能範囲の情報である親指可動域情報２０６を記憶する親指可動域記憶部２０５とが追加されたものであり、アイコン表示位置変換部２０７は、親指可動域記憶部２０５内の親指可動域情報２０６も参照してアイコンの表示位置を決定する。

図３に示すものでは、携帯情報端末１００への利用者の登録時あるいは再設定時に、親指可動域検出部２０４によって、あらかじめその携帯情報端末の指定する保持方法で利用者が携帯情報端末を保持した状態でその利用者の右手及び左手の親指がタッチパネル１０１上で動く範囲（親指可動域）を測定するようにする。例えば、図４に示すように、利用者に対し、指定の保持方法で携帯情報端末を保持するように促した上で、左手及び右手のそれぞれについてその親指可動域３０１，３０２内の数点（測定点３０３と呼ぶ）を親指でタッチさせる。タッチパネル１０１においてこのタッチ操作が行われた位置の情報は、タッチ位置検出部２０９から親指可動域検出部２０４に送られ、親指可動域情報２０６として親指可動域記憶手段２０５に記憶する。

そして上述と同様に、顔認識部２０１において利用者の顔の向きを検出し、利用者保持点検出部２０２においてタッチセンサー信号の分布に基づく情報を取得し、保持状態推定部２０３から保持状態を表す情報が出力されたら、アイコン表示位置変換部２０７は、保持状態を表す情報から手の状態、姿勢パターンと、親指可動域記憶部２０５から得られる親指可動域情報を元に、上述したアイコン表示の基点に合わせて座標変換を行い、現在の保持状態において利用者が容易に操作が可能となるように、当該利用者の親指可動域の範囲内でアイコンの表示位置と表示サイズとを決定する。

以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態に限られるものではなく、種々の変形が可能である。例えば、利用者が携帯情報端末を両手で保持した場合には、右手の指の可動範囲と左手の指の可動範囲とに合わせて、タッチパネル上でアイコンを分散配置して表示するようにしてもよい。また、動作モードとして、上述のようにアイコンの再配置を行うモードと再配置を行わずに固定した位置にアイコンを表示するモードとを準備し、利用者の設定によってこれらのモードのいずれかが選択されるようにしてもよい。また、上記のものでは親指の可動域を測定してその範囲内にアイコンを配置するようにしていたが、親指以外の指の可動域を測定してその範囲内にアイコンを配置するようにしてもよい。

１００ 携帯情報端末
１０１ タッチパネル
１０２ タッチセンサー
１０３ 内側カメラ
１０４ イヤーピース
１０５ マイクロホン
１０６ ホームボタン
２０１ 顔認識部
２０２ 利用者保持点検出部
２０３ 保持状態推定部
２０４ 親指可動域検出部
２０５ 親指可動域記憶部
２０６ 親指可動域情報
２０７ アイコン表示位置変換部
２０８ 表示処理部
２０９ タッチ位置検出部
３０１，３０２ 親指可動域
３０３ 測定点

Claims (7)

1. 筐体と前記筐体の前面に設けられたタッチパネルと内側カメラとを有する携帯情報端末であって、
   前記筐体の背面及び側面の少なくとも一方に設けられた複数のタッチセンサーと、
   前記タッチセンサーでの検出結果に基づき、前記携帯情報端末において利用者の手によって保持されている位置を検出する利用者保持点検出手段と、
   前記内側カメラによって撮像された画像から、前記利用者の顔の向きを認識する顔認識手段と、
   前記利用者保持点検出手段で検出された位置と前記認識された顔の向きとから、前記利用者がそのいずれの手で前記携帯情報端末を保持しているかという情報を含む保持状態を推定する保持状態推定手段と、
   前記保持状態推定手段で推定結果に基づき、現在の保持状態において前記利用者が容易に操作可能となるように、前記タッチパネルに表示されるべきアイコンの表示位置を決定するアイコン表示位置変換手段と、
   を備え、前記タッチパネルにおいて前記アイコン表示位置変換手段で決定された位置に前記アイコンが再配置される、携帯情報端末。
2. 前記利用者による前記タッチパネルへの操作に基づいて、前記利用者の前記携帯情報端末を保持している手の親指の前記タッチパネル上での移動可能範囲を検出する親指可動域検出手段と、
   をさらに備え、
   前記アイコン表示位置変換手段は、前記親指可動域記憶手段で検出した前記移動可能範囲を参照して、前記アイコンの表示位置を決定する、請求項１に記載の携帯情報端末。
3. 前記保持状態は、前記保持している手の状態及び前記利用者の姿勢を含む、請求項１または２に記載の携帯情報端末。
4. 筐体と前記筐体の前面に設けられたタッチパネルと内側カメラと前記筐体の背面及び側面の少なくとも一方に設けられた複数のタッチセンサーとを有する携帯情報端末での前記タッチパネルにおける表示方法であって、
   前記タッチセンサーでの検出結果に基づき、前記携帯情報端末において利用者の手によって保持されている位置を検出することと、
   前記内側カメラによって撮像された画像から、前記利用者の顔の向きを認識することと、
   前記検出された位置と前記認識された顔の向きとから、前記利用者がそのいずれの手で前記携帯情報端末を保持しているかという情報を含む保持状態を推定することと、
   前記保持状態の推定結果に基づき、現在の保持状態において前記利用者が容易に操作可能となるように、前記タッチパネルに表示されるべきアイコンの表示位置を決定し、当該表示位置に前記アイコンを再配置して表示することと、
   を有する表示方法。
5. 電源投入時またはスリープ状態解除時に前記顔の向きの認識を行う、請求項４に記載の表示方法。
6. あらかじめ、前記利用者による前記タッチパネルへの操作に基づいて、前記利用者の前記携帯情報端末を保持している手の親指の前記タッチパネル上での移動可能範囲を検出することをさらに備え、
   前記アイコンの表示位置の決定に際して前記移動可能範囲を参照する、請求項４または５に記載の表示方法。
7. 前記保持状態は、前記保持している手の状態及び前記利用者の姿勢を含む、請求項４乃至６のいずれか１項に記載の表示方法。

Images