JP2010086192A - 携帯機器、コンピュータプログラムおよび記録媒体 - Google Patents

Abstract

【課題】筐体の傾きをユーザインタフェースに反映させる携帯機器において、筐体を把持したユーザの体勢の変化によりユーザインタフェースに不都合が生じないようにする。
【解決手段】筐体の所定の傾きを表示画面上の情報の表示に反映させるユーザインタフェース手段を備えた携帯機器において、筐体の傾きの変化を検出するとともに、筐体の重心の移動を検出する。筐体の重心の移動が検出されている期間、ユーザインタフェース手段が筐体の傾きを表示画面上の情報の表示に反映させることを抑止する。また、移動の前後で、傾きの基準を更新する。
【選択図】図３

Description

本発明は、携帯電話端末や（Personal Digital Assistant:携帯情報機器）などの携帯可能な電子機器が普及している。このような携帯型の機器（携帯機器という）に関する。

近年、携帯機器に関して、以下のようにその携帯性に関連した種々の提案がなされている。

特許文献１には、携帯電話やＰＤＡなどの端末のディスプレイ上のポインタ操作に関して、加速度センサの出力に基づいて端末の傾きを検出し、ビー玉を載せた盆皿の傾きによりビー玉を移動させるようなポインタの移動制御の手法が開示されている。

特許文献２には、加速度に関するデータから携帯電話端末の傾斜角度を求めると共に、磁気に関するデータに基づいて地磁気の仰角を求め、これらに基づいて、ユーザが歩行中であることを検出し、歩行中であっても正しい傾斜を得ることができる技術が開示されている。

特許文献３、４には、一つのボタンに複数の機能または文字を割り当てておき、装置本体の傾きに応じて、いずれかの機能または文字を選択する技術が開示されている。

その他、機器（の筐体）を横に向けると画面表示が横向きになるユーザインタフェース（ＵＩ）を備えた携帯機器も実用化されている。
特開２００６−１１３８５９号公報 特開２００６−０３８４６４号公報 特開２００６−０４１５９２号公報 特表２００７−５１０２３４号公報

しかし、上記従来の携帯機器における動作はいずれも、ユーザが真っ直ぐ立つもしくは座っている状況にのみ最適化されたものである。すなわち、それらの技術では、機器の向き・傾きを推定することはできるが、使用者の体勢（姿勢）を推定することができない。

そのため、ユーザが横になった（体を横たえた、または仰向けに寝ころんだ）状態などで機器を用いる場合、ＵＩが使用者の意図しない向きに変化してしまい非常に扱いづらくなってしまう。

例えば、携帯機器が横向きになったとき画面表示も横向きになるＵＩの場合、ユーザが携帯機器を持ったまま横向きに寝転んだ場合、携帯機器も横向きになるため画面表示も横向きになる。しかしこの場合、ユーザも横になっているため、画面表示は変化しない方が好ましい。

本発明はこのような背景においてなされたものであり、筐体の傾きをユーザインタフェースに反映させる携帯機器において、筐体を把持したユーザの体勢の変化によりユーザインタフェースに不都合が生じないようにするものである。

本発明による携帯機器は、情報を表示する表示画面を有する表示部と、前記表示部を支持した筐体と、前記筐体の傾きの変化を検出する傾き検出処理手段と、前記筐体の重心の移動を検出する移動検出処理手段と、前記筐体の所定の傾きを利用するユーザインタフェース手段と、前記筐体の重心の移動が検出されている期間、前記ユーザインタフェース手段が筐体の傾きを利用することを抑止する制御手段とを備えたものである。

この発明では、携帯機器が自身の動きを監視し、その結果によって携帯機器のユーザの姿勢を推測することができる。その結果、筐体の傾きがユーザの姿勢の変化によるものかどうかを区別することが可能となる。筐体の傾きがユーザの姿勢の変化によるものである場合には、ユーザインタフェース手段の動作を抑止する。

本発明によるコンピュータプログラムは、表示画面を有する表示部を備えた携帯機器において実行されるコンピュータプログラムであって、ユーザからの入力操作を受けるステップと、筐体の傾きの変化を検出するステップと、前記筐体の重心の移動を検出するステップと、前記筐体の所定の傾きを表示画面上の情報の表示に反映させるステップと、前記筐体の重心の移動が検出されている期間、筐体の傾きを利用することを抑止するステップとをコンピュータに実行させるものである。

本発明によれば、筐体の傾きをユーザインタフェースに反映させる携帯機器において、検出された筐体の傾きがユーザの体勢の変化によるものである場合に、その傾きを無視することにより、ユーザの体勢の変化の前後で支障なくユーザインタフェースの利用を継続することができる。

以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。

図１は、本実施の形態における携帯機器１００の外観を示している。この携帯機器１００は、ＰＤＡを例として示している。

この携帯機器１００は、筐体１０の主面の主要部にタッチパネル付きのディスプレイ１２を配置、支持している。タッチパネルに対してはペン２０または指による指示入力が可能となっている。同主面上でディスプレイ１２の下部には操作部１３が配置されている。操作部１３には、各種のボタン１４，１５，１６，１８，１９が配置されている。また、中央のボタン１６を内包する形で、前後左右の指示を行うキー１７も有している。これらの具体的な構成はあくまで説明のための例示であり、本発明の携帯機器はこのような具体的な構成に限定されるものではない。タッチパネルも必須の要素ではない。

図２は、図１に示した携帯機器１００の概略のハードウェア構成を示すブロック図である。

携帯機器１００は、バス１１５で相互に接続された、制御部１０１、通信部１０３、表示部１０４、操作部１０５、記憶部１０６、音声処理部１１０、この音声処理部１１０に接続されたスピーカ１１１、マイク１１２、および３軸の加速度センサ１１３を備えている。

制御部１０１は、ＣＰＵ等を含み、携帯機器１００の各部を制御する。通信部１０３は、ＲＦ部、変調回路等を含み、アンテナ１０２を介して基地局との間で、通話およびメールやＷＥＢデータ等のための無線通信を行う。

表示部１０４は、図１のディスプレイ１２に相当し、表示画面上に情報を表示する。

操作部１０５は、図１の操作部１３に相当し、図１の制御キー、テンキー等の各種のキーを有し、ユーザによる指示やデータの入力を受け付ける。

記憶部１０６は、ＲＯＭ，ＲＡＭ等を含み、ＣＰＵが実行するＯＳや各種アプリケーション等のプログラムやデータを記憶する。ＲＯＭには、フラッシュメモリのような再書き込み可能な不揮発性メモリを含みうる。

音声処理部１１０は、音声のエンコーダ、デコーダ、ＤＡ変換器、ＡＤ変換器等を含み、スピーカ１１１（イヤホン含む）に対する音声出力およびマイクからの音声入力を行う。

加速度センサ１１３は、本実施の形態では、互いに直交する３軸方向の加速度を検出するデバイスである。このデバイスは、筐体１０に内蔵され、この出力に基づいて携帯機器の傾きや移動を検出することができる。すなわち、加速度センサ１１３は、本発明の「ユーザインタフェース手段」、「傾き検出処理手段」および「移動検出処理手段」を構成する。

その他、図示しないが、携帯機器１００は、電源部、発光部等を備えている。また、カメラ部、近距離無線通信部、非接触ＩＣカード機能部等をさらに備えてもよい。

以下、本実施の形態の携帯機器１００の特徴的な動作について説明する。

本実施の形態では３軸の加速度センサ１１３を用いることにより、携帯機器１００の傾きや移動を検出する。特に、加速度センサを用いて携帯機器の向きや傾きを求めるのみならず、携帯機器の「移動」を検出することにより、ユーザの体勢を推定することが可能となる。

本発明は、発明者による次のような知見に基づいてなされたものである。
（１）携帯機器の向きを変えて用いたいとき、通常、人は機器をその場で回転させる。（すなわち、携帯機器の重心は所定の誤差範囲を超えて移動することはない。）
（２）これに対して、ユーザが携帯機器を把持したまま体を横にしたような場合も携帯機器はその向きを変えるが、この場合には必ず移動が伴う。（すなわち、携帯機器の重心は所定の誤差範囲を超えて移動する。）

この２点の特徴からユーザの体勢（の変化）を推定し、ユーザの求める動作を機器が行うようにすることができる。

例えば、通常状態で縦長の画面を有する携帯機器を横向きにしたとき、画面上に表示されている画像を９０°回転させるようなユーザインタフェース（ＵＩ）が設定されているとする。

図３の携帯機器の通常使用時の状態３１からユーザの体勢はそのままで携帯機器の画面が横長になるよう携帯機器が回転された状態３２への遷移では、ユーザの動作としては、携帯機器をその場で回転させる動作となる。すなわち、機器側ではその回転による機器の傾きは検出するが、移動（携帯機器の重心の、所定の誤差範囲を超えた移動）は検出しない。このとき、制御部１０１は、操作のためにユーザが意図的に機器を回転させたのだと認識し、ＵＩとして画像を９０°回転させる動作を行う。なお、傾きおよび移動の検出の方法については後述する。

これに対して、状態３１の通常使用時の状態から、ユーザが携帯機器を把持したまま体を横にしたようなとき、本発明がなければ、画面上の画像が９０°回転してしまう。しかし、このような場合、ユーザと携帯機器との相互の位置関係（特に回転位置関係）は変わっていないので、画像が回転するのは妥当でない。そこでこのような場合に、本発明では、状態３３に示すように、携帯機器が横向きになったことにより通常起動されるＵＩの動作を抑止する。すなわち、この例では画像の回転を抑止する。この場合のユーザの動作としては機器を持ったまま寝転ぶのであるから、機器は移動しながら回転することになる。よって、機器側では回転（傾き）と移動の両方を検出する。そこで、ユーザの体勢が移動したことを認識したときの回転動作は姿勢移動の為だと推定することができる。

以下、本実施の形態における携帯機器の回転（傾き）および移動の検出アルゴリズムについて説明する。

本実施の形態では、携帯機器の筐体の回転（傾き）および移動を検出するために、３軸の加速度センサを用いる。地球上では機器に必ず重力がかかっているため、鉛直方向に１Ｇの加速度（重力加速度）がかかり続ける。加速度センサにより観測される各軸方向の加速度から鉛直方向を推測し機器の向き、傾きを検出することができる。携帯機器の姿勢に対する鉛直方向の推移から機器の移動動作も検出することができる。

また、携帯機器の移動の検出も、３軸の加速度センサの出力に基づいて行える。上述のように地球上では機器に必ず重力がかかっているため、鉛直方向に１Ｇの加速度（重力加速度）がかかり続ける。静止時および等速移動時Ｘ，Ｙ，Ｚ軸方向に掛かっている加速度の和の絶対値は１Ｇとなる。ここに、図１に示したように、Ｘは携帯端末の四角い画面の上辺（または下辺）に沿った方向、Ｙは画面上左辺（または右辺）に沿った方向、Ｚ軸はＸ軸およびＹ軸に直交する方向とする。Ｘ，Ｙ，Ｚ軸のそれぞれの方向に掛かっている加速度の和の絶対値が１Ｇで無い場合、等速移動でない移動中である、ということを検出することができる。

今回のような人の手による短距離移動では等速移動となる事は考えられないため、Ｘ、Ｙ，Ｚ軸のセンサ出力の絶対値を読むことで、機器が移動しているか否か検出することが可能となる。なお、携帯機器を横向きにする場合にも、厳密な意味では携帯機器の重心は移動しうる。しかしその場合の移動距離は所定の誤差範囲内と考えられる。したがって、本実施の形態における「移動」とは、その移動距離は所定の誤差範囲内を超えた場合に限り、それ以下の場合は無視するものとする。すなわち、そのような筐体の重心の移動が検出されている期間、傾きに応じたＵＩの動作を抑止する。

図４に、携帯機器における一般的な傾きの検出に基づく状態の変化を表した状態遷移図を示す。機器の傾きに応答するＵＩの例としては、上述のように機器を横向きにしたときに画面を９０°回転させるものの他、画面の傾きに応じて、画面上に表示したポインタ（またはカーソル）を移動させるものも考えられる。ここに、ポインタとは画面上で位置やオブジェクトを指示するために可視表示される矢印等の指標である。この例では、機器を右に傾けた場合ポインタは右に、機器を左に傾けた場合左に移動するという動作をするものとする。これは、従来技術で説明したような、盆皿の上にビー玉を載せた盆皿の傾斜に応じてビー玉の位置を制御する動作に類似している。この場合、ユーザは指示のためにペン２０を用いる必要はない。このＵＩの方が前述したＵＩより小さい傾きの変化に応答するので、ここでは、このＵＩを例として説明する。

図４は、本実施の形態の前提となる動作を説明するための状態遷移図である。傾きを用いた入力システムでは携帯機器の右／左の傾きを区別するため、傾きの基準を定める必要がある。ここで、傾きの基準について説明する。

傾きの基準は機器によって固定されているもの（例えば鉛直を基準としているもの）と、ユーザが指定するものの二つがある。固定されているものでは当然ユーザの姿勢は固定されてしまう。

ユーザが指定する場合でも以下の問題がある。
（１）ユーザが体勢移動する間にも傾きが入力されてしまう（寝転ぶ動作中、右に傾いたことが検出される）。
（２）ユーザが体勢移動した後で基準点に適した場所を探し、決定キーを押さなければならない。これはユーザにとって面倒であるばかりでなく、操作が分かりづらいものとなりうる。
（３）ユーザは自分がどの向きにどれだけ傾けた位置を基準にしたかを記憶する必要がある。

本発明におけるユーザの体勢を推測する手段があれば、ユーザは傾き基準点を指定する必要がなく、傾きを用いた操作を快適に入力することが可能となる。操作中の体勢移動も可能で誤入力も発生しない。

本実施の形態において、基準の傾きはデフォルト状態ではＸ軸が鉛直方向に垂直な方向とする。ただし、携帯機器の任意の姿勢の状態を基準の状態と設定することが可能である。この基準の傾きを状態遷移図では「基本」状態として示している。

基本状態では、携帯機器は右にも左にも傾いていないためポインタは動かない。見た目では何もしていないように見える。その状態から左に単位量（予め定めた所定角度）、携帯機器のＹ軸方向を中心として傾けると状態「左１」となり、ポインタを所定の速度ｖ１で左に動かす処理が行われる。さらに左に単位量傾けると状態「左２」となり、ポインタを所定の速度ｖ２（＞ｖ１）で左に動かす処理が行われる。以後、左方向への傾きについては同様に、傾ける角度が大きくなるほど、速度が上昇する。基本状態から右方向への傾きについても、ポインタの移動方向が右になる以外、左の場合と同様である。

図４の例では、左右方向のみのポインタの移動制御について示したが、左右方向に加えて（または左右方向に代えて）、上下方向について同様にポインタの移動制御を行うことが可能である。

この前提動作自体は公知であるが、このような携帯機器の傾きに応じたＵＩを利用している最中に、ユーザが寝ころんで動作を継続しようとしたときには上述したような不具合が生じる。

このように従来の傾きを用いたＵＩでは、携帯機器の移動という概念が存在しない。そこで、本発明では図４の状態遷移図に携帯機器の移動、静止というイベントを考慮して「移動中」という新たな状態を追加した状態遷移図を図５に示す。

傾き操作については従来と同様で基準の傾きを持ち、それより左に傾いていれば左にポインタを移動させ、右に傾いていれば右にポインタを移動させる。「移動中」状態についてのみ動作が異なる。機器は移動を検出すると、どの状態からでも、状態「移動中」に遷移する。

この状態「移動中」では、移動が終了する「静止」以外どのような入力操作も受け付けない。ユーザが機器の傾きを変えてもその傾きの変化は読み取らず、ポインタも動かすことはしない。機器の移動が終了し静止すると、「移動中」状態に遷移する前の状態に遷移する（戻る）。これで、ユーザの姿勢に適した動作となる。理由は以下の通りである。
（１）通常、ユーザは機器を移動させながら操作しない。
（２）携帯機器では画面が機器本体に付属していることが通常である。機器に何か操作をした際、操作の反映は画面で確認する。そのため、ユーザは画面が見える状態でしか操作は行わない。機器の移動中は画面が見づらいため、ユーザは何ら操作を行わないと考えられる。
（３）機器の傾きだけでなく、傾きを伴った移動の場合、ユーザの体勢は変化していると考えられる。

傾きの変更を伴った移動の場合の多くはユーザの体勢が変化している。ユーザの体勢が変化した際、表示状態は体勢移動前と同じであるべきである。そこで以前の状態を保持する。状態を変えながら操作は受け付けないものとする。

また、好ましくは、携帯機器の「傾きの基準」は、機器の回転（傾き）を伴う移動の前後で、変える。例えば図３の例でユーザが立っているときの傾きの基準は鉛直方向に沿う方向であるが、ユーザが横向きになったときの傾きの基準は鉛直方向からユーザの回転に対応した水平方向に変更する（つまり、移動の前後の傾き量だけ基準を変更する）。観点を変えれば、機器自身の座標系における傾きの基準は、機器の回転（傾き）を伴う移動の前後でそのまま維持される（すなわち変化しない）。

なお、移動前の状態を維持する処理なので、体勢が変わっていない「移動」の場合でも操作に支障はない。

図６に、本実施の形態における携帯機器の主要な処理のフローチャートを示す。

まず、傾き対応表示ＵＩ付きのアプリケーションを起動する（Ｓ１１）。この起動は、ユーザの指示等に応じて行うものであってもよいし、機器の電源オン時に自動的に起動されるものであったもよい。ついで、携帯機器の筐体の傾きの基準を決定する（Ｓ１２）。この傾きの基準は、ユーザによる明示の指示がなければ、デフォルトの状態となる。

その後、３軸の加速度センサの出力に基づく、携帯機器（筐体）の傾きの変化および移動の監視を開始する（Ｓ１３）。所定の傾きを検出したら（Ｓ１４，Ｙｅｓ）、その所定の傾きが移動を伴うものかどうかをチェックする（Ｓ１５）。所定の傾きを検出し、かつ、それが筐体の移動を伴うものでなければ、その所定の傾きを表示ＵＩ（すなわち表示画面上の情報の表示）に反映させる（Ｓ１６）。傾きを検出しない場合、また、傾きを検出してもそれが移動を伴う場合には、移動の停止を待つ（Ｓ１７）。すなわち、機器の移動中の傾きの検出結果は無視される。移動が停止したら、携帯機器の「傾きの基準」を機器の回転に合わせて更新する（Ｓ１８）。その後、ステップＳ１４へ戻る。

本発明の応用例として、ユーザの姿勢に関する指導または警告が考えられる。本発明によれば、ユーザの体勢を検知できるので、ユーザが一つの姿勢を長時間維持しているような場合に、その旨を警告したり、休憩をとることを推奨したりすることが可能である。これは、ゲームなどを長時間継続して行っている場合などに有効である。また、画面の角度も監視することができるので、画面の角度から姿勢が悪いと判断される場合に、その旨をユーザに警告することができる。このような警告を発するかどうかはユーザが選択的に設定できるようにしてもよい。

以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。例えば、上記の説明では、本発明の携帯機器としてＰＤＡについて説明した。しかし、本発明はＰＤＡに限るものではなく、携帯電話端末、ゲーム機、小型ＰＣ、小型ＴＶ、リモートコントローラ（リモコン）、等、任意の携帯型の機器を含みうる。また、携帯電話端末の場合に、ストレート型、折り畳み型、スライド型等、その形態は特に問わない。

上記実施の形態で説明した機能をコンピュータで実現するためのコンピュータプログラムおよびこのプログラムをコンピュータ読取可能に格納した記録媒体も本願発明に含まれるものとする。

筐体の傾きおよび移動を検出するために３軸加速度センサを用いたが、特にこれに限るものではなく、同じ目的が達成できる任意のセンサ（またはセンサの組み合わせ）を用いてもよい。

本発明の実施の形態における携帯機器の外観を示した図である。 図１に示した携帯機器の概略のハードウェア構成を示すブロック図である。 本発明の概念の説明図である。 本発明の実施の形態の前提となる動作を説明するための状態遷移図である。 図４の状態遷移図に「移動中」という新たな状態を追加した状態遷移図である。 本発明の実施の形態における携帯機器の主要な処理のフローチャートである。

符号の説明

１０…筐体、１２…ディスプレイ、１３…操作部、１４，１５，１６，１８，１９…ボタン、１７…キー、２０…ペン、３１，３２，３３…状態、１００…携帯機器、１０１…制御部、１０２…アンテナ、１０３…通信部、１０４…表示部、１０５…操作部、１０６…記憶部、１１０…音声処理部、１１１…スピーカ、１１２…マイク、１１３…加速度センサ、１１５…バス

Claims (5)

1. 情報を表示する表示画面を有する表示部と、
   前記表示部を支持した筐体と、
   前記筐体の傾きの変化を検出する傾き検出処理手段と、
   前記筐体の重心の移動を検出する移動検出処理手段と、
   前記筐体の所定の傾きを前記表示画面上の情報の表示に反映させるユーザインタフェース手段と、
   前記筐体の重心の移動が検出されている期間、前記ユーザインタフェース手段が筐体の傾きを利用することを抑止する制御手段と
   を備えた携帯機器。
2. ３軸の加速度センサをさらに備え、前記傾き検出処理手段および前記移動検出処理手段は、それぞれ、前記加速度センサの出力に基づいて傾きの変化および重心の移動を検出する請求項１に記載の携帯機器。
3. 前記ユーザインタフェース手段は、前記筐体の傾きを前記表示画面上の情報の表示に反映させる請求項１または２に記載の携帯機器。
4. 表示画面を有する表示部を備えた携帯機器において実行されるコンピュータプログラムであって、
   ユーザからの入力操作を受けるステップと、
   筐体の傾きの変化を検出するステップと、
   前記筐体の重心の移動を検出するステップと、
   前記筐体の所定の傾きを表示画面上の情報の表示に反映させるステップと、
   前記筐体の重心の移動が検出されている期間、筐体の傾きを利用することを抑止するステップと
   をコンピュータに実行させるコンピュータプログラム。
5. 表示画面を有する表示部を備えた携帯機器において実行されるコンピュータプログラムをコンピュータ読取可能に記録した記録媒体であって、
   前記コンピュータプログラムは、
   ユーザからの入力操作を受けるステップと、
   筐体の傾きの変化を検出するステップと、
   前記筐体の重心の移動を検出するステップと、
   前記筐体の所定の傾きを表示画面上の情報の表示に反映させるステップと、
   前記筐体の重心の移動が検出されている期間、筐体の傾きを利用することを抑止するステップと
   をコンピュータに実行させる記録媒体。