上述した従来例の技術は、携帯電話装置等におけるセンサによる計測結果の利用技術としては優れたものである。しかし、この従来例では、文字軌跡を描く場合には、利用者が、携帯電話装置等をほぼ2次元平面上でほぼ姿勢変化を伴わずに並進運動させることが必要であり、利用者にとって操作しずらさを伴うものであった。
ところで、地表近辺で使用される携帯電話等に装備される加速度センサは、運動加速度に重力加速度が重ね合わされた加速度を検出することになる。このため、静止状態とされた初期状態における加速度センサによる検出結果により重力方向(鉛直下方)を推定し、その後における加速度センサによる検出結果から、推定重力方向に基づいて求められる推定重力加速度成分を除去することが考えられる。
しかしながら、手動により携帯電話装置等を運動させた場合には、ある程度の携帯電話装置等の姿勢変化が発生してしまう。こうした姿勢変化は、加速度センサの検出結果のみからは検出できない。このため、上記の推定重力方向に基づいて求められる推定重力加速度成分の除去を、手動により運動している携帯電話装置等に適用すると、運動加速度が精度良く求められないことがしばしば発生する。この結果、携帯電話装置等の運動軌跡が精度良く求めることができない。
こうした事態は、幅をもった認識がなされる文字形状の入力や描画については許容可能な場合が多い。しかし、自己の趣味感に適合する図形等の入力や描画を行う場合等には、許容できない誤差が発生することが多々ある。
また、姿勢変化が発生した場合には姿勢変化に寄与する回転加速度も発生する。運動軌跡をより精度良く求めるためには、この回転加速度を更に考慮することが必要になると考えられる。
本発明は、上記の事情を鑑みてなされたものであり、携帯情報装置に搭載されたセンサによる検出結果に基づいて、携帯情報装置の運動軌跡を精度良く求め、求められた高精度の運動軌跡に対応した情報を出力することができる運動軌跡情報処理方法を提供することを目的とする。
また、本発明は、自身の運動軌跡を精度良く求め、求められた高精度の運動軌跡に対応した情報を出力することができる携帯情報装置を提供することを目的とする。
本発明は、第1の観点からすると、携帯情報装置において固有に定義される第1軸、前記第1軸と直交する第2軸、並びに前記第1軸及び前記第2軸と直交する第3軸のうちの少なくとも2つの軸方向に沿った加速度と、前記携帯情報装置の基準姿勢からの回転角を検出するセンサによる検出結果に基づいて、前記携帯情報装置の運動軌跡を求め、前記運動軌跡に対応した情報を出力する運動軌跡情報処理方法であって、前記センサによる前記回転角の検出結果、並びに前記少なくとも2つの軸方向に沿った加速度の検出結果に基づいて、前記少なくとも2つの軸方向に沿った並進運動加速度成分を算出する並進運動加速度算出工程と;前記並進運動加速度算出工程において算出された並進運動加速度成分に基づいて、前記携帯情報装置の運動軌跡を算出する運動軌跡算出工程と;前記運動軌跡算出工程において算出された運動軌跡に対応した情報を出力する運動軌跡情報出力工程と;を備える運動軌跡情報処理方法である。
この運動軌跡情報処理方法では、並進運動加速度算出工程において、センサによる基準姿勢からの回転角の検出結果及び少なくとも2つの軸方向に沿った加速度の検出結果に基づいて、少なくとも2つの軸方向に沿った並進運動加速度成分が算出される。すなわち、従来の加速度センサによる加速度の検出結果に加えて、基準姿勢からの回転角の検出結果や、基準姿勢からの回転角の変化態様を考慮して並進運動加速度成分を算出する。この結果、携帯情報装置の姿勢や姿勢変化を考慮したうえで、並進運動加速度成分が精度良く算出される。
引き続き、運動軌跡算出工程において、並進運動加速度算出工程で算出された並進運動加速度成分に基づいて、携帯情報装置の運動軌跡が算出される。そして、運動軌跡情報出力工程において、運動軌跡算出工程で算出された運動軌跡に対応した情報が出力される。
したがって、本発明の運動軌跡情報処理方法によれば、携帯情報装置の運動軌跡を精度良く求め、求められた高精度の運動軌跡に対応した情報を出力することができる。
本発明の運動軌跡情報処理方法では、前記携帯情報装置が静止された初期姿勢における前記センサによる前記回転角の検出結果、並びに前記少なくとも2つの軸方向に沿った加速度の検出結果に基づいて、鉛直方向を検出する鉛直方向検出工程を更に備えることができる。この場合には、静止された初期姿勢におけるセンサによる回転角の検出結果及び少なくとも2つの軸方向に沿った加速度の検出結果、並びに既知である重力加速度の多きさから、初期姿勢における鉛直方向が求められる。この結果、基準姿勢が大域的な位置や長時間の経過によって変化する場合であっても、初期姿勢による鉛直方向の検出後、大きく位置を移動したり、長時間にわたる運動軌跡情報処理を行ったりしない限り、鉛直方向を精度良く特定することができる。このため、センサによる加速度の検出からの重力加速度の除去を精度良く行うことができる。
また、本発明の運動軌跡情報処理方法では、前記並進運動加速度成分算出工程が、前記センサによる前記回転角の検出結果に基づいて、前記少なくとも2つの軸方向に沿った重力加速度の成分を推定する重力加速度成分推定工程と;前記重力加速度成分推定工程における推定結果を使用して、前記センサによる前記少なくとも2つの軸方向に沿った加速度の検出結果を補正し、前記並進運動加速度を算出する加速度補正工程と;を備えることができる。この場合には、前記並進運動加速度成分算出工程における並進加速度の算出に際して、まず、重力加速度成分推定工程において、センサによる回転角の検出結果に基づいて、少なくとも2つの軸方向に沿った重力加速度の成分が推定される。そして、加速度補正工程において、重力加速度成分推定工程における推定結果を使用して、センサによる少なくとも2つの軸方向に沿った加速度の検出結果を補正し、並進運動加速度を算出する。この結果、重力加速度の成分が的確に除去された加速度を、並進加速度として得ることができる。
ここで、前記加速度補正工程においては、前記センサによる前記回転角の検出結果の変化を更に考慮して、前記並進運動加速度を算出するようにすることができる。この場合には、基準姿勢に対する回転角の変化によって生じる回転加速度の大きさを考慮するので、更に精度良く並進加速度を得ることができる。
本発明の運動軌跡情報処理方法では、前記並進運動加速度成分算出工程が、前記センサによる前記少なくとも2つの軸方向に沿った加速度の検出結果に基づいて、前記少なくとも2つの軸方向に沿った加速度の変化の低周波成分を算出することにより、前記少なくとも2つの軸方向に沿った重力加速度の成分を推定するとともに、鉛直方向を推定する重力加速度成分推定工程と;前記重力加速度成分推定工程における推定結果を使用して、前記センサによる前記少なくとも2つの軸方向に沿った加速度の検出結果を補正し、前記並進運動加速度を算出する加速度補正工程と;を備えるようにすることができる。ここで、「低周波成分」とは、直流成分と評価できる成分をいう。以下、本明細書においては、この意味で「低周波成分」の用語を用いる。
この場合には、前記並進運動加速度成分算出工程における並進加速度の算出に際して、まず、重力加速度成分推定工程において、センサによる少なくとも2つの軸方向に沿った加速度の検出結果に基づいて、少なくとも2つの軸方向に沿った加速度の変化の低周波成分を算出することにより、少なくとも2つの軸方向に沿った重力加速度の成分を推定するとともに、鉛直方向を推定する。これは、手動による携帯情報装置の運動の場合、通常、その運動に寄与する加速度は刻々変化し、直流成分と評価できる成分は含まず、直流成分と評価できる成分は、一定の信頼性で重力加速度と推定することができることを利用した推定である。
そして、加速度補正工程において、重力加速度成分推定工程における推定結果を使用して、センサによる少なくとも2つの軸方向に沿った加速度の検出結果を補正し、並進運動加速度を算出する。この結果、重力加速度の成分が的確に除去された加速度を、並進加速度として得ることができる。
ここで、前記加速度補正工程においては、前記センサによる前記回転角の検出結果の変化を更に考慮して、前記並進運動加速度を算出するようにすることができる。この場合には、基準姿勢に対する回転角の変化によって生じる回転加速度の大きさを考慮するので、更に精度良く並進加速度を得ることができる。
本発明の運動軌跡情報処理方法では、運動軌跡情報出力工程において、前記運動軌跡に対応した情報に基づいて、前記運動軌跡に対応する図形を前記表示手段の画面に描画出力するようにすることができる。この場合には、携帯情報装置の表示手段の画面に、携帯情報装置の並進運動による運動軌跡を精度良く反映した図形を描画出力することができる。
また、本発明の運動軌跡情報処理方法では、運動軌跡情報出力工程において、前記運動軌跡に対応した情報を、他の情報装置へ向けて出力するようにすることができる。この場合には、他の情報装置に対して、携帯情報装置の並進運動による運動軌跡を精度良く反映した精度を通知することができるので、他の情報装置のポインティングデバイスとして、携帯情報装置を使用することができる。
本発明は、第2の観点からすると、自身において固有に定義される第1軸、前記第1軸と直交する第2軸、並びに前記第1軸及び前記第2軸と直交する第3軸のうちの少なくとも2つの軸方向に沿った加速度と、基準姿勢からの回転角を検出するセンサと;前記センサによる前記回転角の検出結果、並びに前記少なくとも2つの軸方向に沿った加速度の検出結果に基づいて、前記少なくとも2つの軸方向に沿った並進運動加速度を算出する並進運動加速度算出手段と;前記並進運動加速度に基づいて、運動軌跡を算出する運動軌跡算出手段と;前記運動軌跡の情報を出力する運動軌跡情報出力手段と;を備える携帯情報装置である。
この携帯情報装置では、並進運動加速度算出手段が、センサによる基準姿勢からの回転角の検出結果及び少なくとも2つの軸方向に沿った加速度の検出結果に基づいて、少なくとも2つの軸方向に沿った並進運動加速度成分を算出する。引き続き、運動軌跡算出手段が、並進運動加速度算出手段により算出された並進運動加速度成分に基づいて、携帯情報装置の運動軌跡を算出する。そして、運動軌跡情報出力手段が、運動軌跡算出手段により算出された運動軌跡に対応した情報を出力する。
すなわち、本発明の携帯情報装置は、上述した本発明の運動軌跡情報処理方法を使用して、携帯情報装置の運動軌跡情報を処理することができる。したがって、本発明の携帯情報装置によれば、携帯情報装置の運動軌跡を精度良く求め、求められた高精度の運動軌跡に対応した情報を出力することができる。
本発明の携帯情報装置では、静止された初期姿勢における前記センサによる前記回転角の検出結果、並びに前記少なくとも2つの軸方向に沿った加速度の検出結果に基づいて、鉛直方向を検出する鉛直方向検出手段を更に備えるようにすることができる。この場合には、基準姿勢が大域的な位置や長時間の経過によって変化する場合であっても、初期姿勢による鉛直方向の検出後、大きく位置を移動したり、長時間にわたる運動軌跡情報処理を行ったりしない限り、鉛直方向を精度良く特定することができる。
また、本発明の携帯情報装置では、前記並進運動加速度算出手段が、前記センサによる前記回転角の検出結果に基づいて、前記少なくとも2つの軸方向に沿った重力加速度の成分を推定する重力加速度成分推定手段と;前記重力加速度成分推定手段による推定結果を使用して、前記センサによる前記少なくとも2つの軸方向に沿った加速度の検出結果を補正し、前記並進運動加速度を算出する加速度補正手段と;を備えるようにすることができる。この場合には、並進加速度の算出に際して、まず、重力加速度成分推定手段が、センサによる回転角の検出結果に基づいて、少なくとも2つの軸方向に沿った重力加速度の成分を推定する。そして、加速度補正手段が、重力加速度成分推定手段による推定結果を使用して、センサによる少なくとも2つの軸方向に沿った加速度の検出結果を補正し、並進運動加速度を算出する。この結果、重力加速度の成分が的確に除去された加速度を、並進加速度として得ることができる。
ここで、前記加速度補正手段が、前記センサによる前記回転角の検出結果の変化を更に考慮して、前記並進運動加速度を算出するようにすることができる。この場合には、基準姿勢に対する回転角の変化によって生じる回転加速度の大きさを考慮するので、更に精度良く並進加速度を得ることができる。
また、本発明の携帯情報装置では、前記並進運動加速度成分算出手段が、前記センサによる前記少なくとも2つの軸方向に沿った加速度の検出結果に基づいて、前記少なくとも2つの軸方向に沿った加速度の変化の低周波成分を算出することにより、前記少なくとも2つの軸方向に沿った重力加速度の成分を推定するとともに、鉛直方向を推定する重力加速度成分推定手段と;前記重力加速度成分推定手段による推定結果を使用して、前記センサによる前記少なくとも2つの軸方向に沿った加速度の検出結果を補正し、前記並進運動加速度を算出する加速度補正手段と;を備えるようにすることができる。
この場合には、前記並進運動加速度成分算出工程における並進加速度の算出に際して、まず、重力加速度成分推定工程において、センサによる少なくとも2つの軸方向に沿った加速度の検出結果に基づいて、少なくとも2つの軸方向に沿った加速度の変化の低周波成分を算出することにより、少なくとも2つの軸方向に沿った重力加速度の成分を推定するとともに、鉛直方向を推定する。そして、加速度補正工程において、重力加速度成分推定工程における推定結果を使用して、センサによる少なくとも2つの軸方向に沿った加速度の検出結果を補正し、並進運動加速度を算出する。この結果、重力加速度の成分が的確に除去された加速度を、並進加速度として得ることができる。
ここで、前記加速度補正手段が、前記センサによる前記回転角の検出結果の変化を更に考慮して、前記並進運動加速度を算出するようにすることができる。この場合には、基準姿勢に対する回転角の変化によって生じる回転加速度の大きさを考慮するので、更に精度良く並進加速度を得ることができる。
本発明の携帯情報装置では、画面表示を行う表示手段を更に備え、運動軌跡情報出力手段が、前記運動軌跡に対応した情報に基づいて、前記運動軌跡に対応する図形を前記表示手段の画面に描画出力するようにすることができる。この場合には、携帯情報装置の表示手段の画面に、携帯情報装置の並進運動による運動軌跡を精度良く反映した図形を描画出力することができる。
また、本発明の携帯情報装置では、運動軌跡情報出力手段が、前記運動軌跡に対応した情報を、他の情報装置へ向けて出力する用にすることができる。この場合には、他の情報装置に対して、携帯情報装置の並進運動による運動軌跡を精度良く反映した精度を通知することができるので、他の情報装置のポインティングデバイスとして、携帯情報装置を使用することができる。
また、本発明の携帯情報装置では、移動通信網の基地局と無線通信を行うための無線通信手段を更に備えるようにすることができる。すなわち、本発明の携帯情報装置を、携帯電話装置等の移動通信端末装置とすることができる。
以上説明したように、本発明の運動軌道情報処理装置によれば、携帯情報装置に搭載されたセンサによる検出結果に基づいて、携帯情報装置の運動軌跡を精度良く求め、求められた高精度の運動軌跡に対応した情報を出力することができるという効果を奏する。
また、本発明の携帯情報装置によれば、自身の運動軌跡を精度良く求め、求められた高精度の運動軌跡に対応した情報を出力することができる。
<第1実施形態>
以下、本発明の第1実施形態を、図1〜図7を参照して説明する。
図1には、移動端末装置である携帯電話装置10の外観構成が概略的に示されている。ここで、図1(A)には、携帯電話装置10の外観の正面図が示され、図1(B)には、携帯電話装置10の外観の背面図が示されている。
図1(A)、図1(B)に総合的に示されるように、携帯電話装置10は、(a)携帯電話本体11と、(b)電話番号を入力するためのテンキー、及び、動作モードの切替等の各種指令を、後述する制御部21(図2参照)に入力するためのファンクションキーを有する操作部12と、(c)操作案内、動作状況、受信メッセージ等を表示する液晶表示装置を有する表示部13とを備えている。また、携帯電話装置10は、(d)通話時に通信相手から送られてきた音声信号を再生する通話用スピーカ14と、(e)集音時に音を入力したり、通話時に音声を入力したりするためのマイクロフォン15と、(f)着信音や案内音を発生するための案内用スピーカ16と、(g)基地局との間で無線信号を授受するためのアンテナ17とを備えている。
携帯電話本体11の内部には、図2に示されるように、(i)携帯電話装置10全体の動作を統括制御する制御部21と、(ii)アンテナ17を介して、基地局との間で無線信号の送受信を行う送受信部22と、(iii)制御部21で実行されるプログラムや各種データを格納する、読出専用メモリ(ROM)素子やランダムアクセスメモリ(RAM)素子を有する記憶部23とを備えている。また、携帯電話本体11の内部には、(iv)携帯電話装置10の姿勢角及び携帯電話装置10に作用する加速度を計測するためのセンサユニット25を備えている。
記憶部23は、その内部に、収集した計測データを一時的に記憶する一時記憶領域24を含んでいる。
センサユニット25は、携帯電話装置10の姿勢角及び携帯電話装置10に作用する加速度を検出し、アナログ電圧信号として出力するセンサ部26と、センサ部26から電圧信号の電圧値をデジタル値に変換するアナログデジタル(A/D)変換器27とを備えている。そして、A/D変換器27から出力されるデジタルデータが、計測データとして制御部21へ通知される。また、センサユニット25は、制御部21からの計測開始指令により動作を開始し、制御部21からの計測停止指令により動作を停止するようになっている。
センサ部26は、操作部12のマトリクス状のキー配列における行方向をX軸とし、列方向をY軸方向とするとともに、地磁気方向がY軸方向と平行であり、かつ、鉛直方向がYZ面と平行となる基準姿勢に対するピッチ角θX、ロール角θY及びヨー角θZに対応する地磁気に由来するX軸方向成分、Y軸方向成分及びZ軸方向成分の磁気量を検出する。また、センサ部26は、X方向の加速度(αX)、Y方向の加速度(αY)及びZ方向の加速度(αZ)に対応する電磁気量を検出する。そして、センサユニット25は、各計測時点において検出されたピッチ角θX、ロール角θY、ヨー角θZ、X方向加速度αX、Y方向加速度αY及びZ方向加速度αZに対応する検出結果を1組にし、計測生データとして制御部21へ通知するようになっている。なお、鉛直方向の特定については、後述する。
制御部21は、中央処理装置(CPU)、デジタル信号処理装置(DSP)等を備えており、一般的な携帯電話機能を実現するために、様々なデータ処理を行うとともに、上述した他の構成要素の動作制御を行うようになっている。この制御部21において実行されるソフトウエアの構成は、図3に示されるようになっている。
すなわち、制御部21におけるソフトウエアは、(i)携帯電話としての基本機能である通話機能、メール機能、文字入力機能等を実現するとともに、上述した各種のハードウエア資源の制御を行う基本処理部31Aと、(ii)利用者による携帯電話装置10の運動の軌跡に対応する図形を手書図形として表示部13の画面に表示出力する手書描画アプリケーション33Aとから構成されている。
基本処理部31Aは、計測データ処理プログラム35Aを備えている。この計測データ処理プログラム35Aは、アプリケーション33からの計測データ処理指令に応じて、センサユニット25からの計測生データを収集し、携帯電話装置10の並進運動加速度を算出する等の処理して、記憶部23内の一時記憶領域24に格納する。そして、計測データ処理プログラム35Aは、手書描画アプリケーション33Aからの計測データ要求に応じて、記憶部23内の一時記憶領域24に記憶された処理済計測データを手書描画アプリケーション33Aへ送る。
計測データ処理プログラム35Aは、図4に示されるように、(i)計測データ処理プログラム35Aの全体及びセンサユニット25の動作を統括制御する計測データ処理制御部49と、(ii)センサユニット25からの計測生データを受け、加速度や基準姿勢からの回転角(以下、「姿勢角」ともいう)という物理量データに変換し、計測物理量データとして、一時記憶領域24に格納するデータ収集部41とを備えている。また、計測データ処理プログラム35Aは、(iii)静止された初期姿勢において得られた計測物理量データに基づいて、鉛直下方を特定する鉛直方向特定部42と、(iv)計測物理量データ内の姿勢角データそれぞれにおける時間変化率を導出する姿勢角変化率導出部43とを備えている。
また、計測データ処理プログラム35Aは、(v)計測物理量データ、特定された鉛直方向。既知の重力加速度の大きさ及び姿勢角の時間変化率に基づいて、回転角速度及び並進加速度を算出する並進加速度算出部45Aと、(vi)手書描画アプリケーション33Aからの計測データ要求に応じて、最新の並進加速度、回転加速度及び姿勢角を手書描画アプリケーション33Aへ通知するデータ通知部46とを備える。
次に、上記のように構成された携帯電話装置10における計測データの処理について、主に図5〜図7を参照し、適宜他の図面を参照して説明する。
携帯電話装置10における計測データの処理では、利用者が操作部12のキーを操作して、手書描画アプリケーション33Aの起動指令を入力すると、手書描画アプリケーション33Aが起動される。こうして、手書描画アプリケーション33Aが起動されると、図5に示されるように、手書描画アプリケーション33Aが、初期姿勢における鉛直方向特定を伴うことを指定した計測データ処理開始指令を、計測データ処理プログラム35Aへ向けて送る。計測データ処理プログラム35Aでは、計測データ処理制御部49が、この計測データ処理開始指令を受ける。そして、計測データ処理制御部49は、手書描画アプリケーション33Aからの指令を解析し、計測データ処理開始指令であることを認識する。引き続き、計測データ処理制御部49は、センサユニット25が動作中であるか否かを判定する。この判定が否定的であった場合には、計測データ処理制御部49は、センサユニット25へ向けて、センサ動作開始指令を送る。
なお、センサ動作開始指令を受けると、センサユニット25は、センサ動作を開始し、センサ部26による検出結果をA/D変換器27によりデジタル化した後に、計測生データとして定期的(例えば、10msec周期)に制御部21(より詳しくは、データ収集部41)へ向けて出力する。
この後、手書描画アプリケーション33Aから鉛直方向特定指令を受けるまでは、計測データ処理プログラム35Aは、センサユニット25からの計測生データを受けても、物理量データへの変換等を行わないようになっている。そして、利用者が、携帯電話装置10を静止させたうえで、操作部12のキーを操作して、描画動作の開始を手書描画アプリケーション33Aに指令すると、手書描画アプリケーション33Aが、初期姿勢における鉛直方向特定指令を計測データ処理プログラム35Aへ向けて送る。計測データ処理プログラム35Aでは、計測データ処理制御部49が、この鉛直方向特定指令を受ける。そして、計測データ処理制御部49は、手書描画アプリケーション33Aからの指令を解析し、鉛直方向特定指令であることを認識する。引き続き、計測データ処理制御部49は、データ収集開始命令をデータ収集部41へ送る。
データ収集開始命令を受けると、データ収集部41は、データ収集動作を開始する。このデータ収集動作において、データ収集部41は、センサユニット25からの新たな計測生データを受ける度に、新たに受けた計測生データに基づいて、加速度や姿勢角の大きさを直接的に表す物理量データを算出する。そして、データ収集部41が、算出された物理量データを新たな計測物理量データとして一時記憶領域24に格納する。こうして新たな計測物理量データの一時記憶領域24への格納が完了すると、データ収集部41は、その旨を計測データ処理制御部49へ通知する。なお、一時記憶領域24は、いわゆるリングバッファとされている。
こうして、鉛直方向特定指令を受信後に新たな計測物理量データの一時記憶領域24への格納がされたことを認識した計測データ処理制御部49は、鉛直方向特定命令を鉛直方向特定部42へ送る。この鉛直方向特定命令を受けた鉛直方向特定部42は、ステップS19において、初期姿勢における鉛直方向の特定を行う。
ステップS19においては、鉛直方向特定部42は、まず、一時記憶領域24から鉛直方向特定指令を受信後における計測物理量データを読み出す。引き続き、読み出された計測物理量データにおけるX軸、Y軸及びZ軸方向の加速度データ、及び、重力加速度の大きさに基づいて、現段階において携帯電話装置10が静止していると考えてよいかを判定する。この判定結果が否定的であった場合には、次の計測物理量データを読み出す。
一方、判定結果が肯定的であった場合には、鉛直方向特定部42は、計測物理量データにおけるX軸、Y軸及びZ軸方向の加速度データに基づいて、鉛直方向を特定する。引き続き、鉛直方向特定部42は、初期状態におけるX軸、Y軸及びZ軸方向のそれぞれと鉛直方向とがなす角度を算出し、そのときの姿勢角データとともにを鉛直方向情報として、並進加速度算出部45Aへ送るとともに、鉛直方向が特定された旨を計測データ処理制御部49へ送る。
こうして鉛直方向が特定されると、計測データ処理プログラム35Aは、ステップS11Aの計測データ処理を開始する。このステップS11Aでは、図6に示されるように、まず、ステップS21において、データ収集部41が、センサユニット25からの新たな計測生データを受けたか否かを判定する。この判定が否定的であった場合には、ステップS21の処理が繰り返される。
そして、データ収集部41がセンサユニット25からの新たな計測生データを受け、ステップS21において肯定的な判定がなされると、処理はステップS22へ移行する。このステップS22では、データ収集部41が、新たに受けた計測生データに基づいて、加速度や姿勢角の大きさを直接的に表す物理量データを算出する。こうして新たな計測物理量データの一時記憶領域24への格納が完了すると、データ収集部41は、その旨を計測データ処理制御部49へ通知する。
次に、ステップS25Aにおいて、計測データ処理制御部49からの指令を受けた姿勢角変化率導出部43が、計測物理量データにおける姿勢角データに基づいて、最新の計測物理量データの収集時点とその前の計測物理量データの収集時点との間における姿勢角それぞれの時間変化率を導出する。姿勢角変化率導出部43は、以上のようにして導出された姿勢角の時間変化率を、最新の計測物理量データとともに、並進加速度算出部45Aへ送る。
次いで、ステップS26Aにおいて、並進加速度算出部45Aが、姿勢角の時間変化率を、最新の計測物理量データ、並びに鉛直方向情報に基づいて、並進加速度及び回転加速度を算出する。かかる算出に際しては、まず、並進加速度算出部45Aは、鉛直方向情報、最新の計測物理量データにおける姿勢角データ及び既知の重力加速度の大きさに基づいて、X軸方向、Y軸方向及びZ軸方向における重力加速度の成分を算出する。引き続き、並進加速度算出部45Aは、最新の計測物理量データにおける加速度データから、重力加速度の成分を除去する。次に、並進加速度算出部45Aは、姿勢角の時間変化率を考慮した補正を行うことにより、並進加速度を算出する。
こうして、並進加速度が算出されると、並進加速度算出部45Aは、一時記憶領域24に、算出された並進加速度及び姿勢角を1組の通知用データとして格納する。こうして、ステップS26Aが終了する。以後、計測データ処理の停止要求を手書描画アプリケーション33Aから受けるまで、計測データ処理プログラム35Aは、ステップS21〜S26Aを繰り返す。
図5に戻り、上記のステップS11Aの計測データ処理における所望の時点で、手書描画アプリケーション33Aが、データ要求を、計測データ処理プログラム35Aへ向けて送る。計測データ処理プログラム35Aでは、計測データ処理制御部49が、このデータ要求を受け、手書描画アプリケーション33Aからの指令を解析し、手書描画アプリケーション33Aからのデータ要求であることを認識する。そして、計測データ処理制御部49は、データ通知部46に対して、手書描画アプリケーション33Aへの通知用データの通知指令を行う。この指令を受けたデータ通知部46は、ステップS121のデータ通知処理を行う。
ステップS121では、まず、データ通知部46が、一時記憶領域24から通知用データを読み出す。引き続き、データ通知部46は、読み出された通知用データを手書描画アプリケーション33Aへ通知する。こうして、ステップS121の処理が終了する。
以上のようにして、計測データ処理が行われることにより、手書描画アプリケーション33Aは、所望の時点におけるデータ要求の発行により、最新の並進加速度及び姿勢角を取得することができる。
なお、ステップS11Aの計測データ処理は、ステップS121のデータ通知処理の実行中も並行して実行されるし、ステップS121のデータ通知処理の実行終了後も継続して実行される。このため、手書描画アプリケーション33Aは、所望の時点で何度でもデータ要求を発行することにより、最新の並進加速度及び姿勢角を取得することができる。
また、ステップS11Aの計測データ処理は、手書描画アプリケーション33Aが、所望の時に、データ収集停止要求を発行することにより終了する。また、手書描画アプリケーション33Aがセンサ動作停止要求を発行すると、これを受けた計測データ処理プログラム35A(より詳しくは、計測データ処理制御部49)は、センサユニット25へ向けて、センサ動作停止指令を送る。この結果、センサユニット25の動作が停止する。
以上のように行われるデータ処理の結果として得られる並進加速度及び姿勢角を利用して行われる、手書描画アプリケーション33Aによる描画出力処理について説明する。なお、手書描画アプリケーション33Aにおいては、利用者が操作部のキーの内における手書描画アプリケーション33Aの実行中に描画指定用のキーとして定義される描画指定キーが押下されていない期間は、携帯電話装置の運動に応じてカーソルのみが表示部13の画面上を移動し、描画指定キーが押下されている期間は、携帯電話装置10の運動軌跡に応じた線描画が表示部13の画面上においてなされるものとする。また、携帯電話装置の運動距離に対応する表示部13の画面上における移動距離は、手書描画アプリケーション33Aにおいて予め定められているものとする。
上述のステップS19(図5参照)において鉛直方向が特定され、その旨が通知されると、手書描画アプリケーション33Aは、図7(A)に示されるように、表示部13の画面上の中央位置にカーソルCSを表示させる。引き続き、利用者が所望の描画開始位置にカーソルCSを移動させるために、描画指定キーを押下しない状態で、携帯電話装置10を画面の左上方向に運動すると、カーソルCSが画面上を左上方向へ移動する。こうして、カーソルCSが描画開始位置に移動した場合の表示例が図7(B)に示されている。なお、本実施形態においては、手書描画アプリケーション33Aは、計測データ処理プログラムから受けたX軸方向、Y軸方向及びZ軸方向の成分を有する3次元加速度の初期姿勢時におけるXY平面への射影結果に基づいて、表示部13における画面上におけるカーソルCSの移動量及び移動方向を算出するようになっている。
カーソルCSが画面上の描画開始位置に到達すると、利用者は、描画指定キーを押下する。そして、利用者は、描画したい図形に対応する運動軌跡を描くように、携帯電話装置10を運動させる。この結果、携帯電話装置10の運動軌跡に対応するカーソルCSの移動軌跡に沿って線が画面上に描画される。こうした描画の一例が、図7(C)に示されている。
利用者が、以上の描画指定キーを押下しない状態における携帯電話装置10の運動、及び、押下した状態における携帯電話装置10の運動を適宜組み合わせて行わせることにより、携帯電話装置の運動軌跡を精度良く反映した図形が表示部13の画面上に描画される。
こうして行われた描画結果をGIF(Graphic Interchange Format)、JPEG(Joint Photographic Experts Group)又はSVG(Scalable Vector Graphics)等の形式のファイルとし、電子メールに添付したり、HTTP(HyperText Transfer Protocol)等のプロトコルにより送信することにより、所望の相手に描画結果を送信することができる。
また、描画結果ではなく、描画に利用した画面上の始点位置及びその後の画面上における位置遷移情報を、描画指定キーの操作情報等とともに、電子メールに添付したり、HTTP等のプロトコルにより送信することにより、所望の相手に描画情報を送信することができる。
以上説明したように、本第1実施形態では、計測データ処理プログラム35Aのデータ収集部41が、携帯電話装置10において固有に定義される互いに直交するX軸、Y軸及びZ軸それぞれに沿った方向の加速度の計測結果、並びに姿勢角の計測結果を収集する。引き続き、計測データ処理プログラム35Aの並進加速度算出部45Aが、データ収集部41による収集結果に基づいて、並進加速度を算出する。そして、手書描画アプリケーション33Aのデータ要求に応答して、計測データ処理プログラム35Aのデータ通知部46が、最新の並進加速度及び姿勢角を手書描画アプリケーション33Aへ通知する。そして、手書描画アプリケーション33Aが、通知された並進加速度及び姿勢角に基づいて、携帯電話装置10の運動軌跡に対応する図形を表示部13の画面上に描画する。
したがって、本第1実施形態によれば、携帯電話装置10に搭載されたセンサユニット25による検出結果に基づいて、携帯電話装置10の運動軌跡を精度良く求め、求められた高精度の運動軌跡に対応した図形を表示部13の画面上に描画出力することができる。
また、鉛直方向特定部42が、静止された初期姿勢におけるセンサユニット25に検出結果に基づいて鉛直方向を特定する。そして、特定された鉛直方向を利用して、その後の加速度の検出結果からの重力加速度の除去を行う。このため、地球上の位置により水平面に対する傾きが異なる地磁気方向を検出する本実施形態の姿勢角センサを用いる場合であっても、動作中に地磁気方向の変化が無視できる程度の移動しかなされない範囲においてであれば、鉛直方向を精度良く特定することができる。
また、並進加速度算出部45Aが、その時点における姿勢角に基づいて、X軸方向、Y軸方向及びZ軸方向における重力加速度の成分を精度良く推定し、X軸方向、Y軸方向及びZ軸方向についての加速度の計測結果から重力加速度成分を除去する。したがって、重力加速度の成分が的確に除去された加速度を、並進加速度として得ることができる。
また、並進加速度算出部45Aは、姿勢角変化率導出部43により得られた姿勢角変化率を考慮した補正を行って、並進加速度を算出する。このため、姿勢変化によって生じる回転加速度の大きさを考慮された並進加速度を得ることができる。
なお、上記の第1実施形態では、地磁気方向を検出することにより、地磁気方向によって定まる基準姿勢からの回転角を検出することにしたが、位置や時間により変化することのない基準姿勢からの回転角を検出するようにすれば、鉛直方向特定部42が不要となる。
また、上記の第1実施形態では、X軸方向、Y軸方向及びZ軸方向の加速度を検出するようにしたが、例えば、X軸方向及びY軸方向の2軸方向について加速度を検出するようにすることもできる。この場合には、上記の計測データ処理プログラム35Aに代えて、図8に示されるように、姿勢角変化率導出部43の代りに初期姿勢からの姿勢変化を監視する姿勢角変化監視部44を備えるとともに、並進加速度算出部45Aの代りにX軸方向及びY軸方向の並進加速度を算出する並進加速度算出部45Bを備える計測データ処理プログラム35Bを採用することが望ましい。こうした構成においては、姿勢角変化監視部44が、姿勢角変化が所望の描画精度を確保できる所定範囲の外になったときに、その旨を、計測データ処理制御部49を介して、手書描画アプリケーション33Aへ通知するようにする。
なお、図8においては、上記の第1実施形態の場合と同一又は同等の要素には、同一の符号を付し、重複する説明を省略した。
また、上記の第1実施形態では、並進加速度算出部45Aが、鉛直方向情報、最新の計測物理量データにおける姿勢角データ及び既知の重力加速度の大きさに基づいて、X軸方向、Y軸方向及びZ軸方向における重力加速度の成分を算出するようにした。これに対して、並進加速度算出部45Aが、X軸方向、Y軸方向及びZ軸方向のそれぞれに関する加速度の計測結果の時間変化について低周波成分(直流成分を評価できる成分)を算出し、これらをX軸方向、Y軸方向及びZ軸方向に関する重力加速度の成分と推定するとともに、更に鉛直方向を推定するようにすることもできる。かかる推定は、手動による携帯電話装置10の運動の場合、通常、その運動に寄与する加速度は刻々変化し、直流成分と評価できる成分は含まず、直流成分と評価できる成分は、一定の信頼性で重力加速度と推定することができるとの発明者の知見に基づくものである。
この場合には、並進加速度算出部45Aが、上記のように推定された鉛直方向とその時点でのX軸方向、Y軸方向及びZ軸方向のそれぞれとのなす角度を算出するとともに、最新の計測物理量データにおける加速度データから、重力加速度の成分を除去した後、姿勢角の時間変化率を考慮した補正を行うことにより、並進加速度を算出する。これらの算出結果を手書描画アプリケーション33Aへ報告することにより、上記の第1実施形態の場合と同様に、携帯電話装置10の運動軌跡を精度良く求め、求められた高精度の運動軌跡に対応した図形を表示部13の画面上に描画出力することができる。
<第2実施形態>
以下、本発明の第2実施形態を、主に図9〜図12を参照して説明する。なお、本第2実施形態の説明に際して、上記の第1実施形態の場合と同一又は同等の要素には、同一の符号を付し、重複する説明を省略する。
本実施形態に係る携帯電話装置10Cは、図9に示されるように、情報処理装置50に対して、携帯電話装置10Cの運動軌跡情報を通知することができるものあり、情報処理装置50にとっては、マウスと同様のポインティングデバイスとして機能するものである。
この携帯電話装置10Cは、図10に示されるように、操作部12が、上記の第1実施形態の場合と比べて、2ボタンマウスの左ボタン及び右ボタンに相当する左クリックキー12L及び右クリックキー12Rを更に備えている。また、携帯電話装置10Cは、図11に示されるように、上記の第1実施形態の場合と比べて、制御部21に接続され、情報処理装置50へ運動軌跡情報を送るための外部インターフェース29を更に備えている。また、携帯電話装置10Cの制御部21で実行されるソフトウエアは、図12に示されるように、第1実施形態における手書描画アプリケーションに代えて、各時点の運動軌跡情報である携帯電話装置10Cの移動情報、及び、左クリックキー12L又は右クリックキー12Rの押下を、外部インターフェース29を介して、情報処理装置50へ送るマウスアプリケーション33Cを備えている。
次に、上記のように構成された携帯電話装置10Cにおける計測データの処理について説明する。
携帯電話装置10Cにおける計測データの処理では、利用者が操作部12のキーを操作して、マウスアプリケーション33Cの起動指令を入力すると、マウスアプリケーション33Cが起動される。こうして、マウスアプリケーション33Cが起動されると、第1実施形態の場合と同様に、マウスアプリケーション33Cが、初期姿勢における鉛直方向特定を伴うことを指定した計測データ処理開始指令を、計測データ処理プログラム35Aへ向けて送る。計測データ処理開始指令を受けた計測データ処理プログラム35Aでは、第1実施形態の場合と同様にして、計測データ処理制御部49が、センサユニット25が動作中でない場合には、センサユニット25へ向けて、センサ動作開始指令を送り、センサ動作を開始させる。
この後、マウスアプリケーション33Cから鉛直方向特定指令を受けると、計測データ処理制御部49による制御のもとで、データ収集部41は、データ収集動作を開始した後、鉛直方向特定部42が、初期姿勢における鉛直方向の特定を行う。
こうして鉛直方向が特定されると、計測データ処理プログラム35Aが、第1実施形態の場合と同様にして、計測データ処理を開始する。この結果、マウスアプリケーション33Cは、所望の時点におけるデータ要求の発行により、最新の並進加速度及び姿勢角を取得することができる。
また、計測データ処理プログラム35Aによる計測データ処理は、第1実施形態の場合と同様に、マウスアプリケーション33Cが、所望の時に、データ収集停止要求を発行することにより終了する。また、マウスアプリケーション33Cがセンサ動作停止要求を発行することにより、第1実施形態の場合と同様に、センサユニット25の動作が停止する。
以上のように行われる計測データ処理の結果として得られる並進加速度及び姿勢角をマウスアプリケーション33Cが取得すると、マウスアプリケーション33Cは、並進加速度に基づいて、運動軌跡を求め、前回に運動軌跡を求めた時点からの携帯電話装置10Cの3次元移動量を算出する。そして、マウスアプリケーション33Cは、算出された3次元移動量を、外部インターフェース29を介して、情報処理装置50へ送る。
また、マウスアプリケーション33Cは、利用者が左クリックキー12L又は右クリックキー12Rを押下すると、直ちにその旨を、外部インターフェース29を介して、情報処理装置50へ送る。
こうした動作の結果、情報処理装置50には、2ボタンマウスの場合と同様の情報が、携帯電話装置10Cから提供される。
以上説明したように、本第2実施形態では、第1実施形態の場合と同様にして精度良く得られた並進加速度に基づいて求められ、マウスアプリケーション33Cに通知される。そして、マウスアプリケーション33Cは、通知された並進加速度を利用して、携帯電話装置10Cの移動量を求め、情報処理装置50へ通知する。また、マウスアプリケーション33Cは、左クリックキー12L又は右クリックキー12Rの押下情報を、情報処理装置50へ通知する。
したがって、本第2実施形態によれば、精度の良い携帯電話装置10Cの移動量の情報を、情報処理装置50に供給することができる。
なお、上記の第2実施形態では、3次元移動量の情報を情報処理装置50へ供給するようにしたが、初期状態におけるXY平面内の移動量という2次元移動量の情報を情報処理装置50へ供給するようにすることもできる。
また、上記の第2実施形態では、前回に運動軌跡を求めた時点からの携帯電話装置10Cの3次元移動量を情報処理装置50へ送るようにしたが、例えば、始点位置を基準位置(例えば、原点位置)とした場合における各時点の位置等といった運動軌跡を特定できる情報であれば、どのような形式の情報を送るようにしてもよい。
また、上記の第2実施形態では、X軸方向、Y軸方向及びZ軸方向の加速度を検出するようにしたが、例えば、X軸方向及びY軸方向の2軸方向について加速度を検出するようにすることもできる。この場合には、図8を参照して説明した第1実施形態に対する変形と同様の変形を施すことが好ましい。
また、上記の第2実施形態においても、第1実施形態の場合と同様に、並進加速度の算出に関する変形をすることができる。
外部インターフェース29は、無線仕様であってもよいし、有線仕様であってもよい。
上記の第1及び第2実施形態では、本発明を携帯電話装置に適用したが、携帯電話装置以外の携帯情報装置に本発明を適用することができることは、勿論である。
10,10C…携帯電話装置(携帯情報装置)、11…携帯電話本体、12…操作部、13…表示部、14…通話用スピーカ、15…マイクロフォン、16…案内用スピーカ、17…アンテナ、21…制御部、22…送受信部、23…記憶部、24…一時記憶領域、25…センサユニット、26…センサ部、27…A/D変換器、29…外部インターフェース、31A…基本処理部、33A…手書描画アプリケーション、33C…マウスアプリケーション、35A,35B…計測データ処理プログラム、41…データ収集部、42…鉛直方向特定部、43…姿勢角変化率導出部、45A,45B…並進加速度算出部、46…データ通知部、49…計測データ処理制御部、50…情報処理装置。