JP2015531947A - 磁場センサを用いて使用者入力を判断する電気装置 - Google Patents

Abstract

本発明は、磁場センサを備えた移動通信端末機を用いて使用者入力を正確に判断し、その判断に対応する制御などを行う磁場センサを用いて使用者入力を判断する電気装置に関するものである。本発明に係る磁場センサを用いて使用者入力を判断する電気装置は、磁場発生部を備えるｎ自由度の外部物体からの磁場を感知して、有限のｍ次元の磁場ベクトルを生成する少なくとも一つの磁場センサ部と、外部物体の運動に対する物理的事前情報を格納し、有限のｍ次元の磁場ベクトル及び物理的事前情報に基づき、外部物体の変位及び回転情報を判断する制御部とからなる。

Description

本発明は、電気装置に関し、特に、磁場センサを備えた移動通信端末機を用いて使用者入力を正確に判断し、その判断に対応して制御などを行う磁場センサを用いて使用者入力を判断する電気装置に関する。

初期ＰＣ時代から使われてきたマウスは、ｘ及びｙの両軸に動きを入力する２次元又は２自由度（ｄｅｇｒｅｅ ｏｆ ｆｒｅｅｄｏｍ）装置であった。米国ロジテック社の米国特許第７３１７４４８号などでは、２つの光学センサを用いてマウスの解像度を高め、マウスの回転角度ｒまで認識する３自由度を具現した。以後、ノートブックコンピュータに装着されたトラックパッドの平面を指先で押下して引っ張る装置が一般的であった。このようなトラックパッドは、以後、タブレットＰＣやスマートフォンの出現に伴い、出力表示スクリーン上に静電式又は感圧式により透明に具現される対象を直接押下したり引っ張るタッチスクリーン入力装置に発展した。タッチスクリーンは、指で押下して入力したり、ペンやスタイラスで入力したりするが、特に、日本ワコム社でＥＭＲ（ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ）という電磁石及び磁気共鳴電源伝達に基づいた特許技術（米国特許第６５５６１９０号等）によりスタイラスを製作して、ＰＯＳ入力装置や一部のスマートフォンやタブレットに幅広く使用された。ワコム社のスタイラスの場合、入力パッド上に指や手頬が置かれても、スタイラス先のみを区分して処理が可能であり、押下圧力が測定可能であるため、字画の太さを調節する等、高機能を備えている。ワコムペン以外にも、低価で具現可能なタッチペンがスマートフォンやタブレットの主要な入力装置として使用された。タッチペンは、静電容量方式を採択したマルチタッチスクリーンを電導性物質（ｃｏｎｄｕｃｔｉｖｅ ｍａｔｅｒｉａｌ）であるペン先でタッチしたり、感圧式スクリーンに単純な機械的圧力を加えてデバイスに絵書きをしたり、使用者の指の代わりにメニュー選択や引っ張り等の一般的な入力をするアクセサリーである。タッチペンも、平面スクリーン上の座標を入力する２自由度の入力装置であるが、手のひらがタッチスクリーンに接触するのか、又はタッチペンに接触するのかを区分できないため、手頬をタッチスクリーンにタッチして書くのが困難であり、押下圧力を測定できないため、字画の太さを調節できないという短所等がある。

特に、取扱対象が３次元の場合、タッチスクリーン、マウス及びトラックパッドのような２次元平面での操作としては、直観的で便利な操作が困難である。まず、３次元上の物体は、３個の独立軸の引っ張り（ｚｏｏｍ、ｐａｎ）や３つの独立軸による回転（ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ）等のような６個の自由度を持つが、マルチタッチによっても２つの指として自由度が４個のみであり、親指や人差し指の以外の指をさらに使用しても、この指を独立的に使用して自由度の高い入力を直観的に行うのが困難である。

このような問題を解決するための方法としては３次元マウスがある。このうち、多くの成功を収めた３ｄ ｃｏｎｎｅｘｉｏｎ社の場合、米国特許第７２１５３２３号に示すように、使用者が手で持って３次元上の方向に引っ張ることもでき、３次元上で回転させることができるノブ形態のマウスを提供して６個の自由度を具現する。しかしながら、このようなマウスは、内部に多くのセンサを内蔵し、電源が供給されるように複雑な回路を構成しなければならず、機構的にも複雑に構成されて具現費用が高い。

３次元上の入力を、アイフォン（ｉｐｈｏｎｅ）等のような現存のスマートフォンやタブレットに装着された多様な加速度センサを用いて、ソフトウェアで解決しようとした。米国デユーク大学のフォンポイントペン（Ｐｈｏｎｅ Ｐｏｉｎｔ Ｐｅｎ）というプロジェクトでは、虚空にスマートフォンで文字の軌跡を書くと、スマートフォンのジャイロメータ（Ｇｙｒｏｍｅｔｅｒ）及びアクセロメータ（ａｃｃｅｌｅｒｏｍｅｔｅｒ）がこれを認識して、ソフトウェア上の字画に変更する。また、米国ＩｎｖｅｎＳｅｎｓｅ社の“Ｍｏｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ”というレポートでは、スマートフォンに装着された加速度を測定するジャイロメータ、アクセロメータ及びイ−コンパス（ｅ−Ｃｏｍｐａｓｓ）の入力を全部参考にしてノイズなどを除去し、適切な微積分演算を行う“センサフュージョンアルゴリズム（ｓｅｎｓｏｒ ｆｕｓｉｏｎ ａｌｇｏｒｉｔｈｍ）”を介して、センサにより速度の変化だけでなく、６自由度の角度及び変位まで測定できると主張している。しかしながら、手ズレ、持っている物体の重心変化による偏り、本体自体の動き及び回転などにより多くのノイズが発生する環境において、加速度を２回積分して絶対変位を知ることは事実上不可能である。虚空に大きくて速い動きで文字を書く時のように、動きに関連した加速度がノイズに比べて十分に大きい特殊な状況を除いた殆どの場合には、ノイズにより十分に正確な変位値を得るのが不可能である。特に、数センチメートル範囲でマウスを短い距離操作する環境にこのような技術を適用することは不可能である。

既存の単純な入力装置であるマウス、トラックボール及び静電圧式スタイラス等は、構築費用が安くて体積も小さくてスマートフォンやタブレット等の携帯型コンピュータに容易に適用できるが、入力が面倒で、直観的でない短所があり、一人の使用者が多様な入力装置を所有するには、各々に入っているセンサ、回路、通信インターフェース及び電源等により費用も高くて、重さや体積が大きくなる短所がある。

より複雑な入力装置としてマルチタッチスクリーンは、既に携帯型コンピュータに具備されて指や静電式スタイラスで押下して使用でき、書き、選択、ズーム、引っ張り等、平面上で多様な入力を直観的に行われる。しかしながら、これも、スタイラスペン先の位置と手頬との区分が難しくて虚空で書かなければならない不便さがあり、操作対象がソフトウェアで具現される仮想の３次元物体である場合、直観的な操作が非常に難しい。

さらに、ＷｉｉやＫｉｎｅｃｔ等のようなモーションゲーム装置が、携帯コンピュータに適用されるには、アクセサリーに多様なセンサ、マイクロコントローラ及び電源等によりハードウェア構築費用が高価であるだけでなく、より根本的にはカメラをセンサとして使用するため、センサから使用者の身体や小品まで視線（ｌｉｎｅ ｏｆ ｓｉｇｈｔ）が確保されなければならないため、出力画面近傍で複数個の指で操作する携帯装置用入力としては適切でない。

また、米国特許第８３７６８５４号は、コンパスセンサ（ｃｏｍｐａｓｓ ｓｅｎｓｏｒ）を用いて磁気要素の移動に基づいて動きを認識することが記載されているが、単純に磁気要素の移動を感知できるだけで、磁気要素の変位や回転などに対する精密な情報が確認できない短所がある。

本発明は、モーション入力を行うために、移動通信端末機や携帯コンピュータが既に備える磁場センサ（ｍａｇｎｅｔｏｍｅｔｅｒ）を用いて、使用者が一体のセンサ、回路及び電源装置なしに磁石のみを有する移動性物体（アクセサリー）を操作し、多様な直観的モーションを移動通信端末機や携帯コンピュータが認識又は判断して、ソフトウェア上の客体状態を変えてグラフィックエディタ、モーションゲーム、距離ビュー及びグーグルアース（ｇｏｏｇｌｅ ｅａｒｔｈ）などの地理空間的（ｇｅｏｓｐａｔｉａｌ）な応用を便利に操作しようとするものである。特に、磁場を使用するので、有限の空間で主に指で操作される移動通信端末機や携帯コンピュータにおける可視線確保問題が解決できる。

本発明は、移動通信端末機や携帯型コンピュータに装着された有限の次元の磁場センサを用いて、６個の自由度を持つ三次元空間上の物体（アクセサリー）の動きを把握するために、物体（アクセサリー）が動く時に適用される物理学的な制約事項及び事前仮定を動員して、色々な時点で測定したり、物体（アクセサリー）の動きに物理的な制限を加えたりして、移動通信端末機や携帯型コンピュータの制御部（ソフトウェア）２８０がモーション値を計算するようにする。

さらに、現存する携帯型コンピュータの殆どに具備されたエクセレロメータ（ａｃｃｅｌｅｒｏｍｅｔｅｒ）やジャイロスコープ（ｇｙｒｏｓｃｏｐｅ）等のような加速度センサをモーション認識にさらに使用するために、磁石を有する物体（アクセサリー）を固定し、移動通信端末機や携帯型コンピュータを手で持って操作して、物体との相対的な位置を移動通信端末機や携帯型コンピュータが判断して処理できるようにする。

本発明に係る磁場センサを用いて使用者入力を判断する電気装置は、磁場発生部を備えるｎ自由度の外部物体からの磁場を感知して、有限のｍ次元の磁場ベクトルを生成する少なくとも一つの磁場センサ部と、前記外部物体の運動に対する物理的事前情報を格納し、前記有限のｍ次元の磁場ベクトル及び前記物理的事前情報に基づき、前記外部物体の３次元の変位（ｘ，ｙ，ｚ）及び３次元の回転（ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ）情報を判断する制御部とを備え、ここで、ｎ＞ｍである。

また、前記物理的事前情報が、前記外部物体又は前記磁場発生部の運動経路、運動種類及び運動の推定情報の少なくとも一つを含む。運動経路は直線運動、外部物体又は磁場発生部が電気装置に最短距離で接近する運動などを含み、運動種類は物体の転がし運動、歳差運動、直線運動、軌跡を持つ放物線運動及び固定された外部物体内に備えられた磁石が元の位置で回転する運動などを含み、推定又は仮定情報は指動きの推定値、外力がないことなどを含む。

また、前記制御部が、互いに異なる視覚から得られた少なくとも２つ以上の有限のｍ次元の磁場ベクトルを用いるのが好ましい。

また、前記制御部が、前記２つ以上の有限のｍ次元の磁場ベクトルを用いて、時間に対して独立的な運動パラメータを決定するものである。時間に対して独立的な運動パラメータは、摩擦係数や弾性係数などを含む。

また、前記制御部は、前記外部物体内の前記磁場発生部が前記外部物体の外側面となす角度情報を格納するのが好ましい。

また、前記電気装置はタッチスクリーンを備え、前記制御部が、前記タッチスクリーンからの入力情報をさらに用いて、前記外部物体の３次元の変位（ｘ，ｙ，ｚ）及び３次元の回転（ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ）情報を判断するのが好ましい。

また、前記電気装置はマイクロホンを備え、前記制御部が、前記マイクロホンからの音響情報をさらに用いて、前記外部物体の３次元の変位（ｘ，ｙ，ｚ）及び３次元の回転（ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ）情報を判断するのが好ましい。

また、前記磁場センサ部及び前記外部物体の前記磁場発生部の少なくとも一つが移動可能であるのが好ましい。

また、前記制御部が、前記移動可能な磁場センサ部の３次元の変位（ｘ，ｙ，ｚ）及び３次元の回転（ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ）情報を判断するのが好ましい。

また、前記磁場センサ部は、既設定の角度をなす複数の磁場を測定したり、コード化した磁場を測定したりするのが好ましい。

また、本発明に係る磁場センサを用いて使用者入力を判断する方法は、ｎ自由度の外部物体からの磁場を感知して、有限のｍ次元の磁場ベクトルを生成するステップと、前記有限のｍ次元の磁場ベクトル及び前記外部物体に対する既格納の物理的事前情報に基づき、前記外部物体の３次元の変位（ｘ，ｙ，ｚ）及び３次元の回転（ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ）情報を判断するステップとを含み、ここで、ｎ＞ｍである。

本発明は、携帯コンピュータにモーション入力を行うために、携帯コンピュータが既に備えた磁場センサ（ｍａｇｎｅｔｏｍｅｔｅｒ）やタッチスクリーン等を用いて、アクセサリーには一体の電子センサ、回路及び電源装置なしに単純な磁石やタッチスクリーン入力用接点等のみを備え、アクセサリーを介して多様な使用者入力である直観的モーションをコンピュータソフトウェアに入力して、ソフトウェア上の客体状態を変えてグラフィックエディタ、モーションゲーム、距離ビュー及びグーグルアース等のような地理空間的（ｇｅｏｓｐａｔｉａｌ）な応用を便利に操作するようにする。

また、本発明は、磁場による感知であって、有限の空間で主に指で操作される携帯コンピュータにおいて、感知のために可視線を確保する必要を効果的に克服する。また、本発明は、磁場を３次元ベクトルで感知する磁場センサの限定された入力だけでも、アクセサリーで必要なモーション値を計算して、画面に表示されるコンテンツの動作や色相などを変化させて使用者入力に対応する動作が遂行できる。

また、本発明は、２種以上のセンサ、特に携帯型コンピュータの場合、タッチスクリーンの押下座標と３次元磁場センサで感知される磁場ベクトル値とを同時に参照することにより、既存の入力用アクセサリーに比べて低価且つ小型で具現されながら、認識できる入力の自由度を高めることで、使用者が便利で直観的に入力できる使用者の便宜性を向上させる。

また、本発明は、スマートフォンを動かして入力する時、使用者がスマートフォンを地面で引っ張ること、スマートフォンを虚空に持ち上げて便利な位置に移動させること、足で踏むペダルなど、感知しようとする動きが数十センチメートル以上携帯コンピュータと離れている場合にも、携帯型デバイスに既に具備されたマイクロホンを用いて認識可能である。

本発明に係る電気装置と、磁石を備える移動性物体とからなる使用者入力システムを示す図である。 図１の使用者入力システムの第１の実施例である。 図１の使用者入力システムの第２の実施例である。 図１の使用者入力システムの第３の実施例である。 図１の使用者入力システムの第４の実施例である。 図１の使用者入力システムの第５の実施例である。 図１の使用者入力システムの第６の実施例である。 図１の使用者入力システムの第７の実施例である。 図１の使用者入力システムの第８の実施例である。

以下、図面に基づき、本発明の好適な実施例を詳細に説明する。

図１は、本発明に係る電気装置と、磁石を備える移動性物体とを有する使用者入力システムを示す図である。

使用者入力システムは、磁石１１０を備える移動性物体１と、磁石１１０からの磁場を感知して処理する電気装置２とを有する。

物体１は、内部又は外面に磁石１１０を備える本体で構成される。物体１は、多様な形態からなり、例えば、マウス、弾丸、タッチペン、リング及びサイコロのような形態等で具現され得る。

電気装置２は、移動通信端末機やコンピュータなどで具現されることができ、磁場又は磁場の変化を感知する磁場センサ２１０と、多様なプログラムの表示画面や情報を表示する表示部２２０と、外部に向かう表示部２２０の外側面上に形成されるタッチ入力を獲得するタッチスクリーンである第１の入力部２３０と、ボタンのように表示部２２０以外の電気装置２のケース（図示せず）に具現される第２の入力部２４０と、外部の通信機器（図示せず)と有線又は無線通信を遂行する通信部２５０と、電気装置２の固有機能を遂行するためのプログラムや情報を格納し、移動性物体１の移動又は電気装置２の移動による使用者の入力情報を判断するための物理的事前情報又は制限事項を格納する格納部２６０と、外部からの電気信号又は音響信号を受信して音響情報を制御部２８０に印加する音響受信部２７０と、電気機器２の固有機能を遂行しながら、格納部２６０に格納された物理的事前情報又は制限事項、及び磁場センサ２１０からの磁場感知値を用いて使用者の入力を判断したり、その判断された入力に対応して他のプログラムやデータを処理する制御部２８０とを備える。ただし、電気装置２の各構成要素に電源を供給する電源供給部は、公知の技術に該当するので、その説明を省略する。また、通信部２５０は、選択的に具備され得る。

磁場センサ２１０は、有限の次元数の磁場ベクトルを感知して、感知値を制御部２８０に印加する。磁場センサ２１０は、例えば、３次元の磁場ベクトルの測定が可能であり、少なくとも一つが電気装置２に具備される。

上記の表示部２２０、第１及び第２の入力部２３０，２４０、通信部２５０、格納部２６０及び音響受信部２７０は、公知の技術構成に該当するので、その詳細な説明は省略する。下記の実施例により、制御部２８０が、磁場センサ２１０、第１の入力部２３０及び音響受信部２７０等により入力された値を、格納部２６０に格納された物理的事前情報や制限事項を用いて判断し、使用者の入力を正確に判断して処理する過程が記載される。

本実施例において、磁場センサ２１０は、磁場発生部である磁石を備えるｎ自由度の物体からの磁場を感知して、有限のｍ次元の磁場ベクトルを生成し、ここで、ｎ＞ｍである。制御部２８０は、格納部２６０に格納された物体１の運動に対する物理的事前情報及び有限のｍ次元の磁場ベクトルに基づき、ｎ自由度の物体の変位及び回転情報を判断する。特に、磁場センサ２１０の個数を減少させるために、例えば、物体１の運動に対する物理的事前情報が物体１の（ｎ−ｍ）以上の自由度に対する情報を含んでも良い。

また、本実施例において、磁場センサ２１０の個数を減少させるために、物体１の運動に対する物理的事前情報を用いて、また、物体１の運動の自由度を直接的に制限して、制御部２８０が判断すべき物体１の変位及び回転情報を判断する。例えば、物体１の運動の自由度を５に制限し、このような物体１の運動自由度の制限情報が格納部２６０に既に格納されており、制御部２８０はこのような制限情報を用いて物体１の変位及び回転情報を判断できる。ここで、物体１の運動の自由度の制限情報も物体１の物理的事前情報に含まれる。

図２は、図１の使用者入力システムの第１の実施例である。

図１に示すように、本発明の一実施例では、電気装置２の制御部２８０が、磁場センサ２１０により、地面を転がる移動性物体であるボール１ａ内の中心に固定され、共に転がる磁石１１０が発生させる磁場１１１の変化を感知して、ボール１ａの位置を検索して表示部２２０上に表示されるパッティンググリーンのような仮想の物体や空間である表示画面又はコンテンツ２２１の状態に反映するものである。また、制御部２８０が遂行中であるプログラム、ゲーム又はアプリ（Ａｐｐ）等の使用者入力で磁場センサ２１０からの磁場変化により判断された使用者入力を用いて、プログラム、ゲーム又はアプリ等の状態変化、命令入力、環境設定、モード変更及び表示画面の変化等を遂行する。

磁場センサ２１０が３次元の磁場入力を受ける反面、操作されるアクセサリー等のボール又は剛体１ａは、３次元空間で３次元の変位（ｘ，ｙ，ｚ）及び３次元の回転（ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ）を行う６個の自由度を持つ運動を遂行するので、３次元の磁場センサ２１０から得る磁場入力のみでは、ボール等の磁石を有するアクセサリー、すなわちボール１ａの位置等が限定できない。

このような磁場センサ２１０で測定された有限の個数の値から自由度がより高い外部アクセサリーの位置や角度に対して検知するためにアクセサリーが動く時に適用される物理的制約事項を格納部２６０が格納し、制御部２８０がこの物理的制約事項を参照して計算する。

すなわち、例として、図１のシステムを用いる使用者が、電気装置２から少なくとも３０ｃｍ離隔された空間でボール１ａを転がすと、正確にボールの変位及び回転情報が判断できない。電気装置２の３０ｃｍ半径以内には曲面がない平面でなければならず、表面材質による摩擦力が急激に変化しない一定の所でなければならない等、日常で守りやすくて直観的な規則を、電気装置２は表示部２２０により使用者に公知し、使用者がこの規則を守ったという仮定の下で、制御部２８０がボール１ａの動きを正確に検知できる。格納部２６０はこのような規則をボールの物理的制限事項又は事前情報として格納し、制御部２８０はこの規則を用いる。

ボール１ａが転がって電気装置２から３０ｃｍ以下の距離に隣接すれば、磁場１１１はボール１ａの動きと関係ない、ノイズとは明確に区別できる大きい値になる。したがって、制御部２８０は、磁場センサ２１０により測定される磁場１１１を用いて、ボール１ａの動きに関する情報が判断できる。ボール１ａは回転軸を中心として転がる。

制御部２８０は、このような磁場の変化をボール１ａの接近により判断し、３次元ベクトルである磁場センサ値Ｍ０を読み取り、コンテンツ２２１の状態に反映する準備をする。使用者がボール１ａをどの位置から転がしたのか分からないので、ボール１ａの位置Ｘ０は認知すべき変数であり、ボール１ａが平面上にあるので２次元値である。ところが、中心をボール１ａと共有する磁石１１０は、制御部２８０が磁力の強度を予め知っていても、磁石の双極子（ｄｉｐｏｌｅ）と磁場センサ２１０とがなす角度が、緯度角及び経度角の２次元ベクトル値Ｕ０で与えられ、また、認知すべき変数のＭ０は、下記の数１のように定義できる。
（数１）

Ｍ０＝Ｆ（Ｘ０，Ｕ０）

すなわち、磁場センサ値Ｍ０は、変数Ｘ０及びＵ０の関数（Ｆ）で定義され、Ｆの逆関数を用いてＸ０及びＵ０が認知できる。問題は、磁場センサ値Ｍ０は３次元値であり、認知すべき変数Ｘ０，Ｕ０の自由度は４次元（２次元＋２次元）に達するため、変数Ｘ０を求めることができない。このような問題は、他の仮定が用いられないと、ボール１ａの平面上の位置も認知できない。この場合に対する従来の解決方法は、分散された位置に磁場センサを９個以上置き、これらが完全に同期化されるように、高価のデータ連結バスを用いて一瞬の間に感知された値を集めて、非線形最適化により３次元上の位置及び角度を認知するものである。

本発明では、有限の個数の磁場センサ２１０を用いてボール１ａの位置を認知するために、物理的事前情報及び時間上の複数個の測定値を使用する。すなわち、図２に磁場ベクトルＭ０を測定した時点をｔ０とし、ボール１ａが慣性により同一の方向に進行し、ｔ０での速度は未知のＶ０という２次元ベクトル値であり、進行方向は変化しないが、進行速度は水平面の材質によって決定される。ところが、制御部２８０は、未知の摩擦係数（ｆ）によりマイナスの等加速をすると仮定される。水平面なので、重力による曲がりがないと仮定しても、実際現状とあまり差がない。このような物理的事前情報又は仮定の下で、時点（ｔ０）から一定の時間が経過した時点（ｔ１）においてＭ１という磁場ベクトルを得ると、この磁場ベクトル（Ｍ１）は、時点（ｔ１）のボールの中心の位置Ｘ１と磁石１１０の緯度または経度角Ｕ１とが下記の数２の関係を持つ。
（数２）

Ｍ１＝Ｆ（Ｘ１,Ｕ１）

このとき、Ｘ１はＸ０の位置から速度（Ｖ０）、摩擦係数（ｆ）及び時間差（ｔ１−ｔ０）により決定される値であり、このうち、時間ｔ０，ｔ１は制御部２８０が内蔵タイマを用いて確認する値である。磁石１１０の角度Ｕ１も、Ｕ０の位置からボールの半径（ｒ）、速度（Ｖ０）、摩擦係数（ｆ）及び時間差（ｔ１−ｔ０）により決定される値であるが、このとき、ボール１ａの半径（ｒ）は格納部２６０に既に格納された物理的事前情報であり、制御部２８０は時間差（ｔ１−ｔ０）を算定する。したがって、磁場ベクトル（Ｍ１）は、下記の数３の関係を持つ。
（数３）

Ｍ１＝Ｆ‘（Ｘ０，Ｕ０，Ｖ０，ｆ）

さらに、次の時点（ｔ２）における磁場ベクトル（Ｍ２）の値も、同様に数４の関係を持つ。
（数４）

Ｍ２＝Ｆ“（Ｘ０，Ｕ０，Ｖ０，ｆ)

なお、３個の３次元磁場ベクトルＭ０，Ｍ１，Ｍ２により方程式９（＝３×３）個を得て、認知すべき変数はＸ０，Ｕ０，Ｖ０，ｆなどの７個である。制御部２８０は、前記方程式によりＸ０，Ｕ０，Ｖ０，ｆを算定し、Ｘ０，Ｘ１，Ｘ２だけでなくＵ０，Ｕ１，Ｕ２まで全部判断できる。制御部２８０は、色々な時点の磁場センサの感知値を用いて、磁場センサ２１０の次元数に比べて高い自由度を持つ物体のベクトル情報（変位、回転）が確認できる。

また、ボール１ａが、ボーリングやビリヤードのように、一定のスピンにより地面で滑りながら転がるという仮定などを追加するか、ゴルフパッティングのように、アイパッドを傾斜面に置かれると仮定（物理的事前情報）しても、時差をおいてサンプリングを加えると、３次元の磁場センサ２１０だけでボール１ａの変位及び回転情報が確認できる。勿論、床面などが完全平面でない問題や、摩擦係数が均等でない問題により誤差が発生し得る。ところが、仮想の物体を人の直観と十分に一致するように移動させるためには、制御部２８０や格納部２６０に格納するいくつの単純な仮定だけでも可能であり、サンプリングした後、磁石１１０が感知範囲内であれば、持続的にサンプリングして位置を補正し、未知の摩擦係数などのパラメータに対する正確性を向上できる。

これは、有限の次元の磁場センサを用いて、磁場センサの次元より大きい自由度を持つ物体に対して充分な情報を得るために、ある時間区間内で物体が既定の力により物理学的な速度及び加速度法則にしたがって毎時点の位置及び角度が決定されるという事前知識の下で、未知の物体の一時点の位置、角度、速度、角速度及び未知の時間が過ぎても変化しない運動に関連したパラメータを変数とし、色々な時点での磁場センサの感知値をサンプリングして、前記未知の変数が作り出す自由度に対し同一又は多いセンサ測定値を制約条件として、未知の位置、角度、速度、角速度及び運動パラメータなどを認知するものである。速度及び加速度に対する物理的法則は、慣性、角運動量、重力及び摩擦力等がなり得、前記毎時点変化しないパラメータは摩擦係数、弾性係数、質量及び傾斜等がなり得る。

このとき、一つのＮ極及びＳ極のみを有する双極子磁石を使用する場合、双極子に垂直な全ての平面で点対称や線対称の磁場が形成されるので、双極子を軸とするスピンなどの運動を読み取ることができない。このようなスピン情報も制御部２８０で必要な情報であれば、磁石の対称性を破るために磁石を複数使用したり、コード化磁石（ｃｏｄｅｄ ｍａｇｎｅｔ）を使用したりする。特に、２個又は３個の双極子磁石を互いに直角になるように配置するのが好ましい。さらに、磁石を双極子に垂直な軸等で回転させ、磁石が角運動量を持って回転するのを仮定して測定したり、互いに直角な２個又は３個の電磁石を備え、この電磁石を順次電気駆動させて直角に折れる磁場を測定したりしても良い。一種の電磁石としてＲＦＩＤなどを用いて、動く物体に別途の電源供給無しに磁気誘導や磁気共鳴方式により電力を電磁石に供給して信号を測定できる。

制御部２８０は、ボール１ａの変位及び回転情報を用いて、仮想のパッティンググリーンだけでなく多様な仮想の物体を制御して、表示部２２０に表示できる。例えば、コンピュータグラフィックスで出力されるボーリングピンを配置させることができ、ビリヤードテーブルや玉ゲーム板を配置させることもできる。また、制御部２８０は、ネットワークを介して遠隔での使用者間のゲームが可能である。

同様に、投げた物体の軌跡を磁場センサ２１０が測定し、制御部２８０が、物体が受ける重力及び摩擦力以外の未知の力の付加なしに飛んでいる（自由落下）という仮定の下で、色々な時点の磁場センサのデータを解析してボールの位置、速度及び加速度を認知し、ソフトウェアの仮想の空間及び仮想の物体に反映できる。例えば、狭い空間に設置された電気装置２は、制約の距離内において狭い面積だけを占め、投げた物体はすぐ壁に打たれて落下するが、表示部２２０の画面内の仮想の空間は制限がなく、投げた仮想の物体は仮想の空間上で遠く飛んで目標物に当たる等の役割をする。空間においても地球、月、土星の上等のように設定して他の重力加速度を適用でき、ゲームの種類においてもバスケットボール、ブーメラン及び刀投げ等のように多様なスポーツやシューティングゲームを適用できる。物体を投げる方式においても、手で投げること、一定の距離の外側からパチンコで撃つこと、ゴルフクラブで打つこと等のように多様に具現される。本発明による電気装置２は、単純にタッチスクリーンの表面についている物体の命中の可否だけでなく、タッチスクリーンや隣接の空間を通り過ぎて投げた物体がどのくらい遠くまで飛んでいるのかも測定し、物体のスピンによってどのような曲線を描くのかも推定してゲームに反映できる。例えば、単刀投げゲームの場合、投げた単刀が単純にタッチスクリーンとどの座標で会うかを測定して、タッチスクリーンについて動く物体の命中の可否を測定するものでなく、タッチスクリーンや隣接面を過ぎて、どのように回転し、どのような軌跡を描いて飛んで、スクリーン奥側に設定された３次元の目標物に当たるかを、使用者の視点の変更と共に単刀の軌跡を追跡しながら、本物らしく表現できる。投げた単刀の軌道追跡を３次元の磁場センサ２１０で測定して推定することも、図２の例示と同じように行われる。すなわち、３次元の磁場センサ２１０では、６個の自由度を持つ単刀内の磁石の空間上の位置が把握できない。しかしながら、単刀が手から離れた後、公知の自然法則ら、すなわち、慣性の法則、重力の法則、角運動量（ａｎｇｕｌａｒ ｍｏｍｅｎｔｕｍ）によって動いて、未知の他の力の適用を受けないと仮定して、制御部２８０は複数の時点で磁場センサ２１０の感知値を用いて、それぞれの感知データの次元が制限されてもサンプルの数字が増加すれば未知の変数が認知できる。サンプリングは、十分に速くなされるので、リアルタイムに表示部２２０内で飛ぶ仮想の単刀を再現できる。

上述のような方法により、アイパッド等のような小型タブレットやスマートフォンに多用される単純な磁場センサ等を用いて、投げた物体のシミュレーションが具現され得る。しかしながら、物体が飛ぶゲームであるので、大画面及び広い空間に分散された磁場センサを用いるのがより好ましい。本発明によるシステムは、複数の磁場センサと同期化を支援しない汎用の通信であるＷｉＦｉ、ブルーツース（ｂｌｕｅｔｏｏｔｈ）、イーサネット（Ｅｔｈｅｒｎｅｔ）及びＵＳＢ等を用いて、このような広域磁場感知を可能にする。複数の電気装置２、例えばスマートフォンを壁に設置した後、ＷｉＦｉを介して中央コンピュータや相互間に通信しながら、スマートフォンそれぞれの磁場センサが投げられた物体を感知して、全ての設置されたスマートフォン画面の出力をアップデートできる。

図３は、図１の使用者入力システムの第２の実施例である。図３に示すパチンコアクセサリー１ｂの場合は、パチンコのゴムひも１２０を電気装置２を受納できる透明アクセサリーフレーム１２２に連結したものである。磁石１１０を有する発射対象１２１が十分に軽いと、重力よりはゴムひも１２０の弾性力を主に受けるようになる。使用者が発射対象１２１を持って照準するために上下左右に動く間には、発射対象１２１の位置を３次元の磁場センサ２１０で把握することは不可能であるが、手から離れた瞬間からはゴムひも等の弾性力の方向及びサイズなど、有限数の未知のパラメータにより記述される物理的法則により発射対象内の磁石が動いて、他の力は作用しないという物理的事前情報を用いて、これに対する複数の磁場センサ２１０の感知サンプルデータを得て、制御部２８０が発射された対象の空間上の軌跡及び回転が追跡できる。

図４は、図１の使用者入力システムの第３の実施例である。物体をセンサ近くに転がしたり投げたりする以外にも、制御部２８０は、他の自然法則による動きを磁場センサ２１０の感知データを用いて表示部２２０に表示される仮想の物体に反映して、新しく表示できる。図４は、その一例として、こま１ｃの回転を制御部２８０が確認して表示部２２０に表示するものである。こま１ｃ内に磁石１１０を挿入し、こま１ｃを電気装置２の上部や側部で回転させると、こま１ｃから手が離れた時点からは、こま１ｃが角運動量４１０、摩擦力及び重力（Ｆｇ）により決定される回転をし、こまの中心での反動力（−Ｆｇ）によりトルク（図４のτ）が発生して歳差運動４００をする。制御部２８０は、こま１ｃが歳差運動及び回転運動をする物理的事前情報を用いて、ある時区間内の色々な時点で測定された磁場センサ値により、このような運動の未知のパラメータ（係数）を把握し、こまの位置Ｘ０や現在の角度Ｕ０も把握できる。このような位置情報が把握されると、制御部２８０は、表示部２２０にこま１ｃの回転位置に基づいた華麗なこま２２１を表示する等、リアルタイムでアニメーションを出力することもでき、歳差運動に従う警告をするのか、遠隔使用者とこま回しの試合をすることもできる。同様に、ルーレットやボードゲームに多用されるカルーセル（ｃａｒｏｕｓｅｌ）などの多様なアクセサリーの具現が可能である。

図５は、図１の使用者入力システムの第４の実施例である。本発明の他の実施例であるサイコロ１ｄが示される。サイコロ１ｄ内に磁石１１０を挿入し、磁石１１０の双極子が、サイコロ１ｄの面１，６とはａ，−ａ角を、面２，５とはｂ，−ｂ角を、面３，４とはｃ，−ｃ角をなすように構成する。このとき、ｃはａとｂとにより決定され、ａ，ｂ，ｃはできるだけ互いに大きく異なる値になるのが良い。磁石１１０の双極子Ｎ−Ｓ（０度＜＝ａ，ｂ，ｃ＜＝９０度）は、サイコロ１ｄの上面数字によって平面からａ，ｂ，ｃ，−ａ，−ｂ，−ｃの６個のうちの一つの角度をなすので、どの数字面が上側であるのかを角度によって区分できる。電気装置２はａ，ｂ，ｃ，−ａ，−ｂ，−ｃの６個の角度情報、サイコロ１ｄのサイズや体積などの情報を格納部２６０に格納する。電気装置２は、磁場センサ２１０の感知値を用いて角度を判断して、サイコロ１ｄの上部に表示された面が１から６のどの数字なのかを判断できる。使用者が、サイコロ１ｄを投げて地面に止めた後、そのサイコロ１ｄを電気装置２の磁場センサ２１０側に近接させる。サイコロ１ｄが平面上で比較的直線方向に引っ張られる間（すなわち、物理的事前事項に該当する）、磁場センサ２１０により測定される各サンプリング時点の磁場値を制御部２８０が獲得する。サイコロ１ｄの上面がどの面であるかにより、磁石１１０と地面とがなす角度が異なるので、各サンプリング時点の磁場値のパターンはどの面が上面であるかによって異なる。したがって、制御部２８０は、色々な時点の磁場値の変化によりサイコロ１ｄの上面がどれであるかを判断できる。制御部２８０は、磁石１１０とサイコロ１ｄの質量中心、サイコロ１ｄの隅や頂点等の物理的関係により、サイコロ１ｄの上面がどのものであるかを推定できる。

また、制御部２８０は、判断されたサイコロ１ｄの上面の数字を表示部２２０に表示したり、駒が進んだり、サイコロの数字によって選択可能な戦略を表示して使用者の選択を待つことができ、ネットワークを介して遠距離の使用者間でもゲームが可能である。

図６は、図１の使用者入力システムの第５の実施例である。本発明の他の実施例として、磁石及び単純な機構物のみで構成され、電気装置２にポインティング情報を提供できるトラックボール１ｅ装置を具現する。トラックボール１ｅは、使用者の指により回転されるので、ある時区間の間に未知の単純なパラメータで記述される物理的な力により動くと言えない。このような場合に対し、有限の次元数の磁場センサ２１０を用いて使用者の入力を把握するには、物理的に磁石１１０の動きの自由度に制限を設けたり、使用者に入力方法に制限があることを電気装置２が物理的事前情報として格納したりして、磁石１１０の動きの自由度を低減させた後に磁場を測定する。すなわち、トラックボール１ｅの場合、回転するボール１４０内に磁石１１０が内蔵されており、この磁石１１０が磁場センサ２１０に及ぼす３次元の磁場ベクトルを測定する。ボール１４０において、太い実線は外部に露出されて使用者が指で転がす部分であり、点線は枠１４１内の溝に挿入されている部分である。枠１４１内の溝は、内部の底面から上側に行くほど狭くなることにより、ボール１４０の外部への離脱を防止する。枠１４１内のボール１４０は溝内で回転するが、このボール１４０を把持している枠１４１は、使用者の入力動作の間、電気装置２と一定の間隔又は特定位置に固定されて相対的な動きがないように機構的に措置したり、使用者に枠を指定の位置に置いて動かないで使用するように電気装置２が表示部２２０により案内したりする。枠１４１の固定方法としては、十分に重く製作して電気装置２の上部又は側部に付着することができ、トング（ｔｏｎｇｓ）や吸着カップ（ｓｕｃｔｉｏｎ ｃｕｐ）などで電気装置２に取り付けることもできる。特に、電気接点を含まないで単純に固定の用途で差し込むプラグ状の枠１４１と固着されている機構１４２を用いて、電気装置２のヘッドセットジャックやＵＳＢやコネクタなどに差し込んで固定することができ、このプラグを含んでコ字状に折れて電気装置２上にトラックボール１ｅが動かないように固定することもできる。さらに、電気装置２のケースと一体に製作したり充電ケーブルのプラグ機構物に一体に具現したりする等、互いに固定する方法は多様である。このように、トラックボール１ｅの枠１４１が電気装置２に固定され、ボール１４０を把持している枠１４１内の溝がボール１４０を受容しているため、ボール１４０の回転だけを許容すると、内部の磁石１１０の６個の自由度のうちの変位（ｘ，ｙ，ｚ）が固定されて自由度が制限される。トラックボール１ｅが磁場センサ２１０に十分に近いと、制御部２８０は、３次元の磁場センサ２１０から受けた磁力の感知値及び電気装置２と一定の距離以内にボール１ｅが枠１４１の溝内に挿入されているという仮定（すなわち、物理的事前情報）により、必要なボール回転ベクトル（ｒｏｌｌ、ｐｉｔｃｈ）を計算でき、この計算されたボール回転ベクトルに基づき、表示部２２０内の仮想の物体やモータなどを変化させて表示できる。

さらに、制御部２８０は、ボール１４０を高さ方向４３０にクリックするモーションも認識できる。このような高さ方向のクリックは、枠１４１のボール１４０を受容する溝内の下段部を円筒形１４３で構成し、スプリング１４４などの弾性部材がボール１４０の下部の溝内に具備される。特に、このようなトラックボール１ｅは、タッチスクリーン上でない電気装置２の外部に設けられるので、狭い表示部２２０の画面を手で遮断することなく広く使用して便宜性が図れる。

トラックボールと類似の方法として、従来のノートブックコンピュータ用ポインティングデバイスとして広く用いられたＩＢＭ社のポイントスティック（ｐｏｉｎｔ ｓｔｉｃｋ）又はトラックポイント（ｔｒａｃｋｐｏｉｎｔ）も、超小型アクセサリーで具現されて携帯型コンピュータに用いることができる。さらに、押下ボタンが一つ付着されて手で持って２次元（ｒｏｌｌ、ｐｉｔｃｈ）操作するジョイスティックも、３個の自由度を持つデバイスとして、磁石及び磁場センサで単純に具現され得る。前記のトラックボール、ポイントスティック及びジョイスティックのボタンは、ボタンダウン又はボタンアップの区分だけでなく、どのくらい押下したかを区分するアナログボタンで具現され得ることも自明である。

図７は、図１の使用者入力システムの第６の実施例である。

運動法則でない人の操作を入力するトラックボールのようなアクセサリーは、その自由度が三つに制限されなければ、３次元の磁場センサ２１０によるモーション感知が不可能である。人の操作を入力するポインティングデバイスによりいっそう自由度の高いモーション入力を受けるために、一つのアクセサリーを電気装置２０が持つ他の種類のセンサと共に感知して、自由度の高い動きを把握できる。二つ以上のセンサから受けたデータが一つのアクセサリーから出た互いに関連のあるデータであるという仮定の下でデータを加工分析すれば、各センサの次元数を合わせる自由度の動きを感知することができる。

第６の実施例は、代表的なスタイラスのタッチペン１ｆに磁石１１０を挿入した単純なアクセサリーであって、タッチスクリーン２３０に対するペン先１５０の押下入力と共に磁場センサ２１０による磁場入力を受け、全ての自由度を勘案した直観的モーション入力を受ける例である。従来のタッチペンの場合、携帯型コンピュータに採用される静電や感圧などのような方式を採用したタッチスクリーン２３０上の点（ｘ，ｙ）をタッチする２次元の感知に用いられる。しかしながら、タッチペン１ｆも、空間上に置かれている立方体であるから、６個の自由度を持つ。したがって、磁石１１０を挿入して磁場センサ２１０の３次元の磁場値をさらに参照すれば、ペン先１５０のタッチスクリーン２３０上の位置だけでなく全般的な立方体としてのタッチペン１ｆの位置及び方向が判断されるので、多様な入力やジェスチャーが可能である。すなわち、ペン先１５０がタッチスクリーン２３０上の点をタッチしていると、制御部２８０は、固定の高さ（ｚ）のタッチスクリーン２３０上にペン先１５０のタッチ位置である（ｘ，ｙ）にあるという３次元の情報を確認するようになり、磁場センサ２１０から入力される３次元ベクトル入力を追加すると、６自由度を持つタッチペン１ｆの３次元の空間上の完全な位置及び角度が分かる。さらに、選択的にタッチスクリーン２３０及び磁場センサ２１０の相対的な位置により、色々な空間上の３次元情報が推定できる。また、円筒形タッチペン１ｆのペンホルダ１５１の一方を円筒の高さ方向に曲げて自然に親指がタッチペン１ｆを持つように、ペンホルダ１５１の自転上の角度が制限でき、制御部２８０は、このような制限事項及び３次元情報を用いて、使用者が電気装置２のどの側に位置するかも確認できる。

また、従来の殆どのスマートフォンやタブレットは、静電式又は感圧式タッチスクリーンを用いるため、スクリーンが皮膚や手頬３００により押下されたのか、又はペン先１５０により押下されたのかが区別できない。これにより、使用者は、皮膚や手頬などがタッチスクリーンに接触しないように手を虚空に保持して書かなければならず、これにより文字書き取りが自然でなく、つめによりうまく書けないという問題もあった。しかしながら、図７のような磁石１１０を挿入したタッチペン１ｆの場合、ペン先１５０だけでなく手頬３００がタッチスクリーン２３０の画面に接触しても、追加の磁場感知によりペン先１５０であるか否かを制御部２８０は区別できる。

また、制御部２８０は、立方体としてのタッチペン１ｆの全体が認識できるので、クリックした点の位置だけでなくクリックしたペンホルダ１５１の方向、傾き及びペンホルダ１５１を軸とするタッチペン１ｆの自転程度が確認できる。すなわち、制御部２８０は、このようなタッチペン１ｆの変位や回転などに関する情報と、画面上の色々なタッチのうち、タッチペン１ｆの入力であるのか否かに関する情報とを用いて、直観的で多様な使用者インターフェースを提供できる。

まず、制御部２８０は、筆圧、すなわちタッチペン１ｆを押下する圧力を測定して字画の太さなどに反映できる。筆圧の測定方法の２種類を見れば：１）使用者がタッチペン１ｆを強く押下する時、タッチペン１ｆは表示部２２０上で垂直方向に移動する傾向がある。特に、人差し指の方に移動する傾向があるので、制御部２８０はこの方向の角度を用いて筆圧が決定できる。２）ペン先１５０を適当な弾性を持つゴムで構成して、タッチペン１ｆに加える力により磁石１１０の高さが変化する。２）番の方法は、連続的なタッチペン１ｆの動きを分析して正確に具現できる。

さらに、大きくなった自由度を用いて多様な変数を同時に入力できる。従来のように、ペンのドラッグにより物体を移動（ビューポイントペン）させながら、ペンが画面となす角度を同時に調節して物体（ビューポイント）の拡大や縮小（ｚｏｏｍ）、同時にペンの自転により物体（ビューポイント）を回転させる使用者インターフェースを直観的に行う。拡大または縮小時、ペンを傾ける角度は、前述した筆圧を検出するため、制御部２８０が判断する人差し指の方に傾ける角度と直角に近くなるのが好ましい。さらに、ジェスチャーに基づいた入力も可能である。すなわち、ペンでタッチした状態において、ペンの上端を直線方向にダウン又はアップさせると拡大または縮小として認識し、ペンの上端を原形軌道で回転させると回転として認識する。勿論、このような動作は、マルチタッチスクリーンで二つの指でラバーバンディング（ｒｕｂｂｅｒｂａｎｄｉｎｇ）という使用者インターフェースにより直観的にすることもできる。しかしながら、ペンを用いている使用者であれば、ペンを置いて指でラバーバンディングし、再度ペンを持つ動作よりも非常に機敏で直観的にインターフェースできる。

また、画面で物体を生成又は編集するモードでは、ペンの物体や画面との角度により、同一の点を打っても異なる効果を果たすことができる。すなわち、ペンのタッチで物体をつついたり付着させたりする時、ペン角度によってつついたり付着させたりする角度を決定することができ、ペンを自転させると、物体も巻き付いたり色が変化する等の効果を果たすことができる。

タッチペン１ｆのタッチと手のタッチとを区分して入力に反映できる。例えば、空間上にある仮想のロケットを作る時、ペンはロケット全体の空間上の位置及び角度を表示し、他の二つの指をさらに使用してロケット翼やこれについたガンの長さを同時に操作できる。マルチタッチ環境であるから、当然、指間、指及びペン間のマルチタッチも区分して入力に反映できる。また、指を用いた入力を許容しながらも、手頬で画面を支持して、自然な筆記が可能である。これは、ペンホルダがペンを持つ手の残り部分がある方向に傾くという事実及び前述した方法により、ペンホルダでの親指角度を観測してなす。すなわち、このような事実から類推する手頬が置かれていると予想されるタッチスクリーンの部分で行われるタッチ入力は無視し、反対側のタッチ入力だけ受けるようにするものである。このようにすれば、手頬が画面に置かれてもペン入力及び指入力が全部自然に可能になる。

さらに、タッチペン１ｆがタッチスクリーン２３０に対するタッチなしに、タッチスクリーン２２０上の虚空で振りや返し等のようなジェスチャーを磁場センサ２１０が感知し、制御部２８０がこの感知された磁場の変化又は磁場ベクトルを認識して、それに対応するデータ処理又は画面処理を行う。制御部２８０は、例えば、タッチペン１ｆをひっくり返す毎に書き及び消しモードに相互転換し、水平に振る毎に筆記される文字の色相又は筆記された文字を削除する消しゴムのサイズなどを変化させ、垂直に振る毎にペン筆記軌跡入力、四角形、円及び直線入力に入力モードを変化させる。すなわち、制御部２８０は、認識されたジェスチャーに応じて、表示部２２０に表示される画面の変化、或は現在遂行中であるプログラムやアプリの設定値や設定環境の変化が遂行できる。

図７に示すように、磁石をスタイラスに内蔵させるものでなく、磁石を備えた取付可能な小形の単純なアクセサリーを製作して、一般のタッチペンに取り付けて使用したり、指にリングのようにつけて使用したりする。この磁石リングを人差し指につけてタッチすれば、タッチ位置と共にリングの磁石が発生させる磁場情報が追加されるので、手頬や人差し指の先や親指などによりタッチスクリーン２３０の色々な所に押下が検出されても、使用者が意図する人差し指の先の押下のみを容易に決定できる。このとき、制御部２８０は、磁石リングが人差し指につけられているという物理的事前情報を認識している。また、図６に示すような多様な角度及び方向に基づいた自由度の高い直観的入力が可能である。さらに、このようなリングをつける人とつけない人とが一つの携帯型コンピュータ画面を共有してタッチする場合、誰がタッチしたかを区分する用途としても用いられる。例えば、飛び込む果物の切断を競争するゲームなどで、果物を切った人が誰であるかを知るために用いられる。また、一人の使用者の入力時にも、人差し指とそうでない指とを区分してより多様な入力が試演できる。

このような磁石リングは、磁場の透過性を用いてスマートフォンやタブレットをハンドバッグやポケットから取り出さないまま、一方の手で簡単な筆記をするのにも応用できる。自由度の高い空間上のリングの動きを磁場センサで観察された有限の次元のデータだけで求めることは困難であるが、いくつの仮定（物理的事前情報）により、正確ではないが、指動きの推定値を求め、急な時に短い情報(駐車位置や電話番号等)を入力する用途として用いられる。磁場センサからのデータに基づいてリング内の磁石の動きを推定するために、筆記時に使用者の手がどのように動くのかに対して特定の仮定を使用する。例えば、筆記時にペン及びそれを持つ指は平行移動に近く移動するという仮定を用いると、リングのロール、ピット、ヨーに使用者の筆記習性をよく反映する値を入れ、リングの位置（ｘ，ｙ，ｚ）を推定して字画の位置を求める。スマートフォンの傾きによって相対的なロール、ピット、ヨーが変化するので、使用者の筆記時にスマートフォンのアクセロメータ（ａｃｃｅｌｅｒｏｍｅｔｅｒ）及びジャイロスコープ（ｇｙｒｏｓｃｏｐｅ）で読み取られた値に基づいて角度を補正し、使用者は一定の角度で容易に筆記可能である。また、使用者が字画を書いているのか、次の字画のスタート位置への単純移動であるのかを検出すべきである。これは仮定により得られた成分のうち、ｚ（すなわち指先の高さ）により判断でき、推定されたリングの速度によって、速い所は字画、遅い所は移動と認識する等の仮定も可能である。しかしながら、高さにあまり差がなく、全般的に平行移動という仮定も正確でないため、書いている字画であるか否かのような二進的な処理よりは、推定高さや速度によって制御部２８０が字画の太さや色を変化させて出力するのが好ましい。

また、仮定（事前情報）に用いられるロール、ピット、ヨーのパラメータが状況によって著しく異なるようにもできるので、電気装置２は、磁場センサから得た原本磁場データを格納していて、使用者が分からない場合、仮定に用いられたパラメータを変化させながら、原本データを用いて筆記内容を推定することもできる。

コンピュータがリングの位置、字画書き及び単純移動を推定するために、電気装置２は設定の仮定（事前情報）を使用者に予め通知し、使用者がその指示に応じて用いるようにする。電気装置２は、例えば、前記仮定により筆記時に回転しながら書かないように、書く部分では力を集中して速く指を動かし、そうでない時はゆっくり動くように、使用者に知らせることができる。

図７で説明した磁石を備えるポインティング装置及び感知方法は、ペンやリングの形状に限定されず、タマゴ形状や指ぬき形状など、磁石を備えた機構物を手で持ったり取り付けたりするものであれば適用可能である。より自由度の高い直観的な入力のために、磁石及びタッチを同時に用いて、磁場センサの有限の次元数とタッチスクリーンの有限の次元数とを合わせた高次元の入力を受けるという特徴が本質である。特にタッチスクリーンに感知される接点と磁場センサに感知される磁石とが空間上に互いに固定されたり相対的な動きに制限があったりするという仮定の下で、入力対象の位置を一層具体的に把握できるという特徴がある。

図８は、図１の使用者入力システムの第７の実施例である。

図８は、このような方式のまた他の例として、内部に固定された磁石１１０を備える物体１ｇを平面に固定させ、電気装置２をマウスのように手で動かし、この動きによって電気装置２に相対的に動く磁石１１０の位置変化に従う磁場センサ２１０値の変化を感知して、制御部２８０が電気装置２の動きを把握して画面の変化などを遂行するものである。このとき、使用者が電気装置２を掴んで面上で引っ張るので、カーソルなどの出力は別途のコンピュータに行われ、電気装置２の動きはＷｉＦｉやブルーツース等のような通信部２５０を介して別途のコンピュータに伝達される。電気装置２の動きを磁場センサ２１０から知るために、磁石１１０を有する物体１ｇは固定されており、この物体１ｇの近傍で電気装置２を平面で引っ張るという制限条件を用いる。電気装置２が引っ張られる間、電気装置２は磁石１１０が置かれた面と平行を維持し、底面での磁場センサ２１０の高さも一定なので、磁石１１０及び電気装置２の磁場センサ２１０間のロール、ピッチ及び高さ差自由度（ｚ）はなくなる。したがって、３次元の磁場センサ値から成分（ｘ，ｙ，ｙａｗ）を容易に導出し得る。ヨー（ｙａｗ）成分を参照すれば、得られた座標（ｘ，ｙ）を磁石の座標系４６０でなく電話本体の座標系４５０で解析できる。すなわち、アクセサリー１が平面上に置かれる角度に関わらず、電話本体２の上下方向及び左右方向４５０に基づき、どのくらい動いたのか解析できる。

問題は、電気装置２を引っ張る状態と、持って便利な位置に移動する状態とを区分するものである。電気装置２が地面で幾分か引っ張られると、電気装置２を持って使用者が継続操作しやすい位置に移動した後、再度引っ張る動作をする。しかしながら、電気装置２が平面上のみにあるという仮定の下で、磁場センサ２１０で測定した値を解析すれば、電気装置２が虚空にあるか否かが分からず、虚空にある場合、仮定によって制御部２８０は電気装置２が見当違いな位置及び角度で平面上で引っ張られると計算するようになる。したがって、電気装置２が、引っ張られているのか虚空を移動しているのかを区分しなければならない。

これは、殆どのスマートフォンに既にあるアクセロメータ及びジャイロスコープの組合せを用いて検出できる。すなわち、重力に対し垂直な方向のみに動いていて、重力に対して垂直でない方向の線形的加速度や回転が発生すれば、制御部は電気装置が持ち上げられた状態であると把握できる。また、電気装置が地面に接触しており、振動と共に相対的に大きい角加速度や線形的加速度が発生した後、重力方向に一定の状態を維持すれば、さらに地面に接触したものと判断できる。このような感知が正確に行われないスマートフォンでは、追加の部品１７０が携帯型コンピュータのヘッドセットジャックに差し込むプラグ１７１と、該プラグに電気的に連結し、底部に対向するマイクロホン１７２と、電話が地面を掻く場合、共に地面を掻いて雑音を出す固体部１７３とを備え、追加の部品１７０によって雑音がコンピュータに入力される。

図８の例に示すように、電気装置２が地面で引っ張られるのか、虚空に持ち上げられたのかを区分しなければならない。このためにマイクロホン１７２が電気装置２の底部に備えられ、電気装置２が地面で引っ張られると音でこれを認知する。マイクロホン１７２は、十分に長い電気線１７４で連結され、電気装置２のヘッドセットジャックに差し込むプラグ１７１がマイクロホンの他の側端に設けられ、電気装置２の音響受信部２７０により制御部２８０で感知された音を伝達する。図９に示すように、音響獲得部１７０は、内部にマイクロホン１７２を受容する固体部１７３と、マイクロホン１７２と、マイクロホン１７２及びプラグ１７１を電気的に連結する電気線１７４とを備える。

図９は、図１の使用者入力システムの第８の実施例である。

平面に引っ張られる音は使用者が聞くのを無視する程度に小さいが、マイクロホン１７２が近くあり、音が固体によっても伝達されるマイクロホン１７２の場合は十分に大きいノイズを感知することになり、このような音を発生させてマイクロホン１７２に伝達するために多様な素材で構成し得る固体部１７３をマウスの底面１７５に備えることもできる。電気装置２は、マイクロホンからの入力を音響受信部２７０により受信してマウス１ｈが引っ張られるのか否かを判断し、引っ張られないと、画面上のカーソルが動かない。

このとき、マウス１ｈは、マイクロホンとの電気線やプラグを別に備えず、図１０に示すように、簡単に磁石１１０及び単純な本体からなる。この場合、使用者が別持ちの一般ヘッドセット５００のマイクロホン１７２をマウス１ｈの下段部の空のスリット１７６に装着し、ヘッドセットのプラグ１７１を電気装置２のジャックに差し込み、マウス１ｈが地面で引っ張られるのかを感知する音を電気装置２に伝達する。マウス１ｈの軽くて単純な本体は、ヘッドセットの長くてよく絡み合う線を巻き込んでイヤーバッズ（ｅａｒｂｕｄ）５０１及びプラグを受納して便利に携帯する役割を兼ねることができる。このような受納とマウス１ｈの前後とを区分するために、１７７のような長いスリットが用いられる。このようなマウス１ｈは小さくて単純に構成されるので、表示部２２０上又は表示部２２０から逸脱する広い平面上に手で持って筆記するスタイラスとして用いられる。このために、地面で引っ張られる部分と手で持つ部分とを柔軟に動く素材や部品で連結して、持つ角度を調節できることは自明である。

マイクロホンでキャッチする音を用いた掻きの感知は、フォンから遠く離れた単純な動作を認識するような他の用途にも用いられる。例えば、電気装置と離れている足で踏むペダルの動作認識のために、ペダルが踏まれる部分及びこれを支持する部分間の摩擦音を、ペダル内にマイクロホンを設置して聞く。このマイクロホンは、電気線及びプラグを備え、遠く離れている電気装置の近くで聞こえた大きい騷音を伝達する。この音を分析して、電気装置は、ペダルが踏まれるのか、踏まれて解除するかが分かる。ペダルの動く部分及び支持する部分を互いに摩擦する時、わざと大きい音が発生するように表面がデコボコするように設計でき、電気装置はこのデコボコに方向性をおき、動きがどの方向で発生したのか（押下したのか又は押下したのを解除するのか）を区分することもできる。

本発明に係る磁石を備えた物体が動く近傍に少なくとも一つの固定された電磁石又はモータにより機械的に動いて回転する永久磁石を備え、必要な時点に所望の磁場を発生させて、アクセサリーを特定方向への押し引きによりフォースフィードバック（ｆｏｒｃｅ ｆｅｅｄｂａｃｋ）などを具現できる。

このように、携帯型コンピュータの磁場センサ及びタッチスクリーンとして認識できる低価の単純なアクセサリーを多様に保有すれば、これらを携帯型コンピュータだけでなく、相対的に大型画面を備えたノートブック又はデスクトップコンピュータなど、磁場センサを内蔵しないコンピュータ環境やプロジェクションが可能な広い空間で用いるのが好ましい。このために、有限の次元を持つ少なくとも一つの磁場センサ及び簡単な制御用マイクロコントローラと、電源モジュールと、アクセサリーが作り出す磁場データをサンプリングして、必要であれば自身がデータを分析した後、ＵＳＢ、ブルーツース、ＷｉＦｉなどのような汎用の通信モジュールを介してコンピュータに伝達する感知用周辺装置とを備えるのが好ましい。このような磁場センサを有する周辺装置は、前述したフォースフィードバックモジュールをさらに備えることができ、トラックパッドを内蔵したり、既存トラックパッドと共に使用したりしてタッチ入力と磁場入力とを同時に可能にすることもできる。また、このような周辺装置の多数を空間に分散させて配置するが、分散された周辺装置間に同期化を支援する高価のデータバスを使用せず、各周辺装置内で色々な時点のセンサ値を読み取り、公知の物理法則により運動する磁石を含むアクセサリーの軌跡がわかる。これにより、広い空間でなされる多様なアクセサリー及びモーションゲームを設備の再設置無しに、ソフトウェア（プログラム又はアプリ）だけを変えて遂行できる。

本発明に係る実施例らは、多様なコンピュータ手段により行われるプログラム命令形態で具現され、コンピュータ読取り可能な媒体に記録できる。該コンピュータ読取り可能な媒体は、プログラム命令、データファイル及びデータ構造などを単独又は組合せて含むことができる。該媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア当業者に公用されるものであり得る。コンピュータ読取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭやＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラーにより作られるような機械語コードだけでなく、インタープリターなどを用いてコンピュータにより実行され得る高級言語コードを含む。前記ハードウェア装置は、本発明の動作を遂行するために少なくとも一つのソフトウェアモジュールとして作動されるように構成でき、その反対も同様である。

本発明は、コンピューターゲーム、２次元又は３次元のグラフィックエディタ及びグーグルアースなどのソフトウェアを始め、多様なソフトウェアで使用者が自身の操作意思を直観的で便利に入力できるようにする。本発明は、有限の次元数の磁場センサやマルチタッチが可能なタッチスクリーンを備えるコンピュータにおいて、一緒に備えられるスタイラスペンやトラックボールなどのポインティングデバイスで、コンピュータや携帯型スマートデバイスのソフトウェア内の対象にズーム（ｚｏｏｍ）、パン（ｐａｎ）、ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ）、値選択などの多様な動作指示入力を可能にする。本発明は、スマートフォンやタブレット等のタッチスクリーン、磁場センサ及びマイクロホンの少なくとも一つを備えたコンピュータ装置において、使用者が手を動かして描く内容、クリックを入力する装置及び方法として、追加のセンサ、回路及び通信モジュールなしに単純な機構物や磁石表紙だけを含む低価のアクセサリーで具現され、位置だけでなく角度などを同時に感知して入力の便宜性を高める。

Claims (16)

1. 磁場発生部を備えるｎ自由度の外部物体からの磁場を感知して、有限のｍ次元の磁場ベクトルを生成する少なくとも一つの磁場センサ部と、
   前記外部物体の運動に対する物理的事前情報を格納し、前記有限のｍ次元の磁場ベクトル及び前記物理的事前情報に基づき、前記外部物体の変位及び回転情報を判断する制御部とを備え、
   ここで、ｎ＞ｍである磁場センサを用いて使用者入力を判断する電気装置。
2. 前記物理的事前情報が、前記外部物体又は前記磁場発生部の運動経路、運動種類及び運動の推定情報の少なくとも一つを含む請求項１に記載の磁場センサを用いて使用者入力を判断する電気装置。
3. 前記制御部が、互いに異なる視覚から得られた少なくとも２つ以上の有限のｍ次元の磁場ベクトルを用いる請求項１に記載の磁場センサを用いて使用者入力を判断する電気装置。
4. 前記制御部が、前記２つ以上の有限のｍ次元の磁場ベクトルを用いて、時間に対して独立的な運動パラメータを決定する請求項３に記載の磁場センサを用いて使用者入力を判断する電気装置。
5. 前記制御部は、前記外部物体内の前記磁場発生部が前記外部物体の外側面となす角度情報を格納する請求項１に記載の磁場センサを用いて使用者入力を判断する電気装置。
6. タッチスクリーンを備え、
   前記制御部が、前記タッチスクリーンからの入力情報をさらに用いて、前記外部物体の変位及び回転情報を判断する請求項１に記載の磁場センサを用いて使用者入力を判断する電気装置。
7. 前記物理的事前情報が、前記外部物体の前記磁場発生部の運動自由度に対する制限情報を含む請求項１に記載の磁場センサを用いて使用者入力を判断する電気装置。
8. 前記磁場センサ部及び前記外部物体の前記磁場発生部の少なくとも一つが移動可能である請求項１に記載の磁場センサを用いて使用者入力を判断する電気装置。
9. 前記制御部が、前記移動可能な磁場センサ部の変位及び回転情報を判断する請求項８に記載の磁場センサを用いて使用者入力を判断する電気装置。
10. 前記制御部が、前記判断された変位及び回転情報を用いて、電気装置に備えられた表示部に表示される表示画面又はコンテンツの変化を行う請求項１に記載の磁場センサを用いて使用者入力を判断する電気装置。
11. ｎ自由度の外部物体からの磁場を感知して、有限のｍ次元の磁場ベクトルを生成するステップと、
    前記有限のｍ次元の磁場ベクトル、及び前記外部物体に対する既格納の物理的事前情報に基づき、前記外部物体の変位及び回転情報を判断するステップとを含み、
    ここで、ｎ＞ｍである磁場センサを用いて使用者入力を判断する方法。
12. 前記判断するステップが、互いに異なる視覚から得られた少なくとも２つ以上の有限のｍ次元の磁場ベクトルを用いる請求項１１に記載の磁場センサを用いて使用者入力を判断する方法。
13. 前記判断するステップが、前記２つ以上の有限のｍ次元の磁場ベクトルを用いて、時間に対して独立的な運動パラメータを決定する請求項１２に記載の磁場センサを用いて使用者入力を判断する方法。
14. タッチスクリーンからの入力情報を得るステップを含み、
    前記判断するステップが、前記タッチスクリーンからの入力情報を共に用いて、前記外部物体の変位及び回転情報を判断する請求項１１に記載の磁場センサを用いて使用者入力を判断する方法。
15. 前記判断された変位及び回転情報を用いて、表示される表示画面又はコンテンツの変化を行うステップを含む請求項１１に記載の磁場センサを用いて使用者入力を判断する方法。
16. 請求項１１〜請求項１５の何れかに記載の方法を実行するためのコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体。
    

Images