JP2017168060A

JP2017168060A - スマートインターフェースリング

Info

Publication number: JP2017168060A
Application number: JP2016069490A
Authority: JP
Inventors: 明久松園; Akihisa Matsuzono
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-03-14
Filing date: 2016-03-14
Publication date: 2017-09-21

Abstract

【課題】
情報処理装置はムーアの法則に倣って進歩しているが、マウスやキーボードのペリフェラル機器類の進展は遅く、近年のウェアラブル端末、ヘッドマウント３Ｄ（立体）／ＶＲ（仮想現実感）ディスプレイ等、両手が中空状態で利用する装置では操作性に優れ可用性の高いマシン・インターフェースが求められている。
【解決手段】先に開発したスマートフォン等の感圧式や静電式の二次元タッチセンサ部を利用した特許「フィンガー制御式ポインティングデバイス（特許第５７７６９１９号）」をベースに、指先に何も装着せずとも手の指の基本アーチ動作概念から指先の動きを把握し、且つ常時手中装着可能にして、手のジェスチャー操作や指の自由度を確保しつつ指の高精度な入力操作も可能とするインターフェースリングを発明。また両手装着でのエアーキーボード的操作により日本語親指シフトキーボード等、各国語毎に入力効率の良いキーボード的入力操作も可能とした。
【選択図】図３

Description

本発明は、従来型パソコン等でのキーボードやマウスの代替え機能から、ヘッドセット表示装置やウェアラブル端末等での片手中空操作を可能とし、使い易く入力効率の良いマンマシン・インターフェース装置に関する。

パソコン等の操作装置として、中空や片手でもマウス操作を可能にする出願がある（例えば、特許文献１、２）。またキーボード的な文字入力も可能な出願もある（例えば、特許文献３、４参照）。以下、特許文献１〜４により従来のインターフェース装置の出願内容について説明する。

特許文献１（図１０）「手装着コンピュータインターフェース装置」の請求項１では「・・１本の指の一部に装着できる・・リング；前記内部リングと同心である回転可能な外部リング・・」と二重リング構造で、段落１５「・・左外部リングの回転に応答して水平移動信号を発生・・右外部リングの回転に応答して垂直移動信号を発生・・」で、縦横の移動は左右の手で別々に操作するが、本発明「スマートインターフェースリング」では２次元感圧式タッチセンサー上を指で上下左右になぞることにより画面上のカーソル表示位置が連動して動き、着目点でタッチする二次元座標入力ポインテイング＆タッチ方式と簡単操作で、機能構造及び操作方法が異なる。

特許文献２（図１１）「電子装置用感圧式入力装置」の請求項１「キャップと、該キャップ上の圧力を検知する圧力センサとを有し、指に嵌め込み可能なシース手段と、前記圧力センサに結合され・・」と、構成が「親指などの指の周りに装着可能な感圧式入力装置が提供される。入力装置は、キャップ、および、感圧抵抗のような圧力センサを備えたシースで構成・・」と親指の指先にセンサーを装着しているが、本発明の「スマートインターフェースリング」は誤動作防止とキーボード操作時等での指の自由度を確保するため指先には何も装着せず、センサー類は基節骨や中節骨部の手中内に収め、何も付けない親指先と指間スイッチで操作するので、操作概念と構造が異なる。

特許文献３（図１２）「情報入力装置」の請求項１では「・・データを入力するため・・複数の小型スイッチを配置したキャップ状装具を両手の第１指から第５指まで装着し、指先接触部の位置を小型スイッチで検出する・・」とあり、従来型マウスと同じく机上の平らな場所で使うことが前提で「指先接触部の位置を小型スイッチ」が入る構成だが、本発明の「スマートインターフェースリング」では誤動作を防ぐため５本の指先には何も装着せず、中空で基節骨や中節骨部に置いたセンサーを手中内で操作する方式なので、基本構造と操作概念が全く異なる。

特許文献４（図１３）「仮想キーボード入力装置」の請求項１「指の動きを認識する光学センサー（２）・・」と、段落０００１「この発明はコンピューターの入力装置である従来のキーボードによる入力を、赤外線スキャナーと、モニターに表示されるキーボードと指の擬似３次元映像、およびホームポジションの基準位置を用意する」と、光学センサーと赤外線スキャナーで指の位置を追尾するものと、従来型キーボード操作と同じく両手の指を拡げて使い「光学センサーと赤外線スキャナーで指の位置を追尾する」方式であるが、本発明の「スマートインターフェースリング」は中空で２次元感圧式タッチセンサーをなぞりタップ入力する方式と基本構造と操作概念が全く異なる。

特開平７−２７１５０３手装着コンピュータインターフェース装置特開平８−５４９８１電子装置用感圧式入力装置特開２００３−２１６３０４情報入力装置特開２００５−２５８４８２仮想キーボード入力装置

以上述べたこれまでのユーザインターフェースの出願案では、異なる位置にある座標入力装置とスイッチの操作が行われるため同時操作困難で順番に行われる為時間もかかり、またキーボード的な文字入力は平面で両手を拡げて操作するため、ウェアラブル的な両手中空状態での利用までは考慮されておらず、将来的にも使い易いインターフェース装置が求められていた。

本発明では上記目的を達成するため、広く普及しているスマートフォン等の指タッチ式二次元座標入力と、タッチ圧力読取り機能を有する、感圧式タッチポインターのセンサー部を、人差し指や中指、薬指の基節骨や中節骨部（図８−８０１、８０２）にはまる大きさのリング状固定器具（１０１）の手のひら面側外周（１０４）に張りつけ、このセンサー表面を指で上下左右になぞり、画面に追従して表示された目的位置でタップ入力する操作（３０６）により二次元座標入力とタッチ圧力情報を同時に取出す仕組みを構築する。

更にリング状固定器具を指にはめた時、隣の指と接するリング両側面に隣接指との指間開閉によってオフ／オンするスイッチ１（親指側：図３−１０２）とスイッチ２（小指側：図３−１０３）を独立して設けタッチセンサーとの同時操作も可能とし、これら情報をワイヤレスで連結された情報機器にリアルタイムに送信（２０６）する仕組みを構築する。

そして、これらセンサと各スイッチ類を上記の各位置関係が保持されるよう配置して一体化し、これを着脱容易なようにマジクテープ等で指に固定する構造により装着時に手を激しく動かす中空状態にあっても落ちず、指だけで各操作が離れた処理装置本体と密にインターフェース出来る機能を構築でき、片手に装着した場合の従来型キーボードと本装置との同時併用による入力操作（図５−５０１）や、眼鏡型ウェアラブル端末等での操作（図７）での指先操作（７０４）の不要化を実現した。

また、両手に装着した場合（図６−６０３、６０２）では、同時に情報処理装置画面上（６０１）に国別やアプリ別（日本語の場合は親指シフトキーボード等：６０６）の各種キーボード画像を表示し、その上に複数の本装置別のカーソル位置を重ねて表示（６０４、６０５）し、それぞれの左右の指でキーボード画像上の目的の文字位置に移動し指でタップして選択する操作により、効率的なエアーボードによる文字入力操作（図６）機能を保持し、静かでスマートなインターフェースリング方式を実現した。

次に前記装置に、三次元位置情報読み取りジャイロセンサー（２０２）を組み込み、両手の指の中節骨（８０２）に複数装着し、ワイヤレスで連結された情報処理装置にリアルタイムに三次元位置情報を送信し、その変化情報（Ｘ−Ｙ−Ｚの３軸回転運動の角速度）から指先に何も装着せずとも手の指の縦方向のアーチ動作（図９−９０１）概念から各指先（末節骨：図９−８０３）の動きが把握でき、両手中空でのジェスチャー動作入力手段となり、三次元アプリや仮想現実感表示アプリ等、これからの多様なアプリケーションで利用可能なマンマシンインターフェース機能を保持した。

更に、本装置の長時間連続動作を可能にするため、ピエゾ効果等圧電素子を内蔵した圧電フィルム（商品名ピエゾフィルム等）をリング状固定器具の内円面（１０５）に張りつけることにより、本装置操作時の指間開閉圧力と感圧式タッチポインター操作時の指の圧力変化で発電し、同時にキャパシター（２０４）等に蓄電する方式により本装置の動作電源確保機能が構築された。

本発明により、片手に装着した場合の従来型キーボードと本装置との同時併用による入力操作（図５）や、両手に装着（図６）した場合には両手でのキーボード入力（６０２、６０３）も中空で可能で、操作時に情報処理装置画面上にアプリ別（日本語親指シフトキーボード等：６０６）の各種キーボード画像を表示して、その上に複数の装置別のカーソル位置を重ねて表示し、それぞれ左右の指でキーボード画像上の目的の文字位置にカーソルを移動させ指でタップして選択する操作（６０２、６０３）により、効率的なエアーボードによる文字入力操作が可能。
更に多種の言語毎ソフトキーにより多国語対応のキーボードの瞬時切り替えも可能。またアプリ毎に指間スイッチのキー割り当て（音楽プレーヤ等の曲送り／戻し、早送り等）もできる。

また、眼鏡型等のウェアラブル端末の操作（図７）や、仮想３Ｄ（三次元立体画像）／ＶＲ（仮想現実感画像）表示端末等も移動しながら片手中空状態で拡大縮小操作等でき、操作姿勢が自由で細かな操作や、手品のようなデモンストレーションも可能となり利用シーンが拡大する。

更に本装置により、同時複数画面表示での画面枠移動（画面枠を強くタップして移動）、画面内の移動（画面内で強くタップして移動）／拡大（指間スイッチ１オンと画面内で強くタップして指先方向に移動）／縮小（指間スイッチ１オンと画面内で強くタップして指基方向に移動）／回転操作（指間スイッチ１と２オンと画面内で強くタップして指先又は指基方向に移動）と、片手中空で簡単に操作でき、連結された情報処理装置と密連携可能となる。

また、マウス等に比べて設置面積要らず、腕を頻繁に動かす（図５−５０２）ことによる過度な負担も少ないので「腱鞘炎などになりにくい」などや、寝転がっての操作、腕を動かせない身障者等にも離れたところからパソコン等、情報端末を指で操作でき、寒冷場所などでは本装置を手に装着したままポケットに入れて操作できる等、人に優しい装置となっている。

スマートインターフェースリングの外観図（手のひら側）である。スマートインターフェースリングの外観図（手の甲側）である。中空で右手の手のひら中指の基節骨部への本装置装着図である。本発明装置「スマートインターフェースリング」の構成図である。本装置の片手装着でキーボード併用時のマウス持替えを無くする図である。本装置の中空両手装着での効率的なキーボード入力図である。眼鏡型ウェアラブル端末での活用例とその課題図である。手と指の部位詳細呼称定義図（本出願文面での呼称）である。手の縦方向のアーチ動作概念図である。特許文献１「手装着コンピュータインターフェース装置」の図１である。特許文献２「電子装置用感圧式入力装置」の図４Ａである。特許文献３「情報入力装置」図２である。特許文献４「仮想キーボード入力装置」の図３である。

以下、本発明スマートインターフェースリング装置実施の形態を、図１〜図９に基づいて説明する。なお本説明は右手を基準に説明されているが、左手に装着する事も出来る。

図において、１０１はマジックテープ付きリング着脱固定具台座で、電子回路搭載基板をリング状の着脱具で固定し、片方はマジックテープで内径が変えられ指の太さに合わせて固定する構造で、リングの内側は全周がピエゾ圧電素子内蔵フィルム１０５で構成され、手のひら側の外周は感圧式タッチポインターセンサー１０４で構成され、親指等でセンサー表面をなぞり３０６移動し、目的位置で指でタップして選択する操作により座標位置が入力され操作信号処理用ヘッドアンプ２０１で増幅され、ＣＰＵ（２０８）でデジタル信号処理され、送信部２０６でメイン処理装置に連結されている。

またリング着脱固定具１０１の親指側の指との間に指間スイッチ１（１０２）を挟み、反対の小指側には指間スイッチ２（１０３）を挟み、それぞれの側の指間３０７、３０８を閉じた時、指間スイッチが入り信号が、ＣＰＵ（２０８）で合成され、上記と同じく送信部２０６に送られる。なお、マウスの中ボタンに相当する操作は、感圧式タッチポインターセンサー１０４を指でタップ（３０６）することで可能となる。

更に、本インターフェース装置１０１に、三次元位置情報読み取りジャイロセンサー（２０２）を組み込み、両手の親指の基節骨（図８−８０１）や、人指し指、中指、薬指、小指の中節骨（図８−８０２）に装着し、ワイヤレスで連結された情報処理装置にリアルタイムに三次元情報を伝送し、その変化情報（Ｘ−Ｙ−Ｚの３軸回転運動の角速度）から各指先（末節骨）に何も装着せずとも手の指の縦方向のアーチ動作（図９−９０１）概念から指先の動きを捉えることにより両手中空でのジェスチャー動作入力手段を備え、様々なアプリケーションで利用可能なマシンインターフェース情報を取得することが可能となる。

なお本装置の電源は、感圧式タッチポインター１０４操作時の指の圧力と、指間スイッチ１０２，１０３開閉時の圧力変化によりリングの内側のピエゾ圧電効果素子内蔵フィルム１０５で発電し、瞬時電気をキャパシター２０４に蓄え、電源安定化回路２０３により電圧を安定化させ本装置の電力を供給し、残りは充電池２０５に蓄える仕組みにより動作電源を安定的に確保して長時間利用を可能としている。

１０１マジックテープ付きリング着脱固定具
１０２指間スイッチ１（マウスポインターの左ボタン機能相当）
１０３指間スイッチ２（マウスポインターの右ボタン機能相当）
１０４感圧式タッチポインターセンサー（タップでマウスの中ボタン機能相当）
１０５ピエゾ圧電素子内蔵フィルム（ピエゾフィルム等）
１０６伸縮ギャップ
２０１操作信号処理用ヘッドアンプ
２０２３軸ジャイロセンサ（３軸ＭＥＭＳジャイロセンサＩＣ等）
２０３電源安定化回路（環境発電素子等）
２０４キャパシター
２０５充電電池
２０６無線送信部とアンテナ
２０７電源スイッチ
２０８ＣＰＵマイクロプロセッサ
３０１解放時の親指先位置
３０２人差指
３０３中指
３０４薬指
３０５小指
３０６親指先でセンサ表面をなぞってタップする動作位置
３０７指間スイッチ１開閉動作
３０８指間スイッチ２開閉動作
４０１テープケーブル
５０１本装置の装着例
５０２従来のマウス持ち替え動作を解消
５０３従来型マウス
６０１エアーキーボードと文字処理アプリ表示画面
６０２右手装着例
６０３左手装着例
６０４右手スマートインターフェースリングのカーソル
６０５左手スマートインターフェースリングのカーソル
６０６エアーキーボード画面（日本語ＯＡＳＹＳキーボード画面例）
６０７情報処理装置
７０１装着者の頭部
７０２眼鏡型ウェアラブル端末等装着例
７０３鏡型ウェアラブル端末等センサー部
７０４指先での操作例（従来型）
８０１各指関節名として基節骨部
８０２各指関節名として中節骨部
８０３各指関節名として末節骨部
９０１縦方向アーチ動作の基本概念

Claims

従来のコンピュータ用マウスやキーボード入力から、近年のウェアラブル端末やヘッドセット型の立体表示／仮想現実感表示端末の操作、ジェスチャー入力等も可能にする片手中空での入力操作機能を実現する為、スマートフォン等の指タッチ式二次元座標入力とタッチ圧力読取り機能を有する、感圧式タッチポインターのセンサー部を人差し指や中指、薬指等の基節骨や中節骨部（図８−８０１、８０２）にはめる大きさのリング状固定器具の手のひら面側外周に張りつけた構造と、リング状固定器具の両側面に接する隣接指との指間の開閉によってオフ／オンするスイッチ１（親指側）とスイッチ２（小指側）を設けた構造と、これらの各々の信号を集めて処理して連結された本体側情報処理装置にリアルタイムに送信する仕組みを保持したことを特徴とする、スマートインターフェースリング。
上記請求項１のスマートインターフェースリングに、三次元位置情報読取りジャイロセンサーを組み込み、両手の指の中節骨（図８−８０２）に複数装着し、ワイヤレスで連結された情報処理装置に三次元情報も加えてリアルタイムに送信し、その変化情報（Ｘ−Ｙ−Ｚの３軸回転運動の角速度）から指先（末節骨：図８−８０３）に何も装着せずとも手の指の縦方向のアーチ動作基本概念（図９−９０１）から指先（末節骨：図９−８０３他）の動きを把握する機能を保持したことを特徴とする、スマートインターフェースリング。
上記請求項１、２のスマートインターフェースリングの長時間連続利用を可能にするため、ピエゾ効果等圧電素子を内蔵した圧電フィルムをリング状固定器具の内円面に張りつけることにより、本装置操作時の指間開閉圧力と感圧式タッチポインター操作時の指の圧力変化で発電する構造により本装置の動作電源確保機能を保持したことを特徴とする、スマートインターフェースリング。