JP6144743B2 - ウェアラブル装置 - Google Patents

ウェアラブル装置 Download PDF

Info

Publication number
JP6144743B2
JP6144743B2 JP2015193140A JP2015193140A JP6144743B2 JP 6144743 B2 JP6144743 B2 JP 6144743B2 JP 2015193140 A JP2015193140 A JP 2015193140A JP 2015193140 A JP2015193140 A JP 2015193140A JP 6144743 B2 JP6144743 B2 JP 6144743B2
Authority
JP
Japan
Prior art keywords
control signal
display
body motion
display object
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015193140A
Other languages
English (en)
Other versions
JP2017068572A (ja
Inventor
光 猫塚
光 猫塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2015193140A priority Critical patent/JP6144743B2/ja
Priority to US15/280,776 priority patent/US10120444B2/en
Publication of JP2017068572A publication Critical patent/JP2017068572A/ja
Application granted granted Critical
Publication of JP6144743B2 publication Critical patent/JP6144743B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0331—Finger worn pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Description

この発明は、ユーザの身体に身に付けられ、該身体の動作に基づいて操作が可能なウェアラブル装置に関する。
近年、複数の計測電極を用いて、ユーザの生体電位を計測する生体電位計測部と、ユーザの生体電位からユーザの第１の動作に対応する動作を検出する動作検出部と、動作検出部が第１の動作に対応する動作を検出した時、計測したユーザの生体電位に対応するユーザ動作を判定する動作判定部と、判定したユーザの動作に対応する操作を決定し、決定した操作を制御対象機器本体に対して送信する機器制御部とを備える、生体電位入力センサ装置が開示されている。（特許文献１）。
特開２０１５−２９３９号公報
身体の動作に基づいて操作が可能なウェアラブル装置においては、ユーザの意図しない動作によっては、該動作に基づく誤操作がなされないことが望ましい。
本発明の目的は、ユーザの意図しない動作によって誤操作がなされる可能性を低減したウェアラブル装置を提供することにある。
１つの態様に係るウェアラブル装置は、ユーザの上肢に装着され、該上肢の身体動作を検出する検出部と、前記検出部の検出結果から、前記上肢の身体動作を推定し、当該身体動作に基づく制御信号を生成する制御部と、を備えるウェアラブル装置であって、前記制御部は、前記身体動作として、前記上肢における指の身体動作、手の身体動作、腕の身体動作、の内の少なくとも２つの身体動作を第１所定時間内に推定すると、当該２つの身体動作を一連の身体動作として認識し、該一連の身体動作に基づく第１制御信号を前記制御信号として生成する。
本発明によれば、ユーザの意図しない動作によって誤操作がなされる可能性を低減したウェアラブル装置を提供することができる。
本発明に係るウェアラブル装置１と外部の表示機器２とから形成される入力システム１００を示す図である。 本発明に係るウェアラブル装置１の機能について説明する図である。 制御部１６によって推定可能な身体動作の種類を例示したものである。 制御部１６によって推定される身体動作の一例を説明する図である。 本実施形態に係るウェアラブル装置１によって実行される機能の第１例を示す図である。 本実施形態に係るウェアラブル装置１によって実行される機能の第２例を示す図である。 本実施形態に係るウェアラブル装置１によって実行される機能の第３例を示す図である。 外部の表示機器の他の変形例を示す図である。 ウェアラブル装置の他の変形例を示す図である。
本出願に係るウェアラブル装置を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下の説明においては、同様の構成要素に同一の符号を付すことがある。さらに、重複する説明は省略することがある。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。
図１は、本発明に係るウェアラブル装置１と外部の表示機器２とから形成される入力システム１００を示す図である。図１に示すように、ウェアラブル装置１は、表示機器２と有線または無線接続されることにより通信できる。表示機器２は、ウェアラブル装置１との通信によって、ウェアラブル装置１から制御信号を受信し、当該制御信号に基づき、例えば表示内容を変更する。表示機器２は、例えば、テレビ、スマートフォン、ノートパソコン等である。
図１に示すように、ウェアラブル装置１は、ユーザの上肢における前腕に装着されている。ここで本明細書において、上肢とは、ヒトの腕や手を意味し、上腕、前腕、又は手（或いは指）を含めているものとする。ここで図１に示すように、ユーザ、ウェアラブル装置１及び表示機器２を含む空間において三次元直交座標系が定義される。ユーザは、表示機器２の正面に対面しており、表示機器２の表示面（表示領域２１）に直交するＸ軸方向を向いている。
ウェアラブル装置１は、ユーザの上肢に着脱可能に装着されるものであり、例えば、リストバンド型や腕時計型である。ウェアラブル装置１は、例えば、ユーザの上肢に対して密着可能とするような、柔軟性と伸縮性を有する素材で大半の部分が形成されている。
次に、図２を用いて、本発明に係るウェアラブル装置１の機能について説明する。図２は、本発明に係るウェアラブル装置１の機能ブロックを示す図である。図２に示すように、ウェアラブル装置１は、生体電位検出部１１、加速度センサ１２、方位センサ１３、通信部１４、記憶部１５、制御部１６を備える。
生体電位検出部１１は、電気的に接続された複数の生体電極を用いて、ユーザの身体に生じる生体電位を検出する。生体電位は、例えば、ユーザの身体の動作に起因して生じる筋電位である。生体電位検出部１１による筋電位の検出手法には、公知の種々の手法が適用されて良い。生体電位検出部１１は、検出した筋電位、例えば、検出した電位の大きさ、又は電位の変化量、に基づく情報を制御部１６へ出力する。ウェアラブル装置１が図１に示すようなリストバンド型や腕時計型である場合には、生体電極は、ウェアラブル装置１における内側の面（ユーザの皮膚に接触する側の面）に配置される。
加速度センサ１２は、ウェアラブル装置１に作用する加速度の方向及び大きさを検出する。加速度センサ１２は、検出した加速度の方向及び大きさに基づく情報を制御部１６へ出力する。
方位センサ１３は、例えば、地磁気の向きを検出し、当該地磁気の向きに基づいてウェアラブル装置１の向き（方位）を検出する。方位センサ１３は、検出したウェアラブル装置１の方位に基づく情報を制御部１６へ出力する。
通信部１４は、無線により通信できる。通信部１４は、近距離無線通信方式をサポートできる。近距離無線通信方式は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（ＩＥＥＥ８０２．１１）、ＺｉｇＢｅｅ（登録商標）、赤外線通信、可視光通信、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等を含む。通信部１４は、複数の通信方式をサポートしてもよい。通信部６は、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格をサポートしてもよい。ウェアラブル装置１は、無線通信機能を有する表示機器２と無線通信接続を行うことにより、各種信号の送受信を行うことが出来る。
なお、通信部１４は、表示機器２と有線接続されることによって通信しても良い。この場合、ウェアラブル装置１は、表示機器２が接続されるコネクタを備える。コネクタは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ライトピーク（サンダーボルト（登録商標））、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタは、Ｄｏｃｋコネクタのような専用の端子でもよい。
記憶部１５は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部１５に記憶されるプログラムには、制御プログラムが含まれる。記憶部１５は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラムは、記憶媒体に記憶されていてもよい。また、制御プログラムは、無線通信または有線通信によってサーバ装置や、表示機器２から取得されてもよい。
制御部１６は、演算処理装置を含む。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、及びコプロセッサを含むが、これらに限定されない。制御部１６は、ウェアラブル装置１の動作を統括的に制御できる。ウェアラブル装置１各種機能は、制御部１６の制御に基づいて実現される。
具体的には、制御部１６は、記憶部１５に記憶されているプログラムに含まれる命令を実行できる。制御部１６は、記憶部１５に記憶されているデータを必要に応じて参照できる。制御部１６は、データ及び命令に応じて機能部を制御する。制御部１６は、機能部を制御することによって、各種機能を実現する。機能部は、例えば、通信部１４を含むが、これらに限定されない。制御部１６は、動作推定部１６ａを含む。制御部１６は、制御プログラムを実行することによって、動作推定部１６ａを実現する。動作推定部１６ａは、生体電位検出部１１又は加速度センサ１２又は方位センサから出力される情報に基づいて、ユーザの身体動作を推定する。
次に、ウェアラブル装置１がユーザの前腕に装着されている場合に、制御部１６によって推定可能な身体動作の種類について説明する。図３は、制御部１６によって推定可能な身体動作の種類を例示したものである。ウェアラブル装置１によって推定される上肢の身体動作の主体は、指、手、腕に分類される。また、図３には、各身体動作を推定可能な検出部の種類を示している。
指の動作は、第１〜５指（親指、人差し指、中指、薬指、小指）の内の少なくとも１つの指を曲げる動作（パターン１）、第１〜５指の内の少なくとも１つの指を伸展させる動作（パターン２）、第１〜５指の内の少なくとも２つの指を互いに近づける、若しくは接触させる動作（パターン３）、第１〜５指の内の少なくとも２つの指を互いに離間させる動作を含む。パターン１の動作において、第１〜５指の全てを曲げる動作、或いは、第２〜５指を曲げる動作は、即ち、手を握る動作ともいえる。パターン２の動作において、第１〜５指の全てを伸展させる動作は、即ち、手を開く動作ともいえる。パターン３の動作において、第１指（親指）と第２〜５指の何れかとを互いに接触させる動作は、即ち、摘まむ動作ともいえる。なお、パターン１〜４の各動作は、生体電位検出部１１の検出結果に基づいて制御部１６により推定されることができる。この場合、パターン１〜４の各動作を司る身体部位に生体電極が取り付けられるよう、当該生体電極がウェアラブル装置１に配置されているとよい。また、パターン１〜４の動作は、指を構成する１以上の関節の曲げ、及び伸展を伴うものであってもよいし、伴わないものであってもよい。
手の動作は、掌屈動作（パターン５）、背屈動作（パターン６）、橈屈動作（パターン７）、尺屈動作（パターン８）を含む。掌屈動作は、手首を手のひら側に曲げる身体動作である。背屈動作は、手首を手の甲側に曲げる身体動作である。橈屈動作は、前腕を構成する橈骨のある側（親指側）に手首の関節を曲げる身体動作である。例えば、右側の上肢における橈屈動作は、右前腕における手の甲側が上になり、手のひら側が下となっている場合において、手首を左側に曲げることと同じである。尺屈動作は、前腕を構成する尺骨のある側（小指側）に手首の関節を曲げる身体動作である。例えば、右側の上肢における尺屈動作は、右前腕における手の甲側が上になり、手のひら側が下となっている場合において、手首を右側に曲げることと同じである。なお、パターン５〜８の各動作は、生体電位検出部１１の検出結果に基づいて制御部１６により推定されることができる。この場合、パターン５〜８の各動作を司る身体部位に生体電極が取り付けられるよう、当該生体電極がウェアラブル装置１に配置されているとよい。また、パターン５〜８の各動作が組み合わさってなされる、前腕の長手方向を軸として手首を回転させる動作も、生体電位検出部１１の検出結果に基づいて制御部１６により推定されることができる。
腕の動作は、前腕の回内動作（パターン９）、前腕の回外動作（パターン１０）、胴体に前腕を近づける動作（パターン１１）、胴体から前腕を遠ざける動作（パターン１２）、肩を軸とした腕の移動動作（パターン１２）を含む。前腕の回内動作は、手の甲がユーザの顔側を向くように、前腕を回旋させる身体動作である。例えば、右側の上肢の場合、右前腕を軸として該右前腕を反時計回りに旋回させる動作である。前腕の回外動作は、手のひらがユーザの顔側を向くように、前腕を回旋させる身体動作である。例えば、右側の上肢の場合、右前腕を軸として該右前腕を時計回りに旋回させる動作である。胴体に前腕を近づける動作は、例えば、肘を支点として前腕と上腕とを互いに近づける動作（腕の曲げ動作）である。胴体から前腕を遠ざける動作は、例えば、肘を支点として前腕と上腕とを互いに離す動作（腕の伸展動作）である。肩を軸とした腕の移動動作は、肘を支点とした腕の曲げを伴うことなく（或いは、所定角度以上の腕の曲げを伴うことなく）、指又は手又は腕を移動させる動作であり、例えば、指先で任意に軌道を描く動作である。
パターン９、１０の各動作は、生体電位検出部１１の検出結果に基づいて制御部１６により推定されることができる。この場合、パターン９、１０の各動作を司る身体部位に生体電極が取り付けられるよう、当該生体電極がウェアラブル装置１に配置されているとよい。また、パターン９〜１２の各動作は、上述した、加速度センサ１２の検出結果に基づいて制御部１６により推定されることもできる。この場合、制御部１６は、パターン９〜１３の各動作に基づいてウェアラブル装置１に作用する加速度の方向及び大きさの変化に基づいて、当該動作がなされたことを検出する。また、パターン９〜１２の各動作は、上述した、方位センサ１３の検出結果に基づいて制御部１６により推定されることもできる。この場合、制御部１６は、パターン９〜１２の各動作によるウェアラブル装置１の方位の変化に基づいて、当該動作がなされたことを検出する。
以上によれば、ウェアラブル装置１の生体電位検出部１１、加速度センサ１２、方位センサ１３は、ユーザの上肢の身体動作を検出する検出部に含まれる。
図４は、制御部１６によって推定される身体動作の一例を説明する図である。図４（ａ）は、第１の身体動作Ｍ１を示し、図４（ｂ）は、第２の身体動作Ｍ２を示している。図４（ａ）に示すように、第１の身体動作Ｍ１は、第１〜５指の内の少なくとも２つの指を互いに接触させる身体動作Ｍ１１（図３のパターン３に該当する身体動作）と、胴体に前腕を近づける動作Ｍ１２（図３のパターン１１に該当する身体動作）と、の２つの身体動作を第１所定時間内に行う、一連の身体動作である。第１所定時間は、例えば、１秒と設定されてよい。また、第１の身体動作Ｍ１は、身体動作Ｍ１１と身体動作Ｍ１２とが同時になされるものであってもよい。また、第１の身体動作Ｍ１は、身体動作Ｍ１１と身体動作Ｍ１２の内の一方と他方とが第１所定時間内に順次なされるものであってもよい。制御部１６は、身体動作Ｍ１１と身体動作Ｍ１２とを第１所定時間内に推定すると、当該２つの身体動作を一連の身体動作、即ち身体動作Ｍ１として認識する。
図４（ｂ）に示すように、第２の身体動作Ｍ２は、第１〜５指の内の少なくとも２つの指を互いに接触させる身体動作Ｍ２１（図３のパターン４に該当する身体動作）と、胴体から前腕を遠ざける動作Ｍ２２（図３のパターン１２に該当する身体動作）と、の２つの身体動作を第１所定時間内に行う、一連の身体動作である。第１所定時間は、例えば、１秒と設定されてよい。また、第２の身体動作Ｍ２は、身体動作Ｍ２１と身体動作Ｍ２２とが同時になされるものであってもよい。また、第２の身体動作Ｍ２は、身体動作Ｍ２１と身体動作Ｍ２２の一方と他方とが第１所定時間内に順次なされるものであってもよい。制御部１６は、身体動作Ｍ２１と身体動作Ｍ２２とを第１所定時間内に推定すると、当該２つの身体動作を一連の身体動作、即ち身体動作Ｍ２として認識する。
図５は、本実施形態に係るウェアラブル装置１によって実行される機能の第１例を示す図である。本機能は、制御部１６が上述した制御プログラムを実行することによって実現される。図５には、外部の表示機器２の表示領域２１が示されている。なお、第１例では、ウェアラブル装置１と外部の表示機器２とが無線通信接続を行っているものとする。
ステップＳ１１に示すように、表示領域２１には、表示オブジェクトＯＢ１と表示オブジェクトＯＢ２とが表示されている。表示オブジェクトＯＢ１、ＯＢ２は、それぞれ、ユーザによる実行操作に基づいて、予め対応付けられている所定のアプリケーションを実行可能なアイコンである。表示オブジェクトＯＢ１は、音楽再生アプリケーションに関するアイコンであり、表示オブジェクトＯＢ２は、ブラウザアプリケーションに関するアイコンである。しかしながら、表示オブジェクトＯＢ１、ＯＢ２は、所定のアプリケーションに関するアイコンである必要はなく、他のあらゆる種類の画像であってもよい。
ここで、表示領域２１は、仮想の三次元空間としてユーザに視認されるような表示態様となっており、当該三次元空間における奥行き方向が、ユーザにとっての前方（図１におけるＸ軸方向）に対応している場合が例示されている。表示オブジェクトＯＢ１は、表示オブジェクトＯＢ２よりも大きな画像として表示領域２１に表示されていることにより、ユーザは、表示オブジェクトＯＢ１がオブジェクトＯＢ２より手前側に表示されているように視認する。また、ステップＳ１１に示す例とは異なるが、表示オブジェクトＯＢ１がオブジェクトＯＢ２の一部に重なって表示されることによって、表示オブジェクトＯＢ１がオブジェクトＯＢ２より手前側に表示されているような表示態様が取られてもよい。なお、ステップＳ１１における、表示オブジェクトＯＢ１、ＯＢ２の表示態様（画像の大きさや表示位置）は、外部の表示機器２によって制御されてもよいし、ウェアラブル装置１によって制御されてもよい。
ステップＳ１１に示すように、表示領域２１には、ヒトの手を模した画像（手オブジェクトＯＢＨ）が表示されている。手オブジェクトＯＢＨは、表示領域２１において、表示オブジェクトＯＢ１、ＯＢ２よりも手前側に表示されている。手オブジェクトＯＢＨは、例えば、加速度センサ１２の検出結果に基づいて推定されるユーザの手の位置の移動に基づいて、表示位置が移動可能な画像である。手オブジェクトＯＢＨは、例えば、生体電位検出部１１の検出結果に基づいて推定されるユーザの手の身体動作（手の形状の変化）に基づいて、表示の形状が変化可能な画像である。例えば、ウェアラブル装置１は、生体電位検出部１１の検出結果に基づいて、ユーザの手の動作を推定すると、当該手の動作に基づく手の形態情報を外部の表示機器２に送信し、外部の表示機器２は、受信した形態情報に基づいて手オブジェクトＯＢＨの形状を変化させる。ステップＳ１１の例では、ユーザが人差し指を伸展させたことに基づき、手オブジェクトＯＢＨの人差し指が伸展された状態が示されている。また、ユーザの所定の身体動作（例えば、指の曲げ動作）に基づき、手オブジェクトＯＢＨの人差し指の指先を中心とした所定の範囲ＡとＸ軸方向において少なくとも一部が重なる表示オブジェクトが選択可能となっている構成が例示されている。ステップＳ１１においては、表示オブジェクトＯＢ１、ＯＢ２の双方が範囲Ａに重なっているため、双方とも、ユーザの所定の身体動作によって、選択され得る。
ステップＳ１１に示す状態において、ユーザが図４に示した第１の身体動作Ｍ１を上記の第１所定時間内に行うと、制御部１６は、上記の検出部の検出結果に基づいて第１の身体動作Ｍ１を認識する。制御部１６は、第１の身体動作Ｍ１の身体動作に基づく第１制御信号を生成し、当該第１制御信号を通信部１４によって、表示機器２へ送信させる。ここで、第１制御信号は、表示機器２の表示領域２１中の表示オブジェクトを選択するための制御信号である。なお、身体動作Ｍ１は、身体動作Ｍ１１と身体動作Ｍ１２との２つの身体動作を第１所定時間内に行う身体動作（図４参照）であり、身体動作Ｍ１２によって腕がユーザの胴体に近づく方向、或いは、身体動作Ｍ１２によって指又は手が移動する方向は、Ｘ軸方向におけるマイナス方向と一致する。即ち、身体動作Ｍ１は、ユーザの前方からユーザの胴体により近い位置へ手を引く動作となる。
表示機器２は、ウェアラブル装置１から第１制御信号を受信すると、ステップＳ１２に示すように、第１制御信号に基づいて、表示オブジェクトの選択処理を行う。ステップＳ１２に示すように、表示機器２は、選択処理によって表示オブジェクトＯＢ２を選択状態とし、当該表示オブジェクトＯＢ２が手オブジェクトＯＢＨによって掴まれている表示に表示態様を変更している。上述したように、身体動作Ｍ１は、ユーザの前方からユーザの胴体により近い位置（Ｘ軸方向におけるマイナス方向）へ手を引く動作であり、当該身体動作に基づいて、選択された表示オブジェクトＯＢ２は、あたかもユーザに近い位置に引っ張られたかのように、選択状態となる前よりも大きな画像として表示される。表示オブジェクトＯＢ２が選択状態となっている状態、即ち、身体動作Ｍ１を終えた状態において、例えば、ユーザが前腕の回外動作（図３のパターン１０に該当する身体動作）を連続して行った場合に、当該回外動作に基づいて表示オブジェクトＯＢ２に対応付けられたブラウザアプリケーションが起動される。
以上のように、ウェアラブル装置１は、ユーザの上肢に装着され、該上肢の身体動作を検出する検出部と、前記検出部の検出結果から、前記上肢の身体動作を推定し、当該身体動作に基づく制御信号を生成する制御部と、を備えるウェアラブル装置であって、前記制御部は、前記身体動作として、前記上肢における指の身体動作、手の身体動作、腕の身体動作、の内の少なくとも２つの身体動作を第１所定時間内に推定すると、当該２つの身体動作を一連の身体動作として認識し、該一連の身体動作に基づく第１制御信号を前記制御信号として生成する。これにより、上肢における指の身体動作、手の身体動作、腕の身体動作、の内の１つの身体動作のみによって制御信号を生成する場合に比して、ユーザの意図しない動作によって制御信号が生成されて誤操作がなされてします可能性を低減することができる。
なお、第１例では、上記２つの身体動作からなる一連の身体動作として、第１〜５指の内の少なくとも２つの指を互いに接触させる身体動作Ｍ１１と、胴体に前腕を近づける身体動作Ｍ１２と、の２つの身体動作を第１所定時間内に行う身体動作を例示したが、一連の動作はこれに限定されない。一連の身体動作は、図３に示した、指の各パターンの身体動作と手の各パターンの身体動作とで適宜組み合わされた、あらゆる身体動作であってよい。また、一連の身体動作は、指の各パターンの身体動作と腕の各パターンの身体動作とで適宜組み合わされた、あらゆる身体動作であってよい。また、一連の身体動作は、手の各パターンの身体動作と腕の各パターンの身体動作とで適宜組み合わされた、あらゆる身体動作であってよい。例えば、一連の身体動作は、指の曲げ動作（図３のパターン１に該当する身体動作）と、掌屈動作（図３のパターン５に該当する身体動作）と、の２つの身体動作を第１所定時間内に行う動作（第２の身体動作）であってよい。例えば、一連の身体動作は、第１〜５指の全てを曲げる、即ち、握る動作（図３のパターン３に該当する身体動作）と、前腕の回外動作（図３のパターン１０に該当する身体動作）と、の２つの身体動作を第１所定時間内に行う動作（第３の身体動作）であってよい。また、一連の身体動作は、２つの身体動作の組み合わせに限定されず、３つ以上の身体動作の組み合わせによって構成されて良い。例えば、一連の身体動作は、第１〜５指の全てを曲げる、即ち、握る動作（図３のパターン３に該当する身体動作）と、前腕の回外動作（図３のパターン１０に該当する身体動作）と、の２つの身体動作を行った後に、手を開く動作を続けて行うもの（第４の身体動作）であってよい。
第１例では、身体動作Ｍ１１と身体動作Ｍ１２との２つの身体動作を第１所定時間内に行う一連の身体動作に基づいて、所定のアプリケーションに関するアイコンを選択する処理を実行する構成を例示したが、一連の身体動作に基づいて実行する処理はこれに限定されない。例えば、上記第２の身体動作に基づいて、表示領域２１に表示される所定の画像を第２の身体動作の動作方向（下方向）へのスクロールする処理が実行されてもよい。例えば、上記第３の身体動作に基づいて、表示領域２１の表示を非表示する画面ＯＦＦ処理や、所定の機能を制限する処理や、所定のデータファイルを消去する処理等が実行されてもよい。例えば、上記第４の身体動作に基づいて、所定のデータファイルを消去する処理等が実行されてもよい。
図６は、本実施形態に係るウェアラブル装置１によって実行される機能の第２例を示す図である。本機能は、制御部１６が上述した制御プログラムを実行することによって実現される。図６には、外部の表示機器２の表示領域２１が示されている。なお、第２例では、ウェアラブル装置１と外部の表示機器２とが無線通信接続を行っているものとする。
ステップＳ２１は、第１例のステップＳ１１（図５参照）と同様の状態である。ステップＳ２１においては、表示オブジェクトＯＢ１、ＯＢ２の双方が手オブジェクトＯＢＨの人差し指の指先の位置に基づく範囲Ａに重なっているため、双方とも、ユーザの所定の身体動作によって、選択され得る状態となっている。
ステップＳ２１に示す状態において、ユーザが人差し指と親指とを接触させる身体動作Ｍ１１（図４参照）を行うと、制御部１６は、上記の検出部の検出結果に基づいて身体動作Ｍ１１を認識する。制御部１６は、身体動作Ｍ１１の身体動作に基づく第２制御信号を生成し、当該第２制御信号を通信部１４によって、表示機器２へ送信させる。ここで、第２制御信号は、表示機器２の表示領域２１中の表示オブジェクトを選択するための制御信号である。
表示機器２は、ウェアラブル装置１から第２制御信号を受信すると、ステップＳ２２に示すように、第２制御信号に基づいて、表示オブジェクトの選択処理を行う。ステップＳ２２に示すように、表示機器２は、選択処理によって表示オブジェクトＯＢ１を選択状態とし、当該表示オブジェクトＯＢ１が手オブジェクトＯＢＨによって掴まれている表示に表示態様を変更している。表示オブジェクトＯＢ２が選択状態となっている状態、即ち、身体動作Ｍ１１を終えた状態において、例えば、ユーザが前腕の回外動作（図３のパターン１０に該当する身体動作）を連続して行った場合に、当該回外動作に基づいて表示オブジェクトＯＢ１に対応付けられた音楽再生アプリケーションが起動される。
第１例において、制御部１６は、第１〜５指の内の少なくとも２つの指を互いに接触させる身体動作Ｍ１１と、胴体に前腕を近づける身体動作Ｍ１２と、の２つの身体動作を第１所定時間内に推定すると、当該２つの身体動作を一連の身体動作Ｍ１として認識し、該一連の身体動作に基づく第１制御信号を生成する構成を有するのに対し、第２例では、制御部１６は、身体動作Ｍ１１と身体動作Ｍ１２の内の一方の身体動作のみ（上記の例では身体動作Ｍ１１）を第１所定時間内に推定した場合には、当該一方の身体動作に基づく第２制御信号を生成する構成を有する。また、第１、２例では、第１制御信号に基づいて、表示オブジェクトＯＢ２（第１表示オブジェクト）が選択され、第２制御信号に基づいて、表示オブジェクトＯＢ１（第２表示オブジェクト）が選択される構成を有する。これにより、第１、２例のような、複数の表示オブジェクト（ＯＢ１、ＯＢ２）の双方が、一の操作によって選択され得る位置に表示されていたとしても、ユーザは、一の身体動作に他の身体動作を組み合わせるか否かによって、それぞれを確実に選択することが出来る。
また、第１、２例に示したように、身体動作Ｍ１１に基づいて生成される第２制御信号は、表示領域２１に表示される複数の表示オブジェクトＯＢ１、ＯＢ２の内の表示オブジェクトＯＢ１（第２表示オブジェクト）を選択するための制御信号であり、身体動作Ｍ１１と身体動作Ｍ１２とからなる一連の身体動作Ｍ１に基づいて生成される第１制御信号は、複数の表示オブジェクトＯＢ１、ＯＢ２の内の、表示領域２１における奥行き方向（Ｘ軸方向）において、表示オブジェクトＯＢ１（第２表示オブジェクト）よりも奥側に表示される表示オブジェクトＯＢ２（第１表示オブジェクト）を選択するための制御信号である。これにより、身体動作Ｍ１１のみのような小さな（シンプルな）動作によって、ユーザにより近い表示オブジェクトを選択可能にし、身体動作Ｍ１のような、身体動作Ｍ１１のみの場合よりも大きな（或いは複雑な）動作によって、ユーザからより離れて表示されている表示オブジェクトを選択可能にするため、ユーザにとってイメージし易い操作を実現できる。
図７は、本実施形態に係るウェアラブル装置１によって実行される機能の第３例を示す図である。本機能は、制御部１６が上述した制御プログラムを実行することによって実現される。図７には、外部の表示機器２の表示領域２１が示されている。なお、第３例では、ウェアラブル装置１と外部の表示機器２とが無線通信接続を行っているものとする。
ステップＳ３１は、第１例のステップＳ１２（図５参照）と同様の状態、即ち、表示オブジェクトＯＢ２１が選択されている状態である。
ステップＳ３１に示す状態において、ユーザが図４に示した第２の身体動作Ｍ２を上記の第１所定時間内に行うと、制御部１６は、上記の検出部の検出結果に基づいて第２の身体動作Ｍ２を認識する。制御部１６は、第２の身体動作Ｍ１の身体動作に基づく制御信号を生成し、当該制御信号を通信部１４によって、表示機器２へ送信させる。ここで、第２の身体動作Ｍ２に基づく制御信号は、表示オブジェクトの選択状態を解除するとともに当該表示オブジェクトの表示位置を所定距離移動させるための制御信号である。なお、身体動作Ｍ２は、身体動作Ｍ２１と身体動作Ｍ２２との２つの身体動作を第１所定時間内に行う身体動作（図４参照）であり、身体動作Ｍ２２によって腕がユーザの胴体に遠ざかる方向、或いは、身体動作Ｍ２２によって指又は手が移動する方向は、Ｘ軸方向におけるプラス方向（表示領域２１における奥行き方向）と一致する。即ち、第２の身体動作Ｍ２は、ユーザの前方からユーザの胴体により遠い位置へ手を押す動作となる。第２の身体動作Ｍ２は、上記の第１の身体動作Ｍ１と同様、指の身体動作、手の身体動作、腕の身体動作、の内の少なくとも２つの身体動作を第１所定時間内に行う一連の身体動作であるため、当該第２の身体動作Ｍ２に基づいて生成される制御信号を第１制御信号と称することにする。
表示機器２は、ウェアラブル装置１から第１制御信号を受信すると、ステップＳ３２ａに示すように、第１制御信号に基づいて、表示オブジェクトＯＢ２の選択状態を解除するとともに、当該表示オブジェクトＯＢ２の表示位置を表示領域２１の奥行き方向における、表示オブジェクトＯＢ１よりも奥側（Ｘ軸プラス方向側）に移動させる。
一方、ステップＳ３１に示す状態において、ユーザが人差し指と親指とを離間させる身体動作Ｍ２１（図４参照）を行うと、制御部１６は、上記の検出部の検出結果に基づいて身体動作Ｍ２１を認識する。制御部１６は、身体動作Ｍ２１の身体動作に基づく制御信号を生成し、当該制御信号を通信部１４によって、表示機器２へ送信させる。ここで、身体動作Ｍ２１に基づく制御信号は、表示オブジェクトの選択状態を解除するとともに当該表示オブジェクトの表示位置を所定距離移動させるための制御信号である。身体動作Ｍ２１は、上記の身体動作Ｍ１１と同様、指の身体動作、手の身体動作、腕の身体動作、の内の少なくとも１つの身体動作であるため、当該身体動作Ｍ２１に基づいて生成される制御信号を第２制御信号と称することにする。
表示機器２は、ウェアラブル装置１から第１制御信号を受信すると、ステップＳ３２ｂに示すように、第２制御信号に基づいて、表示オブジェクトＯＢ２の選択状態を解除するとともに、当該表示オブジェクトＯＢ２の表示位置を表示領域２１の奥行き方向における、表示オブジェクトＯＢ１よりも手前側（Ｘ軸マイナス方向側）に移動させる。
以上のように、身体動作Ｍ２１に基づいて生成される第２制御信号は、表示領域２１に表示される表示オブジェクトの表示位置を第２距離移動させるための制御信号であり、身体動作Ｍ２１と身体動作Ｍ２２とからなる一連の身体動作Ｍ２に基づいて生成される第２制御信号は、表示オブジェクトの表示位置を前記第２距離よりも大きい第１距離移動させるための制御信号である。これにより、身体動作Ｍ２１のみのような小さな（シンプルな）動作によって、より小さい距離だけ表示オブジェクトの表示位置を移動可能にし、身体動作Ｍ２のような、身体動作Ｍ２１のみの場合よりも大きな（或いは複雑な）動作によって、より大きい距離だけ表示オブジェクトの表示位置を移動可能にするため、ユーザにとってイメージし易い操作を実現できる。
（変形例１）
上記の実施例では、指の身体動作、手の身体動作、腕の身体動作、の内の少なくとも２つの身体動作を第１所定時間内に行う一連の身体動作に基づいて生成される第１制御信号と、当該少なくとも２つの身体動作の内の一方の身体動作のみに基づいて生成される第２制御信号と、によって、仮想の三次元空間の奥行き方向において互いに異なる位置に表示された表示オブジェクトの選択対象を異ならせる構成を示した。また、第１制御信号と第２制御信号とによって、表示オブジェクトの表示位置の移動距離を異ならせる構成を示した。しかしながら、このような構成に限定されず、上記一連の身体動作の検出時間によって、三次元空間の奥行き方向において互いに異なる位置に表示された表示オブジェクトの選択対象を異ならせる構成、又は、表示オブジェクトの表示位置の移動距離を異ならせる構成としてもよい。即ち、ウェアラブル装置１において、制御部は、一連の身体動作を認識すると、当該一連の身体動作がなされた時間を計時し、当該時間に基づいて制御信号を生成してもよい。
例えば、図５のステップＳ１１又は図６のステップＳ２１に示す状態において、制御部１６は、身体動作Ｍ１１と身体動作Ｍ１２との２つの身体動作を第１所定時間内に行う一連の身体動作Ｍ１を推定すると、当該身体動作Ｍ１がなされた時間を計時し、当該時間が所定時間（例えば１秒）以上である場合には、三次元空間の奥行き方向においてより奥側（Ｘ軸プラス方向側）の表示オブジェクトを選択し（図５のステップＳ１２と同様の処理）、一方で、所定時間未満である場合には、三次元空間の奥行き方向においてより手前側（Ｘ軸マイナス方向側）の表示オブジェクトを選択するようにしてもよい（図６のステップＳ２２と同様の処理）。
また、図７のステップＳ３１に示す状態において、制御部１６は、身体動作Ｍ２１と身体動作Ｍ２２との２つの身体動作を第１所定時間内に行う一連の身体動作Ｍ２を推定すると、当該身体動作Ｍ１がなされた時間を計時し、当該時間が所定時間（例えば１秒）未満である場合には、表示オブジェクトの表示位置の移動距離をより大きくし（図７のステップＳ３２ａと同様の処理）、所定時間以上である場合には、表示オブジェクトの表示位置の移動距離をより小さくするようにしてもよい（図７のステップＳ３２ｂと同様の処理）。
また、ウェアラブル装置１において、制御部１６は、一連の身体動作を認識すると、当該一連の身体動作に基づく、上肢の所定箇所の変位量を推定し、当該変位量に基づいて制御信号を生成してもよい。ここで、上肢の所定箇所とは、例えば、ウェアラブル装置１が装着された部分であってもよいし、所定の指や手であってもよい。上肢におけるウェアラブル装置１が装着された部分を所定箇所とした場合、ウェアラブル装置１は、身体動作がなされたときの加速度センサ１２の検出値の変化に基づいて、当該所定箇所の変位量を推定してもよい。
例えば、図５のステップＳ１１又は図６のステップＳ２１に示す状態において、制御部１６は、身体動作Ｍ１１と身体動作Ｍ１２との２つの身体動作を第１所定時間内に行う一連の身体動作Ｍ１を推定すると、当該身体動作Ｍ１に基づく、上肢の所定箇所の変位量を推定し、変位量が所定距離（例えば５ｃｍ）以上である場合には、三次元空間の奥行き方向においてより奥側（Ｘ軸プラス方向側）の表示オブジェクトを選択し（図５のステップＳ１２と同様の処理）、変位量が所定距離未満である場合には、三次元空間の奥行き方向においてより手前側（Ｘ軸マイナス方向側）の表示オブジェクトを選択するようにしてもよい（図６のステップＳ２２と同様の処理）。
また、ウェアラブル装置１において、制御部１６は、身体動作Ｍ１１と身体動作Ｍ１２との２つの身体動作を第１所定時間内に行う一連の身体動作Ｍ１を推定すると、当該身体動作Ｍ１に基づく、上肢の所定箇所の変位量を推定し、変位量が所定距離（例えば５ｃｍ）以上である場合には、表示オブジェクトの表示位置の移動距離をより大きくし（図７のステップＳ３２ａと同様の処理）、変位量が所定距離未満である場合には、表示オブジェクトの表示位置の移動距離をより小さくするようにしてもよい（図７のステップＳ３２ｂと同様の処理）。
また、ウェアラブル装置１において、制御部１６は、一連の身体動作を認識すると、当該一連の身体動作に基づく、上肢の所定箇所の向きの変化量を推定し、当該変化量に基づいて制御信号を生成してもよい。ここで、上肢の所定箇所とは、例えば、ウェアラブル装置１が装着された部分であってもよい。上肢におけるウェアラブル装置１が装着された部分を所定箇所とした場合、ウェアラブル装置１は、身体動作がなされたときの加速度センサ１２の検出値の変化や方位センサの検出値の変化に基づいて、当該所定箇所の方向の変化量を推定してもよい。
例えば、図５のステップＳ１１又は図６のステップＳ２１に示す状態において、制御部１６は、身体動作Ｍ１１と身体動作Ｍ１２との２つの身体動作を第１所定時間内に行う一連の身体動作Ｍ１を推定すると、当該身体動作Ｍ１に基づく、上肢の所定箇所の向きの変化量を推定し、変化量が所定角度（例えば１５度）以上である場合には、三次元空間の奥行き方向においてより奥側（Ｘ軸プラス方向側）の表示オブジェクトを選択し（図５のステップＳ１２と同様の処理）、変位量が所定角度未満である場合には、三次元空間の奥行き方向においてより手前側（Ｘ軸マイナス方向側）の表示オブジェクトを選択するようにしてもよい（図６のステップＳ２２と同様の処理）。
また、ウェアラブル装置１において、制御部１６は、身体動作Ｍ１１と身体動作Ｍ１２との２つの身体動作を第１所定時間内に行う一連の身体動作Ｍ１を推定すると、当該身体動作Ｍ１に基づく、上肢の所定箇所の向きの変化量を推定し、変化量が所定角度（例えば１５度）以上である場合には、表示オブジェクトの表示位置の移動距離をより大きくし（図７のステップＳ３２ａと同様の処理）、変位量が所定角度未満である場合には、表示オブジェクトの表示位置の移動距離をより小さくするようにしてもよい（図７のステップＳ３２ｂと同様の処理）。
（変形例２）
上記の実施例では、外部の表示機器２がテレビ、スマートフォン、ノートパソコン等であることを例示したが、これに限定されない。表示機器２は、例えば、図８に示すようなヘッドマウントディスプレイ（或いはメガネ型の端末）であっても良い。ヘッドマウントディスプレイ２は、メガネのレンズに相当する部分の一部（表示領域２１）に画像を表示する。
（変形例３）
上記の実施例では、上肢の身体動作を検出する検出部は、生体電位検出部１１、加速度センサ１２、方位センサ１３である場合である場合を示したが、上肢の身体動作を検出可能な撮像部であってもよい。例えば、図９に示すように、本実施形態に係るウェアラブル装置は、ヘッドマウントディスプレイ３であって、ヘッドマウントディスプレイ３の正面部には、ユーザの上肢の身体動作を検出可能な撮像部としての光学カメラ３１（撮像部）であったり、或いは撮像部としての赤外線カメラ（赤外線の照射機能も有する）３２が設けられる。また、ヘッドマウントディスプレイ３は、メガネのレンズに相当する部分の一部（表示領域３３）に画像を表示する。制御部１６は、撮像部が取得する撮像画像を解析することによりユーザの上肢の身体動作を検出することができる。また、上記までの実施例では、生成された制御信号を外部の表示機器に送信する通信部１４を備え、制御部１６は、制御信号として、外部の表示機器の表示内容の制御する表示制御信号を生成する構成を例示してきたが、本変形例では、必ずしも通信部を備えている必要はなく、ウェアラブル装置１は、表示部３３を備え、制御部１６は、撮像部としての光学カメラ３１又は赤外線カメラ３２の検出結果に基づいて、指の身体動作、手の身体動作、腕の身体動作、の内の少なくとも２つの身体動作を第１所定時間内に行う一連の身体動作を推定し、当該一連の身体動作に基づく制御信号を、表示部３３の表示内容の制御する表示制御信号として生成してよい。
以上に、本発明に係る実施形態を説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。さらに、本明細書において開示される全ての技術的事項は、矛盾しないように再配置可能であり、複数の構成部を１つに組み合わせたり、或いは分割したりすることが可能である。
上記の実施形態では、ウェアラブル装置１の構成と動作について説明したが、これに限定されず、各構成要素を備える方法やプログラムとして構成されても良い。また、上記に例示したように、ウェアラブル装置１と他の電子機器とから形成されるネットワークシステムとして構成されても良い。
１ ウェアラブル装置
２ 表示機器
１１ 生体電位検出部
１２ 加速度センサ
１３ 方位センサ
１４ 通信部
１５ 記憶部
１６ 制御部

Claims (8)

  1. ユーザの上肢に装着され、該上肢の身体動作を検出する検出部と、
    前記検出部の検出結果から、前記上肢の身体動作を推定し、当該身体動作に基づく制御信号を生成する制御部と、
    前記制御信号を外部の表示機器に送信する通信部と、を備え、
    前記制御部は、
    前記身体動作として、前記上肢における指の身体動作、手の身体動作、腕の身体動作、の内の少なくとも２つの身体動作を一連の身体動作として推定すると、第１制御信号を生成し、
    前記身体動作として、前記上肢における指の身体動作、手の身体動作、腕の身体動作、の内の１つの身体動作を推定すると、第２制御信号を生成し、
    前記第２制御信号は、前記外部の表示機器が表示する表示オブジェクトの表示位置を第２距離移動させるための制御信号であり、
    前記第１制御信号は、前記表示オブジェクトの表示位置を前記第２距離よりも大きい第１距離移動させるための制御信号である
    ウェアラブル装置。
  2. 表示部と、
    上肢の身体動作を検出する検出部と、
    前記検出部の検出結果から、前記上肢の身体動作を推定し、当該身体動作に基づく制御信号を生成する制御部と、
    前記制御部は、
    前記身体動作として、前記上肢における指の身体動作、手の身体動作、腕の身体動作、の内の少なくとも２つの身体動作を一連の身体動作として推定すると、第１制御信号を生成し、
    前記身体動作として、前記上肢における指の身体動作、手の身体動作、腕の身体動作、の内の１つの身体動作を推定すると、第２制御信号を生成し、
    第２制御信号は、前記表示部が表示する表示オブジェクトの表示位置を第２距離移動させるための制御信号であり、
    第１制御信号は、前記表示オブジェクトの表示位置を前記第２距離よりも大きい第１距離移動させるための制御信号である
    ウェアラブル装置。
  3. 前記第２制御信号は、選択状態である前記表示オブジェクトの該選択状態を解除するとともに該表示オブジェクトの表示位置を第２距離移動させるための制御信号であり、
    前記第１制御信号は、選択状態である前記表示オブジェクトの該選択状態を解除するとともに該表示オブジェクトの表示位置を前記第２距離よりも大きい第１距離移動させるための制御信号である
    請求項１又は２に記載のウェアラブル装置。
  4. 前記第２制御信号は、前記表示オブジェクトを、所定の表示方向における他の表示オブジェクトよりも手前側に表示させるための制御信号であり、
    前記第１制御信号は、前記表示オブジェクトを、前記表示方向における他の表示オブジェクトよりも奥側に表示させるための制御信号である
    請求項１から３の何れか一項に記載のウェアラブル装置。
  5. 制御部は、前記身体動作として、前記上肢における指の身体動作、手の身体動作、腕の身体動作、の内の少なくとも２つの身体動作を第１所定時間内に推定すると、当該２つの身体動作を一連の身体動作として推定する
    請求項１から４の何れか一項に記載のウェアラブル装置。
  6. 前記制御部は、
    前記身体動作として、前記上肢における指の身体動作、手の身体動作、腕の身体動作、の内の少なくとも２つの身体動作を一連の身体動作として推定すると、第３制御信号を生成し、
    前記身体動作として、前記上肢における指の身体動作、手の身体動作、腕の身体動作、の内の１つの身体動作を推定すると、第４制御信号を生成し、
    所定の前記身体動作に基づいて複数の表示オブジェクトが選択可能になっている状態において、
    前記第４制御信号は、前記複数の表示オブジェクトの内の第２表示オブジェクトを選択するための制御信号となり、
    前記第３制御信号は、前記複数の表示オブジェクトの内の、所定の表示方向において前記第２表示オブジェクトよりも奥側に表示される第１表示オブジェクトを選択するための制御信号となる
    請求項１から５の何れか一項に記載のウェアラブル装置。
  7. 所定の前記身体動作に基づいて表示オブジェクトを選択するための選択範囲に前記複数の表示オブジェクトの少なくとも一部が重なっている状態において、
    前記第４制御信号は、前記複数の表示オブジェクトの内の前記第２表示オブジェクトを選択するための制御信号となり、
    前記第３制御信号は、前記複数の表示オブジェクトの内の前記第１表示オブジェクトを選択するための制御信号となる
    請求項６に記載のウェアラブル装置。
  8. 前記選択範囲は、前記検出部の検出結果から推定されるユーザの上肢の位置に基づいて定められる
    請求項７に記載のウェアラブル装置。
JP2015193140A 2015-09-30 2015-09-30 ウェアラブル装置 Active JP6144743B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015193140A JP6144743B2 (ja) 2015-09-30 2015-09-30 ウェアラブル装置
US15/280,776 US10120444B2 (en) 2015-09-30 2016-09-29 Wearable device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015193140A JP6144743B2 (ja) 2015-09-30 2015-09-30 ウェアラブル装置

Publications (2)

Publication Number Publication Date
JP2017068572A JP2017068572A (ja) 2017-04-06
JP6144743B2 true JP6144743B2 (ja) 2017-06-07

Family

ID=58409168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015193140A Active JP6144743B2 (ja) 2015-09-30 2015-09-30 ウェアラブル装置

Country Status (2)

Country Link
US (1) US10120444B2 (ja)
JP (1) JP6144743B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188287B2 (en) * 2017-12-27 2021-11-30 Sony Corporation Display control apparatus, display control method, and computer program
US11099647B2 (en) * 2018-08-05 2021-08-24 Pison Technology, Inc. User interface control of responsive devices
US10802598B2 (en) * 2018-08-05 2020-10-13 Pison Technology, Inc. User interface control of responsive devices
US11422692B2 (en) * 2018-09-28 2022-08-23 Apple Inc. System and method of controlling devices using motion gestures
US11157086B2 (en) * 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
US20210232224A1 (en) * 2020-01-28 2021-07-29 Pison Technology, Inc. Human-machine interface
US11199908B2 (en) 2020-01-28 2021-12-14 Pison Technology, Inc. Wrist-worn device-based inputs for an operating system
CN113359971A (zh) * 2020-03-06 2021-09-07 中光电创境股份有限公司 显示控制方法、显示控制系统及穿戴式装置
WO2022060586A1 (en) * 2020-09-16 2022-03-24 Sterling Labs Llc Changing a dimensional representation of a content item

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5381158A (en) * 1991-07-12 1995-01-10 Kabushiki Kaisha Toshiba Information retrieval apparatus
JP2000284879A (ja) * 1999-01-29 2000-10-13 Square Co Ltd ゲーム装置、ビデオゲームにおけるコマンド入力方法、及び、その方法を実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US6544123B1 (en) * 1999-10-29 2003-04-08 Square Co., Ltd. Game apparatus, command input method for video game and computer-readable recording medium recording programs for realizing the same
JP2002358149A (ja) * 2001-06-01 2002-12-13 Sony Corp ユーザ入力装置
JP5262681B2 (ja) * 2008-12-22 2013-08-14 ブラザー工業株式会社 ヘッドマウントディスプレイ及びそのプログラム
JP2013250637A (ja) * 2012-05-30 2013-12-12 Toshiba Corp 認識装置
JP5962403B2 (ja) * 2012-10-01 2016-08-03 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US9690376B2 (en) * 2012-11-01 2017-06-27 Eyecam, Inc. Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
JP5857991B2 (ja) * 2013-03-19 2016-02-10 カシオ計算機株式会社 情報表示装置、方法及びプログラム
US20150248159A1 (en) * 2013-06-19 2015-09-03 Florida State University Research Foundation, Inc. Piezoresistive sensors and methods
WO2014208074A1 (ja) * 2013-06-24 2014-12-31 パナソニックＩｐマネジメント株式会社 生体電位入力インタフェースシステム、生体電位入力センサ装置、生体電位入力方法、およびそのプログラム
JP2015002939A (ja) 2013-06-24 2015-01-08 パナソニック株式会社 生体電位入力インタフェースシステム、生体電位入力センサ装置、生体電位入力方法、およびそのプログラム
JP6259225B2 (ja) * 2013-08-22 2018-01-10 アルパイン株式会社 電子機器およびこれに接続された携帯端末のジェスチャ認識操作方法、車載システム
JP5991498B2 (ja) * 2014-07-08 2016-09-14 パナソニックＩｐマネジメント株式会社 筋電位計測装置及び筋電位計測方法

Also Published As

Publication number Publication date
JP2017068572A (ja) 2017-04-06
US10120444B2 (en) 2018-11-06
US20170090555A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
JP6144743B2 (ja) ウェアラブル装置
US11009951B2 (en) Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US10649549B2 (en) Device, method, and system to recognize motion using gripped object
US9367139B2 (en) Systems, articles, and methods for gesture identification in wearable electromyography devices
US9389694B2 (en) Systems, articles, and methods for gesture identification in wearable electromyography devices
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
US9372535B2 (en) Systems, articles, and methods for electromyography-based human-electronics interfaces
EP2959394B1 (en) Methods and devices that combine muscle activity sensor signals and inertial sensor signals for gesture-based control
JP2010108500A (ja) 着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法
US20150057770A1 (en) Systems, articles, and methods for human-electronics interfaces
US20110148755A1 (en) User interface apparatus and user interfacing method based on wearable computing environment
EP3441849A1 (en) Pointing input device for personal computer based on fingers ' movements
CN106326881B (zh) 用于实现人机交互的手势识别方法和手势识别设备
WO2015091638A1 (en) Method for providing user commands to an electronic processor and related processor program and electronic circuit.
CN109828672B (zh) 一种用于确定智能设备的人机交互信息的方法与设备
WO2019082853A1 (ja) 画像処理装置、画像処理方法およびプログラム
WO2023227072A1 (zh) 在虚拟现实场景中确定虚拟光标方法、装置、设备和介质
JP2010086367A (ja) 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
Karasawa et al. Simultaneous recognition of hand shape and two-axis wrist bending using wearable wrist contour measuring device
KR102595257B1 (ko) 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템 및 방법
EP4345584A1 (en) Control device, control method, and program
CN115857696A (zh) 一种设备交互方法、可穿戴设备和存储介质
US20210055815A1 (en) Information processing system
CN204288119U (zh) 一种应用图形软件技术实现的操控系统
KR20190022019A (ko) 웨어러블 마우스 및 그 동작방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170511

R150 Certificate of patent or registration of utility model

Ref document number: 6144743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150