JP2016224852A - 情報処理装置、ジェスチャ検出方法、及びプログラム - Google Patents

情報処理装置、ジェスチャ検出方法、及びプログラム Download PDF

Info

Publication number
JP2016224852A
JP2016224852A JP2015113133A JP2015113133A JP2016224852A JP 2016224852 A JP2016224852 A JP 2016224852A JP 2015113133 A JP2015113133 A JP 2015113133A JP 2015113133 A JP2015113133 A JP 2015113133A JP 2016224852 A JP2016224852 A JP 2016224852A
Authority
JP
Japan
Prior art keywords
gesture
gain
spectrum
resonance frequency
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015113133A
Other languages
English (en)
Other versions
JP6442769B2 (ja
Inventor
晋平 千代
Shimpei Chiyo
晋平 千代
公平 徹
Toru Kimihira
徹 公平
友香 毛利
Yuka Mori
友香 毛利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015113133A priority Critical patent/JP6442769B2/ja
Publication of JP2016224852A publication Critical patent/JP2016224852A/ja
Application granted granted Critical
Publication of JP6442769B2 publication Critical patent/JP6442769B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ジェスチャを検出するにあたり外力の影響を低減する。【解決手段】変換部は、3軸の軸回りの角速度信号を各々周波数領域のスペクトルに変換する。取得部は、各軸のスペクトルのゲインの最大値の中で最も大きい値を有する特定の1軸の周波数領域のスペクトルにおいて最大ゲインを示す周波数を1次主共振周波数として取得すると共に、少なくとも2軸のスペクトルの1次主共振周波数におけるゲインと前記最大ゲインとの比をゲイン比として取得する。判定部は、基準ジェスチャが行われた際に取得された1次主共振周波数及び少なくとも2軸の周波数領域のスペクトルのゲイン比と、判定対象ジェスチャが行われた際に取得された1次主共振周波数及びゲイン比と、を1次主共振周波数及びゲイン比の各々毎に比較することで、判定対象ジェスチャが基準ジェスチャであるか否かを判定する。【選択図】図1

Description

開示の技術は、情報処理装置、ジェスチャ検出方法、及びプログラムに関する。
情報処理装置に加わったモーションを角速度センサを用いて検出する技術には、例えば、情報処理装置に落下などのモーションが加わった場合に角速度センサで測定された角速度を予め保存しておく技術がある。この技術では、保存されている角速度と、角速度センサで測定された角速度と、を時間軸に沿って所定時間毎に比較し、比較された角速度の差異が所定値以下である場合に、モーションが加わったことを判定する。
特開2007−304988 特開2012−230593
関連技術では、角速度同士を比較するため、例えば、ユーザが走行中の車両に乗っている等の場合、走行中の車両の揺れ等の外力が加わることで角速度の測定値が影響を受け、モーションが適切に検出されない場合がある。
角速度センサを用いたモーションの検出は、情報処理端末の筐体を把持して振るなど、ユーザの何らかの意図を示す動作(以後、「ジェスチャ」と称する)を検出する技術にも適用され得る。角速度によりジェスチャを検出する際にも、上述の外力の影響を受け、ジェスチャが適切に検出されない場合がある。
開示の技術は、1つの側面として、角速度によりジェスチャを検出するにあたり外力の影響を低減することが目的である。
開示の技術において、角速度検出部は、筐体に設定された互いに直交する3軸の軸回りの角速度信号を各々検出し、変換部は、角速度検出部によって検出された3軸の軸回りの角速度信号を各々周波数領域のスペクトルに変換する。また、取得部は、変換部によって変換された各軸の周波数領域のスペクトルのゲインの最大値の中で最も大きい値を有する特定の1軸の周波数領域のスペクトルにおいて最大ゲインを示す周波数を1次主共振周波数として取得する。また、取得部は、少なくとも2軸の周波数領域のスペクトルの前記1次主共振周波数と同じ周波数におけるゲインと前記最大ゲインとの比をゲイン比として取得する。判定部は、基準ジェスチャの1次主共振周波数及び前記ゲイン比と、判定対象ジェスチャの1次主共振周波数及びゲイン比と、を1次主共振周波数及びゲイン比の各々毎に比較することで、判定対象ジェスチャが基準ジェスチャであるか否かを判定する。基準ジェスチャの1次主共振周波数及びゲイン比は、筐体に対して基準ジェスチャが行われた際に、取得部によって取得される。また、判定対象ジェスチャの1次主共振周波数及びゲイン比は、筐体に対して判定対象ジェスチャが行われた際に、取得部によって取得される。
開示の技術は、1つの側面として、角速度によりジェスチャを検出するにあたり外力の影響を低減する、という効果を有する。
実施形態に係るスマートデバイスの要部機能の一例を示すブロック図である。 実施形態に係るジェスチャテーブルの一例を示す概念図である。 実施形態に係るスマートデバイスの電気系の構成の一例を示すブロック図である。 実施形態に係るジェスチャ登録処理の一例を示すフローチャートである。 実施形態に係るジェスチャ登録処理のユーザインターフェイス画面の一例を示す概念図である。 実施形態に係るジェスチャ登録処理のユーザインターフェイス画面の一例を示す概念図である。 実施形態に係るジェスチャ登録処理のユーザインターフェイス画面の一例を示す概念図である。 実施形態に係る基準ジェスチャの一例を示す概念図である。 実施形態に係る基準ジェスチャの一例を示す概念図である。 実施形態に係る基準ジェスチャの一例を示す概念図である。 実施形態に係る基準ジェスチャの一例を示す概念図である。 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 実施形態に係るスマートデバイスの座標軸を示す概念図である。 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 実施形態に係るジェスチャ検出処理の一例を示すフローチャートである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 実施形態に係る基準ジェスチャのゲイン比を比較した結果の一例を示すグラフである。 片手でスマートデバイスを保持した場合のモデルの一例を示す概念図である。 角運動量の釣合モデルの一例を示す概念図である。 角運動量の釣合モデルの一例を示す概念図である。
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。なお、以下の説明では、開示の技術に係る情報処理装置の一例としてスマートデバイスを例に挙げて説明するが、開示の技術は、これに限定されるものではない。開示の技術は、例えば、ICレコーダ、ゲーム機、ナビゲーション装置、携帯電話機、及びデジタルカメラなどの種々の情報処理装置に適用可能である。
一例として図1に示すスマートデバイス10は、角速度検出部12、タッチ検出部14、変換部16、取得部18、判定部20、記憶部22、及び表示部24を含む。角速度検出部12、タッチ検出部14、変換部16、取得部18、判定部20、記憶部22、及び表示部24は相互に接続されている。
角速度検出部12は、角速度センサによってスマートデバイス10の角速度を検出して角速度信号を出力する。タッチ検出部14は、タッチパネルディスプレイに対するタッチを検出する。変換部16は、角速度検出部12から出力された角速度信号を周波数領域のスペクトルに変換する。記憶部22は、図2に一例を示すジェスチャテーブル19を記憶する。ジェスチャテーブル19は、後述する基準ジェスチャの基準1次主共振周波数及び基準ゲイン比を基準ジェスチャと対応付けて予め登録する。取得部18は、1次主共振周波数及びゲイン比を取得する。判定部20は、取得した1次主共振周波数及びゲイン比と、基準ジェスチャの基準1次主共振周波数及び基準ゲイン比と、を比較し、比較の結果に基づいて、スマートデバイス10に対して行われたジェスチャが基準ジェスチャであるか否か判定する。表示部24は、ユーザに対してユーザインターフェイスなどを表示する。
本実施形態において、ジェスチャとは、後述するように、例えば、スマートデバイス10を把持した手の指を振る動作などのスマートデバイス10にモーションを加える動作である(例えば、図5A〜図5Cを参照)。ここでのジェスチャに、赤外センサ又はカメラなどにより取得した情報を解析することでユーザの手及び指などの位置及び動きを検知することによって検出可能な、スマートデバイス10に非接触で行われるユーザの動作を含めることは意図していない。
1次共振周波数とは周波数領域の各スペクトルにおいてゲインが最大となる周波数であり、1次主共振周波数とは後述する3軸のスペクトルの1次共振周波数のゲインが最大となる周波数である。ゲイン比は、3軸のスペクトルの1次主共振周波数に対応する周波数におけるゲインの各々を値が最大のゲインで除算することにより取得される。基準1次主共振周波数及び基準ゲイン比は、各々、基準ジェスチャの1次主共振周波数及びゲイン比である。
スマートデバイス10は、一例として図3に示すように、CPU(Central Processing Unit)60、1次記憶部62、2次記憶部64、外部インターフェイス70、タッチパネルディスプレイ76、及び角速度センサの一例であるジャイロセンサ78を含む。タッチパネルディスプレイ76は、タッチパネル72及びディスプレイ74を含む。CPU60、1次記憶部62、2次記憶部64、外部インターフェイス70、タッチパネルディスプレイ76、及びジャイロセンサ78は、バス80を介して相互に接続されている。
ジャイロセンサ78は、スマートデバイス10の3軸の各々の軸回りの角速度を測定して角速度信号を出力し、タッチパネル72はタッチパネル72に対するタッチを検知する。ディスプレイ74はユーザインターフェイスなどをユーザに対して表示する。外部インターフェイス70には、外部装置が接続され、外部装置とCPU60との間の各種情報の送受信を司る。
1次記憶部62は、例えば、RAM(Random Access Memory)などの揮発性のメモリである。2次記憶部64は、例えば、HDD(Hard Disk Drive)、またはSSD(Solid State Drive)などの不揮発性のメモリである。1次記憶部62及び2次記憶部64は、図1の記憶部22として機能する。
2次記憶部64は、一例として、角速度検出サブプログラム66A、タッチ検出サブプログラム66B、変換サブプログラム66C、取得サブプログラム66D、及び表示サブプログラム66Fを含むジェスチャ登録プログラム66を記憶している。また、2次記憶部64は、一例として、角速度検出サブプログラム67A、変換サブプログラム67C、取得サブプログラム67D、及び判定サブプログラム67Eを含むジェスチャ検出プログラム67を記憶している。CPU60は、2次記憶部64から角速度検出サブプログラム66A、タッチ検出サブプログラム66B、変換サブプログラム66C、取得サブプログラム66D、及び表示サブプログラム66Fを読み出して1次記憶部62に展開する。また、CPU60は、2次記憶部64から角速度検出サブプログラム67A、変換サブプログラム67C、取得サブプログラム67D、及び判定サブプログラム67Eを読み出して1次記憶部62に展開する。
CPU60は、角速度検出サブプログラム66Aを実行することで、図1に示す角速度検出部12として動作する。CPU60は、タッチ検出サブプログラム66Bを実行することで、図1に示すタッチ検出部14として動作する。CPU60は、変換サブプログラム66Cを実行することで、図1に示す変換部16として動作する。CPU60は、取得サブプログラム66Dを実行することで、図1に示す取得部18として動作する。CPU60は、表示サブプログラム66Fを実行することで、図1に示す表示部24として動作する。CPU60は、角速度検出サブプログラム67Aを実行することで、図1に示す角速度検出部12として動作する。CPU60は、変換サブプログラム67Cを実行することで、図1に示す変換部16として動作する。CPU60は、取得サブプログラム67Dを実行することで、図1に示す取得部18として動作する。CPU60は、判定サブプログラム67Eを実行することで、図1に示す判定部20として動作する。また、2次記憶部64は、ジェスチャテーブル19を生成するデータ68を記憶している。ジェスチャ登録プログラム66及びジェスチャ検出プログラム67は、開示の技術に係るプログラムの一例である。
次に、開示の技術の実施形態の作用として、CPU60がジェスチャ登録プログラム66を実行することで、スマートデバイス10によって行われるジェスチャ登録処理について、図4を参照して説明する。
ジェスチャ登録処理は、例えば、スマートデバイス10のディスプレイ74に表示されるボタンなどをユーザが押下することによって、スマートデバイス10に基準ジェスチャを登録する意図をユーザが示すことで開始される。
ステップ102で、CPU60が、ディスプレイ74に図5Aに示すユーザインターフェイス画面40Aを表示する。ユーザインターフェイス画面には4つの基準ジェスチャ46〜49が表示されている。
図8に示されるように、x軸、y軸、及びz軸は相互に直交している。図5Aに示す基本ジェスチャ46〜49を行うために、ユーザは、まず、示指から小指までの4本の指の指節間関節及び中手指節関節を伸ばす。4本の指に、図8に示すスマートデバイス10の筐体11のy軸がほぼ直交し、スマートデバイス10の一方の側面が母指中手指節関節にほぼ接するように、またスマートデバイス10の背面が手掌に接するように、スマートデバイス10を手掌に載せる。示指から小指までの4本の指と母指球とでスマートデバイス10を把持し、母指がスマートデバイス10の前面とほぼ平行になるように母指の指節間関節及び中手指節関節を伸ばす。また、母指がスマートデバイス10の前面に触れないように母指とスマートデバイス10の前面とを離間する。さらに、母指がスマートデバイス10の前面にほぼ平行のままで、かつ、母指の先端が円弧の軌道を描くように手根中手関節を中心として母指を振る。スマートデバイス10を保持している手の手首から指の各々の先端までの間にはスマートデバイス10のみが接していることが望ましい。
図5Aのジェスチャ46では、図6Aに示すように、スマートデバイス10の前面の下辺に近い第1位置に存在する破線で示される母指151が、実線で示す母指の位置を通り、右辺に近い第2位置に一点鎖線で示す母指152の位置に到達するように移動する。ジェスチャ46は、母指を1度振るジェスチャである。図5Aのジェスチャ47では、図6Bに示すように、スマートデバイス10の前面の右辺に近い第2位置に存在する一点鎖線で示される母指152が、実線で示す母指の位置を通り、下辺に近い第1位置に破線で示す母指151の位置に到達するように移動する。ジェスチャ47は、母指を1度振るジェスチャである。図5Aのジェスチャ48は、図6Cに示すように、まず、図6Aに示すジェスチャと同様のジェスチャ153を行い、続けて、図6Bに示すジェスチャと同様のジェスチャ154を行うジェスチャである。図5Aのジェスチャ48に付されている数字1及び2は、動作の順番を表す。図5Aに示すジェスチャ49は、図6Dに示すように、まず、図6Bに示すジェスチャと同様のジェスチャ154を行い、続けて、図6Aに示すジェスチャと同様のジェスチャ153を行うジェスチャである。図5Aのジェスチャ49に付されている数字1及び2は、動作の順番を表す。
図7A〜図7Cは、ユーザが図5Aに示す基準ジェスチャ47を行った場合の、スマートデバイス10の側面から見たスマートデバイス10及びユーザの母指の動きを示す。図7A〜図7Cにおいて、図8に示すスマートデバイス10の筐体11の右側面及び左側面に直交するx軸を示す。
図9A〜図9Cは、ユーザが図5Aに示す基準ジェスチャ47を行った場合の、スマートデバイス10の上面から見たスマートデバイス10及びユーザの母指の動きを示す。図9A〜図9Cにおいて、図8に示すスマートデバイス10の筐体11の上面及び下面に直交するy軸を示す。
図10A〜図10Cは、ユーザが図5Aに示す基準ジェスチャ47を行った場合の、スマートデバイス10の前面側から見たスマートデバイス10及びユーザの母指の動きを示す。図10A〜図10Cにおいて、図8に示すスマートデバイス10の筐体11の前面及び背面に直交するz軸、手根中手関節155を示す。
図10A及び図10Cに示されるように、スマートデバイス10のサイズが、ユーザの指の長さと比較して小さい場合、基準ジェスチャ47における第2位置である母指の先端の開始時点位置152’は前面の面上ではなく、前面の延長面上にあってもよい。また、第1位置である母指の先端の終了時点位置151’は前面の面上ではなく、前面の延長面上にあってもよい。基準ジェスチャ46、48、及び49の第1位置及び第2位置についても同様に、前面の面上ではなく、前面の延長面上にあってもよい。
ステップ104で、ユーザがユーザインターフェイス40Aの基準ジェスチャ46〜49のいずれかをタッチすることにより、ユーザがいずれかの基準ジェスチャを選択したことが判定されると、CPU60は、ステップ106に進む。ステップ106で、CPU60は、図5Bに示すユーザインターフェイス画面40Bをタッチパネルディスプレイ76に表示する。ここでは、図5Aに示されるジェスチャ48が選択され、ユーザがユーザインターフェイス40Bの指示に従って、基準ジェスチャ48を行う場合について説明する。
ステップ108で、CPU60は、ジャイロセンサ78によって検出されたスマートデバイス10のx軸回りの角速度信号ωx(t)、y軸回りの角速度信号ωy(t)、及びz軸回りの角速度信号ωz(t)を取り込む。x軸回りの角速度信号ωx(t)の検出例を図11Aに示し、y軸回りの角速度信号ωy(t)の検出例を図11Bに示し、z軸回りの角速度信号ωz(t)の検出例を図11Cに示す。図11A〜図11Cの横軸は時間であり、時間の単位は秒である。図11A〜図11Cの縦軸は角速度であり、角速度の単位はラジアン/秒である。
ステップ110で、CPU60は、x軸回りの角速度信号ωx(t)を周波数領域のスペクトルSx(f)、y軸回りの角速度信号ωy(t)を周波数領域のスペクトルSy(f)に変換する。また、CPU60は、z軸回りの角速度信号ωz(t)を周波数領域のスペクトルSz(f)に変換する。この変換には、FFT(Fast Fourier Transform)もしくはDFT(Discrete Fourier Transform)を用いることが可能である。図11Aの角速度信号ωx(t)から変換された周波数領域のスペクトルSx(f)を図12Aに示し、図11Bの角速度信号ωy(t)から変換された周波数領域のスペクトルSy(f)を図12Bに示す。また、図11Cの角速度信号ωz(t)から変換された周波数領域のスペクトルSz(f)を図12Cに示す。図12A〜図12Cの縦軸はゲインであり、単位はデシベルである。図12A〜図12Cの横軸は周波数であり、単位はヘルツである。
ステップ112で、CPU60は、x軸のスペクトルの1次共振周波数fcxにおけるゲインGcx、y軸のスペクトルの1次共振周波数fcyにおけるゲインGcy、及びz軸のスペクトルの1次共振周波数fczにおけるゲインGczを各々取得する。1次共振周波数は、各々のスペクトルにおいてゲインが最大値を示すときの周波数である。3軸のスペクトルの1次共振周波数のゲインの中で最も値の大きいゲインを主ゲインGcmとする。また、主ゲインGcmに対応する周波数を1次主共振周波数fcmとする。
図12A及び図12Bの例では、x軸のスペクトルの1次共振周波数において最大値を示すゲインGcxは0.044、y軸のスペクトルの1次共振周波数において最大値を示すゲインGcyは0.078である。また、図12Cの例では、z軸のスペクトルに顕著な最大値を示すピークがないため1次共振周波数を判定することは困難である。従って、図12A〜図12Cに示す一例では、表1に示すようにy軸のスペクトルの1次共振周波数fcxのゲインGcyの値が最も大きいので主ゲインGcmとなる。また、y軸のスペクトルの1次共振周波数fcyである0.71Hzが1次主共振周波数fcmとなる。
ステップ114で、CPU60は、x軸のスペクトルの1次主共振周波数に対応する周波数におけるゲインGcmx、及びy軸のスペクトルの1次主共振周波数に対応する周波数におけるゲインGcmyを正規化する。詳細には、ゲインGcmx及びGcmyの各々を主ゲインGcmで除算する。また、CPU60は、z軸のスペクトルの1次主共振周波数に対応する周波数におけるゲインGcmzを正規化するために、ゲインGcmzを主ゲインGcmで除算する。これらの除算によって、ゲイン比Rgx、Rgy、Rgzが求められる。すなわち、Rgx=Gcmx/Gcm、Rgy=Gcmy/Gcm、Rgz=Gcmz/Gcmを計算する。
x軸、y軸、及びz軸のスペクトルの1次主共振周波数に対応する周波数におけるゲインGcmx、Gcmy、及びGcmzは、表1に示すように、0.042、0.078、及び0.006である。これらのゲインを主ゲインGcmである0.078で除算すると、x軸、y軸、及びz軸のスペクトルのゲイン比Rgx、Rgy、Rgzは0.53、1、0.07となる。
ステップ116で、CPU60は、1次主共振周波数fcm及び、正規化された3軸のスペクトルのゲイン比Rgx、Rgy、Rgzを2次記憶装置64のジェスチャテーブルを生成するデータ68に基準1次主共振周波数及び基準ゲイン比として保存する。次に、タッチパネルディスプレイ76に図5Cに示すユーザインターフェイス40Cを表示し、ジェスチャ登録処理を終了する。
図5Aに示される基準ジェスチャ48を5回行ったときにステップ112で取得された1次主共振周波数及びステップ114で取得されたゲイン比を表2に示す。x軸の周波数領域のスペクトルにおいて1次主共振周波数でのゲイン比のばらつきは0.021、z軸の周波数領域のスペクトルにおいて1次主共振周波数でのゲイン比のばらつきは0.015、また、1次主共振周波数のばらつきは0.025である。従って、図5Aに示されるジェスチャ48によるゲイン比及び1次主共振周波数の再現性は高い。
次に、CPU60がジェスチャ検出プログラム67を実行することで、スマートデバイス10によって行われるジェスチャ検出処理について、図13を参照して説明する。
スマートデバイス10の電源がオンにされると、CPU60は、ステップ202で、タッチパネルディスプレイ76によってタッチが検出されたか否かを判定する。ステップ202でタッチが検出されない場合、CPU60は、ステップ204で、ジャイロセンサ78によって検出されるスマートデバイス10のx軸、y軸及びz軸の各々の軸回りの角速度信号の各々を取り込む。ステップ204〜ステップ210は図4のステップ108〜ステップ114と同様の処理であるため、詳細な説明は省略する。
CPU60は、ステップ206で、検出された角速度の各々を周波数領域のスペクトルに変換する。CPU60は、ステップ208で、変換した周波数領域のスペクトルの各々から1次共振周波数の各々を決定し、1次共振周波数の各々におけるゲインのうち値が最大であるゲインを主ゲインとして取得する。次に、主ゲインに対応する周波数である1次主共振周波数におけるゲインの各々を取得する。CPU60は、ステップ210で、ゲインの各々を正規化するために、ゲインの各々を主ゲインで除算する。
ステップ212で、CPU60は、ジェスチャテーブルを生成するデータ68に保存されている基準1次主共振周波数及び基準ゲイン比の各々と、ステップ210で取得された1次主共振周波数及びゲイン比の各々と、を、比較する。詳細には、1次共振周波数同士、及びゲイン比の各々同士で比較する。また、ステップ212で、CPU60は、基準1次主共振周波数及び基準ゲイン比の各々と、ステップ210で取得された1次主共振周波数及びゲイン比の各々と、の全ての差異が所定の範囲内であるか否かを判定する。例えば、基準1次主共振周波数及び基準ゲイン比の各々の±10%の範囲内に1次主共振周波数及びゲイン比の各々が含まれる場合、差異が所定の範囲内であると判定することが可能である。ステップ212の判定が肯定された場合、ステップ214で、当該基準ジェスチャに予め対応付けられている所定の処理を、CPU60が実行し、ジェスチャ検出処理を終了する。ジェスチャ検出処理は、スマートデバイス10の電源がオフにされるまで、所定の時間毎に繰り返し実行される。所定の時間は、例えば、1/100秒であってよい。
図5Aに示される基準ジェスチャ46には、例えば、ブラウザ、電子書籍、及びPDFファイル等のダウンスクロール、または後方への頁送りをする処理を対応付けることが可能である。また、基準ジェスチャ46には、スマートデバイス10の操作を容易にするために、スマートデバイス10を保持している手の側に操作画面を縮小表示する処理を対応付けることが可能である。
図5Aに示される基準ジェスチャ47には、例えば、ブラウザ、電子書籍、及びPDFファイル等のアップスクロール、または前方への頁送り処理を対応付けることが可能である。または、基準ジェスチャ47には、画面上部から下部へ向けてスワイプが行われた場合に行われるよう設定されている処理が対応付けられてもよい。
図5Aに示される基準ジェスチャ48及び49には、例えば、所定のアプリを起動する処理を対応付けることが可能である。所定のアプリは頻繁に使用されるアプリであってよい。基準ジェスチャ48及び49には、各々異なるアプリを起動する処理を対応付けることが可能である。また、基準ジェスチャ48及び49には、ブラウザ、電子書籍、PDFファイル等の倍速スクロールまたは倍速頁送りの処理を対応付けることが可能である。基準ジェスチャ48及び49には、各々異なる方向へのスクロールまたは頁送りの処理を割り当てることが可能である。なお、基準ジェスチャと対応付けられる上記処理は一例であり、開示の技術は、基準ジェスチャと上記処理とを対応付けることに限定されない。
図14A〜図14Cに、図5Aに示される基準ジェスチャ46によって取得されたx軸、y軸、及びz軸の各々の軸回りの角速度信号を示し、図15A〜図15Cに、図14A〜図14Cの角速度信号を周波数領域のスペクトルに変換した結果を示す。図16A〜図16Cに、図5Aに示される基準ジェスチャ47によって取得されたx軸、y軸、及びz軸の各々の軸回りの角速度信号を示し、図17A〜図17Cに、図16A〜図16Cの角速度信号を周波数領域のスペクトルに変換した結果を示す。図18A〜図18Cに、図5Aに示される基準ジェスチャ49によって取得されたx軸、y軸、及びz軸の各々の軸回りの角速度信号を示し、図19A〜図19Cに、図18A〜図18Cの角速度信号を周波数領域のスペクトルに変換した結果を示す。
図20に、図15A〜図15C、図17A〜図17C、図12A〜図12C及び図19A〜図19Cから取得される基準ジェスチャ46〜49のx軸のスペクトルのゲイン比94、x軸のスペクトルのゲイン比+10%93を示す。また、図20に、図17A〜図17C、図12A〜図12C及び図19A〜図19Cから取得されるx軸のスペクトルのゲイン比−10%95を示す。また、図20に、y軸のスペクトルのゲイン比92、z軸のスペクトルのゲイン比97、z軸のスペクトルのゲイン比+10%96、及びz軸のスペクトルのゲイン比−10%98を示す。
図15A〜図15C、図17A〜図17C、図12A〜図12C及び図19A〜図19Cに示されるように、全ての基準ジェスチャにおいてy軸のスペクトルの1次共振周波数におけるゲインが3軸のスペクトルの1次共振周波数のゲインのうちで最大である。従って、y軸のスペクトルのゲイン比は全て1となっている。基準ジェスチャ46のx軸のスペクトルのゲイン比±10%と基準ジェスチャ47及び基準ジェスチャ48のゲイン比±10%とは重複しない。基準ジェスチャ46と基準ジェスチャ49のx軸のスペクトルのゲイン比の±10%の範囲は重複しているが、基準ジェスチャ46と基準ジェスチャ49のz軸のスペクトルのゲイン比の±10%の範囲は重複していない。
基準ジェスチャ47と基準ジェスチャ49のx軸のスペクトルのゲイン比±10%は重複していない。基準ジェスチャ47と基準ジェスチャ49のx軸のスペクトルのゲイン比±10%は重複しているが、z軸のスペクトルのゲイン比±10%は重複していない。基準ジェスチャ48と基準ジェスチャ49のx軸のスペクトルのゲイン比±10%は重複していない。従って、基準ジェスチャ46〜49は、相互に、全ての軸のスペクトルのゲイン比±10%が重複することはなく、基準ジェスチャ46〜49は開示の技術によって弁別可能である。
なお、図5Aに示す基準ジェスチャ46〜49を、4本の指に、図8に示すスマートデバイス10の筐体11のy軸がほぼ直交するように、スマートデバイス10を手掌に載せるジェスチャとして説明したが、開示の技術はこれに限定されない。例えば、4本の指に、図8に示すスマートデバイス10の筐体11のx軸がほぼ直交するようにしてもよい。
なお、図5Aに示す基準ジェスチャ46〜49を、示指から小指までの4本の指で把持するジェスチャとして説明したが、開示の技術はこれに限定されない。例えば、4本の指のうちいずれか1本でスマートデバイス10を把持するジェスチャであってもよい。この場合、残りの把持に使用しない指はスマートデバイス10に対し一定の位置に固定しておくことが望ましい。
なお、図5Aに示す基準ジェスチャ46〜49を、母指がスマートデバイス10の前面とほぼ平行になるジェスチャとして説明したが、開示の技術はこれに限定されない。例えば、母指がスマートデバイス10の背面とほぼ平行になるジェスチャであってもよい。この場合、示指から小指までの4本の指の中手指節関節はスマートデバイス10の前面と接する。
なお、図5Aに示す基準ジェスチャ46〜49を、母指の指節間関節及び中手指節関節を伸ばすジェスチャとして説明したが、開示の技術はこれに限定されない。例えば、母指が移動し易い程度に母指の指節間関節及び中手指節関節が軽く曲げられていてもよい。
なお、図5Aに示す基準ジェスチャ46〜49を4本の指でスマートデバイス10を把持し、母指を振るジェスチャとして説明したが、開示の技術はこれに限定されない。例えば、母指を含む示指以外の4本の指でスマートデバイス10を把持し、示指を振るジェスチャとしてもよい。また、母指を含む示指及び中指以外の3本の指でスマートデバイス10を把持し、示指と中指とを密着させて振るジェスチャとしてもよい。
なお、図4のステップ108では、x軸、y軸、及びz軸の各々の軸回りの角速度を検出する例について説明したが、開示の技術はこれに限定されない。例えば、3軸のうち2軸の角速度を検出するようにしてもよい。但し、2軸にはy軸を含めることが望ましい。
なお、図4のステップ116では、正規化したゲイン比をジェスチャテーブルに保存する場合について説明したが、開示の技術はこれに限定されない。例えば、基準1次主共振周波数に対応する3軸のスペクトルのゲインを保存しておいてもよい。この場合、図13のステップ212で比較する際に、保存されているゲインから正規化したゲイン比を計算するようにしてもよい。
なお、ジェスチャ登録処理を行って1次主共振周波数及びゲイン比を登録することに代えて、1次主共振周波数及びゲイン比の標準値を予め設定して登録しておき、登録された1次主共振周波数及びゲイン比を用いてジェスチャの検出を行うようにしてもよい。また、ジェスチャ登録処理によって登録された1次主共振周波数及びゲイン比を図示しないサーバに保存しておき、スマートデバイスの機種変更などが行われた際に、保存された1次主共振周波数及びゲイン比を新しいスマートデバイスに登録するようにしてもよい。これらの場合、適切にジェスチャが検出されない場合のみ、ジェスチャ登録処理を行えばよい。
なお、図13のステップ212では、x軸、y軸及びz軸のスペクトルの基準ゲイン比とステップ210で取得されたx軸、y軸及びz軸のスペクトルのゲイン比とを比較する例について説明したが、開示の技術はこれに限定されない。例えば、3軸のうち2軸のスペクトルの基準ゲイン比とステップ210で取得された対応する2軸のスペクトルのゲイン比とを比較するようにしてもよい。但し、2軸には、1次共振周波数におけるゲインが最も大きい軸及び2番目に大きい軸を含めることが望ましい。
また、上記では、ジェスチャ登録プログラム66及びジェスチャ検出プログラム67が、2次記憶部64に予め記憶(インストール)されている態様を説明した。しかしながら、ジェスチャ登録プログラム66及びジェスチャ検出プログラム67は、CD−ROMやDVD−ROM等の非一時的記録媒体に記録されている形態で提供することも可能である。
回転角運動量釣合式を用いて、開示の技術の基準ジェスチャを検出することを検討する。開示の技術の基準ジェスチャをモデル化すると、図21に示すように、スマートデバイス10’を片腕82でバネ自由支持した慣性系支持系のモデルとなる。慣性系支持系においては、母指81の動きとスマートデバイス10’との間の作用力は内力として考えることができるため、運動の始めの運動量と運動の終わりの運動量とは等しい。
図22Aに示すスマートデバイス10’のx軸であるxt軸回りの慣性モーメントをItx、スマートデバイス10’のy軸であるyt軸回りの慣性モーメントをItyとする。また、図22Bに示すスマートデバイス10’のz軸であるzt軸回りの慣性モーメントをItzとする。また、図22Aに示す母指手根中手関節を中心として移動する母指81のx軸であるxo軸回りの慣性モーメントをIox、母指81のy軸であるyo軸回りの慣性モーメントをIoy、母指81のz軸であるzo軸回りの慣性モーメントをIozとする。また、スマートデバイス10’のxt軸回りの角速度をKtx、yt軸回りの角速度をKty、zt軸回りの角速度をKtzとする。また、母指81のxo軸回りの角速度をKox、yo軸回りの角速度をKoy、xo軸回りの角速度をKozとする。スマートデバイス10’のxt軸回りの角運動量と母指81のxo軸回りの角運動量は等しく、スマートデバイス10’のyt軸回りの角運動量と母指81のyo軸回りの角運動量は等しい。また、スマートデバイス10’のzt軸回りの角運動量と母指81のzo軸回りの角運動量は等しい。従って、回転角運動量の釣合式(1)〜(3)が成り立つ。
Itx×Ktx=Iox×Kox …(1)
Ity×Kty=Ioy×Koy …(2)
Itz×Ktz=Ioz×Koz …(3)
式(1)〜(3)の各々をスマートデバイス10’の各々の軸回りの慣性モーメントで除算することによって、式(4)〜(6)に示すスマートデバイス10’の各々の軸回りの角速度を求める。
Ktx=(Iox×Kox)/Itx …(4)
Kty=(Ioy×Koy)/Ity …(5)
Ktz=(Ioz×Koz)/Itz …(6)
スマートデバイス10’の慣性モーメントItx、Ity、Itzはスマートデバイス10’の形状によって決定され、母指81の慣性モーメントIox、Ioy、Iozは母指81の質量で決定され、内力の大きさは母指81の経路で決定される。母指の長さ及び質量、母指の経路、すなわち、母指の動かし方の無意識の癖はユーザに依存するものである。従って、母指の長さ及び質量、母指の経路を測定して、スマートデバイス10’の慣性モーメント、母指81の慣性モーメント、及び内力の大きさを計算で求めることは困難である。
一方、ユーザの母指81の長さ及び質量、母指の経路は、容易に変更されない。開示の技術では、式(4)〜(6)の右辺に含まれる母指の慣性モーメント、角速度及びスマートデバイスの慣性モーメントを計算または測定によって各々取得しない。その代わりに、式(4)〜(6)の左辺に含まれるスマートデバイスの角速度をジャイロセンサを用いて計測する。計測を行ったスマートデバイスに、角速度を周波数領域のスペクトルに変換して取得した代表値を登録することによって、ユーザ固有の特徴及びスマートデバイス固有の特徴を吸収して基準ジェスチャを検出することを可能としている。
換言すると、ジャイロセンサで計測される角速度には、ユーザの指(例えば、母指)の動きに伴いスマートデバイスに生じる反力が反映される。即ち、開示の技術では、スマートデバイスのジャイロセンサを反力の検出手段として用いることを可能としている。
開示の技術では、角速度信号を周波数領域のスペクトルに変換して、ゲイン比同士を比較しているため、ユーザが走行中の車両に乗っている場合に、走行中の車両の揺れの影響を受けずに、基準ジェスチャを検出することが可能である。例えば、自動車のエンジンの振動は10Hz付近であるが、基準ジェスチャの1次主共振周波数は1Hz付近であるため、基準ジェスチャの特徴を示す周波数領域のスペクトルの代表値に自動車のエンジンの振動による周波数は影響しないためである。
また、時間軸に沿った情報である角速度信号同士を比較する場合、比較のタイミングがずれたり、一部の情報にノイズが含まれたりすると、基準ジェスチャの検出を適切に行うことが困難である。しかしながら、開示の技術では、周波数領域のスペクトルに変換した情報の代表値である1次主共振周波数、及びゲイン比を比較に使用する。従って、比較のタイミングのずれ、または一部の情報に含まれるノイズ(例えば、外力に起因するノイズ)の影響を受けずに基準ジェスチャを検出することが可能である。
開示の技術では、ゲイン同士ではなく、ゲイン比同士を比較することにより、基準ジェスチャを行う度に異なる可能性があるユーザの力の加減の差異によるゲインの変動を吸収し、適切に基準ジェスチャを検出することが可能である。
開示の技術では、例えば、基準ジェスチャ46〜49のようなジェスチャを検出することが可能であるため、タッチ、スワイプなどの既存のジェスチャとの競合を生じない操作方法が増えることにより、スマートデバイスの操作の幅を広げることが可能となる。基準ジェスチャ46〜49は、筐体におけるタッチパネルディスプレイの位置及びタッチパネルディスプレイに表示されているコンテンツを視認せずに行うことが可能であるため、活用できる場面の幅も広げることが可能となる。
開示の技術の基準ジェスチャ検出は、タッチ検出を用いていないため、タッチパネルを有さない情報処理装置でも利用することが可能である。この場合、ジェスチャを登録する際には、例えば、ハードキーなどを使用するようにすることが可能である。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
筐体に設定された互いに直交する3軸の軸回りの角速度信号を各々検出する角速度検出部と、
前記角速度検出部によって検出された前記3軸の軸回りの角速度信号を各々周波数領域のスペクトルに変換する変換部と、
前記変換部によって変換された各軸の周波数領域のスペクトルのゲインの最大値の中で最も大きい値を有する特定の1軸の周波数領域のスペクトルにおいて最大ゲインを示す周波数を1次主共振周波数として取得すると共に、少なくとも2軸の周波数領域のスペクトルの前記1次主共振周波数と同じ周波数におけるゲインと前記最大ゲインとの比をゲイン比として取得する取得部と、
前記筐体に対して基準ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記ゲイン比と、前記筐体に対して判定対象ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記ゲイン比と、を前記1次主共振周波数及びゲイン比の各々毎に比較することで、前記判定対象ジェスチャが前記基準ジェスチャであるか否かを判定する判定部と、
を含む情報処理装置。
(付記2)
前記判定部によって比較に用いられる前記少なくとも2軸は、各々の軸におけるゲインの最大値が前記3軸の中で最も大きい軸及び2番目に大きい軸である、
付記1に記載の情報処理装置。
(付記3)
前記基準ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比を記憶する記憶部をさらに備え、
前記判定部は、前記判定対象ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記記憶部に記憶されている前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、を比較することで、前記判定対象ジェスチャの判定を行う、
付記1または2に記載の情報処理装置。
(付記4)
前記基準ジェスチャは、前記筐体を片手で把持し、前記片手の母指の手根中手関節を中心として前記母指を動かすジェスチャである、
付記1〜3のいずれかに記載の情報処理装置。
(付記5)
前記基準ジェスチャは、前記母指の指節間関節及び中手指節関節を伸ばし、示指、中指、薬指、小指の少なくとも1本の指を用いて前記筐体を把持し、前記手根中手関節を中心として前記母指を動かすことにより、前記母指の先端が前記筐体の1つの面上に、前記母指と面とを離隔して、かつ、円弧を描くように移動するジェスチャである、
付記4に記載の情報処理装置。
(付記6)
前記基準ジェスチャは、前記母指の先端が前記面または前記面の延長面上の第1位置から円弧を描いて前記面または前記面の延長面上の第2位置へ移動する第1ジェスチャ、前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動する第2ジェスチャ、前記母指の先端が前記第1位置から円弧を描いて第2位置へ移動した後、前記第2位置から円弧を描いて第1位置へ移動する第3ジェスチャ、及び前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動した後、前記第1位置から円弧を描いて第2位置へ移動する第4ジェスチャ、の少なくとも1つを含む、
付記5に記載の情報処理装置。
(付記7)
前記角速度検出部によって検出される角速度信号は、前記母指の動きに伴い前記筐体に生じる反力を示す信号を含む、
付記4〜6の何れかに記載の情報処理装置。
(付記8)
前記判定部が、前記基準ジェスチャが行われたことを判定すると、予め対応付けられている前記基準ジェスチャに対応する処理を実行する、付記1〜7のいずれかに記載の情報処理装置。
(付記9)
プロセッサが、
筐体に設定された互いに直交する3軸の軸回りの角速度信号を各々検出し、
検出された前記3軸の軸回りの角速度信号を各々周波数領域のスペクトルに変換し、
変換された各軸の周波数領域のスペクトルのゲインの最大値の中で最も大きい値を有する特定の1軸の周波数領域のスペクトルにおいて最大ゲインを示す周波数を1次主共振周波数として取得すると共に、少なくとも2軸の周波数領域のスペクトルの前記1次主共振周波数と同じ周波数におけるゲインと前記最大ゲインとの比をゲイン比として取得し、
前記筐体に対して基準ジェスチャが行われた際に取得された前記1次主共振周波数及び少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記筐体に対して判定対象ジェスチャが行われた際に取得された前記1次主共振周波数及び前記ゲイン比と、を前記1次主共振周波数及びゲイン比の各々毎に比較することで、前記判定対象ジェスチャが前記基準ジェスチャであるか否かを判定する、
ことを含むジェスチャ検出方法。
(付記10)
比較に用いられる前記少なくとも2軸は、各々の軸におけるゲインの最大値が前記3軸の中で最も大きい軸及び2番目に大きい軸である、
付記9に記載のジェスチャ検出方法。
(付記11)
前記プロセッサが、
前記基準ジェスチャが行われた際に取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比を記憶部に保存し、
前記判定対象ジェスチャが行われた際に取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記記憶部に保存されている前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、を比較することで、前記判定対象ジェスチャの判定を行う、
付記9または10に記載のジェスチャ検出方法。
(付記12)
前記基準ジェスチャは、前記筐体を片手で把持し、前記片手の母指の手根中手関節を中心として前記母指を動かすジェスチャである、
付記9〜11のいずれかに記載のジェスチャ検出方法。
(付記13)
前記基準ジェスチャは、前記母指の指節間関節及び中手指節関節を伸ばし、示指、中指、薬指、小指の少なくとも1本の指を用いて前記筐体を把持し、前記手根中手関節を中心として前記母指を動かすことにより、前記母指の先端が前記筐体の1つの面上に、前記母指と面とを離隔して、かつ、円弧を描くように移動するジェスチャである、
付記12に記載のジェスチャ検出方法。
(付記14)
前記基準ジェスチャは、前記母指の先端が前記面または前記面の延長面上の第1位置から円弧を描いて前記面または前記面の延長面上の第2位置へ移動する第1ジェスチャ、前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動する第2ジェスチャ、前記母指の先端が前記第1位置から円弧を描いて第2位置へ移動した後、前記第2位置から円弧を描いて第1位置へ移動する第3ジェスチャ、及び前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動した後、前記第1位置から円弧を描いて第2位置へ移動する第4ジェスチャ、の少なくとも1つを含む、
付記13に記載のジェスチャ検出方法。
(付記15)
検出される前記角速度信号は、前記筐体に前記母指の動きに伴い生じる反力を示す信号を含む、
付記12〜14の何れかに記載の情報処理装置。
(付記16)
前記プロセッサが、
前記基準ジェスチャが行われたことを判定すると、予め対応付けられている前記基準ジェスチャに対応する処理を実行する、
付記9〜15のいずれかに記載のジェスチャ検出方法。
(付記17)
筐体に設定された互いに直交する3軸の軸回りの角速度信号を各々検出し、
検出された前記3軸の軸回りの角速度信号を各々周波数領域のスペクトルに変換し、
変換された各軸の周波数領域のスペクトルのゲインの最大値の中で最も大きい値を有する特定の1軸の周波数領域のスペクトルにおいて最大ゲインを示す周波数を1次主共振周波数として取得すると共に、少なくとも2軸の周波数領域のスペクトルの前記1次主共振周波数と同じ周波数におけるゲインと前記最大ゲインとの比をゲイン比として取得し、
前記筐体に対して基準ジェスチャが行われた際に取得された前記1次主共振周波数及び少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記筐体に対して判定対象ジェスチャが行われた際に取得された前記1次主共振周波数及びゲイン比と、を前記1次主共振周波数及びゲイン比の各々毎に比較することで、前記判定対象ジェスチャが前記基準ジェスチャであるか否かを判定する、
ことを含むジェスチャ検出処理をプロセッサに実行させるためのプログラム。
(付記18)
比較に用いられる前記少なくとも2軸は、各々の軸におけるゲインの最大値が前記3軸の中で最も大きい軸及び2番目に大きい軸である、
付記17に記載のプログラム。
(付記19)
前記基準ジェスチャが行われた際に取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比を記憶部に保存し、
前記判定対象ジェスチャが行われた際に取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記記憶部に保存されている前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、を比較することで、前記判定対象ジェスチャの判定を行う、
付記17または18に記載のプログラム。
(付記20)
前記基準ジェスチャは、前記筐体を片手で把持し、前記片手の母指の手根中手関節を中心として前記母指を動かすジェスチャである、
付記17〜19のいずれかに記載のプログラム。
(付記21)
前記基準ジェスチャは、前記母指の指節間関節及び中手指節関節を伸ばし、示指、中指、薬指、小指の少なくとも1本の指を用いて前記筐体を把持し、前記手根中手関節を中心として前記母指を動かすことにより、前記母指の先端が前記筐体の1つの面上に、前記母指と面とを離隔して、かつ、円弧を描くように移動するジェスチャである、
付記20に記載のプログラム。
(付記22)
前記基準ジェスチャは、前記母指の先端が前記面または前記面の延長面上の第1位置から円弧を描いて前記面または前記面の延長面上の第2位置へ移動する第1ジェスチャ、前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動する第2ジェスチャ、前記母指の先端が前記第1位置から円弧を描いて第2位置へ移動した後、前記第2位置から円弧を描いて第1位置へ移動する第3ジェスチャ、及び前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動した後、前記第1位置から円弧を描いて第2位置へ移動する第4ジェスチャ、の少なくとも1つを含む、
付記21に記載のプログラム。
(付記23)
検出される前記角速度信号は、前記筐体に前記母指の動きに伴い生じる反力を示す信号を含む、
付記20〜22の何れかに記載のプログラム。
(付記24)
前記基準ジェスチャが行われたことを判定すると、予め対応付けられている前記基準ジェスチャに対応する処理を実行する、
付記18〜23のいずれかに記載のプログラム。
10 スマートデバイス
16 変換部
18 取得部
20 判定部
22 記憶部
60 CPU
62 1次記憶部
64 2次記憶部

Claims (9)

  1. 筐体に設定された互いに直交する3軸の軸回りの角速度信号を各々検出する角速度検出部と、
    前記角速度検出部によって検出された前記3軸の軸回りの角速度信号を各々周波数領域のスペクトルに変換する変換部と、
    前記変換部によって変換された各軸の周波数領域のスペクトルのゲインの最大値の中で最も大きい値を有する特定の1軸の周波数領域のスペクトルにおいて最大ゲインを示す周波数を1次主共振周波数として取得すると共に、少なくとも2軸の周波数領域のスペクトルの前記1次主共振周波数と同じ周波数におけるゲインと前記最大ゲインとの比をゲイン比として取得する取得部と、
    前記筐体に対して基準ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記ゲイン比と、前記筐体に対して判定対象ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記ゲイン比と、を前記1次主共振周波数及びゲイン比の各々毎に比較することで、前記判定対象ジェスチャが前記基準ジェスチャであるか否かを判定する判定部と、
    を含む情報処理装置。
  2. 前記判定部によって比較に用いられる前記少なくとも2軸は、各々の軸におけるゲインの最大値が前記3軸の中で最も大きい軸及び2番目に大きい軸である、
    請求項1に記載の情報処理装置。
  3. 前記基準ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比を記憶する記憶部をさらに備え、
    前記判定部は、前記判定対象ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記記憶部に記憶されている前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、を比較することで、前記判定対象ジェスチャの判定を行う、
    請求項1または2に記載の情報処理装置。
  4. 前記基準ジェスチャは、前記筐体を片手で把持し、前記片手の母指の手根中手関節を中心として前記母指を動かすジェスチャである、
    請求項1〜3のいずれか1項に記載の情報処理装置。
  5. 前記基準ジェスチャは、前記母指の指節間関節及び中手指節関節を伸ばし、示指、中指、薬指、小指の少なくとも1本の指を用いて前記筐体を把持し、前記手根中手関節を中心として前記母指を動かすことにより、前記母指の先端が前記筐体の1つの面上に、前記母指と面とを離隔して、かつ、円弧を描くように移動するジェスチャである、
    請求項4に記載の情報処理装置。
  6. 前記基準ジェスチャは、前記母指の先端が前記面または前記面の延長面上の第1位置から円弧を描いて前記面または前記面の延長面上の第2位置へ移動する第1ジェスチャ、前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動する第2ジェスチャ、前記母指の先端が前記第1位置から円弧を描いて第2位置へ移動した後、前記第2位置から円弧を描いて第1位置へ移動する第3ジェスチャ、及び前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動した後、前記第1位置から円弧を描いて第2位置へ移動する第4ジェスチャ、の少なくとも1つを含む、
    請求項5に記載の情報処理装置。
  7. 前記判定部が、前記基準ジェスチャが行われたことを判定すると、予め対応付けられている前記基準ジェスチャに対応する処理を実行する、請求項1〜6のいずれか1項に記載の情報処理装置。
  8. プロセッサが、
    筐体に設定された互いに直交する3軸の軸回りの角速度信号を各々検出し、
    検出された前記3軸の軸回りの角速度信号を各々周波数領域のスペクトルに変換し、
    変換された各軸の周波数領域のスペクトルのゲインの最大値の中で最も大きい値を有する特定の1軸の周波数領域のスペクトルにおいて最大ゲインを示す周波数を1次主共振周波数として取得すると共に、少なくとも2軸の周波数領域のスペクトルの前記1次主共振周波数と同じ周波数におけるゲインと前記最大ゲインとの比をゲイン比として取得し、
    前記筐体に対して基準ジェスチャが行われた際に取得された前記1次主共振周波数及び少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記筐体に対して判定対象ジェスチャが行われた際に取得された前記1次主共振周波数及び前記ゲイン比と、を前記1次主共振周波数及びゲイン比の各々毎に比較することで、前記判定対象ジェスチャが前記基準ジェスチャであるか否かを判定する、
    ことを含むジェスチャ検出方法。
  9. 筐体に設定された互いに直交する3軸の軸回りの角速度信号を各々検出し、
    検出された前記3軸の軸回りの角速度信号を各々周波数領域のスペクトルに変換し、
    変換された各軸の周波数領域のスペクトルのゲインの最大値の中で最も大きい値を有する特定の1軸の周波数領域のスペクトルにおいて最大ゲインを示す周波数を1次主共振周波数として取得すると共に、少なくとも2軸の周波数領域のスペクトルの前記1次主共振周波数と同じ周波数におけるゲインと前記最大ゲインとの比をゲイン比として取得し、
    前記筐体に対して基準ジェスチャが行われた際に取得された前記1次主共振周波数及び少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記筐体に対して判定対象ジェスチャが行われた際に取得された前記1次主共振周波数及びゲイン比と、を前記1次主共振周波数及びゲイン比の各々毎に比較することで、前記判定対象ジェスチャが前記基準ジェスチャであるか否かを判定する、
    ことを含むジェスチャ検出処理をプロセッサに実行させるためのプログラム。
JP2015113133A 2015-06-03 2015-06-03 情報処理装置、ジェスチャ検出方法、及びプログラム Active JP6442769B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015113133A JP6442769B2 (ja) 2015-06-03 2015-06-03 情報処理装置、ジェスチャ検出方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015113133A JP6442769B2 (ja) 2015-06-03 2015-06-03 情報処理装置、ジェスチャ検出方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2016224852A true JP2016224852A (ja) 2016-12-28
JP6442769B2 JP6442769B2 (ja) 2018-12-26

Family

ID=57746022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015113133A Active JP6442769B2 (ja) 2015-06-03 2015-06-03 情報処理装置、ジェスチャ検出方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6442769B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007304988A (ja) * 2006-05-12 2007-11-22 Seiko Epson Corp モーションコマンド処理システム
WO2009072240A1 (ja) * 2007-12-07 2009-06-11 Panasonic Corporation 電子機器
JP2012145457A (ja) * 2011-01-12 2012-08-02 National Institute Of Advanced Industrial & Technology 進行方向推定装置、携帯端末、制御プログラム、コンピュータ読み取り可能な記録媒体、および進行方向推定方法
JP2012230593A (ja) * 2011-04-27 2012-11-22 Panasonic Corp 電子機器
JP2013510381A (ja) * 2009-11-09 2013-03-21 インベンセンス インコーポレイテッド 人間の動きに関連するキャラクタおよびコマンドを認識するためのハンドヘルドコンピュータシステムおよび技術
JP2013223044A (ja) * 2012-04-13 2013-10-28 Metamoji Corp 文字入力方法及び文字入力装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007304988A (ja) * 2006-05-12 2007-11-22 Seiko Epson Corp モーションコマンド処理システム
WO2009072240A1 (ja) * 2007-12-07 2009-06-11 Panasonic Corporation 電子機器
JP2013510381A (ja) * 2009-11-09 2013-03-21 インベンセンス インコーポレイテッド 人間の動きに関連するキャラクタおよびコマンドを認識するためのハンドヘルドコンピュータシステムおよび技術
JP2012145457A (ja) * 2011-01-12 2012-08-02 National Institute Of Advanced Industrial & Technology 進行方向推定装置、携帯端末、制御プログラム、コンピュータ読み取り可能な記録媒体、および進行方向推定方法
JP2012230593A (ja) * 2011-04-27 2012-11-22 Panasonic Corp 電子機器
JP2013223044A (ja) * 2012-04-13 2013-10-28 Metamoji Corp 文字入力方法及び文字入力装置

Also Published As

Publication number Publication date
JP6442769B2 (ja) 2018-12-26

Similar Documents

Publication Publication Date Title
US10969957B2 (en) Using finger touch types to interact with electronic devices
EP2350782B1 (en) Mobile devices with motion gesture recognition
CN104071097B (zh) 输入装置、输入方法及输入程序
JP5427240B2 (ja) 動き感知に基づくユーザ命令入力方法およびデバイス
JP6021335B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP2015013008A (ja) 運動検出装置および運動検出プログラム並びに運動解析システム
TW201035816A (en) Input apparatus, handheld apparatus, and control method
JP5392093B2 (ja) 入力装置、制御装置、制御システム、制御方法及びハンドヘルド装置
JP2012093603A (ja) 入力装置およびプログラム
CN109804638A (zh) 移动装置的双模式增强现实界面
JP5407263B2 (ja) 相対加速度検出装置、相対加速度の検出方法およびプログラム
JP6442769B2 (ja) 情報処理装置、ジェスチャ検出方法、及びプログラム
CN109960404B (zh) 一种数据处理方法及装置
Murao et al. Evaluation study on sensor placement and gesture selection for mobile devices
US20150238136A1 (en) Information processing method and electronic device
JP6170973B2 (ja) 携帯情報端末、情報処理方法、及び、プログラム
JP2014170280A (ja) 情報処理装置、情報処理方法、及びプログラム
CN112882577B (zh) 手势控制方法、装置及系统
JP5605281B2 (ja) 書込情報表示システム、書込情報表示装置、及び書込情報表示方法
JP2013029983A (ja) 移動情報端末、画面方向変更方法、プログラム
JP6391486B2 (ja) 情報処理装置、操作制御システムおよび操作制御方法
JP2018005868A (ja) フリック入力時の特徴を機械学習させて個人を識別する方法
WO2018205159A1 (zh) 运动识别方法、便携式设备、机器可读存储介质
JP2021033563A (ja) 筆記具
CN115686328A (zh) 自由空间中的无接触交互方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180306

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180405

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180411

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181106

R150 Certificate of patent or registration of utility model

Ref document number: 6442769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250