JP2017004458A - 入力装置、入力制御方法、および、入力制御プログラム - Google Patents

入力装置、入力制御方法、および、入力制御プログラム Download PDF

Info

Publication number
JP2017004458A
JP2017004458A JP2015121028A JP2015121028A JP2017004458A JP 2017004458 A JP2017004458 A JP 2017004458A JP 2015121028 A JP2015121028 A JP 2015121028A JP 2015121028 A JP2015121028 A JP 2015121028A JP 2017004458 A JP2017004458 A JP 2017004458A
Authority
JP
Japan
Prior art keywords
finger
user
input
infrared light
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015121028A
Other languages
English (en)
Inventor
克彦 池田
Katsuhiko Ikeda
克彦 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015121028A priority Critical patent/JP2017004458A/ja
Priority to US15/149,936 priority patent/US20160370861A1/en
Publication of JP2017004458A publication Critical patent/JP2017004458A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】利便性の高い入力装置を提供する。
【解決手段】入力装置は、ユーザの手に装着され、照射部、撮像部、測定部、生成部、送信部を備える。照射部は、所定の形状の第1の赤外光パターンをユーザの指に照射する。撮像部は、ユーザの指での反射によって得られた第2の赤外光パターンを撮像する。測定部は、ユーザの指の動きにより生じる振動の大きさを測定する。生成部は、第2の赤外光パターンと第1の赤外光パターンを用いて、ユーザの指の位置の変化の軌跡を特定すると共に、軌跡と振動の大きさの組み合わせに対応する入力信号を生成する。送信部は、入力信号を、入力先の装置に送信する。
【選択図】図1

Description

本発明は、情報の入力制御に関する。
スマートフォンのような携帯端末には、ディスプレイとタッチパネルが重ねて搭載されていることが多い。この様な端末では、ユーザは、アイコンやメニューなどが表示されている領域を指で触れることにより、操作を行うことができる。このとき、タッチパネルは、ユーザからの入力処理が行われた領域や操作の種類などを検出し、携帯端末は、タッチパネルで検出された操作に関連付けられた処理を行う。
近年、HMD(Head Mounted Display)や時計型デバイスなどのウェアラブル端末が注目されてきている。しかし、ウェアラブル端末には、ユーザが入力操作をする際に使用しやすい大きさのタッチパネルが搭載されていないため、入力処理が煩雑になることがある。そこで、関連する技術として、ユーザの指などの移動体の移動の軌跡パターンに対応する信号を生成する記号生成装置が提案されている。この記号生成装置は、検出信号を用いて移動体の移動軌跡パターンを特定し、特定した移動軌跡パターンに対応する信号を特定する(例えば、特許文献1)。また、手首の両端部に装着された超音波スピーカから発生させた超音波の出力時刻と、指先に設置した超音波マイクロホンで検出した検出時刻の時間差から指先の2次元位置を算出する情報入力方法も提案されている(例えば、特許文献2)。この情報入力方法では、さらに、手のひら面に垂直な方向に感度を持つ加速度センサを各指の指先に装着し、加速度センサから出力される加速度の変化を検出して、キーボードを打鍵するような指の動きを認識する。さらに、ユーザの指を撮影するように手首に取り付けるカメラと、ユーザの腕の傾きを認識するセンサと、情報処理装置を含む入力装置も提案されている(例えば、特許文献3)。この入力装置は、センサで検出したユーザの手の位置と、カメラで撮影した画像から検出したユーザの指先の位置に基づき、打鍵動作を検知する。
特開平11−31047号公報 特開2005−316763号公報 特開2005−301583号公報
背景技術で説明したように、入力装置を用いて他の装置への入力を行うための技術がいくつか検討されている。しかし、手首の両端部に装着された超音波スピーカ、指先に設置された超音波マイクロホン、および、手のひらに装着された加速度センサを用いる方式は、ユーザにとっては、装着する部品が多いために使用しづらい。また、移動体の軌跡パターンから信号を生成する場合や、打鍵動作の検知に使用される入力装置を用いる場合、タッチパネルへの入力に使用される複数の種類の操作の各々を判別することは困難であるため、ユーザの所望する入力結果が得られないことがある。
本発明は、利便性の高い入力装置を提供することを目的とする。
ある態様にかかる入力装置は、ユーザの手に装着され、照射部、撮像部、測定部、生成部、送信部を備える。照射部は、所定の形状の第1の赤外光パターンを前記ユーザの指に照射する。撮像部は、前記ユーザの指での反射によって得られた第2の赤外光パターンを撮像する。測定部は、前記ユーザの指の動きにより生じる振動の大きさを測定する。生成部は、前記第2の赤外光パターンと前記第1の赤外光パターンを用いて、前記ユーザの指の位置の変化の軌跡を特定すると共に、前記軌跡と前記振動の大きさの組み合わせに対応する入力信号を生成する。送信部は、前記入力信号を、入力先の装置に送信する。
利便性の高い入力装置が提供される。
実施形態にかかる入力方法の例を説明するシーケンス図である。 入力装置の構成の例を説明する図である。 入力装置のハードウェア構成の例を説明する図である。 入力装置の外観の例を説明する図である。 赤外光の照射パターンの例を説明する図である。 距離の変化量の算出方法の例を説明する図である。 座標の例を説明する図である。 指の位置の検出方法の例を説明する図である。 指の位置の検出方法の例を説明する図である。 加速度の測定結果の例を示す図である。 第1の操作例にかかる入力処理の例を説明する図である。 第1の操作例にかかる入力処理の例を説明するフローチャートである。 第2の操作例にかかる入力処理の例を説明する図である。 第2の操作例にかかる入力処理の例を説明する図である。 第2の操作例にかかる入力処理の例を説明するフローチャートである。 第3の操作例にかかる入力処理の例を説明する図である。 第3の操作例にかかる入力処理の例を説明する図である。 第3の操作例にかかる入力処理の例を説明するフローチャートである。 第4の操作例にかかる入力処理の例を説明する図である。 第4の操作例にかかる入力処理の例を説明する図である。 第4の操作例にかかる入力処理の例を説明するフローチャートである。 第5の操作例にかかる入力処理の例を説明する図である。 第5の操作例にかかる入力処理の例を説明する図である。 第5の操作例にかかる入力処理の例を説明するフローチャートである。 第6の操作例にかかる入力処理の例を説明する図である。
図1は、実施形態にかかる入力方法の例を説明するシーケンス図である。図1は、端末10と入力装置20との間で行われる処理の例を示す。なお、端末10には、ウェアラブル端末や時計型端末などの、ユーザが入力処理を行いにくい端末以外であっても、入力装置20と通信可能な任意の情報処理装置が含まれる。一方、入力装置20は、赤外光のパターンを照射可能な装置であって、振動を感知するための加速度センサを備えているものとする。赤外光のパターンは、例えば、格子状やドットなど、パターンの変化によってパターンが照射された対象物までの距離を求めることが可能な任意の形式である。
ステップS1において、端末10は、画面に画像を表示している。端末10のユーザは、入力装置20から出力された赤外光のパターンがユーザの指に照射されるように入力装置20を装着する。入力装置20は、ユーザの指に赤外光パターンを照射した際の指での反射により得られたパターンを、赤外線カメラ等を用いて、周期的にモニタする。さらに、入力装置20は、加速度センサを用いて、振動の変化も周期的にモニタする(ステップS2)。
入力装置20は、赤外光パターンの変化を検出したかを判定する(ステップS3)。入力装置20は、赤外光パターンの変化を検出するまでは、ステップS2、S3の処理を繰り返す(ステップS3でNo)。
一方、例えば、端末10のユーザが端末10の画面の表示を視認し、処理を行うために指を動かしたとする。この場合、入力装置20の赤外光の照射位置からユーザの指先までの距離が変化することにより、ユーザの指に照射された赤外光のパターンが変化する。この場合、赤外光パターンの変化が検出されるので、入力装置20は、赤外光パターンの変化と振動からユーザが行った処理を特定する(ステップS3でYes、ステップS4)。入力装置20は、ユーザが行った処理として特定した内容を、端末10に通知する(ステップS5)。端末10は、入力装置20からユーザの処理の通知を受信すると、ユーザの処理に応じて、画面の表示を変更する(ステップS6)。
このように、ユーザの指先に距離の変動を求めるために使用可能な赤外光パターンを照射する入力装置20を用いると、ユーザの手や指などに多数の部品を取り付けることなく、ユーザの指の軌跡を求められる。すなわち、実施形態にかかる方法によると、赤外光パターンの照射に用いられる部品、赤外線カメラ、加速度センサを搭載した1つの入力装置20を、ユーザの指に赤外光を照射できる位置関係に設置するだけで、ユーザの処理を特定できる。従って、入力装置20は、ユーザにとって装着しやすく、利便性が高い。さらに、入力装置20は、ユーザの指の動きを特定するため、ユーザが入力処理に使用する移動体を装着して処理を行う場合に比べて、ユーザにとって、処理を行いやすいという利点もある。また、ベンダにとっては、入力装置20は、多数の部品を用いた方式で使用される装置に比べて安価に製造できるというメリットもある。
<装置構成>
図2は、入力装置20の構成の例を説明する図である。入力装置20は、送受信部21、照射部25、撮像部26、制御部30、記憶部40を備える。送受信部21は、送信部22と受信部23を有する。制御部30は、測定部31と生成部32を有する。
照射部25は、赤外光パターンを照射する。なお、照射される赤外光パターンは、赤外光が照射された対象までの距離によるパターンの大きさや間隔の変化が撮像部26での撮像で認識しやすいものが好ましい。撮像部26は、赤外光パターンが照射された対象物から反射した赤外光のパターンを撮像する。以下、赤外光パターンがユーザの指に照射されているものとして説明する。
測定部31は、ユーザの指の振動の大きさを測定する。生成部32は、撮像部26で撮像された赤外光パターンの変化を用いて、ユーザの指の位置の変化を特定するとともに、ユーザの指の位置の軌跡を用いた入力信号を生成する。また、生成部32は、測定部31で得られた振動の大きさを用いて、ユーザによって行われた処理の種類を特定する。記憶部40は、制御部30での処理に用いられる情報や、制御部30の処理で得られた情報を記憶する。送信部22は、生成部32で生成された入力信号などのデータを、端末10に向けて送信する。受信部23は、適宜、端末10からデータを受信する。
図3は、入力装置20のハードウェア構成の例を説明する図である。入力装置20は、プロセッサ101、RAM(Random Access Memory)102、ROM(Read Only Memory)103、加速度センサ104、通信インタフェース105を備える。入力装置20は、さらに、レンズ111、赤外光LED(light emitting diode)112、赤外線カメラ113も備える。プロセッサ101、RAM102、ROM103、加速度センサ104、通信インタフェース105、赤外光LED112、赤外線カメラ113は、互いにデータを入出力できるように接続されている。なお、図3は、入力装置20のハードウェア構成の一例であり、実装に応じて変更され得る。例えば、入力装置20は、加速度センサ104に加えて、ジャイロセンサを備えていても良い。
プロセッサ101は、CPU(Central Processing Unit)を含む任意の処理回路である。プロセッサ101は、ROM103に記憶されているプログラムを読み込んで実行することにより、生成部32として動作する。測定部31は、プロセッサ101と加速度センサ104によって実現される。レンズ111と赤外光LED112は、照射部25として動作する。赤外線カメラ113は、撮像部26として動作する。通信インタフェース105は、送受信部21を実現する。記憶部40は、RAM102とROM103によって実現される。
図4は、入力装置20の外観の例を説明する図である。図4のAは、入力装置20がクリップ120で手のひらに装着される場合の入力装置20の外観を示す。外観A1は、クリップ120で装着されるタイプの入力装置20を、赤外光パターンを照射する方向から見たときの外観図である。外観A1の例では、照射部25と撮像部26を含む筐体の上部にクリップ120が取り付けられている。外観A2は、クリップ120で装着されるタイプの入力装置20を上から見たときの外観の例である。外観A2では、クリップ120の長さは入力装置20の筐体部分よりも長くなっているが、クリップ120の長さは実装に応じて調整されうる。外観A3は、クリップ120で装着されるタイプの入力装置20を側面から見たときの外観の例である。
図4のBは、入力装置20がベルト130で手のひらに装着される場合の入力装置20の外観を示す。外観B1は、ベルト130で装着されるタイプの入力装置20を、赤外光パターンを照射する方向から見たときの外観図である。外観B1の例では、照射部25と撮像部26を含む筐体の上部にベルト130が取り付けられている。外観B2は、ベルト130で装着されるタイプの入力装置20を上から見たときの外観の例である。外観B3は、ベルト130で装着されるタイプの入力装置20を側面から見たときの外観の例である。
図4のG1は、入力装置20の装着例である。G1は、クリップ120で装着されるタイプの入力装置20が装着されている場合の例を示す。入力装置20は、クリップ120で装着される場合とベルト130で装着される場合のいずれも、照射部25から出力された赤外光パターンがユーザの指に照射され、指から反射した赤外光が撮像部26で撮像されるように装着される。
<入力信号の特定方法>
以下、入力信号の特定方法を、赤外光パターンを用いた指の位置の特定やユーザの指の位置の変化の特定方法の例と、測定部31での振動を用いた判定処理の例に分けて説明する。なお、以下で説明する特定方法の例や判定処理の例は、理解を助けるための例であり、実装に応じて変形されうる。
(A)赤外光パターンを用いた指の位置や軌跡の特定
図5は、赤外光の照射パターンの例を説明する図である。図5の例では、赤外光パターンは、ドット状である。照射部25から照射される赤外光の性質に応じて、照射部25からユーザの指までの距離に応じて、指に照射される赤外光のパターンの変動は異なる。
図5のパターンP1は、拡散の大きいタイプの赤外光が用いられた場合の赤外光パターンの変化の例を示す。照射部25からの距離がL1の位置では、赤外光のドット間の間隔はD1であり、各ドットの直径はSZ1であるとする。拡散の大きいタイプの赤外光が用いられた場合、照射部25から指までの距離が長くなると、ドットのサイズは大きくなるがドットの間隔はほとんど変わらない。例えば、照射部25からの距離がL1よりも長いL2の位置では、赤外光のドット間の間隔はD2であり、各ドットの直径はSZ2である。また、照射部25からの距離がL2の場合のドットの間隔D2は、照射部25からの距離がL1の場合のドットの間隔D1とほとんど変わらない。一方、照射部25からの距離がL2の場合のドットの直径SZ2は、照射部25からの距離がL1の場合のドットの直径SZ1よりも大きい。
図5のパターンP2は、拡散の少ないタイプの赤外光が用いられた場合の赤外光パターンの変化の例を示す。拡散の少ないタイプの赤外光が用いられた場合も、照射部25から指までの距離がL1の場合、拡散の大きいタイプの赤外光が用いられた場合と同様の照射パターンが得られるとする。拡散の小さいタイプの赤外光が用いられた場合、照射部25から指までの距離が長くなると、ドット間の間隔は広くなるが、ドットのサイズはほとんど変化しない。例えば、拡散の少ないタイプの赤外光が用いられた場合、照射部25からの距離がL2の位置では、赤外光のドット間の間隔はD3であり、各ドットの直径はSZ3である。ここで、照射部25からの距離がL2の場合のドットの間隔D3は、照射部25からの距離がL1の場合のドットの間隔D1よりも長い。一方、照射部25からの距離がL2の場合のドットの直径SZ3は、照射部25からの距離がL1の場合のドットの直径SZ1とほぼ同じである。
図6は、距離の変化量の算出方法の例を説明する図である。図6では、拡散の少ない赤外光が用いられた場合を例として説明する。図6の例では、撮像部26に備えられたカメラの画角をθ1、パターンの照射角をθ2とする。また、分かりやすくするために、θ1について、tanθ1≒θ1と近似できる程度にθ1が小さな値であるとする。また、θ2についても同様に、tanθ2≒θ2と近似できる程度にθ2が小さな値であるとする。なお、θ1、θ2が大きいなどの理由からこれらの近似を行わない場合、中心部分と周辺部分でパターンの間隔の差が大きくなることに対する補正が行われるが、補正処理は任意の既知の計算により行われ得る。
指が位置Po1にあるときに指に映る照射パターンの間隔をD1、位置Po2にあるときの照射パターンの間隔をD2とする。また、位置Po1と撮像部26の距離がL1であり、位置Po1と照射部25の距離がL2であるとする。さらに、位置Po1とPo2の間の距離をΔLとする。すると、(1)式の関係が成り立つ。
D2/D1=(L2+ΔL)/L2 ・・・(1)
次に、指が位置Po1にあるときに撮像部26で撮像されるパターンの間隔をd1、位置Po2にあるときに撮像部26で撮像されるパターンの間隔をd2とする。すると、d1とd2について、(2)式が成り立つ。
d2/d1=L1/(L1+ΔL)×(L2+ΔL)/L2 ・・・(2)
(2)式をΔLについて解くと、(3)式が得られる。
ΔL=(d1−d2)/{(d2/L1)−(d1/L2)} ・・・(3)
ここで、L1、L2はユーザの指がPo1に位置しているときの計測から得られる。また、d1とd2は、撮像部26から得られた画像の解析処理により得られる。このため、生成部32は、(3)式を用いて、ΔLを求めることができる。
一方、拡散の大きい赤外光が使用された場合、拡散によって得られるドットの大きさは入力装置20からの距離に比例して大きくなることを用いて、各指の位置が特定される。このときに使用される計算方法は、任意の既知の計算方法である。
図7は、座標の例を説明する図である。以下の説明では、図7に表わすように、Z軸が高さ方向の情報を表し、XY平面の原点を左上隅にとったXYZ座標を用いる。また、Y軸の値は、撮像したパターンの解析によって得られた撮像部26からの距離の関数であり、撮像部26からの距離が近いほど、大きな値となる。このため、入力装置20から近い位置ほど、Y軸の値が大きくなるものとする。また、撮像部26で撮像される画像はXZ平面の画像である。
図8は、指の位置の検出方法の例を説明する図である。図8は、撮像部26で撮像された画像を生成部32で解析したときに得られる解析結果の例である。生成部32は、撮像された画像を、図7で説明した座標でのX軸とZ軸の値が1つ変化するごとに分けて得られた四角形の各々について、その四角形のエリアでのY軸の値(奥行き方向の値)の平均値を計算する。すなわち、正方形のエリア毎に、撮像された対象のカメラからの位置が、Y軸の値として得られる。また、撮像された対象が撮像部26に近いほど、撮像部26からの距離が近いため、エリアに対応付けられる値が大きくなる。生成部32は、Y軸の値が相対的に大きいエリアを、指のある位置として特定する。図8において、白抜きの四角で示した位置は、Y軸の値が所定の閾値を上回った領域であり、ユーザの指があると考えられる位置である。一方、図8のグレーの四角は、指が無いため、赤外光が反射せず、撮像部26で撮像される反射光の量が少ないため、Y軸の値が相対的に小さい位置である。従って、図8の白抜きの四角で示されている領域に指が検出される。
図9は、指の位置の検出方法の例を説明する図である。図9を参照しながら、指の検出位置と指に照射されるパターンの関係について説明する。なお、理解しやすくするために、図9のG1に、入力装置20の装着例と指の位置関係の例を示す。図9のG2は、図8で得られたデータの解析により特定された指の位置をXZ平面上で特定した場合の例を示す。なお、赤外光パターンが照射されている様子を、G2のグレーの丸で示す。グレーの丸の1つは、赤外光パターンの1つのドットに相当する。生成部32は、検出した指に識別子を対応付ける。以下の例では、生成部32は、検出した指のX座標が小さいものから順にf1、f2、f3、f4の識別子を対応付けたとする。図9の例では、f1は人差し指、f2は中指、f3は薬指、f4は小指に対応している。G3は、G2の画像が得られる場合の各指の先端の位置の解析結果を、原点が左上隅にあるXY平面上の位置として示した場合の結果である。G2およびG3で得られる各指の位置を、以下、「ホームポジション」と記載することがある。
G4は、ユーザが人差し指f1を左方向に伸ばした場合に撮像部26で撮像されたXZ平面の画像の例を示す。撮像部26で撮像されたデータは、図8のようにXY平面中の各座標でのY座標の値として得られるが、G4では、見やすくするために、Y軸方向の値が所定値以上の領域を指のある位置として認識することにより生成部32が特定した指の輪郭を示している。また、G4では、生成部32が指の輪郭の特定の際に使用した赤外光パターンの強度が相対的に強い領域を、赤外光のドットで示すことにより、ユーザの指に照射された赤外光パターンの様子を図示している。
G4の例では、人差し指f1に照射されている赤外光のドットの大きさやドット間の間隔は、他の指とほぼ同じである。このため、生成部32は、赤外光が照射されている4本の指のうち、左端の指(人差し指f1)は、他の指とほぼ同じ距離にあるものの、位置が左方向に伸びていると判定する。そこで、G4に示す画像を用いて、生成部32は、ユーザの4本の指の先端は、XY平面上で表わすと、G5に示すように位置していると判定する。G5では、人差し指f1の先端は、ホームポジションよりも左側に位置しているが、中指f2、薬指f3、小指f4はホームポジションにある。
G6は、ユーザが人差し指f1をホームポジションよりも入力装置20から遠ざかる方向に伸ばした場合に撮像部26で撮像されたXZ平面の画像の解析例を示す。G6においても、図を見やすくするためにG4と同様に、生成部32で特定された指の輪郭と赤外光パターンの様子を図示している。G6の例では、人差し指f1に照射されている赤外光のドットの大きさは、他の指に照射されているドットよりも大きい。このため、生成部32は、赤外光が照射されている4本の指のうち、左端の指(人差し指f1)は、他の指よりも入力装置20から遠い位置にあると判定する。また、G6に示すように、XZ平面上で得られた指の輪郭のX軸方向(横方向)の指の位置はホームポジションとあまり変わらない。このため、生成部32は、G6に示す情報から、左端の指は入力装置20と逆方向に伸ばされており、他の3本の指はホームポジションにあると判定する。また、生成部32は、各指のドットの大きさを用いて、各指の撮像部26からの距離を計算して、各指のXY平面での位置を特定する。生成部32での処理の結果、ユーザの4本の指の先端は、XY平面上で表わすと、G7に示すように位置していると判定される。すなわち、人差し指f1の先端は、ホームポジションよりも入力装置20から遠い位置であって、横方向にはホームポジションと変わらない位置にあるが、中指f2、薬指f3、小指f4はホームポジションにあると判定される。なお、G7において、Y軸の値が大きいほど、入力装置20に近いものとする。
以上、図5〜図9を参照しながら説明した処理により、入力装置20は、ユーザの指の位置を特定する。また、生成部32は、ユーザの指の位置を時刻情報と対応付けることにより、ユーザの指の位置の軌跡を生成することもできる。このとき、生成部32は、ユーザの指の位置を、ユーザの指の識別子とも対応付けることにより、各指によって得られた軌跡を、指の識別子ごとに特定することができる。生成部32で生成された軌跡の情報は、適宜、記憶部40に格納される。ユーザの指の位置の軌跡を用いた処理の具体例については後述する。
(B)測定部31での振動の測定結果を用いた判定処理
図10は、加速度の測定結果の例を示す図である。図10のG31は、測定部31が観測した加速度の時間変化の例である。G31の縦軸は加速度であり、横軸は時間である。測定部31は、加速度の測定結果を生成部32に出力する。生成部32は、観測された加速度の絶対値が閾値aを超えると、ユーザがタップ操作を行った際の振動を観測したと判定する。すなわち、測定された加速度がaを超えるか、−aよりも小さい値である場合に、生成部32は、タップ操作に伴う振動を検出したと判定する。図10のG31の例では、加速度の絶対値が閾値aを超えていないので、生成部32は、タップ操作が行われていないと判定する。一方、図10のG32では、時刻t1での加速度の測定値の絶対値は閾値aを超えているので、生成部32は、ユーザが時刻t1にタップ操作を行ったと判定する。
<操作例>
以下、実施形態にかかる入力信号の特定方法を用いて行われる入力装置20からの入力処理と端末10の操作の例を説明する。なお、以下の操作例では、比較的拡散の大きい赤外光を用いた赤外光パターンがユーザの指に照射されている場合を例として説明するが、拡散の小さい赤外光が照射されても良い。
〔第1の操作例〕
第1の操作例では、選択可能な領域を含む画像が表示されている画面において、選択可能な領域の各々が入力装置20で検出された指に対応付けられている場合の処理の例を説明する。
図11は、第1の操作例にかかる入力処理の例を説明する図である。図11のG11は、ユーザの指がホームポジションにある場合の照射パターンの例である。G11では、ユーザの4本の指が検出されている。また、生成部32は、検出された指の各々に識別子を対応付ける。入力装置20は、端末10に対して、検出された指の各々に対応付けられた識別子を通知する。図11の例では、生成部32は、送信部22を介して、指の識別子がf1〜f4であることを端末10に通知しているとする。
端末10は、ディスプレイの画面に図11のG12に示す画像を表示したとする。G12に示す画像には、Timeボタン、Weatherボタン、GPSボタン、NEXTボタンの4つの選択可能な領域が表示されている。端末10は入力装置20から通知を受けた指の識別子の各々に表示可能な領域を1つ割り当てる。端末10において選択可能な領域の識別子と検出された各指を対応付ける方法は任意である。図11では、Timeボタンが指f1、Weatherボタンが指f2、GPSボタンが指f3、NEXTボタンが指f4に対応付けられたとする。一方、ユーザは、端末10のディスプレイの表示の変化に伴って、適宜、入力装置20を操作する。
図11のG13は、ユーザが人差し指をタップした場合に得られる撮像結果の例を示す。ユーザが人差し指をタップした場合、生成部32は、指f1で反射した赤外光の変化から、指f1が垂直方向(Z軸方向)に持ち上げられてから垂直方向に下ろされていることを特定する。また、生成部32は、指f1のY軸方向の位置とX軸方向の位置が変化していないことも特定する。タップ操作の軌跡の特徴から、タップ操作は、端末10の画面に表示された画像の特定の位置への入力であるといえる。なお、これらの軌跡を特定するために、生成部32は、適宜、記憶部40中に格納したデータや時刻情報を、撮像部26から取得した画像の解析結果と共に使用する。得られた軌跡での指の移動量が所定の閾値Th1を超えると、生成部32は、ユーザの処理が発生した可能性があると判定する。ここで、生成部32は、指の移動により得られた軌跡の長さが閾値Th1を超えない場合は、ユーザが処理を行うために指を動かしていないと判定することにより、誤操作を防止している。換言すると、指の移動により得られた軌跡の長さが閾値Th1を超えない場合は、生成部32はユーザからの入力処理は行われていないと判定して、入力操作を端末10に通知するための信号を生成しない。
一方、得られた軌跡での指の移動量が所定の閾値Th1を超えると、生成部32は、指f1のZ軸方向の移動が発生した時刻に測定部31で測定された加速度の絶対値が閾値Th2を超えているかを判定する。指f1のZ軸方向の移動が発生した時刻に測定部31で測定された加速度の絶対値Th2が閾値を超えている場合、生成部32は、指f1によるタップ操作が発生したと判定する。
生成部32は、タップ操作を検出すると、タップ操作が発生した指の識別子を通知するためのパケットを端末10に送信する。G13の例では、観測された指のうちでXZ平面でのXの値が最も小さい指(人差し指)がタップされており、この指には、f1という識別子が対応付けられている。そこで、生成部32は、指f1でタップ操作が発生したことを通知するパケットを、送信部22を介して、端末10に送信する。
端末10は、入力装置20から、指f1でタップ操作が発生したことを通知するパケットを受信すると、指f1にはTimeボタンが対応付けられていることからTimeボタンが選択されたと判定する。そこで、端末10は、端末10自体に搭載されている入力装置からTimeボタンが選択された場合と同様の処理を行う。
他の指においてタップ操作が行われた場合も同様に、入力装置20がタップ操作の発生を検出した指の識別子を端末10に通知することで、タップ操作が発生した指に対応付けられたボタンが選択された場合と同様の処理が端末10で行われる。例えば、G15に示す場合、生成部32は、指f2でのタップ操作の発生を特定し、指f2でのタップ操作の発生を端末10に通知する。端末10は、指f2にWeatherボタンを対応付けていることから、Weatherボタンが選択された場合の処理を行う(G16)。また、G17に示す場合、生成部32は、指f3でのタップ操作の発生を検出して、端末10に通知する。端末10は、指f3にGPSボタンを対応付けていることから、GPSボタンが選択された場合の処理を行う(G18)。さらに、G19に示す場合、生成部32は、指f4でのタップ操作の発生を検出して、端末10に通知する。端末10は、指f4にNEXTボタンを対応付けていることから、NEXTボタンが選択された場合の処理を行う(G20)。
図12は、第1の操作例にかかる入力処理の例を説明するフローチャートである。図12は、生成部32がユーザの指を検出した後で行われる処理の例を示す。端末10は、ディスプレイにアイコンなどの選択可能な領域を含む画面を表示する(ステップS11)。このとき、端末10は、入力装置20から、検出されている指の識別子を取得しているので、検出されている指の各々について、選択可能な領域を1つずつ対応付ける。
照射部25は、入力装置20を装着しているユーザの指に向けて、赤外光パターンを照射する(ステップS12)。撮像部26は、指に映った赤外光パターンを定期的に撮影し、得られた画像データを生成部32に出力する(ステップS13)。生成部32は、画像データを解析することにより、各指のXYZ座標での位置を特定する(ステップS14)。なお、「各指のXYZ座標での位置」は、各指のXZ平面での位置と、奥行き方向の距離との組合せである。生成部32は、前回の各指についてのXYZ座標での位置と解析により得られた位置の差から、指の位置の変化量を算出する(ステップS15)。測定部31は、振動量を測定する(ステップS16)。生成部32は、位置の変化量が閾値Th1を超えた指があるかを判定する(ステップS17)。位置の変化量が閾値Th1を超えている指がない場合、ステップS14以降の処理に戻る(ステップS17でNo)。一方、位置の変化量が閾値Th1を超えている場合、生成部32は、振動の振幅が閾値Th2を超えているかを判定する(ステップS17でYes、ステップS18)。振動の振幅が閾値Th2を超えていない場合、ステップS14に戻る(ステップS18でNo)。
一方、振動の振幅が閾値Th2を超えている場合、生成部32は、位置の変動が閾値Th1を超えている指でタップ操作が発生したと判定し、タップ操作が発生した指を通知するパケットを端末10に送信する(ステップS18でYes、ステップS19)。入力装置20からパケットを受信した端末10は、タップ操作が発生した指に関連付けた領域が選択されたと判定し、判定された領域に対応付けられた処理を行う(ステップS20)。
このように、第1の操作例によると、入力装置20で検出された指に、端末10のディスプレイに表示されている領域が対応付けられる。また、端末10は、タップ操作が検出された指が通知されると、タップ操作が検出された指に対応付けられた領域が選択されたときと同じ処理を行う。このため、ユーザは、簡単に端末10への入力処理を行うことができる。
さらに、入力装置20は、指の動きによって得られた軌跡の長さが所定の閾値Th1を超えない場合は、ユーザが操作を意図していないがユーザの指の位置が変動したと判定する。このため、入力装置20は、例えば、ユーザが入力装置20を混雑した場所で使用していてユーザの手に何かがぶつかった場合や、ユーザが処理を行おうとして中断した場合に、ユーザの意図しない入力処理を行うことを防止できる。
また、入力装置20が用いられる場合、ユーザは、指の位置の特定を行うために、図4などを参照しながら説明したように、1つの装置を装着するだけで済むので、ユーザの利便性も向上する。
〔第2の操作例〕
第2の操作例では、選択可能な領域を含む画像が表示されている画面において、選択可能な領域の各々が入力装置20で検出された指に対応付けられていない場合の処理の例を説明する。
図13と図14は、第2の操作例にかかる入力処理の例を説明する図である。ホームポジションにあるユーザの指のXZ平面上の位置とユーザの指に映った赤外光パターンの例をG31に示す。また、ユーザの指がホームポジションにあるときの各指の先端のXY平面上の位置をG32に示す。また第2の操作例が行われるときに端末10に表示される画像の例をG33に示す。G33に示す画像にも、Timeボタン、Weatherボタン、GPSボタン、NEXTボタンが表示されているとする。
その後、G34に示すように、ユーザが人差し指でタップ操作をしたとする。すると、照射部25、撮像部26、生成部32の処理により、第1の操作例で説明した方法と同様の方法により、ユーザの指f1でのタップ操作の発生が検出される。タップ操作が発生したときのユーザの指f1〜f4のXY平面上での位置をG35に示す。G34に示す赤外光パターンでは、ドットの大きさは指によって大きく異ならないので、生成部32は、G35に示すように、指f1〜f4の撮像部26からの距離はほぼ同じであると判定している。生成部32は、指f1でのタップ操作の発生、タップ操作が発生した指の識別子、および、タップ操作が発生した座標を端末10に送信する。
端末10は、入力装置20からタップ操作が1本の指で発生したことが通知されると、画面上の予め設定された位置にポインタαを表示する。図13の例では、G36に示すように、端末10は、タップ操作が検出されるとポインタを画面の中央に表示するものとする。端末10は、入力装置20から通知された座標を記憶する。
G37は、G34の処理の後に、ユーザが人差し指を右に動かした場合に得られるユーザの指のXZ平面上の位置とユーザの指に映った赤外光パターンの例である。ユーザが人差し指を右に動かしているときのユーザの指f1〜f4のXY平面上での位置をG38に示す。G37に示す赤外光パターンが得られたときに、測定部31では、加速度の絶対値が閾値aを超える振動が観測されていないとする。すると、生成部32は、G35からG38に示すように、指f1がスライドしていると認識し、移動後に指f1の位置している座標を端末10に通知する。なお、生成部32は、指f1の移動中に、指f1の座標を定期的に端末10に通知しても良い。以下、G37に示すように指がスライドする場合の操作をスワイプ操作と記載することがある。スワイプ操作の軌跡の特徴から、スワイプ操作は、端末10の画面に表示された画像上での位置の変動を伴う入力であるといえる。
端末10は、入力装置20から指f1の座標の変化を受信すると、指f1の位置の変化の軌跡を求める。さらに、入力装置20で得られた軌跡に基づいて、ポインタαを移動させる。ここで、ポインタαの軌跡は、入力装置20から通知された指f1の軌跡に、予め設定された倍率を掛け合わせることにより、端末10の画面表示に用いている座標での軌跡として計算される。G39にポインタαの移動例を示す。
図14のG41は、G37の処理の後に、ユーザが人差し指をY軸の値が小さくなる方向に動かした場合に得られるユーザの指のXZ平面上の位置とユーザの指に映った赤外光パターンの例である。なお、図14において、Y軸の値が小さくなる方向は、ユーザの指が手首から遠ざかる方向である。G41に示す赤外光パターンでは、指f1でのドットの大きさは、指f2〜f4でのドットの大きさより大きいので、生成部32は、G42に示すように、指f1は撮像部26から他の指よりも遠い位置にあると判定する。そこで、XZ平面での撮像結果と合わせて、生成部32は、ユーザの指f1〜f4のXY平面上での位置をG42に示すとおりに解析する。さらに、G41に示す赤外光パターンが得られたときに、測定部31では、加速度の絶対値が閾値aを超える振動が観測されていないとする。すると、生成部32は、G38からG41に示すように、指f1がスライドしていると認識し、指f1の位置する座標を端末10に通知する。
端末10は、入力装置20から指f1の先端の座標の変化を受信すると、G39を例として説明した処理と同様の処理により、指f1の座標の変化の軌跡からポインタαの軌跡を求める。端末10は、ポインタαの位置を、得られた軌跡に合わせて変動させるので、G43に示すように、ポインタαが画面上を移動する。
その後、ユーザが人差し指でタップ操作をしたとする。G34を参照しながら説明したように、ユーザの指f1でのタップ操作の発生が検出される。また、この場合、タップ操作が行われたときの各指の位置は、G41を参照しながら説明したときと代わっていないので、ユーザの指に照射された赤外光のパターンは、G44に示すとおりである。タップ操作が発生したときのユーザの指f1〜f4のXY平面上での位置をG45に示す。生成部32は、指f1でのタップ操作の発生と、タップ操作が発生した指の識別子と、タップ操作が発生した座標を端末10に送信する。
端末10は、入力装置20からタップ操作が指f1で発生したことが通知されると、ポインタαの位置が、画面上の選択可能な領域と重なっているかを判定する。図14では、G46に示すように、ポインタαの位置が、画面上の選択可能な領域と重なっているとする。すると、端末10は、ポインタαが重なっている領域がユーザによって選択されたと判定して、処理を行う。
図15は、第2の操作例にかかる入力処理の例を説明するフローチャートである。図15の例では、理解しやすくするために、図13、図14を参照しながら説明したように、1本の指でタップ操作や指の位置の移動が行われている場合を例として説明する。
端末10は、ディスプレイにアイコンなどの選択可能な領域を含む画面が表示する(ステップS31)。ステップS32〜S36の処理は、図12を参照しながら説明したステップS12〜S16と同様である。生成部32は、処理を行っている指の位置の変化量が閾値Th1を超えているかを判定する(ステップS37)。処理を行っている指の位置の変化量が閾値Th1を超えていない場合、ステップS34に戻る(ステップS37でNo)。処理を行っている指の位置の変化量が閾値Th1を超えている場合、生成部32は、振動の振幅が閾値Th2を超えているかを判定する(ステップS38)。振動の振幅が閾値Th2を超えている場合、生成部32は、タップ操作が発生したと判定し、端末10に通知する(ステップS38でYes、ステップS39)。
入力装置20からタップ操作の発生を通知するパケットを受信した端末10は、画面にポインタを表示中かを判定する(ステップS40)。画面にポインタが表示されていない場合、端末10は、画面にポインタを表示する(ステップS40でNo、ステップS41)。その後、端末10は、ポインタの位置が選択可能な領域に重なっているかを判定する(ステップS42)。ポインタの位置が選択可能な領域に重なっていない場合、ステップS34以降の処理が繰り返される(ステップS42でNo)。ポインタの位置が選択可能な領域に重なっている場合、端末10は、ポインタと重なっている位置に表示されている領域が選択されたと判定し、選択されたと判定した領域に関連付けられた処理を行う(ステップS43)。
ステップS38において、振動の振幅が閾値Th2を超えていない場合、生成部32は、スワイプ操作が行われていると判定する(ステップS38でNo、ステップS44)。生成部32は、操作が観測されている指の位置と共に、スワイプ操作が発生していることを端末10に通知する。端末10は、ポインタを表示中であるかを判定する(ステップS45)。ポインタが表示されていない場合、端末10は、ユーザの端末10に対する操作が開始されていないと判定し、ステップS34以降の処理が繰り返される(ステップS45でNo)。画面にポインタが表示されている場合、端末10は、指の位置の変化に応じて、画面上のポインタの表示座標を移動させる(ステップS45でYes、ステップS46)。
このように、第2の操作例によると、入力装置20で検出された指と端末10の画面に表示されている領域が対応付けられていなくても、ユーザは、画面中の選択可能な領域を選択できる。また、ユーザは、簡単に端末10への入力処理を行うことができる。また、第2の操作例でも、第1の操作例と同様に、ユーザの指の動きにより得られた軌跡が所定の閾値Th1を超えない場合は、入力処理がないと判定されるので、ユーザの指の位置のぶれなどに起因したユーザの意図しない入力処理を防止できる。
〔第3の操作例〕
第3の操作例では、画像が表示されている画面において、画面の表示の拡大や縮小(ピンチアウト、ピンチイン)を行なう場合の処理の例を説明する。第3の操作例では、誤操作が起きにくくするために、通常、ユーザが画面の表示の拡大や縮小に使用する指として入力装置20が記憶している指による操作が行われている場合に、拡大や縮小の処理が行われる場合を説明する。なお、第3の操作例でも、入力装置20において観測された指の識別子は、アルファベットのfに続けて、観測された指の番号の組み合わせとして表わされる。また、指の識別子に含められる番号は、観測されている指のうちで、X座標の平均値が小さい指ほど、小さい値が関連付けられるように生成される。
図16Aと図16Bは、第3の操作例にかかる入力処理の例を説明する図である。図16Aと図16Bを参照しながら、画面の拡大や縮小などの編集が、指f1および指f2に対応付けられている場合の操作の例を説明する。この場合、入力装置20は、画面の拡大や縮小などの編集が指f1と指f2で行われることを、記憶部40に記憶している。
図16AのG51は、ホームポジションにあるユーザの指のXZ平面上の位置とユーザの指に映った赤外光パターンの例である。ユーザの指がホームポジションにあるときの各指の先端のXY平面上の位置をG52に示す。第3の操作例が行われるときに端末10に表示される画像の例をG53に示す。
その後、G54に示すように、ユーザが人差し指と中指でタップ操作をしたとする。すると、照射部25、撮像部26、生成部32の処理により、第1の操作例で説明した方法と同様の方法により、ユーザの指f1および指f2において、ほぼ同時に、Z軸方向の位置の変動が閾値Th1を超えていることが特定される。さらに、ユーザの指f1および指f2での位置の変動が観測された時刻に、測定部31において、絶対値が閾値Th2を超える加速度が観測されたとする。すると、生成部32は、ユーザの指f1および指f2において、タップ操作が行われたと判定する。なお、G54に示す赤外光パターンでは、ドットの大きさは指によって大きく異ならないので、生成部32は、指f1〜f4の撮像部26からの距離はほぼ同じであると判定している。タップ操作が発生したときのユーザの指f1〜f4のXY平面上での位置の特定例をG55に示す。生成部32は、タップ操作の発生、タップ操作が発生した指の識別子、および、タップ操作が発生した座標を端末10に送信する。このため、G54、G55の例では、指f1と指f2で発生したタップ操作の情報が端末10に通知される。
端末10は、入力装置20からタップ操作が2本の指で発生したことが通知されると、G56に示すように、画面にポインタαとポインタβを表示すると共に、端末10を編集モードに設定する。なお、図16A〜図17において、編集モードは、画面に表示中の画像の表示倍率の変更を行うモードである。ポインタの位置は、2つのポインタの間の中点が画面の中央など、予め決められた位置となるように決定される。また、ポインタ間の距離は、タップ操作が行われた座標から決定される。端末10は、ポインタ間の距離を計算するために、まず、タップ操作が観測された座標の違いから、タップ操作が発生した2本の指のXY座標上での距離を計算する。端末10は、タップ操作が発生した2本の指のXY座標上での距離に、予め設定されている倍数をかけて得られた値を、画面上での2つのポインタの間の距離とする。さらに、端末10は、入力装置20から通知された各タップ操作に関する座標を記憶する。
図16BのG57は、G54の処理の後に、ユーザが人差し指と中指を互いに離れるように動かした場合に得られるユーザの指のXZ平面上の位置とユーザの指に映った赤外光パターンの例である。ユーザが人差し指を左、中指を右に動かしたときのユーザの指f1〜f4のXY平面上での位置をG58に示す。G57に示す赤外光パターンが得られたときに、測定部31では、加速度の絶対値が閾値aを超える振動が観測されていないとする。すると、生成部32は、G55からG58に示すように、指f1と指f2がスライドしていると認識し、指f1と指f2の位置している座標を端末10に通知する。
端末10は、入力装置20から指f1と指f2の座標の変化を受信すると、新たに入力装置20から通知された指f1と指f2の座標を用いて、ポインタαとポインタβの間の距離を計算する。端末10は、得られた計算結果に応じて、ポインタαとポインタβの間の距離を変化させると同時に、ポインタ間の距離の変化に応じて、表示中の画像の表示倍率を変動させる。例えば、G55からG58に示すように、指f1と指f2が遠ざかっていることが通知されると、端末10は、G59に示すように、ポインタαとポインタβの表示位置を中心として、画面に表示中の画像の表示倍率を大きくする。
その後、ユーザが人差し指と中指の両方でタップ操作をしたとする。ユーザの指f1と指f2でのタップ操作の発生は、G51を参照しながら説明したように検出される。また、この場合、タップ操作が行われたときの各指の位置は、G57、G58を参照しながら説明したときと代わっていないので、ユーザの指に照射された赤外光のパターンは、G60に示すとおりである。タップ操作が発生したときのユーザの指f1〜f4のXY平面上での位置をG61に示す。生成部32は、タップ操作の発生と、タップ操作が発生した指の識別子と、タップ操作が発生した座標を端末10に送信する。
端末10は、入力装置20からタップ操作が指f1と指f2で発生したことが通知されると、ポインタαとポインタβによる表示画像の倍率の変更処理が終了したと判定する。そこで、端末10は、画像の大きさを、現在の表示している大きさに確定する。表示の大きさが確定したと判定すると、端末10は、編集モードを終了する。さらに、端末10は、表示の大きさを変更するために使用されているポインタαとポインタβの表示を終了する。このため、端末10の画面には、G62に示す画像が表示される。
図17は、第3の操作例にかかる入力処理の例を説明するフローチャートである。端末10は、ディスプレイの画面に画像を表示する(ステップS51)。ステップS52〜S56の処理は、図12を参照しながら説明したステップS12〜S16と同様である。生成部32は、観測された指のうちでX軸の値が小さい2本の指(指f1と指f2)のXYZ座標での位置の変化量が閾値Th1を超えているかを判定する(ステップS57)。図17において、閾値Th1は、1本の指のタップ操作で得られる位置の変化より大きな値である。指f1と指f2において見られたXYZ座標での位置の変化量(X1)が閾値Th1を超えている場合、生成部32は、振動の振幅が閾値Th2を超えているかを判定する(ステップS58)。振動の振幅が閾値Th2を超えている場合、生成部32は、指f1と指f2でタップ操作が発生したと判定し、端末10に通知する(ステップS58でYes、ステップS59)。
入力装置20からタップ操作の発生を通知するパケットを受信した端末10は、編集モードに設定中であるかを判定する(ステップS60)。編集モードに設定されているときに入力装置20から指f1と指f2でのタップ操作が通知されると、端末10は、編集モードを終了するとともにポインタの画面への表示を終了し、ステップS54に戻る(ステップS60でYes、ステップS61)。編集モードに設定されていないときに入力装置20から指f1と指f2でのタップ操作が通知されると、端末10は、編集モードに入るとともに、指f1と指f2に対応するポインタを画面に表示する(ステップS60でNo、ステップS62)。その後、ステップS54以降の処理が繰り返される。
ステップS58において、入力装置20が振動の振幅は閾値Th2を超えていないと判定した場合、生成部32は、指f1と指f2の各々の座標を端末10に通知する(ステップS58でNo)。端末10は、入力装置20から受信したパケットを用いて、指f1と指f2の座標を取得する。編集モード中の端末10は、入力装置20から座標が通知されると、通知された座標に合わせてポインタを移動させると共に、ポインタの距離に応じて表示中の画像の表示倍率を変更し、ステップS54に戻る(ステップS58でNo、ステップS64)。
ステップS57で指f1と指f2での位置の変化量が閾値Th1を超えていないと判定された場合、生成部32は、指f1か指f2のいずれかでの位置の変化量が閾値Th3を超えていて、振動の振幅も閾値Th2を超えたかを判定する(ステップS63)。ここで、閾値Th3は、1本の指のタップ操作で得られる位置の変化程度の大きさである。指f1か指f2のいずれかでの位置の変化量が閾値Th3を超えていて、振動の振幅も閾値Th2を超えた場合、入力装置20は、倍率の変更処理の終了を端末10に通知し、端末10は、編集処理を終了する(ステップS63でYes)。なお、指f1か指f2のいずれかでの位置の変化量が閾値Th3を超えていて、振動の振幅も閾値Th2を超えるということは、指f1か指f2のいずれかでタップ操作が行われたことを表わす。従って、図17のフローチャートでは、ユーザが人差し指か中指でタップ操作を行うことによって、画像の拡大や縮小を行うモードが終了する。一方、指f1か指f2のいずれかでの位置の変化量が閾値Th3を超えているという条件と、振動の振幅も閾値Th2を超えているという条件が満たされていない場合、ステップS54以降の処理が繰り返される(ステップS63でNo)。
このように、第3の操作例によると、端末10の画面に表示されている画像の拡大や縮小が入力装置20からの入力を介して行われる。さらに、入力装置20では、拡大や縮小を行う際に使用される指が、指f1(人差し指)と指f2(中指)であることから、他の指での動作が起こっても、端末10に対する入力信号を生成しない。このため、入力装置20を用いて、端末10の処理を行うと、人差し指と中指以外の指での動作が起こっても、端末10での画像の表示倍率が変動しない。従って、第3の操作例を用いると、誤操作を防止しやすい。例えば、混雑している交通機関で入力装置20を用いて入力処理を行う場合などには、ユーザの意図に反して指が動くことがありうる。このような場合でも、画像の拡大や縮小に使用される指以外の指が動いていれば、ユーザの意図しない操作を防止できる。
さらに、図16A〜図17の例では、入力装置20が右手に装着されている場合を例として説明したが、ユーザの利き手によっては、入力装置20が左手に装着される場合もある。この場合、ユーザの利き手での人差し指と中指は、観測された指のうちで比較的X軸の値が大きな指であるので、入力装置20での指の検出方法は、入力装置20が装着される手に応じて変更され得る。
〔第4の操作例〕
第4の操作例では、画面に表示された画像の回転を行なう場合の処理の例を説明する。第4の操作例では、誤操作が起きにくくするために、ユーザが画面に表示された画像の回転に使用する指として入力装置20が記憶している指による操作が行われている場合に、回転の処理が行われる場合を説明する。なお、第4の操作例でも、各指の識別子として、第3の操作例と同様の識別子が使用される。以下の例では、入力装置20は、画面に表示される画像の回転処理が指f1と指f2で行われることを、記憶部40に記憶しているものとする。
図18Aと図18Bは、第4の操作例にかかる入力処理の例を説明する図である。図18AのG71は、ホームポジションにあるユーザの指のXZ平面上の位置とユーザの指に映った赤外光パターンの例である。ユーザの指がホームポジションにあるときの各指の先端のXY平面上の位置をG72に示す。第4の操作例が行われるときに端末10に表示される画像の例をG73に示す。
その後、G74に示すように、ユーザが人差し指と中指でタップ操作をしたとする。ユーザがG74に示すようにタップ操作を行った場合の各指の先端のXY平面上の位置をG75に示す。入力装置20でのタップ操作の検出と、入力装置20から端末10への通知は、第3の操作例で図16AのG54〜G57を参照しながら説明した処理と同様である。この結果、端末10の画面には、G76に示すように、ポインタαとポインタβが表示されると共に、端末10が編集モードに設定される。なお、図18A〜図19において、編集モードは、画面に表示中の画像をポインタの動きに合わせて回転させるモードである。なお、ポインタ間の距離は、タップ操作が観測された2つの座標の距離に応じて決定されるので、G76に示すように、ユーザが人差し指と中指の間を広げている場合、ポインタαとポインタβの間の距離は、人差し指と中指の間に応じて広くなる。このため、G74〜G76では、図16AのG54〜G56の場合と比べて、ポインタ間の距離が広くなっている。
G74の処理の後で、ユーザは、移動前の人差し指と中指を結んだ直線と、移動後の人差し指と中指を結んだ直線が交差するように、人差し指と中指を動かしたとする。図18BのG77の例では、ユーザが中指を入力装置20から遠ざけ、人差し指を入力装置20に近づけるように動かした場合を示す。すると、ユーザの指f1に照射される赤外光パターンのドットは、G74での状態に比べて小さくなり、指f2に照射される赤外光パターンのドットは、G74での状態に比べて大きくなる。また、指f3、指f4に照射された赤外光のドットの大きさは、G74での状態と変わらない。ユーザが人差し指と中指をG77に示すように動かしたときのユーザの指f1〜f4のXY平面上での位置をG78に示す。以下の説明では、G75に示す配置での人差し指と中指を結んだ直線と、G78に示す配置で人差し指と中指を結んだ直線がなす角度をθと記載する。さらに、G77に示す赤外光パターンが得られたときに、測定部31では、加速度の絶対値が閾値aを超える振動が観測されていないとする。すると、生成部32は、G75からG78に示すように、指f1と指f2がスライドしていると認識し、指f1と指f2の位置している座標を端末10に通知する。
端末10は、入力装置20から指f1と指f2の座標の変化を受信すると、新たに入力装置20から通知された指f1と指f2の座標を用いて、ポインタαとポインタβの位置を変動させる。このため、ポインタαとポインタβの位置は、G79に示すように変化する。さらに、端末10は、ポインタαとポインタβの間の位置を変化させる際に、移動後のポインタ間を結んだ直線との角度と移動前のポインタ間を結んだ直線のなす角度θの分だけ、表示中の画像を回転させる。G79の時点で画面に表示されている画像は、G76に示す画像からθだけ回転している。
その後、ユーザが人差し指と中指の両方でタップ操作をしたとする。ユーザの指f1と指f2でのタップ操作の発生は、G74を参照しながら説明したように検出される。また、この場合、タップ操作が行われたときの各指の位置は、G77、G78を参照しながら説明したときと変わっていないとする。この場合、ユーザの指に照射される赤外光のパターンは、G80に示すとおりになる。タップ操作が発生したときのユーザの指f1〜f4のXY平面上での位置をG81に示す。生成部32は、タップ操作の発生と、タップ操作が発生した指の識別子と、タップ操作が発生した座標を端末10に送信する。
端末10は、入力装置20からタップ操作が指f1と指f2で発生したことが通知されると、ポインタαとポインタβによる表示画像の回転処理が終了したと判定する。そこで、端末10は、画像の表示角度を、現在の表示角度に確定する。表示角度が確定したと判定すると、端末10は、編集モードを終了する。さらに、端末10は、表示角度を変更するために使用されているポインタαとポインタβの表示を終了する。このため、端末10の画面には、G82に示す画像が表示される。
図19は第4の操作例にかかる入力処理の例を説明するフローチャートである。ステップS71〜S83で行われる処理は、図17を参照しながら説明したステップS51〜S63と同様である。ステップS78において、入力装置20が振動の振幅は閾値Th2を超えていないと判定した場合、生成部32は、指f1と指f2の各々の座標を端末10に通知する(ステップS78でNo)。端末10は、入力装置20から受信したパケットを用いて、指f1と指f2の座標を取得する。編集モード中の端末10は、入力装置20から座標が通知されると通知された座標に合わせてポインタを移動させる。さらに、端末10は、移動後のポインタ間を結んだ直線と移動前のポインタ間を結んだ直線のなす角度θの分だけ、表示中の画像を回転させ、ステップS74に戻る(ステップS84)。
このように、第4の操作例によると、端末10の画面に表示されている画像の回転が入力装置20からの入力を介して行われる。さらに、入力装置20では、回転を行う際に使用される指が、指f1(人差し指)と指f2(中指)であることから、第3の操作例と同様に、他の指での動作が起こっても、入力装置20から端末10に入力信号が送信されない。このため、指f1と指f2以外の指の動きによって画像の表示角度が変更されず、誤操作を防止しやすい。さらに、第3の操作例と同様に、入力装置20での指の検出方法は、入力装置20が装着される手が右手と左手のいずれかによって変更され得る。
〔第5の操作例〕
第5の操作例では、画面に表示された画像の表示位置を変更する場合の処理の例を説明する。
図20と図21は、第5の操作例にかかる入力処理の例を説明する図である。図20のG91は、ホームポジションにあるユーザの指のXZ平面上の位置とユーザの指に映った赤外光パターンの例である。ユーザの指がホームポジションにあるときの各指の先端のXY平面上の位置をG92に示す。第5の操作例が行われるときに端末10に表示される画像の例をG93に示す。
その後、G94に示すように、ユーザが人差し指でタップ操作をしたとする。すると、照射部25、撮像部26、生成部32の処理により、第1の操作例で説明した方法と同様の方法により、ユーザの指f1でのタップ操作の発生が検出される。タップ操作が発生したときのユーザの指f1〜f4のXY平面上での位置をG95に示す。生成部32は、指f1でのタップ操作の発生、タップ操作が発生した指の識別子、および、タップ操作が発生した座標を端末10に送信する。端末10は、入力装置20からタップ操作が1本の指で発生したことが通知されると、G96に示すように、画面上の予め設定された位置にポインタαを表示するとともに、画像スクロールモードに移行する。以下、画像スクロールモードは、画像の表示位置が変更されるモードであるとする。端末10は、入力装置20から通知された座標を記憶する。
G97は、G94の処理の後に、ユーザが人差し指を右に動かした場合に得られるユーザの指のXZ平面上の位置とユーザの指に映った赤外光パターンの例である。ユーザが人差し指を右に動かしているときのユーザの指f1〜f4のXY平面上での位置をG98に示す。なお、G97に示す赤外光パターンが得られたときに、測定部31では、加速度の絶対値が閾値aを超える振動が観測されていないとする。すると、生成部32は、G97に示すように、指f1がスライドしていると認識し、指f1の位置している座標を端末10に通知する。
端末10は、入力装置20から指f1の座標の変化を受信すると、指f1の位置の変化の軌跡を求める。さらに、入力装置20で得られた軌跡に基づいて、ポインタαを移動させる。ポインタαの軌跡の求め方は、第2の操作例と同様である。さらに、端末10は、表示中の画像自体も、ポインタαの表示位置の変化分だけ変化させる。このため、G97、G98で示す処理が行われたことにより、画像自体の表示位置もポインタと共に右に移動する。このため、画面の表示は、G96からG99に示すように変化する。
図21のG111は、G97の処理の後に、ユーザが人差し指を入力装置20から遠ざかる方向に動かした場合に得られるユーザの指のXZ平面上の位置とユーザの指に映った赤外光パターンの例である。ユーザの人差し指が入力装置20から遠ざかっているため、人差し指に照射された赤外光パターンのドットは、他の指に照射されたドットよりも大きくなっている。ユーザが人差し指を入力装置20から遠ざかる方向に動かしているときのユーザの指f1〜f4のXY平面上での位置をG112に示す。G111に示す赤外光パターンが得られたときに、測定部31では、加速度の絶対値が閾値aを超える振動が観測されていないとする。すると、生成部32は、G111に示すように、指f1がスライドしていると認識し、指f1の位置している座標を端末10に通知する。
端末10は、入力装置20から指f1の座標の変化を受信すると、指f1の位置の変化の軌跡を求め、入力装置20で得られた軌跡に基づいて、ポインタαと画像の表示位置を移動させる。このときの処理は、G97〜G99を参照しながら説明した処理と同様である。このため、ポインタや画像の移動後の画面は、図21のG113のようになる。
その後、ユーザが人差し指でタップ操作をしたとする。この場合、G94(図20)を参照しながら説明したように、ユーザの指f1でのタップ操作の発生が検出される。また、この場合、タップ操作が行われたときの各指の位置は、G112を参照しながら説明したときと変わっていないので、ユーザの指に照射された赤外光のパターンは、G114に示すとおりである。タップ操作が発生したときのユーザの指f1〜f4のXY平面上での位置をG115に示す。生成部32は、指f1でのタップ操作の発生、タップ操作が発生した指の識別子、および、タップ操作が発生した座標を端末10に送信する。端末10は、入力装置20からタップ操作が指f1で発生したことが通知されると、画像スクロールモードを終了させ、画像の表示位置を確定させる。
図22は、第5の操作例にかかる入力処理の例を説明するフローチャートである。端末10は、ディスプレイの画面に画像を表示する(ステップS91)。ステップS92〜S99の処理は、図15を参照しながら説明したステップS32〜S39と同様である。入力装置20からタップ操作の発生を通知するパケットを受信した端末10は、画像スクロールモードに設定されているかを判定する(ステップS100)。画像スクロールモードに設定されていない場合、端末10は、画像スクロールモードに移行し、ステップS94に戻る(ステップS100でNo、ステップS102)。一方、画像スクロールモードに設定されている場合、端末10は、画像スクロールモードを終了し、ステップS94に戻る(ステップS100でYes、ステップS101)。
ステップS98において、振動の振幅が閾値Th2を超えていない場合、生成部32は、スワイプ操作が行われていると判定する(ステップS103)。生成部32は、操作が観測されている指の位置と共に、スワイプ操作が発生していることを端末10に通知する。端末10は、画像スクロールモードに設定中かを判定する(ステップS104)。画像スクロールモードに入っていない場合、端末10は、操作が開始されていないと判定し、ステップS94に戻る(ステップS104でNo)。画像スクロールモードに設定されている場合、端末10は、指の位置の変化に応じて、画像の表示位置と画面上のポインタの表示座標を移動させる(ステップS104でYes、ステップS105)。
このように、第5の操作例によると、入力装置20を用いて、簡単に端末10の画面に表示されている画像の表示位置を変更することができる。
〔第6の操作例〕
第6の操作例では、生成部32は、操作中の指の形によって、指の検出位置のZ軸方向の変化のパターンが異なることを用いて、誤操作を減らす場合の例を説明する。
図23は、第6の操作例にかかる入力処理の例を説明する図である。AC1は、ユーザが指をスライドさせているときの動きの例をYZ平面上で示した図である。例えば、ユーザがP1に示す指の形状からY軸の値が小さくなる方向に指をスライドさせると、指の形はP2に表わすとおりになる。ここで、指の位置がP1に示す状態の場合は、指が観測されている位置の入力装置20からの距離は指の関節部分と指先で大きな差がない。従って、指の検出位置のY座標の値は、指のうちの観測対象とする箇所の高さ(Z軸の値)が変わっても大きく変化しない。このため、Y軸を縦軸、Z軸を横軸として、Y軸方向での指の検出位置の撮像部26からの距離をプロットすると、G122に示すように、指の観測されている領域だけが所定の値になるが、指の観測されていない領域のY軸の値は低くなる。
一方、指の位置がP2に示す状態の場合は、指が観測されている位置の入力装置20からの距離は指の関節部分から指先にかけて、段階的に大きくなっている。従って、指が観測されている領域においては、指の検出位置のY座標の値は、観測対象とする指の高さ(Z軸の値)が小さくなるほど、小さくなる。このため、Y軸を縦軸、Z軸を横軸として、指の検出位置の変化をプロットすると、G121に示すように、指の観測されている領域がZ軸の値に正比例する。
次に、AC2を参照しながらタップ操作が行われるときの指の形と指の検出位置のY座標の値の変動について説明する。タップ操作が行われる場合、指は、P4に示す位置からP3のように持ち上げられ、再び、P4の位置に戻る。このため、タップ操作の最初から最後まで、指の位置がP1に示す状態の場合と同様に、指が観測されている位置の入力装置20からの距離は指の関節部分と指先で大きな差がない。また、タップ操作が行われている場合の指の形状では、指の検出位置のY座標の値は、指のうちの観測対象とする箇所の高さが変わっても大きく変化しない。このため、Y軸を縦軸、Z軸を横軸として、指の検出位置の変化をプロットすると、G122に示すようになる。
そこで、指の検出位置のY座標の値を高さの関数としてプロットしたときに、G121に示すようにY軸の値がZ軸の値に比例する形状のグラフとなる期間が操作中にある場合、生成部32は、ユーザが指をスライドさせていると判定できる。
一方、指の検出位置のY座標の値を高さの関数としてプロットしたときに、G121に示すようにY軸の値がZ軸の値に比例する形状のグラフとなる期間が操作中になく、G122に示すプロットのみが得られるとする。この場合、生成部32は、ユーザがタップ操作を行っていると判定できる。
第6の判定処理は、これまでに説明した第1〜第5の操作例のいずれと併用することもできる。ユーザの指の形状の変化を用いてユーザの操作の種類を判定する処理を組み合わせることにより、誤操作が起こる確率をさらに低くすることができる。
例えば、生成部32は、ある指の移動により得られた軌跡の長さが閾値Th1を超えており、さらに、所定値以上の振幅の振動が発生していることから、タップ操作が発生したと判定したとする。このときに、生成部32は、さらに、タップ操作を行っていると判定した指に関してのY座標の値と指先からの距離の関係が図23のG122に示すとおりであるかを判定する。タップ操作を行っていると判定した指に関してのY座標の値と指先からの高さ方向の距離の関係が図23のG122の通りである場合、生成部32は、タップ操作が行われたと判定して、入力信号を端末10に出力する。
一方、タップ操作を行っていると判定した指に関してのY座標の値と指先からの高さ方向の距離の関係が図23のG122とは異なる形状である場合、生成部32は、タップ操作が発生していないと判定する。例えば、図23のG121に示す形状の場合は、ユーザが指をスライドさせていることが考えられるため、タップ操作が発生している可能性は低い。このような場合、生成部32は、ユーザ操作を誤認識した可能性があるため、入力信号を生成せずに、処理を終了する。
同様に、生成部32は、スワイプ処理が発生しているかを判定する際にも、Y座標の値と指先からの高さ方向の距離の関係を使用できる。例えば、ある指の移動により得られた軌跡の長さが閾値Th1を超えているが、所定値以上の振幅の振動が発生していないため、生成部32は、スワイプ操作が発生したと判定したとする。このときに、生成部32は、図23のG121に示すように、Y座標の値と指先からの高さ方向の距離の関係が指先からの距離に応じて、グラデーション状に変動している状態が、ユーザの操作中に発生しているかを判定する。Y座標の値がグラデーション状に変動する状態が発生している場合、図23のAC1に示すように、指が入力装置20に対して傾いた状態(P2)が操作中に発生しているため、スワイプ処理が行われていると判定する。
一方、Y座標の値がグラデーション状に変動する状態が発生していない場合、指が入力装置20に対して傾いた状態が操作中に発生していないので、スワイプ処理は発生していない。このため、生成部32は、ユーザ操作を誤認識した可能性があると判定し、入力信号を生成せずに、処理を終了する。
なお、図23の例では、スワイプ処理を行っている指先が入力装置20から遠ざかるように動かされている場合を例として説明したが、スワイプ処理の際に、指先は入力装置20に近づくように動かされても良い。この場合のY座標の値と指先からの高さ方向の距離の関係は、Z軸の値が小さいほどY軸の値が大きなグラフとなる。
<その他>
実施形態は上記に限られるものではなく、様々に変形可能である。以下にその例をいくつか述べる。
例えば、入力装置20に搭載されているプロセッサ101の性能が良くない場合、入力装置20は、ユーザの処理の種類を特定せずに、測定部31での観測結果と、生成部32での座標変化を端末10に定期的に通知しても良い。この場合、端末10が入力装置20から通知された情報に基づいて、ユーザで行われている処理の種類を特定する。
入力装置20から入力信号を取得する端末10は、ウェアラブル端末や時計型端末などの入力が行いにくい形状の装置に限定されない。例えば、端末10は、スマートフォンを含む携帯電話端末、タブレット、コンピュータなどであっても良い。端末10として、スマートフォンを含む携帯電話端末、タブレット、コンピュータなどが用いられる場合、ユーザは、端末10の表面を指の脂などによって汚さずに操作を行うことができるという利点がある。
上述の実施形態に関し、さらに以下の付記を開示する。
(付記1)
ユーザの手に装着される入力装置であって、
所定の形状の第1の赤外光パターンを前記ユーザの指に照射する照射部と、
前記ユーザの指での反射によって得られた第2の赤外光パターンを撮像する撮像部と、
前記ユーザの指の動きにより生じる振動の大きさを測定する測定部と、
前記第2の赤外光パターンと前記第1の赤外光パターンを用いて、前記ユーザの指の位置の変化の軌跡を特定すると共に、前記軌跡と前記振動の大きさの組み合わせに対応する入力信号を生成する生成部と、
前記入力信号を、入力先の装置に送信する送信部
を備えることを特徴とする入力装置。
(付記2)
前記生成部は、
前記軌跡の長さが第1の閾値より長い場合、前記ユーザからの入力処理を検出したと判定して、前記入力信号を生成し、
前記軌跡の長さが前記第1の閾値以下の場合、前記ユーザの入力処理は行われていないと判定して、前記入力信号を生成しない
ことを特徴とする付記1に記載の入力装置。
(付記3)
前記生成部は、
前記第1の閾値より長い軌跡が得られた期間に前記測定部が観測した振動の大きさが第2の閾値を超えると、前記入力先の装置が備える画面に表示された画像の特定の位置への入力である第1の操作の発生を通知する情報を前記入力信号に含め、
前記第1の閾値より長い軌跡が得られた時刻に観測された前記振動の大きさが前記第2の閾値以下の場合、前記画面に表示された画像上での位置の変動を伴う第2の操作の発生を通知する情報と、前記軌跡に含まれる複数の位置の座標の情報を前記入力信号とする
ことを特徴とする付記2に記載の入力装置。
(付記4)
前記第1の操作と第2の操作の各々に対応付けて、当該操作に使用される指の種類を記憶する記憶部
をさらに備え、
前記生成部は、
前記撮像部で撮像された撮像画像から複数の指が検出される場合、前記撮像画像での検出位置を用いて、前記複数の指の各々を特定し、
前記第1または第2の操作を検出すると、検出した対象操作に使用された指を、前記撮像画像を用いて特定し、
前記対象操作に使用された指が前記対象操作に対応付けられていない場合、前記対象操作は誤操作であると判定すると共に、前記入力信号を生成しない
ことを特徴とする付記3に記載の入力装置。
(付記5)
前記記憶部は、前記第1の操作と前記第2の操作の各々に対応付けて、当該操作を行っている指の検出位置の前記撮像部からの距離と当該操作を行っている指の先端からの高さを用いて表わされる指の形状をさらに記憶し
前記生成部は、
前記撮像部で検出された前記第2の赤外光パターンを用いて検出した指の形状から、撮像対象となった指で行われている操作の種類を特定し、
前記検出した指の形状を用いた特定結果と、前記ユーザの指の位置の変化の軌跡と前記振動の大きさの組み合わせから特定した特定結果が一致しない場合、前記入力信号を生成しない
ことを特徴とする付記3または4に記載の入力装置。
(付記6)
前記生成部は、前記撮像部で撮像された撮像画像から複数の指が検出される場合、前記撮像画像での検出位置を用いて、前記複数の指の各々を特定し、
前記入力信号に、前記入力信号で通知する操作を行った指を識別する情報を含める
ことを特徴とする付記1〜3のいずれか一項に記載の入力装置。
(付記7)
ユーザの手に装着される入力装置が、
所定の形状の第1の赤外光パターンを前記ユーザの指に照射し、
前記ユーザの指での反射によって得られた第2の赤外光パターンを撮像し、
前記ユーザの指の動きにより生じる振動の大きさを測定し、
前記第2の赤外光パターンと前記第1の赤外光パターンを用いて、前記ユーザの指の位置の変化の軌跡を特定すると共に、前記軌跡と前記振動の大きさの組み合わせに対応する入力信号を生成し、
前記入力信号を、入力先の装置に送信する
処理を行うことを特徴とする入力制御方法。
(付記8)
前記入力装置は、
前記軌跡の長さが第1の閾値より長い場合、前記ユーザからの入力処理を検出したと判定して、前記入力信号を生成し、
前記軌跡の長さが前記第1の閾値以下の場合、前記ユーザの入力処理は行われていないと判定して、前記入力信号を生成しない
ことを特徴とする付記7に記載の入力制御方法。
(付記9)
前記入力装置は、
前記第1の閾値より長い軌跡が得られた期間に観測した振動の大きさが第2の閾値を超えると、前記入力先の装置が備える画面に表示された画像の特定の位置への入力である第1の操作の発生を通知する情報を前記入力信号に含め、
前記第1の閾値より長い軌跡が得られた時刻に観測した前記振動の大きさが前記第2の閾値以下の場合、前記画面に表示された画像上での位置の変動を伴う第2の操作の発生を通知する情報と、前記軌跡に含まれる複数の位置の座標の情報を前記入力信号とする
ことを特徴とする付記8に記載の入力制御方法。
(付記10)
前記入力装置は、前記第1の操作と前記第2の操作の各々に対応付けて、当該操作に使用される指の種類を記憶しており、
撮像した撮像画像から複数の指が検出される場合、前記撮像画像での検出位置を用いて、前記複数の指の各々を特定し、
前記第1または第2の操作を検出すると、検出した対象操作に使用された指を、前記撮像画像を用いて特定し、
前記対象操作に使用された指が前記対象操作に対応付けられていない場合、前記対象操作は誤操作であると判定すると共に、前記入力信号を生成しない
ことを特徴とする付記9に記載の入力制御方法。
(付記11)
前記入力装置は、前記第1の操作と前記第2の操作の各々に対応付けて、当該操作を行っている指の検出位置の前記撮像部からの距離と当該操作を行っている指の先端からの高さを用いて表わされる指の形状をさらに記憶しており、
前記第2の赤外光パターンを用いて検出した指の形状から、撮像対象となった指で行われている操作の種類を特定し、
前記検出した指の形状を用いた特定結果と、前記ユーザの指の位置の変化の軌跡と前記振動の大きさの組み合わせから特定した特定結果が一致しない場合、前記入力信号を生成しない
ことを特徴とする付記9または10に記載の入力制御方法。
(付記12)
ユーザの手に装着される入力装置に、
所定の形状の第1の赤外光パターンを前記ユーザの指に照射し、
前記ユーザの指での反射によって得られた第2の赤外光パターンを撮像し、
前記ユーザの指の動きにより生じる振動の大きさを測定し、
前記第2の赤外光パターンと前記第1の赤外光パターンを用いて、前記ユーザの指の位置の変化の軌跡を特定すると共に、前記軌跡と前記振動の大きさの組み合わせに対応する入力信号を生成し、
前記入力信号を、入力先の装置に送信する
処理を行わせることを特徴とする入力制御プログラム。
(付記13)
前記入力装置に、
前記軌跡の長さが第1の閾値より長い場合、前記ユーザからの入力処理を検出したと判定して、前記入力信号を生成し、
前記軌跡の長さが前記第1の閾値以下の場合、前記ユーザの入力処理は行われていないと判定して、前記入力信号を生成しない
処理をさらに行わせることを特徴とする付記12に記載の入力制御プログラム。
(付記14)
前記入力装置に、
前記第1の閾値より長い軌跡が得られた期間に観測した振動の大きさが第2の閾値を超えると、前記入力先の装置が備える画面に表示された画像の特定の位置への入力である第1の操作の発生を通知する情報を前記入力信号に含め、
前記第1の閾値より長い軌跡が得られた時刻に観測した前記振動の大きさが前記第2の閾値以下の場合、前記画面に表示された画像上での位置の変動を伴う第2の操作の発生を通知する情報と、前記軌跡に含まれる複数の位置の座標の情報を前記入力信号とする
処理をさらに行わせることを特徴とする付記13に記載の入力制御プログラム。
(付記15)
前記入力装置は、前記第1の操作と前記第2の操作の各々に対応付けて、当該操作に使用される指の種類を記憶しており、
前記入力装置に、
撮像した撮像画像から複数の指が検出される場合、前記撮像画像での検出位置を用いて、前記複数の指の各々を特定し、
前記第1または第2の操作を検出すると、検出した対象操作に使用された指を、前記撮像画像を用いて特定し、
前記対象操作に使用された指が前記対象操作に対応付けられていない場合、前記対象操作は誤操作であると判定すると共に、前記入力信号を生成しない
処理をさらに行わせることを特徴とする付記14に記載の入力制御プログラム。
10 端末
20 入力装置
21 送受信部
22 送信部
23 受信部
25 照射部
26 撮像部
30 制御部
31 測定部
32 生成部
40 記憶部
101 プロセッサ
102 RAM
103 ROM
104 加速度センサ
105 通信インタフェース
111 レンズ
112 赤外光LED
113 赤外線カメラ

Claims (7)

  1. ユーザの手に装着される入力装置であって、
    所定の形状の第1の赤外光パターンを前記ユーザの指に照射する照射部と、
    前記ユーザの指での反射によって得られた第2の赤外光パターンを撮像する撮像部と、
    前記ユーザの指の動きにより生じる振動の大きさを測定する測定部と、
    前記第2の赤外光パターンと前記第1の赤外光パターンを用いて、前記ユーザの指の位置の変化の軌跡を特定すると共に、前記軌跡と前記振動の大きさの組み合わせに対応する入力信号を生成する生成部と、
    前記入力信号を、入力先の装置に送信する送信部
    を備えることを特徴とする入力装置。
  2. 前記生成部は、
    前記軌跡の長さが第1の閾値より長い場合、前記ユーザからの入力処理を検出したと判定して、前記入力信号を生成し、
    前記軌跡の長さが前記第1の閾値以下の場合、前記ユーザの入力処理は行われていないと判定して、前記入力信号を生成しない
    ことを特徴とする請求項1に記載の入力装置。
  3. 前記生成部は、
    前記第1の閾値より長い軌跡が得られた期間に前記測定部が観測した振動の大きさが第2の閾値を超えると、前記入力先の装置が備える画面に表示された画像の特定の位置への入力である第1の操作の発生を通知する情報を前記入力信号に含め、
    前記第1の閾値より長い軌跡が得られた時刻に観測された前記振動の大きさが前記第2の閾値以下の場合、前記画面に表示された画像上での位置の変動を伴う第2の操作の発生を通知する情報と、前記軌跡に含まれる複数の位置の座標の情報を前記入力信号とする
    ことを特徴とする請求項2に記載の入力装置。
  4. 前記第1の操作と第2の操作の各々に対応付けて、当該操作に使用される指の種類を記憶する記憶部
    をさらに備え、
    前記生成部は、
    前記撮像部で撮像された撮像画像から複数の指が検出される場合、前記撮像画像での検出位置を用いて、前記複数の指の各々を特定し、
    前記第1または第2の操作を検出すると、検出した対象操作に使用された指を、前記撮像画像を用いて特定し、
    前記対象操作に使用された指が前記対象操作に対応付けられていない場合、前記対象操作は誤操作であると判定すると共に、前記入力信号を生成しない
    ことを特徴とする請求項3に記載の入力装置。
  5. 前記記憶部は、前記第1の操作と前記第2の操作の各々に対応付けて、当該操作を行っている指の検出位置の前記撮像部からの距離と当該操作を行っている指の先端からの高さを用いて表わされる指の形状をさらに記憶し
    前記生成部は、
    前記撮像部で検出された前記第2の赤外光パターンを用いて検出した指の形状から、撮像対象となった指で行われている操作の種類を特定し、
    前記検出した指の形状を用いた特定結果と、前記ユーザの指の位置の変化の軌跡と前記振動の大きさの組み合わせから特定した特定結果が一致しない場合、前記入力信号を生成しない
    ことを特徴とする請求項3または4に記載の入力装置。
  6. ユーザの手に装着される入力装置が、
    所定の形状の第1の赤外光パターンを前記ユーザの指に照射し、
    前記ユーザの指での反射によって得られた第2の赤外光パターンを撮像し、
    前記ユーザの指の動きにより生じる振動の大きさを測定し、
    前記第2の赤外光パターンと前記第1の赤外光パターンを用いて、前記ユーザの指の位置の変化の軌跡を特定すると共に、前記軌跡と前記振動の大きさの組み合わせに対応する入力信号を生成し、
    前記入力信号を、入力先の装置に送信する
    処理を行うことを特徴とする入力制御方法。
  7. ユーザの手に装着される入力装置に、
    所定の形状の第1の赤外光パターンを前記ユーザの指に照射し、
    前記ユーザの指での反射によって得られた第2の赤外光パターンを撮像し、
    前記ユーザの指の動きにより生じる振動の大きさを測定し、
    前記第2の赤外光パターンと前記第1の赤外光パターンを用いて、前記ユーザの指の位置の変化の軌跡を特定すると共に、前記軌跡と前記振動の大きさの組み合わせに対応する入力信号を生成し、
    前記入力信号を、入力先の装置に送信する
    処理を行わせることを特徴とする入力制御プログラム。
JP2015121028A 2015-06-16 2015-06-16 入力装置、入力制御方法、および、入力制御プログラム Pending JP2017004458A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015121028A JP2017004458A (ja) 2015-06-16 2015-06-16 入力装置、入力制御方法、および、入力制御プログラム
US15/149,936 US20160370861A1 (en) 2015-06-16 2016-05-09 Input device and input control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015121028A JP2017004458A (ja) 2015-06-16 2015-06-16 入力装置、入力制御方法、および、入力制御プログラム

Publications (1)

Publication Number Publication Date
JP2017004458A true JP2017004458A (ja) 2017-01-05

Family

ID=57588042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015121028A Pending JP2017004458A (ja) 2015-06-16 2015-06-16 入力装置、入力制御方法、および、入力制御プログラム

Country Status (2)

Country Link
US (1) US20160370861A1 (ja)
JP (1) JP2017004458A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021075632A1 (ko) * 2019-10-18 2021-04-22 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255294A (zh) * 2017-12-12 2018-07-06 北京克科技有限公司 一种虚拟现实环境中的用户接触反馈系统、方法及设备
RU2765237C2 (ru) * 2018-03-16 2022-01-27 Дмитрий Леонидович Раков Способ ввода информации и устройство для его осуществления
KR102203933B1 (ko) * 2018-11-26 2021-01-15 재단법인 실감교류인체감응솔루션연구단 다수의 손가락을 이용한 모션 캡쳐 인터페이스 방법 및 장치
US20220391170A1 (en) * 2021-06-04 2022-12-08 Samsung Electronics Co., Ltd. Apparatus and method for signal processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293501A (ja) * 2001-09-07 2008-12-04 Harmonic Research Inc 改良型のワイヤレス式制御デバイス
JP2012073830A (ja) * 2010-09-29 2012-04-12 Pioneer Electronic Corp インターフェース装置
US20140139422A1 (en) * 2012-11-20 2014-05-22 Samsung Electronics Company, Ltd. User Gesture Input to Wearable Electronic Device Involving Outward-Facing Sensor of Device
US20140267024A1 (en) * 2013-03-15 2014-09-18 Eric Jeffrey Keller Computing interface system
US20150084884A1 (en) * 2012-03-15 2015-03-26 Ibrahim Farid Cherradi El Fadili Extending the free fingers typing technology and introducing the finger taps language technology

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE20022244U1 (de) * 1999-07-01 2001-11-08 Immersion Corp Steuerung vibrotaktiler Empfindungen für Haptische Rückkopplungsvorrichtungen
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
WO2008010024A1 (en) * 2006-07-16 2008-01-24 Cherradi I Free fingers typing technology

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293501A (ja) * 2001-09-07 2008-12-04 Harmonic Research Inc 改良型のワイヤレス式制御デバイス
JP2012073830A (ja) * 2010-09-29 2012-04-12 Pioneer Electronic Corp インターフェース装置
US20150084884A1 (en) * 2012-03-15 2015-03-26 Ibrahim Farid Cherradi El Fadili Extending the free fingers typing technology and introducing the finger taps language technology
US20140139422A1 (en) * 2012-11-20 2014-05-22 Samsung Electronics Company, Ltd. User Gesture Input to Wearable Electronic Device Involving Outward-Facing Sensor of Device
US20140267024A1 (en) * 2013-03-15 2014-09-18 Eric Jeffrey Keller Computing interface system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021075632A1 (ko) * 2019-10-18 2021-04-22 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
US20160370861A1 (en) 2016-12-22

Similar Documents

Publication Publication Date Title
JP2017004458A (ja) 入力装置、入力制御方法、および、入力制御プログラム
US11467674B2 (en) Performing an action associated with a motion based input
KR102063621B1 (ko) 웨어러블 기기의 스크린의 표시 방법 및 웨어러블 기기
US8279182B2 (en) User input device and method using fingerprint recognition sensor
US10162466B2 (en) Portable device and method of modifying touched position
US10073493B2 (en) Device and method for controlling a display panel
US7518595B2 (en) Pointing device control apparatus and method, electronic instrument, and computer program for the pointing device control apparatus
US20110187660A1 (en) Mobile type image display device, method for controlling the same and information memory medium
JP2015087824A (ja) 画面操作装置および画面操作方法
KR20150127530A (ko) 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스
JP5815932B2 (ja) 電子機器
KR20100078294A (ko) 진동 패턴 생성 방법 및 이를 이용한 휴대 단말기
JP2011081506A (ja) 映像表示装置、および、その表示制御方法
EP3260964B1 (en) Mobile terminal and method for controlling the same
JP2013061848A (ja) 非接触入力装置
KR20100028012A (ko) 제어 장치, 입력 장치, 제어 시스템, 핸드헬드형 정보 처리 장치 및 제어 방법
US10592721B2 (en) Biometric authentication device
CN105094616B (zh) 触摸屏控制方法及装置
EP3614239B1 (en) Electronic device control in response to finger rotation upon fingerprint sensor and corresponding methods
JP5912929B2 (ja) 表示装置、処理方法及びプログラム
JP2017027098A (ja) 操作認識装置、操作認識方法及びプログラム
JP2017207848A (ja) 携帯情報端末、装着腕判定方法、装着向き判定方法、及びプログラム
JP6088787B2 (ja) プログラム、情報処理装置、情報処理方法および情報処理システム
US20090298538A1 (en) Multifunction mobile phone and method thereof
JP2012146220A (ja) ジェスチャ入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180306

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180409

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180409

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190514