JP5998811B2 - 情報入力装置、特定周波数抽出方法、特定周波数抽出プログラム - Google Patents

情報入力装置、特定周波数抽出方法、特定周波数抽出プログラム Download PDF

Info

Publication number
JP5998811B2
JP5998811B2 JP2012219529A JP2012219529A JP5998811B2 JP 5998811 B2 JP5998811 B2 JP 5998811B2 JP 2012219529 A JP2012219529 A JP 2012219529A JP 2012219529 A JP2012219529 A JP 2012219529A JP 5998811 B2 JP5998811 B2 JP 5998811B2
Authority
JP
Japan
Prior art keywords
frequency
specific
specific frequency
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012219529A
Other languages
English (en)
Other versions
JP2014071823A (ja
Inventor
勝司 三浦
勝司 三浦
桂樹 岡林
桂樹 岡林
村瀬 有一
有一 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012219529A priority Critical patent/JP5998811B2/ja
Publication of JP2014071823A publication Critical patent/JP2014071823A/ja
Application granted granted Critical
Publication of JP5998811B2 publication Critical patent/JP5998811B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

開示の技術は、情報入力装置、特定周波数抽出方法、特定周波数抽出プログラムに関する。
各種センサの小型化や通信インフラの発達により、人の状況をセンシングするデバイスやハンズフリーなインターフェイスとして機能する様々なウェアラブルコンピュータ(ウェラブル情報処理装置)が提案されている。例えば、手首装着型のウェアラブルコンピュータでは、人の指先動作の特徴を検出する。
手首装着型のウェアラブルコンピュータでは、指先と物体との接触時に起きる振動の周波数特性や時系列情報を利用し、衝突又は接触(以下、総称して「接触」という)が起きた指先部分の推定や接触した物体の推定等を行っている。しかし、先行技術では、接触時に発生する振動の特徴を考慮した周波数特性や時系列情報の抽出に関する技術は明確に示されていない。なお、「指先」という表現は、指の先端部分での接触を主体とするが、指の種類が特定できれば、先端部分に特化されるものではない。
特開平7−121294号公報 特開平10-198478号公報 特表2005-525635号公報 特開平11-338597号公報
人の指先操作によって指先と物体とが接触する場合、接触で発生する振動は微小時間で急激に振幅が変化するパルス波形の特徴を持つことは知られている。また、この振動の主成分となる周波数は50〜300Hzの所謂可聴周波数帯域の内の低周波であることも知られている。
このことから、指先と物体との接触で発生するパルス振動の特徴を抽出するには、前記主成分となる周波数(例えば、100Hz)前後の細かい周波数毎に微小時間の時系列変化を捉える必要がある。
この振動は、前述したように微弱であることもあるが、振動を検知可能なセンサを備えた手首装着型のウェアラブルコンピュータであれば、指先からの空気振動又は体を伝わる振動を手首部位のセンサで捉えることが可能である。
しかしながら、従来の周波数解析技術としては、短時間フーリエ変換に見られる振動区間の抽出方法が主体である。当該抽出方法では、周波数解析時での、周波数分解能と、時間分解能とが所謂トレードオフの関係にある。このため、指先で発生した振動の周波数特性を、高い周波数分解能かつ高い時間分解能で同時に捉えることが困難となっている。
また、手首装着型のウェアラブルコンピュータは、常時装着を想定した場合、高度な演算処理用の機器を装備することは、部品点数の増加等による装置の大型化を招き、実用性を損なう結果となる。
開示の技術は、一つの側面として、実用性を維持しつつ、人体に装着した検出部で検出した周波数情報から、人体の特定部位と物体との接触で発生する特定周波数を確実に抽出することが目的である。
開示の技術は、人体に装着可能であり、当該人体から伝わる周波数情報を検出する検出部を備える。
また、前記検出部で検出した前記周波数情報の周波数分布を解析する解析部を備える。解析部は、予め定めた人体の特定部位と物体との接触であると想定される特定周波数成分を含む周波数分布を解析するのに必要な周波数解析時間幅を設定する。解析部は、前記周波数解析時間幅を時系列に遷移させて解析する際に前記特定周波数の検出精度を維持するのに必要な遷移幅を設定する。解析部は、周波数解析時間幅、並びに遷移幅をそれぞれ独立した分解能に設定する。
さらに、前記解析部で解析した周波数分布に基づいて、前記特定周波数を抽出する抽出部を備える。
また、前記抽出部で抽出された前記特定周波数の特徴量に基づいて、前記特定部位が接触した前記物体を特定する特定部を備える。
開示の技術は、一つの側面として、実用性を維持しつつ、指先で発生する振動に基づく周波数情報を、高い周波数分解能かつ高い時間分解能で解析することができるという効果を有する。
本実施の形態に係る情報入力装置の構成を示すブロック図である。 本実施の形態に係る情報入力装置のハード構成を示すブロック図である。 本実施の形態に係る情報入力装置としてのウェアラブル機器を手首に装着した状態を示す斜視図である。 本実施の形態に係る情報入力装置の装置本体の構造を示す断面図である。 本実施の形態に係り、体導音センサで検出した検出信号特性図である。 特定周波数を定常のフーリエ変換で周波数成分解析をした結果を示す特定図である。 特定周波数の前後に無音区間を設け、定常のフーリエ変換で周波数成分解析をした結果を示す特定図である。 本実施の形態に係り、図5の検出信号を解析部で解析した周波数成分特性図である。 図5の検出信号におけるピーク値判定の手順を示す特性図(その1)である。 図5の検出信号におけるピーク値判定の手順を示す特性図(その2)である。 本実施の形態に係る特定周波数抽出部で実行されるRNNの形態図である。 異なる種類の物体毎の周波数−特徴量の特性図である。 本実施の形態に係る情報入力装置における特定周波数抽出処理手順を示す制御フローチャートである。 ウェアラブル機器の集音素子を取り付ける位置の候補を示す手首の手のひら側及び手の甲側のそれぞれの正面図である。 図14に示す装着点A1、A2、A3、B1、B2、B3での各指の音圧特性図である。
図1は、本実施の形態に係る情報入力装置10の構成図である。情報入力装置10は、体導音センサ12を備えている。体導音センサ12は、開示の技術の検出部の一例である。体導音センサ12は、図3に示される如く、人体(ここでは、手首14)に装着可能なリストバンド型のウェアラブル機器を兼ねている。
体導音センサ12の出力信号は、通信ケーブル18を介して装置本体20の入力I/F22に接続されている。なお、本実施の形態では、体導音センサ12と装置本体20とを有線の通信ケーブル18で接続したが、有線である必要はなく、無線通信を適用してもよい。
また、装置本体20には、出力I/F24が備えられている。出力I/F24には、操作情報受付デバイス26が接続可能である。
操作情報受付デバイス26としては、PC(パーソナルコンピュータ)、タブレット端末、携帯端末、通信処理端末、モニタ、スピーカ、ランプを含む、様々なデバイスが接続可能である。
図1に示される如く、情報入力装置10の装置本体20は、検出信号取込部28を備える。検出信号取込部28は、前記入力I/F22と接続されている。
また、情報入力装置10の装置本体20は、信号切り出し部30、設定値格納部32、周波数解析部34を備える。周波数解析部34は、開示の技術の解析部の一例である。設定値格納部32は、周波数解析のための、切り出し窓情報及び遷移幅情報を格納する。
さらに、情報入力装置10の装置本体20は、特定周波数抽出部36、操作有無判定部38、物体種類判別部40、物体種−特徴量テーブル記憶部42、操作情報出力部44を備える。操作情報出力部44は、前記出力I/F24に接続されている。特定周波数抽出部36は、開示の技術の抽出部の一例である。
図2に示される如く、情報入力装置10の装置本体20は、CPU70、RAM72、ROM74、I/O76及びこれらを相互に接続するデータバスやコントロールバス等のバス78を備えたマイクロコンピュータを含んでいる。
I/O76には、入力I/F22と出力I/F24が接続されている。出力I/F24及び前記操作情報出力部44は、開示の技術の出力部の一例である。
情報入力装置10の装置本体20で実行される特定周波数抽出処理プログラムは、検出信号取り込みプロセス28P、信号切り出しプロセス30P、設定値格納プロセス32P、周波数解析プロセス34P、特定周波数抽出プロセス36Pを備える。
また、情報入力装置10の装置本体20で実行される特定周波数抽出処理プログラムは、操作有無判定プロセス38P、物体種類判別プロセス40P、物体種−特徴量テーブル記憶プロセス42P、操作情報出力プロセス44Pを備える。
CPU70は、検出信号取り込みプロセス28Pを実行することで、図1に示す検出信号取り込み部28として動作する。
CPU70は、信号切り出しプロセス30Pを実行することで、図1に示す信号切り出し部30として動作する。
CPU70は、信号切り出しプロセス32Pを実行することで、図1に示す信号切り出し部32として動作する。
CPU70は、周波数解析プロセス34Pを実行することで、図1に示す周波数解析部34として動作する。
CPU70は、特定周波数抽出プロセス36Pを実行することで、図1に示す特定周波数抽出部36として動作する。
CPU70は、操作有無判定プロセス38Pを実行することで、図1に示す操作有無判定部38として動作する。
CPU70は、物体種類判別プロセス40Pを実行することで、図1に示す物体種類判別部40として動作する。
CPU70は、物体種−特徴量テーブル記憶プロセス42Pを実行することで、図1に示す物体種−特徴量テーブル記憶部42として動作する。
CPU70は、操作情報出力プロセス44Pを実行することで、図1に示す操作情報出力部44として動作する。
(体導音センサ12「ウェラブル機器」の構成)
図3には、情報入力装置10の体導音センサ12を兼ねるウェラブル機器が示されている。
体導音センサ12は、人体の手首14に装着されるリストバンド部46を備えている。リストバンド部46は、弾性力を有する平板を輪状に形成し、当該弾性力で手首14に保持されるようになっている。なお、リストバンド部46としては、弾性力で保持する構造の他、予め形成された複数の孔の何れかに選択的に留め金を通して、手首の周長に合わせて手首に保持するバックル型が適用可能である。
リストバンド部46の一部には、集音部48が取り付けられている。
図4に示される如く、集音部48の筐体は円筒形とされている。この集音部48の筐体における図4の上端面は閉塞され、手首14に向けられた面側の端部は直径がテーパー状に拡大されて開口部50が形成されている。開口部50には、薄膜状の集音素子52が取り付けられ、リストバンド部46を手首14に装着したとき、当該手首14の表皮に直接接触するようになっている。より具体的には、集音素子52は、手首14における、尺骨茎状突起から撓骨を伝う総指伸筋上(以下、「手首特定部位」という)に対峙するようになっている。
前記集音部48の周面の一部には、連通管54の一端部が取り付けられ、集音部48の内方空間と連通している。連通管54には、集音マイク56(例えば、コンデンサマイク)が収容されている。この集音マイク56は、前記集音素子52の振動によって発生する集音部48の内方空間の音を検出する役目を有している。言い換えれば、集音マイク56は、周囲の音(外音)を拾うことなく、主として、手首特定部位から伝わる体導音を検出する。
集音マイク56で検出した信号は、通信ケーブル18を介して装置本体20の入力I/F22(図3参照)へ送出されるようになっている。
本実施の形態では、体導音として、図3に示される如く、人体の指先58が物体60に接触(衝突)したときの振動を想定している。すなわち、指先58と物体60とが接触するときに発生する振動(周波数)を抽出することで、当該指先58による接触動作を、情報入力操作として適用するものである。
(装置本体20の構成)
図1に示される如く、前記入力I/F22は、検出信号取込部28に接続されている。この検出信号取込部28では、体導音センサ12で検出信号(時系列の検出強度の生信号)を取り込む。
図5は、体導音センサ12の検出信号の一例である。この検出信号には、前記指先58で物体60(一例を図3に示す)を接触する操作(以下、「タップ操作」という場合がある)を行ったときの特定周波数を含む、様々な周波数の信号が混在している。
図1に示される如く、検出信号取込部28は、信号切り出し部30に接続されている。
信号切り出し部30では、周波数分布の解析を行うための時間間隔(切り出し窓)と、当該切り出し窓の遷移時間幅を設定するべく、設定値格納部32から切り出し窓情報及び遷移幅情報を取り込む。
信号切り出し部30では、前記検出信号取込部28で取り込んだ検出信号から取り込んだ切り出し窓情報の時間幅に相当する検出信号を、取り込んだ遷移幅情報に相当する遷移時間毎に、順次、周波数解析部34へ送出する
周波数解析部34では、フーリエ変換によって、切り出し窓毎に周波数分布を解析する。
(切り出し窓情報及び遷移幅情報)
ここで、指先58でのタップ操作によって、体導音センサ12で検出される信号の周波数、すなわち、前記特定周波数は、可聴周波数帯域のうちの低周波領域であり、50Hz〜300Hzを想定している。前記周波数解析部34では、フーリエ変換により、特定周波数を含む周波数成分を抽出する。
図6及び図7は、一実施例として、特定周波数を200Hzの正弦波とした場合のフーリエ変換を行った結果である。フーリエ変換では、切り出し窓(時間幅)が設定されると、当該切り出し窓と相関関係をもって、遷移幅が切り出し窓と同じ又は1/2に設定される(以下、「定常のフーリエ変換」という)。
図6の周波数成分分析結果では、ノイズがなく、鮮明に特定周波数である200Hzを抽出できていることがわかる。しかし、図6の周波数成分分析では、検出期間が不定であり、いつタップ操作されるかわからない状態での検出信号を、きめ細かく監視することができない場合がある。
一方、図7は、特定周波数が200Hz(周期は0.2sec)に対して、意図的に正弦波の1周期の内の前半後半のそれぞれに0.05secの無音区間を設定した場合の解析結果である。図7の周波数成分分析結果では、検出期間が不定であり、いつタップ操作されるかわからない状態での検出信号を、きめ細かく監視するのに適しており、特定周波数を抽出することができる。しかし、図7の周波数成分分析では、無音区間がノイズとなり、幅広い周波数帯域が観測されることになる。
図6及び図7の一実施例の結果を踏まえ、本実施の形態では、低周波に属する特定周波数を確実に抽出し、かつきめ細かい監視を両立した。すなわち、前記「定常のフーリエ変換」とは異なり、切り出し窓の時間幅と遷移幅とを、それぞれ独立して設定するようにした。
本実施の形態では、特定周波数の周波数成分を確実に抽出するために、切り出し窓を0.1secとした。一方、遷移幅は、タップ操作のきめ細かい監視のために、0.01secとした。
この結果、図1に示される如く、遷移幅(0.01sec)ずつ遷移(時系列変化)していきながら、切り出し窓の時間幅(0.1sec)の周波数成分がフーリエ変換される。
図5に示される如く、周波数解析部34は特定周波数抽出部36へ送出されるようになっている。
図8は、図5の時系列変化に対し、振動のピークとなる時刻(図5のA線矢視参照)の前後0.1secずつの合計0.2secを対象として、周波数解析部34で解析した結果(周波数分布特性)である。
図8の横軸は、周波数(Hz)、縦軸は特徴量である音圧(dB)、「+」印のプロットの1つ1つは、離散化された周波数成分の値(ui(t))である。なお、変数iは、各周波数成分に付与されるラベル番号である。
前記振動のピークの検出は、周波数解析部34によって実行され、その一実施例(ピーク検出1)は、図9に示される如く、時刻tの音圧(dB)をStとし、時刻tからaサンプリング前までの信号(図9の領域B参照)の音圧の平均値(dB)をNtとして、SN比を演算する。このSN比が予め定めたしきい値を超えた時刻tを周波数解析の開始時刻(解析期間は、時刻t±0.1sec)として設定する。なお、サンプリング数aは固定であってもよいし、変動させてもよい。このピーク検出1は、相対比較であるため、音圧に関係なく、ピークの検出が可能となる。
前記振動のピークの検出は、周波数解析部34によって実行され、他の実施例(ピーク検出2)は、図10に示される如く、時刻tの音圧(dB)をStとし、時刻tの1つ前のサンプリング信号の音圧の(dB)をNtとして、SN比を演算する。このSN比が予め定めたしきい値を超えた時刻tを周波数解析の開始時刻(解析期間は、時刻t±0.1sec)として設定する。このピーク検出2は、相対比較であるため、音圧に関係なく、ピークの検出が可能となる。
図1に示される特定周波数抽出部36では、周波数解析部34から取得した図8の特性に基づいて、特定周波数を抽出する。本実施の形態では、特定周波数の抽出の手法として、RNN(リカレント・ニューラル・ネットワーク)を適用している。
RNNの形態を、図11に示す。図11に示される如く、学習フェーズでは誤差ei(t)を減少させるようにネットワークの重みを更新し、入力の時系列変化を学習する。この学習フェーズでは、RNNがパルス振動由来の入力(図8のプロットui(t))の時系列変化を学習可能である。しかし、ノイズ区間由来による入力(ui(t))のランダムな時系列変化は学習不可能である。このことを利用し、識別フェーズで誤差(ei(t))からパルス振動由来の入力(ui(t))のみを抽出する。
図8は、前述したように、振動のピークとなる時刻の前後0.1secずつの合計0.2secを対象として、周波数解析部34で解析した結果である。このような特性結果が、予め設定された遷移幅で時系列で順次解析されることになる。
すなわち、フーリエ変換の切り出し幅において、タップ操作によるパルス振動が存在する区間(図5の矢印Aをピークとする領域を含む切り出し幅の区間)では、次の切り出し幅の区間でサンプリングされるデータとの誤差を予測することができ、当該誤差を収束する学習によって特定周波数を抽出することができる。
一方、タップ操作によるパルス信号が存在しない区間(図5の矢印Aをピークとする領域を含まない切り出し幅の区間)では、ノイズが不規則の周波数であることから、次にサンプリングされるデータとの誤差を予測することができず、当該誤差を収束できない。
ここで、本実施の形態では、さらにノイズに対して偶然に誤差ei(t)が小さくなる場合を考慮し、範囲誤差Eiを設定する。
範囲誤差Eiは、以下の(1)式で表すことができる。
なお、(1)式において、t−aは、時刻tよりもaサンプリング前の時刻を示す。
これにより、図11のRNNでは、前記識別フェーズにおいて、前記範囲誤差Eiが連続してしきい値以下となるときのラベル番号i(図8参照)に対応する周波数成分を指先58と物体60との接触で発生したパルス振動の主成分となる周波数として抽出する。また、識別フェーズにおいて、前記範囲誤差Eiが連続してしきい値以下となる時間範囲の入力ui(τ)を、前記抽出した周波数成分の時系列変化として抽出する。
図1に示される如く、前記特定周波数抽出部36で抽出した結果は、操作有無判定部38に送出されるようになっている。
操作有無判定部38では、前記特定周波数抽出部36において抽出された、範囲誤差Eiが連続してしきい値以下となるときのラベル番号iの入力で「操作有り」と判定し、操作情報出力部44へ送出する。また、このラベル番号iに相当する時間を操作時期として判定し、操作情報出力部44へ送出する。なお、操作有無判定部38では、前記特定周波数抽出部36において、範囲誤差Eiが連続してしきい値以下となるときのラベル番号iが抽出されない場合は、「操作無し」と判定される。
また、操作有無判定部38は、物体種類判別部40に接続され、この物体種類判別部40に対して、「操作有り」の判定と共に、「操作有り」と判定されたラベル番号iの音圧情報が送出されるようになっている。この物体種類判別部40には、物体種−特徴量テーブル記憶部42が接続されている。
物体種−特徴量テーブル記憶部42には、図12に示される如く、複数の物体60に対して、指先58で50回のタップ操作したときの、特徴量(音圧)の違いを示す特性図が記憶されている。
図12の点線aで示す特性図は、物体60が机(desk)の場合のタップ操作特性である。図12の細実線bで示す特性図は、物体60がキーボード(keyboard)の場合のタップ操作特性である。図12の太実線cで示す特性図は、物体60がゴム製ボタン(rubber button)の場合のタップ操作特性である。図12の一点鎖線dで示す特性図は、指先58ガ物体60と接触しない素振り(air-shot)の場合のタップ操作特性である。なお、ここでは、素振りもタップ操作に含まれるものとする。
なお、横軸は周波数であり、この特性図に基づくと、特定周波数に属する50Hz〜100Hzの期間で、それぞれの物体60を区別可能な特徴的な減衰やピークが存在していることがわかる。そこで、物体種類判別部40では、前記操作有無判定部38から入力される特定周波数の音圧情報に基づいて、物体の種類を判別し、前記操作情報出力部44へ送出する。
操作情報出力部44では、前記操作有無判定部38からの操作有無情報と、物体種類判別部40からの物体判別情報と、を統合して生成された出力情報を、出力I/F24を介して外部へ送出する。なお、出力情報は、出力I/F24に接続される操作情報受付端末36の種類に応じて可変としてもよい。また、出力情報は、出力I/F24に接続される操作情報受付端末26の種類に関係なく統一し、操作情報受付端末側で解析するようにしてもよい。
以下に本実施の形態の作用を従い説明する。
図13は、本実施の形態に係る情報入力装置における特定周波数抽出処理手順を示す制御フローチャートである。
この特定周波数抽出処理制御は、情報入力装置10の電源がオンされることで起動する。
ステップ100では、初期設定(メモリクリア等)を実行し、次いでステップ102へ移行して、体導音センサ12による検出信号を取り込む。なお、前記初期設定において、定期的又は不定期に体導音センサ12の感度調整を自動又は手動で実行するようにしてもよい。
次のステップ104では、体導音センサ12で所定のパルス振動を検出したか否かが判断され、否定判定された場合はステップ102へ戻る。また、ステップ104で肯定判定されると、解析開始時期であると判断し、ステップ106へ移行する。
ステップ106では、予め設定値格納部32に格納されている周波数解析(フーリエ変換処理)時の切り出し窓の時間幅、並びに遷移時間幅を読み出し、ステップ108へ移行して周波数成分抽出を行う。
本実施の形態では、周波数成分抽出(フーリエ変換)の実行に際し、低周波に属する特定周波数を確実に抽出し、かつきめ細かい監視を両立した。すなわち、切り出し窓の時間幅と遷移幅とを、それぞれ独立して設定している。
すなわち、本実施の形態では、切り出し窓を0.1secとし、遷移幅を0.01secとした。この結果、図1に示される如く、遷移幅(0.01sec)ずつ遷移(時系列変化)していきながら、切り出し窓の時間幅(0.1sec)の周波数成分がフーリエ変換され、特定周波数の周波数成分を確実に抽出でき、かつタップ操作のきめ細かい監視が可能となる。
次のステップ110では、周波数成分の解析データを特定周波数抽出部36へ送出し、次いでステップ112でRNN処理を実行する。すなわち、図11に示される入力層へ解析データui(t)、並びに次の時系列解析データui(t+1)を順次入力層へ入力する。
次のステップ114では、誤差eiに基づき、範囲誤差Eiを演算して(前述の(1)式参照)、ステップ116へ移行する。
ステップ116では、誤差範囲Eiが、全てのラベル番号iでしきい値以上となったか否かが判断され、否定判定された場合は、連続して、しきい以下となる時間範囲が含まれており、RNNの終了時期ではないと判断し、ステップ112へ戻り、上記工程を繰り返す。
また、ステップ116で肯定判定されると、連続して、しきい以下となる時間範囲が含まれておらず、RNNの終了時期であると判断し、ステップ118へ移行する。
ステップ118では、範囲誤差Eiが連続でしきい値以下となる時間範囲を検索し、次いで、ステップ120へ移行して、タップ操作に起因して発生した特定周波数、並びに時系列変化を含む周波数特性を抽出する。
次のステップ122では、抽出した周波数特性に基づいて、タップ操作の有無を判定し、次いでステップ124へ移行して、タップ操作された側の物体60の種別を判別して、ステップ126へ移行する。
ステップ126では、操作有無情報、物体種類情報を含む操作情報を外部へ出力し、ステップ102へ戻る。なお、このルーチンは、情報入力装置10の電源がオフされた時点で終了する。また、出力される操作情報は、タップ操作の有無のみであってもよい。
なお、本実施の形態では、人体から伝わる周波数情報を検出する検出部として、体導音センサ12を適用したが、低周波の振動を感知可能なセンサであれば、体導音センサ12に限定されるものではない。
例えば、一実施例として、加速度センサが適用可能である。加速度センサは、指先の動きを検出可能である。但し、加速度センサは、腕全体の大きな動きを検出し、指先58で発生した振動が腕全体の動きの振動で消されてしまう可能性がある点で、体導音センサ12が有利である。
また、他の一実施例として、気導音(空気振動)を利用したマイクが適用可能である。但し、このマイクは所謂定常的に利用されるマイクであり、指先58と物体60との接触音だけでなく、周囲の恒常的な音を拾う可能性がある点で、体導音センサ12が有利である。
また、本実施の形態では、体導音センサ12の取付位置として、薄膜状の集音素子52を、手首14における、尺骨茎状突起から撓骨を伝う総指伸筋上(手首特定部位)に対峙するようにしたが、当該手首特定位置を含み、図14の6箇所の候補が考えられる。
図14では、薄膜状の集音素子52の取付位置として、手首14の周方向に沿って、手の甲側に親指側から3箇所(A1、A2、A3)、手のひら側に親指側から3箇所(B1、B2、B3)を設定した。本実施の形態は、図14のA3の位置に相当する。
図15は、図14の各取付位置で、4人の被検者がそれぞれ親指、人指し指、中指、薬指、小指で物体60を同じ強さの衝撃を付与するようなタップ操作を複数回実行した場合の音圧の平均値及びの標準偏差を示した特性図である。この図15の測定結果から、何れの指でも音圧が高い部位を選択する。この結果、本実施の形態では、図14のA3(尺骨茎状突起から撓骨を伝う総指伸筋上)を選択したが、他の部位であってもよい。また、図15の測定結果に限らず、被検者の違い、被検者の人数、物体の種類等によって、最適な部位を選択すればよい。
なお、物体60に対してタップ操作する人体の特定部位(振動パルスの入力端)は、手の指58に限定されるものではなく、人体の全ての部位が特定部位となり得る。この場合、特定部位から入力される振動パルスが体導音として伝達される部位を出力端として、リストバンド46に代わる保持体を介して、体導音センサ12を配置すればよい。
(変形例「RNNの負担軽減」)
なお、本実施の形態では、特定周波数抽出部36(図1参照)におけるRNNにおいて、入力に適用する周波数成分(ラベル番号i)の数を、限定することが可能である。
すなわち、図12の物体種−特徴量テーブルからわかるように、特定周波数に属する50Hz〜100Hzの期間で、物体60の種類に関わらず、特徴的な減衰やピークが存在していることがわかる。
そこで、特定周波数抽出部36において、特定周波数(50Hz〜300Hz)をさらに絞り込み、100Hz以下とすることで、特定周波数抽出部36における演算処理の負担を軽減することができる。
なお、上記では開示の技術に支障のない数値を用いて説明したが、開示の技術は上記の説明に用いた数値に限定されるものではない。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
人体に装着可能であり、当該人体から伝わる周波数情報を検出する検出部と、
予め定めた人体の特定部位と物体との接触であると想定される特定周波数成分を含む周波数分布を解析するのに必要な周波数解析時間幅、並びに、前記周波数解析時間幅を時系列に遷移させて解析する際に前記特定周波数の検出精度を維持するのに必要な遷移幅を、それぞれ独立した分解能に設定して、前記検出部で検出した前記周波数情報の周波数分布を解析する解析部と、
前記解析部で解析した周波数分布に基づいて、前記特定周波数を抽出する抽出部と、
前記抽出部において、前記特定周波数が抽出されたことで、前記特定部位による接触操作があったことを示す操作信号を出力する出力部と、
を有する情報入力装置。
(付記2)
前記抽出部で抽出された前記特定周波数の特徴量に基づいて、前記特定部位が接触した前記物体を特定する特定部と、
を有する付記1記載の情報入力装置。
(付記3)
前記特定部が、
予め異なる複数の前記物体毎に特定周波数と特徴量との相関テーブルが記憶された記憶部を備える付記2記載の情報入力装置。
(付記4)
前記特徴量が、音圧情報を含む付記2又は付記3記載の情報入力装置。
(付記5)
前記遷移時間幅が、前記解析時間幅の1/10以下である付記1〜付記4の何れか1つに記載の情報入力装置。
(付記6)
前記特定周波数が、可聴周波数帯域の内、20Hz〜500Hz以下、好ましく50Hz〜300Hz、さらに好ましくは50Hz〜100Hzの低音域に属する付記1〜付記5の何れか1つに記載の情報入力装置。
(付記7)
前記解析部での解析がフーリエ変換であり、前記遷移時間幅が前記フーリエ変換における切り出し窓の時間幅であり、前記遷移時間幅が前記フーリエ変換における遷移幅である付記1〜付記6の何れか1つに記載の情報入力装置。
(付記8)
前記抽出部が、前記解析部で解析された周波数分布において、時間的に連続してサンプリングした周波数成分の前後で変位する特徴量の予測値と実測値との誤差が、予め定めた期間、連続してしきい値以下となる時間範囲でサンプリングした周波数情報に基づいて、前記特定周波数を抽出する付記1〜付記7のいずれか1つに記載の情報入力装置。
(付記9)
前記特定部位が指先であり、前記検出部が、尺骨茎状突起から撓骨を伝う総指伸筋上の手首部位に装着される体導音センサである付記1〜付記8の何れか1つに記載の情報入力装置。
(付記10)
前記解析部で解析する周波数情報の開始時期を、時刻tの信号の特徴量をS、前記時刻tから一定時刻前の信号、或いは一定時刻前までの信号の平均値の信号をNとするSN比に基づいて決定する付記1〜付記9の何れか1つに記載の情報入力装置。
(付記11)
予め定めた人体の特定部位と物体との接触であると想定される特定周波数の1周期以上を分解能とする周波数解析時間幅、並びに、前記特定周波数の検出精度を維持するのに必要な時間幅を分解能とする遷移時間幅を、それぞれ独立して設定して、人体に装着された検出部で検出した前記特定部位と物体との接触時の周波数情報の周波数分布を解析し、
解析した周波数分布に基づいて、前記特定周波数を抽出することを含む特定周波数抽出方法。
(付記12)
前記抽出された前記特定周波数の特徴量に基づいて、前記特定部位が接触した前記物体を特定する付記11記載の特定周波数抽出方法。
(付記13)
前記物体を、予め異なる複数の前記物体毎に記憶された特定周波数と特徴量との相関テーブルに基づいて特定する付記12記載の特定周波数抽出方法。
(付記14)
前記特徴量が、音圧情報を含む付記2又は付記3記載の特定周波数抽出方法。
(付記15)
前記遷移時間幅が、前記解析時間幅の1/10以下である付記11〜付記14の何れか1つに記載の特定周波数抽出方法。
(付記16)
前記特定周波数が、可聴周波数帯域の内、20Hz〜500Hz以下、好ましく50Hz〜300Hz、さらに好ましくは50Hz〜100Hzの低音域に属する付記11〜付記15の何れか1つに記載の特定周波数抽出方法。
(付記17)
前記解析がフーリエ変換であり、前記遷移時間幅が前記フーリエ変換における切り出し窓の時間幅であり、前記遷移時間幅が前記フーリエ変換における遷移幅である付記11〜付記16の何れか1つに記載の特定周波数抽出方法。
(付記18)
前記解析された周波数分布において、時間的に連続してサンプリングした周波数成分の前後で変位する特徴量の予測値と実測値との誤差が、予め定めた期間、連続してしきい値以下となる時間範囲でサンプリングした周波数情報に基づいて、前記特定周波数を抽出する付記11〜付記17のいずれか1つに記載の情報入力装置。
(付記19)
前記特定部位が指先であり、前記物体との接触を、尺骨茎状突起から撓骨を伝う総指伸筋上の手首部位に装着される体導音センサによって検出する付記1〜付記18の何れか1つに記載の特定周波数抽出方法。
(付記20)
前記解析する周波数情報の開始時期を、時刻tの信号の特徴量をS、前記時刻tから一定時刻前の信号、或いは一定時刻前までの信号の平均値の信号をNとするSN比に基づいて決定する付記11〜付記19の何れか1つに記載の特定周波数抽出方法。
(付記21)
予め定めた人体の特定部位と物体との接触であると想定される特定周波数の1周期以上を分解能とする周波数解析時間幅、並びに、前記特定周波数の検出精度を維持するのに必要な時間幅を分解能とする遷移時間幅を、それぞれ独立して設定して、人体に装着された検出部で検出した前記特定部位と物体との接触時の周波数情報の周波数分布を解析し、
解析した周波数分布に基づいて、前記特定周波数を抽出する、
ことを含む処理をコンピュータに実行させるための特定周波数抽出処理プログラム。
10 情報入力装置
12 体導音センサ
18 通信ケーブル
20 装置本体
22 入力I/F
24 出力I/F
26 操作情報受付デバイス
28 検出信号取込部
30 信号切り出し部
32 設定値格納部
34 周波数解析部
36 特定周波数抽出部
38 操作有無判定部
40 物体種類判別部
42 物体種−特徴量テーブル記憶部
44 操作情報出力部
46 リストバンド部
48 集音部
50 開口部
52 集音素子
54 連通管
56 集音マイク
70 CPU
72 RAM
74 ROM
76 I/O
78 バス

Claims (6)

  1. 人体に装着可能であり、当該人体から伝わる周波数情報を検出する検出部と、
    予め定めた人体の特定部位と物体との接触であると想定される特定周波数成分を含む周波数分布を解析するのに必要な周波数解析時間幅、並びに、前記周波数解析時間幅を時系列に遷移させて解析する際に前記特定周波数の検出精度を維持するのに必要な遷移幅を、それぞれ独立した分解能に設定して、前記検出部で検出した前記周波数情報の周波数分布を解析する解析部と、
    前記解析部で解析した周波数分布に基づいて、前記特定周波数を抽出する抽出部と、
    前記抽出部で抽出された前記特定周波数の特徴量に基づいて、前記特定部位が接触した前記物体を特定する特定部と、
    を有する情報入力装置。
  2. 前記抽出部において、前記特定周波数が抽出されたことで、前記特定部位による接触操作があったことを示す操作信号を出力する出力部を更に有する請求項1記載の情報入力装置。
  3. 前記特定部が、
    予め異なる複数の前記物体毎に特定周波数と特徴量との相関テーブルが記憶された記憶部を備える請求項1又は請求項2記載の情報入力装置。
  4. 前記特徴量が、音圧情報を含む請求項1乃至請求項3の何れか1項記載の情報入力装置。
  5. コンピュータが、
    予め定めた人体の特定部位と物体との接触であると想定される特定周波数の1周期以上を分解能とする周波数解析時間幅、並びに、前記特定周波数の検出精度を維持するのに必要な時間幅を分解能とする遷移時間幅を、それぞれ独立して設定して、人体に装着された検出部で検出した前記特定部位と物体との接触時の周波数情報の周波数分布を解析し、
    解析した周波数分布に基づいて、前記特定周波数を抽出し、
    抽出した前記特定周波数の特徴量に基づいて、前記特定部位が接触した前記物体を特定する
    ことを含む処理を実行する特定周波数抽出方法。
  6. 予め定めた人体の特定部位と物体との接触であると想定される特定周波数の1周期以上を分解能とする周波数解析時間幅、並びに、前記特定周波数の検出精度を維持するのに必要な時間幅を分解能とする遷移時間幅を、それぞれ独立して設定して、人体に装着された検出部で検出した前記特定部位と物体との接触時の周波数情報の周波数分布を解析し、
    解析した周波数分布に基づいて、前記特定周波数を抽出し、
    抽出した前記特定周波数の特徴量に基づいて、前記特定部位が接触した前記物体を特定する
    ことを含む処理をコンピュータに実行させるための特定周波数抽出処理プログラム。
JP2012219529A 2012-10-01 2012-10-01 情報入力装置、特定周波数抽出方法、特定周波数抽出プログラム Expired - Fee Related JP5998811B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012219529A JP5998811B2 (ja) 2012-10-01 2012-10-01 情報入力装置、特定周波数抽出方法、特定周波数抽出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012219529A JP5998811B2 (ja) 2012-10-01 2012-10-01 情報入力装置、特定周波数抽出方法、特定周波数抽出プログラム

Publications (2)

Publication Number Publication Date
JP2014071823A JP2014071823A (ja) 2014-04-21
JP5998811B2 true JP5998811B2 (ja) 2016-09-28

Family

ID=50746922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012219529A Expired - Fee Related JP5998811B2 (ja) 2012-10-01 2012-10-01 情報入力装置、特定周波数抽出方法、特定周波数抽出プログラム

Country Status (1)

Country Link
JP (1) JP5998811B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020059498A1 (ja) * 2018-09-21 2020-03-26 日本電気株式会社 情報処理装置、情報処理方法、プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7299560B2 (ja) * 2019-03-28 2023-06-28 ブラザー工業株式会社 学習データの生成方法、トレーニング方法、予測モデル、コンピュータプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09160590A (ja) * 1995-12-13 1997-06-20 Denso Corp 信号抽出装置
JP3525665B2 (ja) * 1997-01-07 2004-05-10 日本電信電話株式会社 常装着型電話装置
JP2011109563A (ja) * 2009-11-20 2011-06-02 Kddi Corp 作業内容検定装置、方法およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020059498A1 (ja) * 2018-09-21 2020-03-26 日本電気株式会社 情報処理装置、情報処理方法、プログラム
JPWO2020059498A1 (ja) * 2018-09-21 2021-08-30 日本電気株式会社 情報処理装置、情報処理方法、プログラム
JP7052877B2 (ja) 2018-09-21 2022-04-12 日本電気株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
JP2014071823A (ja) 2014-04-21

Similar Documents

Publication Publication Date Title
US20200301509A1 (en) System for recognizing user gestures according to mechanomyogram detected from user's wrist and method thereof
CN107924279B (zh) 具有多传感器流同步数据的触敏设备
CN110069199B (zh) 一种基于智能手表的皮肤式手指手势识别方法
JP4988016B2 (ja) 指の動き検出装置およびその方法
US10712858B2 (en) Method and apparatus for classifying contacts with a touch sensitive device
KR20090127544A (ko) 터치 센서와 가속도 센서를 이용한 사용자의 터치패턴 인식시스템
US20170215768A1 (en) Wearable controller for wrist
Zhao et al. Towards low-cost sign language gesture recognition leveraging wearables
US20110133934A1 (en) Sensing Mechanical Energy to Appropriate the Body for Data Input
JP2004283228A5 (ja)
WO2015033327A1 (en) Wearable controller for wrist
US11281301B2 (en) Wearable controller for wrist
KR101579585B1 (ko) 사용자 행동 모니터링 방법, 장치, 시스템 및 이를 수행하기 위한 기록매체
US20180177432A1 (en) Apparatus and method for detection of breathing abnormalities
US20190343440A1 (en) System and method for measuring reaction time of a subject
García-Magariño et al. A smartphone-based system for detecting hand tremors in unconstrained environments
CN107491254A (zh) 一种手势操作方法、装置和移动终端
JP5998811B2 (ja) 情報入力装置、特定周波数抽出方法、特定周波数抽出プログラム
JP5794526B2 (ja) インタフェースシステム
Aboalayon et al. Single channel EEG for near real-time sleep stage detection
JP5488135B2 (ja) 生体情報処理装置
Maag et al. BARTON: Low power tongue movement sensing with in-ear barometers
Cao et al. ipand: Accurate gesture input with smart acoustic sensing on hand
RU2670670C1 (ru) Способ управления устройством измерения физиологических параметров человека
JP2009006113A (ja) 入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160815

R150 Certificate of patent or registration of utility model

Ref document number: 5998811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees