JP5998811B2 - 情報入力装置、特定周波数抽出方法、特定周波数抽出プログラム - Google Patents

Description

開示の技術は、情報入力装置、特定周波数抽出方法、特定周波数抽出プログラムに関する。

各種センサの小型化や通信インフラの発達により、人の状況をセンシングするデバイスやハンズフリーなインターフェイスとして機能する様々なウェアラブルコンピュータ（ウェラブル情報処理装置）が提案されている。例えば、手首装着型のウェアラブルコンピュータでは、人の指先動作の特徴を検出する。

手首装着型のウェアラブルコンピュータでは、指先と物体との接触時に起きる振動の周波数特性や時系列情報を利用し、衝突又は接触（以下、総称して「接触」という）が起きた指先部分の推定や接触した物体の推定等を行っている。しかし、先行技術では、接触時に発生する振動の特徴を考慮した周波数特性や時系列情報の抽出に関する技術は明確に示されていない。なお、「指先」という表現は、指の先端部分での接触を主体とするが、指の種類が特定できれば、先端部分に特化されるものではない。

特開平７−１２１２９４号公報 特開平１０-１９８４７８号公報 特表２００５-５２５６３５号公報 特開平１１-３３８５９７号公報

人の指先操作によって指先と物体とが接触する場合、接触で発生する振動は微小時間で急激に振幅が変化するパルス波形の特徴を持つことは知られている。また、この振動の主成分となる周波数は５０〜３００Ｈｚの所謂可聴周波数帯域の内の低周波であることも知られている。

このことから、指先と物体との接触で発生するパルス振動の特徴を抽出するには、前記主成分となる周波数（例えば、１００Ｈｚ）前後の細かい周波数毎に微小時間の時系列変化を捉える必要がある。

この振動は、前述したように微弱であることもあるが、振動を検知可能なセンサを備えた手首装着型のウェアラブルコンピュータであれば、指先からの空気振動又は体を伝わる振動を手首部位のセンサで捉えることが可能である。

しかしながら、従来の周波数解析技術としては、短時間フーリエ変換に見られる振動区間の抽出方法が主体である。当該抽出方法では、周波数解析時での、周波数分解能と、時間分解能とが所謂トレードオフの関係にある。このため、指先で発生した振動の周波数特性を、高い周波数分解能かつ高い時間分解能で同時に捉えることが困難となっている。

また、手首装着型のウェアラブルコンピュータは、常時装着を想定した場合、高度な演算処理用の機器を装備することは、部品点数の増加等による装置の大型化を招き、実用性を損なう結果となる。

開示の技術は、一つの側面として、実用性を維持しつつ、人体に装着した検出部で検出した周波数情報から、人体の特定部位と物体との接触で発生する特定周波数を確実に抽出することが目的である。

開示の技術は、人体に装着可能であり、当該人体から伝わる周波数情報を検出する検出部を備える。

また、前記検出部で検出した前記周波数情報の周波数分布を解析する解析部を備える。解析部は、予め定めた人体の特定部位と物体との接触であると想定される特定周波数の成分を含む周波数分布を解析するのに必要な周波数解析時間幅を設定する。解析部は、前記周波数解析時間幅を時系列に遷移させて解析する際に前記特定周波数の検出精度を維持するのに必要な遷移幅を設定する。解析部は、周波数解析時間幅、並びに遷移幅をそれぞれ独立した分解能に設定する。

さらに、前記解析部で解析した周波数分布に基づいて、前記特定周波数を抽出する抽出部を備える。

また、前記抽出部で抽出された前記特定周波数の特徴量に基づいて、前記特定部位が接触した前記物体を特定する特定部を備える。

開示の技術は、一つの側面として、実用性を維持しつつ、指先で発生する振動に基づく周波数情報を、高い周波数分解能かつ高い時間分解能で解析することができるという効果を有する。

本実施の形態に係る情報入力装置の構成を示すブロック図である。 本実施の形態に係る情報入力装置のハード構成を示すブロック図である。 本実施の形態に係る情報入力装置としてのウェアラブル機器を手首に装着した状態を示す斜視図である。 本実施の形態に係る情報入力装置の装置本体の構造を示す断面図である。 本実施の形態に係り、体導音センサで検出した検出信号特性図である。 特定周波数を定常のフーリエ変換で周波数成分解析をした結果を示す特定図である。 特定周波数の前後に無音区間を設け、定常のフーリエ変換で周波数成分解析をした結果を示す特定図である。 本実施の形態に係り、図５の検出信号を解析部で解析した周波数成分特性図である。 図５の検出信号におけるピーク値判定の手順を示す特性図（その１）である。 図５の検出信号におけるピーク値判定の手順を示す特性図（その２）である。 本実施の形態に係る特定周波数抽出部で実行されるＲＮＮの形態図である。 異なる種類の物体毎の周波数−特徴量の特性図である。 本実施の形態に係る情報入力装置における特定周波数抽出処理手順を示す制御フローチャートである。 ウェアラブル機器の集音素子を取り付ける位置の候補を示す手首の手のひら側及び手の甲側のそれぞれの正面図である。 図１４に示す装着点Ａ１、Ａ２、Ａ３、Ｂ１、Ｂ２、Ｂ３での各指の音圧特性図である。

図１は、本実施の形態に係る情報入力装置１０の構成図である。情報入力装置１０は、体導音センサ１２を備えている。体導音センサ１２は、開示の技術の検出部の一例である。体導音センサ１２は、図３に示される如く、人体（ここでは、手首１４）に装着可能なリストバンド型のウェアラブル機器を兼ねている。

体導音センサ１２の出力信号は、通信ケーブル１８を介して装置本体２０の入力Ｉ／Ｆ２２に接続されている。なお、本実施の形態では、体導音センサ１２と装置本体２０とを有線の通信ケーブル１８で接続したが、有線である必要はなく、無線通信を適用してもよい。

また、装置本体２０には、出力Ｉ／Ｆ２４が備えられている。出力Ｉ／Ｆ２４には、操作情報受付デバイス２６が接続可能である。

操作情報受付デバイス２６としては、ＰＣ（パーソナルコンピュータ）、タブレット端末、携帯端末、通信処理端末、モニタ、スピーカ、ランプを含む、様々なデバイスが接続可能である。

図１に示される如く、情報入力装置１０の装置本体２０は、検出信号取込部２８を備える。検出信号取込部２８は、前記入力Ｉ／Ｆ２２と接続されている。

また、情報入力装置１０の装置本体２０は、信号切り出し部３０、設定値格納部３２、周波数解析部３４を備える。周波数解析部３４は、開示の技術の解析部の一例である。設定値格納部３２は、周波数解析のための、切り出し窓情報及び遷移幅情報を格納する。

さらに、情報入力装置１０の装置本体２０は、特定周波数抽出部３６、操作有無判定部３８、物体種類判別部４０、物体種−特徴量テーブル記憶部４２、操作情報出力部４４を備える。操作情報出力部４４は、前記出力Ｉ／Ｆ２４に接続されている。特定周波数抽出部３６は、開示の技術の抽出部の一例である。

図２に示される如く、情報入力装置１０の装置本体２０は、ＣＰＵ７０、ＲＡＭ７２、ＲＯＭ７４、Ｉ／Ｏ７６及びこれらを相互に接続するデータバスやコントロールバス等のバス７８を備えたマイクロコンピュータを含んでいる。

Ｉ／Ｏ７６には、入力Ｉ／Ｆ２２と出力Ｉ／Ｆ２４が接続されている。出力Ｉ／Ｆ２４及び前記操作情報出力部４４は、開示の技術の出力部の一例である。

情報入力装置１０の装置本体２０で実行される特定周波数抽出処理プログラムは、検出信号取り込みプロセス２８Ｐ、信号切り出しプロセス３０Ｐ、設定値格納プロセス３２Ｐ、周波数解析プロセス３４Ｐ、特定周波数抽出プロセス３６Ｐを備える。

また、情報入力装置１０の装置本体２０で実行される特定周波数抽出処理プログラムは、操作有無判定プロセス３８Ｐ、物体種類判別プロセス４０Ｐ、物体種−特徴量テーブル記憶プロセス４２Ｐ、操作情報出力プロセス４４Ｐを備える。

ＣＰＵ７０は、検出信号取り込みプロセス２８Ｐを実行することで、図１に示す検出信号取り込み部２８として動作する。

ＣＰＵ７０は、信号切り出しプロセス３０Ｐを実行することで、図１に示す信号切り出し部３０として動作する。

ＣＰＵ７０は、信号切り出しプロセス３２Ｐを実行することで、図１に示す信号切り出し部３２として動作する。

ＣＰＵ７０は、周波数解析プロセス３４Ｐを実行することで、図１に示す周波数解析部３４として動作する。

ＣＰＵ７０は、特定周波数抽出プロセス３６Ｐを実行することで、図１に示す特定周波数抽出部３６として動作する。

ＣＰＵ７０は、操作有無判定プロセス３８Ｐを実行することで、図１に示す操作有無判定部３８として動作する。

ＣＰＵ７０は、物体種類判別プロセス４０Ｐを実行することで、図１に示す物体種類判別部４０として動作する。

ＣＰＵ７０は、物体種−特徴量テーブル記憶プロセス４２Ｐを実行することで、図１に示す物体種−特徴量テーブル記憶部４２として動作する。

ＣＰＵ７０は、操作情報出力プロセス４４Ｐを実行することで、図１に示す操作情報出力部４４として動作する。

（体導音センサ１２「ウェラブル機器」の構成）

図３には、情報入力装置１０の体導音センサ１２を兼ねるウェラブル機器が示されている。

体導音センサ１２は、人体の手首１４に装着されるリストバンド部４６を備えている。リストバンド部４６は、弾性力を有する平板を輪状に形成し、当該弾性力で手首１４に保持されるようになっている。なお、リストバンド部４６としては、弾性力で保持する構造の他、予め形成された複数の孔の何れかに選択的に留め金を通して、手首の周長に合わせて手首に保持するバックル型が適用可能である。

リストバンド部４６の一部には、集音部４８が取り付けられている。

図４に示される如く、集音部４８の筐体は円筒形とされている。この集音部４８の筐体における図４の上端面は閉塞され、手首１４に向けられた面側の端部は直径がテーパー状に拡大されて開口部５０が形成されている。開口部５０には、薄膜状の集音素子５２が取り付けられ、リストバンド部４６を手首１４に装着したとき、当該手首１４の表皮に直接接触するようになっている。より具体的には、集音素子５２は、手首１４における、尺骨茎状突起から撓骨を伝う総指伸筋上（以下、「手首特定部位」という）に対峙するようになっている。

前記集音部４８の周面の一部には、連通管５４の一端部が取り付けられ、集音部４８の内方空間と連通している。連通管５４には、集音マイク５６（例えば、コンデンサマイク）が収容されている。この集音マイク５６は、前記集音素子５２の振動によって発生する集音部４８の内方空間の音を検出する役目を有している。言い換えれば、集音マイク５６は、周囲の音（外音）を拾うことなく、主として、手首特定部位から伝わる体導音を検出する。

集音マイク５６で検出した信号は、通信ケーブル１８を介して装置本体２０の入力Ｉ／Ｆ２２（図３参照）へ送出されるようになっている。

本実施の形態では、体導音として、図３に示される如く、人体の指先５８が物体６０に接触（衝突）したときの振動を想定している。すなわち、指先５８と物体６０とが接触するときに発生する振動（周波数）を抽出することで、当該指先５８による接触動作を、情報入力操作として適用するものである。

（装置本体２０の構成）

図１に示される如く、前記入力Ｉ／Ｆ２２は、検出信号取込部２８に接続されている。この検出信号取込部２８では、体導音センサ１２で検出信号（時系列の検出強度の生信号）を取り込む。

図５は、体導音センサ１２の検出信号の一例である。この検出信号には、前記指先５８で物体６０（一例を図３に示す）を接触する操作（以下、「タップ操作」という場合がある）を行ったときの特定周波数を含む、様々な周波数の信号が混在している。

図１に示される如く、検出信号取込部２８は、信号切り出し部３０に接続されている。

信号切り出し部３０では、周波数分布の解析を行うための時間間隔（切り出し窓）と、当該切り出し窓の遷移時間幅を設定するべく、設定値格納部３２から切り出し窓情報及び遷移幅情報を取り込む。

信号切り出し部３０では、前記検出信号取込部２８で取り込んだ検出信号から取り込んだ切り出し窓情報の時間幅に相当する検出信号を、取り込んだ遷移幅情報に相当する遷移時間毎に、順次、周波数解析部３４へ送出する

周波数解析部３４では、フーリエ変換によって、切り出し窓毎に周波数分布を解析する。

（切り出し窓情報及び遷移幅情報）

ここで、指先５８でのタップ操作によって、体導音センサ１２で検出される信号の周波数、すなわち、前記特定周波数は、可聴周波数帯域のうちの低周波領域であり、５０Ｈｚ〜３００Ｈｚを想定している。前記周波数解析部３４では、フーリエ変換により、特定周波数を含む周波数成分を抽出する。

図６及び図７は、一実施例として、特定周波数を２００Ｈｚの正弦波とした場合のフーリエ変換を行った結果である。フーリエ変換では、切り出し窓（時間幅）が設定されると、当該切り出し窓と相関関係をもって、遷移幅が切り出し窓と同じ又は１／２に設定される（以下、「定常のフーリエ変換」という）。

図６の周波数成分分析結果では、ノイズがなく、鮮明に特定周波数である２００Ｈｚを抽出できていることがわかる。しかし、図６の周波数成分分析では、検出期間が不定であり、いつタップ操作されるかわからない状態での検出信号を、きめ細かく監視することができない場合がある。

一方、図７は、特定周波数が２００Ｈｚ（周期は０．２ｓｅｃ）に対して、意図的に正弦波の１周期の内の前半後半のそれぞれに０．０５ｓｅｃの無音区間を設定した場合の解析結果である。図７の周波数成分分析結果では、検出期間が不定であり、いつタップ操作されるかわからない状態での検出信号を、きめ細かく監視するのに適しており、特定周波数を抽出することができる。しかし、図７の周波数成分分析では、無音区間がノイズとなり、幅広い周波数帯域が観測されることになる。

図６及び図７の一実施例の結果を踏まえ、本実施の形態では、低周波に属する特定周波数を確実に抽出し、かつきめ細かい監視を両立した。すなわち、前記「定常のフーリエ変換」とは異なり、切り出し窓の時間幅と遷移幅とを、それぞれ独立して設定するようにした。

本実施の形態では、特定周波数の周波数成分を確実に抽出するために、切り出し窓を０．１ｓｅｃとした。一方、遷移幅は、タップ操作のきめ細かい監視のために、０．０１ｓｅｃとした。

この結果、図１に示される如く、遷移幅（０．０１ｓｅｃ）ずつ遷移（時系列変化）していきながら、切り出し窓の時間幅（０．１ｓｅｃ）の周波数成分がフーリエ変換される。

図５に示される如く、周波数解析部３４は特定周波数抽出部３６へ送出されるようになっている。

図８は、図５の時系列変化に対し、振動のピークとなる時刻（図５のＡ線矢視参照）の前後０．１ｓｅｃずつの合計０．２ｓｅｃを対象として、周波数解析部３４で解析した結果（周波数分布特性）である。

図８の横軸は、周波数（Ｈｚ）、縦軸は特徴量である音圧（ｄＢ）、「＋」印のプロットの１つ１つは、離散化された周波数成分の値（ｕｉ（ｔ））である。なお、変数ｉは、各周波数成分に付与されるラベル番号である。

前記振動のピークの検出は、周波数解析部３４によって実行され、その一実施例（ピーク検出１）は、図９に示される如く、時刻ｔの音圧（ｄＢ）をＳｔとし、時刻ｔからａサンプリング前までの信号（図９の領域Ｂ参照）の音圧の平均値（ｄＢ）をＮｔとして、ＳＮ比を演算する。このＳＮ比が予め定めたしきい値を超えた時刻ｔを周波数解析の開始時刻（解析期間は、時刻ｔ±０．１ｓｅｃ)として設定する。なお、サンプリング数ａは固定であってもよいし、変動させてもよい。このピーク検出１は、相対比較であるため、音圧に関係なく、ピークの検出が可能となる。

前記振動のピークの検出は、周波数解析部３４によって実行され、他の実施例（ピーク検出２）は、図１０に示される如く、時刻ｔの音圧（ｄＢ）をＳｔとし、時刻ｔの１つ前のサンプリング信号の音圧の（ｄＢ）をＮｔとして、ＳＮ比を演算する。このＳＮ比が予め定めたしきい値を超えた時刻ｔを周波数解析の開始時刻（解析期間は、時刻ｔ±０．１ｓｅｃ)として設定する。このピーク検出２は、相対比較であるため、音圧に関係なく、ピークの検出が可能となる。

図１に示される特定周波数抽出部３６では、周波数解析部３４から取得した図８の特性に基づいて、特定周波数を抽出する。本実施の形態では、特定周波数の抽出の手法として、ＲＮＮ（リカレント・ニューラル・ネットワーク）を適用している。

ＲＮＮの形態を、図１１に示す。図１１に示される如く、学習フェーズでは誤差ｅｉ（ｔ）を減少させるようにネットワークの重みを更新し、入力の時系列変化を学習する。この学習フェーズでは、ＲＮＮがパルス振動由来の入力（図８のプロットｕｉ（ｔ））の時系列変化を学習可能である。しかし、ノイズ区間由来による入力（ｕｉ（ｔ））のランダムな時系列変化は学習不可能である。このことを利用し、識別フェーズで誤差（ｅｉ（ｔ））からパルス振動由来の入力（ｕｉ（ｔ））のみを抽出する。

図８は、前述したように、振動のピークとなる時刻の前後０．１ｓｅｃずつの合計０．２ｓｅｃを対象として、周波数解析部３４で解析した結果である。このような特性結果が、予め設定された遷移幅で時系列で順次解析されることになる。

すなわち、フーリエ変換の切り出し幅において、タップ操作によるパルス振動が存在する区間（図５の矢印Ａをピークとする領域を含む切り出し幅の区間）では、次の切り出し幅の区間でサンプリングされるデータとの誤差を予測することができ、当該誤差を収束する学習によって特定周波数を抽出することができる。

一方、タップ操作によるパルス信号が存在しない区間（図５の矢印Ａをピークとする領域を含まない切り出し幅の区間）では、ノイズが不規則の周波数であることから、次にサンプリングされるデータとの誤差を予測することができず、当該誤差を収束できない。

ここで、本実施の形態では、さらにノイズに対して偶然に誤差ｅｉ（ｔ）が小さくなる場合を考慮し、範囲誤差Ｅｉを設定する。

範囲誤差Ｅｉは、以下の（１）式で表すことができる。

なお、（１）式において、ｔ−ａは、時刻ｔよりもａサンプリング前の時刻を示す。

これにより、図１１のＲＮＮでは、前記識別フェーズにおいて、前記範囲誤差Ｅｉが連続してしきい値以下となるときのラベル番号ｉ（図８参照）に対応する周波数成分を指先５８と物体６０との接触で発生したパルス振動の主成分となる周波数として抽出する。また、識別フェーズにおいて、前記範囲誤差Ｅｉが連続してしきい値以下となる時間範囲の入力ｕｉ（τ）を、前記抽出した周波数成分の時系列変化として抽出する。

図１に示される如く、前記特定周波数抽出部３６で抽出した結果は、操作有無判定部３８に送出されるようになっている。

操作有無判定部３８では、前記特定周波数抽出部３６において抽出された、範囲誤差Ｅｉが連続してしきい値以下となるときのラベル番号ｉの入力で「操作有り」と判定し、操作情報出力部４４へ送出する。また、このラベル番号ｉに相当する時間を操作時期として判定し、操作情報出力部４４へ送出する。なお、操作有無判定部３８では、前記特定周波数抽出部３６において、範囲誤差Ｅｉが連続してしきい値以下となるときのラベル番号ｉが抽出されない場合は、「操作無し」と判定される。

また、操作有無判定部３８は、物体種類判別部４０に接続され、この物体種類判別部４０に対して、「操作有り」の判定と共に、「操作有り」と判定されたラベル番号ｉの音圧情報が送出されるようになっている。この物体種類判別部４０には、物体種−特徴量テーブル記憶部４２が接続されている。

物体種−特徴量テーブル記憶部４２には、図１２に示される如く、複数の物体６０に対して、指先５８で５０回のタップ操作したときの、特徴量（音圧）の違いを示す特性図が記憶されている。

図１２の点線ａで示す特性図は、物体６０が机（desk）の場合のタップ操作特性である。図１２の細実線ｂで示す特性図は、物体６０がキーボード（keyboard）の場合のタップ操作特性である。図１２の太実線ｃで示す特性図は、物体６０がゴム製ボタン（rubber button）の場合のタップ操作特性である。図１２の一点鎖線ｄで示す特性図は、指先５８ガ物体６０と接触しない素振り（air-shot）の場合のタップ操作特性である。なお、ここでは、素振りもタップ操作に含まれるものとする。

なお、横軸は周波数であり、この特性図に基づくと、特定周波数に属する５０Ｈｚ〜１００Ｈｚの期間で、それぞれの物体６０を区別可能な特徴的な減衰やピークが存在していることがわかる。そこで、物体種類判別部４０では、前記操作有無判定部３８から入力される特定周波数の音圧情報に基づいて、物体の種類を判別し、前記操作情報出力部４４へ送出する。

操作情報出力部４４では、前記操作有無判定部３８からの操作有無情報と、物体種類判別部４０からの物体判別情報と、を統合して生成された出力情報を、出力Ｉ／Ｆ２４を介して外部へ送出する。なお、出力情報は、出力Ｉ／Ｆ２４に接続される操作情報受付端末３６の種類に応じて可変としてもよい。また、出力情報は、出力Ｉ／Ｆ２４に接続される操作情報受付端末２６の種類に関係なく統一し、操作情報受付端末側で解析するようにしてもよい。

以下に本実施の形態の作用を従い説明する。

図１３は、本実施の形態に係る情報入力装置における特定周波数抽出処理手順を示す制御フローチャートである。

この特定周波数抽出処理制御は、情報入力装置１０の電源がオンされることで起動する。

ステップ１００では、初期設定（メモリクリア等）を実行し、次いでステップ１０２へ移行して、体導音センサ１２による検出信号を取り込む。なお、前記初期設定において、定期的又は不定期に体導音センサ１２の感度調整を自動又は手動で実行するようにしてもよい。

次のステップ１０４では、体導音センサ１２で所定のパルス振動を検出したか否かが判断され、否定判定された場合はステップ１０２へ戻る。また、ステップ１０４で肯定判定されると、解析開始時期であると判断し、ステップ１０６へ移行する。

ステップ１０６では、予め設定値格納部３２に格納されている周波数解析（フーリエ変換処理）時の切り出し窓の時間幅、並びに遷移時間幅を読み出し、ステップ１０８へ移行して周波数成分抽出を行う。

本実施の形態では、周波数成分抽出（フーリエ変換）の実行に際し、低周波に属する特定周波数を確実に抽出し、かつきめ細かい監視を両立した。すなわち、切り出し窓の時間幅と遷移幅とを、それぞれ独立して設定している。

すなわち、本実施の形態では、切り出し窓を０．１ｓｅｃとし、遷移幅を０．０１ｓｅｃとした。この結果、図１に示される如く、遷移幅（０．０１ｓｅｃ）ずつ遷移（時系列変化）していきながら、切り出し窓の時間幅（０．１ｓｅｃ）の周波数成分がフーリエ変換され、特定周波数の周波数成分を確実に抽出でき、かつタップ操作のきめ細かい監視が可能となる。

次のステップ１１０では、周波数成分の解析データを特定周波数抽出部３６へ送出し、次いでステップ１１２でＲＮＮ処理を実行する。すなわち、図１１に示される入力層へ解析データｕｉ（ｔ）、並びに次の時系列解析データｕｉ（ｔ＋１）を順次入力層へ入力する。

次のステップ１１４では、誤差ｅｉに基づき、範囲誤差Ｅｉを演算して（前述の（１）式参照）、ステップ１１６へ移行する。

ステップ１１６では、誤差範囲Ｅｉが、全てのラベル番号ｉでしきい値以上となったか否かが判断され、否定判定された場合は、連続して、しきい以下となる時間範囲が含まれており、ＲＮＮの終了時期ではないと判断し、ステップ１１２へ戻り、上記工程を繰り返す。

また、ステップ１１６で肯定判定されると、連続して、しきい以下となる時間範囲が含まれておらず、ＲＮＮの終了時期であると判断し、ステップ１１８へ移行する。

ステップ１１８では、範囲誤差Ｅｉが連続でしきい値以下となる時間範囲を検索し、次いで、ステップ１２０へ移行して、タップ操作に起因して発生した特定周波数、並びに時系列変化を含む周波数特性を抽出する。

次のステップ１２２では、抽出した周波数特性に基づいて、タップ操作の有無を判定し、次いでステップ１２４へ移行して、タップ操作された側の物体６０の種別を判別して、ステップ１２６へ移行する。

ステップ１２６では、操作有無情報、物体種類情報を含む操作情報を外部へ出力し、ステップ１０２へ戻る。なお、このルーチンは、情報入力装置１０の電源がオフされた時点で終了する。また、出力される操作情報は、タップ操作の有無のみであってもよい。

なお、本実施の形態では、人体から伝わる周波数情報を検出する検出部として、体導音センサ１２を適用したが、低周波の振動を感知可能なセンサであれば、体導音センサ１２に限定されるものではない。

例えば、一実施例として、加速度センサが適用可能である。加速度センサは、指先の動きを検出可能である。但し、加速度センサは、腕全体の大きな動きを検出し、指先５８で発生した振動が腕全体の動きの振動で消されてしまう可能性がある点で、体導音センサ１２が有利である。

また、他の一実施例として、気導音（空気振動）を利用したマイクが適用可能である。但し、このマイクは所謂定常的に利用されるマイクであり、指先５８と物体６０との接触音だけでなく、周囲の恒常的な音を拾う可能性がある点で、体導音センサ１２が有利である。

また、本実施の形態では、体導音センサ１２の取付位置として、薄膜状の集音素子５２を、手首１４における、尺骨茎状突起から撓骨を伝う総指伸筋上（手首特定部位）に対峙するようにしたが、当該手首特定位置を含み、図１４の６箇所の候補が考えられる。

図１４では、薄膜状の集音素子５２の取付位置として、手首１４の周方向に沿って、手の甲側に親指側から３箇所（Ａ１、Ａ２、Ａ３）、手のひら側に親指側から３箇所（Ｂ１、Ｂ２、Ｂ３）を設定した。本実施の形態は、図１４のＡ３の位置に相当する。

図１５は、図１４の各取付位置で、４人の被検者がそれぞれ親指、人指し指、中指、薬指、小指で物体６０を同じ強さの衝撃を付与するようなタップ操作を複数回実行した場合の音圧の平均値及びの標準偏差を示した特性図である。この図１５の測定結果から、何れの指でも音圧が高い部位を選択する。この結果、本実施の形態では、図１４のＡ３（尺骨茎状突起から撓骨を伝う総指伸筋上）を選択したが、他の部位であってもよい。また、図１５の測定結果に限らず、被検者の違い、被検者の人数、物体の種類等によって、最適な部位を選択すればよい。

なお、物体６０に対してタップ操作する人体の特定部位（振動パルスの入力端）は、手の指５８に限定されるものではなく、人体の全ての部位が特定部位となり得る。この場合、特定部位から入力される振動パルスが体導音として伝達される部位を出力端として、リストバンド４６に代わる保持体を介して、体導音センサ１２を配置すればよい。

（変形例「ＲＮＮの負担軽減」）

なお、本実施の形態では、特定周波数抽出部３６（図１参照）におけるＲＮＮにおいて、入力に適用する周波数成分（ラベル番号ｉ）の数を、限定することが可能である。

すなわち、図１２の物体種−特徴量テーブルからわかるように、特定周波数に属する５０Ｈｚ〜１００Ｈｚの期間で、物体６０の種類に関わらず、特徴的な減衰やピークが存在していることがわかる。

そこで、特定周波数抽出部３６において、特定周波数（５０Ｈｚ〜３００Ｈｚ）をさらに絞り込み、１００Ｈｚ以下とすることで、特定周波数抽出部３６における演算処理の負担を軽減することができる。

なお、上記では開示の技術に支障のない数値を用いて説明したが、開示の技術は上記の説明に用いた数値に限定されるものではない。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。
（付記１）

人体に装着可能であり、当該人体から伝わる周波数情報を検出する検出部と、

予め定めた人体の特定部位と物体との接触であると想定される特定周波数成分を含む周波数分布を解析するのに必要な周波数解析時間幅、並びに、前記周波数解析時間幅を時系列に遷移させて解析する際に前記特定周波数の検出精度を維持するのに必要な遷移幅を、それぞれ独立した分解能に設定して、前記検出部で検出した前記周波数情報の周波数分布を解析する解析部と、

前記解析部で解析した周波数分布に基づいて、前記特定周波数を抽出する抽出部と、

前記抽出部において、前記特定周波数が抽出されたことで、前記特定部位による接触操作があったことを示す操作信号を出力する出力部と、
を有する情報入力装置。

（付記２）
前記抽出部で抽出された前記特定周波数の特徴量に基づいて、前記特定部位が接触した前記物体を特定する特定部と、
を有する付記１記載の情報入力装置。

（付記３）
前記特定部が、

予め異なる複数の前記物体毎に特定周波数と特徴量との相関テーブルが記憶された記憶部を備える付記２記載の情報入力装置。

（付記４）
前記特徴量が、音圧情報を含む付記２又は付記３記載の情報入力装置。

（付記５）
前記遷移時間幅が、前記解析時間幅の１／１０以下である付記１〜付記４の何れか１つに記載の情報入力装置。

（付記６）
前記特定周波数が、可聴周波数帯域の内、２０Ｈｚ〜５００Ｈｚ以下、好ましく５０Ｈｚ〜３００Ｈｚ、さらに好ましくは５０Ｈｚ〜１００Ｈｚの低音域に属する付記１〜付記５の何れか１つに記載の情報入力装置。

（付記７）
前記解析部での解析がフーリエ変換であり、前記遷移時間幅が前記フーリエ変換における切り出し窓の時間幅であり、前記遷移時間幅が前記フーリエ変換における遷移幅である付記１〜付記６の何れか１つに記載の情報入力装置。

（付記８）
前記抽出部が、前記解析部で解析された周波数分布において、時間的に連続してサンプリングした周波数成分の前後で変位する特徴量の予測値と実測値との誤差が、予め定めた期間、連続してしきい値以下となる時間範囲でサンプリングした周波数情報に基づいて、前記特定周波数を抽出する付記１〜付記７のいずれか１つに記載の情報入力装置。

（付記９）
前記特定部位が指先であり、前記検出部が、尺骨茎状突起から撓骨を伝う総指伸筋上の手首部位に装着される体導音センサである付記１〜付記８の何れか１つに記載の情報入力装置。

（付記１０）
前記解析部で解析する周波数情報の開始時期を、時刻ｔの信号の特徴量をＳ、前記時刻ｔから一定時刻前の信号、或いは一定時刻前までの信号の平均値の信号をＮとするＳＮ比に基づいて決定する付記１〜付記９の何れか１つに記載の情報入力装置。

（付記１１）
予め定めた人体の特定部位と物体との接触であると想定される特定周波数の１周期以上を分解能とする周波数解析時間幅、並びに、前記特定周波数の検出精度を維持するのに必要な時間幅を分解能とする遷移時間幅を、それぞれ独立して設定して、人体に装着された検出部で検出した前記特定部位と物体との接触時の周波数情報の周波数分布を解析し、

解析した周波数分布に基づいて、前記特定周波数を抽出することを含む特定周波数抽出方法。

（付記１２）
前記抽出された前記特定周波数の特徴量に基づいて、前記特定部位が接触した前記物体を特定する付記１１記載の特定周波数抽出方法。

（付記１３）
前記物体を、予め異なる複数の前記物体毎に記憶された特定周波数と特徴量との相関テーブルに基づいて特定する付記１２記載の特定周波数抽出方法。

（付記１４）
前記特徴量が、音圧情報を含む付記２又は付記３記載の特定周波数抽出方法。

（付記１５）
前記遷移時間幅が、前記解析時間幅の１／１０以下である付記１１〜付記１４の何れか１つに記載の特定周波数抽出方法。

（付記１６）
前記特定周波数が、可聴周波数帯域の内、２０Ｈｚ〜５００Ｈｚ以下、好ましく５０Ｈｚ〜３００Ｈｚ、さらに好ましくは５０Ｈｚ〜１００Ｈｚの低音域に属する付記１１〜付記１５の何れか１つに記載の特定周波数抽出方法。

（付記１７）
前記解析がフーリエ変換であり、前記遷移時間幅が前記フーリエ変換における切り出し窓の時間幅であり、前記遷移時間幅が前記フーリエ変換における遷移幅である付記１１〜付記１６の何れか１つに記載の特定周波数抽出方法。

（付記１８）
前記解析された周波数分布において、時間的に連続してサンプリングした周波数成分の前後で変位する特徴量の予測値と実測値との誤差が、予め定めた期間、連続してしきい値以下となる時間範囲でサンプリングした周波数情報に基づいて、前記特定周波数を抽出する付記１１〜付記１７のいずれか１つに記載の情報入力装置。

（付記１９）
前記特定部位が指先であり、前記物体との接触を、尺骨茎状突起から撓骨を伝う総指伸筋上の手首部位に装着される体導音センサによって検出する付記１〜付記１８の何れか１つに記載の特定周波数抽出方法。

（付記２０）
前記解析する周波数情報の開始時期を、時刻ｔの信号の特徴量をＳ、前記時刻ｔから一定時刻前の信号、或いは一定時刻前までの信号の平均値の信号をＮとするＳＮ比に基づいて決定する付記１１〜付記１９の何れか１つに記載の特定周波数抽出方法。

（付記２１）
予め定めた人体の特定部位と物体との接触であると想定される特定周波数の１周期以上を分解能とする周波数解析時間幅、並びに、前記特定周波数の検出精度を維持するのに必要な時間幅を分解能とする遷移時間幅を、それぞれ独立して設定して、人体に装着された検出部で検出した前記特定部位と物体との接触時の周波数情報の周波数分布を解析し、

解析した周波数分布に基づいて、前記特定周波数を抽出する、
ことを含む処理をコンピュータに実行させるための特定周波数抽出処理プログラム。

１０ 情報入力装置
１２ 体導音センサ
１８ 通信ケーブル
２０ 装置本体
２２ 入力Ｉ／Ｆ
２４ 出力Ｉ／Ｆ
２６ 操作情報受付デバイス
２８ 検出信号取込部
３０ 信号切り出し部
３２ 設定値格納部
３４ 周波数解析部
３６ 特定周波数抽出部
３８ 操作有無判定部
４０ 物体種類判別部
４２ 物体種−特徴量テーブル記憶部
４４ 操作情報出力部
４６ リストバンド部
４８ 集音部
５０ 開口部
５２ 集音素子
５４ 連通管
５６ 集音マイク
７０ ＣＰＵ
７２ ＲＡＭ
７４ ＲＯＭ
７６ Ｉ／Ｏ
７８ バス

Claims (6)

1. 人体に装着可能であり、当該人体から伝わる周波数情報を検出する検出部と、
   予め定めた人体の特定部位と物体との接触であると想定される特定周波数の成分を含む周波数分布を解析するのに必要な周波数解析時間幅、並びに、前記周波数解析時間幅を時系列に遷移させて解析する際に前記特定周波数の検出精度を維持するのに必要な遷移幅を、それぞれ独立した分解能に設定して、前記検出部で検出した前記周波数情報の周波数分布を解析する解析部と、
   前記解析部で解析した周波数分布に基づいて、前記特定周波数を抽出する抽出部と、
   前記抽出部で抽出された前記特定周波数の特徴量に基づいて、前記特定部位が接触した前記物体を特定する特定部と、
   を有する情報入力装置。
2. 前記抽出部において、前記特定周波数が抽出されたことで、前記特定部位による接触操作があったことを示す操作信号を出力する出力部を更に有する請求項１記載の情報入力装置。
3. 前記特定部が、
   予め異なる複数の前記物体毎に特定周波数と特徴量との相関テーブルが記憶された記憶部を備える請求項１又は請求項２記載の情報入力装置。
4. 前記特徴量が、音圧情報を含む請求項１乃至請求項３の何れか１項記載の情報入力装置。
5. コンピュータが、
   予め定めた人体の特定部位と物体との接触であると想定される特定周波数の１周期以上を分解能とする周波数解析時間幅、並びに、前記特定周波数の検出精度を維持するのに必要な時間幅を分解能とする遷移時間幅を、それぞれ独立して設定して、人体に装着された検出部で検出した前記特定部位と物体との接触時の周波数情報の周波数分布を解析し、
   解析した周波数分布に基づいて、前記特定周波数を抽出し、
   抽出した前記特定周波数の特徴量に基づいて、前記特定部位が接触した前記物体を特定する
   ことを含む処理を実行する特定周波数抽出方法。
6. 予め定めた人体の特定部位と物体との接触であると想定される特定周波数の１周期以上を分解能とする周波数解析時間幅、並びに、前記特定周波数の検出精度を維持するのに必要な時間幅を分解能とする遷移時間幅を、それぞれ独立して設定して、人体に装着された検出部で検出した前記特定部位と物体との接触時の周波数情報の周波数分布を解析し、
   解析した周波数分布に基づいて、前記特定周波数を抽出し、
   抽出した前記特定周波数の特徴量に基づいて、前記特定部位が接触した前記物体を特定する
   ことを含む処理をコンピュータに実行させるための特定周波数抽出処理プログラム。