JP2013519132A - 表面音響信号を用いたユーザインタフェース提供装置及び方法、ユーザインタフェースを備えるデバイス - Google Patents

Abstract

表面音響信号を用いたユーザインタフェースの提供に関する。一側面において、ユーザインタフェースを備えたデバイスは、前記デバイスの外部で発生した表面音響信号を取得するセンサ及び前記表面音響信号の特徴を分析して前記表面音響信号のパターンを区分し、前記表面音響信号のパターンに基づいて前記表面音響信号に対応するユーザの入力信号を識別するように構成された少なくとも１つのプロセッサを含む。

Description

本発明は表面音響信号を用いたユーザインタフェースの提供に関する。

電子機器の機能を操作するためのユーザインタフェース提供装置は、主に操作キー、ボタン、マウスまたはタッチスクリーンなどを中心に開発されてきた。従来のユーザインタフェース提供装置はボタンやスクリーンのような電子回路で構成されるため、電子回路が装着されていない部分はインタフェースで使用できないという入力範囲の限界が存在する。そして、平面ではない屈曲な箇所や家具、あるいは壁のような一般のオブジェクトにインタフェース装置を内蔵するためには、外部の衝撃や汚染に強い特性を有するべきであるが、このようなユーザインタフェース装置を実現することは難しい。

一方、従来におけるユーザインタフェース提供装置は、電子機器の特定領域に固定されて動作する。したがって、電子機器のインタフェース、すなわち、入力領域が服やカバンの内部などの手に届かない所にあれば操作が不便であり、モバイル装置などのように電子機器の自体空間が限定的な場合には十分な入力空間を確保し難い。

本発明の目的は、インタフェースの入力空間の制約を克服して従来のインタフェースで使用可能な装置よりも費用が安価であるインターフェーシング技術を提供する。

一側面において、デバイスのユーザインタフェース提供装置は、前記デバイス外部の媒質で発生した表面音響信号を取得する表面音響信号取得部と、前記表面音響信号の特徴を分析して前記媒質に対応する前記表面音響信号のパターンを認識するパターン認識部と、前記表面音響信号のパターンに基づいてユーザの入力信号を識別するユーザ入力識別部とを備える。

他の一側面において、デバイスのユーザインタフェース提供方法は、表面音響信号を取得するステップと、前記表面音響信号の時間−ドメイン上の特徴、または周波数−ドメイン上の特徴のうち少なくとも１つの特徴を抽出するステップと、前記時間−ドメイン上の特徴、または周波数−ドメイン上の特徴のうち少なくとも１つの特徴に基づいて前記表面音響信号のパターンを分析するステップと、前記表面音響信号のパターンに基づいてユーザの入力信号を識別するステップとを含む。

他の一側面において、デバイスのユーザインタフェース提供方法は、前記デバイスの外部媒質からユーザの入力信号を受信する外部入力モードを実行させるステップと、前記デバイスの外部媒質から表面音響信号が受信されれば、前記表面音響信号の特徴を分析して前記媒質に対応する前記表面音響信号のパターンを認識するステップと、前記表面音響信号のパターンに基づいてユーザの入力信号を識別するステップとを含む。

他の一側面において、デバイスのユーザインタフェース提供方法は、前記デバイスの外部媒質からユーザの入力信号を受信する外部入力モードを実行させるステップと、前記デバイスの外部媒質から表面音響信号が受信されれば、前記表面音響信号の進行方向を判断するステップと、前記表面音響信号の進行方向に対応する前記デバイスの機能を実行させるステップとを含む。

他の一側面において、電子装置は、前記デバイスの外部で発生した表面音響信号を取得するセンサと、前記表面音響信号の特徴を分析して前記表面音響信号のパターンを区分し、前記表面音響信号のパターンに基づいて前記表面音響信号に対応するユーザの入力信号を識別するように構成された少なくとも１つのプロセッサとを含む。

本発明のインタフェース提供装置及び方法によると、デバイスのインタフェースの拡張が可能である。すなわち、文字、図形、ドラッギング、タッチイベントなどのユーザ入力のための空間はタッチスクリーン、キーパネルなどの特定の入力空間に制限されない。したがって、ユーザはデバイス周辺の任意の空間でデバイスを操作できる。

また、本発明によると、表面音響信号を発生させる媒質が変更される場合にも正確にユーザの入力信号を識別できるインタフェースを提供することができる。

また、本発明によると、表面音響信号を発生させたツールを正確に区別することで、ユーザに便宜性を提供することができる
本発明によると、デバイスを直接タッチしない場合にもユーザの意図を識別するため、デバイス及びデバイスの付属品の寿命を増加させる。

本発明によると、表面音響信号で発生するスペクトル情報を分析することによって入力ツールまたは入力媒質を判別し、判別された入力ツールまたは入力媒質ごとに異なる機能を付与して用いることができる。これは、入力ツールと入力媒質に応じて発生する周波数スペクトルが異なる特徴を持っているためである。

また、本発明によると、２つ以上のセンサから取得される表面音響信号の時間情報を用いてユーザの入力信号をより正確に識別することができる。

表面音響信号を用いたインタフェースの拡張例を説明するための図である。 一実施形態に係るユーザインタフェース提供装置を示す図である。 図１及び図２で表面音響信号取得部の構成例を示す図である。 他の実施形態に係るユーザインタフェース提供装置の構成を示す。 図４のフィルタ及び単純化部から出力される信号の例を示す図である。 図４のフィルタ及び単純化部から出力される信号の例を示す図である。 「最小の意味単位」に対する例を示す。 入力ツールによる表面音響信号の周波数特性を例示する図である。 入力ツールによる表面音響信号の周波数特性を例示する図である。 入力ツールによる表面音響信号の周波数特性を例示する図である。 入力ツールによる表面音響信号の周波数特性を例示する図である。 ユーザの入力信号が文字である場合、ユーザの入力信号を識別する例を説明するための図である。 それぞれの直線に対応する表面音響信号の波形の例を示す。 それぞれの直線に対応する表面音響信号の波形の例を示す。 ユーザインタフェース提供装置に２つ以上の音響センサが備えられた場合、取得される表面音響信号の一例を示す図である。 デバイスのケースを例示する図である。 一実施形態に係るデバイスのユーザインタフェース提供方法を示す。 表面音響信号のパターンを分析する過程の例を示す。 他の実施形態に係るユーザインタフェース提供方法を示す。 他の実施形態に係るユーザインタフェース提供方法を示す。

本明細書において、「デバイス」はポータブル装置（Ｐｏｔａｂｌｅ Ｄｅｖｉｃｅ）、電子機器（Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅ）などを包括する概念として用いられる。また、ユーザインタフェース提供装置はデバイスに含まれて構成してもよい。すなわち、ユーザインタフェース提供装置はデバイスのユーザインタフェースを提供する。ここで、デバイスは移動端末、タブレットＰＣ、ポータブルメディアプレーヤー、家電製品など、ユーザの操作が可能な全てのデバイスを含む。

図１は、表面音響信号を用いたインタフェースの拡張例を説明するための図である。図１を参照すると、デバイス１２０は特定媒質を有する物体１１０上にある。物体１１０は、例えば、テーブルや机であってもよい。物体１１０の表面でユーザのジェスチャー（ｇｅｓｔｕｒｅ）に応じて表面音響信号が発生する。ユーザのジェスチャーはドラッギング（ｄｒａｇｇｉｎｇ）、文字入力などの様々なタッチイベントを含む。表面音響信号は媒質の形態とは関係なく伝播され、空気、ガラス、金属、木などの全ての媒質を介して伝えられる特性がある。

図１の例として、ユーザのジェスチャーに応じて発生した表面音響信号はデバイス１２０を操作するための「ユーザの入力信号」に該当し、デバイス１２０はユーザの入力信号に対応する機能を行う。したがって、デバイス１２０は、拡張されたインタフェースを介して「ユーザの入力信号」を取得する機能及びユーザの入力信号を識別する機能を有する。ユーザの入力信号を識別することによって、デバイス１２０はユーザの意図を正確に把握することができる。

図１の例として、デバイス１２０は、表面音響信号を取得するためのセンサ及びユーザの入力信号を識別するように構成された少なくとも１つのプロセッサを含んでもよい。ここで、少なくとも１つのプロセッサは、表面音響信号の特徴を分析して前記表面音響信号のパターンを区分し、前記表面音響信号のパターンに基づいて前記表面音響信号に対応するユーザの入力信号を識別するように構成される。すなわち、ユーザのジェスチャーに応じて発生した表面音響信号は、デバイス１２０を操作するための命令語、文字の入力、その他の機能を実行させるための入力信号として用いられてもよい。

図２は、一実施形態に係るユーザインタフェース提供装置を示す図である。図２に示されたデバイスのユーザインタフェース提供装置２００は、図１に示すデバイス１２０に内蔵された形態で構成されてもよい。

図２を参照すると、ユーザインタフェース提供装置２００は、表面音響信号取得部２１０、パターン認識部２２０及びユーザ入力識別部２３０を備える。また、ユーザインタフェース提供装置２００はパターンモデル格納部２４０をさらに備えてもよい。

表面音響信号取得部２１０は、デバイス外部の媒質（ｍｅｄｉｕｍ）で発生した表面音響信号を取得する。ここで、デバイス外部の媒質は、デバイスと接触する物体によってユーザに提供される拡張されたインタフェースに該当する。また、デバイス外部の媒質は、デバイスの外装ケースを介してユーザに提供される。表面音響信号取得部２１０は少なくとも１つの音響センサを含んで構成してもよい。

パターン認識部２２０は、表面音響信号の特徴を分析して媒質に対応する表面音響信号のパターンを認識する。パターン認識部２２０は、表面音響信号の時間−ドメイン上の特徴または周波数−ドメイン上の特徴のうち少なくとも１つの特徴を抽出する特徴抽出部２２１、及び表面音響信号の時間−ドメイン上の特徴または周波数−ドメイン上の特徴のうち少なくとも１つの特徴に基づいて表面音響信号のパターンを分析するパターン分析部２２３を備えてもよい。また、パターン認識部２２０は、雑音除去、信号増幅及び信号を単純化するための表面音響信号処理部（図示せず）をさらに備えてもよい。前記時間−ドメイン上の特徴は、表面音響信号の振幅、ゼロクロッシングの分布、エネルギーの大きさ、長さ、形態のうち少なくともいずれか１つを含む。

パターン認識部２２０は、「表面音響信号の特徴抽出」、「表面音響信号を発生させたツールの推定」及び「表面音響信号が伝えられる媒質の種類推定」を行う。したがって、パターン認識部２２０は入力ツールまたは入力媒質が変更される場合にも、表面音響信号のパターンを正確に認識することができる。

ユーザ入力識別部２３０は、表面音響信号のパターンに基づいてユーザの入力信号を識別する。ユーザ入力識別部２３０は、表面音響信号のパターンにマッチングされる「最小の意味単位」を区分し、前記「最小の意味単位」に基づいてユーザの入力信号を識別する。また、ユーザ入力識別部２３０はパターン認識部２２０から複数のパターンを順に受信し、前記複数のパターンそれぞれに対応する最小の意味単位を組み合わせて前記ユーザの入力信号を識別する。識別されたユーザの入力信号は、デバイスに備えられた表示部及び制御部に提供される。ユーザの入力信号が文字である場合、ユーザが入力した文字が表示される。ユーザの入力信号が特定機能の実行に該当する場合、制御部は該当機能を実行させる。

パターンモデル格納部２４０は、媒質の種類及び入力ツールの種類に応じて区分された表面音響信号のパターンモデルを格納する。すなわち、パターンモデル格納部２４０には様々な媒質それぞれの表面音響信号のパターンモデル及び様々な入力ツールそれぞれの特徴情報が格納されている。

以下、ユーザインタフェース提供装置２００によって行われる「表面音響信号の特徴抽出」、「表面音響信号を発生させたツールの推定」及び「表面音響信号が伝えられる媒質の種類推定」を詳細に説明する。次に、ユーザインタフェース提供装置２００によって行われる「ユーザの入力信号識別」を詳細に説明する。

＜１．表面音響信号の特徴抽出＞
表面音響信号の特徴抽出は、表面音響信号のパターンを分析するために必要な特徴を表面音響信号から抽出する。一側面において、表面音響信号の特徴抽出は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のようなハードウェア装置、ソフトウェア、またはハードウェア装置に適するようにプログラミングされた手段によって行われてもよい。ただし、説明の便宜上、表面音響信号の特徴抽出は特徴抽出部２２１によって行われると仮定する。

表面音響信号の特徴は、特定の意味を有する「最小の意味単位」に区分され得る。ここで、「最小の意味単位」は、ユーザの入力信号を識別するために必要な最も基本的な形態に対する定義である。「最小の意味単位」は図６に示すように、点、円、直線、アルファベットなどのように最小の意味を有する表面音響信号の単位であってもよい。

表面音響信号は、ユーザが手やペンなどの物を用いて媒質の表面に人為的に音を発生させる過程を介して取得され得る。表面音響信号の特徴を抽出するために、文字のような複雑な形の音を分析し、表面音響信号に対する特徴を抽出して表面音響信号を最小の意味単位に分類する過程が求められる。様々な最小の意味単位それぞれは信号の形態が一定のパターンを有する。したがって、特徴抽出部２２１は表面音響信号から特徴を抽出し、抽出された特徴を用いて最小の意味単位を分類する。

一側面において、最小の意味単位は次の５個の過程によって抽出され得る。
１．取得された表面音響信号を最小の意味単位の信号Ｓを分離する。
２．最小の意味単位の信号ＳをＮ個のフレームに分割する。
３．Ｎ個のフレームそれぞれの特徴値Ｃ_Ｎを抽出し、Ｃ_Ｎを格納する。
４．取得された表面音響信号全体の特徴値Ｃ_Ｔを抽出し、Ｃ_Ｔを格納する。
５．ＤＢに最小の意味単位のパターンモデルを格納する場合、Ｃ_Ｎ及びＣ_Ｔを用いた機械的な学習モデルＭを生成し、ＭをＤＢに格納する。

上記の５個の過程は最小の意味単位のパターンモデルをＤＢに格納するために用いられてもよい。すなわち、最小の意味単位のパターンモデルは、媒質の種類及び表面音響信号の入力ツールごとに区分されてＤＢに格納される。現在の入力される表面音響信号から抽出された特徴をＤＢに格納された「最小の意味単位のパターンモデル」と比較することによって、現在の入力される表面音響信号のパターンが認識される。

上記の５個の過程において、「特徴値」とは、該当信号の時間−ドメイン上の特徴（ｆｅａｔｕｒｅｓ）を時間的に正規化する値である。また、「特徴値」は該当信号の周波数ドメイン上の特徴であってもよい。時間ドメイン上の特徴を周波数ドメイン上の特徴と適切に結合し、様々な機械的な学習方式によって「最小の意味単位のパターンモデル」を生成する。ここで、時間ドメイン上の特徴は、振幅間の標準偏差及び傾き（ｗａｖｅ ｓｌｏｐｅ）、振幅のＤＲ（Ｄｙｎａｍｉｃ Ｒａｎｇｅ）、振幅の分布、ゼロクロッシングの分布及び変化量、エネルギー総量及びエネルギー量変化、信号の長さなどがある。

音響信号は、信号レベルの強弱が存在することから振幅の変化が存在する。サンプリング比率に応じて表面音響信号から離散的な振幅値が取得できる。離散的な振幅値を繋ぐ線分の傾きを求めると、信号レベルの変化を測定することができる。信号の振幅の変化は、媒質上に入力される直線、曲線、折れ線などの識別のための１つの要素として用いられてもよい。

特徴抽出部２２１は、該当信号の振幅の分布によって類似の信号を区分してもよい。例えば、円に対応する信号の振幅の分布は一定の値が続けて維持される形態であってもよい。

ゼロクロッシングの分布は、信号の符号が変わる地点を何個持っているかを意味する。すなわち、１つのフレーム内で信号のレベルが基準点である０と接する地点をゼロクロッシングと定義する。ゼロクロッシングの分布は、該当信号の高周波及び低周波の比率を示す。例えば、時間の長さがＮである場合、ゼロクロッシング分布は数式（１）のように定義される。

特徴抽出部２２１は、ゼロクロッシングの分布、ゼロクロッシングの分布の変化量の推移などを用いて該当信号の固有な特徴を抽出する。特徴抽出部２２１は、該当信号が有するエネルギーの総量を該当信号の特徴として用いてもよい。時間の長さがＮである場合、時間Ｎの間に現れた離散信号Ｘ（ｉ）のエネルギーの総量は数式（２）の通りである。

また、特徴抽出部２２１は、数個のフレームそれぞれのエネルギーの量を該当信号の特徴として用いてもよい。

特徴抽出部２２１は、該当信号の長さを用いて信号を区別してもよい。信号の長さの単位は時間を用いる。例えば、点と円は信号の長さが明確に異なる。すなわち、特徴抽出部２２１は、表面音響信号の取得が開始する時間と表面音響信号の取得が終了する時間を表面音響信号の長さとして決定してもよい。

信号の時間−ドメイン上の特徴は基準時間の単位で正規化され、正規化された値はＤＢに格納される。信号の時間−ドメイン上の特徴を正規化してＤＢに格納すると、格納されるデータの大きさを減らし得る。例えば、長い直線と短い直線は先に直線に該当する特徴を認識した後、次に長さ情報を用いて相対的な長さを測定する。

該当信号の周波数ドメイン上の特徴は、フーリエ変換、スペクトル分析などを介して把握できる。

＜２．表面音響信号が伝えられる媒質の種類推定＞
媒質の種類推定は、表面音響信号から抽出された特徴をパターンモデルと比較する過程である。ユーザが表面音響信号を生成するとき使用する入力媒質は単一媒質（例えば、ガラス）と複合媒質（例えば、机）に区分してもよい。表面音響信号の形態変化は、センサの種類だけではなく媒質面の凹凸の程度に応じて極めて大きい場合もある。媒質の種類推定は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のようなハードウェア装置、ソフトウェア、またはハードウェア装置に適するようにプログラミングされた手段によって行われてもよい。ただし、説明の便宜上、表面音響信号の特徴抽出はパターン認識部２２０によって行われると仮定する。

パターン認識部２２０はテスト信号を用いて前記媒質の種類を判断し、前記媒質の種類を考慮して前記表面音響信号のパターンを認識する。例えば、媒質の種類は次の３つの過程によって推定されてもよい。
１．テスト信号を発生させる。
２．デバイスに接触した媒質を介して伝播する表面音響信号を取得する。
３．上記の２で取得された表面音響信号の特徴とマッチングされる媒質をＤＢから探す。

テスト信号はデバイスに内蔵されたスピーカまたは振動発生装置を介して発生することがある。ここで、テスト信号は、短い周期を有する一定の信号レベルの音響信号または振動であってもよい。テスト信号に対応する表面音響信号は、デバイスに内蔵されたマイク及び圧電センサを用いて取得され得る。

パターン認識部２２０は上記の２で取得された表面音響信号の周波数の分布範囲、振幅、伝達速度などを算出し、算出された情報をＤＢに格納されたモデルと比較することによってデバイスに接触した媒質の種類を推定する。一方、パターン認識部２２０は、上記の２で取得された表面音響信号の特徴とマッチングされるモデルがない場合、最も近接したモデルをデバイスに接触した媒質として判断する。

媒質の種類推定を周期的に行う場合、実質的にリアルタイムに近い媒質の変化推定が可能である。

＜３．表面音響信号を発生させたツールの推定＞
表面音響信号を発生させたツールの推定はユーザの入力ツールを推定することにある。ここで、入力ツールは、指、ペン、スタイラス、その他のツールのいずれか１つであってもよい。すなわち、ユーザは指やスタイラスなどの様々な入力ツールによってデバイスを操作してもよい。入力ツールの推定はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のようなハードウェア装置、ソフトウェア、または、ハードウェア装置に適するようにプログラミングされた手段によって行われてもよい。ただし、説明の便宜上、入力ツールの推定はパターン認識部２２０によって行われるものと仮定する。

パターン認識部２２０は、表面音響信号の周波数−ドメイン特性に基づいて前記表面音響信号を発生させたツールを推定し、前記表面音響信号の発生ツールを考慮して表面音響信号のパターンを認識する。

信号の周波数特性は様々な方式によって抽出される。例えば、周波数特性は、該当信号を離散フーリエ変換（ＤＦＴ）することによって抽出してもよい。また、信号の周波数特性は、該当信号の「Ｔｏｔａｌ Ｐｏｗｅｒ Ｓｐｅｃｔｒｕｍ」、「サブバンドパワー」、「中心周波数」、「帯域幅」、「スペクトルフラックス」などを用いて抽出される。入力ツールごとの周波数特性は機械的な学習によってＤＢに格納されてもよい。

入力ツール別の周波数−ドメイン特性の様々な例は図７Ａ乃至図７Ｄを参照して詳細に説明する。

＜４．ユーザの入力信号識別＞
ユーザの入力信号識別は、ユーザの意図またはユーザのジェスチャーを区分するためのものである。ユーザの入力信号は単純なドラッギング、文字入力、タップ（ｔａｐ、媒質を軽く打つこと）、特定のタッチイベントなどがある。ユーザの入力信号を識別することによってデバイスは様々な機能を行うことができる。

例えば、ユーザがデバイスに接触している外部媒質の表面を左側から右側にドラッギングすれば、デバイスの特定機能が実行されるように設定されてもよい。ここで、ドラッギングの方向は、表面音響信号の進行方向を推定することによって識別され得る。表面音響信号の進行方向推定は、１つの音響センサまたは複数の音響センサによって識別される。すなわち、表面音響信号のパターンは表面音響信号の進行方向に関する情報を含む。ユーザ入力識別部２３０は、表面音響信号の進行方向に関する情報に基づいて前記ユーザの入力信号を識別することができる。

例えば、ユーザがデバイスに接触している外部媒質の表面で文字を入力する場合、文字は「最小の意味単位」によって識別され得る。

図３は、図１及び図２で表面音響信号取得部２１０の構成例を示す図である。図３を参照すると、表面音響信号取得部２１０は、図３に示すように媒質接触部３１１及び音響センサ３１３を含んで構成される。

媒質接触部３１１は、物体１１０に接触して表面音響信号を受信する。媒質接触部３１１は、物体１１０に密着できる様々な材質から構成されてもよい。

音響センサ３１３は表面音響信号をデジタル信号に変換する。音響センサ３１３の種類として、コンデンサ型マイクロホン、エレクトロニック型マイクロホン、圧電型センサ及び超音波センサがある。コンデンサ型マイクロホンとエレクトロニック型マイクロホンは騒音センサとして、空気のような媒質を介して伝えられる音響の圧力による程度を電気的な信号に変換するセンサである。圧電型（ｐｉｅｚｏ−ｅｌｅｃｔｒｏｎｉｃ）センサは振動センサとして、人や物体などによって発生する振動から取得された圧力を電気的な信号に変換するセンサである。超音波センサは、人の耳では聴くことのできない超音波をセンシングして音響信号の距離や位置を判別するセンサである。

図４は、他の実施形態に係るユーザインタフェース提供装置の構成を示す。図４を参照すると、ユーザインタフェース提供装置４００は、表面音響信号取得部４１０、音響信号処理部４２０、特徴抽出部４３０、データベース（ＤＢ：ＤａｔａＢａｓｅ）４４０、パターン判断部４５０、時間信号算出部４６０及びユーザ入力識別部４７０を備える。

表面音響信号取得部４１０は図２に示す表面音響信号取得部２１０と同一の機能を行う。

音響信号処理部４２０は表面音響信号の雑音を除去した後、雑音の除去された表面音響信号の波形を単純化する。音響信号処理部４２０は増幅器４２１、フィルタ４２３及び単純化部４２５を備えてもよい。増幅器４２１は取得された表面音響信号を増幅する。フィルタ４２３は、増幅された表面音響信号を特定の周波数帯域ごとに選別的にフィルタリングし、増幅された表面音響信号に追加された雑音を除去する。例えば、フィルタ４２３は、表面音響信号の最大周波数の大きさ（例えば、３ＫＨｚ）以上の信号は雑音と見なして雑音を除去する。単純化部４２５は、雑音の除去された表面音響信号をリアルタイムでより多く処理するために単純化する。図５Ａで示された信号はフィルタ４２３から出力される表面音響信号であり、図５Ｂに示された信号は単純化された表面音響信号の一例を示す。図５Ａおよび図５Ｂにおける「振幅」は信号の強弱または高低を示し、「ｔ」は時間である。単純化部４３５は信号の高低を判断して信号を単純化する。

音響信号処理部４２０は、単純化された表面音響信号を特徴抽出部４３０で出力し、表面音響信号取得部４１０の角度センサで取得される表面音響信号を時間信号算出部４６０に出力してもよい。

特徴抽出部４３０は、「１．表面音響信号の特徴抽出」を行う。すなわち、特徴抽出部４３０は図２に示された特徴抽出部２２１と同一の機能を行ってもよい。

データベース（ＤＢ：Ｄａｔａｂａｓｅ）４４０は、表面音響信号のパターン認識及びユーザの入力信号識別に必要な全てのパターンモデルを格納している。例えば、「１．表面音響信号の特徴抽出」で記述された、「最小の意味単位のパターンモデル」及び「機械的な学習モデルＭ」はＤＢ４４０に格納されてもよい。ここで、ＤＢ４４０に格納されるパターンモデルは入力ツールごとに区分されて格納される。また、ＤＢ４４０に格納されるパターンモデルは、媒質の種類ごとに区分されて格納される。したがって、特徴抽出部４３０は、入力ツール推定−入力媒質推定−特徴抽出の順で動作する。同様に特徴抽出部４３０は、入力媒質推定−入力ツール推定−特徴抽出の順で動作してもよい。

表１はデータベース（ＤＢ：Ｄａｔａｂａｓｅ）４４０に格納されたパターンモデルのルックアップテーブルの例を示す。

表２は識別されたユーザの入力信号に対応するデバイスの該当機能に対するルックアップテーブルの例を示す。

パターン判断部４５０は、図２のパターン分析部２２３に類似の機能を行ってもよい。また、パターン判断部４５０は「２．表面音響信号が伝えられる媒質の種類推定」及び「３．表面音響信号を発生させたツールの推定」を行う。

時間信号算出部４６０は、表面音響信号取得部４１０が少なくとも２つ以上のセンサを含む場合、表面音響信号がそれぞれのセンサに到達する時間差を算出する。時間信号算出部４６０で算出される時間差は表面音響信号の進行方向を探索するために用いられる。

ユーザ入力識別部４７０は、図２に示すユーザ入力識別部２３０と同一の機能を行ってもよい。

図５Ａ及び図５Ｂは、図４に示すフィルタ４２３及び単純化部４２５から出力される信号の例を示す図である。

図５Ａに示された信号はフィルタ４２３から出力される表面音響信号であり、図５Ｂに示された信号は単純化された表面音響信号の一例を示す。図５Ａおよび図５Ｂにおける「振幅」は信号の強弱または高低を示し、「ｔ」は時間である。単純化部４３５は信号の高低を判断して信号を単純化する。

図６は、「最小の意味単位」に対する例を示す。図６に示された最小の意味単位は表面音響信号のパターンを認識したり、ユーザの入力信号を識別するために用いられてもよい。例えば、図２のパターン認識部２２０は表面音響信号から最小の意味単位を区分し、ユーザ入力識別部２３０は最小の意味単位を組み合わせてユーザの入力信号を識別する。ユーザが媒質表面に

を順に入力した場合、ユーザ入力識別部２３０はユーザの入力信号が「Ｍ」であることを識別する。

図７Ａ乃至図７Ｄは、入力ツールに係る表面音響信号の周波数特性を例示する図である。

入力ツールは種類の特性に応じて信号波形の大きさ、エネルギー、周波数分布などが変わる。

図７Ａはユーザがペン（ｐｅｎ）を用いて媒質の表面に円を描いた場合の周波数特性を示す。図７Ｂはユーザが指を用いて媒質の表面に円を描いた場合の周波数特性を示す。図７Ｃは指を用いて直線を描いた場合の周波数特性である。図７Ｄはペンを用いて直線を描いた場合の周波数特性である。図７Ａ乃至図７Ｄの例として媒質は固定されていると仮定する。

図８は、ユーザの入力信号が文字である場合、ユーザの入力信号を識別する例を説明するための図である。図８を参照すると、「Ａ」は２つの長い直線８０１、８０３が入力された後、長い直線に比べて相対的に短い１つの直線８０５が入力される順に表現され、「Ｈ」は長い直線８０７、短い直線８０９、長い直線８１１の順に入力される。このような最小の意味単位（直線）が入力される順を示すパターンが文字を識別するために用いられる。ユーザが「Ｆ」を入力した場合、ユーザ入力識別部２３０、４７０は、直線８１３、８１５、８１７の長さ及び順序を組み合わせてユーザの入力信号を識別する。

図９及び図１０は、それぞれの直線に対応する表面音響信号の波形の例を示す。

図９は、直線が音響センサの近い部分から始まって遠い部分で終了した場合である。すなわち、図９は、表面音響信号の進行方向が音響センサを基準にして遠くなる場合である。本明細書において、「表面音響信号の進行方向」は直線の進行方向と同一な意味で使用することにする。

図１０は、直線が音響センサの遠い部分から始まって近い部分で終了した場合である。すなわち、図１０は、表面音響信号の進行方向が音響センサを基準にして近づく場合である。

図９及び図１０を参照すると、直線の進行方向に応じて表面音響信号の波形は互いに対称的な形態を有する。したがって、ユーザインタフェース提供装置に１つの音響センサが備えられた場合、波形の相対的な形態によって表面音響信号の進行方向を識別する。ユーザインタフェース提供装置に２つ以上の音響センサが備えられた場合、より正確に表面音響信号の進行方向を推定することができる。

図１１は、ユーザインタフェース提供装置に２つ以上の音響センサが備えられた場合、取得される表面音響信号の一例を示す図である。図１１を参照すると、ａの位置で指で音を出した場合、角度センサ１１１０、１１２０、１１３０、１１４０に受信される表面音響信号の到達時点が異なる。角度センサ１１１０〜１１４０は表面音響信号取得部４１０に備えられるマイクロホンであってもよい。時間信号算出部４６０は、複数のセンサ１１１０〜１１４０を用いて表面音響信号の位置を推定する。時間信号算出部４６０は、複数のセンサ１１１０〜１１４０間の到着遅延時間を算出して候補位置区間を把握した後、候補位置についてのみ位置探索できる。候補位置区間は表面音響信号が発生した位置である。

または、算出量を最小化するために時間信号算出部４６０は、下方右側センサ１１２０が最も最初に表面音響信号をセンシングしたことをユーザ入力信号識別部４７０に通知する。図１１において、下方右側のセンサ１１２０によって検出された表面音響信号のピーク（ｐｅａｋ）が最も最初に検出されたため、時間信号算出部４６０はセンサ１１２０が表面音響信号を最も最初に取得したと判断する。

ユーザ入力信号識別部４７０は、順次判断されるパターンまたは最小の意味単位を組み合わせてユーザ入力信号を識別する。また、ユーザ入力信号識別部４７０は、時間信号算出部４６０で算出された時間差を用いて表面音響信号の進行方向を判断する。

一方、センサが２つ備えられて２チャネルが形成された場合、ユーザ入力信号識別部４７０は、表面音響信号が右側または左側で発生したかを判断する。例えば、センサが右側と左側に備えられた場合、右側センサで取得された表面音響信号の振幅（すなわち、音の大きさ）は次第に小さくなり、左側センサで取得された表面音響信号の振幅は次第に大きくなれば、ユーザ入力信号識別部４７０はユーザが右側から左側方向にドラッギングしたものと判断する。

一方、センサが４個備えられて４チャネルが形成された場合、ユーザ入力信号識別部４７０は、時間信号算出部４６０で算出された時間信号を用いてパターン（または、最小の意味単位）の方向を判断する。ユーザ入力信号識別部４７０は、時間信号算出部４６０から入力される時間差情報を用いて表面音響信号の進行方向と２次元座標を判断する。例えば、ユーザ入力信号識別部４７０は、図１１に示すセンサ１１１０の位置を基準座標（０、０）に決定し、表面音響信号の発生位置に対する２次元座標と方向を判別する。

または、４チャネルの場合、ユーザ入力信号識別部４７０は、最も最初に表面音響信号をセンシングしたセンサの位置を用いて表面音響信号の進行方向を判断する。例えば、ユーザ入力信号識別部４７０は、図１１に示すセンサ１１２０の位置を東西南北に表示し、表面音響信号の進行方向を判断する。

図１２は、デバイスのケースを例示した図である。ケースはプラスチック、金属、紙などの材質で製造されてもよい。センサ（ｓ）とユーザインタフェース提供装置２００、４００はケースの内部に付着され、ユーザはケースの外部表面にタッチイベントを発生させることによって、表面音響信号を発生させ得る。

図１３は一実施形態に係るデバイスのユーザインタフェース提供方法を示す。図１３を参照すると、ステップＳ１３１０において、ユーザインタフェース提供装置は表面音響信号を取得する。

ステップＳ１３２０において、ユーザインタフェース提供装置は、表面音響信号の時間−ドメイン上の特徴、または周波数−ドメイン上の特徴のうち少なくとも１つの特徴を抽出する。すなわち、ユーザインタフェース提供装置は「１．表面音響信号の特徴抽出」を行う。ここで、前記時間−ドメイン上の特徴は、前記表面音響信号の振幅、ゼロクロッシングの分布、エネルギーの大きさ、長さ、形態のうち少なくともいずれか１つを含む。

ステップＳ１３３０において、ユーザインタフェース提供装置は、前記時間−ドメイン上の特徴、または周波数−ドメイン上の特徴のうち少なくとも１つの特徴に基づいて表面音響信号のパターンを分析する。ステップＳ１３３０は図１４の具体的なステップを含む。すなわち、ユーザインタフェース提供装置は、まずテスト信号を用いて前記媒質の種類を判断し（Ｓ１４３１）、表面音響信号の周波数−ドメイン特性に基づいて表面音響信号を発生させたツールを推定し（Ｓ１４３３）、媒質の種類及び表面音響信号を発生させたツールを考慮して前記表面音響信号のパターンを認識する（Ｓ１４３５）。

ステップＳ１３４０において、ユーザインタフェース提供装置は、前記表面音響信号のパターンに基づいてユーザの入力信号を識別する。すなわち、ユーザインタフェース提供装置は「４．ユーザの入力信号識別」を行う。一側面において、ステップＳ１３４０は表面音響信号のパターンにマッチングされる最小の意味単位を区分し、最小の意味単位に基づいて前記ユーザの入力信号を識別する過程を含んでもよい。また、他の側面において、ステップＳ１３４０は複数のパターンを順に受信し、前記複数のパターンそれぞれに対応する最小の意味単位を組み合わせて前記ユーザの入力信号を識別する過程を含んでもよい。

図１５は他の実施形態に係るユーザインタフェース提供方法を示す。図１５を参照すると、ステップＳ１５１０において、ユーザインタフェース提供装置は、デバイスの外部媒質からユーザの入力信号を受信する外部入力モードを実行させる。ここで、「外部入力モード」は、例えば、図１の外部物体１２０によってデバイス１２０を操作できるモードを意味する。デバイスは、外部入力モードが実行されれば、非活性状態にある音響センサを活性化する。外部入力モードの実行は、デバイスが前記デバイスの外部媒質と接触したり、モードの切り替えに対する制御信号によってトリガーリングされてもよい。

ステップＳ１５２０において、ユーザインタフェース提供装置は、デバイスの外部媒質から表面音響信号が受信されるかを判断する。

前記デバイスの外部媒質から表面音響信号が受信されれば、ステップＳ１５３０において、ユーザインタフェース提供装置は、表面音響信号の特徴を分析して媒質に対応する前記表面音響信号のパターンを認識する。

ステップＳ１５４０において、ユーザインタフェース提供装置は、表面音響信号のパターンに基づいてユーザの入力信号を識別する。

図１６は他の実施形態に係るユーザインタフェース提供方法を示す。図１６を参照すると、ステップＳ１６１０において、ユーザインタフェース提供装置は、前記デバイスの外部媒質からユーザの入力信号を受信する外部入力モードを実行させる。一方、ステップＳ１６１０において、ユーザインタフェース提供装置はテスト信号を発生させ、前記デバイスの外部媒質上におけるテスト信号の特徴を分析し、前記テスト信号の特徴を予め格納されたパターンモデルと比較して媒質の種類を判断する。

ステップＳ１６２０において、ユーザインタフェース提供装置は、デバイスの外部媒質から表面音響信号が受信されるかを判断する。

前記デバイスの外部媒質から表面音響信号が受信されれば、ステップＳ１６３０において、ユーザインタフェース提供装置は表面音響信号の進行方向を判断する。例えば、ユーザインタフェース提供装置はユーザのドラッギング方向を判断する。ここで、表面音響信号の進行方向は、「前記表面音響信号の波形の形」、「第１音響センサで受信される第１表面音響信号及び第２音響センサで受信される第２表面音響信号の受信時間の差」、「前記第１表面音響信号及び前記第２表面音響信号の大きさ変化」の少なくともいずれか１つによって判断され得る。

ステップＳ１６４０において、ユーザインタフェース提供装置は、表面音響信号の進行方向に対応するデバイスの機能を実行させる。例えば、デバイスの設定に応じて音楽または動画を再生するアプリケーションが実行された後、特定方向のドラッギングが入力されれば、音楽または動画が再生することも可能である。

本発明の実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などの単独または組み合わせたものを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コード（ｍａｃｈｉｎｅ ｃｏｄｅ）だけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コード（ｈｉｇｈｅｒ ｌｅｖｅｌ ｃｏｄｅ）を含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアのレイヤで動作するように構成されてもよい。

上述したように本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定して定められるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

Claims (25)

1. デバイスのユーザインタフェース提供装置において、
   前記デバイス外部の媒質で発生した表面音響信号を取得する表面音響信号取得部と、
   前記表面音響信号の特徴を分析して前記媒質に対応する前記表面音響信号のパターンを認識するパターン認識部と、
   前記表面音響信号のパターンに基づいてユーザの入力信号を識別するユーザ入力識別部と、
   を備えることを特徴とするユーザインタフェース提供装置。
2. 前記デバイス外部の媒質は、前記デバイスと接触する物体によって前記ユーザに提供されることを特徴とする請求項１に記載のユーザインタフェース提供装置。
3. 前記表面音響信号取得部は、
   前記物体に接触して前記表面音響信号を受信する媒質接触部と、
   前記表面音響信号をデジタル信号に変換する音響センサと、
   を備えることを特徴とする請求項２に記載のユーザインタフェース提供装置。
4. 前記デバイス外部の媒質は、前記デバイスの外装ケースを介して前記ユーザに提供されることを特徴とする請求項１に記載のユーザインタフェース提供装置。
5. 前記パターン認識部は、
   前記表面音響信号の時間−ドメイン上の特徴、または周波数−ドメイン上の特徴のうち少なくとも１つの特徴を抽出する特徴抽出部と、
   前記時間−ドメイン上の特徴、または周波数−ドメイン上の特徴のうち少なくとも１つの特徴に基づいて前記表面音響信号のパターンを分析するパターン分析部と、
   を備えることを特徴とする請求項１に記載のユーザインタフェース提供装置。
6. 前記時間−ドメイン上の特徴は、前記表面音響信号の振幅、ゼロクロッシングの分布、エネルギーの大きさ、長さ、形態のうち少なくともいずれか１つを含むことを特徴とする請求項５に記載のユーザインタフェース提供装置。
7. 前記パターン認識部は、テスト信号を用いて前記媒質の種類を判断し、前記媒質の種類を考慮して前記表面音響信号のパターンを認識することを特徴とする請求項１に記載のユーザインタフェース提供装置。
8. 前記パターン認識部は、前記表面音響信号の周波数−ドメイン特性に基づいて前記表面音響信号を発生させたツールを推定し、前記表面音響信号の発生ツールを考慮して前記表面音響信号のパターンを認識することを特徴とする請求項１に記載のユーザインタフェース提供装置。
9. 前記ユーザ入力識別部は、前記表面音響信号のパターンにマッチングされる最小の意味単位を区分し、前記最小の意味単位に基づいて前記ユーザの入力信号を識別することを特徴とする請求項１に記載のユーザインタフェース提供装置。
10. 前記パターン認識部から複数のパターンを順に受信し、前記複数のパターンそれぞれに対応する最小の意味単位を組み合わせて前記ユーザの入力信号を識別することを特徴とする請求項１に記載のユーザインタフェース提供装置。
11. 前記パターンは前記表面音響信号の進行方向に関する情報を含み、前記ユーザ入力識別部は、前記表面音響信号の進行方向に関する情報に基づいて前記ユーザの入力信号を識別することを特徴とする請求項１に記載のユーザインタフェース提供装置。
12. 媒質の種類及び入力ツールの種類に応じて区分された前記表面音響信号のパターンモデルを格納するパターンモデル格納部をさらに備えることを特徴とする請求項１に記載のユーザインタフェース提供装置。
13. 前記ユーザの入力信号は、前記媒質の表面上から入力される文字、図形、ドラッギング、タッチイベントのうち少なくとも１つを含むことを特徴とする請求項１に記載のユーザインタフェース提供装置。
14. デバイスのユーザインタフェース提供方法において、
    表面音響信号を取得するステップと、
    前記表面音響信号の時間−ドメイン上の特徴、または周波数−ドメイン上の特徴のうち少なくとも１つの特徴を抽出するステップと、
    前記時間−ドメイン上の特徴、または周波数−ドメイン上の特徴のうち少なくとも１つの特徴に基づいて前記表面音響信号のパターンを分析するステップと、
    前記表面音響信号のパターンに基づいてユーザの入力信号を識別するステップと、
    を含むことを特徴とするユーザインタフェース提供方法。
15. 前記表面音響信号のパターンを分析するステップは、
    テスト信号を用いて前記媒質の種類を判断するステップと、
    前記表面音響信号の周波数−ドメイン特性に基づいて前記表面音響信号を発生させたツールを推定するステップと、
    前記媒質の種類及び前記表面音響信号を発生させたツールを考慮して前記表面音響信号のパターンを認識するステップと、
    を含むことを特徴とする請求項１４に記載のユーザインタフェース提供方法。
16. 前記識別するステップは、
    複数のパターンを順に受信するステップと、
    前記複数のパターンそれぞれに対応する最小の意味単位を組み合わせて前記ユーザの入力信号を識別するステップと、
    を含むことを特徴とする請求項１４に記載のユーザインタフェース提供方法。
17. デバイスのユーザインタフェース提供方法において、
    前記デバイスの外部媒質からユーザの入力信号を受信する外部入力モードを実行させるステップと、
    前記デバイスの外部媒質から表面音響信号が受信されれば、前記表面音響信号の特徴を分析して前記媒質に対応する前記表面音響信号のパターンを認識するステップと、
    前記表面音響信号のパターンに基づいてユーザの入力信号を識別するステップと、
    を含むことを特徴とするユーザインタフェース提供方法。
18. デバイスのユーザインタフェース提供方法において、
    前記デバイスの外部媒質からユーザの入力信号を受信する外部入力モードを実行させるステップと、
    前記デバイスの外部媒質から表面音響信号が受信されれば、前記表面音響信号の進行方向を判断するステップと、
    前記表面音響信号の進行方向に対応する前記デバイスの機能を実行させるステップと、
    を含むことを特徴とするユーザインタフェース提供方法。
19. 前記表面音響信号の進行方向は、「前記表面音響信号の波形の形」、「第１音響センサで受信される第１表面音響信号及び第２音響センサで受信される第２表面音響信号の受信時間の差」、「前記第１表面音響信号及び前記第２表面音響信号の大きさ変化」のうち少なくともいずれか１つによって判断されることを特徴とする請求項１８に記載のユーザインタフェース提供方法。
20. ユーザインタフェースを備えたデバイスにおいて、
    前記デバイスの外部で発生した表面音響信号を取得するセンサと、
    前記表面音響信号の特徴を分析して前記表面音響信号のパターンを区分し、前記表面音響信号のパターンに基づいて前記表面音響信号に対応するユーザの入力信号を識別するように構成された少なくとも１つのプロセッサと、
    を含むことを特徴とするユーザインタフェースを備えたデバイス。
21. デバイスのユーザインタフェース提供方法において、
    デバイスの外部でユーザによって発生した音響信号を取得するステップと、
    前記音響信号を分析するステップと、
    前記分析された音響信号に基づいてユーザの入力信号を識別するステップと、
    を含むことを特徴とするデバイスのユーザインタフェース提供方法。
22. 前記音響信号は、媒質と前記ユーザの手の接触によって発生することを特徴とする請求項２１に記載のデバイスのユーザインタフェース提供方法。
23. 前記音響信号は、媒質と前記ユーザによって用いられたツールの接触によって発生することを特徴とする請求項２１に記載のデバイスのユーザインタフェース提供方法。
24. 前記音響信号は、前記デバイスがユーザによって接触された媒質に接触した状態で取得されることを特徴とする請求項２１に記載のデバイスのユーザインタフェース提供方法。
25. 前記音響信号は表面音響信号であることを特徴とする請求項２１に記載のデバイスのユーザインタフェース提供方法。

Images