JP2010507163A - 表面へのインタラクションを使用した電子的システム制御 - Google Patents

Abstract

【課題】
単純なジェスチャ、例えば表面（１０）のストロークまたはタップを用いて、電子的なシステム（１６）の共通の機能を制御する。
【解決手段】
本発明は、１つ以上のセンサ（１２）を表面上に設置し、表面に対するインタラクションによって発生する音を検出することによって行われる。検出された音に対応する信号は、制御されるシステム内またはセンサ内などでフィルタリングされ、認識される。表面をストロークする手（１８）の移動方向は、パラメータを増減させるコマンドとして解釈される。たとえば、テレビの音量のボリュームの制御に利用できる。ユーザの手の位置の検出は不要である。したがって、装置は単純で、安価で、安定しており、かつ単独で用いられる。そして、インストールに要する作業は最小限であり、制御されるシステムが特定のものに限定されない。

Description

本発明は、電子的なシステムの制御に関する。より詳細には、電子的システムを制御するために、表面の物理的なインタラクションを用いた発明に関する。

現在、電子的なシステムを用いた大部分のインタラクションは、ユーザがある種の制御装置（例えばキーボード、マウスまたはリモートコントロール）を扱うことを必要とする。

この種の制御装置の不利な点としては、しばしばユーザの都合のよい位置に存在しないことがあるということである。あるいは、装置は、煩わしいものであり、例えば家庭内あるいはオフィス環境が乱雑になる原因となる。

加えて、かかる装置は、しばしば特定の電子的なシステムまたは特定のタイプのシステムだけに用いられる。非特許文献１には、例えばテーブルの各隅に取り付けられる負荷を検知する家具が開示されている。テーブルの各隅の負荷を測定することによって、卓上の重心が測定される。重心がどのように移動するかを観察することによって、テーブルの表面を使った物理的なインタラクションが検出できる。これによって、テーブルの表面全体の指の動きを電子的に追うことに利用することができる。かかる移動は、装置（例えばコンピュータ・モニタ用のマウス・ポインタ）を制御するために用いることができる。

しかしながら、かかる技術は、家具を特別に適応させなければならず、表面の下の適切な位置にセンサを設置することが必要となる。

"Ｂｕｉｌｄｉｎｇ Ｉｎｔｅｌｌｉｇｅｎｔ Ｅｎｖｉｒｏｎｍｅｎｔｓ ｗｉｔｈ Ｓｍａｒｔ−Ｉｔｓ"， ｐ５６−６４， ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｊａｎｕａｒｙ／Ｆｅｂｒｕａｒｙ ２００４

本発明の目的は、装置を電子的な制御をするためのシステムを提供することである。装置は、使いやすくするために、じゃまにならず、便利な位置に設置される。インストールの手間は最小限であり、電子的なシステムの作動範囲を制御することに適している。

この目的は、電子的なシステムの制御のための制御装置に係る本発明によって達成される。

本発明の装置は、
表面の上または近傍に置かれ、前記表面に対する物理的なインタラクションによる音を検出するためのマイクロホンを有する、センサ；および
前記マイクロホンで検出された音を前記システムによって認識され得る１つ以上のコマンドに変換するための変換手段、を有し、
前記表面に対する物理的なインタラクションが前記システムの動作を制御する。

このセンサは、表面の上または近傍に置かれる。好ましい実施例において、センサは、表面の見えにくい位置に配置される。前記表面を有する家具を調整する必要はない。センサは、表面に対する物理的なインタラクションによって生じる音を、マイクロホンを介して検出する。その後、検出された音は、変換手段によって１つ以上のコマンドに変換される。これらのコマンドは、システムによって判別可能であり、かつ、システムの動作を制御するために用いられる。このように、システムの動作は、表面に対する物理的なインタラクションで制御される。かかる制御装置の効果は、システムを制御するために明示的な制御装置（例えば、キーボード、マウスまたはリモートコントロール）を必要としないということである。

実施例において、前記変換手段は、制御される前記システム内に、１つ以上のソフトウェア・モジュールを有する。例えば、ソフトウェア・モジュールの各々は、物理的なインタラクション（例えばダブルタップ）を認識し、この物理的なインタラクションを特定の制御機能に変換するようにプログラムされる。

好ましい実施例において、前記変換手段は、前記センサの内に位置する。この効果は、制御装置が、スタンドアローンで利用でき、システムが制御装置によって制御されるために適応する必要はないということである。

好ましい実施例において、前記センサは、電子的プロセッサを有する。電子的プロセッサの１つの機能は、検出された音の認識を実行することである。たとえば、フィルタリング、音量の検出である。その後、認識されたコマンドがシステムに転送される。加えて、このプロセッサは、実施例で言及している他の機能を実行することができる。

好ましい実施例において、制御装置は、複数のセンサを有する。かかる装置の効果は、複数のセンサが、異なる方向の運動を検出できるということである。したがって、これはコマンドの数を増加させる。これは表面に対するユーザの物理的なインタラクションによって与えられる。

好ましい実施例において、前記センサの各々は、前記システムが制御されていることの確認を示すためのインジケータを有する。表面に対する物理的なインタラクションによる制御命令が制御対象によって適切に受け取られていることを知ることは、便利であり、安心である。

実施例において、インジケータは、スピーカを有する。これは、都合よくインジケータを実現するためである。インジケータは、例えば小さいスピーカを用いて振動または音を提供することができる。

実施例において、スピーカは、マイクロホンを有する。スピーカをマイクロホンとして使用することは有利である。これによって、制御装置を構成する部品点数を減少させることができる。

１つの好ましい実施形態において、制御されるシステムは、コンピュータを有する。

さらに、本発明は、電子的に検出され、システムに認識されるコマンドに変換される音を発生させるために、表面に対して物理的にインタラクションを行うステップ、を有する電子的なシステムを制御する方法を含む。

本発明の実施例は、電子的なシステムの共通機能を制御するために、単純なジェスチャ、例えば表面に対するタップやストロークが利用できる。その際、１つ以上のセンサを表面に置き、表面に対するインタラクションによって生じる音を検出する。検出音に対応する信号は、制御されるシステム、または、それ以外には、センサ自体においてフィルタリングされ認識される。表面をストロークする手の移動方向は、例えばパラメータ（例えば、テレビジョンの音量レベル）を増減させることとして認識され得る。ユーザの手の位置の検出は、不要である。したがって、装置は単純で、安価で、安定しており、そして、インストールに要する作業は最小限であり、制御されるシステムが特定のものに限定されない。以下、添付する図を参照して本発明の好ましい実施例について説明する。

本発明の第１の実施例に係る制御装置の図である。 本発明の第２実施例に係る制御装置の図である。 本発明の第３実施例に係る制御装置の図である。 図３に係る制御装置の他の実施例の図である。

［好ましい実施例の詳細な説明］
図１を参照すると、ワイヤ１４によって電子装置に接続されたセンサ１２がテーブルの表面に置かれている模式的な図が示されている。制御されている電子装置は、この場合コンピュータ１６である。センサ１２には、コンタクトマイクロフォン（図示せず）を有する。コンタクトマイクロフォンは、ユーザの手１８でテーブル上をストロークするかタップすることによって発せられる音を検出する。マイクロホンが音を検出することによって生成されるアナログの電気的信号は、それがデジタル信号に変換され、ワイヤ１４によってコンピュータ１６に転送され、適切なソフトウェアを用いた変換モジュール（図示せず）によって認識される。変換モジュールは、モニタ１６のためのユーザーコマンドとしてセンサ１２によって検出される異なる音を認識する。例えば、「ボリューム上／下」、「ページの次／前」が挙げられる。

都合のよいことに、ユーザの手の絶対位置は、電子装置を制御する処理とは無関係である。（ユーザの手の絶対位置の検出はより複雑な装置を必要とする。）マイクロホンが検出しなければならないものは、表面に沿ってストロークするユーザの手の運動方向である。

テーブル面をストロークするユーザの指が、センサ１２の方向へ移動するにつれて、センサ１２のコンタクトマイクロフォンの検出する音のレベルは増加する。逆に、ユーザのストロークする指がコンタクトマイクロフォンのセンサ１２から遠ざかると、検出される音のレベルは減少する。このようにして、表面を使った単純なインタラクションが、装置１６を制御するためのコマンドと解釈される。

図２は、第２センサ２０が追加された制御装置の第２実施例を示す。第２センサ２０には、第２のコンタクトマイクロフォン（図示せず）が含まれ、同様にワイヤによってコンピュータ１６に接続されている。

第２センサを追加することにより、差動検出がなされ、装置の安定性が増加する。特に、ある程度、バックグラウンドすなわち周囲の音が両方のマイクロホンによって共通に検出される。この音は、センサからの信号を処理する過程において、適切な差を演算する技術によってフィルタリングすることができる。テーブル面１０のユーザのインタラクションの結果、マイクロホンによって検出される補完的な音がより正確に検出できる。

マイクロホンからの信号の処理の一例としては、一方の信号を他方の信号から引いてｊωρによって割ることである。すなわち、以下の式のようになる。
ｖ（ｔ）＝（ｐ１（ｔ）―ｐ２（ｔ））／（ｊωρ）
ここでｖ（ｔ）は、速度の予測ベクトルである。また、ｐ１（ｔ）―ｐ２（ｔ）は、マイクロホンの信号である。ｊωは時間微分（differentiate to time operator）を表し、ρは媒体の密度である。これは、ニュートンの法則−ρｄｖ（ｔ）＝ｄｐ（ｔ）／ｄｒに基づく。ここでｒは空間上の位置ベクトルである。

したがって、ｖ（ｔ）の方向は、マイクロホンに対する移動方向を表す。そして、その大きさは速度を表す。

センサを更に追加することによって、異なる方向への運動を検出することができる。これによって、コマンドの数を増加させることができる。このコマンドは、テーブル面を使って、ユーザの物理的なインタラクションによって与えることができる。

マイクロホンの配列として組立てられ、複数のマイクロホンが用いられる場合、マイクロホンの重みを変えることによって、この配列を制御し、あるいは指向性を与えてもよい。これによって、選択された方向の感度を増加させ、不要な方向からの音の感度を減少させることができる。これによって、この装置のノイズに対する感度が減少する。さらに、かかる装置によって、表面上のストロークの方向の検出がより楽になり正確になることが期待できる。

安定性を更に向上させ、例えば、制御を意識していない時のタッチ動作などの周囲の音による予期しない検出を防止するために、タッピングのコードを利用することができる。このコードによって、電子装置１６をコントロールして、目的の領域やウィンドウを広げることができる。例えば、変換モジュールは、テーブル面上のユーザの指のダブルタップによって、制御命令のジェスチャがその後に続くことを意味すると解釈するようにプログラムしてもよい。タッピングコードは、制御される電子装置の機能を変えるために用いることもできる。例えば、テレビジョンを制御する場合、変換モジュールは、ダブルタップを、ボリュームの上下の機能から、チャネルの上下の機能に変更するためのコマンドとして解釈するようにプログラムしてもよい。図３は、図式的に、内蔵の電子プロセッサ（図示せず）を含むセンサ１２および２０に係る本発明の別の実施例を示す。これらは、その装置自身で、検出した音を解析し（フィルタリングおよび音量を検出し）、ワイヤレスで電子装置１６にコマンドを転送する。センサ１２、２０はエネルギー消費を最小化するため、簡便なアルゴリズムを使用してもよく、および／または装置（図示せず）を含んでもよい。この装置は環境からエネルギーを取り出すことが可能である。これによって、バッテリーの寿命をより長くし、かつインストールを単純化することができる。

図４は、ベッド２２の上でテレビを見ているユーザを図式的に示している。図１ないし図３に示したセンサーデバイス（図示せず）を、ベッドフレーム２４に設置する。ユーザは、たとえばベッドの片側に位置するテレビ２６のチャネルまたは音量を、制御することができる。この制御は、単にベッドのフレームに対する物理的な手動のインタラクションだけによって行うことができ、リモコン装置を利用することを必要としない。

更なる実施例（図示せず）において、各センサは、インジケータによって、システムが制御されていることを提示することができる。かかるインジケータは、例えばＬＥＤを利用することによって、可視的な指示を提供することができる。あるいは振動または小さいスピーカを用いて音によって伝達することもできる。都合よく、スピーカは、マイクロホンとして用いることができる。

なお更なる実施例（図示せず）において、機能を強化するためにストロークのジェスチャに音声認識を結合してもよい。なぜなら、マイクロホンは音声を検出できるからである。

本発明の実施例による装置は、既存の表面を使った単純な手動のインタラクションによって、電子的なシステムの多くの共通機能の便利な制御を可能とする。これは、専用のリモートコントロール装置の使用または複雑な装置のインストールを必要とせず、机の表面を乱雑にすることもない。このインタラクティブな解決策は、シンプルであり、物理的なインタラクション（例えばテーブル、ベッドの側面、キッチンカウンタ、机その他の表面上のストローク／タップ）の音を検出するマイクロホンを有する小さい、安価な、無線センサの使用によってなされる。かかる廉価な装置は、家庭、オフィスおよび公共施設において有用である。ユーザは、専用の制御装置を用いることなく、単純なジェスチャによって、多種のシステムおよび装置を制御することができる。上記のアプリケーションに適した小型の無線センサの例としては、フィリップスＡＳ １−２００８が挙げられる。

以上、図面および明細書を用いて本発明を詳細に例示し記載した。かかる図および説明は、図示された例であり、例示的なものとして認識されるべきものであり、発明を拘束するものではない。本発明は、開示された実施例に限定されない。当業者が請求項に記載された本発明を実施することによって、図面、開示および添付の請求の範囲の記載から、開示された実施例に対する他の変形例が理解されかつ遂行され得る。請求項における用語「有する、含む（comprising）」は、他の要素またはステップを排除しない。また「ａ」または「ａｎ」は、複数であることを排除しない。シングルプロセッサまたは他のユニットは、請求項に記載された幾つかの要素の機能を達成してもよい。特定の手段が相互に異なる従属クレームにおいて記載されているという単なる事実は、これらの手段の組合せが有効に使われることができないことを示すわけではない。コンピュータープログラムは格納されてもよく、または配信されてもよい。適切な媒体としては、例えば光記憶媒体、他のハードウェアと共にまたは単独で提供される固体媒体、インターネットまたは他の有線または無線通信システム、その他の形で配信されるものでもよい。請求項におけるいかなる参照符号も、範囲を制限するものとして解釈されてはならない。

Claims (10)

1. 電子的なシステムを制御するための制御装置であって；
   表面の上または近傍に置かれ、前記表面に対する物理的なインタラクションによる音を検出するためのマイクロホンを有する、センサ；および
   前記マイクロホンで検出された音を前記システムによって認識され得る１つ以上のコマンドに変換するための変換手段、を有し、
   前記表面に対する物理的なインタラクションが前記システムの動作を制御する、制御装置。
2. 前記変換手段が、制御される前記システム内に、１つ以上のソフトウェア・モジュールを有する、請求項１記載の制御装置。
3. 前記変換手段が、前記センサの内に位置する、請求項１記載の制御装置。
4. 前記センサが、電子的プロセッサを有する、請求項１記載の制御装置。
5. 複数のセンサを有する、請求項１記載の制御装置。
6. 前記センサの各々は、前記システムが制御されていることの確認を示すためのインジケータを有する、請求項１記載の制御装置。
7. 前記インジケータがスピーカを有する、請求項６記載の制御装置。
8. 前記スピーカが前記マイクロホンを有する、請求項７記載の制御装置。
9. 電子的に検出され、システムに認識されるコマンドに変換される音を発生させるために、表面に対して物理的にインタラクションを行うステップ、を有する電子的なシステムを制御する方法。
10. 表面をタップするかストロークするステップを有する、請求項９記載の方法。

Images