JP2010267082A - 非接触のマウス装置およびそれを作動する方法 - Google Patents

Abstract

【課題】コンピュータ・マウスの広範囲な前後の運動が必要とされる場合に、時間および労力がかからないようにする。
【解決手段】非接触のマウス方法は、原画像を捕え、調整された画像を得るように原画像を調整するためにイメージセンサを使用する。動画像は、調整された画像において検出される。マウス・ブロックは、動画像において定められる。マウス・ブロックにおいて少なくとも一つの運動ブロックが定められる。動画像のピーク位置は、検出される。最終的に、ピーク位置によって示される運動ブロックと関連する動作が、実行される。
【選択図】なし

Description

本発明はマウス装置およびそれを作動する方法に関し、特に非接触のマウス装置およびそれを作動する方法に関する。

人間とコンピュータとの間でコンピュータ入力装置が使用され、例えば、キーボードまたはコンピュータ・マウスが最も一般的なコンピュータ入力装置である。ユーザは、ボタンをクリックし、ウインドウを上下にスクロールし、カーソルを制御してコンピュータ・マウスを作動することができる。さらにノート・パソコンにおいて、タッチパッドをコンピュータ・マウスの代わりにすることができる。

電子データ・グローブまたは特別な装置は、大規模なインタラクティブまたは３Ｄバーチャル・リアリティにおいてキーボードまたはコンピュータ・マウスを模倣するために適用される。しかしながら、その電子データ・グローブは、高価でありかつ様々なサイズの手に合わせるのが困難である。また、電子データ・グローブは重く、操作者の操作時間および動作を制限してしまう。

あらゆる種類のコンピュータ・マウスで、カーソルの移動距離は、ユーザの手に握られるマウスの移動距離と比例している。それゆえに、カーソルをコンピュータ・モニタ上の一端から他端まで移動するよう制御するのに、特に、コンピュータ・マウスの広範囲な前後の運動が必要とされる場合に、時間および労力がかかる。

前述の不都合を改善するため、本発明は非接触のマウスを作動する方法を提供する。

前述の不都合を改善するため、本発明は非接触のマウス装置をさらに提供する。

前述の目的を達成するため、非接触のマウスの方法は、原画像を捕え、調整された画像を得るために原画像を調整するようにイメージセンサを使用する。その後、動画像は、その調整された画像において検出され、マウス・ブロックは動画像において定められる。その後、マウス・ブロックの少なくとも一つの運動ブロックは定められ、動画像のピーク位置が検出される。最終的に、ピーク位置によって示される運動ブロックと関連する動作が実行される。

前述の他の目的を達成するために、非接触のマウス装置はイメージセンサに適用される。非接触のマウス装置は、イメージセンサ駆動ユニット、動画像認識ユニット、および、マウス駆動ユニットを含む。イメージセンサ駆動ユニットは電気的にイメージセンサに連結され、動画像認識ユニットは電気的にイメージセンサ駆動ユニットに連結され、マウス駆動ユニットは電気的に動画像認識ユニットに連結される。そこでイメージセンサは原画像を捕え、原画像は、画像電気信号に変換されるようにイメージセンサ駆動ユニットに伝達される。その後、画像電気信号は、調整された画像において動画像を検出するため、調整された画像として処理されるように動画像認識ユニットに伝達される。その後、マウス・ブロックは、動画認識ユニットによって動画像において定められる。そして、マウス・ブロックの少なくとも一つの運動ブロックは、定められる。最終的に、動画像のピーク位置は、カーソルを制御するため、運動ブロックにおいてピーク位置に対応している模倣されたマウス信号をマウス駆動ユニットに伝達するように、動画認識ユニットによって検出される。

前述の一般的な説明および以下の詳細な説明は例示的なものであり、請求の範囲に記載されるように本発明のさらなる説明を提供する意図を有すると理解される。本発明の他の利点および特徴は、以下の説明、図面および請求項から明瞭である。

新規性を有すると考えられる本発明の特徴は、特に添付の請求の範囲において記載される。本発明自体は、しかしながら、添付の図面とともに、本発明の例示的な実施態様を記載する以下の本発明の詳細な説明を参照することで最もよく理解される可能性がある。そこで：
本発明の非接触のマウスを作動するフローチャートである。 画像差異法を用いる概略図である。 運動ブロックの概略図である。 その運動ブロックの概略図である。 予測されたマウス・ブロックの概略図である。 運動ブロックを実行するフローチャートである。 非接触のマウス装置のブロック線図である。 ピーク位置を検出する概略図である。 運動ブロックの概略図である。

非接触のマウス装置およびそれを作動する方法は、ウェブカメラおよびパーソナルコンピュータのみを利用することによって完成することができる。自由領域のハンドジェスチャ運動は、カーソルを制御するようにコンピュータ・マウスを模倣するために使用することができる。ユーザの肌の色、服装および装飾と、環境の背景の複雑性により、非接触のマウス装置の作動は制限されない。またユーザは、特別な色またはパターンのあらゆる物体や携帯型照明装置を保持せずに、または、あらゆる特別なデータ・グローブを着用せずに手動で非接触のマウス装置を作動することができる。さらに、カーソルの移動速度は、位置決め時間を短縮しかつ位置決め精度を増加させるようにユーザのジェスチャの位置に基づいて調整することができる。

本発明の非接触のマウスを作動するフローチャートである図１を参照する。まず、イメージセンサ（例えばウェブカメラ）は原画像を捕えるために提供される（Ｓ１０）。その後、原画像は、調整された画像を得るために調整される（Ｓ２０）。その後、動画像（例えばジェスチャ画像）は、調整された画像において検出される（Ｓ３０）。その後、マウス・ブロックは、動画像において定められる（Ｓ４０）。その後、マウス・ブロックの少なくとも一つの運動ブロックが定められる（Ｓ４５）。その後、動画像のピーク位置が、検出される（Ｓ５０）。とりわけ、動画像がジェスチャ画像である場合、ピーク位置は指先である。最終的に、ピーク位置によって示される運動ブロックと関連する動作が、実行される（Ｓ６０）。

上記の手順Ｓ２０は、以下のサブステップ：（１）原画像の被処理サイズの調整、（２）原画像の色の転送（例えば２４ビットのフルカラー画像から８ビットのグレイ・レベル画像への原画像の色の転送）、および（３）原画像のスペックルノイズのフィルタリングを含む。特に、原画像のスペックルノイズは、画像ローパスフィルタによってフィルタをかけることができる。

加えて、運動ブロックは、開始ブロック、通常速度の運動ブロック、低速の運動ブロックおよび高速の運動ブロックを含む。マウス・ブロックのサイズはユーザによって自由に設定され、マウス・ブロックはそこで、開始ブロック、通常速度の運動ブロック、低速の運動ブロック、および、高速の運動ブロックに分割されることができる。

予測されたマウス・ブロック５６は、図４において示される。開始ブロック６８、通常速度の運動ブロック６４、低速の運動ブロック６６および高速運動ブロック６２は、図８、図３（ａ）および図３（ｂ）において示される。とりわけ、図３（ａ）は水平に移動するジェスチャを示し、図３（ｂ）は垂直に移動するジェスチャを示す。加えて、調整された画像の動画像は、画像差異法を用いて算出される。

よりよい性能を得るために、三つの連続的ジェスチャ画像は、動画像を算出するために提供される。三つの連続的ジェスチャ画像はそれぞれ、現在のグレイ・レベル画像Ｉ２、現在のグレイ・レベル画像Ｉ２の前の先行するグレイ・レベル画像Ｉ１、および先行するグレイ・レベル画像Ｉ１の前のさらに先行するグレイ・レベル画像Ｉ０である。グレイ・レベル画像を２値画像へ変換するように、第一のグレイ・レベル閾値および第二のグレイ・レベル閾値は設定される。まず現在のグレイ・レベル画像Ｉ２は、第一のグレイ・レベル画像（図示せず）を得るため、先行するグレイ・レベル画像Ｉ１によって減じられる。その後、第一のグレイ・レベル画像の各々の画素の濃淡値は、第一のグレイ・レベル閾値と比較される。画素の濃淡値が第一のグレイ・レベル閾値より大きいまたは等しい場合、画素は明るい画素として設定され、これに反して、画素の濃淡値が第一のグレイ・レベル閾値より小さい場合、画素は暗い画素として設定される。それゆえに、第一の２値画像Ｉ３は、明るい画素および暗い画素で構成される。同様に、先行するグレイ・レベル画像Ｉ１は、第二のグレイ・レベル画像（図示せず）を得るためにさらに先行するグレイ・レベル画像Ｉ０によって減じられる。その後、第一のグレイ・レベル画像の各々の画素の濃淡値は、第二のグレイ・レベル閾値と比較される。画素の濃淡値が第二のグレイ・レベル閾値より大きいまたは等しい場合、画素は明るい画素として設定される、これに反して、画素の濃淡値が第二のグレイ・レベル閾値より小さい場合、画素は暗い画素として設定される。それゆえに、第二の２値画像Ｉ４は、明るい画素および暗い画素で構成される。最終的に、第三の２値画像Ｉ５を生じるため、第一の２値画像Ｉ３と第二の２値画像Ｉ４との間で論理ＡＮＤ演算は実行され、その第三の２値画像Ｉ５は、さらなる処理のための動画像である。

ピーク位置を検出する概略図である図７を参照する。手順Ｓ５０は、次のように表される：動画像がジェスチャ画像であるとみなされる、それゆえに、ピーク位置は指先である。ユーザの手の運動の大きさが有意である（不注意な全体の動きまたはわずかな動きではない）場合、ピーク位置（指先）は、左から右に、上から下まで追跡される。ピーク位置（指先）が検出されない、または、一定期間の間ユーザの手が静止している場合、追跡モードをＯｆｆにして、終了することになる。

運動ブロックを実行するフローチャートである図５を参照する。手順Ｓ６０は、次のように表される：動画像がジェスチャ画像であるとみなされ、それゆえに、ピーク位置は、指先である。まず、ピーク位置（指先）がマウス・ブロック（Ｓ６０２）の範囲内であるかどうか決定する。ピーク位置（指先）がマウス・ブロックの範囲内でない場合、手順Ｓ６０４は追跡モードをＯｆｆにして、終了する。ピーク位置（指先）がマウス・ブロックの範囲内である場合、手順Ｓ６０６はピーク位置（指先）が開始ブロック（Ｓ６０６）の範囲内であるかどうかを決定する。ピーク位置（指先）が開始ブロックの範囲内である場合、手順Ｓ６０８は追跡モードをＯｎにする。その後、手順Ｓ６１０は、追跡モードを決定するために実行される。追跡モードがＯｆｆにされる場合、終了され、追跡モードがＯｎにされる場合、手順Ｓ６１２は、どのブロック（通常速度の運動ブロック、低速の運動ブロック、または、高速の運動ブロック）の範囲内のピーク位置（指先）があるかどうかをチェックするために実行される。

ピーク位置（指先）が通常速度の運動ブロックの範囲内である場合、手順Ｓ６１４は実行される。モニタ５８上のカーソルの移動距離は、ピーク位置（指先）の移動距離と等しい。また、カーソルおよびピーク位置（指先）は、同じ方向に移動する。最終的に、手順Ｓ６２０は実行される。カーソルの逆方向の移動位置は、カーソルの現在位置とカーソルの現在の位置を加えた逆方向の移動位置との間の距離に等しい。すなわち、ユーザにより通常速度でカーソルを制御するためにコンピュータ・マウスを使用するのに類似している。

ピーク位置（指先）が低速の運動ブロックの範囲内である場合、手順Ｓ６１６は実行される。モニタ５８上のカーソルの移動距離は、ピーク位置（指先）の移動距離の半分である。また、カーソルおよびピーク位置（指先）は、同じ方向に移動する。最終的に、手順Ｓ６２０は実行される。カーソルの逆方向の移動位置は、カーソルの現在位置とカーソルの現在の位置を加えた逆方向の移動位置との間の距離に等しい。すなわち、ユーザにより低速でカーソルを制御するためにコンピュータ・マウスを使用するのに類似している。それゆえに、これは厳密なカーソル運動に適切である。

ピーク位置（指先）が高速の運動ブロックの範囲内である場合、手順Ｓ６１８は実行される。モニタ５８上のカーソルの移動距離は、ピーク位置（指先）の移動距離の２倍である。また、カーソルおよびピーク位置（指先）は、同じ方向に移動する。最終的に、手順Ｓ６２０は、実行される。カーソルの逆方向の移動位置は、カーソルの現在位置とカーソルの現在の位置を加えた逆方向の移動位置との間の距離に等しい。すなわち、ユーザにより高速でカーソルを制御するためにコンピュータ・マウスを使用するのに類似している。それゆえに、これは速いカーソル運動に適切である。

例えば、ピーク位置（指先）が低速の運動ブロックの右側へ移動する場合、カーソルはゆっくり右に移動する。ピーク位置（指先）が高速の運動ブロックの左側へ移動する場合、カーソルは速く左に移動する。マウスの進行が割り当てられた位置へ移動する場合、追跡モードはＯｆｆにされ、ピーク位置（指先）閾値時間にわたり割り当てられた位置に示される（本実施態様において、閾値時間は一秒に設定される）。カーソルの移動距離およびピーク位置（指先）の移動距離の間の比率は、ユーザの要求に基づいて設定することができる。加えて、閾値時間は一秒に限られない。運動速度ブロックは、一つのみの通常速度の運動ブロック、一つの低速の運動ブロック、および、高速の運動ブロックに限られず、代わりにユーザの要求に基づいて設定されることができる。

非接触のマウス装置のブロック線図である図６を参照する。非接触のマウス装置３０は、イメージセンサ１０（例えばウェブカメラ）に適用される。非接触のマウス装置３０は、イメージセンサ駆動ユニット３２、動画認識ユニット３４およびマウス駆動ユニット３８を含む。イメージセンサ１０は、電気的にイメージセンサ駆動ユニット３２に連結される。動画認識ユニット３４は、電気的にイメージセンサ駆動ユニット３２およびマウス駆動ユニット３８に連結される。イメージセンサ１０は原画像（図示せず）を捕え、その原画像は画像電気信号（図示せず）に変換されるように、イメージセンサ駆動ユニット３２に伝達される。その後、画像電気信号は、調整された画像において動画像（ジェスチャ画像、図示せず）を検出するため、調整された画像（図示せず）として処理されるように動画認識ユニット３４に伝達される。その後、マウス・ブロック（図示せず）は、動画認識ユニット３４によって動画像において定められる。その後、マウス・ブロックの少なくとも一つの運動速度ブロック（図示せず）は、動画認識ユニット３４によって定められる。また、動画像のピーク位置（図示せず）は、動画認識ユニット３４によって検出される。最終的に、ピーク位置によって示される運動速度ブロックと関連する動作は、実行される。すなわち、動画認識ユニット３４は、ディスプレイ４０（図示せず）上にカーソル運動を示すため、マウス駆動ユニット３８に模倣されたマウス信号（図示せず）を伝達する。それゆえに、ユーザによりディスプレイ４０上でカーソルを制御するためにコンピュータ・マウス２０を使用するのに類似している。

動画認識ユニット３４へ画像電気信号を伝達する手順は：（１）原画像の被処理サイズの調整、（２）原画像の色の転送（例えば２４ビットのフルカラー画像から８ビットのグレイ・レベル画像への原画像の色の転送）、および（３）原画像のスペックルノイズのフィルタリングを含む。特に、原画像のスペックルノイズは、画像ローパスフィルタによってフィルタをかけることができる。

非接触のマウス装置３０のマウス・ブロックのサイズは、ユーザによって自由に設定され、マウス・ブロックはそこで、開始ブロック、通常速度の運動ブロック、低速の運動ブロック、および、高速運動ブロックに分割することができる。予測されたマウス・ブロックは、図４において示される。開始ブロック６８、通常速度の運動ブロック６４、低速の運動ブロック６６および高速運動ブロック６２は、図８、図３（ａ）および図３（ｂ）において示される。特に、図３（ａ）は水平に移動するジェスチャを示し、図３（ｂ）は垂直に移動するジェスチャを示す。加えて、調整された画像の動画像は、画像差異法を用いて算出される。

非接触のマウス装置およびそれを作動する方法は、ウェブカメラおよびパーソナルコンピュータのみを利用することによって完成することができる。手のジェスチャはカーソルを制御するのにコンピュータ・マウスを模倣するために土台なしで移動する。ユーザの肌の色、服装および装飾と、環境の背景の複雑性により、非接触のマウス装置の作動は制限されない。またユーザは、特別な色またはパターンのあらゆる物体や携帯型照明装置を保持せずに、または、あらゆる特別なデータ・グローブを着用せずに手動で非接触のマウス装置を作動することができる。さらに、カーソルの移動速度は、位置決め時間を短縮しかつ位置決め精度を増加させるようにユーザのジェスチャの位置に基づいて調整されることができる。

本発明がその好ましい実施形態に関して記載されたけれども、本発明がその詳細に限定されないと理解される。様々な代替および変更は前述の説明において示唆され、従来技術の当業者により想起されるものである。したがって、すべてのそのような代替および変更は、添付の請求の範囲に記載のように本発明の範囲内に含まれる意図を有する。

Claims (12)

1. 非接触のマウスを作動する方法であって、
   次のステップ：（ａ）イメージセンサ（１０）を用いた原画像の捕獲と、
   （ｂ）調整された画像を得るための該原画像の調整と、
   （ｃ）外調整された画像における動画像の検出と、
   （ｄ）該動画像におけるマウス・ブロック（５６）の規定と、
   （ｅ）該マウス・ブロック（５６）における少なくとも一つの運動速度ブロックの規定と、
   （ｆ）該原画像のピーク位置の検出と、
   および（ｇ）該ピーク位置により示された該運動速度ブロックと関連する動作の実行と
   を含む方法。
2. 前記手順（ｂ）が：（ｂ１）前記原画像の被処理サイズの調整と、
   （ｂ２）該原画像の色の転送と、
   および（ｂ３）該原画像のスペックルノイズのフィルタリングと；を含む、請求項１の方法。
3. 前記手順（ｂ２）が、２４ビットフルカラーのジェスチャ画像から８ビット・グレイ・レベル・ジェスチャ画像への前記原画像の色を転送する、請求項２の方法。
4. 前記手順（ｂ３）が画像ローパスフィルタによって前記スペックルノイズにフィルタをかける、請求項２の方法。
5. 前記動画像がジェスチャ画像であり、前記ピーク画像が指先である、請求項１の方法。
6. 前記手順（ｃ）が画像差異法を用いて前記調整された画像の前記動画像を算出する、請求項１の方法。
7. 前記運動速度ブロックは、開始ブロック（６８）、通常速度の運動ブロック（６４）、低速の運動ブロック（６６）、または、高速の運動ブロック（６２）を含む、請求項１の方法。
8. 前記イメージセンサがウェブカメラである、請求項１の方法。
9. イメージセンサ（１０）に適用される非接触のマウス装置（３０）であって：
   該イメージセンサ（１０）に電気的に連結されるイメージセンサ駆動ユニット（３２）と、該イメージセンサ駆動ユニット（３２）に電気的に連結される動画認識ユニット（３４）と、および、該動画認識ユニット（３４）に電気的に連結されるマウス駆動ユニット（３８）と、を含み、そこで、該イメージセンサ（１０）が原画像を捕え、該イメージセンサ駆動ユニット（３２）が、該原画像を画像電気信号に変換するように構成され、該動画認識ユニット（３４）は、該画像電気信号を調整された画像に処理し、該調整された画像の動画像を検出するように構成され、該動画認識ユニット（３４）は、該動画像のマウス・ブロック（５６）を定めるように構成され、該動画認識ユニット（３４）は、該マウス・ブロックの少なくとも一つの運動速度ブロックを定めるように構成され、および、該動画認識ユニット（３４）は、カーソルを制御するため該マウス駆動ユニット（３８）に該運動速度ブロックの該ピーク位置に対応する模倣されたマウス信号を伝達するために該運動画像のピーク位置を検出するように構成される、非接触のマウス装置（３０）。
10. 前記動画像がジェスチャ画像であり、前記ピーク画像が指先である、請求項９の非接触のマウス装置。
11. 前記イメージセンサ（１０）がウェブカメラである、請求項９の非接触のマウス装置。
12. 前記運動速度ブロックは、開始ブロック（６８）、通常速度の運動ブロック（６４）、低速の運動ブロック（６６）、または、高速の運動ブロック（６２）を含む、請求項９の非接触のマウス装置。

Images