JP2011528455A

JP2011528455A - 手の動作によるネットワーク上の機器及び情報制御システム

Info

Publication number: JP2011528455A
Application number: JP2011516137A
Authority: JP
Inventors: ヒュンレリー，; ジヒュンパク，; ヒソックジョン，; キウンヨム，; ジュン−ホリー，; ヒュン−ジンシン，
Original assignee: コリア・インスティテュート・オブ・サイエンス・アンド・テクノロジー
Priority date: 2008-06-25
Filing date: 2009-06-25
Publication date: 2011-11-17
Anticipated expiration: 2029-06-25
Also published as: WO2009157730A3; EP2291723A4; WO2009157730A2; KR100931403B1; JP5306457B2; EP2291723A2; US8723792B2; EP2291723B1; US20100073287A1

Abstract

本発明は、手の動作によるネットワーク上の機器及び情報制御システムに係り、より詳しくは、ユーザによって制御機器または制御するファイルなどが選択され、ディスプレイ装置がポイントされることで、情報及びデータを共有できるのみならず、多様な装置間の結合及び制御を容易に行うことができる手の動作によるネットワーク上の機器及び情報制御システムに関する。手の動作によるネットワーク上の機器及び情報制御システムでは、ユビキタスコンピュータ環境下で、多様な入力装置及びディスプレイ装置とユーザの相互作用を著しく向上させることができるという効果がある。
【選択図】図２

Description

本発明は、手の動作によるネットワーク上の機器及び情報制御システムに係り、より詳しくは、ユーザによって制御機器または制御するファイルなどが選択され、ディスプレイ装置がポイントされることで、情報及びデータを共有できるのみならず、多様な装置間の結合及び制御を容易に行うことができる手の動作によるネットワーク上の機器及び情報制御システムに関する。

初期のユーザインターフェースは、コンピューターと相互作用をするためにテキスト基盤のインターフェースとして設計された。このため、一般のユーザは一々キーボードにて命令語を入力せざるを得ず、以降、マウスのような入力メカニズムの導入に伴い、ユーザインターフェースはアイコン基盤のメニューに発展した。

近年、コンピューター環境の発達に伴ってユーザの要求が複雑化するにつれ、多様な装置間のインターフェースが可能な技術が開発されつつある。ユビキタス環境下で、一般に特定の入力装置を他の入力装置と接続するためには、例えば、ＰＣをプロジエクターに接続したり、他の機器に接続したりするためには、キーボードまたはマウスを分離したり、データの共有のためにＵＳＢ格納媒体を挿脱したりするという煩わしい設定過程が必要となる。

本発明の目的は、上記のような従来技術の問題点を解決するために、ユビキタスコンピュータ環境下で、多様な入力装置及びディスプレイ装置とユーザの相互作用を向上させることのできる手の動作によるネットワーク上の機器及び情報制御システムを提供することである。

本発明の一実施形態による手の動作によるネットワーク上の機器及び情報制御システムは、データの入力またはファイルの選択を検知する制御機器と、上記制御機器からのデータを解析し、ディスプレイする被制御機器、及びユーザによって所定の制御機器が選択され、ユーザの手の動作によって所定の被制御機器がポイントされると、上記被制御機器をポイントする手の動作を分析し、上記選択された制御機器と上記ポイントされた被制御機器とをネットワーク結合させる管理サーバーと、を含んでなる。

上記管理サーバーは、上記制御機器のインターネットプロトコルアドレス及びポート番号に基づいてネットワーク結合を調節する結合管理モジュール、及びユーザの手の動作を撮影したビジョン情報を分析し、ユーザの手の動作を解析する動作認知モジュールを含むことができる。

また、ユーザの手の動作を撮影し、手または指先を検知及び追跡するアルゴリズムに基づいてフィルタリングされた映像を上記管理サーバーに提供するカメラをさらに含むことができる。

また、上記被制御機器を撮影し、被制御機器の位置を追跡する映像を上記管理サーバーに提供するカメラをさらに含むことができる。

このとき、上記カメラは、ＵＳＢｗｅｂカメラまたはネットワークカメラであることを特徴とする。

上記制御機器は、テーブルトップディスプレイ上の仮想のキーボードまたはマウスであり、ユーザは、仮想結合のためのアイコンを上記テーブルトップディスプレイ上に生成し、上記アイコンを仮想のキーボードまたはマウス上に付着させた後、上記被制御機器を手の動作にてポイントして接続させることを特徴とする。

上記管理サーバーは、少なくとも二つの手の動作を認知することで、少なくとも一つの制御機器と少なくとも一つの被制御機器間をネットワーク結合することを特徴とする。

上記目的を達成するための本発明の他の実施形態による手の動作による機器ネットワーク方法は、少なくとも一つの制御機器でデータの入力またはファイルの選択を検知するステップと、少なくとも一つの被制御機器がユーザの手の動作によってポイントされるステップと、上記被制御機器をポイントする手の動作を分析し、ポイントされた被制御機器を認識するステップ、及び上記認識された被制御機器と上記制御機器とをネットワーク結合するステップと、を含む。

上記ポイントされた被制御機器を認識するステップは、ユーザの手の動作を撮影した映像から所定のビジョン情報を分析して獲得した手の動作方向情報と、予め格納された被制御機器の位置情報とに基づいて、ポイントされた被制御機器を認識することができる。

上記ポイントされた被制御機器を認識するステップは、ユーザの手の動作を撮影した映像から所定のビジョン情報を分析して獲得した手の動作方向情報と、被制御機器を撮影した映像から獲得した被制御機器位置情報とに基づいて、ポイントされた被制御機器を認識することができる。

上記認識された被制御機器と上記制御機器とをネットワーク結合するステップは、上記制御機器のネットワーク識別アドレスと上記被制御機器のネットワーク識別アドレスとを用いてネットワーク結合することを特徴とする。

上記結合されたネットワークを用いて、上記制御機器で上記被制御機器を制御するステップをさらに含むことができる。

本発明に係る手の動作によるネットワーク上の機器及び情報制御システムでは、ユビキタスコンピュータ環境下で、多様な入力装置及びディスプレイ装置とユーザの相互作用を著しく向上させることができるという効果がある。

また、本発明に係る手の動作によるネットワーク上の機器及び情報制御システムでは、手にてファイルを選択し、特定の地点をポイントすることにより、既存のＭＳオフィス、ウェブブラウザー、及びマルチ−メディアプログラムのようなアプリケーションにおいて遠隔情報制御が可能になるという効果がある。

本発明の一実施形態による手の動作によるネットワーク上の機器及び情報制御システムを示す図である。本発明の一実施形態による手の動作によるネットワーク上の機器及び情報制御システムを示す図である。図２中のネットワークシステムの構成を示すブロック図である。ユーザの指先を検知する映像を示す図である。ユーザがファイルを選択し、ウォールスクリーンをポイントすることにより、テーブルトップディスプレイ上のファイルをウォールスクリーンに転送する過程を説明するための図である。ユーザがファイルを選択し、ウォールスクリーンをポイントすることにより、テーブルトップディスプレイ上のファイルをウォールスクリーンに転送する過程を説明するための図である。テーブルトップディスプレイ上の仮想のキーボードと被制御機器の結合を説明するための図である。テーブルトップディスプレイ上の仮想のキーボードと被制御機器の結合を説明するための図である。本発明に係る手の動作による機器ネットワーク方法の実施形態を示すフローチャートである。

以下、添付した図面を参照して本発明の好適な実施形態に係る手の動作によるネットワーク上の機器及び情報制御システムについて詳細に説明する。なお、本発明が後述する実施形態によって限定されるものではない。

図１は、本発明の一実施形態に係る手の動作によるネットワーク上の機器及び情報制御システムを示す図である。本発明の手の動作によるネットワーク上の機器及び情報制御システムは、簡単な手の動作に基づき、ネットワークを介して多様な装置、例えば、ウォールスクリーン(ｗａｌｌｓｃｒｅｅｎ)、移動通信端末機、テーブルトップ、ラップトップなどの仮想結合を可能にする。

本発明は、直接的な相互作用方式を用い、ユーザが簡単な手の動作だけでファイルを共有したり、装置間の結合を設定または変更したりすることができる。例えば、一人のユーザがテーブルトップディスプレイ上の文書ファイルをウォールスクリーンに転送し、ウォールスクリーン上へのディスプレイを希望する場合、文書ファイルをテーブルトップディスプレイ上で選択した後、ウォールスクリーンをポイントすることで、文書ファイルをウォールスクリーン上に転送することができる。また、手の動作によりウォールスクリーンとラップトップ間でのネットワーク結合を設定し、結合の完了後、ユーザは両装置が物理的に結合したかのようにラップトップによるファイルの制御が可能になる。すなわち、ラップトップの信号入力装置にてウォールスクリーンの出力を制御することができる。

ネットワーク結合は装置の類型とは関係ない。一般に、ラップトップやＰＤＡ、移動通信端末機などの個人的装置は、大型ディスプレイや電子ボードのような共有された装置と結合する。本発明のネットワークシステムは、多重結合を支援する。例えば、三つのキーボードと一つのディスプレイとを結合して制御することもできる。また、本発明のネットワークシステムは、それぞれの装置の結合状態を示すためにオーディオフィードバックなどを提供することができる。

図２は、本発明の一実施形態に係る手の動作によるネットワーク上の機器及び情報制御システムを示す図であり、図３は、図２中のネットワークシステムの構成を示すブロック図である。

図２及び図３を参照すると、本発明のネットワークシステム１００は、管理サーバー２００、制御機器３００、及び被制御機器４００とから構成される。全てのネットワークはデータを転送する間、ブロッキング（ｂｌｏｃｋｉｎｇ）を最小化するために非同期通信（ａｓｙｎｃｈｒｏｎｏｕｓｃｏｍｍｕｎｉｃａｔｉｏｎ）を基盤とする。

管理サーバー２００は、ユーザが特定の制御機器を選択する手の動作及び被制御機器をポイントする手の動作を解析し、制御機器３００と被制御機器４００とをネットワーク結合させることができる。管理サーバー２００は、結合管理モジュール２２０及び動作認知モジュール２４０を含むことができる。

結合管理モジュール２２０は、各装置のインターネットプロトコルアドレス、ポート番号またはＩＤナンバーなどのネットワーク情報に基づいて多重装置間のネットワーク結合を調節する。動作認知モジュール２４０は、カメラ（図示せず）からのビジョン情報を分析し、ユーザの手の動作を解析する。上記ビジョン情報は、ユーザの手の動作を撮影した映像から抽出されたデータのことを意味する。

制御機器３００は、ユーザの入力イベント、例えば、キーボードまたはマウスによるデータの入力またはファイルの選択を検知し、それらのデータを管理サーバー２００の情報によって選択された装置に転送する。

制御機器３００は、例えば、テーブルトップ、ラップトップ、ＰＤＡ、または移動通信端末機などから構成されていてよいが、これらに制限されるものではない。

被制御機器４００は、制御機器からのデータを解析してディスプレイし、イベント発生モジュール４２０及び実行モジュール４４０を含むことができる。被制御機器４００は、例えば、ウォールスクリーン、ＬＣＤ、またはＰＤＰなどのディスプレイ装置であればよいが、これらに制限されるものではない。

イベント発生モジュール４２０は、制御機器３００からのデータを解析し、キーボードまたはマウスイベントなどのような信号入力イベントを発生させる。ここで、イベントとは、ユーザが制御機器３００を操作した際に、コンピューターのような情報処理装置に送られる信号のことを意味する。

実行モジュール４４０は、制御機器３００からのファイルを実行させる。

また、被制御機器４００は、制御機器３００の多重結合を支援する。

手の動作の認知は、本発明のネットワークシステム１００を行う上で基本的な構成であって、ユーザは手に何ら装置を取り付けていない素手を入力装置として使用することができる。

カメラ（図示せず）、例えば、ＵＳＢｗｅｂカメラまたはネットワークカメラなどのようなカメラは、ユーザの手の動作を撮影し、手または指先を検知及び追跡するアルゴリズムに基づいて、フィルタリングされた映像を管理サーバー２００へ提供する。

手または指先を検知するのに適合した背景除去及びスキン領域の抽出技術を用い、また、このために多様な幾何学的形状フィルタなどを導入することもできる。図４は、ユーザの指先を検知する映像を示す図である。

被制御機器は、大概は初期位置が固定されるため、上記映像のイメージ上から手または指の向きを分析してユーザの指示する機器を認知することができる。即ち、手または指の向きを分析して方向情報を獲得し、これに基づき、予め格納された被制御機器の位置情報を分析して、ポイントされた被制御機器を認識する。また、被制御機器の位置が移動すると、移動後の位置を再格納できることは言うまでもない。

また、被制御機器などが動く場合のために、全ての機器の位置をトラッキングするためのカメラをさらに設置することもでき、現在状態の機器の位置を分析して、上述したようにユーザの手または指が指示する方向情報とともに分析することで、ポイントされた被制御機器を認識することができる。

追跡アルゴリズムによって複雑な背景や動的に変化する光条件下でも多重の手または指先の強力な検知及び追跡が可能になり、ユーザが手または指先で示す装置をリアルタイムで容易に区別することができる。また、ユーザの手または指先は、無線のプレゼンテーションまたはプレゼンテーションを提供する公衆マウスとしても使用できる。

本発明の手の動作によるネットワーク上の機器及び情報制御システムの実例として、チームミーティングやセミナープレゼンテーションのようなコーワークを効率よく行うために主にタッチ−反応テーブルトップディスプレイ及び周辺ウォールスクリーンから構成される空間を仮定する。

パン・チルト・ズーム（ｐａｎ−ｔｉｌｔ−ｚｏｏｍ）ＩＰカメラがユーザの手の動作を認識するためにミーティングルームの天井の中央に設置される。

この空間で作業しながら、ユーザらは、しばしば別の位置、即ち、参席者らの個人装置またはテーブルトップディスプレイに格納されているファイルをウォールスクリーンに共有する必要性を感じる。従来の場合、上記データを他のコンピューターに転送するためには、大概はＵＳＢ格納媒体、ＦＴＰまたはインターネットを使用し、また、ウォールスクリーン上の情報を制御するためには、ウォールスクリーンのコンピューターに接続されているキーボードまたはマウスを使用する必要があった。

しかしながら、本発明のネットワークシステムを使用すれば、図５及び図６に示すように、ユーザは、単に制御機器及び実行したいファイルまたはアプリケーションなどを選択し、ウォールスクリーンをポイントするだけによって、テーブルトップディスプレイ上のファイルをウォールスクリーンに転送してウォールスクリーン上で実行させることができる。この動作により、テーブルトップディスプレイ及びウォールスクリーンとは、ネットワークを介して無線または有線で接続され、上記ファイルは、選択されたウォールスクリーンのコンピューターに転送され実行される。

このとき、制御機器及び実行したいファイルは、実行したいファイルを選択することで一度に選択することもできる。このとき、実行したいファイルの選択は、タッチスクリーン上で手でタッチして選択することもでき、キーボードまたはマウスなどの信号入力装置にて選択信号を入力して選択することもできる。

図７及び図８は、テーブルトップディスプレイ上の仮想のキーボードと被制御機器の結合を説明するための図である。

図７及び図８を参照すると、テーブルトップディスプレイ上の仮想のキーボード及びマウスは、ウォールスクリーンの指示されたコンピューターに接続でき、ユーザは、先ず、新たな仮想結合のための準備を意味するＴ形状のアイコンをテーブルトップディスプレイ上に生成する。ここで、アイコンの形状は、Ｔ形状に制限されるものではないことは言うまでもない。

次いで、使用したい仮想のキーボード及びマウスにて上記アイコンを付着させた後、ユーザはウォールスクリーンの一つを指にてポイントする。

次いで、結合の成功を知らせるサウンドフィードバックとともに、ユーザはまるでテーブルトップディスプレイ上のキーボードまたはマウスがウォールスクリーンのコンピューターに物理的に接続したかのようにウォールスクリーンの内容を制御することができるようになる。

分離は、仮想のキーボード及びマウスを除去することにより容易に行うことができる。上記過程は、図６ｂに示すように結合状態を視覚的に確認することができ、テーブルトップディスプレイ上の多くのキーボード及びマウスとウォールスクリーン間の結合状態を指示する視覚的なフィードバックを提供することができる。

図９は、本発明に係る手の動作による機器ネットワーク方法の実施形態を示すフローチャートである。

図９を参照すると、本発明に係る手の動作による機器ネットワーク方法は、少なくとも一つの制御機器でデータの入力またはファイルの選択を検知するステップ(Ｓ７１)、少なくとも一つの被制御機器がユーザの手の動作によってポイントされるステップ(Ｓ７２)、上記被制御機器をポイントする手の動作を分析し、ポイントされた被制御機器を認識するステップ(Ｓ７３)、上記認識された被制御機器と上記制御機器とをネットワーク結合するステップ(Ｓ７４)を含む。

また、上記結合されたネットワークを用いて、上記制御機器で上記被制御機器を制御するステップをさらに含むこともできる。即ち、上記制御機器上の入力などにより、被制御機器でのディスプレイ及び実行を制御することができる。例えば、上記制御機器のファイルを選択し、上記被制御機器をポイントすることで、上記制御機器と上記被制御機器とのネットワークが形成されると、上記選択されたファイルを上記被制御機器でディスプレイすることができる。以降、上記制御機器上で拡大または縮小などのディスプレイの制御、データの修正などのデータ入力制御などができる。

ユーザの手の動作を撮影した映像から所定のビジョン情報を分析して獲得した手の動作方向情報と、予め格納された被制御機器の位置情報に基づいて、ポイントされた被制御機器を認識することができる。即ち、被制御機器の位置を格納しておき、該格納された位置情報と手の動作のポイント方向情報とを用いて被制御機器を認識することができる。

また、ユーザの手の動作を撮影した映像から所定のビジョン情報を分析して獲得した手の動作方向情報と、被制御機器を撮影した映像から獲得した被制御機器位置情報とに基づいて、ポイントされた被制御機器を認識することもできる。即ち、被制御機器の位置が流動的な場合、カメラにて被制御機器を撮影して位置情報を獲得し、該獲得された位置情報と手の動作のポイント方向情報とを用いて被制御機器を認識することができる。

上記認識された被制御機器と上記制御機器とをネットワーク結合する際、制御機器のネットワーク識別アドレスと上記被制御機器のネットワーク識別アドレスとを用いてネットワーク結合することができる。このとき、ネットワーク識別アドレスの例示としては、インターネットプロトコルアドレス及びポート番号などがある。

また、手の動作によるネットワーク上の機器及び情報制御システムに係る実施形態を説明する明細書の内容は、手の動作による機器ネットワークに係る実施形態でも同様に適用できるであろう。

上述したように、本発明に係る手の動作によるネットワーク上の機器及び情報制御システムでは、ユビキタスコンピュータ環境下で多様な入力装置及びディスプレイ装置とユーザの相互作用を著しく向上させることができるという効果がある。

Claims

データの入力またはファイルの選択を検知する制御機器と、
前記制御機器からのデータを解析し、ディスプレイする被制御機器、及び
ユーザによって所定の制御機器が選択され、ユーザの手の動作によって所定の被制御機器がポイントされると、前記被制御機器をポイントする手の動作を分析し、前記選択された制御機器と前記ポイントされた被制御機器とをネットワーク結合させる管理サーバーと、を含むことを特徴とする手の動作によるネットワーク上の機器及び情報制御システム。
前記管理サーバーは、
前記制御機器のインターネットプロトコルアドレス及びポート番号に基づいてネットワーク結合を調節する結合管理モジュール、及び
ユーザの手の動作を撮影したビジョン情報を分析し、ユーザの手の動作を解析する動作認知モジュールを含むことを特徴とする請求項１に記載の手の動作によるネットワーク上の機器及び情報制御システム。
ユーザの手の動作を撮影し、手または指先を検知及び追跡するアルゴリズムに基づいてフィルタリングされた映像を前記管理サーバーに提供するカメラをさらに含むことを特徴とする請求項１に記載の手の動作によるネットワーク上の機器及び情報制御システム。
前記被制御機器を撮影し、被制御機器の位置を追跡する映像を前記管理サーバーに提供するカメラをさらに含むことを特徴とする請求項１に記載の手の動作によるネットワーク上の機器及び情報制御システム。
前記カメラは、ＵＳＢｗｅｂカメラまたはネットワークカメラであることを特徴とする請求項３または４に記載の手の動作によるネットワーク上の機器及び情報制御システム。
前記制御機器は、テーブルトップディスプレイ上の仮想のキーボードまたはマウスであり、
ユーザは、仮想結合のためのアイコンを前記テーブルトップディスプレイ上に生成し、前記アイコンを仮想のキーボードまたはマウス上に付着させた後、前記被制御機器を手の動作にてポイントして接続させることを特徴とする請求項１に記載の手の動作によるネットワーク上の機器及び情報制御システム。
前記管理サーバーは、少なくとも二つの手の動作を認知することで、少なくとも一つの制御機器と少なくとも一つの被制御機器間をネットワーク結合することを特徴とする請求項１に記載の手の動作によるネットワーク上の機器及び情報制御システム。
少なくとも一つの制御機器でデータの入力またはファイルの選択を検知するステップと、
少なくとも一つの被制御機器がユーザの手の動作によってポイントされるステップと、
前記被制御機器をポイントする手の動作を分析し、ポイントされた被制御機器を認識するステップと、
前記認識された被制御機器と前記制御機器とをネットワーク結合するステップと、を含むことを特徴とする手の動作による機器ネットワーク方法。
前記ポイントされた被制御機器を認識するステップは、
ユーザの手の動作を撮影した映像から所定のビジョン情報を分析して獲得した手の動作方向情報と、予め格納された被制御機器の位置情報とに基づいて、ポイントされた被制御機器を認識することを特徴とする請求項８に記載の手の動作による機器ネットワーク方法。
前記ポイントされた被制御機器を認識するステップは、
ユーザの手の動作を撮影した映像から所定のビジョン情報を分析して獲得した手の動作方向情報と、被制御機器を撮影した映像から獲得した被制御機器位置情報とに基づいて、ポイントされた被制御機器を認識することを特徴とする請求項８に記載の手の動作による機器ネットワーク方法。
前記認識された被制御機器と前記制御機器とをネットワーク結合するステップは、
前記制御機器のネットワーク識別アドレスと前記被制御機器のネットワーク識別アドレスとを用いてネットワーク結合することを特徴とする請求項８に記載の手の動作による機器ネットワーク方法。
前記結合されたネットワークを用いて、前記制御機器で前記被制御機器を制御するステップをさらに含むことを特徴とする請求項８に記載の手の動作による機器ネットワーク方法。