JP2017530447A - ３ｄシーンでジェスチャーを入力するシステム及び方法 - Google Patents

Abstract

本発明は、３Ｄシーンでジェスチャーを入力するシステム及び方法を開示しており、前記システムは、ユーザーのジェスチャーに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集するためのジェスチャー採集手段と、前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するジェスチャー形状を識別するためのジェスチャー識別手段と、前記リアルタイムに変化するジェスチャー形状を解析して、対応するジェスチャー動作を取得するためのジェスチャー解析手段と、前記ジェスチャー動作を３Ｄ画像に変換処理して、リアルタイムに前記３Ｄシーンに表示するためのジェスチャー表示手段と、を含む。本発明の技術的解決手段は、３Ｄシーンにおいてユーザーのジェスチャーをリアルタイムに忠実に表示し、システムの忠実性を高め、ユーザーの利用体験を向上させることができる。【選択図】図１

Description

本発明は、仮想現実の技術分野に関し、特に、３Ｄシーンでジェスチャーを入力するシステム及び方法に関する。

仮想現実技術は、将来的に、人々のライフスタイルを変える新たなブレークスルーになると考えられるが、現在、仮想世界においてターゲットとのインタラクションを如何に行うのかが、仮想現実技術として直面しなければならない大きな課題であるため、仮想現実技術が消費市場へ本格参入するには、まだまだ長い道のりがある。

現在、従来の様々な仮想現実機器は、まだ、ユーザーと仮想世界との間のコミュニケーションを十分に行うことができず、３Ｄシーンにおいて、身体の関連部位を追跡できず、例えば、今でもユーザーの手部の動作を正確にシミュレーションすることができない。

本発明は、３Ｄシーンにおいてユーザーの手部の動作を正確にシミュレーションすることができないという従来技術の問題点を解決するために、３Ｄシーンでジェスチャーを入力するシステム及び方法を提供する。

上記目的を達成するために、本発明の技術的解決手段は、下記のように実現される。

一つの局面において、本発明は、３Ｄシーンでジェスチャーを入力するシステムを提供しており、前記システムは、ジェスチャー採集手段と、ジェスチャー識別手段と、ジェスチャー解析手段と、ジェスチャー表示手段とを含み、
前記ジェスチャー採集手段は、ユーザーのジェスチャーに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集するために用いられ、
前記ジェスチャー識別手段は、前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するジェスチャー形状を識別するために用いられ、
前記ジェスチャー解析手段は、前記リアルタイムに変化するジェスチャー形状を解析して、対応するジェスチャー動作を取得するために用いられ、
前記ジェスチャー表示手段は、前記ジェスチャー動作を３Ｄ画像に変換処理して、リアルタイムに前記３Ｄシーンに表示するために用いられる。

好ましくは、前記システムは、ジェスチャー操作手段をさらに含み、
前記ジェスチャー操作手段は、予め設定された語義データベースから、前記ジェスチャー動作のジェスチャー語義及び当該ジェスチャー語義に対応する操作指令を取得し、前記ジェスチャー語義に対応する操作指令を前記３Ｄシーンに送信して、前記３Ｄシーンに前記ジェスチャー語義に対応する操作を行わせるために用いられる。

好ましくは、前記ジェスチャー識別手段は、
前記少なくとも２個のビデオストリームデータの各々に対して、それぞれサンプリング処理を行い、毎回サンプリングしたビデオ画像データを取得するためのサンプリングモジュールと、
前記ビデオ画像データに手部の情報が含まれているかどうかを判断し、手部の情報が含まれている場合、前記ビデオ画像データに対して二値化処理を行って、手部の輪郭情報を抽出するためのジェスチャー輪郭抽出モジュールと、
予め設定されたジェスチャーモデルデータベースから、前記手部の輪郭情報に対応するジェスチャー形状を識別するためのジェスチャー形状識別モジュールと、
各ビデオストリームデータに対して毎回サンプリングして識別されたジェスチャー形状を合成して、リアルタイムに変化するジェスチャー形状を得るためのジェスチャー形状合成モジュールとを、含む。

好ましくは、前記ジェスチャー解析手段は、
リアルタイムに変化するジェスチャー形状の相対的空間位置情報を取得するための位置情報取得モジュールと、
リアルタイムに変化するジェスチャー形状において決められ、手部を識別する特徴的なキーポイントとなる接点に基づいて、前記リアルタイムに変化するジェスチャー形状における接点の変化情報を取得するための接点情報取得モジュールと、
前記相対的空間位置情報及び前記接点の変化情報に基づき、予め設定された動作データベースから、対応するジェスチャー動作を取得するためのジェスチャー動作取得モジュールとを含む。

さらに好ましくは、前記位置情報取得モジュールは、具体的に、
前記少なくとも２個のビデオストリームデータのビデオ画像情報から、ジェスチャー形状変化の角度情報を取得し、
前記ジェスチャー形状変化の角度情報に基づいてユーザーのジェスチャーの距離情報を取得し、或いは距離センサーによってユーザーのジェスチャーの距離情報をリアルタイムにセンシングし、
前記ジェスチャー形状変化の角度情報及び前記ユーザーのジェスチャーの距離情報に基づき、ユーザーのジェスチャーの相対的空間位置情報を取得するために用いられる。

もう一つの局面において、本発明は、３Ｄシーンでジェスチャーを入力する方法を提供しており、前記方法は、
ユーザーのジェスチャーに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集するステップと、
前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するジェスチャー形状を識別するステップと、
前記リアルタイムに変化するジェスチャー形状を解析して、対応するジェスチャー動作を取得するステップと、
前記ジェスチャー動作を３Ｄ画像に変換処理して、リアルタイムに前記３Ｄシーンに表示するステップとを含む。

好ましくは、前記方法は、
予め設定された語義データベースから、前記ジェスチャー動作のジェスチャー語義及び当該ジェスチャー語義に対応する操作指令を取得することと、
前記ジェスチャー語義に対応する操作指令を前記３Ｄシーンに送信して、前記３Ｄシーンに前記ジェスチャー語義に対応する操作を行わせることとをさらに含む。

好ましくは、前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するジェスチャー形状を識別する前記ステップは、
前記少なくとも２個のビデオストリームデータの各々に対して、それぞれサンプリング処理を行い、毎回サンプリングしたビデオ画像データを取得することと、
前記ビデオ画像データに手部の情報が含まれているかどうかを判断し、手部の情報が含まれている場合、前記ビデオ画像データに対して二値化処理を行って、手部の輪郭情報を抽出することと、
予め設定されたジェスチャーモデルデータベースから、前記手部の輪郭情報に対応するジェスチャー形状を識別することと、
各ビデオストリームデータに対して毎回サンプリングして識別されたジェスチャー形状を合成して、リアルタイムに変化するジェスチャー形状を得ることとを含む。

好ましくは、前記リアルタイムに変化するジェスチャー形状を解析して、対応するジェスチャー動作を取得する前記ステップは、
リアルタイムに変化するジェスチャー形状の相対的空間位置情報を取得することと、
リアルタイムに変化するジェスチャー形状において決められ、手部を識別する特徴的なキーポイントとなる接点に基づいて、前記リアルタイムに変化するジェスチャー形状における接点の変化情報を取得することと、
前記相対的空間位置情報及び前記接点の変化情報に基づき、予め設定された動作データベースから、対応するジェスチャー動作を取得することとを含む。

さらに好ましくは、前記のリアルタイムに変化するジェスチャー形状の相対的空間位置情報を取得することは、
前記少なくとも２個のビデオストリームデータのビデオ画像情報から、ジェスチャー形状変化の角度情報を取得することと、
前記ジェスチャー形状変化の角度情報に基づいてユーザーのジェスチャーの距離情報を取得し、或いは距離センサーによってユーザーのジェスチャーの距離情報をリアルタイムにセンシングすることと、
前記ジェスチャー形状変化の角度情報及び前記ユーザーのジェスチャーの距離情報に基づき、ユーザーのジェスチャーの相対的空間位置情報を取得することとを含む。

本発明の実施例の有益な効果としては、次のことが挙げられる。本発明の実施例は、３Ｄシーンでジェスチャーを入力するシステム及び方法を開示しており、前記システムにおいては、ジェスチャー採集手段により、ユーザーのジェスチャーに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集し、ジェスチャー識別手段により、前記少なくとも２個のビデオストリームデータから、完全な手部の情報を有するジェスチャー形状を識別し、ジェスチャー解析手段により、当該ジェスチャー形状を解析して対応するジェスチャー動作を取得し、ジェスチャー表示手段により、当該ジェスチャー動作を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに表示することで、３Ｄシーンにおいて、ユーザーのジェスチャーを忠実に表示するという目的を達成した。

また、本発明の好ましい技術的解決手段では、ジェスチャー操作手段により、ジェスチャー動作を処理し、対応するジェスチャー語義を生成して、当該ジェスチャー語義の通りに、対応する操作を３Ｄシーンに行わせることで、ジェスチャーの入力によって３Ｄシーンをコントロールするという目的を実現した。従来技術に比べ、本技術的解決手段は、キーボード及びマウスを使わずに、仮想機器とのインタラクションを実現可能で、且つこのインタラクションが、利用者及び利用環境に過度な制約を与えず、即ち、ユーザーの身体にいかなる識別マーク又はセンサーを装着する必要がなく、ユーザーの忠実なジェスチャーによって、ユーザーと３Ｄシーンとの間のインタラクションを実現し、ユーザーの利用体験を向上させた。

図面は、本発明に対する更なる理解のために提供されるものであり、明細書の一部とされ、本発明の実施例とともに本発明を解釈するために用いられるが、本発明を制限するものではない。
本発明の実施例に係る３Ｄシーンでジェスチャーを入力するシステムの構造模式図である。 本発明の実施例に係るジェスチャー動作によって仮想現実ヘッドマウント機器を操作する技術フローチャートである。 本発明の実施例に係る３Ｄシーンでジェスチャーを入力する方法のフローチャートである。

本発明の目的、技術的解決手段及び利点がより明白になるように、以下、図面を参照して、本発明の実施形態について更に詳しく説明する。

本発明の主な技術構想は、少なくとも２個のカメラを用いて、異なる角度から、ユーザーのジェスチャーをリアルタイムに採集し、各カメラが採集したビデオストリームデータに基づき、ユーザーのジェスチャー形状を識別し、識別されたジェスチャー形状を解析して対応するジェスチャー動作を取得し、前記ジェスチャー動作を３Ｄ画像に変換処理してリアルタイムに３Ｄシーンに表示するとともに、３Ｄシーンに当該ジェスチャー動作の操作を行わせることで、ユーザーの忠実なジェスチャーによって、人と機器とのインタラクションを済ませることにある。

図１は、本発明の実施例に係る３Ｄシーンでジェスチャーを入力するシステムの構造模式図であり、前記システムは、ジェスチャー採集手段１１と、ジェスチャー識別手段１２と、ジェスチャー解析手段１３と、ジェスチャー表示手段１４とを含む。

ジェスチャー採集手段１１は、ユーザーのジェスチャーに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集するために用いられる。

ここで、ジェスチャー採集手段１１は、複数のカメラによって、異なる角度から、ユーザーのジェスチャーをリアルタイムに採集することで、複数個のビデオストリームデータを取得してもよい。実際の応用において、システムのデータ処理の性能及びシステム精度の要求に応じて、適切な数のカメラを選択して、対応する数のビデオストリームデータを採集することが可能である。説明しておきたいのは、ジェスチャー採集手段１１におけるカメラは、通常性能の白色光カメラでも良いし、赤外線カメラでも良く、本実施例では、ジェスチャー採集手段を特に限定しない。

ジェスチャー識別手段１２は、少なくとも２個のビデオストリームデータから、リアルタイムに変化するジェスチャー形状を識別するために用いられる。

ジェスチャー解析手段１３は、リアルタイムに変化するジェスチャー形状を解析して、対応するジェスチャー動作を取得するために用いられる。

ジェスチャー表示手段１４は、当該ジェスチャー動作を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに表示するために用いられる。

本発明におけるジェスチャー表示手段１４は、当該ジェスチャー動作を３Ｄ画像に変換処理して３Ｄシーンに重畳投影することで、３Ｄシーンにおいて当該ジェスチャー動作のリアルタイム表示を実現してもよい。好ましくは、画面分割技術を用いて３Ｄ画像を３Ｄシーンに投影し、即ち、メイン表示画面で３Ｄシーンを表示し、３Ｄ画像に変換処理されたジェスチャー動作を別の表示画面で表示して、光学の関連原理により、ジェスチャー動作を含む３Ｄシーンを人々の目に見えるようにしてもよい。

好ましくは、前記システムは、ジェスチャー操作手段をさらに含み、前記ジェスチャー操作手段は、予め設定された語義データベースから、前記ジェスチャー動作に対応するジェスチャー語義及び当該ジェスチャー語義に対応する操作指令を取得し、当該ジェスチャー語義に対応する操作指令を３Ｄシーンに送信して、３Ｄシーンに当該ジェスチャー語義に対応する操作を行わせるために用いられる。

ここで、語義データベースは、データ関係テーブルでも良く、このデータ関係テーブルにおいて、各ジェスチャー動作毎に、１つのジェスチャー語義及び当該ジェスチャー語義に対応する操作指令が対応付けられており、例えば、平行移動のジェスチャーは、画面のスライドによる表示内容の切り替えとして定義されてもよい。

本実施例においては、ジェスチャー採集手段により、ユーザーのジェスチャーに対して、少なくとも２個のビデオストリームデータをリアルタイムに採集し、ジェスチャー識別手段により、少なくとも２個のビデオストリームデータから、完全な手部の情報を有するジェスチャー形状を識別し、ジェスチャー解析手段により、識別されたジェスチャー形状を解析して対応するジェスチャー動作を取得し、ジェスチャー表示手段により、当該ジェスチャー動作を３Ｄ画像に変換処理してリアルタイムに３Ｄシーンに表示することで、３Ｄシーンにおいてユーザーの忠実なジェスチャーを表示するという目的を達成した。

そして、好ましい実施例では、ジェスチャー操作手段により、当該ジェスチャー動作を処理して、対応するジェスチャー語義を生成して、３Ｄシーンに当該ジェスチャー語義に対応する操作を行わせることで、ジェスチャーの入力によって３Ｄシーンをコントロールするという目的を実現した。従来技術に比べ、本技術的解決手段は、キーボード及びマウスを使わずに、仮想現実機器とのインタラクションを実現可能で、且つこのインタラクションは、利用者及び利用環境に過度な制約を与えず、ユーザーの身体にいかなる識別マーク又はセンサーを装着する必要がない。

好ましくは、上述した図１に示す実施例におけるジェスチャー識別手段１２は、サンプリングモジュールと、ジェスチャー輪郭抽出モジュールと、ジェスチャー形状識別モジュールと、ジェスチャー形状合成モジュールとを含む。

サンプリングモジュールは、前記少なくとも２個のビデオストリームデータの各々に対して、それぞれサンプリング処理を行い、毎回サンプリングしたビデオ画像データを取得するために用いられる。

ジェスチャー輪郭抽出モジュールは、前記ビデオ画像データに手部の情報が含まれているかどうかを判断し、手部の情報が含まれている場合、前記ビデオ画像データに対して二値化処理を行って、手部の輪郭情報を抽出する。

説明しておきたいのは、本実施例におけるジェスチャー輪郭抽出モジュールは、従来技術によって、ビデオ画像データに手部の情報が含まれているかどうかを判断しても良く、例えば、ビデオ画像に５つの指の特徴形状及び掌の特徴形状などの情報が現れているかどうかを分析することによって、当該ビデオ画像に手部の情報が含まれているかどうかを判断することが可能である。

ジェスチャー形状識別モジュールは、予め設定されたジェスチャーモデルデータベースから、前記手部の輪郭情報に対応するジェスチャー形状を識別するために用いられる。

例示的に、上述したジェスチャー輪郭抽出モジュールは、ユーザーが初めて本システムを利用するときに、ユーザーの様々のジェスチャー（例えば、手を開く、拳を握るなどのジェスチャー）をジェスチャーモデルデータベースに保存してもよく、このとき、ジェスチャー形状識別モジュールは、ユーザーの忠実なジェスチャーを保存しているジェスチャーモデルデータベースに基づいて、当該ジェスチャー輪郭情報に対応するジェスチャー形状を識別することが可能である。勿論、ジェスチャーモデルデータベースに予め保存しておくのは、手形状の特徴（例えば、５本の指の異なる状態の特徴）であっても良く、手部の輪郭情報における各指の状態の特徴を検出することで、対応するジェスチャー形状を識別する。

ジェスチャー形状合成モジュールは、各ビデオストリームデータに対して毎回サンプリングした後に識別されたジェスチャー形状を合成して、リアルタイムに変化するジェスチャー形状を得るために用いられる。

実際の応用において、各ビデオストリームデータ毎にサンプリングされたのは、いずれもユーザーの手部の一部でしかなく、同一時刻で完全な手部が得られないので、本実施例では、ジェスチャー合成モジュールを用いて、各ビデオストリームデータに対して毎回サンプリングした後に識別されたジェスチャー形状を合成処理することによって、情報のより多いジェスチャー形状を取得する。

上述したように、ジェスチャー識別手段は、各ビデオストリームデータにおけるジェスチャー輪郭情報に基づき、対応するジェスチャー形状を識別するとともに、複数個のビデオストリームデータから識別されたジェスチャーを合成して、ユーザーの手部の全ての情報を含むジェスチャー形状を得ることで、３Ｄシーンに表示されるジェスチャーの忠実性を高めて、ユーザーの利用体験を向上させた。

好ましくは、上述した図１に示す好ましい実施例におけるジェスチャー解析手段は、位置情報取得モジュールと、接点情報取得モジュールと、ジェスチャー動作取得モジュールとを含む。

位置情報取得モジュールは、リアルタイムに変化するジェスチャー形状の相対的空間位置情報を取得するために用いられる。

複数のカメラが同一時刻でユーザーのジェスチャーを撮影するときに、各カメラから出射した光がユーザーのジェスチャーと夾角を成すことになり、もしユーザーのジェスチャーが移動したり、変化したりする場合、各カメラから出射した光とユーザーのジェスチャーとの夾角が変化する可能性があり、これらの夾角の変化が、ビデオストリームデータに反映されると、空間位置の変化として表れるので、本技術的解決手段では、この客観的な事実に基づいて、リアルタイムに変化するジェスチャー形状の相対的空間位置情報を取得している。

具体的には、本発明は、リアルタイムに変化するジェスチャー形状の相対的空間位置情報を取得する２つの手法を模式的に示している。そのうち、ジェスチャー形状の相対的空間位置情報を取得する１つ目の手法としては、
前記ジェスチャー採集手段により採集された前記少なくとも２個のビデオストリームデータのビデオ画像情報から、ジェスチャー形状変化の角度情報を取得し、ジェスチャー形状変化の角度情報に基づいてユーザーのジェスチャーの距離情報を取得し、ジェスチャー形状変化の角度情報とユーザーのジェスチャーの距離情報を合わせて、ユーザーのジェスチャーの相対的空間位置情報を取得する。

ジェスチャー形状の相対的空間位置情報を取得する２つ目の手法としては、
前記ジェスチャー採集手段により採集された前記少なくとも２個のビデオストリームデータのビデオ画像情報から、ジェスチャー形状変化の角度情報を取得し、距離センサーによってユーザーのジェスチャーの距離情報をリアルタイムにセンシングし、ジェスチャー形状変化の角度情報とユーザーのジェスチャーの距離情報を合わせて、ユーザーのジェスチャーの相対的空間位置情報を取得する。

上述した２つの手法は、いずれも、ジェスチャー形状変化の角度情報とジェスチャーのリアルタイム距離情報を合わせることにより、ジェスチャーの相対的空間位置情報を取得する精度を向上させるものである。１つ目の手法では、別途センサーを要せずに、ビデオストリームデータ自体により提供された情報だけでジェスチャーの相対的空間位置情報を取得可能であるが、実現するには、高度なアルゴリズムが必要であり、システムの計算複雑度が高まってしまう。一方、２つ目の手法では、距離センサーによってジェスチャーの距離変化をリアルタイムにセンシングするため、簡単なアルゴリズムで、精度の高い相対的空間位置情報を取得することを実現する。実際の使用にあたって、具体的な設計要求に応じて適切な手法を選択しても良い。

接点情報取得モジュールは、リアルタイムに変化するジェスチャー形状において決められた接点に基づいて、リアルタイムに変化するジェスチャー形状における接点の変化情報を取得するために用いられ、前記接点が手部を識別する特徴的なキーポイントとなる。

説明しておきたいのは、本モジュールにおける接点は、手部を識別する特徴的なキーポイントであり、リアルタイムに変化するジェスチャー形状をより好適に特定するために、当該キーポイントは、手部の各関節点とするのが好ましい。本技術的解決手段は、ジェスチャー形状における接点の数及び設定方式を特に限定しないので、設計の際に、システムの精度とデータ処理能力などの要求を総合的に考慮して具体的に設計を行えばよい。

ジェスチャー動作取得モジュールは、相対的空間位置情報及び接点の変化情報に基づき、予め設定された動作データベースから、対応するジェスチャー動作を取得するために用いられる。

本技術的解決手段の有益な効果をより詳しく説明するために、１つの仮想ヘッドマウンド機器を例として説明する。

当該仮想ヘッドマウンド機器は、３Ｄ仮想現実シーンを表示するための３Ｄ表示画面と、上記技術的解決手段に係る３Ｄシーンでジェスチャーを入力するシステムとを含み、そのうち、３Ｄシーンでジェスチャーを入力するシステムのジェスチャー採集手段は、仮想現実ヘッドマウンド機器に設けられた前部カメラと底部カメラである。

当該仮想現実ヘッドマウンド機器の作動原理としては、前部カメラと底部カメラにより、ユーザーのジェスチャーをリアルタイムに採集して２個のビデオストリームデータを取得し、２個のビデオストリームデータからジェスチャー形状を識別し、前記ジェスチャー形状を解析することで対応するジェスチャー動作を取得し、当該ジェスチャー動作を３Ｄ画像に変換処理してリアルタイムに３Ｄ仮想現実シーンに表示するとともに、当該ジェスチャー動作に対応するジェスチャー語義を仮想現実ヘッドマウンド機器のメインプロセッサーに送信して、仮想現実ヘッドマウンド機器をコントロールして前記ジェスチャー語義に対応する操作を行わせる。

ここで、ビデオストリームデータからユーザーのジェスチャー動作を取得し、当該ジェスチャー動作に応じて、仮想現実ヘッドマウンド機器を駆動して対応する操作を行わせる技術的流れは、図２に示すようになる。

ステップＳ２００では、前部カメラと底部カメラにより採集されたビデオストリームデータを取得する。

ステップＳ２０１では、現在時刻の２個のビデオストリームデータに対して、それぞれビデオサンプリング処理を行って、対応するビデオ画像を得る。

ステップＳ２０２では、ビデオ画像にユーザーのジェスチャーがあるかどうかを判断し、ある場合、ステップＳ２０３に移行し、ない場合、次の時刻のビデオストリームデータを取得する。

ステップＳ２０３では、ビデオ画像データに対して二値化処理を行い、手部の輪郭情報を抽出する。

ステップＳ２０４では、予め設定された静的ジェスチャーモデルに基づき、手部の輪郭情報から現在のジェスチャー形状を識別する。

ステップＳ２０５では、２個のビデオストリームデータのサンプリング後に識別されたジェスチャー形状を合成して、より多くの手部の情報を含むジェスチャー形状を取得する。

ステップＳ２０６では、ジェスチャーの空間位置の変化情報を取得する。

ステップＳ２０７では、ジェスチャー接点の変化情報及びジェスチャー空間位置の変化情報に基づいて、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）動的ジェスチャー識別方法を利用して、リアルタイムに変化するジェスチャー形状に対応するジェスチャー動作を取得する。

ステップＳ２０８では、ジェスチャー動作に基づいて、予め設定された語義データベースから、対応するジェスチャー語義を取得する。

ステップＳ２０９では、仮想現実ヘッドマウンド機器をコントロールして、上記ジェスチャー語義に対応する操作を行わせる。

本実施例では、３Ｄシーンでジェスチャーを入力するシステムを仮想現実ヘッドマウンド機器に応用して、ユーザー自らの手部の動作を仮想現実ヘッドマウンド機器への入力として用い、ユーザーに自らの手で仮想現実シーンにおける関連操作を行わせることで、ユーザーの体験を向上させ、人と機器とのインタラクションを最適化した。

図３は、本発明の実施例に係る３Ｄシーンでジェスチャーを入力する方法のフローチャートであり、前記方法は、下記のステップＳ３００〜Ｓ３０３を含み、
ステップＳ３００では、ユーザーのジェスチャーに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集する。

ステップＳ３０１では、前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するジェスチャー形状を識別する。

具体的には、
前記少なくとも２個のビデオストリームデータの各々に対して、それぞれサンプリング処理を行い、毎回サンプリングしたビデオ画像データを取得し、
当該ビデオ画像データに手部の情報が含まれているかどうかを判断し、手部の情報が含まれている場合、当該ビデオ画像データに対して二値化処理を行って、手部の輪郭情報を抽出し、
予め設定されたジェスチャーモデルデータベースから、手部の輪郭情報に対応するジェスチャー形状を識別し、
各ビデオストリームデータに対して毎回サンプリングして識別されたジェスチャー形状を合成して、リアルタイムに変化するジェスチャー形状を得る。

ステップＳ３０２では、リアルタイムに変化するジェスチャー形状を解析して、対応するジェスチャー動作を取得する。

具体的には、リアルタイムに変化するジェスチャー形状の相対的空間位置情報を取得し、
リアルタイムに変化するジェスチャー形状において決められ、手部を識別する特徴的なキーポイントとなる接点に基づいて、リアルタイムに変化するジェスチャー形状における接点の変化情報を取得し、
相対的空間位置情報及び接点の変化情報に基づき、予め設定された動作データベースから、対応するジェスチャー動作を取得する。

ここで、リアルタイムに変化するジェスチャー形状の相対的空間位置情報を取得することは、
前記少なくとも２個のビデオストリームデータのビデオ画像情報から、ジェスチャー形状変化の角度情報を取得することと、
ジェスチャー形状変化の角度情報に基づいてユーザーのジェスチャーの距離情報を取得し、或いは距離センサーによってユーザーのジェスチャーの距離情報をリアルタイムにセンシングすることと、
ジェスチャー形状変化の角度情報及びユーザーのジェスチャーの距離情報に基づき、ユーザーのジェスチャーの相対的空間位置情報を取得することとを含む。

ステップＳ３０３では、ジェスチャー動作を３Ｄ画像に変換処理して、リアルタイムに３Ｄシーンに表示する。

好ましくは、本方法は、
予め設定された語義データベースから、前記ジェスチャー動作のジェスチャー語義及び当該ジェスチャー語義に対応する操作指令を取得することと、
当該ジェスチャー語義に対応する操作指令を３Ｄシーンに送信して、３Ｄシーンに当該ジェスチャー語義に対応する操作を行わせることとをさらに含む。

上述をまとめると、本発明の実施例は、３Ｄシーンでジェスチャーを入力するシステム及び方法を開示しており、前記システムにおいては、ジェスチャー採集手段により、ユーザーのジェスチャーに対して、少なくとも２個のビデオストリームデータをリアルタイムに採集し、ジェスチャー識別手段により、少なくとも２個のビデオストリームデータから、完全な手部の情報を有するジェスチャー形状を識別し、ジェスチャー解析手段により、当該ジェスチャー形状を解析して対応するジェスチャー動作を取得し、ジェスチャー表示手段により、当該ジェスチャー動作を３Ｄ画像に変換処理してリアルタイムに３Ｄシーンに表示することで、３Ｄシーンにおいてユーザーのジェスチャーを忠実に表示するという目的を達成した。そして、本発明の好ましい技術的解決手段は、さらに、ジェスチャー操作手段により、ジェスチャー動作を処理し、対応するジェスチャー語義を生成して、当該ジェスチャー語義の通りに、対応する操作を３Ｄシーンに行わせることで、ジェスチャーの入力によって３Ｄシーンをコントロールするという目的を実現した。従来技術に比べ、本技術的解決手段は、キーボード及びマウスを使わずに、仮想機器とのインタラクションを実現可能で、且つこのインタラクションは、利用者及び利用環境に過度な制約を与えず、即ち、ユーザーの身体にいかなる識別マーク又はセンサーを装着する必要がなく、ユーザーの忠実なジェスチャーによって、ユーザーと３Ｄシーンとの間のインタラクションを実現し、ユーザーの利用体験を向上させた。

上記したのは、あくまでも本発明の好ましい実施例であり、本発明の保護範囲を限定するものではない。本発明の精神及び原則内になされたいかなる補正、均等的置換、改善等は、いずれも本発明の保護範囲内に含まれる。

Claims (10)

1. ３Ｄシーンでジェスチャーを入力するシステムであって、ジェスチャー採集手段と、ジェスチャー識別手段と、ジェスチャー解析手段と、ジェスチャー表示手段とを含み、
   前記ジェスチャー採集手段は、ユーザーのジェスチャーに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集するために用いられ、
   前記ジェスチャー識別手段は、前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するジェスチャー形状を識別するために用いられ、
   前記ジェスチャー解析手段は、前記リアルタイムに変化するジェスチャー形状を解析して、対応するジェスチャー動作を取得するために用いられ、
   前記ジェスチャー表示手段は、前記ジェスチャー動作を３Ｄ画像に変換処理して、リアルタイムに前記３Ｄシーンに表示するために用いられることを特徴とするシステム。
2. ジェスチャー操作手段をさらに含み、
   前記ジェスチャー操作手段は、予め設定された語義データベースから、前記ジェスチャー動作のジェスチャー語義及び当該ジェスチャー語義に対応する操作指令を取得し、前記ジェスチャー語義に対応する操作指令を前記３Ｄシーンに送信して、前記３Ｄシーンに前記ジェスチャー語義に対応する操作を行わせるために用いられることを特徴とする請求項１に記載のシステム。
3. 前記ジェスチャー識別手段は、
   前記少なくとも２個のビデオストリームデータの各々に対して、それぞれサンプリング処理を行い、毎回サンプリングしたビデオ画像データを取得するためのサンプリングモジュールと、
   前記ビデオ画像データに手部の情報が含まれているかどうかを判断し、手部の情報が含まれている場合、前記ビデオ画像データに対して二値化処理を行って、手部の輪郭情報を抽出するためのジェスチャー輪郭抽出モジュールと、
   予め設定されたジェスチャーモデルデータベースから、前記手部の輪郭情報に対応するジェスチャー形状を識別するためのジェスチャー形状識別モジュールと、
   各ビデオストリームデータに対して毎回サンプリングして識別されたジェスチャー形状を合成して、リアルタイムに変化するジェスチャー形状を得るためのジェスチャー形状合成モジュールと
   を含むことを特徴とする請求項１に記載のシステム。
4. 前記ジェスチャー解析手段は、
   リアルタイムに変化するジェスチャー形状の相対的空間位置情報を取得するための位置情報取得モジュールと、
   リアルタイムに変化するジェスチャー形状において決められ、手部を識別する特徴的なキーポイントとなる接点に基づいて、前記リアルタイムに変化するジェスチャー形状における接点の変化情報を取得するための接点情報取得モジュールと、
   前記相対的空間位置情報及び前記接点の変化情報に基づき、予め設定された動作データベースから、対応するジェスチャー動作を取得するためのジェスチャー動作取得モジュールと
   を含むことを特徴とする請求項１に記載のシステム。
5. 前記位置情報取得モジュールは、
   前記少なくとも２個のビデオストリームデータのビデオ画像情報から、ジェスチャー形状変化の角度情報を取得し、
   前記ジェスチャー形状変化の角度情報に基づいてユーザーのジェスチャーの距離情報を取得し、或いは距離センサーによってユーザーのジェスチャーの距離情報をリアルタイムにセンシングし、
   前記ジェスチャー形状変化の角度情報及び前記ユーザーのジェスチャーの距離情報に基づき、ユーザーのジェスチャーの相対的空間位置情報を取得するために用いられることを特徴とする請求項４に記載のシステム。
6. ３Ｄシーンでジェスチャーを入力する方法であって、
   ユーザーのジェスチャーに対して、異なる角度から、同時に少なくとも２個のビデオストリームデータをリアルタイムに採集するステップと、
   前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するジェスチャー形状を識別するステップと、
   前記リアルタイムに変化するジェスチャー形状を解析して、対応するジェスチャー動作を取得するステップと、
   前記ジェスチャー動作を３Ｄ画像に変換処理して、リアルタイムに前記３Ｄシーンに表示するステップと
   を含むことを特徴とする方法。
7. 予め設定された語義データベースから、前記ジェスチャー動作のジェスチャー語義及び当該ジェスチャー語義に対応する操作指令を取得することと、
   前記ジェスチャー語義に対応する操作指令を前記３Ｄシーンに送信して、前記３Ｄシーンに前記ジェスチャー語義に対応する操作を行わせることと
   をさらに含むことを特徴とする請求項６に記載の方法。
8. 前記少なくとも２個のビデオストリームデータから、リアルタイムに変化するジェスチャー形状を識別する前記ステップは、
   前記少なくとも２個のビデオストリームデータの各々に対して、それぞれサンプリング処理を行い、毎回サンプリングしたビデオ画像データを取得することと、
   前記ビデオ画像データに手部の情報が含まれているかどうかを判断し、手部の情報が含まれている場合、前記ビデオ画像データに対して二値化処理を行って、手部の輪郭情報を抽出することと、
   予め設定されたジェスチャーモデルデータベースから、前記手部の輪郭情報に対応するジェスチャー形状を識別することと、
   各ビデオストリームデータに対して毎回サンプリングして識別されたジェスチャー形状を合成して、リアルタイムに変化するジェスチャー形状を得ることと
   を含むことを特徴とする請求項６に記載の方法。
9. 前記リアルタイムに変化するジェスチャー形状を解析して、対応するジェスチャー動作を取得する前記ステップは、
   リアルタイムに変化するジェスチャー形状の相対的空間位置情報を取得することと、
   リアルタイムに変化するジェスチャー形状において決められ、手部を識別する特徴的なキーポイントとなる接点に基づいて、前記リアルタイムに変化するジェスチャー形状における接点の変化情報を取得することと、
   前記相対的空間位置情報及び前記接点の変化情報に基づき、予め設定された動作データベースから、対応するジェスチャー動作を取得することと
   を含むことを特徴とする請求項６に記載の方法。
10. 前記のリアルタイムに変化するジェスチャー形状の相対的空間位置情報を取得することは、
    前記少なくとも２個のビデオストリームデータのビデオ画像情報から、ジェスチャー形状変化の角度情報を取得することと、
    前記ジェスチャー形状変化の角度情報に基づいてユーザーのジェスチャーの距離情報を取得し、或いは距離センサーによってユーザーのジェスチャーの距離情報をリアルタイムにセンシングすることと、
    前記ジェスチャー形状変化の角度情報及び前記ユーザーのジェスチャーの距離情報に基づき、ユーザーのジェスチャーの相対的空間位置情報を取得することと
    を含むことを特徴とする請求項９に記載の方法。