JP2016507810A

JP2016507810A - タッチレスジェスチャインターフェースにおける物体間の距離の使用

Info

Publication number: JP2016507810A
Application number: JP2015549672A
Authority: JP
Inventors: アレハンドロ・カウフマン; クリスティアン・プレジマン; ジョシュア・キャプラン
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2012-12-20
Filing date: 2013-12-19
Publication date: 2016-03-10
Also published as: EP2936279A1; US20160048214A1; AU2013361410A1; US20140340498A1; WO2014100332A1; KR20150107755A

Abstract

ボリュームのようなデバイスの機能は、ジェスチャ認識および補間スキームの組み合わせを使用して制御され得る。ユーザの手のような2つの物体の間の距離は、第1の時点および第2の時点で決定され得る。2つの時点で計算された距離の間の差は、デバイスの機能をマッピングされた値に設定するために、機能の値に対する決定された差のプロット上にマッピングされ得る。

Description

本開示は、タッチレスジェスチャインターフェースにおける物体間の距離の使用に関する。

デバイスのジェスチャ制御は、典型的には、ユーザがデバイスの特定の機能と対話することを可能にする。例えば、ユーザは、手を振るジェスチャに基づいて活性化するために、光を向けることができる。ジェスチャは、深さカメラまたはRGBカメラによって検出され得る。カメラは、ユーザからのジェスチャの環境を監視することができる。ビデオゲームコンソールも、ジェスチャベースのインターフェースを提供するために、単一のカメラを使用する。例えば、格闘ゲームは、ユーザによって放たれるパンチを検出することができ、ビデオゲームの敵に、TV画面上でそのパンチに応答させることができる。仮想現実は、また、通常はヘッドマウントディスプレイユニットを使用して、ユーザに没入型の環境を提供する。

開示された主題の一実施態様によれば、第1の時点での、身体部分のような少なくとも第1の物体と、第2の物体との間の第1の距離が決定され得る。第1の物体および第2の物体は、デバイスと物理的に接触しなくてもよい。デバイスは、選択可能な値の範囲を有する機能を含むことができる。第2の時点での第1の物体と第2の物体との間の第2の距離が決定され得る。第1の距離と第2の距離との間の差が決定され得る。いくつかの構成では、決定された差は、補間スキームに基づいてマッピングされ得る。補間スキームは、決定された差に対する選択可能な値の範囲のプロットを含むことができる。プロットは、非線形であり得、範囲内の所定の最小および最大値を定義することができる。選択可能な値の範囲内の選択可能な値のうちの1つが、決定された差に基づいて選択され得る。

一実施態様では、データベースと、少なくとも1つのカメラと、プロセッサとを含むシステムが開示される。データベースは、第1の物体および第2の物体の位置を記憶することができる。1つまたは複数のカメラは、第1の物体および第2の物体の位置を取り込むことができる。プロセッサは、データベースに接続され得、第1の時点に、第1の物体と第2の物体との間の第1の距離を決定するように構成され得る。第1の物体および第2の物体は、デバイスと物理的に接触しなくてもよい。デバイスは、2つ以上の選択可能な値を有する機能を含むことができる。プロセッサは、第2の時点に、第1の物体と第2の物体との間の第2の距離を決定するように構成され得る。それは、第1の距離と第2の距離との間の差を決定することができ、決定された差に基づいて、選択可能な値のうちの1つを選択することができる。

開示された主題の追加の特徴、利点、および実施態様は、以下の詳細な説明、図面、および特許請求の範囲の検討から明らかにまたは明白にされ得る。さらに、前述の概要と以下の詳細な説明の両方は、例示であり、特許請求の範囲を限定することなく、さらなる説明を提供することが意図されていることが理解されるべきである。

開示された主題のさらなる理解を提供するために含まれる添付図面は、本明細書に組み込まれ、その一部を構成する。図面は、また、開示された主題の実施態様を示し、詳細な説明とともに、開示された主題の実施態様の原理を説明するのに役立つ。開示された主題、およびそれが実施され得る様々な方法の基本的な理解のために必要であり得るよりも詳細には、構造的な詳細を示すような試みは、なされない。

開示された主題の一実施態様によるコンピュータを示す図である。開示された主題の一実施態様によるネットワーク構成を示す図である。本明細書で開示された一実施態様による例示的なプロセスフローを示す図である。機能に関する所定の最小および最大値を有する例示的な線形または絶対補間スキームを示す図である。機能に関する所定の最小および最大値を有する例示的な非線形補間スキームを示す図である。線形または絶対補間スキームが用いられる、初期の離れた距離でのユーザの手を示す図である。線形または絶対補間スキームが用いられる、一緒になっているユーザの手を示す図である。線形または絶対補間スキームが用いられる、広がっているユーザの手の間の距離を示す図である。非線形または絶対補間スキームが用いられる、初期の離れた距離でのユーザの手を示す図である。非線形または絶対補間スキームが用いられる、一緒になっているユーザの手を示す図である。非線形または絶対補間スキームが用いられる、広がっているユーザの手の間の距離を示す図である。

本明細書で開示された一実施態様によれば、ユーザの手またはその一部のような2つの物体の間の距離の変化が、検出され得る。決定された距離は、スピーカのボリュームのようなデバイスの機能を制御するために使用され得る。例えば、ユーザが自分の手を上げ、次いで、それらを離れて動かしたとき、手の間の増加した距離は、検出され得、ボリュームを増大させることができる。逆に、手が互いにより近くに移動するとき、ボリュームは、低減され得る。手の向きは、どの機能またはデバイスを制御するのかを決定するために検出および使用され得る。例えば、手を、互いに平行に保持しながら離れて移動させることは、ボリュームを制御することができ、手のひらをデバイスに向けてそのようにすることは、画面の明るさを制御することができる。このタイプのジェスチャを検出し、使用することは、第1の時点での手の間の第1の距離を測定し、次いで、第2の時点でのそれらの間の第2の距離を測定することとして表され得る。時間をかけたこれらの2つの距離を比較することは、手が離れて移動しているか、互いにより近くに移動しているか、または、同じくらいの距離離れてとどまっているかのいずれであるのかを示すことができる。これは、次いで、制御される機能を変更するために使用され得る。

本開示の主題の実施態様は、様々な構成要素およびネットワークアーキテクチャで実施され、使用され得る。図1は、本開示の実施態様を実施するのに適した例示的なコンピュータ20である。コンピュータ20は、バス21を含み、バス21は、中央プロセッサ24、メモリ27(典型的には、RAMだが、ROM、フラッシュRAM、などを含むこともできる)、入力/出力コントローラ28、ディスプレイアダプタを介する表示画面のようなユーザディスプレイ22、1つまたは複数のコントローラと、キーボード、マウスなどのような関連するユーザ入力デバイスとを含むことができるユーザ入力インターフェース26のような、コンピュータ20の主な構成要素を相互接続し、I/Oコントローラ28、ハードドライブ、フラッシュ記憶装置、ファイバチャネルネットワーク、SANデバイス、SCSIデバイス、などのような固定記憶装置23、および、光ディスク、フラッシュドライブ、などを制御し、受け入れるように動作可能なリムーバブル媒体構成要素25に近接して結合され得る。

バス21は、中央プロセッサ24とメモリ27との間のデータ通信を可能にし、メモリ27は、先に述べたように、読み出し専用メモリ(ROM)またはフラッシュメモリ(いずれも図示せず)、およびランダムアクセスメモリ(RAM)(図示せず)を含むことができる。RAMは、一般に、オペレーティングシステムおよびアプリケーションプログラムがロードされるメインメモリである。ROMまたはフラッシュメモリは、数あるコードの中でも、周辺構成要素との相互作用のような基本的なハードウェア動作を制御する基本入出力システム(BIOS)を含むことができる。コンピュータ20で常駐されるアプリケーションは、一般に、ハードディスクドライブ(例えば、固定記憶装置23)、光ドライブ、フロッピー(登録商標)ディスク、または他の記憶媒体25のような、コンピュータ可読媒体に記憶され、コンピュータ可読媒体を介してアクセスされる。

固定記憶装置23は、コンピュータ20と一体化され得、または、別々であり得、他のインターフェースを介してアクセスされ得る。ネットワークインターフェース29は、インターネットサービスプロバイダ(ISP)を介するインターネットへの電話リンクを介するリモートサーバへの直接接続、または、POP(ポイントオブプレゼンス)または他の技術を介するインターネットへの直接ネットワークリンクを介するリモートサーバへの直接接続を提供することができる。ネットワークインターフェース29は、デジタルセルラ電話接続、セルラデジタルパケットデータ(CDPD)接続、デジタル衛星データ接続、などを含むワイヤレス技術を使用して、そのような接続を提供することができる。例えば、ネットワークインターフェース29は、図2に示すように、1つまたは複数のローカル、ワイドエリア、または他のネットワークを介して、コンピュータが他のコンピュータと通信することを可能にする。

多くの他のデバイスまたは構成要素(図示せず)が、同様の方法で接続され得る(例えば、ドキュメントスキャナ、デジタルカメラ、など)。逆に、図1に示す構成要素のすべてが、本開示を実施するために存在する必要はない。構成要素は、図示とは異なる方法で相互接続され得る。図1に示すようなコンピュータの動作は、当該技術分野で容易に知られ、本出願では詳細に論じられない。本開示を実施するためのコードは、1つまたは複数のメモリ27、固定記憶装置23、リムーバブル媒体25のようなコンピュータ可読記憶媒体に、またはリモート記憶場所に記憶され得る。

図2は、開示された主題の一実施態様による例示的なネットワーク構成を示す。ローカルコンピュータ、スマートフォン、タブレットコンピューティングデバイス、などのような、1つまたは複数のクライアント10、11は、1つまたは複数のネットワーク7を介して他のデバイスと接続することができる。ネットワークは、ローカルネットワーク、ワイドエリアネットワーク、インターネット、または任意の他の適切な通信ネットワークであり得、ワイヤードおよび/またはワイヤレスネットワークを含む任意の適切なプラットフォーム上で実現され得る。クライアントは、1つまたは複数のサーバ13および/またはデータベース15と通信することができる。デバイスは、クライアント10、11によって直接アクス可能であり得、または、1つまたは複数の他のデバイスは、サーバ13がデータベース15に記憶されたリソースへのアクセスを提供する場合のような、中継のアクセスを提供することができる。クライアント10、11は、また、リモートプラットフォーム17に、または、クラウドコンピューティング配置およびサービスのような、リモートプラットフォーム17によって提供されるサービスにアクセスすることができる。リモートプラットフォーム17は、1つまたは複数のサーバ13および/またはデータベース15を含むことができる。

より具体的には、本開示の主題の様々な実施態様は、コンピュータで実施されるプロセス、および、それらのプロセスを実施するための装置を含むことができ、またはそれらの形態で具体化され得る。実施態様は、また、フロッピー(登録商標)ディスケット、CD-ROM、ハードドライブ、USB(ユニバーサルシリアルバス)(登録商標)ドライブ、または任意の他の機械可読記憶媒体のような、非一時的なおよび/または有形の媒体で具体化された命令を含むコンピュータプログラムコードを有するコンピュータプログラム製品の形態で具体化され得、そこで、コンピュータプログラムコードがコンピュータにロードされ、コンピュータによって実行されたとき、コンピュータは、開示された主題の実施態様を実施するための装置になる。実施態様は、また、例えば、記憶媒体に記憶され、コンピュータにロードされ、および/またはコンピュータによって実行されるか、電気的な配線またはケーブル配線を介する、光ファイバを介する、または電磁放射を介するような、なんらかの伝送媒体を介して伝送される、コンピュータプログラムコードの形態で具体化され得、そこで、コンピュータプログラムコードがコンピュータにロードされ、コンピュータによって実行されたとき、コンピュータは、開示された主題の実施態様を実施するための装置になる。汎用マイクロプロセッサ上で実施されたとき、コンピュータプログラムコードセグメントは、特定の論理回路を作成するようにマイクロプロセッサを構成する。いくつかの構成では、コンピュータ可読記憶媒体に記憶されたコンピュータ可読命令のセットは、汎用プロセッサによって実施され、汎用プロセッサ、または汎用プロセッサを含むデバイスを、命令を実施または実行するように構成された専用デバイスに変換することができる。実施態様は、ハードウェアおよび/またはファームウェアでの開示された主題の実施による技術のすべてまたは一部を具体化する、汎用マイクロプロセッサおよび/または特定用途向け集積回路(ASIC)のようなプロセッサを含むことができるハードウェアを使用して実施され得る。プロセッサは、RAM、ROM、フラッシュメモリ、ハードディスク、または、電子情報を記憶することができる任意の他のデバイスのような、メモリに結合され得る。メモリは、開示された主題の実施による技術を実行するためにプロセッサによって実行されるように適合された命令を記憶することができる。

一実施態様では、図3に示すように、310で、第1の距離が、第1の時点で決定され得る。第1の距離は、第1の物体と第2の物体との間の距離を指すことができる。物体は、手のような身体部分、または、指のような身体部分の一部であり得る。加えて、ユーザの手のひらがデバイスのほうを向いているかどうかのような、物体の向きは、検出され得、デバイス、機能、またはジェスチャを一意に識別または選択するために利用され得る。物体は、椅子のような無生物を指すことができる。第1の物体および第2の物体は、身体部分および無生物の組み合わせであり得る。例えば、距離は、椅子とユーザの手との間で計算され得る。第1の距離は、コンピュータ可読メモリ、または永続的記憶装置に記憶され得る。例えば、環境内のジェスチャを取り込むために利用されるカメラは、1つまたは複数の開示された実施態様のための2つの物体の間の距離を計算することができるコンピューティングデバイスに接続され得る。第1の物体および第2の物体は、互いに物理的に接触しなくてよい。例えば、ユーザの手は、別々の物体として取り扱われ得る。したがって、物体の選択された部分は、選択された部分が互いに物理的に接触しない限り、別々であるように取り扱われ得る。

物体は、カメラによって検出され得る。例えば、1つまたは複数の深さカメラが、ユーザもしくはユーザの特定の部分、または無生物を識別するために使用され得る。一構成では、ユーザは、ユーザが対話したい物体を示すことができる。例えば、ユーザは、環境の深さカメラのレンダリングを見ることができる。ユーザは、環境内の1つまたは複数の物体を識別することができる。識別された物体は、例えば、識別された物体とユーザの手との間の距離計算の構成要素として使用され得る。カメラを使用して環境を取り込み、環境内の物体を識別するための技術および方法は、当業者によって理解される。識別された物体が環境内に検出されない場合には、距離計算は、可能ではない可能性がある。ユーザは、物体がない、または、物体を検出することができないので、距離を決定することができないことを通知され得、例えば、画面上の通知が表示され得る。しかしながら、第1の物体と第2の物体の両方が検出された場合、第1の物体と第2の物体との間の第1の距離が、決定され得る。例えば、典型的には、深さカメラは、カメラの視野内の様々な物体の位置を決定することができる。深さカメラシステムは、その視野内の物体を認識するように構成され得る。深さカメラは、カメラから受信した画像データを解析することができるコンピューティングデバイスに接続され得る。プロセッサは、カメラの視野の単一のフレームを表す個々の画像の環境の物体を識別することができ、これは、前処理と呼ばれ得る。前処理は、単一の画像フレームの特徴の調整を指すことができる。フレームの特徴は、明るさ、シャープネス、コントラスト、画像の平滑化を指すことができる。

カメラによって取り込まれた画像フレームは、タイムスタンプされ得、または、他の方法で時系列的にタグ付けされ得る。例えば、一連の画像フレームは、データベースに時系列的に記憶され得る。時間データは、第1の距離計算のための基準時間を決定するために使用され得る。画像フレームは、カメラまたはカメラに接続されたコンピューティングデバイスが、ジェスチャまたはジェスチャであり得る手の動きを認識すると、時間0(t₀)としてタイムスタンプされ得る。例えば、ユーザは、自分の手を自分の身体に対する相対的な高さしきい値にまで上げることができる。カメラは、高さしきい値よりも上のユーザの手の存在を検出することができ、ジェスチャがやってくる可能性があると判断することができる。タイムスタンプされた画像フレームの記憶を開始することができる。カメラから取り込まれた各フレームは、例えば、カメラが0.5秒ごとに画像を取り込む場合、t₀、t_0.5、t_1.0、t_1.5、t_2.0、...、t_nとしてタイムスタンプされ得る。したがって、任意の距離決定が、本明細書で開示された任意の実施態様でタイムスタンプされ得る。

第1の距離と同様に、図3に示すように、320で、第2の距離が、第1の物体と第2の物体との間で決定され得る。例えば、ユーザは、手(第1の物体)を上げることができ、本(第2の物体)を上げることができる。第1の距離は、本およびユーザの手が最初に上げられた、または高さしきい値よりも上で検出されたとき、それらの間の距離として計算され得、第1の距離は、t₀としてタイムスタンプされ得る。それは、サーバまたはデスクトップPCのようなコンピューティングデバイスに属するデータベースに記憶され得る。ユーザは、次いで、本をほぼ同じ位置に保持しながら、自分の手を本からさらに遠ざけることができる。第2の距離は、t₀の距離(例えば、第1の距離)のものと一致しないユーザの手と本との間の任意の距離を指すことができる。例えば、画像が0.5秒ごとに取り込まれる場合、第2の距離は、t_0.5で取り込まれた画像を指すことができる。本から離れるユーザの手の動きは、完了するまでに0.5秒よりも長い時間を必要とする可能性がある。第2の距離は、本から離れるユーザの手の動きの静止点を指すことができる。すなわち、ユーザは、ジェスチャを完了すると瞬間的に一時停止することができ、1つまたは複数の物体をジェスチャのために使用される最後の位置に維持することができる。本明細書で開示された実施態様は、単に2つの距離が2つの物体の間で決定されることに限定されない。例えば、画像は、t₀、t_0.5、t_1.0、t_1.5、t_2.0、...、t_n-1、t_nで取り込まれ得、2つの物体の間の距離のために解析され得る。距離は、以下の、第1の距離、t₀〜t_0.5、第2の距離、t_0.5〜t_1.0、第3の距離、t_1.0〜t_1.5、第4の距離、t_1.5〜t_2.0、第nの距離、t_n-1〜t_nのように、2つの異なる時点での2つの物体の間の差の絶対値として、1つまたは複数の時点に関して計算され得る。さらに、初期の距離は、例えば、カメラからのt₀をタイムスタンプされた画像を指すことができ、または、それは、その後の距離よりも時系列的に前の距離を指すことができる。例えば、t_1.0は、t_2.0に対して初期の距離であり得る。

第1の距離および第2の距離のような、計算された各距離は、330で、時系列的に隣接した距離値の間の差を決定するために比較され得る。例えば、第1の距離は、t₀〜t_0.5によって表され得、第2の距離、t_0.5〜t_1.0から減算され得る。同様に、第2の距離は、第nの距離、t_n-1〜t_nから減算され得る。2つの計算された差の間の決定された差は、340で、デバイスの機能を調整するために利用され得る。例えば、ステレオ機能のボリュームは、開示された方法で変更され得る。ユーザは、ステレオのボリューム設定を増大させることを望む可能性がある。ユーザは、自分の手を上げることによってそうすることができる(例えば、図4Aの手の位置を参照)。ジェスチャは、ユーザがステレオのボリュームを調整することを望んでいると、システムによって解釈され得る。ユーザは、また、ユーザがどのデイバスおよびどの特徴を制御したいのかをシステムに示すために、イベントトリガ(後述する)を送達した可能性がある。ボリュームを増すために、ユーザは、自分の手を分離させることができる。カメラによって取り込まれた画像フレームは、ユーザのジェスチャ、特に、手の分離を検出することができる。手の間の距離は、この例では、時間の関数として増加し、ステレオのボリュームを増大させる。同様のプロセスは、デバイスの機能を低下させるために続けられ得る。すなわち、ユーザは、例えば、ステレオのボリュームを下げるために、少し離れた自分の手で開始し、それらをくっつけることができる。ジェスチャは、また、機能を最大または最小値に調整するために使用され得、その最大値または最小値は、デバイスまたはシステムによって予め定義され得る。

機能のための値の1つは、線形スケールまたは他の非線形スケールまたは方法を使用して、決定された差に基づいて選択され得る。前述の例では、ユーザは、一定の距離離して自分の手を上げる。手の距離は、デバイスの機能の選択可能な値と線形に相関され得る。例えば、ユーザの手は、最初に20cm離れていてよく、その距離は、システムにステレオのボリュームを60dBに調整させることができる。ユーザが自分の手を30cm離れるように動かすと、システムは、ボリュームを70dBまで線形的に増大させることができる。

例えば、ユーザの身体を追跡するために三次元深さカメラを使用するシステムでは、ユーザが自分の手を自分の腰より上に上げ、手のひらを向かい合わせてそれらを同じ高さに保持したとき、それらの間の距離は、調光器でのランプの明るさに対応することができる。手を離れるように動かすことは、光の明るさを増大させることができ、手を近づくように動かすことは、光の明るさを暗くすることができる。手の間の距離は、触れている手が完全にオフであり、20cm離れて広げられている手が完全にオンであるように、絶対的にマッピングされ得る。距離は、また、それらが腰より上に最初に上げられたときのそれらの互いからの初期の距離に対して相対的であり得る。相対的な場合では、手の間の初期の距離は、それによってすべての後続の動きが測定される係数として取り扱われ得、または、その距離は、制御の全範囲が手の間の初期の距離にかかわらず利用可能であり得るように、事前に確立された最大距離と最小距離との間で補間され得る。

機能のための選択可能な値の範囲への2つの物体の間の初期の距離の線形マッピングと、補間スキームとに基づいて、デバイスの機能をすぐに値に調整させることを避けることが、用いられ得る。補間スキームは、決定された距離に対するデバイスの機能のための選択可能な値のプロットを指すことができる。例えば、図4Aおよび図4Bは、それぞれ、絶対または線形補間スキームおよび相対補間スキームの例を示す。いくつかの例では、補間スキームは、選択可能な値の最小値および最大値によって制限され得る。例えば、ステレオは、最小および/または最大ボリューム設定を有することができる。決定された差に基づくボリュームの調整は、最小値および最大値に等しい、または最小値と最大値との間の選択可能な値に制限され得る。図4Aは、異なる傾きを有する2本の線から形成されたプロットを示す。第1の傾きを有する1つの線は、最小値と、初期の距離に対応する値との間の点を記述する。第2の傾きを有する第2の線は、初期の距離の対応する値と、最大値との間の点を記述する。図4Bは、決定された差および選択可能な値の非線形曲線によって記述された補間スキームを示す。任意のそのような曲線は、ステップ関数を含む、この方法で使用され得る。曲線は、連続的である必要はない。曲線のギャップは、機能がオフになるセグメントとしてシステムによって解釈され得、そこでは、機能は、デフォルト値に戻り、または、別々に提供された曲線または規定された挙動を追跡する。

図5Aは、離れた初期の距離で、高さしきい値よりも上の手の一例を示す。先に説明したように、高さしきい値は、ユーザの身体に対する所定の距離を含む、実質的に任意のレベルに設定され得る。他の技術は、トリガイベント(後述する)として使用され得る。メータは、手が離れている初期の距離に基づいて決定された機能の値を示す。いくつかの構成では、初期の距離に基づいて選択された値は、機能の現在の値に設定され得る。例えば、ランプの明るさが0〜10のスケールでレベル5である場合、ユーザの手が活性化線(例えば、高さしきい値または活性化線)より上に持ってこられているときどれくらい遠くにあるかにかかわらず、初期の距離は、5の選択可能な値にマッピングされ得る。図5Bに示すように、ユーザが自分の手を互いにより近づけた場合、選択可能な値は、線形的に最小値に減少することができる。同様に、図5Cに示すように、ユーザが自分の手を離れるように動かすと、選択可能な値は、線形的に最大値に増加することができる。メータは、初期の距離と現在の離れた距離との間の決定された差に基づいて、機能が0〜10のスケールで10の値に割り当てられていることを示す。先に説明したように、線形補間は、デバイスの機能の選択可能な値に対する決定された差のプロットを記述する。

図6Aは、活性化線よりも上で初期の距離だけ離れたユーザの手を示す。図5の補間スキームとは異なり、ユーザが初期に自分の手を活性化線よりも上に保持しているとき、手の間の距離は、規定された最小値と最大値との間の機能の値に対する決定された差のプロット上の相対的な位置をマッピングするために使用される。メータは、例えば、0〜10のスケール上の選択された値を示す。図6Bは、ユーザが自分の手を互いに近づけているところを示す。図6Aに示す初期の距離と、図6Bの手の間の距離との間の決定された差は、選択された値を、0である機能のための最小値であるようにする。対照的に、図6Cに示すように、ユーザが自分の手の間の距離を広げた場合、選択された値は、最大値に近づくことができる。

いくつかの構成では、一方または両方が漸近的に接近される、機能のための予め定義された最小値または最大値を有することが望ましい可能性がある。これは、最大値に近づくにつれてボリュームをゆっくりと増加させ、最小値に近づくにつれてボリュームをゆっくりと減少させることが望ましい可能性がある、などの、ボリュームのような機能に望ましい可能性がある。さらに、ジェスチャは、本明細書で開示された実施態様による後続のまたは追加の解析を生じさせるために、繰り返されてよい。例えば、ユーザは、図6Aに示す位置の自分の手で開始することができ、ユーザがボリュームを増加させたいことを示す図6Cに示す位置および距離の自分の手で終了することができる。ユーザは、自分の手をより下にし、再び手を上げることができる。手が離れている最初の距離は、ここで、増加したボリュームにマッピングされ得、ユーザが自分の手の間の距離を再び広げた場合(図6Aおよび図6Cを参照)、ボリュームは、再び増大することができる。ボリュームが増大する量は、機能またはデバイスに使用される補間スキームに依存することができる。

トリガイベントは、それに関係があるカメラまたはコンピューティングデバイスにジェスチャが送達されようとしていることを合図するために使用され得る。トリガイベントは、また、どのデバイスにジェスチャが向けられるのかについての合図を記述するために使用され得る。トリガイベントの一例は、ユーザが自分の手をユーザの身体に対する相対的な高さしきい値(例えば、図5A〜図5Cおよび図6A〜図6Cに示す活性化線)よりも上に上げた場合である。先に説明したように、高さしきい値は、ユーザの肩であり得る。システムが、例えば、1つまたは複数のユーザの手が肩の高さよりも上であることを検出した場合、画像を取り込み、ジェスチャを識別することを試み始めることができる。イベントトリガの別の例は、話されたとき、特定のデバイスのためのジェスチャを受信するように準備するべきであることをシステムに知らせる、音声コマンドであり得る。イベントトリガの別の例は、可聴音であり得る。ジェスチャは、また、イベントトリガとして使用され得る。例えば、システムは、ジェスチャに関する環境を連続的に監視することができる。システムは、2つの識別された物体の間の距離計算を行うようにシステムに命令する特定のジェスチャを認識することができる。

上記で説明したように、ジェスチャは、デバイスの機能を制御するために使用され得る。機能は、選択可能な値の範囲を有することができる。例えば、ステレオ受信機(例えば、デバイス)は、ボリューム出力(機能)を制御することを可能にする。ボリュームは、ダイアルまたはプリセット数値などによる連続的または離散的なスケール上で調整可能であり得る。同様に、画面またはランプの明るさは、本明細書で開示された実施態様にしたがって調整され得る。機能の他の例は、制限なしに、周波数設定、時間設定、タイマ設定、温度、色強度、光強度、ズーム設定、早送り機能、チャンネル設定、および巻き戻し機能を含む。機能は、増大され得る、低減され得る、最大化され得る、または最小化され得る2つ以上の選択可能な値を有することができる。

いくつかの構成では、速度は、第1の距離と第2の距離との間の決定された差および時間差に基づいて決定され得る。加速度は、また、決定された速度に基づいて計算され得る。速度または加速度は、補間スキームでの因子であり得る。例えば、ユーザが自分の手を離れるように素早く動かした場合、それは、ボリュームを線形的に調整するために使用され得る。素早い動きは、また、ユーザがより積極的な補間スキームを使用することによって最小値または最大値により速く近づきたいことを合図することができる。

いくつかの構成では、複数のデバイスが、本明細書で開示された実施態様にしたがって制御され得る。一実施態様では、デバイスは、例えば、ジェスチャ、音声コマンド、可聴音、または遠隔制御選択によって識別され得る。デバイスは、また、ユーザが対面しているデバイスを決定することによって識別され得る。例えば、深さカメラは、ユーザが見ている、または向かってジェスチャしているデバイスを決定することができる。

一実施態様では、第1の物体および第2の物体の位置を記憶するためのデータベースを含むシステムが提供される。例えば、コンピューティングデバイスは、深さカメラに接続され得、カメラ画像データを解析することができる。システムは、第1の物体および第2の物体の位置を取り込むために、少なくとも1つのカメラを含むことができる。プロセッサは、データベースに接続され、第1の時点に、第1の物体と第2の物体との間の第1の距離を決定するように構成される。先に説明したように、第1の物体および第2の物体は、デバイスに物理的に接触しない。デバイスは、少なくとも2つ選択可能な値を有する1つまたは複数の機能を含むことができる。プロセッサは、第2の時点に、第1の物体と第2の物体との間の第2の距離を決定するように構成され得る。第1の距離と第2の距離との間の差は、プロセッサによって決定され得る。機能の値の1つは、決定された差に基づいて選択され得る。

上記の説明は、説明の目的のために、特定の実施態様を参照して説明してきた。しかしながら、上記の例示的な議論は、網羅的であること、または、開示された主題の実施態様を開示された正確な形態に限定することを意図していない。多くの修正および変形が、上記の教示に鑑みて可能である。実施態様は、それによって他の当業者がこれらの実施態様、ならびに、考えられる特定の用途に適し得るように様々な変更を伴う様々な実施態様を利用することを可能にするために、開示された主題の実施態様の原理、およびそれらの実用的な用途を説明するために選択され、説明された。

7 ネットワーク
10 クライアント
11 クライアント
13 サーバ
15 データベース
17 リモートプラットフォーム
20 コンピュータ
21 バス
22 ユーザディスプレイ
23 固定記憶装置
24 中央プロセッサ
25 記憶媒体
26 ユーザ入力インターフェース
27 メモリ
28 I/Oコントローラ
29 ネットワークインターフェース

Claims

第1の時点で、第1の物体と第2の物体との間の第1の距離を決定するステップであって、前記第1の物体および前記第2の物体が、デバイスと物理的に接触せず、前記デバイスが、複数の選択可能な値を有する機能を備える、ステップと、
第2の時点で、前記第1の物体と前記第2の物体との間の第2の距離を決定するステップと、
前記第1の距離と前記第2の距離との間の差を決定するステップと、
前記決定された差に基づいて、前記複数の選択可能な値のうちの1つを選択するステップと
を含む、方法。
前記決定された差を、補間スキームに基づいてマッピングするステップをさらに含む、請求項1に記載の方法。
前記補間スキームが、前記決定された差に対する前記複数の選択可能な値のプロットを含む、請求項2に記載の方法。
前記決定された差に対応する前記複数の選択可能な値のうちの前記1つを決定するステップをさらに含む、請求項2に記載の方法。
前記プロットが、非線形である、請求項3に記載の方法。
前記プロットが、所定の最小値および最大値を規定する、請求項3に記載の方法。
物体が、身体部分を含む、請求項1に記載の方法。
前記第1の物体が、第1の手の少なくとも一部を含み、前記第2の物体が、第2の手の少なくとも一部を含む、請求項1に記載の方法。
前記第1の距離を決定する前記ステップが、ユーザの身体の位置を決定するステップを含む、請求項8に記載の方法。
第1の部分および第2の部分が、ユーザの身体に対する相対的な高さしきい値よりも上であることを決定するステップをさらに含む、請求項8に記載の方法。
前記第1の手の第1の部分が、少なくとも1つの単一の指を含む、請求項8に記載の方法。
前記第2の手の第2の部分が、少なくとも1つの単一の指を含む、請求項8に記載の方法。
手の少なくとも一部の向きを検出するステップをさらに含む、請求項8に記載の方法。
検出された向きに基づいて前記デバイスの前記機能を選択するステップをさらに含む、請求項9に記載の方法。
前記決定された差と、前記第1の距離と前記第2の距離との間の時間差とに基づいて速度を決定するステップをさらに含む、請求項1に記載の方法。
前記決定された速度に基づいて加速度を決定するステップをさらに含む、請求項15に記載の方法。
高さしきい値よりも上の前記第1の物体および前記第2の物体を認識するステップをさらに含む、請求項1に記載の方法。
前記機能が、ボリューム設定、周波数設定、時間設定、タイマ設定、温度、色強度、光強度、ズーム設定、画面の明るさ、早送り機能、チャンネル設定、および巻き戻し機能からなるグループから選択される、請求項1に記載の方法。
変更されるべき前記デバイスを識別するステップをさらに含む、請求項1に記載の方法。
前記デバイスを識別する前記ステップが、ユーザが対面している前記デバイスを決定するステップを含む、請求項19に記載の方法。
前記デバイスを識別する前記ステップが、ユーザが見ている前記デバイスを決定するステップを含む、請求項19に記載の方法。
前記デバイスを識別する前記ステップが、ユーザが向かってジェスチャをしている前記デバイスを決定するステップを含む、請求項19に記載の方法。
前記複数の値のうちの前記選択された1つが、前記機能を低減させること、前記機能を増大させること、前記機能を最大化すること、および前記機能を最小化することからなるグループから選択された前記機能の変化を引き起こす、請求項1に記載の方法。
第1の物体および第2の物体の位置を記憶するデータベースと、
前記第1の物体および前記第2の物体の前記位置を取り込むための少なくとも1つのカメラと、
前記データベースに接続されたプロセッサと
を備え、前記プロセッサが、
第1の時点で、前記第1の物体と前記第2の物体との間の第1の距離を決定することであって、前記第1の物体および前記第2の物体が、デバイスと物理的に接触せず、前記デバイスが、複数の選択可能な値を有する機能を備える、ことと、
第2の時点で、前記第1の物体と前記第2の物体との間の第2の距離を決定することと、
前記第1の距離と前記第2の距離との間の差を決定することと、
前記決定された差に基づいて、前記複数の選択可能な値のうちの1つを選択することと
を行うように構成された、システム。
前記プロセッサが、前記決定された差を、補間スキームに基づいてマッピングするようにさらに構成された、請求項24に記載のシステム。
前記補間スキームが、前記決定された差に対する前記複数の選択可能な値のプロットを含む、請求項25に記載のシステム。
前記プロセッサが、前記決定された差に対応する前記複数の選択可能な値のうちの前記1つを決定するようにさらに構成された、請求項25に記載のシステム。
前記プロットが、非線形である、請求項26に記載のシステム。
前記プロットが、所定の最小値および最大値を規定する、請求項26に記載のシステム。
物体が、身体部分を含む、請求項24に記載のシステム。
前記第1の物体が、第1の手の少なくとも一部を含み、前記第2の物体が、第2の手の少なくとも一部を含む、請求項24に記載のシステム。
前記第1の距離の前記決定が、ユーザの身体の位置の決定を含む、請求項31に記載のシステム。
前記プロセッサが、第1の部分および第2の部分が、ユーザの身体に対する相対的な高さしきい値よりも上であることを決定するようにさらに構成された、請求項31に記載のシステム。
前記第1の手の第1の部分が、少なくとも1つの単一の指を含む、請求項31に記載のシステム。
前記第2の手の第2の部分が、少なくとも1つの単一の指を含む、請求項31に記載のシステム。
前記プロセッサが、手の少なくとも一部の向きを検出するようにさらに構成された、請求項31に記載のシステム。
前記プロセッサが、検出された向きに基づいて前記デバイスの前記機能を選択するようにさらに構成された、請求項32に記載のシステム。
前記プロセッサが、前記決定された差と、前記第1の距離と前記第2の距離との間の時間差とに基づいて速度を決定するようにさらに構成された、請求項24に記載のシステム。
前記プロセッサが、前記決定された速度に基づいて加速度を決定するようにさらに構成された、請求項38に記載のシステム。
前記プロセッサが、高さしきい値よりも上の前記第1の物体および前記第2の物体を認識するようにさらに構成された、請求項24に記載のシステム。
前記機能が、ボリューム設定、周波数設定、時間設定、タイマ設定、温度、色強度、光強度、ズーム設定、画面の明るさ、早送り機能、チャンネル設定、および巻き戻し機能からなるグループから選択される、請求項24に記載のシステム。
前記プロセッサが、変更されるべき前記デバイスを識別するようにさらに構成された、請求項24に記載のシステム。
前記デバイスの前記識別が、ユーザが対面している前記デバイスの決定を含む、請求項42に記載のシステム。
前記デバイスを識別するステップが、ユーザが見ている前記デバイスを決定するステップを含む、請求項42に記載のシステム。
前記デバイスを識別するステップが、ユーザが向かってジェスチャをしている前記デバイスを決定するステップを含む、請求項42に記載のシステム。
前記複数の値のうちの前記選択された1つが、前記機能を低減させること、前記機能を増大させること、前記機能を最大化すること、および前記機能を最小化することからなるグループから選択された前記機能の変化を引き起こす、請求項24に記載のシステム。