JP2014519091A - 存在センサ - Google Patents

Abstract

１つの実施形態は、存在ベース機能を与えるようにコンピューティング装置を動作する方法の形態をとる。この方法は、コンピューティング装置を減少電力状態で動作し、そして少なくとも１つのセンサから第１のデータセットを収集することを含む。第１のデータセットに基づいて、コンピューティング装置は、物体がコンピューティング装置のスレッシュホールド距離内にある確率を決定し、そして物体がスレッシュホールド距離内にある場合には、装置が少なくとも１つの二次センサをアクチベートして第２のデータセットを収集する。その第２のデータセットに基づいて、装置は、物体が人間であるかどうか決定する。物体が人間である場合には、装置は、コンピューティング装置に対する人間の位置を決定し、そしてコンピューティング装置に対する人間の位置に基づいてコンピューティング装置の状態の変更を実行する。物体が人間でない場合には、コンピューティング装置は、減少電力状態を保つ。
【選択図】図１２

Description

本発明は、全般的にコンピューティング能力を有する装置に関するもので、より詳細には、装置の接近位置におけるユーザの存在を感知する装置及びシステムに関する。

関連出願の相互参照：本特許協力条約特許出願は、２０１２年５月１１日に出願された“PRESENCE SENSING”と題する米国特許出願第１３／４６９，９９６号の優先権を主張するもので、該特許出願は、米国特許商標庁において代理人管理番号Ｐ１１３９１ＵＳＸ１（Ｐ２２２６１７．ＵＳ．０４）で識別することもでき、更に、該特許出願は、２０１１年８月２６日に出願された“PRESENCE SENSING”と題する米国特許出願第１３／２１９，５７３号、２０１１年７月１日に出願された“PRESENCE SENCING”と題する米国プロビジョナル特許出願第６１／５０４，０２６号、及び２０１１年５月１２日に出願された“PRESENCE SENCING”と題する米国仮特許出願第６１／４８５，６１０号の優先権を主張するものであり、これらは、全て、全ての目的で参考としてここに援用される。

多くのコンピューティング装置には、ユーザが装置を使用しないときに電力消費を減少するよう意図された節電特徴／モードが装備されている。多くの場合、これらの節電特徴は、ユーザが装置に最後に入力を与えたときから設定時間量をカウントダウンするタイマーを通じて具現化される。例えば、特定の装置は、ユーザが５分間入力を与えないときに完全動作モードより電力を消費しないスリープモード又は他のモードに入るように構成される。

しかしながら、時々、装置は、ユーザがまだ装置を使用している間に節電特徴／モードに入ることがある。例えば、ユーザが装置のコンテンツを読んでいたり、映画を見ていたり又は音楽を聞いていたりする間にタイマーの設定期間内に入力を与え損なったことから節電特徴に入ることがある。更に、節電特徴／モードからの回復は、時間がかかり、ユーザがクレデンシャルを入力することが要求され、そして一般的に、ユーザにとって厄介である。

１つの実施形態は、存在ベース機能を与えるようにコンピューティング装置を動作する方法の形態をとる。この方法は、コンピューティング装置を減少電力状態で動作し、そして第１センサ又はセンサのグループから第１のデータセットを収集することを含む。第１のデータセットに基づき、コンピューティング装置は、物体が装置の付近に位置する確率又は見込みを決定する。それに加えて、又はそれとは別に、コンピューティング装置は、物体の接近度に関してハード判断を行い、例えば、コンピューティング装置のスレッシュホールド距離内に物体があるかどうか決定し、そして物体がスレッシュホールド距離内にあり及び／又はおそらく装置に接近して位置する場合には、装置が二次センサをアクチベートして第２のデータセットを収集する。その第２のデータセットに基づいて、装置は、物体が人間であるかどうか決定する。物体が人間である場合には、装置は、コンピューティング装置に対する人間の位置を決定し、そしてコンピューティング装置に対する人間の位置に基づいてコンピューティング装置の状態の変更を実行する。物体が人間でない場合には、コンピューティング装置は、減少電力状態を保つ。

別の実施形態は、ユーザがコンピューティング装置の付近にいるかどうか決定する方法の形態をとる。この方法は、画像センサを使用して画像を捕獲し、そしてその捕獲された画像から、肌色検出パラメータ、顔検出パラメータ、身体検出パラメータ、及び動き検出パラメータ、のうちの少なくとも１つを計算することを含む。又、この方法は、肌色検出パラメータ、顔検出パラメータ及び動き検出パラメータのうちの少なくとも１つを使用して、ユーザが存在するかどうか決定し、そしてユーザが存在することが決定された場合には、コンピューティング装置の状態を変更することを含む。

更に別の実施形態では、メインプロセッサ及びそのメインプロセッサに結合された存在センサを有するコンピューティングシステムが提供される。存在センサは、画像センサ、及びその画像センサに結合されて、捕獲された画像を処理し、その画像内にユーザが存在するかどうか決定するためのプロセッサを備えている。画像センサは、３Ｄ画像、深度画像、ＲＧＢ画像、グレイスケール画像、等を捕獲するように構成され、そして１つ以上の画像を使用して確率を決定する。他の入力も、存在決定に有用な情報に貢献する。例えば、キーボード、マウス及び／又はマイクロホンのような入力装置は、各々、存在確率決定に有用な入力を与える。画像内にユーザが存在するとプロセッサが決定した場合には、ユーザが存在すると決定された指示がプロセッサからメインプロセッサへ送られ、そしてメインプロセッサは、その指示に基づいてコンピューティングシステムの状態を変更する。

幾つかの実施形態を開示するが、当業者であれば、以下の詳細な説明から本発明の更に別の実施形態が明らかとなろう。それらの実施形態は、それら実施形態の精神及び範囲から逸脱せずに、種々の観点において変更できることが明らかであろう。従って、添付図面及び詳細な説明は、例示に過ぎず、それに限定されるものではない。

ユーザ存在感知能力を有する規範的なコンピューティング装置を示す。 図１のコンピューティング装置のブロック図である。 存在センサから異なる距離に当該物体が位置するときの存在感知結果を示すグラフである。 当該物体がセンサからある角度オフセットしているときの存在感知結果を示す別のグラフである。 段階的に存在センサシステムを動作するための規範的な方法を示すフローチャートである。 ユーザの存在を決定するための方法を示すフローチャートである。 存在感知に使用するための肌色検出ルーチンを示すフローチャートである。 存在感知に使用するための顔認識ルーチンを示すフローチャートである。 存在感知に使用するための動き検出ルーチンを示すフローチャートである。 フレームを単一フレーム動き検出のためのウインドウに分割したところを示す図である。 単一フレーム動き検出のための規範的な方法を示すフローチャートである。 複数の同時非同期センサを使用してユーザが装置に接近して位置する確率を決定する規範的な方法を示すフローチャートである。

一般的に、ここに開示する実施形態は、ユーザ存在決定及びそれに関連したコンピューティング装置機能に向けられる。そのような機能が装備されたコンピューティング装置と相互作用するユーザの体験を改善できることが明らかである。更に、ある実施形態では、ここに開示する実施形態の具現化を通して節電及び／又は電力効率が実現される。ここで使用する「ユーザ」という語は、一般的に、人間（１人又は複数）を指す。しかしながら、ある実施形態では、システムは、人間以外の物体を感知しそしてその物体の存在に基づいて状態を変更するように構成される。

１つの実施形態は、ユーザの存在及び／又は不存在を感知し、そしてユーザの存在及び／又は不存在に基づき動作状態を与えるように構成されたコンピューティング装置の形態をとる。他の実施形態では、コンピューティング装置は、ユーザが存在するか又は不存在である見込み又は確率スコアを計算して与える。ある実施形態では、複数のパラメータが決定され、重み付けされ、そして存在決定の実行に関連して使用される。この重み付け型の検出は、より知識の広い高レベル判断実行アルゴリズムに使用され、又は異なるソースからのデータを融合させるときに使用される。

例えば、ある実施形態では、コンピューティング装置は、ユーザがコンピューティング装置との接近状態に到達するか又は接近状態に入るとき、及びユーザが存在する確率を、センサ入力に基づいて決定するように構成される。確率の計算で、偽の肯定及び／又は偽の否定が減少される。望ましい性能を達成するベイズの最適スレッシュホールドが具現化される。即ち、偽の否定の許容数に対する偽の肯定の許容数の間で望ましいバランスをとるようにトリガースレッシュホールドがセットされる。ユーザが存在するとの肯定の決定に応答して、又はユーザが存在するとのスレッシュホールド確率を達成したときに、装置がパワーアップされ、スリープモードを出、及び／又はあるフィードバックをユーザに与える。

一般的に、存在感知システムの１つの目標は、技術をよりインテリジェントに使用することである。例えば、ある実施形態では、ユーザが接近しつつあることが決定されたときに、システムの目覚めが開始される。システムの目覚めは、システムが従来のパワーアップシーケンスより迅速に動作モードに入るように減少セットのルーチンを含む。例えば、システムは、減少セットのルーチンのために、６ないし８秒ではなく０．５秒内にパワーアップする。ある実施形態では、コンピューティング装置は、ユーザが装置から離れるとき又は装置の付近を去るときを決定するように構成される。それに応答して、装置は、ディスプレイスリープモード、システムスリープモード、スクリーンセーバーアクチベーション、等の節電モードに入る。更に、システムは、ユーザの存在の感知に基づいてコンピュータウェイクアップ時間を加速するためにスリープモードを部分的に出る。更に別の実施形態では、表示されるコンテンツは、ユーザの相対的な位置に基づく。例えば、ユーザが装置に接近する場合には、装置が製品の詳細を与えるが、ユーザが遠くにいるときには装置が何も表示しない。

又、ある実施形態では、装置は、ユーザの動き（例えば、位置及び速度）を追跡し、そしてある動きに応答して、フィードバックを与え、及び／又は動作の状態を入力するか又は変更する。例えば、装置に向かう動きは、ユーザインターフェイスにより多くのオプション／メニューを与えるといったより多くの特徴をアクチベートするが、装置から離れる動きは、メニュー／オプションの数を減少し、及び／又は表示されるオプションのサイズを減少又は増加するといった、ユーザに利用できる特徴の数を減少する。それに加えて、又はそれとは別に、ディスプレイは、装置に向かう動き又は装置から離れる動きに基づいてズームイン又はズームアウトする。ある実施形態では、ユーザの横方向（例えば、左から右の）移動は、装置に表示されるスクリーンセーバ画像及び／又は背景に変化を生じさせる。更に、画像の変化は、一般的に、感知される動きに対応する。例えば、左から右への移動は、画像を左から右への動きにおいて別の画像に置き換えるようにさせる。或いは又、ユーザが左から右へ移動すると、葉っぱやドレープがその動きを反映する。即ち、葉っぱは、左から右へ吹き飛ばされて流され、又はドレープは、検出された動きに対応するように揺れる。

更に、ある実施形態では、ユーザの存在は、装置に対するユーザの位置と共に使用されて、ある機能を発揮する。ある実施形態では、入力及び／又は出力は、位置に基づく。例えば、装置は、ユーザの位置に向いたオーディオステレオパン（例えば、オーディオステアリング）を与えるように構成される。更に、ある実施形態では、ユーザの位置に基づいてマイクロホンステアリングが実施される。

更に、複数のセンサ及び／又は動作状態が段階的に実施される。即ち、第１の動作モードでは、第１のセンサが動作される。ユーザの存在又は動きが検出されると、第２のセンサがアクチベートされ、等々となる。ある実施形態では、第２のセンサがアクチベートされると同時に、装置が第２の動作モードに入るが、他の実施形態では、第２のセンサから検索されたデータのみに基づいて又は第１のセンサからのデータとの組み合わせに基づいて決定がなされるまで第２の動作モードには入らない。

存在の決定は、１つ以上のセンサにより収集されたデータにより行われる。１つの実施形態では、１つ以上のセンサからのデータを使用して、ユーザが存在するかどうか決定される。例えば、ニューラルネットワーク、サポートベクトルマシン、又は他の適当な分類器、或いは確率的決定器が実施される。ある場合には、存在決定に使用するために、データポイントの大きなセットが収集され、分類されそして記憶される。更に、その後に取得されるデータが、将来の決定のために追加され、使用される。

添付図面の、先ず、図１を参照すれば、コンピューティング装置１００が示されている。このコンピューティング装置１００は、一般的に、存在感知に使用される１つ以上のセンサ１０２を備えている。例えば、存在感知には、１つ以上のカメラ及び／又は光センサが使用される。カメラ及び光センサは、一般的に、ここでは、存在感知に関して説明するが、超音波センサ、マイクロ波ＲＡＤＡＲ、等の他のセンサタイプも実施できることが明らかであろう。これら技術の幾つかを使用して、人間が装置に接近したときに生理学的パラメータを決定することができる。例えば、ＲＡＤＡＲは、室内で心臓鼓動を検出し及び／又は探索するのに使用される。更に、種々の技術及び光の波長が実施される。例えば、深度センサを使用して接近が決定される。ある規範的深度センサ技術は、フォーカス及びデフォーカス、能動的ＩＲ反射電力、能動的ＩＲ構成光、能動的ＩＲ飛行時間（２Ｄ＋深度）、能動的ＩＲ飛行時間（単一ピクセルセンサ）、受動的ＩＲ（モーション検出器）、受動的ＩＲ熱造影（２Ｄ）、ステレオビジョン、偏光技術、等を含む。ある実施形態では、能動的ＩＲは、人間の皮膚の反射度又は呼吸中の二酸化炭素放射度のようなある独特の物質特性を検出するための複数の特定ＩＲ波長を使用する。従って、ここに述べる特定の実施形態は、単なる例示に過ぎず、それに限定されるものではない。

図２は、図１のコンピューティング装置１００のブロック図である。一般的に、コンピューティング装置は、マイクロプロセッサ／マイクロコントローラ１０４を備え、これに他のコンポーネント（例えば、センサ）が接続される。マイクロプロセッサ／マイクロコントローラ１０４は、１つ以上の低電力マイクロコントローラとして実施されると共に、センサ（例えば、カメラ、接近センサ、等）から到来するデータ及び高レベルユーザ存在又は不存在判断実行のためのデータ融合ポイントとして実施される。ある実施形態では、ユーザ存在の決定及びそれに関連したデータは、外部にあってもよく、又、装置のメイン動作から分離されてもよい。即ち、ユーザ存在システムは、存在感知データをメインコンピュータ処理ユニット（ＣＰＵ）１０５、オペレーティングシステム、等から分離することにより、セキュリティ及びプライバシーを与える。

種々の適当なセンサは、マイクロプロセッサ／マイクロコントローラ１０４に入力／データを与える。より詳細には、カメラベースセンサ１０６は、マイクロプロセッサ１０４に通信結合される。適当なカメラベースセンサ１０６が実施され、種々の異なる技術が利用される。例えば、ＳＴマイクロエレクトロニックスから入手できるカメラセンサが使用される。カメラベースセンサは、顔検出能力を与える全画像カメラ１０８を一体化プロセッサ１１０と共に備えている。即ち、センサは、埋め込み型マイクロプロセッサ１１０を有し、顔の位置及び距離を推定することができる。更に、センサは、物体の距離を決定することができる。又、カメラ１０８は、ＡＧＣシステムからウインドウ付きヒストグラム情報を与え、これは、動き検出に有用である。

更に、カメラ１０８は、１２０°まで又はそれ以上の水平視野と、１２０°まで又はそれ以上の垂直視野を有する。ある実施形態では、魚眼レンズのようなレンズを使用して、１２０°を越える角度の視野を得ることができる。１つの実施形態では、水平視野が７５−９５°（例えば、約８５°）であり、垂直視野が４０−８０°（例えば、約６０°）である。顔は、２０フィートまで又はそれ以上の距離で検出される。１つの実施形態では、顔は、ほぼ６−１４フィートにおいて検出される。顔位置データは、ほぼ０．６−１Ｈｚの間に得られ、そしてＡＧＣデータは、全フレームレート、ほぼ１０−３０Ｈｚで得られる。

一般的に、カメラベースセンサ１０６によって捕獲された画像及び関連する生情報は、カメラベースセンサの外部では得られない。むしろ、センサの機能的範囲内で顔が検出されるかどうか、顔の位置、及び／又はその範囲内の顔の動きに関する情報が与えられる。ある実施形態では、カメラセンサは、ユーザが存在するかしないかを示すバイナリー出力を与える。更に、ユーザが存在する場合には、装置に対するユーザの位置が、カメラベースセンサにより、例えば、ｘ−ｙ座標に出力される。更に、センサは、とりわけ、存在する顔の数を指示する（例えば、存在する人の数を指示する）ように構成される。

ある実施形態では、カメラベースセンサ１０６は、装置の望ましい動作特性を達成するために他のセンサとは独立して実施される。ある実施形態では、カメラベースセンサは、段階的に動作して出力を与えるように構成される。例えば、第１の状態では、カメラベースセンサは、ユーザの存在を感知する。ユーザが存在する場合には、第２の状態に入り、何人の人々が存在するか決定する。それに続いて又はそれと同時に、存在する人々の位置を決定する。カメラは、動作状態から移動するときに、以下に詳細に述べるように、出力を発生し、その出力は、装置の状態を変更するために装置により使用される。

ある実施形態では、画像を捕獲するためにメインカメラ１０３が使用される。メインカメラ１０３は、装置のユーザによりビデオ及びスチール画像捕獲のために使用されるシステムカメラである。ある実施形態では、メインカメラは、存在感知に使用されるカメラとは個別で且つ異なるものであり（例えば、システムには複数のカメラがあり）、他の実施形態では、専用カメラをもつカメラベースセンサ１０６に代わって、メインカメラの出力がカメラベースセンサにより使用される。例えば、ある実施形態では、メインカメラに加えて、深度ベースのカメラが実施される。深度ベースのカメラは、適当な形態のものでよい。１つの実施形態では、メインカメラの出力は、ユーザにより使用するために画像プロセッサ１０７へ送られると共に、ユーザ存在検出のためにカメラベースセンサ１０６のマイクロコントローラへ送られる。画像プロセッサとユーザ検出コプロセッサがどのように通信しそしてメインカメラからのデータをユーザに利用できるようにするかに関して異なる選択肢がある。例えば、ユーザが存在しないときには、メインカメラからの出力が、主として、存在感知決定のためにマイクロコントローラにより処理される。この状態では、カメラからのデータは、一般的に、システムの他のコンポーネントに利用できない。ユーザが存在するときには、メインカメラからの出力が画像プロセッサ１０７に与えられる。しかしながら、利用すべき画像データ／情報に対して、ユーザは、カメラベースアプリケーション（例えば、ビデオチャットアプリケーション、画像捕獲プログラム、等）にアクセスすることが要求される。さもなければ、カメラからの画像データは、一般的に、アクセスできない。

１つ以上のカメラ、並びに従来のカメラ及び画像処理機能を使用して望ましい存在感知を行える多数の異なる構成があることが明らかであろう。例えば、１つの実施形態では、メインカメラの出力は、通常の画像処理機能及びユーザ存在検出機能を合成する単一チップへルーティングされる。他の実施形態では、カメラからのビデオ出力は、中央処理ユニットによる処理のためにホストへストリーミングされる。

接近センサ１１２のような第２のセンサも、マイクロプロセッサ１０４に接続される。ある実施形態では、コントローラ１１４、マルチプレクサ１１６、及び発光ダイオードのアレイ１１８は、接近センサ１１２に関連して動作される。特に、コントローラ１１４は、マルチプレクサ１１６及びＬＥＤ１１８の動作を時分割多重化（ＴＤＭ）的にコントロールするように構成される。ＬＥＤのＴＤＭ交番で望ましい応答を得るように適当なフィルタが実施される。他の実施形態では、機械的装置（例えば、マイクロ電気・機械的装置）を使用して１つ以上のＬＥＤを多重化し個別の視野をカバーすることができる。

ＬＥＤ１１８は、適当な範囲の波長で動作し、そして１つの例では、電磁スペクトルの近赤外線領域で動作する。ＬＥＤ（ＬＥＤ１−ＬＥＤＮ）の各々は、特定の視野に向けられる。ある実施形態では、各ＬＥＤ１１８は、個別の視野に向けられるが、他の実施形態では、隣接するＬＥＤの視野が重畳する。ある実施形態では、ＬＥＤ１１８のアレイは、コンピューティング装置のベゼルの周りにＬＥＤを分布したものである。他の実施形態では、ＬＥＤアレイ１１８は、行に（例えば、ディスプレイスクリーンベゼルのカーブした部分を横切って）構成され、ＬＥＤは、異なる視野をカバーするように指向的に配置される。

１つの実施形態では、視野の平均値（例えば、接近を示す値）を得、それを使用して、物体が装置１００に接近しているかどうか決定する。平均値がスレッシュホールド値を越える場合には、物体が装置１００に接近していることを指示する。ＬＥＤのアレイ１１８を使用することで、接近センサは、広い視野にわたって接近性をより正確に検出することができる。各ＬＥＤが個別の視野に向けられるので、接近センサ１１２を使用して物体の位置を決定することもできる。従って、他の実施形態では、仮定される空のシーンからの接近値の変化が決定される。種々のセンサにわたって最大の変化（又はあるランク）が見られ、その値をスレッシュホールドと比較して接近度及び／又は位置を決定する。

ある実施形態では、カメラベースセンサ１０６及び接近センサ１１２は、マイクロプロセッサ１０４に関連して使用されて、ユーザがコンピューティング装置１００に接近しているかどうか決定する。段階型感知システムは、他の目的及び／又は機能の中で、節電を与え、ユーザ体験を改善し、又は特定の望ましいユーザ体験を与えるように実施される。特に、段階型感知システムは、第１センサを動作して、節電を与えるためにコンピューティング装置のスレッシュホールド距離内でのユーザの存在を最初に決定することを含む。ある実施形態では、スレッシュホールド距離は、装置１００の２−１０フィート（例えば、５フィート）以内である。更に、ある実施形態では、第１センサから収集されたデータは、ユーザの相対的位置を決定するのに使用される。

段階型システムでは、ユーザが存在する場合、第２センサがアクチベートされる。第２センサからのデータは、単独で、又は第１センサからのデータと組み合わせて、ユーザ／個人及び／又はユーザの位置を更に識別するのに使用される。第１及び第２の両センサからのデータは、どんな機能を遂行すべきか及び／又はユーザが何を行うかに関して決定するように一緒に使用される。例えば、ユーザが装置にどれほど接近するか、ユーザが装置を向いているか、ユーザが装置から離れるか／近付くか、等を決定する。更に、データは、ユーザ（例えば、資格のあるユーザ）を識別するのに使用される。

コンピューティング装置１００の状態は、ユーザが存在するとの決定に基づいて変更される。例えば、ユーザが装置に接近する場合に、ディスプレイが目覚め、システムが目覚め、等々となる。ユーザが左から右へ移動する場合には、表示される画像が変化し、一般的に、ユーザの移動に対応して移動する。更に、複数のユーザが存在する（複数の顔の存在を見分けることに基づき決定される）場合には、装置１００は、セキュアな状態へ付勢され、装置に完全にアクセスするためにはユーザクレデンシャルの入力が必要になる。

存在の決定は、ニューラルネットワーク、サポートベクトルマシン（ＳＶＭ）、又は他のマシン学習ベースの分類器或いは確率的判断システムに使用される複数のファクタに基づく。例えば、肌色／カラー、存在及び動きは、存在決定を行うためにニューラルネットワークで重み付けされて使用される。上述したように、存在決定に基づいて、装置１００は、動作状態に入り／それを変更する。

使用のための特定センサの選択は、例えば、望ましい機能及び電力消費限界を含む種々の広範囲のファクタに基づくことが明らかであろう。従って、ある実施形態では、カメラベースセンサ１０６は、第１段階センサとして実施され、他の実施形態では、接近センサ１１２が第１段階センサとして使用される。接近センサ１１２のような接近センサを実施するための詳細な説明を以下に行う。

センサ１１２は、ある適当な周波数で光を切断し、そして返送反射光信号の位相シフトを測定する。ＬＥＤ１１８の出力は、方形波又は他の波形であり、そしてセンサ１１２は、Ｉ／Ｑ復調スキームを使用する。センサ１１２から到達する光は、Ｉ（同相）成分及びＱ（直角位相）成分を与えるサイン波及びコサイン波と混合される。サイン／コサイン波は、ＬＥＤ変調と同期される。それらは、センサからの「生」の出力であり、異なる内部測定方法がある場合には、それがこのスキームに変換される。一般性が失われなければ、２πの周期と、その周期にわたって積分が行われることが仮定される。実際上、固定周期が使用され、その周期のある大きな倍数にわたって積分がなされる。これら相違は、固定の倍率ファクタを生じ、これは無視されてもよい。基本的測定成分は、次の通りである。

全視野を扱うセンサ１１２からの一定の（放射方向）距離において物体を測定する場合には、位相ずれ
及び大きなＡをもつ同じ周波数の方形波入力信号は、次のようなＩ及びＱ成分を生じる。
及び

次いで、
は、次のように見出される。
次いで、Ｍは、次のように再構成される。

センサの視野に２つの物体（ＡおよびＢ）が各々一定の距離にあると仮定すれば、それらの距離に関連した位相シフトは、
及びψとして表される。反射信号の大きさは、Ａ及びＢと定義される。到来する光信号は、このケースでは加算的で、従って、積分的であり、それ故、Ｉは、次のようになる。

Ｑについても同様である。

強度が時間と共に変化しない光源は、Ｉ及びＱ成分に対してゼロ貢献である。この特性は、良好な周囲光除去を与える。又、異なる距離にある物体からの位相オフセットによる打ち消しも与える。１／０方形波復調を使用すると、この情報は、悪い周囲光除去で保持される。この復調スキームは、著しく異なる数学を招くが、最終的結果は、同様である。以下、Ｉ／Ｑの前の２つのファクタは、他の倍率ファクタに吸収されるので、落される。

幾つかの簡単化が行われ、そして基本的なモデルがセンサ出力に対してシーン内の物体の関数として提案される。より実施し易いことから個別のケースが開発されるが、他のケースが実施されてもよい。ＬＥＤ／センサ視野は、１からＮでインデックスされるＮ個の区分に仕切られる。これら区分の各々は、立体角Ω_iを有する。更に、これらの立体角の各々は、固定の反射率ρ_iを有し、固定の放射方向距離ｒ_iにおけるものである。又、ＬＥＤからの出力は、ステラジアン当たりの放射強度Ｉ_iで所与の立体角にわたって一定である。所与の距離に対する位相シフトは、
と定義される。

このモデルから、センサにおける所与の立体角からの（Ｉ_i、Ｑ_i）貢献が得られる。Ｉ／Ｑスペースにおいて極座標系を定義することも有用である。ＩＱベクトルの大きさは、Ｍ_iであると定義され、角度
は、既に定義されている。

両（Ｉ_m、Ｑ_m）は、測定された（生の）Ｉ及びＱ値として定義される。一定のクロストーク（電気的又は光学的）を表わすため、もう１つの項（Ｉ_c、Ｑ_c）が追加される。最終的に、次のようになる。

一般的に、ユーザが装置に接近して位置しているかどうか決定するためには、装置が置かれた環境を理解するのが有益である。これは、偽の肯定を減少し、そしてユーザが装置１００の至近に入ったり出たりするときをより正確に決定する上で助けとなる。しかしながら、背景モデルを生成することは、センサ１１２により与えられる情報の相対的な欠如のために多数の課題が課せられる。有用なモデルを定義するため、幾つかの簡単化の仮定がなされる。最初に、単一のセンサに対するモデルの数学について述べ、その後、複数のセンサケースについて述べる。

基本的には、センサ１１２のようなある接近センサによって行われる距離測定に影響を及ぼす２つのタイプの物体がある。人間により遮られない物体があると共に、人間により遮られる物体がある。前者は、「前景」物体と称され、後者は、「背景」物体と称される。当然、物体は、それが人間に対してどのように位置しているかに基づき両方のカテゴリに入れられる。ここで、シーンをこれら２つのタイプの物体に分割する。一般的に、課題は、シーン内の動的な物体、例えば、入ったり出たりする人々までの距離を測定することである。これらの物体を首尾良く測定するために、シーン内の静的な物体に対する正確なモデルが生成され、そして動的な物体に対するその関係がモデリングされる。

最初、（Ｉ_p、Ｑ_p）は、測定されている物体に関連した信号であると定義される。又、（Ｉ_m、Ｑ_m）及び（Ｉ_c、Ｑ_c）は、各々、測定された（生の）値及びクロストーク値として使用され続ける。

空のシーン
１つのモデルは、前景物体も背景物体もなく、且つ全ての信号がシーン内の人間によるものであると仮定する。その最も単純な形態において、工場校正／クロストーク値が使用される。

このモデルは、距離出力を発生するのに使用される。前景物体をもたないシーンについては、このモデルは、常に、距離を過大推定する。このモデルは、装置の寿命にわたって正確である工場校正値に依存することに注意されたい。汚れ等により追加されるクロストークは考慮していない。

静的なオフセットが観察されると、それが前景物体及び背景物体のある組み合わせとしてモデリングされる。この静的オフセットをどのように分布させるかの選択は、Ｉ_p及びＱ_pの推定に強く影響する。

前景のみ
静的なオフセットを考慮する１つの方法は、それらが全て前景物体によるものであると仮定することである。温度又は汚れによるクロストーク変化のような作用は、このカテゴリに入る。前景物体は、定義によれば、人間の存在に関わらず、信号に対して一定の貢献を有する。単純な前景モデルでは、前景物体の空間的分布は関係がなく、前景でない何かが当該物体であると仮定する。（Ｉ_fg、Ｑ_fg）を前景からの信号であると定義する。このモデルは、次のことを意味する。

（Ｉ_fg＋Ｉ_c、Ｑ_fg＋Ｑ_c）は、シーンに当該物体がない状態での測定されたセンサ読みであることに注意されたい。これは、標準的「ベースライン減算」モデルである。

部分的に遮られる均一背景
このモデルについては、背景が均一の距離にありそして均一の反射率を有すると仮定する。更に、物体が垂直方向に視野をカバーすると仮定する。ある角度でのＬＥＤの減衰がＩ（θ）として定義される。固定巾ｗの単一物体が、固定位置における角度区分Δθ_pに対応すると仮定される。物体の中心位置は、角度項においてθ_pとして定義される。

一般的なモデルについては、上述した。このモデルについては、面積が単純に巾の関数であり、入射光は、Ｉ（θ）により定義され、そして距離／反射率は、一定であるが、未知である。

便宜上、次のように定義する。

及び
Ｌ（θ_p；Δθ_p）は、当該物体によって定義された立体角に向けられたＬＥＤからの光の部分を表わし、Ｌ_totalは、全光出力を表わし、そしてＲ（θ_p；Δ_p）は、背景に投射された全光の部分を表わす。

当該物体からセンサに到達する光の大きさは、Ｌ（θ_p；Δθ_p）に比例する。比例定数がθ_pであり、当該物体までの距離に関連した位相オフセットが
であると定義する。これにより、次のようになる。

同様に、背景からセンサに到達する光の大きさは、Ｒ（θ_p；Δ_p）に比例する。比例定数は、ρ_bgであり、背景距離に関連した位相は、
であると定義される。これにより次のようになる。

加算すると、

次のものの測定を仮定すると、
及び
となる。角度θ_p及び巾ｗが既知であるか、又は仮定された場合には、この方程式の系を解くことができる。

部分的に遮られる均一背景及び均一前景
このモデルでは、「部分的に遮られる均一背景」モデルでスタートし、当該物体に空間的変化作用を及ぼさない均一の前景成分を追加して、それを構築する。前景成分は、空間的に変化せず、当該物体の存在により影響を受けないので、ρ_fg及び
は、前景物体の大きさ及び位相であると定義する。ここで、前景については、次のようになる。
及び

これは、単純に以前のモデルに追加されて、次のようになる。
及び
空のシーンにおいてそれを測定できると仮定すると、次のようになる。
及び
以前のケースと比較されるものとして推定される更に２つの変数が追加される。

区分化された背景、均一な前景
このモデルは、水平視野を一連の区分１・・・Ｓに仕切り、その各々は、均一な前景／均一な背景としてモデリングされる。変数が属する区分を示すために上付き文字ｓが追加される。背景区分でスタートして、物体がシーン内にあり、巾ｗが角度区分Δθ_p及び角度位置θ_pに対応することを仮定する。当該物体により遮られた後に背景に投射される光の部分を表わすためにＲ関数を区分的に再定義する。これは、Ｒ²と称される。

ここで、次のように定義する。
及び

前景信号は、シーン内の物体により変更されないので、それを区分的にモデリングする必要はない。しかしながら、前景は、区分にわたって変化する度合いで当該物体を遮る。これは、多数の異なる仕方でモデリングすることができ、その最も綺麗なものが、各前景区分に対する「遮りファクタ」Ｆ^sを関連付ける。又、Ｌ^sは、区分ｓにおける当該物体を照明するＬＥＤからの全光出力の部分として定義される。ここで、次のようになる。
及び

均一な前景のケースでは、Ｆsは、全ての区分について１に等しく、そして方程式は、非区分化前景のケースまで崩壊する。要するに、次のようになる。
及び

ここで、背景については区分当たり２つの変数が追加され、そして前景の遮りについては区分当たり１つの変数が追加される。前景物体からの遮り作用は無視され、特別の背景変数のみが追加される。

視野の重畳する２つのセンサ
視野の重畳する２つのセンサが使用される。視野の重畳部分のみを考え、そしてこの領域において収集できる情報の種類を見るとき、各センサがそれ自身のＬ（θ_p；Δθ_p）を有すると仮定する。但し、θ_pは、グローバル座標系を参照するものである。これらは、Ｌ¹及びＬ²と称され、センサを表わすために上付き文字を使用する。更に、２つのセンサは、感度及びＬＥＤ出力が異なり、その結果、重畳する視野において同じ物体を測定するために倍率ファクタエラーαが生じると仮定する。又、当該物体からの距離及び信号の大きさに対して１／α²関係も仮定する。更に、物体が固定反射率ρ_p及び固定巾ｗを有すると仮定する。

ρ_p、
、θ_p及びｄは、２つのセンサ測定値間の共通の値であり、当該物体に特有のものであることに注意されたい。ｄと
との間には、良く定義された関係があり、ここでの規範的な区分を参照されたい。ここで、αは、２つのセンサ／ＬＥＤ間の一定の感度差であり、これは、センサの寿命にわたってゆっくり変化する。これらの定義では、次のようになる。


及び

これらの方程式は、Ｉ_p及びＱ_pについて、背景のみの部分的遮りモデルに代入されて、
のための方程式を発生する。次のような５つの未知数がある。
・α
・ρ_p
・θ_p
・Δθ_p

更に、４つの方程式があり、従って、それらの値の１つが既知である（又は仮定される）限り、その残りは潜在的に計算することができる。良好な初期推測はαであり、そしてΔθ_pがなされると仮定するのが合理的である。別のセンサ、例えば、カメラベースセンサ１０６が設けられると、θ_p及び
の直接的な測定値が得られる。不都合にも、これらの方程式は、非線形であり、従って、これらの制約の中に独特の解が存在することを示すために、ある作業がまだ行われる。この推定プロセスを遂行するために、多数の推定スキームのいずれかが使用される。例えば、拡張カルマンフィルタ、シグマポイントカルマンフィルタ、又は直接推定を使用することが含まれる。

背景のみの部分的遮りモデルの規範的な実施
１０°のＬＥＤセンサ１２による減衰投射が白い壁に対して造影された。その水平投影減衰は、標準偏差がほぼ１２°のほぼガウス分布である。原型が、１２フィートの背景幕をもつ比較的暗い空の室内で床上約３．５フィートに配置された。

黒いフェルトバッフルでセンサ１１２を覆う状態でクロストークが測定された。反射性バッフルでゼロ位相オフセットが測定された。公称「オープン」背景が捕獲された。ＬＥＤから１０フィートまで０°のオフセットで、人間がセンサ１１２から１フィートの増分で立つようにして、センサデータが収集された。センサデータは、５フィートの放射方向距離において、−１５°から＋１５°まで、５°の増分で収集された。フェルト測定は、本質的にクロストークを測定するので、（Ｉ_c；Ｑ_c）と称される。反射バッフル測定は、（Ｉ_o；Ｑ_o）と称され、そしてオープン測定は、（Ｉ_open；Ｑ_open）と称される。最終的に、シーンにおける当該物体での生の測定は、（Ｉ_m；Ｑ_m）と称され、そして推定されるべき当該物体信号は、（Ｉ_p；Ｑ_p）と称される。Ｌ（Ｑ_p；ΔＱ_p）は、エラー関数を“ｅｒｆ”とすれば、特定の形態が次のようになる前記ガウス分布を仮定してモデリングされた。
又、次のように定義される。



但し、γは、位相Δから距離への変換であり、そしてΔθ_pは、巾が２フィートの人間を仮定して計算される。ここで、方程式の系は、次のように設定される。
及び
但し、Ｌ（θ_p；Δθ_p）は、Δθ_p及びＬ（θ_p；Δθ_p）のための前記方程式を使用して表現される。θ_pを既知の値として処理し、そして非線形方程式の系を数字的に解く。実際のデータでの結果が図３及び４のグラフに示されている。図３において、曲線１２０は、修正なしを表わし、そして曲線１２２は、修正されたデータを表わす。図４において、曲線１３０は、修正なしを表わし、曲線１３２は、修正されたデータを表わし、そして曲線１３４は、真の距離を表わす。

種々の背景モデルを伴う単一センサ１１２についての数学では、複数のセンサが一体的な位置モデルへと結合される。上述したように、１つの実施形態では、複数の接近センサが実施される。他の実施形態では、複数のＬＥＤがＴＤＭ的に使用されて、望ましい視野を与える。カメラベースセンサを一体化することで全ての当該パラメータを推定することができる。

図５は、複数のセンサを段階的に使用して装置の状態を変更する方法３００を示す。最初に、装置は、スリープモードのような電力消費減少モードにあり、そしてコントローラは、第１センサからデータを受け取る（ブロック３０２）。受け取られたデータが処理され（ブロック３０４）そしてスレッシュホールドと比較される（ブロック３０６）。スレッシュホールドとの比較で、ユーザが存在するか又は存在する見込みが高いかに関して決定することができる（ブロック３０８）。ユーザが存在しない場合には、第１センサからデータが受け取られ続ける（ブロック３０２）。しかしながら、ユーザが存在すると決定されるか又は存在する見込みが高いと決定された場合には、第２センサが作動され（ブロック３１０）、第２センサからデータが受け取られる（ブロック３１２）。第２センサからのデータが処理され（ブロック３１４）、そして第１センサからのデータと合成される（ブロック３１６）。第１及び第２センサからのデータの処理は、データに対してデジタル信号処理を遂行し、例えば、データをフィルタリングし、データをスケーリングし、及び／又はデータを一般的にコンディショニングして、存在決定に有用なものにすることを含むが、これに限定されない。更に、第１及び第２センサからのデータの合成は、データを一緒に記憶し、及び／又はデータを論理的又は数学的に合成することを含む。

第１及び第２センサからのデータは、ユーザ存在値及び／又はユーザ存在スコアの確率を計算するのに使用される（ブロック３１８）。ユーザ存在値及び／又はユーザ存在スコアの確率は、スレッシュホールドと比較されて、ユーザが存在するかどうか決定する（ブロック３２２）。更に、ユーザが存在すると決定された場合には、装置に対するユーザの距離及び位置のような他のパラメータが決定され（ブロック３２４）、そして装置の状態が変更される（ブロック３２６）。状態の変更は、装置をスリープモードから目覚めモードにすること、又は他の適当な状態変更を含む。

更に、他のパラメータ（例えば、距離、位置、等）の決定並びに装置の状態の変更は、ユーザ存在の肯定決定の後に、ブロック３０８からの破線で示されたように、第１センサのデータのみに基づいて行われてもよいことが明らかである。

更に、ユーザ存在の第２の決定（ブロック３２０）は、第２センサから与えられる付加的な情報に基づき、第１の決定（ブロック３０８）より正確である。更に、上述したように、第１及び第２センサの両方からのデータの合成に基づき付加的なパラメータが決定される。

他の実施形態では、方法３００より多くの又は少ないステップが具現化されてもよいことが明らかである。図６−１１は、存在決定方法の更に詳細なフローチャートである。

図６を参照すれば、存在感知を示すフローチャート２００が図示されている。最初に、カメラを使用して画像が得られる（ブロック２０２）。光レベルの決定がなされ（ブロック２０４）、肌色決定ルーチンへ送られる（ブロック２０６）。任意であるが、ある実施形態では、光レベル決定が、矢印２０３で示すように、他のルーチンへ送られてもよい。更に、捕獲された画像が前処理されてもよい（ブロック２０８）。あるケースでは、前処理は、例えば、画像のダウンスケーリング、画像のカラースペースの変更、及び／又は画像の改善を含む。他の検出器特有の前処理も行われる（ブロック２１４、２１５及び２１７）。例えば、画像は、ブロック２１４での前処理によって任意にボケさせた後に、肌色検出ルーチン（ブロック２０６）へ送られてもよい。更に、ブロック２１５の前処理は、カラーをグレイスケールへ変更した後に画像を顔検出ルーチン（ブロック２１０）へ送り、及び／又はブロック２１７の処理で縁検出を行った後に画像を動き検出ルーチン（ブロック２１２）へ送ることを含む。深度画像は、それをセグメント化することにより前処理し、そしてセグメント化された部分が検出器へ入力として与えられる。肌色検出ルーチン、顔検出ルーチン及び動き検出ルーチンは、図７−１１を参照して以下に詳細に述べる。

肌色検出ルーチン、顔検出ルーチン及び動き検出ルーチンの結果は、融合及び検出ロジック（ブロック２１６）を使用して重み付けされ合成され、そしてユーザ存在分類が決定される（ブロック２１８）。融合及び検出ロジックは、ニューラルネットワーク、サポートベクトルマシン、及び／又は他のある形態の確率マシン学習ベースアルゴリズムを使用して、ユーザが存在するかどうかの決定に到達することを含む。図７は、低光量決定（ブロック２０４）でスタートするフローチャートとして肌色検出ルーチン（ブロック２０６）を示す。低光量決定は、画像の処理に影響を及ぼすように種々の異なる仕方で使用されることが明らかである。例えば、ある実施形態では、低光量決定は、ニューラルネットワークへのベクトルとして行われるが、他の実施形態では、低光量決定は、使用するカテゴライザーの特定タイプを選択するのに使用される。即ち、画像が低光量で撮影されていないと決定された場合には、特徴ベクトルが発生され（ブロック２２０）、そして第１ピクセルクラシファイアが適用される（ブロック２２２）。画像が低光量で捕獲された場合には、異なる１組の特徴ベクトルが発生され（ブロック２２４）、そして第２のピクセル毎クラシファイアが適用される（ブロック２２６）。望ましい結果を得るために特徴のタイプ、例えば、カラー変換、等が選択的に与えられ、これは、低光量決定に基づいて異なってもよい。更に、第１及び第２のピクセル毎クラシファイアは、低光量決定に基づいて異なってもよい。例えば、第１のクラシファイアは、７−５−２マルチレイヤパーセプトロン（ＭＬＰ）フィードフォワードニューラルネットワークのピクセル毎クラシファイアであるが、第２のクラシファイアは、２−１２−２ＭＬＰフィードフォワードニューラルネットワークのピクセル毎クラシファイアである。ある実施形態では、クラシファイアは、プロセスを加速する上で助けとなるようにＧＰＵを伴うオープンカーネルで実施される。

クラシファイアからの出力は、画像が肌色を含む確率を示す確率値（例えば、０と１との間の値）である。形態学的フィルタは、画像に任意に適用され（ブロック２２８）、そして平均グレイスケールレベルが計算される（ブロック２３０）。非直線的スケーリング（ブロック２３２）、一時的キューフィルタ（ブロック２３４）及びクランプ（ブロック２３６）が適用された後に、肌色検出によるユーザ存在の確立を決定する（ブロック２３８）。

図８は、顔検出（ブロック２４０）を適用することでスタートするフローチャートとして顔検出ルーチン（ブロック２１０）を示す。顔が存在する見込みを示す確率スコアを与える、例えば、ビオラ−ジョーンズカスケード顔検出器のような適当な顔検出器が実施される。次いで、顔存在スコアがスケーリングされ（ブロック２４２）、そして間欠的検出フリッカフィルタが任意に適用されて（ブロック２４４）、画像を平滑化する。カメラが比較的良質のものである実施形態では、平滑化がプロセスから省略される。フリッカフィルタは、一時的キューフィルタ（ブロック２４６）、平均値からの正規化スコア偏差がスレッシュホールドより小さいかどうかの決定（ブロック２４８）、及び出力値を、スケーリングされたスコアで乗算すること（ブロック２５０）を含む。一時的キューフィルタ（ブロック２５２）及びクランプ（ブロック２５４）が適用された後に、顔検出によるユーザ存在の確立を決定する（ブロック２５６）。顔検出器への同じ流れ又は同様の流れをたどるようにボディ検出器又はボディセンサが構成されてもよい。更に、ボディ検出器は、顔検出器に使用されるものより解像度の低い画像センサを使用して実施されてもよい。

図９は、複数のフレームを収集することによりスタートするフローチャートとして動き検出ルーチン２１２を示し、従って、メモリは、複数のフレームを記憶するように実施される。例えば、現在フレーム及び２つの他のフレームの、３つのフレームが使用される。図９に示す実施形態では、現在フレーム及び２つのその後のフレームが使用される。最初に、入力フレームは、ｋフレームだけ順次に遅延され（ブロック２６０、２６２）、及びフィードフォワードされて、第２遅延（ブロック２６２）の出力と加算される（ブロック２６４）。ブロック２６０の出力は、２で乗算され（ブロック２６６）、そして加算器（ブロック２６４）と乗算器（ブロック２６６）の出力との間の差（ブロック２６８）が決定される。次いで、ピクセル毎の内積が決定され（ブロック２７０）、スケーリングされ（ブロック２７２）、そしてピクセルがクランプされる（ブロック２７４）。平均グレイレベルが計算され（ブロック２７６）、非直線的スケーリングが遂行され（ブロック２７８）、一時的キューフィルタが適用され（ブロック２８０）、そして［０，１］にクランプされる（ブロック２８２）。最終的に、動きによるユーザ存在の確率が決定される（ブロック２８４）。

動き検出ルーチンに有用な幾つかのパラメータは、オートフォーカス（ＡＦ）ウインドウ統計値又は水平の縁又はゾーベル／シャー(Sobel/Sharr)の縁、２Ｄカラーヒストグラムデータ、コンポーネントヒストグラムデータ、カラーコンテンツの自動ホワイトバランス／自動露出（ＡＷＢ／ＡＥ）ウインドウ統計値、等を含む。幾つかの処理ステップは、Ｙチャンネル（強度）のような動き検出、ゾーベル又はシャーのいずれかのフィルタで計算された勾配の大きさ（適切な正規化のために勾配を累積する）、勾配大きさスレッシュホールド（縁ピクセルのカウントによる正規化）、クロミナンス（Ｃｒ、Ｃｂ）スペースにおける皮膚確率、それらのいずれかのサブ画像、等に対して実施される。ある実施形態では、動き検出は、画像セントロイドを計算する能力を含む。現在フレームのセントロイドから手前のフレームのセントロイドまでの距離は、動き量の尺度として使用され、又、ハードスレッシュホールドを適用して、バイナリー検出又は動きを生じさせる。従って、例えば、Ｙ強度、縁勾配の大きさ、バイナリー縁、又は皮膚確率画像のセントロイド位置の変化が動きを指示する。感度及び頑強さのトレードオフが、使用するパラメータの特定の組み合わせを指令する。例えば、皮膚確率画像は、縁勾配と共に使用され、バイナリー縁は、頑強さ対照明変化を与えるのに使用される。皮膚確率は、上述したように、ニューラルネットワークで得られ、或いは又、この関数を近似するために自動ホワイトバランスカラースペースフィルタを使用いて得られる。

動きを感知するための幾つかの実施形態は、勾配画像の皮膚検出のウインドウ統計値を参照する。１つの実施形態は、グローバルな和の変化を見る。特に、画像が全フレームにわたって加算されて、スカラー値ｓ［ｉ］を発生し、ここで、ｉは、現在フレームインデックスである。過去のＮ個の値のキューが維持され、Ｓ＝｛ｓ［ｉ−１］、ｓ［ｉ−２］・・・ｓ［ｉ−Ｎ］｝となる。Ｓ_L,Nは、ｓ［ｉ−Ｌ］からｓ［ｉ−Ｎ］までのシーケンスとして表され、そしてこれらの値の極端なものがｕ＝ｍａｘ（Ｓ_L,N）及びｖ＝ｍｉｎ（Ｓ_L,N）として計算される。動きの量は、この範囲外の行程によって決定される：ｅ＝ｍａｘ（ｓ［ｉ］−ｕ、ｖ−ｓ［ｉ］）。ｅが所定のスレッシュホールドを越える場合に動きが検出される。

ある実施形態では、動き検出ルーチンが単一フレームで実施され、従って、全フレームが記憶されないので、メモリは、ほとんど又は全く使用されない。ある実施形態では、画像（単一フレーム）がウインドウに分割され、それに対して統計値が計算される。ウインドウの統計値の変化を使用して、ユーザの動き及び位置も決定する。

図１０は、単一フレーム動き検出のために画像を分割するウインドウのあり得るセットを示す。より詳細には、図１０は、統計学的目的のために非重畳ウインドウ及び同心的ウインドウの両方に分割される単一フレームを示す。各ケースにおいて、画像（ページの上部フレーム）のルミナンス及び画像（ページの下部フレーム）の強度勾配大きさについて考える。例えば、画像３００は、複数の非重畳露出統計ウインドウ３０２へ分割される。或いは又、画像３００は、複数の同心的重畳露出統計ウインドウ３０４へ分割される。各ウインドウの統計値は、ルミナンス画像に基づくか（画像３００のように）又は強度勾配大きさ画像３０６に基づいて決定される。

ウインドウの使用は、勾配大きさの和を計算するときにより頑健な動き捕獲を与える。重畳する長方形ウインドウに関しては、１つの実施形態は、８つの同心的配列の長方形を含み、最大の長方形はフレーム全体を含み、そして最小の長方形は、画像を中心とするものである。従って、フレームｉでは、フレームの和がｊ∈［１、２、・・・８］についてｓ_j［ｉ］となる。長方形と長方形との間に存在するピクセルのストリップの和は、特殊なケースｄ₈［ｉ］＝ｓ₈［ｉ］／ｈ₈を除いて、これらの和の差として計算される：ｄ_j［ｉ］＝ｓ_j［ｉ］−ｓ_j＋１［ｉ］／ｈ_j。この差は、ストリップの高さｈ_jによって正規化され、この高さは、ストリップの面積にほぼ比例する。

次いで、手前のＮ個のフレームにわたる差ｄ_jの極端値ｕ、ｖ（最大値及び最小値）がキュー及び行程ｅ_j＝ｍａｘ（ｄ_j［ｉ］−ｕ、ｖ−ｄ_j［ｉ］）を使用して計算される。各工程ｅ_jをスレッシュホールドと比較することで、フレームの領域ｊにおける動きのインジケータが与えられる。照明の微妙な変化は、偽の肯定検出を生じ得る。真の動きは、８つの領域のうちの２つ又は３つにおける検出に通常関連している。従って、ある実施形態では、フレームにおいて動きが検出されたと決定するためには、動きを検出する少なくとも２つの領域が要求される。更に、室内灯をターンオン又はオフするような大きな照明変化は、しばしば、多数の領域が動き検出を示す結果となる。従って、４つ以上の領域が動きを検出した場合には、検出が抑制される。これらの設計パラメータは、経験に基づいて調整されるか、又は望ましい感度レベル及び頑強さを与えるように調整される。

図１１は、非同心的ウインドウ３０２を伴う単一フレーム３００を使用する動き検出ルーチン２１２Ｂを示すフローチャートである。ある実施形態では、各統計ウインドウには、独特の分析パイプが設けられる。即ち、各ウインドウは、同時に処理される。他の実施形態では、１つ以上のウインドウが共通の分析パイプにおいて順次に処理される。ここで使用する「分析パイプ」とは、ウインドウの統計分析に関連した処理ステップを指し、一時的キューフィルタを含む。

上述したように、画像３００は、統計ウインドウ３０２へ分割され、各ウインドウに対して平均統計値が計算される（ブロック３１０）。一時的キューフィルタが平均統計値に適用され（ブロック３１２）、そして短時間過去の振舞いからの行程値“ｅ”が計算される（ブロック３１４）。行程値は、それがスレッシュホールドを越えるかどうか決定するためにスレッシュホールドと比較される（ブロック３１６）。スレッシュホールドを越える各行程値に対して正規化されたカウントが保持され（ブロック３１８）、そして正規化されたカウントが投票スレッシュホールドを越える場合には（ブロック３２０）、動きが検出されたと決定される（ブロック３２２）。動きが検出されないと決定された場合には、第２センサ（１つ又は複数）から付加的なデータが収集される。更に、ある決定された量の時間が経過した後に、装置は、減少電力状態に戻り、第１センサ（１つ又は複数）がデータを収集する。

又、行程値は、概略統計値を発生するのにも使用される（ブロック３２４）。概略統計値は、非直線的にスケーリングされ（ブロック３２６）、そして確率動きスコアが与えられる（ブロック３２８）。一般的に、ブロック３２２は、運動が検出されたことを指示するバイナリー１又は０出力を与えるが、ブロック３２８は、画像３００において動きが検出された見込みを指示する０と１との間の値を与える。

明らかなように、ニューラルネットワーク、サポートベクトルマシン（ＳＶＭ）又は他の分類システムは、前記ルーチンの各々においてユーザの存在に関して決定するのに使用される。更に、各ルーチンからの確率値は、例えば、その値があるスレッシュホールドより高い場合には、それだけで、ユーザが存在すると決定するのに充分である。更に、ある実施形態では、ユーザが存在するかどうか決定するのに、各ルーチンからの確率値の組み合わせが使用される。ある実施形態では、ルーチンの出力は、その有効性が問題であるから使用されない。例えば、肌色検出ルーチンは、照明によって信頼できないことがある。更に、ルーチンからの確率出力は、重み付け的に結合されてもよい（例えば、１つの確率に、それが他のものより正確であるとの見込みに基づいて、より大きな重みが与えられてもよい）。

ここに述べる実施形態は、ノートブックコンピュータ、デスクトップコンピュータ、等のコンピューティング装置における電力消費を減少するように具現化される。特に、コンピューティング装置は、装置が冬眠又はスリープ状態のような低電力状態にあるときでも存在感知機能を発揮して、ユーザが存在するときには装置がパワーアップしそしてユーザが去ったときには装置がパワーダウンするか又は減少電力状態に入るようにする。更に、この実施形態は、とりわけ、直感的なパワーアップ及びパワーダウン動作並びにセキュリティ特徴を与えることによりコンピューティング装置でのユーザの経験を改善するように構成される。

低電力動作においてメインプロセッサ及びＲＡＭの使用を除外する段階的システムが実施される。例えば、１つの実施形態において、最低電力状態では、カメラ、画像信号処理（ＩＳＰ）装置、及び存在値をリアルタイムで計算する埋め込み型プロセッサのみが実施される。次の段階では、顔検出器チップ及びＲＡＭがターンオンされる。その後の段階では、システムプロセッサ及び他のリソースがパワーオンされる。

それ故、動き検出について上述した例では、手前のフレームのメモリが、ＩＳＰにより計算された統計値に制限されると共に、ＲＡＭが利用できないときには、埋め込み型プロセッサレジスタ及びキャッシュ（例えば、３２ｋ）において利用できるスペースに制限される。更に、存在感知ルーチンの外部では存在感知情報（例えば、統計値、画像、等）が利用できないことが明らかである。即ち、例えば、ユーザは、存在感知のために捕獲された画像を見ることができない。

ある実施形態では、ボディ検出パラメータが使用される。ボディ検出パラメータは、顔検出パラメータと同様であるが、顔の証拠となる小さな特徴ではなく人間のボディの大きな特徴に基づくものである。例えば、ボディ検出パラメータは、腕、脚、胴、頭、等を見分けることに関連している。大きな特徴に基づくものであるから、顔検出に使用されるものに対して解像度の低いカメラを実施して、ボディセンサとして適度に良好な結果を得ることができる。更に、ある実施形態では、カメラは、ボディ検出パラメータを得るのに使用されるときには低解像度モードで動作し、そして他の目的で使用されるときには高解像度モードで動作する。実際に、ボディ検出及び顔検出パラメータの両方に同じカメラを使用することができる。ボディ検出パラメータは、存在の確率を決定するために顔検出パラメータと同様に使用できることが明らかである。更に、ボディ検出パラメータは、ボディが検出された確立を表わすパラメータでもよい。ボディ検出器に使用されるデータは、深度画像であるか、グレイスケール画像であるか、ＲＧＢ画像であるか、或いは前記タイプの画像のみ又は別のタイプの画像との組み合わせの一方である。

ある実施形態では、多数の異なるセンサ及び入力が実施される。多数の異なるセンサ及び入力は、偽の肯定及び偽の否定を減少するための存在センサの精度及び能力を高める上で助けとなる。１つの実施形態において、ベイズ(Bayesian)のフィルタが実施される。より詳細には、反復ベイズ推定が確率データ融合に基づいて遂行される。図１２は、複数の同時非同期センサを使用してユーザが存在する確率を決定する方法３５０を示す規範的なフローチャートである。フローチャートの上部付近に、複数のセンサ３５２がある。より詳細には、センサは、ビデオカメラ３５４、３Ｄカメラ３５６、マイクロホン３５８及びキーボード３６０を含む。これは、単なる例示に過ぎず、実際の具現化では、より多くの又はより少ないセンサ、或いは異なるセンサが使用されてもよい。例えば、タッチスクリーン、トラックパッド、及びマウスが、各々、使用される。センサ３５２は、各々、同時に動作することができる。

異なるセンサ３５２は、各々、ある特徴を捕獲するように構成される。即ち、各センサは、ある有用な情報を存在決定に与える能力を有する。センサ情報の組み合わせは、各センサからの情報を単独で使用するときよりも情報を組み合わせた方がより有用で及び／又はより正確であるような情報の相乗効果を発揮する。より詳細には、センサ３５２からのデータは、ユーザが存在する見込みを決定するのに加えて３Ｄスペースにおけるユーザの実際の位置及びユーザの速度を決定するのに使用される。得られたデータは、頑健な形態で組み合わされて、動きモデルの先験的予想と共にセンサ情報の相乗効果を発揮する。データ融合は、モデル予想を観察されたセンサデータと最適に融合し、推定状態（ユーザの位置及び速度）への各コンポーネントの貢献を、その情報の確実性（クオリティ）に比例して重み付けする。従って、動きモデルが正確で且つセンサデータがノイズ性である場合には、モデル予想がセンサデータに対してより重たく重み付けされ、そしてその逆のことも言える。モデル及び観察されたデータのこの組み合わせは、システムにおける進化の確率に基づいて適応され続ける（例えば、見込みモデルにより計算される重みが常時更新される）。

センサにより与えられるデータから抽出される幾つかの規範的な特徴がフローチャートに示されている。より詳細には、ビデオカメラは、３Ｄブロブ、顔＆ボディ検出、及び動きベクトルのような特徴を抽出する（ブロック３７０）。３Ｄブロブは、カメラの視野内の物体を表わす。３Ｄカメラ３５６は、顔検出、ボディ検出及び動きベクトルも抽出するように構成される（ブロック３７２）。マイクロホン３５８は、オーディオ加速度及び新規性検出を抽出するように構成される（ブロック３７４）。キーボード３６０は、キー押圧検出を抽出するように構成される（ブロック３７６）。オーディオ加速度特徴は、ドップラー効果を利用して、物体が近付きつつあるか遠のいているか決定する。更に、新規性検出特徴は、ユーザの存在を指示する背景ノイズの変化の発見を求める。例えば、音量の増加は、ユーザの存在を表わす。

これらの特徴が抽出されると、観察の見込みが決定される（ブロック１７８）。即ち、抽出された特徴は、各々、当該物体（例えば、ユーザ）が存在する見込みを決定するのに使用される。観察見込みは、次いで、状態表現を更新するのに使用される（ブロック１８２）。状態表現は、データの融合を利用する。状態表現（ブロック１８４）が発生される。１つの実施形態において、状態表現は、ヒストグラムの形態をとる。他の実施形態は、パラメータガウス分布（カルマンフィルタ）、モンテ・カルロサンプルベース分布（順次モンテ・カルロ方法／粒子フィルタ）、ハイブリッド非同期マルチ観察粒子フィルタ、等を含む。状態表現は、ユーザ存在計算に関連した情報を提示する。例えば、状態表現は、ユーザ（１人又は複数）の３Ｄ位置及びユーザの速度に関連した情報を提示する。動きモデル（ブロック１８８）は、状態表現に使用される情報を入力し、そして状態表現からの情報も受け取る。動きモデルは、ユーザの動きをモデリングする状態進化表現である。状態表現は、とりわけ、ユーザ存在の確率を決定する統計学的計算（ブロック１８６）に使用される。更に、統計学的計算は、ユーザの位置及び推定のバリアンスを推定する。

又、状態表現は、測定モデル（ブロック１８０）にも情報を与え、そして測定モデルは、観察見込み決定（ブロック１７８）へ送られる。測定モデルは、一般的に、センサの各観察をスケーリングする。より詳細には、センサの相対的な観察が多少の重みを与えるので、益々大きな重みに値する観察を与える上で助けとなるようにモデルが適用される。例えば、キー押圧の観察は、３Ｄブロブの観察より大きな重みが与えられる。更に、センサがノイズ性である場合には、小さな重みが与えられる。測定モデルの各々が観察見込みステップに使用され、これは、次いで、状態表現を更新するのに使用される（ブロック１８２）。

存在感知の実施は、コンピューティング装置の増加インテリジェント振舞いを与える。即ち、コンピューティング装置は、ユーザの相互作用を良好に予想することができ、そして改善されたユーザ経験を与えることができる。例えば、ディスプレイは、ユーザが存在する間に、暗くならず、ユーザが立ち去ると、シャットオフされる。更に、ディスプレイ出力は、装置からユーザまでの距離に基づいてスケーリング及び／又は変更される。感知された動きを模擬するようにスクリーンを横切って葉っぱが吹き飛ばされるような他の直感的及び経験的特徴がユーザのインテリジェントな及び双方向の感覚に追加される。

以上、ユーザの存在を感知する幾つかの規範的な実施形態を説明した。以上の説明は、特定の実施形態を表現したが、当業者であれば、それら実施形態の精神及び範囲から逸脱せずに、その形態及び細部に変更がなされることが明らかであろう。例えば、存在感知のための１つ以上のアルゴリズムに対して変更を実施することができる。１つの例では、ハードウェア制限がアルゴリズムの変更を推進する。従って、ここに述べる特定の実施形態は、例示に過ぎず、その範囲を限定するものではない。

１００：コンピューティング装置
１０２：センサ
１０３：メインカメラ
１０４：マイクロプロセッサ／マイクロコントローラ
１０５：ＣＰＵ
１０６：カメラベースセンサ
１０７：画像プロセッサ
１０８：カメラ
１１０：プロセッサ
１１２：接近センサ
１１４：コントローラ
１１６：マルチプレクサ
１１８：ＬＥＤ

Claims (28)

1. コンピューティング装置を動作して存在ベースの機能を提供する方法であって、
   コンピューティング装置を減少電力状態で動作し、
   少なくとも１つのセンサから第１セットのデータを収集し、
   前記第１セットのデータに基づいて、前記コンピューティング装置の付近に当該物体がある確率を決定し、
   前記コンピューティング装置に対する前記物体の部分に基づいてコンピューティング装置の状態の変更を選択的に実行し、
   前記確率がスレッシュホールドレベルを越えた場合には、少なくとも１つの第２センサを作動して、第２セットのデータを収集し、
   前記第１及び第２セットのデータに基づき、前記物体が人間である確率を決定し、
   前記物体が人間であると決定された場合には、
   前記コンピューティング装置に対する人間の位置及び距離の少なくとも一方を選択的に決定し、及び
   前記コンピューティング装置に対する人間の存在及び位置の少なくとも一方に基づいて前記コンピューティング装置の第２の状態変更を実行する、
   ことを含む方法。
2. 前記少なくとも１つのセンサ及び少なくとも１つの第２センサは、同じセンサである、請求項１に記載の方法。
3. 前記センサは、前記少なくとも１つのセンサとして第１モードで動作し、そして前記少なくとも１つの第２センサとして第２モードで動作する、請求項２に記載の方法。
4. 前記第２センサは、画像ベースのセンサを含み、前記第１モードは、低解像度モードを含み、そして前記第２モードは、高解像度モードを含む、請求項３に記載の方法。
5. 前記状態の変更を実行することは、
   ディスプレイ背景／スクリーンセーバーシフトを変更し、該シフトは、ユーザの動きに対応するものであり、
   ディスプレイを目覚め状態に至らせ、
   前記コンピューティング装置を目覚め状態に至らせ、
   前記コンピューティング装置を目覚め状態に至らせるときにプロセスの数を減少し、
   人間が検出されたときに通常のタイムアウトを変更することにより前記コンピューティング装置をアクティブな状態に維持し、
   人間の位置に基づいてオーディオステアリングし、
   ユーザの位置に基づいてマイクロホンステアリングし、
   ユーザが遠く離れている場合に、ユーザオプションの小さなセットを与えるようにユーザインターフェイスを変更する、
   のうちの少なくとも１つを含む、請求項１に記載の方法。
6. 前記コンピューティング装置が既に目覚めており、そしてユーザが前記コンピューティング装置から離れることを検出する場合には、前記コンピューティング装置は、
   ディスプレイの状態をスリープ状態に変更し、又は
   前記コンピューティング装置の状態をスリープ状態に変更する、
   ように構成される、請求項５に記載の方法。
7. 合成されたセンサデータを使用し、ニューラルネットワーク又はサポートベクトルマシンを用いて存在を決定することを更に含む、請求項１に記載の方法。
8. 物体が前記コンピューティング装置のスレッシュホールド距離内にあるかどうかに関してハード判断を実行することを更に含む、請求項１に記載の方法。
9. 合成されたセンサデータを使用し、肌色決定、存在決定、及び存在決定を行うための重み付けされた仕方での動き決定、の各々を用いて存在を決定することを含む、請求項１に記載の方法。
10. 前記少なくとも１つのセンサは、キーボード、マウス、又はマイクロホンの少なくとも１つを含む、請求項１に記載の方法。
11. 合成されたセンサデータを使用し、前記コンピューティング装置からユーザへの決定された距離を用いて存在を決定することを更に含む、請求項１に記載の方法。
12. セキュリティのために前記コンピューティング装置の付近の顔の数を決定することを更に含み、セキュリティは、部分的にパワーアップし又はセキュアな状態へパワーアップし及び更なるアクセスのためにクレデンシャルを要求することにより与えられる、請求項１に記載の方法。
13. 前記少なくとも１つのセンサは、ボディセンサを含む、請求項１に記載の方法。
14. ユーザがコンピューティング装置の付近にいるかどうか決定する方法であって、
    画像センサを使用して画像を捕獲し、
    プロセッサを使用して、前記捕獲された画像から次のものの少なくとも１つを計算し、
    ボディ検出パラメータ、及び
    動き検出パラメータ、
    前記ボディ検出パラメータ及び動き検出パラメータの少なくとも１つを使用して、ユーザが存在する確率に関して決定を行い、
    前記確率がユーザの存在を指示する場合には、深度推定器を動作して、前記コンピューティング装置からユーザへの距離がスレッシュホールド未満である見込みを決定し、
    前記見込みがスレッシュホールドを越える場合には、前記コンピューティング装置の状態を変更する、
    ことを含む方法。
15. 肌色検出パラメータ及び顔検出パラメータを計算することを更に含み、それらは、両方とも、ユーザが存在するかどうかの決定を行うのに使用される、請求項１４に記載の方法。
16. 肌色検出、顔検出、ボディ検出及び動きの各パラメータを計算し、及び
    前記パラメータを互いに重み付けする、
    ことを更に含み、前記肌色検出パラメータは、他のパラメータより小さく重み付けされる、請求項１５に記載の方法。
17. 前記動き検出パラメータは、単一のフレームを使用して計算される、請求項１４に記載の方法。
18. 画像をウインドウへ分割し、及び
    同心的ウインドウに対する統計値を計算する、
    ことを更に含み、少なくとも２つのウインドウにおける変化が画像における動きを指示する、請求項１７に記載の方法。
19. メインプロセッサと、
    前記メインプロセッサに結合された存在センサシステムと、
    を備えたコンピューティング装置であって、
    前記存在センサシステムは、
    画像を捕獲するように構成された少なくとも１つの画像センサ、及び
    前記画像センサに結合されたプロセッサであって、次のもの、
    ボディ存在パラメータ、
    動きパラメータ、
    肌色パラメータ、及び
    顔検出パラメータ、
    の少なくとも１つを計算することによりユーザが前記コンピューティング装置の付近にいる確率を決定するように画像を処理するよう構成されたプロセッサ、
    を含み、
    前記確率が見込みスレッシュホールドを越える場合には、ユーザが存在すると決定された指示が前記プロセッサから前記メインプロセッサへ送られ、そして前記メインプロセッサがその指示に基づいて前記コンピューティングシステムの状態を変更する、コンピューティング装置。
20. 前記存在センサは、少なくとも１つの付加的な入力装置から入力を受け取り、そして当該少なくとも１つの付加的な入力から受け取られたデータは、確率の決定に使用される、請求項１９に記載のコンピューティング装置。
21. 前記少なくとも１つの付加的な入力装置は、
    付加的な画像センサ、
    キーボード、
    タッチスクリーン、
    トラックパッド、
    マイクロホン、及び
    マウス、
    のうちの１つを含む、請求項２０に記載のコンピューティング装置。
22. 前記センサ及び入力装置の１つ以上が同時に動作する、請求項２１に記載のコンピューティング装置。
23. 前記画像センサ及び付加的な画像センサの少なくとも１つは、深度センサを含む、請求項２１に記載のコンピューティング装置。
24. 前記画像センサ及び付加的な画像センサは、両方とも、同時に動作する、請求項２３に記載のコンピューティング装置。
25. 前記コンピューティング装置の状態は、前記センサの１つからのデータのみに基づいて変更される、請求項２１に記載のコンピューティング装置。
26. 前記状態の変更は、ウォームアップ状態に入ることを含む、請求項２５に記載のコンピューティング装置。
27. 前記コンピューティング装置の状態の変更は、ユーザが検出されたときに前記コンピューティング装置をアクティブなモードに維持することを含む、請求項１９に記載のコンピューティング装置。
28. 前記状態の変更は、他の入力が検出されないとき前記コンピューティング装置のスクリーンを薄暗くするか又はスリープさせるタイムアウトの１つをディスエイブルすることを含む、請求項２７に記載のコンピューティング装置。