JP2015118558A - 物体追跡 - Google Patents

Abstract

【課題】イメージセンサーを有したモバイルコンピューティングデバイスを動作させる方法を提供する。
【解決手段】イメージデータを取得するステップ４０２と、イメージデータの中で不活発移動可能物体を識別するステップ４０８と、不活発移動可能物体が追跡対象物体であるか否かを判定するステップ４１０と、不活発移動可能物体が追跡対象物体である場合に、不活発移動可能物体の状態に関する情報を記憶するステップ４３０と、不活発移動可能物体の状態の通知を提供するためのトリガーを検出するステップ４３６と、不活発移動可能物体の状態の通知の出力を提供するステップ４４２と、を含む。
【選択図】図４

Description

[0001] 物体の位置や他の状態の追跡は、日常生活において多大な労力を占めることがある。その上、間違った場所に置かれた物体を探し当てようとするのに、多くの時間が費やされることがある。例えば、間違った場所に置かれた車のキー、財布、モバイルデバイス等を捜索することは、人々が生産的な時間を失う原因となるかもしれない。同様に、家の冷蔵庫の中の牛乳パックがほとんど空になっているのを忘れた場合、もし当該買い物客が牛乳パックの状態を覚えていたとしたら避けられたであろう、その店への追加の外出をしなければならなくなるかもしれない。いくつかの事例では、そのような物体は所有者以外の人によって移動されたり、空にされたりすることがあり、それによって、追跡の作業が複雑になる。

[0002] したがって、物体の自動的な追跡に関連する様々な実施態様が本明細書で開示される。例えば、１つの開示された実施態様は、イメージセンサーを備えたモバイルコンピューティングデバイスを動作させる方法を提供する。前記方法は、イメージデータを取得するステップと、前記イメージデータの中で不活発移動可能物体を識別するステップと、前記不活発移動可能物体が追跡対象物体であるか否かを判定するステップと、前記不活発移動可能物体が追跡対象物体である場合に、前記不活発移動可能物体の状態に関する情報を記憶するステップとを含む。前記方法は、更に、前記不活発移動可能物体の状態の通知を提供するためのトリガーを検出するステップと、前記不活発移動可能物体の状態の通知の出力を提供するステップとを含む。

[0003] この概要は、詳細な説明において更に後述される概念からの選抜を簡略な形で導入するために提供される。この概要は、請求された主題の主要な特徴又は本質的な特徴を特定することを意図したものではなく、また、請求された主題の有効範囲を限定するのに用いられることを意図したものでもない。更にまた、請求された主題は、この開示のいずれかの部分に述べられたいくつかの、又は全ての欠点を解決する具体例には限定されない。

[0004] 図１Ａは、シースルー・ディスプレイデバイスを通して使用環境を見ているシースルー・ディスプレイデバイスの一実施態様のユーザーを示す。 [0005] 図１Ｂは、図１Ａのユーザーの視点を示し、シースルー・ディスプレイデバイス上に表示された追跡対象物体のアラートの一実施態様も示す。 [0006] 図２は、シースルー・ディスプレイデバイス上に表示された追跡対象物体のアラートの別の実施態様を示す。 [0007] 図３は、物体を追跡するように構成されたシースルー・ディスプレイデバイスの使用環境の一実施態様のブロック図を示す。 [0008] 図４は、シースルー・ディスプレイデバイスによって物体を追跡するための実施態様を説明するフロー図を示す。 [0009] 図５は、コンピューティングデバイスの一実施態様を説明するブロック図を示す。

[0010] 上述されたように、物体の状態（例えば位置又は他の物理的状態）を追跡すること、及び覚えておくことは、日常生活の間における労力にかなりの時間をとることがある。その上、物体の状態を正確に追跡しそこなうと、時間と生産性の損失をもたらすことがある。したがって、物体の状態を自動的に追跡することに関する実施態様が、本明細書において開示される。簡潔に言えば、モバイルデバイス、例えばユーザーによって装着されたシースルー・ディスプレイは、ユーザーの環境を観測するイメージセンサーを備えることができる。イメージセンサーからの映像データが処理されて、ユーザーの環境内の物体を検出し、映像データ中において追跡対象物体を識別することができる。次いで、追跡対象物体の状態情報、例えば位置や他の特性が記憶されることができる。これによって、ユーザー要求又はコンテキストに関する手がかりなどのアラートトリガーを検出した時に、追跡対象物体の状態に関するアラートを出力することが可能となる。状態情報は、ローカルに記憶され、及び／又は、リモートサービスにアップロードされることができる。複数の人が本明細書に開示されたような物体追跡デバイスを利用する場合には、各人が、物体追跡情報の共有を通じて、他のユーザーによりなされた物体に対する変化を知ることができる。このようにして、ユーザーは、失くしたキーの最新の位置を発見することが可能であり、食料品店の乳製品売り場を見て回っている間にもっと多くの牛乳を買うべきとのリマインダーを提供されることができ、及び／又は、他の物体状態情報を任意の適切な方法で追跡し、思い出すことができる。

[0011] 図１Ａ及び１Ｂは、非限定的な例示の使用シナリオを示す。まず、図１Ａは、眼鏡の形をしたヘッドマウント型シースルー・ディスプレイデバイス１００を装着し、第１時刻ｔ１においてシースルー・ディスプレイデバイス１００を通して環境（リビングルーム）を見ているユーザーを示す。以下においてより詳細に説明されるように、シースルー・ディスプレイデバイス１００は、ユーザーが動き回っている際に映像イメージを取得する１又は複数の外向きイメージセンサー（ＲＧＢ及び／又は深度センサー）を備える。取得された映像イメージはリアルタイムで、又は後で分析されて、以下においてより詳細に説明されるように、ユーザーによって追跡される移動可能な不活発（inanimate）物体を識別することができる。図１Ａでは、追跡される移動可能な不活発物体の例示的実施態様は、テーブルの上でひと山の雑誌の下に置かれたキー１０２として示されているが、任意の適切な物体が追跡されることができる、ということが理解されるだろう。

[0012] 識別された物体データ及び／又はイメージデータは、当該物体に関してユーザーに将来の情報、例えばアラートを提供するために、記憶されることができる。例えば、図１Ｂを参照すると、後の時刻ｔ２において、キー１０２は新聞１０４で覆われている。よって、キーの位置についての情報を要求するユーザー入力（例えばシースルー・ディスプレイデバイス１００のマイクを通じて検出された音声コマンド）に応答して、キーがシースルー・ディスプレイデバイス１００上で強調表示１０６される。

[0013] シースルー・ディスプレイデバイス１００は、ユーザーが観察する、又は相互作用することさえもある全ての物体に対する状態情報を追跡しなくてもよい、ということが理解されるだろう。例えば、図１Ａでは、ユーザーによって観察される環境は、ユーザーが追跡することを望まないかもしれないキー１０２以外の様々な他の移動可能な不活発物体、例えば雑誌１０８、植木鉢１１０、及び本棚の本１１２を含んでいる。

[0014] したがって、シースルー・ディスプレイデバイス１００は、十分に「重要である」と考えられる物体の状態を追跡することができ、ここで、「重要である」という用語は、物体を追跡対象として指定するのに十分な暗示的及び／又は明示的情報が受け取られたかどうかを表す。こうして、観察された不活発移動可能物体の状態に関する何らの情報をも記憶する前に、シースルー・ディスプレイデバイス１００は、当該物体が追跡対象物体であるか否かを判定し、次いで、もし当該物体が追跡対象物体であれば、状態情報を記憶することができる。シースルー・ディスプレイデバイス１００はまた、物体に割り当てられた「重要度スコア」を変化させる情報を検出することもできる。以下においてより詳細に説明されるように、そのような重要度スコアは、物体状態情報を追跡するか否か、及び／又はどの物体状態情報を追跡すべきかを決定するための１又は複数の閾値重要度スコアと比較されることができる。

[0015] 不活発移動可能物体は、任意の適切な方法で追跡対象として定義されることができる。例えば、物体の追跡対象としてのステータスは、（例えば開発者によって）事前定義されることができ、ユーザー定義されることができ、及び／又は適応的に学習されることができる。いくつかの物体が追跡対象として事前定義される実施態様では、事前定義が、大抵のユーザーにとって重要であると考えられる一群の物体、例えばキー、財布、金融取引カード等に対して適用されることができる。更に、ユーザーは、事前定義された重要な物体の定義に合致する物体を、もし追跡がその物体に対して望ましくなければ、追跡対象物体のリストから除去する能力を有することができる。

[0016] 物体は、任意の適切な方法で追跡対象として指定されることができる。例えば、シースルー・ディスプレイデバイス１００は、ユーザーが物体をシースルー・ディスプレイデバイス１００のイメージセンサーの視野内に保持し、又は他の方法で配置し、その物体のイメージをスキャンし、それを追跡対象として特定する、物体指定モードを含むことができる。より具体的な例として、シースルー・ディスプレイデバイス１００を装着したユーザーは、不活発移動可能物体（例えばキー、財布、クレジット／デビットカード等）をシースルー・ディスプレイデバイス１００の前に保持しながら、例えば「この物体を追跡する」といったような音声コマンドを使用し、それによって、その物体を追跡対象物体として記憶するようにシースルー・ディスプレイデバイスをトリガーすることができる。

[0017] 更に、いくつかの実施態様では、ユーザーは、追跡対象物体の指定に時間制約条件及び／又は位置制約条件をかけることが可能であってよい。例えば、海外へ旅行中のユーザーは、指定された日付範囲の間、又は指定された場所（例えば自宅）へ戻るまでパスポートを追跡対象物体として指定し、当該指定された日付、場所、若しくは他の条件が満たされた時に追跡が自動的に終了するようにすることができる。加えて、ユーザーは、不活発移動可能物体のステータスを追跡対象から非追跡対象へ随時変更するオプションを有することができる。追跡対象物体のユーザー指定のためのこれらの方法は例示の目的のために提示されたものであり、ユーザーは任意の適切な方法で追跡対象物体を定義することができる、ということが理解されるだろう。

[0018] 上述されたように、いくつかの実施態様では、シースルー・ディスプレイデバイス１００は、どの物体を追跡すべきかを適応的に学習することができる。このことは、追跡対象物体として明示的には定義されなかったが、それでもなおある人にとっては潜在的に重要である物体を、その人が探し当てるのに役立つことができる。シースルー・ディスプレイデバイス１００は、任意の適切な基準に基づいて、不活発移動可能物体を追跡対象物体として適応的に指定することができる。例えば、シースルー・ディスプレイデバイス１００は、不活発移動可能物体を、当該物体の目撃及び／又は当該物体とのユーザー相互作用の数、パターン、及び／又は頻度に基づいて追跡対象物体として指定し、より頻繁に目にする、及び／又は相互作用される物体が、より高い可能性で重要とみなされるようにすることができる。

[0019] 更に、シースルー・ディスプレイデバイス１００は、特定の場所（例えば、自宅、職場、及び他の場所）、時間、及び／又は状況（例えば、仕事に出掛ける準備ができた）を認識し、不活発移動可能物体を追跡対象物体として指定すべきか否かを、ユーザーが当該物体と相互作用する又は当該物体を別の態様で目にする場所、及び／又は状況に基づいて決定することができる。例えば、ユーザーの自宅の本棚に置かれた物体は、重要な物体である可能性が商品棚に置かれた物体よりも高いかもしれない。別の例として、追跡対象物体のすぐそばに配置された物体は、重要である可能性が他の物体よりも高いかもしれない。例えば、ユーザーは、キー、財布、及びモバイルデバイスをひとまとめにして一緒にテーブルの上に置くかもしれない。更に別の例として、他の人によって移動された物体は、潜在的に重要であるとみなされることができる。

[0020] 更に、いくつかの実施態様では、ユーザーは、ある場所及び／又はある時間を指定重要位置及び／又は指定重要時間として指定することが可能であってよい。このようにして、ユーザーが当該指定位置及び／又は当該指定時間に相互作用した物体は、重要と指定されていない時間及び／又は場所におけるよりも、重要である可能性がより高いかもしれない。一例として、ユーザーは、休暇の期間中、渡航文書のキャリア（travel document carrier）を重要な物体として指定することができる。同様に、ユーザーが自宅から別の場所へ運ぶ物体は、重要な物体である可能性が他の場所から由来する物体よりも高いかもしれない。例えば、レストランでは、ユーザーのコップよりも、ユーザーがコートのポケットから取り出してテーブルの上に置いた物体を追跡することがより望ましいかもしれない。

[0021] 更に別の例として、ユーザーが一日のうちのある時間に（例えば朝仕事に出掛ける前に）相互作用した物体は、重要な物体である可能性が、他の時間にそのユーザーが相互作用した物体よりも高いかもしれない。更に、ユーザーがユーザーコンテキストの変化に時間的に近接して（例えば、仕事に出掛けるため自宅を出る前に）相互作用した物体は、重要である可能性が高いかもしれない。何故なら、ユーザーは、自宅又は職場を出る前に、キー、財布、書類鞄、スマートフォン等と相互作用することがあるからである。ユーザーが長さの変わり得る出来事（キーを発見及び／又は家を出る前に毎朝キーを探すのに費やされる時間）の最後に相互作用した物体も、重要である可能性がより高いとみなされることができる。

[0022] 不活発移動可能物体は、任意の適切な方法で適応的に追跡対象として指定されることができる。例えば、上述されたように、重要度スコアが、映像イメージデータ内で検出及び特定された物体に対して、シースルー・ディスプレイデバイスのユーザーの当該物体との相互作用に関連する位置的、時間的、行動的、及び／又は他の要因に基づいて割り当てられることができる。もし重要度スコアが閾値重要度スコアを満たし、あるいは超えたら、その物体は追跡対象として指定されることができ、その物体の状態に関するより詳細な情報（例えば、その物体に関する最新の位置、履歴位置、変化し得る物理的特性の値等）が記憶されることができる。更に、いくつかの実施態様では、重要度の異なるレベルを定義するために異なる閾値重要度スコアが用いられることができる。これにより、重要度の異なるレベルに基づいて、１つの物体に対して、異なる種類の情報が記憶され、異なる種類のアラートが提供される等が可能となる。

[0023] 物体とのユーザー相互作用のパターンが、任意の適切な方法で追跡されることができる。例えば、時間に関するコンテキスト情報、位置に関するコンテキスト情報、行われている動作の種類に関するコンテキスト情報、及び／又は任意の他の適切なコンテキスト情報に基づいて、ユーザーの行動が分類されることができる。例示的なユーザー行動は、食事をとること、シャワーをすること、失くした物体を探すこと、車を運転して仕事に行くこと等を含む。そのような相互作用に関連した情報を経時的に追跡し記憶することによって、検出された物体との相互作用のパターンが観測されることができる。例えば、毎日午後の５時にユーザーはキーを置き、そのキーを毎朝８時に探すということが、シースルー・ディスプレイデバイス１００を通じて観測されることができる。

[0024] 観測されたユーザーパターンに基づいて、アラートが発生されることもできる。例えば、ひとたびキーとのユーザー相互作用に関連した行動パターンが認識されると、そのキーの場所に関するリマインダーが、毎朝午前８時に自動的に表示されることができる。そのようなパターンはまた、シースルー・ディスプレイデバイスを通じて物体の場所が最後に観測及び記憶されてからその物体が移動した場合に、失くした物体がどこに存在する可能性があるかに関する推測を構築するために用いられることができる。失くした物体をどこで捜索すべきかに関する示唆を提供する表示された通知の一例が、当該物体を探すべき場所のリスト２００の形で図２に示されている。図２はまた、その物体がどこで最後に見かけられたかに関する通知２０２も示す。失くした物体をどこで探すべきかに関する通知は、どんな形を取ってもよい、ということが理解されるだろう。例えば、そのような通知は、見込みのある場所へユーザーを案内する図形による指示、例えば、辿っていくべき矢印及び／又は直線や、探すべき示唆された場所を指し示す強調表示等の形を取ることができる。

[0025] いくつかの実施態様では、例えば各ユーザーが映像データをクラウドベースサービスにアップロードしている複数のユーザーからの映像データの入力に基づいて、場所の共通ビューが生成されることができる。これによって、あるユーザーの映像ストリームの中に見られる物体が別のユーザーの映像ストリームの中に見られる物体と関連付けられることが可能となり、したがって、物体が他のユーザーによって移動された場合であってもそれらが追跡されることが可能となる。更に、複数のユーザーが映像データの代わりに追跡対象物体データをアップロードすることができるように（例えば、複数のデバイスが同一の物体についてローカルな認識を実施することができるように）、物体メタデータがユーザー間で共有されることができる。

[0026] 上述されたように、位置に加えて、物体の他の状態が解釈され、監視されることができる。非限定的な例として、牛乳パックの中の牛乳の液面水位が監視されることができる。同様に、冷蔵庫の中身のリストが経時的に監視されることができ、いつもはある品目が無くなっていることが通知されることができる。これらの観測された状態に基づいて、コンテキストに関するトリガーによってアラートが発生されることができる。例えば、観測された空の牛乳パックの場合には、ユーザーが食料品店の牛乳売り場のそばを歩いている時に、視覚的オーバーレイ、自動的に生成された買い物リスト、及び／又は音声リマインダーが生成されることができる。食料品店の牛乳売り場にいるというコンテキストに関するトリガーは、限定ではないが、食料品店若しくは牛乳の生産者による特定の種類／ブランドの製品の注釈又はタグ付けによること、牛乳売り場で観測された物体の外観、サイズ、及び／又は他の物理的及び／又はコンテキストに関する特性を追跡対象の牛乳の物体の特性と照合することによること等を含む、任意の適切な方法で解釈されることができる。更に、牛乳パックの満状態と比較されるユーザーの買い物のパターンが経時的に観測される（即ち、ユーザーは一貫して、牛乳パックの状態が空又はほとんど空である場合により多く牛乳を買う）につれて、牛乳パックの満状態が経時的に追跡対象物体の状態として適応的に学習されることができる。

[0027] 図３は、不活発移動可能物体の自動化追跡に関する使用環境３００のブロック図を示す。使用環境３００は、コンピューターネットワークなどのネットワーク３０７を介してリモート物体追跡サービス３０６と通信する、物体追跡デバイス１ ３０２及び物体追跡デバイスＮ ３０４として描かれた任意の数Ｎ個の物体追跡デバイスを示す。物体追跡デバイスは、限定ではないが、図１のシースルー・ディスプレイデバイス１００を含む、任意の適切な形態を取ることができる、ということが理解されるだろう。いくつかの実施態様は、リモート物体追跡サービスを省略してもよい、ということが更に認識されるだろう。

[0028] 物体追跡デバイス３０２は、１又は複数のセンサー３０８を備える。センサー３０８は、ユーザーのローカル環境の映像データを収集する、２次元イメージセンサー３１０及び／又は深度センサー３１２などのイメージセンサーを含むことができる。任意の適切な種類と数の２次元イメージセンサー３１０及び／又は深度センサー３１２が含まれてよい。適切な２次元イメージセンサーの例は、ＲＧＢセンサー及びグレイスケールセンサーを含む。適切な深度センサーの例は、飛行時間センサー、構造化光センサー、及びステレオ深度センサーを含む。任意の他の適切なセンサーが含まれてよい、ということが理解されるだろう。例は、限定ではないが、マイク、全地球測位システム（ＧＰＳ）センサー、モーションセンサー、目の動きを検出する内向きイメージセンサー等を含む。

[0029] イメージセンサーを介して収集されたイメージデータは、イメージセンサーによって撮像された物体を識別し、その物体に関する状態情報を検出する物体認識追跡モジュール３１４へ供給される。物体認識追跡モジュール３１４は、更に、以下でより詳細に説明されるように、物体の状態に基づいて、１又は複数の出力機器３１６、例えばディスプレイ３１８（例えばシースルー・ディスプレイ又は任意の他の適切なディスプレイ）及び／又は１又は複数のスピーカー３２０へアラートを供給することができる。物体認識追跡モジュール３１４は、任意の適切な方法で物体を識別することができ、それには、限定ではないが、開発者によって予め訓練された分類関数、及び／又はユーザー特定の物体を認識するようにユーザーによって訓練された分類関数によることが含まれる。ここで、分類関数は、観測された物体を物体モデル３１５と比較し、及び／又は適合させる。物体認識追跡モジュール３１４は、次いで、イメージデータ内で識別された物体に対応する物体ＩＤを物体情報記憶装置３２２へ出力することができる。更に、新たな物体（即ち以前は検出されなかった物体）が検出された場合、物体認識追跡モジュール３１４は、その物体にＩＤを割り当てることができる。

[0030] 物体情報記憶装置３２２は、限定ではないが、追跡対象物体のＩＤ及び状態情報を含む追跡対象物体データ３２４を記憶するように構成されることができる。物体情報記憶装置３２２は、ユーザーパターンを適応的に学習して物体を追跡対象として自動的に指定する実施態様では、非追跡対象物体データ３２６を記憶することもできる。ここで、「非追跡対象」という用語は、状態情報がそのような物体に対しては記憶されていないということを示す。非追跡対象物体データ３２６は、物体１ ３２８及び物体Ｎ ３３２として描かれた複数の非追跡対象物体に関する情報を記憶しているように描かれている。任意の適切な非追跡対象物体データが記憶されることができる。例えば、重要度スコア情報３３０がそれぞれの非追跡対象物体について記憶されることができ、ここで、重要度スコア情報３３０は、認識された物体に対して当該物体とのユーザー相互作用に基づいて割り当てられて、次いで、物体の状態を追跡すべきか否かを決定するのに用いられることができる。重要度スコアが閾値重要度スコアを超えると、その物体は追跡対象物体として指定されることができ、その物体に対して状態情報が記憶されることができる。

[0031] 追跡対象物体データ３２４は、任意の適切な数及び種類の追跡対象物体に対して記憶された任意の適切なデータを含むことができる。図３では、複数の追跡対象物体が追跡対象物体１ ３３６及び追跡対象物体Ｎ ３３７として示されている。追跡対象物体１については、様々な状態データ３３８も描かれている。例えば、限定ではないが、最新の位置及び／又は過去の位置を含む位置情報３４０が記憶されることができる。そのような位置情報はまた、物体との過去のユーザー相互作用に関する情報も含むことができる。これによって、例えば、失くした物体を探し当てるのに役立つようユーザーパターンを分析することが可能となる。任意の適切な位置情報が記憶されることができる。例は、現在の使用環境の物理的な位置（例えばＧＰＳ座標）、及び／又はコンテキストに関する位置データ（例えば他の追跡対象物体／認識された物体に対する位置）に関する情報を含む。

[0032] 更に、物体の変化し得る特性の値３４２に関する情報が記憶されることができる。例えば、上述されたように、冷蔵庫の中の特定の食料品目が無くなっていること、牛乳パックの中の牛乳の液面水位、及び／又は、物体の変化し得る特性に関連した任意の他の適切な値が記憶されることができる。これらの特定の種類の状態情報は例示の目的のために説明されており、任意の他の適切な状態情報が記憶されてよい、ということが理解されるだろう。

[0033] 状態情報以外の情報も物体に対して記憶されることができる。例えば、適応的に学習し物体を追跡対象として指定する実施態様では、追跡対象としての物体の指定を維持すべきか否かを決定するために、重要度スコアデータ３４４が追跡対象物体に対して記憶されることができる。例えば、もしユーザーが紛失してない物体と相互作用するのをやめたら、経時的にその物体のスコアは減少し、その物体は追跡されなくなるかもしれない。更に、アラート条件３４６が記憶されることもでき、ここで、アラート条件は、提供されるべきアラートの性質のみならず、アラートが指定の物体に対していつトリガーされるべきであるかを規定する。

[0034] 加えて、コンテキストデータ３５０が、物体の重要度スコアの決定において役立つ物体情報として記憶されることができる。例えば、コンテキストデータ３５０は、重要度スコアを物体に割り当てる目的のために、位置３５２、時間３５４、及び／又は他のコンテキスト情報を「重要である」と定義することができる。位置３５２の例は、実際の物理的位置、他の追跡対象物体への近さに関するコンテキストルール、及び他のそのような位置データを含むことができる。時間３５４の例は、時計／カレンダーの時間、及び／又は、観測された物体の相互作用と他の出来事、例えば位置の変化との間の時間間隔（例えば、物体と相互作用することと、その後、家を出ることとの間の時間）に関するコンテキストルールを含むことができる。コンテキストデータ３５０は、更に、物体の重要度スコアを決定するに当たって位置、時間、及び他のコンテキスト情報をどのように適用すべきかに関するコンテキストルールを含むことができる。

[0035] いくつかの実施態様では、物体に対するイメージデータの分析は、リアルタイムではなく後で実施されることができる。したがって、物体情報記憶装置３２２は、物体認識追跡モジュール３１４によって処理されていないイメージデータ３５５を含むことができる。そのような実施態様では、イメージ分析は、ユーザーが、記憶されたイメージデータ３５５の中から関連のあるイメージデータを見つけることによってイメージデータの中から物体を探し当てるべく、その物体についての情報を要求した時に、実施されることができる。関連のあるイメージデータを見つけるのを補助するために、位置（例えばＧＰＳデータ）及び／又はイメージデータが取得された時間などの様々なメタデータが、イメージデータと共に記憶されることができる。

[0036] いくつかの実施態様では、物体の追跡と記憶は、物体追跡デバイス３０２上でローカルに実施されることができる。他の実施態様では、上述されたように、物体追跡デバイス３０２は、ネットワークを介してリモート物体追跡サービス３０６と通信することができる。これによって、物体データとイメージデータがユーザー間で共有されることが可能となる。リモート物体追跡サービス３０６は、物体追跡デバイス３０２に関して上述された物体認識、追跡、及びアラート生成の機能のうちのいずれをも実施することができる。更に、ユーザーから受け取られた情報が、ユーザー情報記憶装置３５６に記憶されることができ、ユーザー情報記憶装置３５６は、ユーザー１ ３５８及びユーザーＮ ３５９により表された複数のユーザーの情報を記憶しているように描かれている。限定ではないが、物体データ３６０（例えば、追跡対象物体及び非追跡対象物体の情報）、イメージデータ３６２（例えば、点群深度データ及び／又は２次元イメージデータ）、及びコンテキストデータ３６４（例えば、ユーザーが相互作用した物体を追跡すべきか否かを決定するために用いられる、場所／時間／他のコンテキスト）を含む任意の適切な情報が記憶されることができる。更に、ユーザーデータはまた、物体データ、イメージデータ、及び／又は他の情報が共有可能な信頼された他のユーザー３６６に関する情報も含むことができる。例えば、ユーザーは、失くした物体の発見を手助けするために、家族の他のメンバーのイメージデータにアクセスすることを望むかもしれない。より具体的な例として、もしユーザーの配偶者がユーザーのキーをテーブルから引き出しの中へ移動させたら、配偶者の物体データ及び／又はイメージデータが、キーを探し当てるのに役立つよう、そのユーザーの物体データ及び／又はイメージデータと一緒に検索されることができる。

[0037] 図４は、シースルー・ディスプレイデバイスによって物体を追跡するための方法４００の実施態様を説明するフロー図を示す。方法４００は、４０２において、シースルー・ディスプレイシステムを通して見える背景シーンのイメージデータをイメージセンサーから受け取るステップを含む。ここで、「背景シーン」という用語は、ユーザーに対してシースルー・ディスプレイの後方に位置する現実世界のシーンの視野を意味する。限定ではないが、２次元映像データ４０４（ＲＧＢ及び／又はグレイスケール）及び深度データ４０６を含む、任意の適切なイメージデータが取得されることができる。

[0038] 方法４００は次に、４０８において、リアルタイムで、又は後でトリガー（例えば、物体を探し当てるユーザー要求、コンテキストトリガー等）を受け取った時に、イメージデータ内において不活発移動可能物体を識別するステップと、４１０において、検出された不活発移動可能物体が追跡対象物体であるか否かを判定するステップとを含む。上述されたように、不活発移動可能物体は、任意の適切な方法で識別されることができ、それには、限定ではないが、移動可能物体を物体モデルと比較する分類方法によることが含まれる。

[0039] 同様に、上述されたように、不活発移動可能物体は、任意の適切な方法で追跡対象として定義されることができる。例えば、４１２に示されるように、ユーザーは、ある物体が追跡対象として指定されることを（音声、ジェスチャー、及び／又は他の適切なユーザー入力を通じて）要求し、その物体のイメージをスキャンすることができる。加えて、シースルー・ディスプレイデバイスの開発者及び／又は製造者によって、いくつかの物体が重要であるとして指定されることができる。

[0040] 更に、４１４に示されるように、不活発移動可能物体は、もし当該物体とのユーザー相互作用に基づいて割り当てられたスコア（「重要度スコア」）が閾値重要度スコアを満たしたら、追跡対象として指定されることができる。任意の適切な要因又は要因の組み合わせが、そのようなスコアを決定するのに用いられることができる。例えば、重要度スコアは、４１６に示されるように、物体との経時的なユーザー相互作用の数、頻度、及び／又はパターンに少なくとも部分的に基づいて決定されることができる。更に、４１８に示されるように、重要度スコアを決定するに当たって位置的情報も用いられることができる。そのような位置的情報は、４２０に示されるように、物体が、重要であると指定された場所に存在するか否か、及び／又は、４２２に示されるように、物体が、別の追跡対象物体の十分すぐそばに存在するか否かということを含むことができるが、それらに限定はされない。

[0041] 更に、重要度スコアはまた、４２４に示されるように、ユーザー相互作用が生じた時間に少なくとも部分的に基づいて割り当てられることもできる。その時間は、指定された重要時間４２６、物体とのユーザー相互作用とユーザーコンテキストの変化又は他の注目すべき出来事との間の時間的な近さ、及び／又は、任意の他の適切な時間的要因を含むことができる。位置及び／又は時間は、限定ではないが、ユーザーによること、開発者及び／又は製造者によること、適応的学習を通じること等を含む、任意の適切な方法で重要と指定されることができる、ということが理解されるだろう。重要度スコアは、任意の他の適切な方法で割り当てられることができる、ということも理解されるだろう。例えば、いくつかの実施態様では、ユーザーが、物体に重要度スコアを割り当てることができる。そのような実施態様では、ユーザー割り当てスコアは、恒久的に割り当てられることができ、又は、物体とのユーザー相互作用に基づいて後で変更される初期値であってもよい。同様に、他の実施態様では、アプリケーションが、位置及び／又は時間以外の任意の適切な要因に基づいて、重要度スコアを選択することができる。

[0042] もし不活発移動可能物体が追跡対象物体であると判定されると、その場合、方法４００は、４３０において、物体の状態に関する情報を記憶するステップを含む。記憶された状態情報は、限定ではないが、位置情報、及び／又は、物体の変化し得る物理的特性の値に関する情報を含むことができる。更に、状態情報は、４３２に示されるように、ローカルに記憶されることができ、及び／又は、４３４に示されるように、リモート記憶のためにリモートサービスへ送られることができる。

[0043] 方法４００は次に、４３６において、追跡対象物体の状態の通知の出力を提供するためのトリガーを検出するステップを含む。任意の適切なトリガーが用いられることができる。例えば、４３８に示されるように、トリガーは、失くした物体を探し当てる要求などの、物体の状態に関する情報を要求するユーザー入力を含むことができる。更に、４４０に示されるように、トリガーは、閾値条件を満たした物体の変化し得る物理的特性の検出値を含むことができる。更に別の例として、４４２に示されるように、トリガーは、検出された時間、場所、及び／又は、追跡対象物体にコンテキストが関連する他の物体を含むことができる。例えば、ユーザーが食料品店の乳製品売り場を歩いていることを検出することは、もし牛乳が無くなっていること／牛乳の液面水位が低くなっていることがそのユーザーの冷蔵庫において以前に検出されているなら、牛乳を買うリマインダーの通知の出力をトリガーすることができる。同様に、ユーザーが自宅以外の場所にいる場合、トリガーの検出は、ユーザーが個人的な持ち物から予め決められた距離を移動したことを検出することを含むことができる。より具体的な例として、ユーザーがレストランで財布を置き、その後テーブルから歩き去り、又はその建物の外へ歩いていった場合、トリガーが検出されることができる。上述されたトリガーは、例示の目的のために提示されており、如何なる方法であっても限定的であることを意図していない、ということが理解されるだろう。

[0044] トリガーを検出すると、方法４００は、４４４において、物体の状態の通知の出力を提供するステップを含む。音声出力４４６及び／又は映像出力４４８を含む任意の適切な出力が提供されることができる。適切な映像出力の例は、限定ではないが、図１に関して上述されたような、シースルー・ディスプレイデバイスを用いた拡張現実イメージを含む。更に、ローカル記憶装置又はリモートサービスから、状態に関する情報が取得されることができる。情報がリモートサービスから取得される場合、その情報は、ユーザーのアカウント、上述されたような別の信頼されたユーザーのアカウント、又は任意の他の適切な情報源から取得されることができる。

[0045] 通知は、任意の適切な情報を含むことができる。例えば、４５０に示されるように、通知は、ユーザーに物体の最も新しく記憶された位置を知らせることができる。より具体的な例として、通知は、物体の物理的な位置を背景シーンに強調表示することができ、及び／又は、ユーザーを最新の場所に案内する指示（矢印、直線、文章等）を含むことができる。通知はまた、ユーザーが物体を公共の場所に置き忘れたというアラートを含むこともできる。更に、通知は、物体の変化し得る物理的特性の検出値に関する情報を含むことができる。例えば、牛乳パックが空である閾値状態を満たした場合、通知は、もっとたくさんの牛乳を買うリマインダー、及び／又はもっとたくさんの牛乳のオンライン購入を行うオプションを含むことができる。

[0046] 更に、いくつかの実施態様では、通知は、捜索中の物体のイメージを含むことができる。これは、当該物体と見た目がよく似ているが異なるものが存在する場合に、その物体を探し当てるのに役立つことができる。例えば、もしユーザーが１組のキーを探していて、ディスプレイデバイスが似たように見える４組のキーについての情報を持っているなら、ディスプレイデバイスは、その４組のキーのイメージを示して、ユーザーが捜索中の組を選択することを可能にすることができる。更に、物体の現在の配置のイメージが表示されることができる。例えば、もし捜索中の１組のキーが現在ナイトテーブルの上にあるなら、ディスプレイデバイスは、ユーザーにキーの実際の場所を示すために、ナイトテーブルの上にキーのイメージを表示することができる。

[0047] このようにして、物体の状態がユーザーに代わって自動的に追跡され、それによって、失くした物体を探し当てること、及び／又は、任意の他の適切な物体の状態を追跡することを容易化することができる。いくつかの実施態様では、上述された方法及び処理は、１又は複数のコンピューターを含むコンピューティングシステムに結び付けられることができる。特に、本明細書で説明された方法及び処理は、コンピューターアプリケーション、コンピューターサービス、コンピューターＡＰＩ、コンピューターライブラリー、及び／又は他のコンピュータープログラム製品として実現されることができる。

[0048] 図５は、上述された方法及び処理の１又は複数を実施することができる非限定的なコンピューティングシステム５００を模式的に示す。コンピューティングシステム５００は、簡略化された形で示されている。本開示の範囲から逸脱することなく、ほとんど任意のコンピューターアーキテクチャーが用いられることができる、ということが理解されなければならない。様々な実施態様において、コンピューティングシステム５００は、メインフレームコンピューター、サーバーコンピューター、デスクトップコンピューター、ラップトップコンピューター、タブレットコンピューター、ホームエンターテインメントコンピューター、ネットワークコンピューティングデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス、シースルー・ディスプレイデバイス、ニアアイ（near-eye）・ディスプレイデバイス、ゲームデバイス等の形を取ることができ、それには、限定ではないが、図１−４を参照して本明細書で説明されたシースルー・ディスプレイ及び他のコンピューティングデバイスが含まれる。

[0049] コンピューティングシステム５００は、論理サブシステム５０２とデータ保持サブシステム５０４を含む。コンピューティングシステム５００は、オプションとして、表示サブシステム５０８、通信サブシステム５０６、及び／又は図５に示されていない他のコンポーネントを含んでよい。コンピューティングシステム５００はまた、オプションとして、例えばキーボード、マウス、ゲームコントローラー、カメラ、マイク、及び／又はタッチスクリーンなどのユーザー入力デバイスを含んでもよい。

[0050] 論理サブシステム５０２は、１又は複数の命令を実行するように構成された１又は複数の物理的なデバイスを含むことができる。例えば、論理サブシステムは、１又は複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリー、オブジェクト、コンポーネント、データ構造、又は他の論理的構造物の一部である、１又は複数の命令を実行するように構成されることができる。そのような命令は、タスクを実施し、データタイプを実現し、１又は複数のデバイスの状態を変換し、又は別の方法で所望の結果に到達するように実装されることができる。

[0051] 論理サブシステムは、ソフトウェア命令を実行するように構成された１又は複数のプロセッサーを含むことができる。加えて、又はその代わりに、論理サブシステムは、ハードウェア命令又はファームウェア命令を実行するように構成された１又は複数のハードウェア論理マシン又はファームウェア論理マシンを含むことができる。論理サブシステムのプロセッサーは、シングルコア又はマルチコアであってよく、その上で実行されるプログラムは、並列処理又は分散処理向けに構成されることができる。論理サブシステムは、オプションとして、リモートに配置され及び／又は連携処理向けに構成されることのできる２以上のデバイスにわたって分配された、個別のコンポーネントを含んでよい。論理サブシステムの１又は複数の特徴は、クラウドコンピューティングの形態に構成されたリモートアクセス可能なネットワーク型コンピューティングデバイスによって、仮想化され実行されることができる。

[0052] データ保持サブシステム５０４は、本明細書で説明された方法及び処理を実現するように論理サブシステムによって実行可能なデータ及び／又は命令を保持するように構成された、１又は複数の物理的且つ非一時的なデバイスを含むことができる。そのような方法及び処理が実現される時、データ保持サブシステム５０４の状態は（例えば異なるデータを保持するように）変換されることができる。

[0053] データ保持サブシステム５０４は、リムーバブルメディア及び／又は組み込みデバイスを含むことができる。データ保持サブシステム５０４は、特に、光メモリデバイス（例えば、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、Ｂｌｕ−Ｒａｙ Ｄｉｓｃ等）、半導体メモリデバイス（例えば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等）、及び／又は磁気メモリデバイス（例えば、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、テープドライブ、ＭＲＡＭ等）を含むことができる。データ保持サブシステム５０４は、以下の特性、即ち、揮発性、不揮発性、動的、静的、読み取り／書き込み、読み取り専用、ランダムアクセス、シーケンシャルアクセス、位置アドレス指定可能、ファイルアドレス指定可能、及び内容アドレス指定可能、のうちの１又は複数を有したデバイスを含むことができる。いくつかの実施態様では、論理サブシステム５０２とデータ保持サブシステム５０４は、特定用途向け集積回路又はシステムオンチップなどの、１又は複数の共通のデバイスに統合されることができる。

[0054] 図５はまた、本明細書で説明された方法及び処理を実現するように実行可能なデータ及び／又は命令を記憶及び／又は転送するのに用いられることのできる、リムーバブルなコンピューター可読記憶媒体５１０の形態によるデータ保持サブシステムの一側面をも示す。リムーバブルなコンピューター可読記憶媒体５１０は、特に、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、Ｂｌｕ−Ｒａｙ Ｄｉｓｃ、ＥＥＰＲＯＭ、及び／又はフロッピーディスクの形を取ることができる。

[0055] データ保持サブシステム５０４は、１又は複数の物理的且つ非一時的なデバイスを含む、ということが認識されなければならない。対照的に、いくつかの実施態様では、本明細書で説明された命令の態様は、少なくともある有限の期間の間物理的なデバイスにより保持されない純粋な信号（例えば、電磁気的信号、光学的信号等）によって、一時的な方法で伝送されることができる。その上、本開示に関係するデータ及び／又は他の形態の情報は、純粋な信号によって伝送されることができる。

[0056] 「モジュール」及び「プログラム」という用語は、１又は複数の特定の機能を実施するように実現されたコンピューティングシステム５００の一側面を説明するために用いられることができる。いくつかの場合には、そのようなモジュール及び／又はプログラムは、データ保持サブシステム５０４によって保持された命令を実行する論理サブシステム５０２を通じてインスタンス化されることができる。同一のアプリケーション、サービス、コードブロック、オブジェクト、ライブラリー、ルーチン、ＡＰＩ、関数等から異なるモジュール及び／又はプログラムがインスタンス化されることができる、ということが理解されなければならない。同様に、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数等によって同一のモジュール及び／又はプログラムがインスタンス化されることができる。「モジュール」及び「プログラム」という用語は、実行可能ファイル、データファイル、ライブラリー、ドライバー、スクリプト、データベースレコード等の１つ１つ又は集まりを包含することを意図している。

[0057] 本明細書で用いられるような「サービス」は、複数のユーザーセッションにわたって実行可能で、１又は複数のシステムコンポーネント、プログラム、及び／又は他のサービスに利用可能なアプリケーションプログラムであってよい、ということが認識されなければならない。いくつかの具体例では、サービスは、クライアントからの要求に応答してサーバー上で動作することができる。

[0058] 表示サブシステム５０８は、データ保持サブシステム５０４によって保持されたデータの視覚的表現を提示するのに用いられることができる。本明細書で説明された方法及び処理がデータ保持サブシステムによって保持されたデータを変化させ、それによりデータ保持サブシステムの状態を変換する際、表示サブシステム５０８の状態は同様に、元となるデータの変化を視覚的に表現するように変換されることができる。表示サブシステム５０８は、限定ではないが、シースルー・ディスプレイ技術を含むほとんど任意の種類の技術を利用した１又は複数のディスプレイデバイスを含むことができる。そのようなディスプレイデバイスは、論理サブシステム５０２及び／又はデータ保持サブシステム５０４と共有筐体内で結合されることができ、又は、そのようなディスプレイデバイスは、周辺装置としてのディスプレイデバイスであってもよい。

[0059] 含まれる場合、通信サブシステム５０６は、コンピューティングシステム５００を１又は複数の他のコンピューティングデバイスと通信可能に結合するように構成されることができる。通信サブシステム５０６は、１又は複数の異なる通信プロトコルと互換性のある有線及び／又は無線の通信デバイスを含むことができる。非限定的な例として、通信サブシステムは、無線電話ネットワーク、無線ローカルエリアネットワーク、有線ローカルエリアネットワーク、無線ワイドエリアネットワーク、有線ワイドエリアネットワーク等を介した通信のために構成されることができる。いくつかの実施態様では、通信サブシステムは、コンピューティングシステム５００がインターネットなどのネットワークを介してメッセージを他のデバイスへ送信し、及び／又は他のデバイスから受信することを可能にすることができる。

[0060] 本明細書で説明された構成及び／又は手法は本質的に例示的なものであり、数多くのバリエーションが可能であるためこれらの具体的な実施態様又は例は限定的な意味に解されてはならない、ということが理解されなければならない。本明細書で説明された具体的なルーチン又は方法は、多くの処理戦略のうちの１又は複数を代表することができる。それ故に、例示された様々な動作は、例示された順序で、他の順序で、並列で、又はあるケースでは省略されて、実施されることができる。同様に、上述された処理の順序は変更されることができる。

[0061] 本開示の主題は、本明細書で開示された様々な処理、システム及び構成、並びに、他の特徴、機能、動作、及び／又は特性のみならず、それらのいずれか及び全ての均等物の、あらゆる新規且つ非自明なコンビネーション及びサブコンビネーションを含んでいる。

Claims (10)

1. イメージセンサーを備えたモバイルコンピューティングデバイスを動作させる方法であって、
   イメージデータを取得するステップと、
   前記イメージデータの中で不活発移動可能物体を識別するステップと、
   前記不活発移動可能物体が追跡対象物体であるか否かを判定するステップと、
   前記不活発移動可能物体が追跡対象物体である場合に、前記不活発移動可能物体の状態に関する情報を記憶するステップと、
   前記不活発移動可能物体の状態の通知を提供するためのトリガーを検出するステップと、
   前記不活発移動可能物体の状態の通知の出力を提供するステップと、
   を含む方法。
2. 前記不活発移動可能物体の状態に関する情報を記憶する前に前記不活発移動可能物体が追跡対象物体であるか否かを判定するステップを更に含む、請求項１に記載の方法。
3. 前記不活発移動可能物体を追跡対象物体として割り当てるユーザー入力、及び／又はユーザー選択された重要度スコアを前記不活発移動可能物体に割り当てるユーザー入力を受け取るステップを更に含む、請求項２に記載の方法。
4. 前記不活発移動可能物体とのユーザー相互作用に基づいて前記不活発移動可能物体に重要度スコアを割り当てるステップと、閾値重要度スコアを満たす前記重要度スコアに基づいて前記不活発移動可能物体を追跡対象物体として指定するステップとを更に含む、請求項２に記載の方法。
5. 前記重要度スコアは、前記不活発移動可能物体とのユーザー相互作用の数に少なくとも部分的に基づいて割り当てられる、請求項４に記載の方法。
6. 前記重要度スコアは、前記不活発移動可能物体の位置、及び前記不活発移動可能物体とのユーザー相互作用が生じた時間、のうちの１又は複数に少なくとも部分的に基づいて割り当てられる、請求項４に記載の方法。
7. 前記重要度スコアは、前記不活発移動可能物体の前記位置が重要な場所として指定されていること、前記不活発移動可能物体の他の追跡対象物体に対する近さ、及び前記不活発移動可能物体とのユーザー相互作用とユーザーコンテキストの変化との時間的な近さ、のうちの１又は複数に少なくとも部分的に基づいて割り当てられる、請求項６に記載の方法。
8. 前記不活発移動可能物体の前記状態は、前記不活発移動可能物体の位置を含み、前記通知の出力は、前記物体の位置の通知の出力を含む、請求項１に記載の方法。
9. 前記不活発移動可能物体の前記状態は、前記不活発移動可能物体の変化し得る物理的特性の値を含み、前記トリガーを検出するステップは、前記変化し得る物理的特性の値が閾値条件を満たしたことを検出するステップを含む、請求項１に記載の方法。
10. イメージセンサーを備えたセンサーサブシステムと、
    表示サブシステムと、
    命令を実行するように構成された論理サブシステムと、
    命令を備えたデータ保持サブシステムと、
    を備え、前記命令は、前記データ保持サブシステム上に記憶され、前記論理サブシステムによって、
    前記イメージセンサーからイメージデータを受け取り、
    前記イメージデータを通じて移動可能不活発物体との複数のユーザー相互作用を検出し、
    前記不活発移動可能物体との前記複数のユーザー相互作用に基づいて前記不活発移動可能物体に重要度スコアを割り当て、
    前記重要度スコアが閾値重要度スコアを満たした場合に、前記不活発移動可能物体の状態に関する情報を記憶し、
    前記不活発移動可能物体の状態の通知を提供するためのトリガーを検出し、
    前記不活発移動可能物体の状態の通知の出力を提供する
    ように実行可能である、モバイルコンピューティングデバイス。

Images