JP2019169202A - ユーザに方向付けられた個人情報アシスタント - Google Patents

Abstract

【課題】ユーザに方向付けられた個人情報アシスタントの提供。【解決手段】対象の特徴を識別するための方法であって、前記対象が方向性のジェスチャのターゲットであることを判断するステップと、前記対象が前記方向性のジェスチャーの前記ターゲットである間に生じるトリガ事象を検出するステップと、前記トリガ事象に応答して、１つ以上のセンサ経由で前記対象と関連付けられたセンサデータを取得するステップと、前記対象の少なくとも１つの特徴を識別するために前記センサデータを分析するステップを含む、方法。【選択図】図８

Description

（背景技術）
関連出願の相互参照
この出願は、２０１４年１月３日に出願された、通し番号第６１／９２３，５５３号を有し、かつ、弁理士整理番号ＨＲＭＮ／００７７ＵＳＬを有する米国仮特許出願の利益を主張するものである。この関連出願の主題は、ここで参照によって本明細書に組み込まれる。

本発明の実施形態は、一般に、情報呼び出しに関するものであり、より詳細には、ユーザに方向付けられた個人情報アシスタントに関するものである。
関連技術の説明

パソコン、スマートホン、スマートウォッチ等のような電子デバイスの使用は、日常生活のあらゆる面においてますます人気になってきている。そのようなデバイスは、様々な話題についての情報を含むデータベースへの便利なアクセスをユーザに提供する。それらのデータベース内の興味の対象についての特定の種類の内容の位置を突き止めるために、ユーザは、興味の対象と関連付けられたテキストクエリを検索エンジンに送信し得る。テキストクエリについての検索結果は、次いで、ユーザに提示され、ユーザが、最も関連のある情報を含むウェブサイトの位置を突き止めるために異なるウェブサイトを訪問することを可能にする。

興味の対象についての情報の位置を突き止めることを試みるユーザが直面する１つの一般的な障害は、検索エンジンに対象の正確なテキスト記述を提供することである。例えば、多くの状況では、ユーザは、ユーザが遭遇する特定の対象についての特定の情報を学びたいが、ユーザは、（例えば、対象名またはいくつかの他の種類の対象識別子を使用して）検索エンジンに対して対象を正確に識別することができない可能性がある。その結果として、そのような事例では、ユーザは、最初に、検索エンジンに対して対象の１つ以上の物理的属性を説明することによって対象の正体を判断する必要がある。次いで、対象が検索エンジンによって識別される限りでは、ユーザは、対象についての特定の種類の情報の位置を突き止めるために追加検索を行う必要性があり得る。現在の検索技法には普通である、この種の複数ステップ処理は、面倒であり、不満足な結果を生むことが多い。

前述のものが例示するように、ユーザが、ユーザの環境における対象についての情報をより効果的に取得することを可能にする１つ以上の技法は、有用であろう。

本発明の一実施形態は、対象の特徴を識別するための方法を明記明記する。その技法は、対象が方向性のジェスチャーのターゲットであることを判断することと、対象が方向性のジェスチャーのターゲットである間に生じるトリガ事象を検出することと、を含む。その技法は、トリガ事象に応答して、１つ以上のセンサ経由で対象と関連付けられたセンサデータを取得することと、対象の少なくとも１つの特徴を識別するためにセンサデータを分析することと、を更に含む。

更なる実施形態は、特に、上記で明記された方法を実施するように構成されたシステムおよび非一時的なコンピュータで読み取り可能な媒体を提供する。

様々な実施形態の少なくとも１つの利点は、ユーザが、ユーザの環境に位置付けられた対象についての特定の情報を取得することができることである。加えて、ユーザは、ユーザが正確に識別することができない対象、例えば、正式名を有さない対象、複数の名によって呼ばれ得る対象、および／または正確に説明することが難しい対象などについての情報を取得することができる。更に、開示された技法は、ユーザが、便利な声によるプロンプト、ジェスチャー、および／または他の種類のトリガを使用して対象についての情報を取得することを可能にする。
例えば、本願発明は以下の項目を提供する。
（項目１）
対象の特徴を識別するための方法であって、
上記対象が方向性のジェスチャのターゲットであることを判断するステップと、
上記対象が上記方向性のジェスチャーの上記ターゲットである間に生じるトリガ事象を検出するステップと、
上記トリガ事象に応答して、１つ以上のセンサ経由で上記対象と関連付けられたセンサデータを取得するステップと、
上記対象の少なくとも１つの特徴を識別するために上記センサデータを分析するステップを含む、方法。
（項目２）
上記対象が上記方向性のジェスチャーの上記ターゲットであることを判断することは、上記ユーザの手が上記対象を指していることを判断することを含む、上記項目に記載の方法。
（項目３）
上記対象が上記方向性のジェスチャーの上記ターゲットであることを判断することは、上記ユーザが上記対象を見ていることを判断することを含む、上記項目のいずれか一項に記載の方法。
（項目４）
上記対象が上記方向性のジェスチャーの上記ターゲットであることを判断することは、上記ユーザの視線方向を追跡することを更に含む、上記項目のいずれか一項に記載の方法。
（項目５）
上記対象が上記方向性のジェスチャーの上記ターゲットであることを判断することは、方向性の声によるプロンプトを検出することを含む、上記項目のいずれか一項に記載の方法。
（項目６）
上記トリガ事象を検出することは、体のジェスチャーを検出することを含む、上記項目のいずれか一項に記載の方法。
（項目７）
上記トリガ事象を検出することは、声によるプロンプトを検出することを含む、上記項目のいずれか一項に記載の方法。
（項目８）
上記トリガ事象を検出することは、上記対象が、閾値期間に上記方向性のジェスチャーによってターゲットとされたことを判断することを含む、上記項目のいずれか一項に記載の方法。
（項目９）
上記センサデータは、画像データおよび音響データの少なくとも１つを含む、上記項目のいずれか一項に記載の方法。
（項目１０）
対象の特徴を識別するためのシステムであって、
メモリと、
上記対象と関連付けられたセンサデータを取得するように構成された複数のセンサと、
上記メモリおよび上記複数のセンサに結合されたプロセッサであって、
上記対象が方向性のジェスチャーのターゲットであることを判断し、
上記対象が上記方向性のジェスチャーの上記ターゲットである間に生じるトリガ事象を検出し、
上記トリガ事象に応答して、第１の種類のセンサデータおよび第２の種類のセンサデータを上記複数のセンサによって取得させ、
上記対象の少なくとも１つの特徴を識別するために、上記第１の種類のセンサデータおよび上記第２の種類のセンサデータを分析するように構成された、当該プロセッサと、を備える、システム。
（項目１１）
上記複数のセンサは、画像センサおよびマイクロホンを備え、上記第１の種類のセンサデータは画像データを含み、上記第２の種類のセンサデータは音声サンプルを含む、上記項目に記載のシステム。
（項目１２）
上記複数のセンサは分光器を備え、上記第１の種類のセンサデータは分光データを含む、上記項目のいずれか一項に記載のシステム。
（項目１３）
上記複数のセンサは画像センサおよびセンサアレイを備え、上記第１の種類のセンサデータは画像データを含み、上記第２の種類のセンサデータは、上記対象の蒸発した化学組成を含む、上記項目のいずれか一項に記載のシステム。
（項目１４）
上記プロセッサに結合され、１つ以上の画像を取得するように構成されたカメラを更に備え、上記プロセッサは、手のジェスチャー、腕のジェスチャー、および顔のジェスチャーの少なくとも１つを検出するために上記１つ以上の画像を分析することによって上記トリガ事象を検出するように構成される、上記項目のいずれか一項に記載のシステム。
（項目１５）
上記複数のセンサは、１つ以上の画像を取得するように構成されたカメラを備え、上記プロセッサは、上記ユーザの手が上記対象を指していることを判断するために上記１つ以上の画像を分析することによって上記対象が上記方向性のジェスチャーの上記ターゲットであることを判断するように構成される、上記項目のいずれか一項に記載のシステム。
（項目１６）
上記複数のセンサは、１つ以上の画像を取得するように構成されたカメラを備え、上記プロセッサは、上記ユーザの視線方向を判断するために上記１つ以上の画像を分析することによって上記対象が上記方向性のジェスチャーの上記ターゲットであることを判断するように構成される、上記項目のいずれか一項に記載のシステム。
（項目１７）
上記プロセッサは、上記１つ以上の画像に基づいて、上記視線方向が閾値期間に上記対象をターゲットとしたことを判断することによって上記トリガ事象を検出するように構成される、上記項目のいずれか一項に記載のシステム。
（項目１８）
上記プロセッサに結合された加速度計およびジャイロスコープの少なくとも１つを更に備え、上記プロセッサは、上記加速度計および上記ジャイロスコープの上記少なくとも１つから受信された方位データに基づいて、上記対象が上記方向性のジェスチャーの上記ターゲットであることを判断するように構成される、上記項目のいずれか一項に記載のシステム。
（項目１９）
上記プロセッサに結合され、上記ユーザが指している方向を判断するように構成された腕に取り付けられたセンサを更に備え、上記複数のセンサは、１つ以上の画像を取得するように構成されたカメラを備え、上記プロセッサは、上記ユーザが指している上記方向に基づいて上記１つ以上の画像を分析することによって、上記対象が上記方向性のジェスチャーの上記ターゲットであることを判断するように構成される、上記項目のいずれか一項に記載のシステム。
（項目２０）
プロセッサによって実効されるとき、上記プロセッサに対象の特徴を識別させる命令を含む、非一時的なコンピュータで読み取り可能な記憶媒体であって、
上記対象が方向性のジェスチャーのターゲットであることを判断するステップと、
上記対象が上記方向性のジェスチャーの上記ターゲットである間に生じる体のジェスチャーおよび声によるコマンドの少なくとも１つを検出するステップと、
それに応じて、１つ以上のセンサ経由で上記対象と関連付けられたセンサデータを取得するステップと、
上記対象の少なくとも１つの特徴を識別するために上記センサデータを分析するステップと、を行うことによって、上記プロセッサに上記対象の特徴を識別させる上記命令を含む、非一時的なコンピュータで読み取り可能な記憶媒体。
（摘要）
本発明の一実施形態は、対象の特徴を識別するための技法を明記する。その技法は、対象が方向性のジェスチャーのターゲットであることを判断することと、対象が方向性のジェスチャーのターゲットである間に生じるトリガ事象を検出することと、を含む。その技法は、トリガ事象に応答して、１つ以上のセンサ経由で対象と関連付けられたセンサデータを取得することと、対象の少なくとも１つの特徴を識別するためにセンサデータを分析することと、を更に含む。

本発明の上記特徴が詳細に理解され得るように、上記で簡潔に要約された、発明のより詳細な説明は、実施形態への参照によって得られ得、それらのいくつかは、添付の図面に例示される。しかしながら、添付の図面は、この発明の典型的な実施形態だけを例示し、従って、それの範囲を限定するものと考えられるものではなく、なぜなら、発明は、他の同等に有効な実施形態を認め得るからであることに留意する。

様々な実施形態の１つまたは態様を実施するように構成された情報アシスタントを例示する。 ＡおよびＢは、様々な実施形態に従って、図１の情報アシスタントを操作するための技法を例示する。 様々な実施形態に従って、図１の情報アシスタントの異なる構成要素がユーザに取り付けられ得る位置を例示する。 ＡおよびＢは、様々な実施形態に従って、ユーザの腕に取り付けられた入出力デバイスに基づいて方向性のジェスチャーおよび／またはトリガ事象を検出するための技法を例示する。 ＡおよびＢは、様々な実施形態に従って、自動車環境において実施される図１の情報アシスタントを用いて方向性のジェスチャーおよび／またはトリガ事象を検出するための技法を例示する。 Ａ〜Ｄは、様々な実施形態に従って、自動車環境において実施される図１の情報アシスタントのユーザによってターゲットとされている興味の対象を判断するための技法を例示する。 様々な実施形態に従って、図１の情報アシスタントに結合された全地球測位システム（ＧＰＳ）デバイスに基づいてユーザによってターゲットとされている興味の対象を判断するための技法を例示する。 様々な実施形態に従って、様々な実施形態に従って、情報アシスタント経由で方向性のジェスチャーによってターゲットとされている対象の特徴を識別するための方法ステップのフロー図である。 様々な実施形態に従って、図１の情報アシスタントと併せて実施され得るコンピューティングデバイスのブロック図である。

以下の説明では、多数の具体的な詳細が、実施形態のより十分な理解を提供するために明記される。しかしながら、実施形態がこれらの具体的な詳細の１つ以上を用いずに実行され得ることは、当業者に明らかであろう。

図１は、様々な実施形態の１つまたは態様を実施するように構成された情報アシスタント１００を例示する。情報アシスタント１００は、限定すること無く、デバイス本体１０４、処理装置１０２、メモリ１１０、スピーカ１１２、マイクロホン１１４、カメラ１２０、および１つ以上の入力／出力（入出力）デバイス（例えば、入出力デバイス１２２および入出力デバイス１２４）を含み得る。デバイス本体１０４は、第１の側１０５および第２の側１０６を含み得る。

マイクロホン１１４は、周囲環境から音を取得し、音と関連付けられた信号を処理装置１０２に伝送するように構成される。例えば、限定すること無く、マイクロホン１１４は、ユーザによって話された声によるプロンプトを取得し得る。その結果として、いくつかの実施形態では、マイクロホン１１４は、デバイス本体１０４の第１の側１０５の部分に位置付けられ、第１の側１０５は、情報アシスタント１００の動作の間にユーザに向く。同じまたは他の実施形態では、マイクロホン１１４は、デバイス本体１０４の異なる部分に位置付けられ得、および／または１つ以上の追加のマイクロホン１１４は、デバイス本体１０４の部分に（例えば、デバイス本体１０４の第２の側１０６の部分に）含まれ得る。例えば、限定すること無く、マイクロホン１１４は、興味の対象から音声サンプルを取得するために第２の側１０６の部分に位置付けられ得る。

加えて、１つ以上のマイクロホン１１４は、デバイス本体１０４から物理的に分離され得、有線接続または無線接続経由で処理装置１０２に結合され得る。例えば、限定すること無く、周囲環境から音をより効果的に取得するために、１つ以上のマイクロホン１１４は、ユーザの体（例えば、頭、腕、手等）上におよび／またはユーザが操作している１つ以上の他のデバイス（例えば、電子デバイス、車両等）上に置かれ得る。そのようなマイクロホン１１４は、次いで、有線接続または無線接続経由で処理装置１０２に結合され得る。

スピーカ１１２は、デバイス本体１０４の第１の側１０５の部分に位置付けられ得る。スピーカ１１２は、処理装置１０２によって生じられた信号および／またはスピーカ１１２に伝送された他の信号に基づいて音を生むように構成される。例えば、限定すること無く、スピーカ１１２は、情報アシスタント１００によって識別された１つ以上の対象を説明するために聴覚情報をユーザに出力し得る。同じまたは他の実施形態では、１つ以上のスピーカ１１２は、デバイス本体１０４の異なる部分に位置付けられる。更に他の実施形態では、１つ以上のスピーカ１１２は、デバイス本体１０４から物理的に分離され得、有線接続または無線接続経由で処理装置１０２に結合され得る。例えば、限定すること無く、１つ以上のスピーカ１１２は、ユーザによって身に着けられたヘッドセットに、ユーザによって操作されている車両または電子デバイスに、および同様のところに、位置付けられ得る。

カメラ１２０は、ユーザの周囲の画像、例えば、興味の対象の１つ以上の画像などを捕らえるように構成される。その結果として、カメラ１２０は、カメラ１２０がユーザの視点から画像を捕らえることを可能にするデバイス本体１０４の部分に位置付けられ得る。カメラ１２０は、デバイス本体１０４の第２の側１０６の部分に位置付けられ得る。いくつかの実施形態では、デバイス本体１０４の第２の側１０６は、情報アシスタント１００の操作の間に、１つ以上の興味の対象の方へ、ユーザから離れて向いている。いくつかの実施形態では、カメラ２１０は、ユーザの体（例えば、頭、腕、手等）上におよび／またはユーザが操作している１つ以上の他のデバイス（例えば、電子デバイス、車両等）上に、例えばユーザが走行させている車両上に、置かれ得る。

加えて、様々な実施形態では、１つ以上のカメラ１２０は、ユーザの画像を捕らえるように構成される。例えば、限定すること無く、カメラ１２０は、ユーザ（例えば、ユーザの顔、目、体、手足等）の画像を捕らえ得、画像を処理装置１０２に伝送し得る。処理装置１０２は、次いで、ユーザの視線方向、ユーザが指している方向、特定のジェスチャー（例えば、手のジェスチャー、腕のジェスチャー、顔のジェスチャー等）がユーザによって行われているかどうか、ユーザの腕および／または脚の位置、ならびに同様のことを判断するために画像を分析する。画像の分析に基づいて、処理装置１０２は、次いで、ユーザによってターゲットとされている興味の対象を判断し得る。更に、いくつかの実施形態では、カメラ１２０は、ジェスチャーを識別し、ならびに／あるいはユーザの腕および／または脚の位置を判断する。

入出力デバイス（例えば、入出力デバイス１２２や入出力デバイス１２４）は、情報アシスタント１００が興味の対象を識別することおよび／または興味の対象の１つ以上の特徴を判断することを可能にする１つ以上の種類のセンサを含み得る。例えば、限定すること無く、入出力デバイスは、処理装置１０２による分析のために画像データ、熱データ、深さデータおよび／または音声サンプルを含む異なる種類のセンサデータを取得する１つ以上の画像センサ（例えば、可視光センサ、赤外センサ等）、深さセンサ、ならびに／あるいは１つ以上の聴覚センサを含み得る。同じまたは他の実施形態では、入出力デバイスは、１つ以上の高周波（ＲＦ）センサ、分光器、センサアレイ（例えば、分子センサ、化学センサ等）、断層撮影センサ、および他の種類のセンサデータを取得する同様のものを含み得る。例えば、限定すること無く、ＲＦセンサ、分光器、センサアレイ、および／または断層撮影センサは、第１の種類のセンサデータ（例えば、画像データ、音声データ等）ならびに第２の種類のセンサデータ（例えば、においプロファイルまたは蒸発した化学組成、分光データ、電磁エネルギー、断層撮影データ等）を検出することによって対象の組成を判断するために使用され得る。対象の組成は、次いで、１つ以上の（複数の）種類のセンサデータに基づいて対象を識別するために遠隔データベースまたはローカルデータベース内に記憶された参照組成と比較され得る。

いくつかの実施形態では、入出力デバイスは、情報アシスタント１００の動き、位置、および／または方位を検出するように構成された１つ以上の運動センサ、加速度計、コンパス、全地球測位システム（ＧＰＳ）受信器、ジャイロスコープ、生理学的センサ、脳波記録（ＥＥＧ）、筋電図検査（ＥＭＧ）、心電図記録（ＥＣＧ）等を含み得る。同じまたは他の実施形態では、これらの種類の入出力デバイスは、図２Ａと合わせて更に詳細に以下に説明されるように、ユーザのジェスチャーを検出するために、および／またはジェスチャーもしくは興味の対象の検出をトリガするために使用され得る。加えて、いくつかの実施形態では、入出力デバイスは、どの対象が、もしあれば、ユーザによってターゲットとされているかを判断するために使用され得る。例えば、限定すること無く、ＧＰＳ受信器は、ユーザの位置を判断するために使用され得、コンパスおよび／またはジャイロスコープは、情報アシスタント１００が指している方向（例えば、ユーザが情報アシスタント１００で指している方向）を判断するために使用され得る。ＧＰＳ位置および方向は、次いで、図７と併せて更に詳細に説明されるように、ユーザによってターゲットとされている興味の対象を判断するために使用され得る。

いくつかの実施形態では、入出力デバイスは、１つ以上の通信デバイス、例えばＲＦ通信デバイス、（例えば、８０２．１１ｘデバイス、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、セル無線等）、近接場通信（ＮＦＣ）タグ、ＮＦＣリーダ、赤外通信デバイス、および同様のものなどを含む。（複数の）通信デバイスは、マイクロホン１１４、スピーカ１１２、カメラ１２０、および／または他の入出力デバイスに情報を伝送するように、ならびに／あるいはマイクロホン１１４、スピーカ１１２、カメラ１２０、および／または他の入出力デバイスから情報を受信するように構成され得る。加えて、（複数の）通信デバイスは、（例えば、ローカルエリア接続および／またはインターネット経由で）遠隔データベースから情報を取り出すように、ならびに／あるいは遠隔データベース内に情報を記憶するように構成され得る。

処理装置１０２は、興味の対象の正体および／または特徴を判断するために、単独でまたは組み合わせて、マイクロホン１１４、カメラ１２０、ならびに１つ以上の入力／出力（入出力）デバイスから信号を受信し、信号を処理するように構成される。いくつかの実施形態では、処理装置１０２は、興味の対象の正体および／または興味の対象の１つ以上の特徴をユーザに知らせるために、スピーカ１１２ならびに／あるいはディスプレイに信号を伝送するように更に構成される。同じまたは他の実施形態では、処理装置１０２は、興味の対象の正体および／または興味の対象の１つ以上の特徴をユーザに知らせるために、１つ以上の入出力デバイスに信号を伝送するように更に構成される。例えば、限定すること無く、処理装置１０２は、ユーザによって操作されているＢｌｕｅｔｏｏｔｈ（登録商標）デバイスに聴覚、視覚、または触覚情報を提供するためにＢｌｕｅｔｏｏｔｈ（登録商標）モジュールに信号を伝送し得る。

メモリ１１０は、マイクロホン１１４、カメラ１２０、および１つ以上の入力／出力（入出力）デバイスから受信されたデータについて分析を行うために処理装置１０２によって実行される１つ以上のアプリケーションを記憶し得る。加えて、いくつかの実施形態では、メモリ１１０は、マイクロホン１１４、カメラ１２０、および１つ以上の入力／出力（入出力）デバイスから受信されたデータが、興味の対象の正体および／または特徴を判断するために比較され得る参照情報（例えば、画像データ、スペクトルデータ、ルックアップテーブル、音声データ、地理的データ、言語モジュール等）を含むデータベースを記憶する。

図２Ａおよび２Ｂは、様々な実施形態に従って、図１の情報アシスタント１００を操作するための技法を例示する。図示されるように、いくつかの実施形態では、情報アシスタント１００は、ユーザが興味の対象２１０の方に情報アシスタント１００を方向付けることを可能にする様式でユーザに取り付けられ得る。例えば、限定すること無く、情報アシスタント１００は、ユーザの腕および／または手に取り付けられ得、ユーザが、興味の対象２１０を指すことによって情報アシスタント１００による識別および／または特徴付けのために興味の対象２１０をターゲットとすることを可能にする。加えて、いくつかの実施形態では、情報アシスタント１００（および／または情報アシスタント１００の１つ以上の構成要素）は、ユーザの他の部分、例えば、ユーザの頭、肩、胴等に取り付けられ得る。

様々な実施形態では、ユーザは、情報アシスタント１００と相互作用するために複合モーダルな行動を行い得る。いくつかの実施形態では、複合モーダルな行動は、方向性のジェスチャーおよびトリガ事象を含む。例えば、限定すること無く、図２Ａに示されるように、ユーザは、興味の対象２１０を指すことか見ることによっておよび／または情報アシスタント１００で興味の対象２１０を指すことによって方向性のジェスチャーを行い得る。ユーザは、次いで、マイクロホン１１４経由で情報アシスタント１００に声によるプロンプトを話すことによって、例えば「それは何ですか」または「それは何の種類の亀ですか」などを尋ねることによって、情報アシスタント１００を言葉でトリガし得る。それに応じて、情報アシスタント１００は、どの対象が、（例えば、ユーザの腕または視線の方向に基づいて）ユーザによってターゲットとされているかを判断し、対象２１０を識別するおよび／または特徴付けるためにカメラ１２０ならびに／あるいは１つ以上の入出力デバイスから受信されたデータ（例えば、入出力デバイス１２２および／または入出力デバイス１２４から受信された画像データ、音データ、センサデータ等）を分析する。加えて、ユーザに提供される情報の種類は、声によるプロンプト次第であり得る。例えば、限定すること無く、情報アシスタント１００は、ユーザによって要求された特定の種類（例えば、亀の種）の情報を判断するために声によるプロンプトを分析し得る。情報アシスタント１００は、次いで、スピーカ１１２、入出力デバイス、ディスプレイ等を経由して興味の対象２１０についての情報をユーザに提供し得る。

同じまたは他の実施形態では、方向性のジェスチャーは、情報アシスタント１００によって分析されることになる興味の対象２１０を示す任意の様態を含み得る。方向性のジェスチャーの例は、限定すること無く、手のジェスチャー、手足のジェスチャー、視線のジェスチャー、および情報アシスタント１００、センサ、ポインティングデバイス等のような対象を用いたジェスチャーを含む。上述のように、情報アシスタント１００は、デバイス本体１０４に含まれるカメラ１２０または入出力デバイスを使用して方向性のジェスチャーを検出し得る。同じまたは他の実施形態では、情報アシスタント１００は、有線もしくは無線接続経由で、デバイス本体１０４から分離され情報アシスタント１００に結合されたカメラ１２０または入出力デバイスを使用して方向性のジェスチャーを検出し得る。例えば、限定すること無く、情報アシスタント１００は、ユーザの頭もしくは体上に取り付けられた視線センサ（例えば、ヘッドマウントディスプレイ、ヘッドホン等）経由で、および／またはユーザに向いているものの、直接取り付けられていない、環境に取り付けられた視線センサ（例えば、Ｔｏｂｉｉ（登録商標）視線検出システム）経由で、視線のジェスチャーを検出し得る。方向性のジェスチャーの検出センサの追加例は、図５Ａ〜７と併せて説明される。

情報アシスタント１００によって認識されるトリガ事象は、限定すること無く、声によるプロンプト、運動をベースとしたトリガ事象、時間をベースとしたトリガ事象、入力デバイストリガ事象、間接的なトリガ事象、および同様のものを含み得る。例えば、限定すること無く、声によるプロンプトは、言語クエリ（例えば、「Ｘは何ですか？」もしくは「それは何の種類のＸですか？」）および／または声によるコマンド（例えば、「Ｘを分析する」もしくは「Ｘを検索する」）を含み得る。いくつかの実施形態では、運動をベースとしたトリガ事象は、限定すること無く、情報アシスタント１００のまたは情報アシスタント１００に結合された入出力デバイスの動き（例えば、回転、叩くこと、振ること等）を含む。時間をベースとしたトリガ事象は、特定の期間に任意の方向性のジェスチャーを行うことを含み得る。例えば、限定すること無く、ユーザは、方向性のジェスチャーによってターゲットとされている興味の対象２１０を識別するおよび／または特徴付けるために、情報アシスタント１００をトリガするように特定の期間に、手のジェスチャー、手足のジェスチャー、視線のジェスチャー等を行い維持し得る。

入力デバイストリガ事象は、限定すること無く、興味の対象２１０を識別するおよび／または特徴付けるために情報アシスタントをトリガするように意図された様式で、情報アシスタント１００上のボタンもしくは情報アシスタント１００と関連付けられたボタンを押すこと、ならびに／あるいは情報アシスタント１００に結合された入出力デバイスと相互作用すること、を含み得る。間接的なトリガ事象は、限定すること無く、ユーザが現在また見ているか指している特定の対象におけるユーザによる興味を示す基準を含み得る。いくつかの実施形態では、そのような基準は、瞳孔拡張または心拍数などのユーザの生理学的状態に対する変化を含む。例えば、限定すること無く、ユーザは、彼のまたは彼女の瞳孔が拡張したときに、ならびに／あるいはユーザの心拍数が増加したときに、情報アシスタント１００をトリガし得る。

更に、いくつかの実施形態では、声によるプロンプトは、方向性のジェスチャーを修正し得るか、興味の対象２１０をターゲットとするために方向性のジェスチャーの代わりに使用され得る。例えば、限定すること無く、ユーザが、方向性の声によるプロンプト「何の種類の車が私の右にありますか？」を話す場合、情報アシスタント１００は、現在の方向性のジェスチャー（例えば、ユーザの体の位置および／または視線の方向）を検出し得、方向性のジェスチャーの右にある対象と関連付けられたデータを分析し得る。

情報アシスタント１００が、複合モーダルな行動（例えば、方向性のジェスチャーおよびトリガ事象）が受信されたことを一旦判断すると、情報アシスタント１００は、興味の対象２１０と関連付けられたデータ（例えば、色データ、深さデータ、分光データ、音声データ等）を興味の対象２１０に関係のない周囲環境における他のデータから切り離す。例えば、限定すること無く、図２Ｂに示されるように、情報アシスタント１００がカメラ１２０を含む実施形態では、方向性のジェスチャーは、（例えば、パンチルト機構で機械的にもしくは後の処理によって）興味の対象２１０の１つ以上の画像を捕らえるために、および／または興味の対象２１０を視覚的に切り離すために１つ以上の画像を分析するために、使用され得る。

興味の対象２１０の切り離しは、画像処理の任意の有効な様式を含み得、限定すること無く、画像をクロッピングすること、画像に含まれる対象についてエッジ検出を行うこと、対象認識アルゴリズムを画像に適用すること、画像をデータベースに含まれる１つ以上の画像と比較すること、および同様のことを含む。例えば、限定すること無く、処理装置１０２（または情報アシスタント１００と通信している遠隔サーバ）は、場面分析を行うためにカメラ１２０によって取得された画像を分析し得る。いくつかの実施形態では、場面分析は、画像のどの部分が興味の対象２１０を含むか、また、どの部分が興味の対象２１０に関係ないかを判断することを含む。興味の対象２１０に関係のある画像の部分は、次いで、興味の対象２１０が亀であることを判断するためにおよび／または亀の種を判断するためにデータベース内に記憶されたデータと比較され得る。興味の対象２１０についての情報は、次いで、情報アシスタント１００によってユーザに通信され得る。同じもしくは他の実施形態では、カメラ１２０および／または入出力デバイスによって取得された１つ以上の画像に含まれる複数の対象が検出され得、方向性のジェスチャーおよび／またはトリガ事象は、ユーザによってターゲットとされている興味の対象２１０を切り離すために使用され得る。興味の対象２１０は、次いで、情報アシスタント１００によって分析される。

いくつかの実施形態では、カメラ１２０および／または入出力デバイスから受信されたデータは、そのデータをデータベース内に記憶されたデータと比較することによって分析される。加えて、処理装置１０２は、データをデータベース内に含まれたデータと比較する前および／または比較した後に１つ以上のアルゴリズムをデータに適用し得る。上記のように、様々な種類のデータ処理技法、例えば、限定すること無く、画像認識技法、聴覚技法、分光技法、地理的技法等が、興味の対象２１０の正体および／または特徴を判断するために使用され得る。更に、本明細書に説明されたデータ分析技法のいずれも、興味の対象２１０を識別するおよび／または特徴付けるために組み合わされ得る。いくつかの実施形態では、情報アシスタント１００によって取得されたデータは、遠隔サーバに伝送され、遠隔で分析される。分析の結果は、次いで、情報アシスタント１００に伝送し戻され、ユーザに提供される。

様々な実施形態では、興味の対象２１０が特定の対象（例えば、ゴールデン・ゲート・ブリッジ）としてまたは一般的対象（例えば、オークの木またはフライドポテト）として一旦識別されると、情報アシスタント１００は、識別された対象と関連付けられた情報を調べることになる。情報アシスタント１００は、ローカルソース（例えば、ローカル知識ベース、Ｗｉｋｉｐｅｄｉａ（登録商標）のローカルコピー等）からおよび／または遠隔サーバ（例えば、Ｗｉｋｉｐｅｄｉａ（登録商標）、Ｇｏｏｇｌｅ（登録商標）、Ｗｏｌｆｒａｍ Ａｌｐｈａ（登録商標）等）からそのような情報を取得し得る。加えて、情報アシスタント１００は、識別される対象の種類に基づいて特定のデータベースにアクセスし得る。例えば、限定すること無く、興味の対象２１０が葉または木である場合には、情報アシスタント１００は、既知の葉、植物、木のデータベース（例えば、ＬｅａｆＳｎａｐ（商標））にアクセスし得る。

いくつかの実施形態では、情報アシスタントは、興味の対象２１０がユーザの環境においてどこに位置しているところを学び得、元のユーザまたは別のユーザのためのより効率的な認識を可能にするために、将来、それらの対象の（複数の）位置を思い出し得る。例えば、限定すること無く、情報アシスタント１００が室内設定のために実施される場合、情報アシスタント１００は、ユーザの家具がどこに位置付けられているところを学び得、初期訓練段階の後、（複数の）記憶された位置に基づいて家具を認識し得る。

情報アシスタント１００が興味の対象２１０を認識しない場合、ユーザは、興味の対象２１０を認識するように情報アシスタント１００を訓練し得る。この情報は、次いで、情報がユーザによっておよび／または情報アシスタント１００の他のユーザによって後でアクセスされることを可能にするためにローカルにあるいは遠隔に（例えば、クラウドストレージ内に）記憶され得る。従って、情報アシスタント１００は、遠隔サーバ経由で情報アシスタント１００との他のユーザの相互作用から学び得、情報アシスタント１００が、コミュニティの「集合情報」を利用することを可能にする。

図３は、様々な実施形態に従って、図１の情報アシスタント１００の異なる構成要素がユーザに取り付けられ得る位置を例示する。図示されるように、情報アシスタント１００の１つ以上の構成要素は、ユーザの手／指３１０、手首３１２、前腕３１４、および／または上腕／肩３１６に取り付けられ得る。例えば、限定すること無く、情報アシスタント１００のデバイス本体１０４は、ユーザが興味の対象２１０の方向に情報アシスタント１００で指すことができるように、（図２Ａに示されるように）ユーザの前腕３１４に取り付けられ得る。しかしながら、同じまたは他の実施形態では、カメラ１２０、マイクロホン１１４、および／または入出力デバイス（例えば、ＲＦセンサ、分光器、センサアレイ、断層撮影センサ等）のいずれも、ユーザの手／指３１０、手首３１２、および／または上腕／肩３１６に結合され得る。いくつかの実施形態では、１つ以上の入出力デバイスは、ユーザの（複数の）指の爪に結合され、任意選択的に、体の電場を電源および／または通信チャネルとして使用する。他の実施形態では、入出力デバイスは、例えば、近接センシングを行うためになど、ユーザの指上に配置された嵌め輪に含まれ得る。

いくつかの実施形態では、カメラ１２０、マイクロホン１１４、および／または入出力デバイスは、ユーザが興味の対象２１０にごく接近してならびに／あるいは興味の対象２１０と接触してデータを収集することを可能にするためにユーザの手／指３１０に結合され得る。例えば、限定すること無く、ユーザは、ユーザが識別したいか特徴付けたい食品項目からデータを収集するためにユーザの指に結合された入出力デバイス（例えば、センサアレイ、分光器、断層撮影センサ）を使用し得る。ユーザは、次いで、情報アシスタント１００にユーザによってターゲットとされている興味の対象２１０を分析することをもたらす（例えば、トリガする）ために「これは何の種類の食品ですか？」または「これはベジタリアン用ですか？」などの声によるプロンプトを使用し得る。方向性のジェスチャーおよびトリガ事象に応答して、情報アシスタント１００は、（複数の）入出力デバイス、（複数の）カメラ等からデータを取得し、データが、食品の正体および／または特徴を判断するためにローカルでならびに／あるいは遠隔で処理されることをもたらす。処理が一旦完了すると、情報アシスタント１００は、次いで、例えば、限定すること無く、食品の種類、食品に含まれる原料、および／または食品がベジタリアン用であるかどうかを示すことによって応答し得る。いくつかの実施形態では、この種の詳細な分析は、同じまたは類似の種類の興味の対象からデータを取得した他のユーザから受信されたデータを参照することによって行われる。例えば、限定すること無く、十分なユーザが、一定の種類の食品からデータを取得するとき、その種類の食品と関連付けられたデータは、共同データベース内に記憶され得、ユーザが、アーカイブした食品項目に含まれるものと同じまたは類似の原料を含む興味の対象２１０をターゲットとしたことを判断するために情報アシスタント１００によって参照され得る。

同じまたは他の実施形態では、上記した情報アシスタント１００の構成要素のいずれも、ユーザの手首３１２および／または上腕／肩３１６に取り付けられ得る。例えば、限定すること無く、カメラ１２０は、ユーザの腕と、ユーザによって（例えば、指で指すことによって）ターゲットとされている興味の対象２１０との動きを追跡するためにユーザの上腕／肩３１６に取り付けられ得る。加えて、入出力デバイスは、ユーザの手首３１２に取り付けられ得、別の入出力デバイスは、ユーザの上腕／肩３１６に取り付けられ得、互いに対する入出力デバイスの位置は、図４Ａや４Ｂと併せて以下に説明されるように、方向性のジェスチャーおよび／またはトリガ事象を検出するために使用され得る。

図４Ａおよび４Ｂは、様々な実施形態に従って、ユーザの腕に取り付けられた入出力デバイスに基づいて方向性のジェスチャーおよび／またはトリガ事象を検出するための技法を例示する。図示されるように、２つ以上の入出力デバイスが、ユーザ（例えば、ユーザの手首３１２およびユーザの上腕／肩３１６に取り付けられ得る。入出力デバイスの相対位置は、次いで、ユーザによって行われた方向性のジェスチャーおよび／またはトリガ事象を検出するために使用され得る。例えば、限定すること無く、ユーザの手首３１２上に位置付けられた入出力デバイス４１０の位置は、ユーザが指している方向４２０を判断するためにユーザの上腕／肩３１６上の入出力デバイス４１５に対して判断され得る。加えて、入出力デバイス４１０、４１５の１つ以上の（複数の）絶対位置（例えば、地理位置）が、ユーザによって行われた方向性のジェスチャーを判断するために使用され得る。様々な実施形態では、入出力デバイスは、ユーザの体の残りに対するユーザの手足の２次元もしくは３次元の相対位置を判断するための技法（例えば、三角測量、三辺測量等）を使用する赤外、ＲＦ、可視光、および／または他の種類のセンサを含み得る。加えて、いくつかの実施形態では、入出力デバイスは、指輪、スマートウォッチ、リストバンド、指の爪、および同様のものの上に取り付けられ得る。更に、入出力デバイスは、手足、手、および／または指の位置を判断するためにユーザの手足の加速度や速度ならびに／あるいはユーザの筋肉の活動を測定する加速度計、ジャイロスコープ、電極、および他の種類のセンサ（例えば、Ｔｈａｌｍｉｃ Ｌａｂｓ（商標）によるＭｙｏ（商標））を使用し得る。ユーザの体に対するユーザの手／指３１０、手首３１２、前腕３１４、および／または上腕／肩３１６の位置が一旦判断されると、情報アシスタントは、２次元または３次元のベクトル（例えば、方向４２０）を生じ得、それは、方向性のジェスチャーとして情報アシスタント１００に伝送され得るか、あるいはそうではなくて、情報アシスタント１００によって処理され得る。

図５Ａおよび５Ｂは、様々な実施形態に従って、自動車環境において実施される図１の情報アシスタント１００を用いて方向性のジェスチャーおよび／またはトリガ事象を検出するための技法を例示する。上記のように、情報アシスタント１００の１つ以上の構成要素は、情報アシスタント１００のデバイス本体１０４から分離され得る。例えば、限定すること無く、図示されるように、カメラ１２０−１（または他の種類の入出力デバイス）は、ユーザによって行われる方向性のジェスチャー、トリガ事象、および／または興味の対象の画像を捕らえるために、ユーザの後ろで、自動車の屋根上にならびに／あるいは自動車室内に、配置され得る。加えて、いくつかの実施形態では、ユーザを向いているカメラ１２０−２（もしくは他の種類の入出力デバイス）は、ユーザによって行われる方向性のジェスチャー（例えば、腕で指していること、視線方向等）および／またはトリガ事象を検出するために情報アシスタント１００に結合される。カメラ１２０−１およびカメラ１２０−２の一方または両方は、画像センサ、深さセンサ、赤外センサ等などの上記したセンサの任意の種類を含み得る。更に、カメラ１２０−１およびカメラ１２０−２の一方または両方は、左右にパンすることならびに上下に傾くことが可能であるパン・チルトカメラであり得る。

興味の対象２１０（例えば、図５Ａおよび５Ｂにおける木）についての情報は、自動車室内に位置付けられたスピーカ１１２経由でユーザに提供され得る。更に、図５Ａには示されないが、１つ以上のマイクロホン１１４が、ユーザによって話された声によるプロンプトを取得するために、および／または興味の対象２１０を分析することを支援するように環境から音声サンプルを取得するために、自動車環境に含まれ得る。

図６Ａ〜６Ｄは、様々な実施形態に従って、自動車環境において実施される図１の情報アシスタント１００のユーザによってターゲットとされている興味の対象２１０を判断するための技法を例示する。図示されるように、情報アシスタント１００は、ユーザの環境に向いており、潜在的な興味の対象２１０の画像を捕らえるカメラ１２０または他の種類の入出力デバイスを含み得る。いくつかの実施形態では、カメラ１２０は、少なくとも９０°の画角６０５、いくつかの実施形態では、少なくとも１２０°の画角６０５または最大限３６０°までの視野を使用して画像を捕らえる広角カメラである。広角画像に含まれる興味の対象２１０は、次いで、ユーザによって行われる方向性のジェスチャーの方向４２０を使用して切り離される。

様々な実施形態では、方向４２０は、画角６０５のサブ角６１０（例えば、図６Ｃに示される木の周りの矩形領域）を判断するために使用される。次いで、１つ以上の広角画像は、（例えば、図６Ｄに示される画像を結果としてもたらす）サブ角６１０内に位置付けられた興味の対象２１０を切り離すように処理され得る。（切り離された興味の対象２１０を含む）（複数の）処理された画像（例えば、図６Ｄ）は、次いで、興味の対象２１０を識別するおよび／または特徴付けるために分析される。いくつかの実施形態では、方向性のジェスチャーの方向４２０は、図１〜５Ａと併せて上記した技法の１つ以上を使用して判断される。加えて、興味の対象２１０の（複数の）処理された画像は、図１〜５Ａと併せて上記したデータ分析技法の１つ以上を使用して分析され得る。

図７は、様々な実施形態に従って、図１の情報アシスタント１００に結合された全地球測位システム（ＧＰＳ）デバイスに基づいてユーザによってターゲットとされている興味の対象２１０を判断するための技法を例示する。上記のように、情報アシスタント１００は、ユーザ７０５の位置を検出するように構成されたＧＰＳ受信器を含み得る。次いで、ユーザ７０５の位置およびユーザに対する興味の対象２１０の方向４２０が一旦判断されると、興味の対象７１０の位置が判断され得る。

いくつかの実施形態では、ユーザ７０５の位置が一旦判断されると、ベクトルは、方向性のジェスチャーの方向４２０にユーザ７０５の位置から延ばされる。次いで、ベクトルは、興味の対象２１０（例えば、家またはランドマーク）の正体を判断するために地理的データ（例えば、Ｇｏｏｇｌｅ（登録商標）ＭａｐまたはＧｏｏｇｌｅ（登録商標）Ｓｔｒｅｅｔ Ｖｉｅｗなどの地図データ）と相互参照され得る。加えて、興味の対象２１０の正体が一旦判断されると、情報アシスタント１００は、興味の対象２１０についての追加情報を取得し得、ユーザに追加情報を提供し得る。同じまたは他の実施形態では、ユーザ７０５の位置が一旦判断されると、情報アシスタント１００は、位置７０５と関連付けられた（例えば、Ｇｏｏｇｌｅ（登録商標）Ｓｔｒｅｅｔ Ｖｉｅｗ経由で）周囲領域のキャッシュされた画像を取得し得、興味の対象２１０を識別するために方向４２０に基づいて画像を分析し得る。例えば、限定すること無く、ユーザ７０５の位置が一旦判断されると、方向４２０は、どの（複数の）画像方位が興味の対象２１０を識別するように分析されるかを判断するために使用され得る。

一般に、図５Ａ〜７に示される情報アシスタント１００の構成要素はデバイス本体１０４から分離しているが、これらの構成要素は、図１〜４Ｂと併せて上記したような実質的に類似の手法で、方向性のジェスチャーやトリガ事象を検出し、データを処理装置１０２に伝送し、および／または興味の対象２１０についての情報をユーザに提供するように構成され得る。それ故、図５Ａ〜７に示される技法の任意の態様は、興味の対象２１０を識別するおよび／または特徴付けるために図１〜４Ｂと併せて上記した技法の任意の態様と組み合わされ得る。

図８は、様々な実施形態に従って、情報アシスタント１００経由で方向性のジェスチャーによってターゲットとされている対象の特徴を識別するための方法ステップのフロー図である。方法ステップは図１〜７のシステムと併せて説明されるが、当業者は、任意の順序で、方法ステップを行うように構成された任意のシステムは、本発明の範囲内に属することを理解するであろう。

図示されるように、方法８００はステップ８１０で始まり、そこで、処理装置１０２は、対象２１０が方向性のジェスチャーによってターゲットとされているかどうかを判断する。興味の対象２１０は、上記した技法のいずれかを使用して方向性のジェスチャーによってターゲットとされ得る。例えば、限定すること無く、いくつかの実施形態では、処理装置１０２は、ユーザによって行われた方向性のジェスチャー（例えば、手／腕で指していること、視線、声によるプロンプト等）が周囲環境における対象と交わるかどうかを判断するために１つ以上の入出力デバイス経由で受信したセンサデータ（例えば、画像データおよび／または深さデータ）を分析する。いくつかの実施形態では、声によるプロンプトは、ユーザの右／左に、ユーザに対してあるコンパス方向（例えば、北、東、南、西）に、ユーザに対してある角度位置（例えば、ユーザが向いている方向に対して７０°）に、ユーザに対してある時計回りの位置に（例えば、ユーザの２時に）などにある対象を識別するように情報アシスタント１００を促すことなどによって、方向性のジェスチャー（例えば、方向性の声によるプロンプト）を含む。同じもしくは他の実施形態では、処理装置１０２は、情報アシスタント１００が対象２１０を指していること、および／またはユーザの体の部分が対象２１０を指していることを判断するために１つ以上の入出力デバイス経由で受信された加速度ならびに／あるいは方位データを分析し得る。例えば、限定すること無く、加速度計および／またはジャイロスコープは、情報アシスタント１００が、（例えば、ユーザの側にあり、地面を向いている）第１の位置から（例えば、ユーザの前に指し示され、地面に実質的に平行である方向を向いている）第２の位置に動かされたことを判断し得る。従って、様々な実施形態では、処理装置１０２は、対象２１０が、方向性のジェスチャーによってターゲットとされていることを判断し得、また、ユーザが対象２１０を指すとき、対象２１０を見るとき、情報アシスタント１００で対象２１０を指すとき、声によるプロンプトを話すときなどに、方向性のジェスチャーと関連付けられた方向性データを判断し得る。

処理装置１０２が、方向性のジェスチャーが興味の対象２１０をターゲットとしていることを判断する場合には、方法は、ステップ８２０に進む。興味の対象２１０が、方向性のジェスチャーによってターゲットとされていない場合には、処理装置１０２は、方向性のジェスチャーについて監視し続ける。

次に、ステップ８２０で、処理装置１０２は、対象２１０が方向性のジェスチャーによってターゲットとされている間にトリガ事象が受信されるかどうかを判断する。上記のように、情報アシスタント１００によって認識されたトリガ事象は、限定すること無く、声によるプロンプト、運動をベースとしたトリガ事象、時間をベースとしたトリガ事象、入力デバイストリガ事象、間接的なトリガ事象、および同様のものを含み得る。いくつかの実施形態では、トリガ事象は、上記のように、１つ以上の入出力デバイスから（例えば、ＥＭＧおよび筋肉活動センサから）受信されたセンサデータ（例えば、画像データ、音声サンプル、加速度計データ、ジャイロデータ、および同様のもの）経由で検出される。例えば、限定すること無く、運動をベースとしたトリガは、ユーザがまばたきしたこと、手／腕のジェスチャーを行ったこと、および同様のことなどを判断するためにカメラ１２０経由で取得された１つ以上の画像を処理装置１０２経由で分析することによって検出され得る。同じもしくは他の実施形態では、運動をベースとしたトリガは、情報アシスタント１００が特定の様式で動かされた（例えば、回転された、持ち上げられた、揺れた等の）ことを判断するために加速度計および／またはジャイロスコープから受信されたデータを分析することによって検出され得る。更に、いくつかの実施形態では、声によるプロンプトは、上記のように、興味の対象２１０をターゲットとしている方向性のジェスチャー、ならびに情報が興味の対象２１０について取得されることになることを示すトリガ事象の両方として機能し得る。

加えて、時間をベースとしたトリガ事象は、対象２１０が特定の期間（例えば、１〜３秒）に方向性のジェスチャーによってターゲットとされたことを判断するためにカメラ１２０、マイクロホン１１４、および／または１つ以上の入出力デバイス経由で受信されたデータを分析することによって検出され得る。例えば、限定すること無く、処理装置１０２は、手のジェスチャー、手足のジェスチャー、視線のジェスチャー等が特定の期間に対象２１０をターゲットとしたことを判断し得る。

対象２１０が方向性のジェスチャーによってターゲットとされている間にトリガ事象が受信される場合には、方法８００はステップ８３０に進む。対象２１０が方向性のジェスチャーによってターゲットとされている間にトリガ事象が受信されない場合には、方法８００はステップ８１０に戻る。

代わりに、いくつかの実施形態では、ステップ８１０およびステップ８２０の順序は、ステップ８２０がステップ８１０の前に行われるように逆にされてもよい。例えば、限定すること無く、ステップ８２０で、処理装置１０２は、まず、トリガ事象が受信されたかどうかを判断し得る。トリガ事象が受信されない場合には、処理装置１０２は、トリガ事象について監視し続け得る。トリガ事象が受信される場合、方法８００は、次いで、ステップ８１０に進み得、そこで、処理装置１０２は、次に、方向性のジェスチャーによってターゲットとされている興味の対象２１０を判断する。トリガ事象が情報アシスタント１００によって受信されたときに対象２１０が方向性のジェスチャーによってターゲットとされている場合には、方法８００はステップ８３０に進む。

ステップ８３０で、情報アシスタント１００は、方向性のジェスチャーによってターゲットとされている興味の対象２１０と関連付けられたセンサデータを取得する。情報アシスタント１００は、１つ以上の入出力デバイス、マイクロホン１１４、および／またはカメラ１２０経由でセンサデータを取得し得る。例えば、限定すること無く、上記のように、情報アシスタント１００は、１つ以上の画像センサ、深さセンサ、および／または聴覚センサ経由で画像データ、深さデータ、ならびに／あるいは音声サンプルを取得し得る。加えて、情報アシスタント１００は、高周波（ＲＦ）センサ、分光器、センサアレイ、断層撮影センサ、および同様のものなどの１つ以上の入出力デバイス経由でセンサデータを取得し得る。

次いで、ステップ８４０で、処理装置１０２は、興味の対象２１０の少なくとも１つの特徴を判断するために興味の対象２１０と関連付けられた１つ以上の種類のセンサデータを分析する。様々な実施形態では、処理装置１０２は、例えば、限定すること無く、１つ以上の画像センサ（例えば、可視光センサ、赤外センサ等）、深さセンサ、聴覚センサ、ＲＦセンサ、分光器、センサアレイ（例えば、分子センサ、化学センサ等）、および／または断層撮影センサから取得された１つ以上の種類のセンサデータ（例えば、第１の種類のセンサデータと第２の種類のセンサの両方）を分析することを含む、図１〜７と併せて上記した技法のいずれかに従ってセンサデータを分析する。

いくつかの実施形態では、興味の対象２１０と関連付けられたセンサデータの少なくとも一部は、情報アシスタント１００によってローカルで分析される。同じもしくは他の実施形態では、興味の対象２１０と関連付けられたセンサデータのいくつかまたは全ては、遠隔サーバに伝送され得、遠隔で分析され得る。分析の結果は、次いで、情報アシスタント１００に伝送し戻され得る。加えて、上記したように、興味の対象２１０の単一の特徴は、１つ以上の他の種類のセンサデータと併せて第１の種類のセンサデータの分析に基づいて判断され得る。

ステップ８５０で、情報アシスタント１００は、興味の対象２１０の少なくとも１つの特徴（例えば、正体、種類、組成等）をユーザに提示する。例えば、限定すること無く、興味の対象２１０の少なくとも１つの特徴は、スピーカ１１２、入出力デバイス、ディスプレイ、および同様のもの経由でユーザに提示され得る。次いで、方法８００は終了する。

図９は、様々な実施形態に従って、図１の情報アシスタント１００と併せて実施され得るコンピューティングデバイスのブロック図である。図示されるように、コンピューティングデバイス９００は、処理装置１０２、１つ以上の入力／出力（入出力）デバイス９０４（例えば、画像センサ、深さセンサ、聴覚センサ、ＲＦセンサ、分光器、センサアレイ、断層撮影センサ等）、およびメモリデバイス１１０を含む。メモリデバイス１１０は、１つ以上のデータベース９１４と相互作用するように構成されたアプリケーション９１２を含む。

処理装置１０２は、中央処理装置（ＣＰＵ）、デジタル信号処理装置（ＤＳＰ）などを含み得る。入出力デバイス９０４は、入力デバイス、出力デバイス、および入力受信と出力提供の両方が可能なデバイスを含み得る。メモリデバイス１１０は、メモリモジュールまたはメモリモジュールの集合を含み得る。メモリデバイス１１０内のソフトウェアアプリケーション９１２は、コンピューティングデバイス９００の全体機能を実施するためにまた、それ故、全体として情報アシスタント１００の動作を調整するために、処理装置１０２によって実行され得る。これらの動作は、限定すること無く、図１〜７および図８のフロー図と併せて上述した様々な技法を含む。（複数の）データベース９１４は、情報アシスタント１００が、方向性のジェスチャーおよびトリガ事象を識別することを可能にするデータのみならず、情報アシスタント１００が、興味の対象１００についての情報（例えば、画像および／または音認識アルゴリズム、ローカル知識ベース、Ｗｉｋｉｐｅｄｉａ（商標）のローカルコピー等）をユーザに提供することを可能にするデータを記憶し得る。

全体としてコンピューティングデバイス９００は、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、タブレットコンピュータまたは携帯電話などのモバイルコンピューティングデバイス、メディアプレイヤーなどであり得る。一般に、コンピューティングデバイス９００は、情報アシスタント１００の全体動作を調整するように構成される。情報アシスタント１００の機能を実装するように構成された任意の技術的に実現可能なシステムは、本発明の範囲内にある。

要するに、情報アシスタント１００は、ユーザが（例えば、方向性のジェスチャーによって）興味の対象１００をターゲットとしていることを判断する。興味の対象２１０がターゲットとされている間に情報アシスタント１００がトリガ事象を受信する場合には、興味の対象２１０と関連付けられたデータは情報アシスタントによって取得される。情報アシスタント１００は、次いで、興味の対象２１０の少なくとも１つの特徴を判断するために取得されたデータを分析し、少なくとも１つの特徴をユーザに提供する。

本明細書に説明された技法の少なくとも１つの利点は、ユーザが、ユーザの環境に位置付けられた対象についての特定の情報を取得することができることである。加えて、ユーザは、ユーザが正確に識別することができない対象、例えば、正式名を有さない対象、複数の名によって呼ばれ得る対象、および／または正確に説明することが難しい対象などについての情報を取得することができる。更に、開示された技法は、ユーザが、便利な声によるプロンプト、ジェスチャー、および／または他の種類のトリガを使用して対象についての情報を取得することを可能にする。

様々な実施形態の説明は、例示の目的のために提示されたが、包括的であることまたは開示された実施形態に限定されることを意図されない。多くの修正や変形は、説明した実施形態の範囲や主旨から逸脱すること無く、当業者に明らかであろう。

本実施形態の態様は、システム、方法またはコンピュータプログラム製品として具現化され得る。従って、本開示の態様は、完全にハードウェアの実施形態、（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）完全にソフトウェアの実施形態、あるいは本明細書において「回路」、「モジュール」または「システム」として全て一般に呼ばれ得るソフトウェアとハードウェアの態様を組み合わせた実施形態の形態を取り得る。更に、本開示の態様は、（複数の）１つ以上のコンピュータで読み取り可能な媒体の上に具現化されたコンピュータで読み取り可能なプログラムコードを有する当該コンピュータで読み取り可能な媒体に具現化されたコンピュータプログラム製品の形態を取り得る。

（複数の）１つ以上のコンピュータで読み取り可能な媒体の任意の組み合わせが利用され得る。コンピュータで読み取り可能な媒体は、コンピュータで読み取り可能な信号媒体またはコンピュータで読み取り可能な記憶媒体であり得る。コンピュータで読み取り可能な記憶媒体は、例えば、限定されるものではないが、電子、磁気、光、電磁、赤外、もしくは半導体システム、装置、またはデバイス、あるいは前述の任意の適切な組み合わせであり得る。コンピュータで読み取り可能な記憶媒体のより具体的な例（包括的ではないリスト）は、以下、すなわち、１つ以上の配線を有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能でプログラム可能な読み取り専用メモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または前述の任意の適切な組み合わせを含むことになる。この書類の文脈において、コンピュータで読み取り可能な記憶媒体は、命令実行システム、装置、またはデバイスによってあるいはそれに関連して使用のためのプログラムを含むことか記憶することができる任意の有形媒体であり得る。

本開示の態様は、開示の実施形態に従って方法、装置（システム）およびコンピュータプログラム製品のフローチャート図ならびに／またはブロック図を参照にして上記で説明される。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図におけるブロックの組み合わせは、コンピュータプログラム命令によって実施され得ることが理解されるであろう。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサ経由で実行する命令が、フローチャートおよび／またはブロック図のブロックもしくは複数ブロックにおいて特定された機能／活動の実施を可能にするように、マシンを生成するために、汎用コンピュータ、特殊用途のコンピュータ、あるいは他のプログラム可能なデータ処理装置のプロセッサに提供され得る。そのようなプロセッサは、限定すること無く、汎用プロセッサ、特殊用途プロセッサ、特定用途向けプロセッサ、またはフィールドプログラマブルプロセッサであり得る。

図面におけるフローチャートやブロック図は、本開示の様々な実施形態に従って、システム、方法およびコンピュータプログラム製品の可能な実施のアーキテクチャ、機能、ならびに動作を例示する。これに関して、フローチャートまたはブロック図における各ブロックは、（複数の）特定の論理機能を実施するための１つ以上の実行可能な命令を含むモジュール、セグメント、あるいはコードの一部を表し得る。また、いくつかの代替の実施では、ブロックに記された機能は、図面に記された順序以外で生じ得ることが留意されるべきである。例えば、連続して示された２つのブロックは、実際には、実質的に同時に実行され得、あるいは、ブロックは、含まれている機能に従って、逆の順序で実行され得ることもある。また、ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図のブロックの組み合わせは、特定の機能または活動、あるいは特殊用途のハードウェアおよびコンピュータ命令の組み合わせを行う特殊用途のハードウェアをベースとしたシステムによって実施され得ることが留意されることになる。

発明は、特定の実施形態を参照にして上記で説明された。しかしながら、当業者は、様々な修正や変更が、添付の図面に明記されるような発明のより広い主旨や範囲から逸脱すること無くそれになされ得ることを理解するであろう。例えば、限定すること無く、本明細書における説明の多くは、興味の対象と関連付けられたデータを取得し得る特定の種類の入出力デバイスを参照にするが、当業者は、本明細書に説明されたシステムおよび技法は、他の種類の入出力デバイスに適用できることを理解するであろう。従って、前述の説明および図面は、制限する意味ではなくて、例示の意味とみなされることになる。

先行のものは本開示の実施形態に関するものであるが、開示の他のおよび更なる実施形態は、それの基本範囲から逸脱すること無く考案され得、それの範囲は、後に続く特許請求の範囲によって決定される。

Claims (1)

1. 本明細書に記載の発明。

Images