JP2017516167A - 個人の存在に関連するアクションの実行 - Google Patents
個人の存在に関連するアクションの実行 Download PDFInfo
- Publication number
- JP2017516167A JP2017516167A JP2016548615A JP2016548615A JP2017516167A JP 2017516167 A JP2017516167 A JP 2017516167A JP 2016548615 A JP2016548615 A JP 2016548615A JP 2016548615 A JP2016548615 A JP 2016548615A JP 2017516167 A JP2017516167 A JP 2017516167A
- Authority
- JP
- Japan
- Prior art keywords
- user
- individual
- action
- personal
- recognizer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/54—Presence management, e.g. monitoring or registration for receipt of user log-on information, or the connection status of the users
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Economics (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
デバイスは、会う時間または日付に提示されるアラーム、ジオフェンスによって指定される位置と関連付けられたメッセージ、または受信したメッセージに対する自動応答など、条件に応答して自動的にアクションを実行するように構成可能であることが多い。このような条件は、それ自体が直接的にある個人を含むアクションに適用されるわけではないこともあるが(例えば、会うことが予想される時間中に提示されるリマインダ、または個人のオフィスに関連付けられたジオフェンスなど)、個人が実際にそこにいないときに偽陽性の結果を生じ、個人が思いがけずそこにいるときに偽陰性の結果を生じる可能性がある。代わりにデバイスは、個人がユーザと一緒にいることを検出し(例えばユーザの環境の写真を取り込み、その写真中で個人の顔を識別する)、その個人がユーザと一緒にいることが検出されている時間中にユーザのためにアクションを実行するように構成することができる。
Description
[0001] コンピューティングの分野では、多くのシナリオが、条件のセットに応答してユーザの要求によるアクションを実行するデバイスを必要とする。第1の例としては、音階を奏でるアラーム、または約束のリマインダを与えるカレンダなど、指定された時間にアクションを実行することができるデバイスがある。第2の例としては、ユーザが指定された位置を規定する座標セット内にデバイスを持ち込んだときにリマインダメッセージを与える「ジオフェンシング」デバイスなど、特定の位置に入ったときにアクションを実行することができるデバイスがある。第3の例としては、ナビゲーションデバイスにルートの再計算を促す交通監視サービスから受信する交通警報勧告など、アプリケーションからのメッセージを受信したのに応答して、アクションを実行することができるデバイスがある。
[0002] この概要は、以下の詳細な説明においてさらに説明するいくつかの概念をまとめて、単純化した形態で紹介するために与えるものである。この概要は、請求する主題の重要な特徴または不可欠な特徴を特定するためのものではなく、また、請求する主題の範囲を限定するためのものでもない。
[0003] 多くのデバイスが様々な条件に応答してアクションを実行するが、デバイスが通常監視および/または応答しない1つの条件は、他の個人がユーザと一緒にいるかどうかである。例えば、ユーザは、家族、友人または仕事の同僚など1人または複数人の特定の個人の物理的近傍にいることがあり、その個人についてのリマインダメッセージ(例えば「今日はジョーの誕生日です」)またはその個人に伝えるべきリマインダメッセージ(例えば「ジョーに市場でパンを買うように頼む」)を提示するなど、その個人も含めたアクションをデバイスが実行する、あるいはユーザがその個人に対して表示したい画像を表示することを望むこともある。しかし、こうしたアクションは、通常は、ユーザが、その特定の個人が近傍にいることを認識し、その個人がそこにいる間にそのアクションを実行することを思い出し、デバイス上でそのアクションを呼び出すことによって行われる。
[0004] あるいは、ユーザは、その個人と会う予定を知らせる日付または時間に基づく警報、その個人の家またはオフィスなど、その個人がそこにいることが予想される位置を含むジオフェンスに基づくアクション、あるいはその個人から受信するメッセージを含むメッセージに基づくアクションなど、特定の個人がいることが予想される時間にユーザを含むアクションを実行するように、デバイスを構成することもできる。ただし、このような技術は、その個人がいないときに偽陽性の結果を生じたり(例えば、ユーザおよび/またはその個人が会うはずの場所に姿を現さなかった場合、その個人が不在のときにその個人の家またはオフィスを訪問してしまった場合、ならびにその個人から自動「社外」メッセージなどの自動生成メッセージが来た場合でもアクションが実行される、など)、その個人が思いがけずそこにいるとき(例えば、その個人と偶然出会うなど)に偽陰性の結果を生じたりする可能性もある。このような技術は、また、個人の存在そのものと直接関連しているわけではない条件をユーザが識別できるときにしか適用することができず、したがって、適用できないこともある。例えば、ユーザがその個人の家もしくはオフィスの位置を知らない、またはその個人と会う約束がないこともあり、あるいはその個人がそのユーザにメッセージを送信することができるデバイスを持っていないこともある、という場合である。
[0005] 本明細書に提示するのは、特定の個人の存在を検出したときにその特定の個人に関連するアクションを実行するようにデバイスを構成する技術である。例えば、ユーザは、次に特定の個人の物理的近傍になったときにリマインダメッセージを提示するようにデバイスに要求することができる。このデバイスは、カメラを利用して、そのデバイスおよびユーザの環境の画像を連続的または定期的に評価することができ、その環境の画像に顔認識技術を適用して、その特定の個人の顔を検出することができる。この検出は、その個人がユーザと共にいることを暗示することができ、ユーザにリマインダメッセージを提示するようにデバイスに促すことができる。このようにして、本明細書に提示する技術によれば、デバイスは、ある個人がユーザと共にいるときに、ユーザからの要求を遂行してその個人を含むアクションを実行することができる。
[0006] 前述の目的および関連する目的を達成するために、以下の説明および添付の図面には、特定の例示的な態様および実施態様を記載する。これらは、1つまたは複数の態様を利用することができる様々な方法のうちの一部のみを示している。本開示の他の態様、利点および新規の特徴は、以下の詳細な説明を添付の図面と関連付けて考慮すれば明らかになるであろう。
[0018] 次に、請求する主題について、図面を参照して説明する。全ての図面を通じて、同じ要素は、同じ参照番号を使用して示している。以下の記述では、説明のために、多数の具体的な詳細を記載して、請求する主題が完全に理解されるようにする。しかし、請求する主題は、これらの具体的な詳細がなくても実施することができることは明らかである。その他、構造およびデバイスをブロック図で示しているのは、請求する主題の説明を容易にするためである。
[0019] A 導入
[0020] 図1は、ユーザ102のためにアクション108を実行するように構成されたデバイス104のユーザ102を含む例示的なシナリオ100を示す図である。この例示的なシナリオ100では、第1の時点122で、個人102は、ルール106のセットをデバイス104にプログラムし、これらの各ルール106が、デバイス104が検出することができる、ユーザ102のために指定されたアクション108の実行をトリガすることができる条件110をそれぞれ指定する。
[0021] 第1のルール106は、デバイス104がアクション108を実行する時間または日付を含む条件110を指定する。例えば、アラームクロックが、指定された時間に音階を奏でることや、あるいはカレンダが、特定の時間に約束のリマインダを提示することもある。デバイス104は、デバイス104内のクロノメータを監視し、クロノメータが示す現在時間をルール106に指定された時間と比較し、現在時間がルール106に指定された時間と一致することを検出したときに、指定されたアクション108を呼び出すことによって、第1のルール106を遂行するように構成することができる。
[0022] 第2のルール106は、デバイス104が次に位置112を占めたときにリマインダメッセージを提示するなどのアクション108を実行する「ジオフェンシング」認識デバイスのように、位置112を含む条件110を指定する。デバイス104は、全地球測位システム(GPS)受信器または信号三角測量装置などのジオロケーション構成要素によって示されるデバイス104の現在座標セットを監視し、ジオロケーション構成要素から提供される座標を位置112の座標と比較し、一致が識別されたときにアクション108を実行することによって第2のルール106を遂行するように構成することができる。
[0023] 第3のルール106は、ユーザ102および/またはデバイス104のルート上で交通事故を検出したことについて警告する交通警報サービスからの交通メッセージ、あるいは気象警報サービスから受信する気象警報メッセージなど、サービスから受信するメッセージ114を含む条件110を指定する。このようなメッセージ114を受信することによって、ユーザ102のルートの再計算などのアクション108をトリガして、メッセージ114中に記載されている交通または気象の状態を回避することができる。
[0024] デバイス104は、入力構成要素を使用してそれぞれのルール106の条件を監視し、それらの条件が発生したときにアクション108を呼び出すことによって、ユーザ102からの要求を遂行することができる。例えば、第2の時点124において、個人102が、第2のルール106に指定される位置112を規定する境界116内にデバイス104を持ち込むことがある。デバイス104は、ジオロケーション構成要素によって示される現在座標を比較し、位置112の境界116への進入を検出すると、第2のルール106のジオフェンストリガ118を開始することができる。デバイス104は、第2のルール106を遂行してユーザ102にメッセージ120を提供することで、ジオフェンストリガ118に応答する。このようにして、デバイス104は、指定された条件を監視し、それに関連するアクション108を自動的に呼び出すことによって、ルール106のセットを遂行することができる。
[0025] これらのタイプのルール106は、デバイス104が応答することができる様々な条件を実証しているが、デバイスがまだ利用していないこのような条件の1つは、特定の個人がユーザ102と一緒にいるということである。例えば、ユーザ102は、その個人に対してユーザのデバイス104上でピクチャを見せたいと思うかもしれないし、また、次にその個人に会ったときにそうすることを覚えておきたいと思うかもしれない。ユーザ102がその個人がそこにいることに気付いたときに、ユーザ102がピクチャのことを思い出し、デバイス104上でピクチャアプリケーションを呼び出すこともある。しかし、このプロセスは、個人102の観察力および記憶力と、デバイス104における手作業によるアクション108の呼出しに頼るものである。
[0026] あるいは、ユーザ102は、その個人がそこにいることが予想されるときにそのピクチャを示すために、図1の例示的なシナリオ100に示すタイプのルール106を生成することもできる。第1の例として、ユーザ102は、次にその個人と会うことが予想される日時にアラームをセットすることができる。第2の例として、ユーザ102は、個人の家またはオフィスなどの位置112を含むジオフェンストリガ118など、位置に基づくルール106を生成することができる。第3の例として、ユーザ102は、テキストメッセージまたは電子メールメッセージなど、その個人からのメッセージを受信したときにその個人にピクチャを送信する要求など、メッセージに基づくルール106を生成することができる。
[0027] ただし、個人の存在よってわずかな関連性でトリガされるこれらのルールは、偽陽性の結果を生じる可能性がある(例えば、ユーザ102または個人が姿を現さずに会えないこともあり得るし、ユーザ102がその個人の家またはオフィスを訪問したときにその個人が不在であることもあり得るし、あるいは、その個人が現在連絡が取れない状態であることを示すその個人からユーザ102に対しての自動「社外」応答など、その個人がいないときにユーザ102がその個人からのメッセージを受信することもある)。さらに、このようなわずかな関連性のルールは、偽陰性の結果を生じることもある(例えば、ユーザ102が思いがけずその個人に出会うこともあるが、ルール106のわずかな関連性の条件が満たされていないので、デバイス104は、いかなるアクションを起こすこともできない)。最後に、これらのルール106は、ユーザ102が有していない可能性があるその個人についての情報を含む(例えば、ユーザ102は、その個人の家の住所を知らないこともある)、またはその個人に関係がないこともある(例えば、その個人が、ユーザ102のデバイス104にメッセージを送信することができるデバイスを有していないこともある)。これらのシナリオでは、図1の技術を適用しても、個人がユーザ102と一緒にいることを含むアクション108をデバイス104が実行できるようにするのに不十分であることがある。
[0028] B.提示する技術
[0029] 図2は、本明細書に提示するこれらの技術による、指定された個人がユーザ102と一緒にいることを検出したときにアクション108を実行するように構成されたデバイス104を特徴とする例示的なシナリオ200を示す図である。この例示的なシナリオ200では、第1の時点224において、個人102は、特定の個人202が個人102と一緒にいる間のアクション108の実行をそれぞれ示す、個人存在ルール204のセットを記憶するようにデバイス104を構成することができる。第1の例として、第1の個人存在ルール204は、ジョースミスという名の個人202がいるときに、デバイス104がリマインダを提示するなどの第1のアクション108を呼び出すことを指定することがある。第2の個人存在ルール204は、メアリーリーという名の個人202がいるときに、デバイス104が画像を表示するなどの第2のアクション108を呼び出すことを指定することがある。デバイス104は、個人202の顔の顔識別子206および個人202の声の声識別子208など、個人202の個人識別子のセットも記憶することができる。
[0030] 第2の時点226において、個人102は、建物の部屋または車両の客室など、特定の環境210内にいる可能性がある。デバイス104は、それぞれの個人202について記憶された顔識別子206および/または声識別子208に従って、1つまたは複数の入力構成要素を使用して、個人202が環境210内にユーザ102と一緒にいること(212)を検出することができる。例えば、デバイス104は、一体型カメラ214を利用して、個人102の環境210の写真218を取り込み、その写真218内で1つまたは複数の顔の存在を検出し、それらの顔を記憶してある顔識別子206と比較することができる。あるいは、またはこれに加えて、デバイス104は、個人102の環境210のオーディオサンプル220を取り込み、そのオーディオサンプル220中の1つまたは複数の声の存在を検出して分離し、分離した声を記憶してある声識別子208と比較することもできる。このような種類の比較により、デバイス214は、写真218の中の顔をジョースミスの顔識別子206と突き合わせ、かつ/またはオーディオサンプル220を記憶してあるジョースミスの声識別子208と突き合わせることにより、ジョースミスなどの既知の個人202がユーザ102と一緒にいることの識別222を実現することができる。したがって、デバイス104は、ジョースミスに関係するユーザ102向けのメッセージ120(例えば「ジョーにパンを買うように頼む」など)を表示するなど、ジョースミスが個人102と一緒にいることに関連するアクション108を実行することができる。このようにして、本明細書に提示する技術によれば、デバイス104は、個人202がユーザ102と一緒にいること(210)を検出したのに応答して、アクション108を自動的に実行することができる。
[0031] C.例示的な実施形態
[0032] 図3は、個人202がユーザ102と一緒にいる間に、ユーザ102の要求を遂行してアクション108を実行するようにデバイス108を構成する例示的な方法302として示す、本明細書に提示する技術の第1の例示的な実施形態を示す図である。この例示的な方法300は、例えば、メモリ回路、ハードディスクドライブのプラッタ、固体状態記憶デバイス、あるいは磁気または光ディスクなど、デバイス104のメモリ構成要素に記憶された、デバイス104のプロセッサ上で実行されたときにデバイス104を本明細書に提示する技術に従って動作させるように編成された命令のセットとして実装することができる。この例示的な方法300は、ステップ302で開始され、デバイス104のプロセッサ上で命令を実行するステップ304を含む。具体的には、これらの命令は、デバイスに、個人202がユーザ102と一緒にいるときにアクション108を実行することを求める要求を受信したときに、個人202に関連するアクション108を記憶させる(ステップ306)。命令は、また、デバイス104に、個人202がユーザ102と一緒にいることを検出したときに、アクション108を実行させる(ステップ308)。このようにして、命令は、デバイスに、本明細書に提示する技術に従って個人202がユーザ102と一緒にいる間にアクション108を実行させ、ステップ310で終了させる。
[0033] 図4は、ユーザ102が個人202と一緒にいるときにデバイス402にアクション108を実行させるように構成された例示的なシステム408を特徴とする例示的なシナリオ400として示す、本明細書に提示する技術の第2の例示的な実施形態を示す図である。この例示的なシステム408は、例えば、デバイス402のメモリ構成要素に記憶された命令のセットをそれぞれ含む構成要素のセットとして実装することができ、それぞれの構成要素の命令は、プロセッサ404上で実行されたときに、デバイス402に本明細書に提示する技術の一部分を実行させる。この例示的なシステム408は、要求受信機410を含み、この要求受信機410は、個人202がユーザ102と一緒にいる間にアクション108を実行することを求める要求416をユーザ102から受信したときに、個人202に関連するアクション108をデバイス402のメモリ406に記憶する。この例示的なシステム408は、また、個人認識機412を含み、この個人認識機412は、個人202がユーザ102と一緒にいること(210)を検出する(例えば、個人102の環境の環境サンプル418を評価して、既知の個人202の存在を検出する)。この例示的なシステム408は、また、アクション実行機414を含み、このアクション実行機414は、個人認識機412が、メモリ406に記憶された選択されたアクション202に関連する選択された個人202がユーザ102と一緒にいること(212)を検出したときに、ユーザ102のためにその選択されたアクション108を実行する。このようにして、本明細書に提示する技術によれば、例示的なシステム408は、ユーザ102が個人202と一緒にいる間に、デバイス402に個人108を含むアクション108を実行させる。
[0034] さらに別の実施形態は、本明細書に提示する技術を適用するように構成されたプロセッサ実行可能命令を含むコンピュータ可読媒体を含む。このようなコンピュータ可読媒体としては、例えば、デバイスのプロセッサによって実行されたときにそのデバイスに本明細書に提示する技術を実施させるコンピュータ可読命令のセットを符号化する、メモリ半導体(例えば半導体利用スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、および/またはシンクロナスダイナミックランダムアクセスメモリ(SDRAM)技術など)、ハードディスクドライブのプラッタ、フラッシュメモリデバイス、あるいは磁気または光ディスク(CD-R、DVD-R、もしくはフロッピーディスクなど)などの有形デバイスを含むコンピュータ可読記憶デバイスが含まれ得る。このようなコンピュータ可読媒体は、また、デバイスのプロセッサによって実行されたときにそのデバイスに本明細書に提示する技術を実施させるコンピュータ可読命令のセットを符号化する、様々な有線のシナリオ(例えばEthernetまたは光ファイバケーブルを介する場合)および/または無線のシナリオ(例えばWiFiなどのワイヤレスローカルエリアネットワーク(WLAN)、Bluetoothなどのパーソナルエリアネットワーク(PAN)、またはセルラもしくは無線ネットワークなど)で様々な物理的現象を通して伝搬することができる信号(例えば電磁気信号、音波信号、または光信号など)など、様々なタイプの通信媒体も(コンピュータ可読記憶デバイス以外の技術クラスとして)含み得る。
[0035] このようにして考案することができる例示的なコンピュータ可読媒体を、図5に示す。図5では、実施態様500は、コンピュータ可読データ504が符号化されたコンピュータ可読メモリデバイス502(例えばCD-R、DVD-R、またはハードディスクドライブのプラッタなど)を含む。このコンピュータ可読データ504は、コンピューティングデバイス510のプロセッサ404上で実行されたときに、そのコンピューティングデバイス510を本明細書に記載する原理に従って動作させるコンピュータ命令606のセットを含む。1つのこのような実施形態では、プロセッサ実行可能命令506は、図3の例示的な方法300など、個人202がコンピューティングデバイス510のユーザ102と一緒にいる間に個人202を含むアクション108を実行するようにコンピューティングデバイス410108を構成する方法508を実行するように構成することができる。別のこのような実施形態では、プロセッサ実行可能命令606は、図4の例示的なシステム408など、個人202がコンピューティングデバイス510のユーザ102と一緒にいる間に、コンピューティングデバイス510に個人202を含むアクション108を実行させるように構成されたシステムを実装するように構成することができる。このコンピュータ可読媒体のいくつかの実施形態は、このように構成されたプロセッサ実行可能命令を記憶するように構成されたコンピュータ可読記憶デバイス(例えばハードディスクドライブ、光ディスク、またはフラッシュメモリデバイスなど)を含み得る。当業者なら、本明細書に提示する技術に従って動作するように構成された多数のこのようなコンピュータ可読媒体を考案することができる。
[0036] D.変形
[0037] 本明細書で述べる技術は、多くの態様で変形を備えて考案することができ、いくつかの変形は、さらなる利点をもたらし、かつ/またはこれらの技術およびその他の技術のその他の変形に関する欠点を軽減する可能性がある。さらに、いくつかの変形は組み合わせて実施することができ、いくつかの組合せは、相乗作用的に協働することによってさらなる利点および/または欠点の軽減を特徴とすることもある。これらの変形を様々な実施形態(例えば図3の例示的な方法300、図4の例示的なシステム408、および図5の例示的なコンピュータ可読メモリデバイス502)に組み込んで、それらの実施形態に、個別の、および/または相乗作用的な利点を与えることができる。
[0038] D1.シナリオ
[0039] これらの技術の実施形態の間で異なることもある第1の態様は、これらの技術を利用することができるシナリオに関する。
[0040] この第1の態様の第1の変形としては、本明細書に提示する技術を利用して、ワークステーション、サーバ、ラップトップ、タブレット、携帯電話、ゲームコンソール、携帯ゲームデバイス、携帯型または非携帯型メディアプレイヤ、テレビジョンなどのメディアディスプレイデバイス、家庭用器具、ホームオートメーションデバイス、および監視制御データ収集(SCADA)デバイスなど、様々なデバイス104の構成を実現することができる。
[0041] 図6は、本明細書に提供する技術を実装することができるイヤピースデバイス602を特徴とする例示的なシナリオ600を示す図である。このイヤピースデバイス602は、ユーザ102が装着することができ、本明細書に提示する技術を実施するために使用可能な構成要素を含むことができる。例えば、イヤピースデバイス602は、ユーザ102の頭部610の耳612に装着可能な筐体604を含み、ユーザ102の耳612の中に音声メッセージを発出するように位置決めされたスピーカ606と、ユーザ102の環境210のオーディオサンプルを検出するマイクロフォン608とを含むことができる。本明細書に提示する技術によれば、イヤピースデバイス602は、環境210のオーディオサンプルを、ユーザ102が知っている個人202の声識別子208と比較し、一致を検出したときに、その声識別子208によって表される個人202がユーザ102と一緒にいる(212)と推定することができる。次いで、イヤピースデバイス602は、その個人202を含むリマインダの音声メッセージ(例えば「今日はジョーの誕生日です」など)をユーザ102のために再生するなど、その個人202がユーザ102と一緒にいること(212)に関連するアクション108を実行することができる。このようにして、図6の例示的なシナリオ600に示すようなイヤピースデバイス602は、本明細書に提示する技術を利用することができる。
[0042] この第1の態様の第2の変形として、本明細書に提示する技術は、アクション108および各個人202の識別子を記憶しており、ユーザ102が装着しているデバイスまたはユーザ102が乗車している車両などユーザ102とともにある第2のデバイスから環境サンプル418を受信し、第2のデバイスからの環境サンプル418に基づいて個人202がユーザ102と一緒にいること(210)を検出し、第2のデバイスにユーザ102に対してリマインダメッセージを表示するなどのアクション108を実行するように要求するサーバなど、上記のようなデバイスの組合せにおいて実施することができる。第1のデバイスがこの技術の一部分を実行し、第2のデバイスがこの技術の残りの部分を実行する、このような多数の変形が実現可能である。1つの例として、サーバは、ユーザ102の様々なデバイスから入力を受信し、それらのデバイスの組み合わせた入力に基づいて複数の個人202がユーザ102と一緒にいると推定し、特定のアクションに関連している、ある個人202がユーザ102と一緒にいる(212)ことを推定すると、その存在する事実がそれらのデバイスのうちの1つまたは複数にアクションを実行するように要求することができる。
[0043] この第1の態様の第3の変形として、デバイス104は、様々なタイプの入力デバイスを利用して、各個人202が個人102と一緒にいること(212)を検出することができる。このような入力デバイスとしては、例えば、可視スペクトルおよび/またはその他の範囲の電磁スペクトル内で画像を取り込むスチールおよび/またはモーションカメラ、発声の周波数範囲および/またはその他の周波数範囲内の音声を取り込むマイクロフォン、指紋、網膜、姿勢または歩調、匂い、あるいは個人202の生化学的サンプルを評価する生体測定センサ、全地球測位システム(GPS)受信機、ジャイロスコープおよび/または加速度計、スチールまたはモーションカメラ、マイクロフォン、パーソナルエリアネットワーク(PAN)センサおよびネットワークアダプタなどのデバイスセンサ、電磁センサ、ならびに近傍センサが含まれ得る。
[0044] この第1の態様の第4の変形として、デバイス104は、多くのタイプのユーザ102から、アクション108を実行することを求める要求を受信することができる。例えば、デバイス104は、デバイス104の第1のユーザ102から、個人202がデバイス104の第2のユーザ102と一緒にいること(212)を検出したときにアクション108を実行することを求める要求を受信することができる(例えば、第1のユーザ102は、第2のユーザ102の親を含み得る)。
[0045] この第1の態様の第5の変形として、デバイス104は、個人202がユーザ102と多数の様々な形態で一緒に存在すること(212)を検出することができる。第1のこのような例としては、存在する(212)ということは、個人202がユーザ102の視界に入っている、ユーザ102の声が聞こえる距離にいる、またはユーザ102と身体が接触していることが検出されるなど、個人202とユーザ102とが物理的に近傍にいることを含み得る。第2のこのような例としては、存在する(212)ということは、ユーザ102と個人202とが電話で通話している、またはビデオ会議をしている間など、個人202とユーザ102の間で通信セッションが開始されることを含み得る。
[0046] この第1の態様の第6の変形として、デバイス104は、特定の家族の一員、または学校のクラスの生徒の1人など、個人202のグループを検出するように構成することができる。デバイス104は、このような各個人202の識別子を記憶することができ、それらの個人202のうちの任意の1人がユーザ102と一緒にいること(212)を検出したとき(例えばユーザの家族のうちのいずれかを検出したとき)、またはそのグループの個人202のうちの数人がユーザ102と一緒にいることを検出したとき(例えばユーザの家族の全員を検出したとき)に、アクション108を実行することができる。
[0047] この第1の態様の第7の変形として、数多くの種類の個人202を、ユーザ102の存在下(212)で識別することができる。第1のこのような例としては、個人202は、ユーザの家族の一員、友人、または仕事上の接点がある人など、ユーザ102と個人的な接点がある人を含み得る。第2のこのような例としては、個人202は、有名人など、ユーザ102が知っている人を含み得る。第3のこのような例としては、個人202は、デバイス104が、小包を郵送するために郵便配達人に渡すというリマインダをユーザ102に提示させることもできる、郵便配達人のように見える任意の個人など、特定の種類の人を含み得る。
[0048] この第1の態様の第8の変形として、個人202がユーザ102と一緒にいること(212)を検出したのに応答して、数多くの種類のアクション108を実行することができる。このようなアクション108としては、例えば、ユーザ102にメッセージ120を表示すること、画像を表示すること、記録した音を再生すること、ユーザ102および個人202が一緒にいること(212)のログをジャーナルに取ること、存在212を示すメッセージを第2のユーザ102または第3者に送信すること、ユーザ102と個人202の間の相互作用を含む環境210の記録を取り込むこと、あるいはデバイス104上で特定のアプリケーションを実行することを含み得る。本明細書に提示する技術に適合する多数のこのような変形を考案することができる。
[0049] D2.アクションの実行を求める要求
[0050] 本明細書に提示する技術の実施形態の間で異なる可能性がある第2の態様は、個人202がユーザ102と一緒にいること(212)を検出したときにアクション108を実行することを求める要求416をユーザ102から受信する方法を含む。
[0051] この第2の態様の第1の変形として、要求416は、個人202がユーザ102と一緒に得ること(212)に加えて、アクション108が条件付けられる1つまたは複数の条件を含み得る。例えば、ユーザ102は、ユーザ102が特定の個人202と出会ったときだけでなく、出会ったときが特定の時間範囲内である場合にも、ユーザ102に対するリマインダメッセージの提示を要求することがある(例えば、「私がアンの誕生日の前にジョーに会った場合に、アンへの贈り物を買うように彼に伝えることを私に思い出させる」など)。デバイス104は、アクション108が個人202と関連付けられる条件をさらに記憶することができ、個人202がユーザ102と一緒にいること(212)が満たされたことを検出したときに、さらにその条件が満たされているかどうかを判定することができる。
[0052] この第2の態様の第2の変形として、要求416は、テキスト入力、ジェスチャ、音声コマンド、またはポインタ型ユーザインタフェースを介して与えられるポインティング入力など、ユーザ102からデバイス104に送られるコマンドを含み得る。要求416は、また、デバイス104に送られる自然言語発声要求(例えば、「私がジョーに会ったときに、彼に市場でパンを買うように頼むことを私に思い出させる」など)など、自然言語入力としてデバイス104に送ることもできる。
[0053] この第2の態様の第3の変形として、ユーザ102からデバイス104に送られる要求416を受信するのではなく、デバイス104が、ユーザ102と個人とが通信している間に要求416を推測することもできる。例えば、デバイス104は、ユーザと個人との間の少なくとも1つの通信を評価して要求416を検出することができ、この場合、この少なくとも1つの通信は、アクションおよび個人を指定するが、ユーザ102からデバイス104に発行されるコマンドは含まない。例えば、デバイス104は、ユーザ102と個人との間の音声通信の環境サンプル418を評価し、音声認識技術を適用してユーザが話している会話の内容を認識し、認識した音声から、1つまたは複数の要求416を推測することができる(例えば、「私たちは市場でパンを買うようにジョーに伝えた方がよい」という発話により、デバイス104が、ユーザ102がジョーという名の個人202と一緒にいること(212)が検出されたときに提示すべきリマインダメッセージ120を含む個人存在ルール204を生成する)。通信中に要求416を検出したら、デバイス104は、その個人202に関連するアクション108を記憶することができる。
[0054] この第2の態様の第4の変形として、デバイス104は、個人102のために実行されているアプリケーションから要求416を受信することもある。例えば、カレンダアプリケーションは、デバイス104のユーザ102と接点のある人達の誕生日を含むことができ、ある個人の誕生日に対応する日にユーザ102がその個人202と一緒にいるときに、デバイス104がリマインダメッセージを提示することを求める一連の要求416を開始することができる。本明細書に提示する技術によれば、上記その他の技術を利用して、ユーザ102がある個人202と一緒にいる間にアクション108を実行することを求める要求416を受信することもできる。
[0055] D3.存在の検出
[0056] 本明細書に提示する技術の実施形態の間で異なる可能性がある第3の態様は、個人202がユーザ102と一緒にいること(212)を検出する方法を含む。
[0057] この第3の態様の第1の変形として、デバイス104は、ユーザ102の環境210の環境サンプル418を、各個人102の様々な生体測定識別子と比較することができる。例えば、図2の例示的なシナリオ200に示すように、デバイス104は、個人202の顔識別子206を記憶することができ、デバイス104の顔認識機が、ユーザ102の環境210の写真218を個人202の顔識別子206と比較することができる。あるいは、またはこれに加えて、デバイス104は、個人202の声識別子208を記憶することができ、デバイス104の声認識機が、ユーザ102の環境210の音声記録220を個人202の声識別子208と比較することができる。各個人202のその他の生体測定識別子としては、例えば、指紋、網膜、姿勢または歩調、匂い、あるいは各個人202の生化学的識別子が含まれ得る。
[0058] 図7は、個人202の存在212を検出する1つのこのような技術を含む、この第2の態様の第2の変形を特徴とする例示的なシナリオ700を示す図であり、このシナリオでは、個人202がユーザ102と一緒にいる(212)間に、デバイス104は、その個人202の個人認識識別子を識別し、その個人202の個人認識識別子を記憶し、その後、その個人202の個人認識識別子に従って、その個人202がユーザ102と一緒にいることを検出する。この例示的なシナリオ700では、第1の時点704において、デバイス104は、未知の個人202がユーザ102と一緒にいる(212)ことを検出することができる。デバイス104は、一緒にいる(212)間にカメラ214によって取り込まれた個人202の写真218から個人202の顔の顔識別子206を決定する、および個人202が一緒にいる(212)間にマイクロフォン216によって取り込まれたオーディオサンプル中の個人202の声の声識別子220を決定するなど、個人202の様々な生体測定識別子を取り込むことができる。これらの生体測定識別子は、デバイス104に記憶し(702)、個人202の識別と関連付けることができる(例えば、ユーザのカレンダによるなどして、ユーザ102と一緒にいると予想される個人202を決定する、このような生体測定識別子をソーシャルネットワークなどの既知の個人202の生体測定識別子のソースと比較する、あるいは単純に、そのとき、または後に個人202を識別するようにユーザ102に依頼することによって実現される)。第2の時点706で、ユーザ102が再度個人202と一緒にいると決定されると、デバイス104は、ユーザ102の環境210の第2の写真218および/または第2のオーディオサンプル220を取り込み、この環境サンプルを既知の個人202の生体測定識別子と比較して、個人202がユーザ102と一緒にいる(212)と推定することができる。
[0059] 図8は、この第2の態様の第3の変形を特徴とする例示的なシナリオ800を示す図であり、このシナリオでは、デバイス104は、ユーザ102の位置を検出するユーザ位置検出器と、個人202の位置を検出する個人位置検出器とを含み、選択された個人202の位置とユーザ102の位置とを比較して、個人202がユーザ102と一緒にいる(212)と判定する。例えば、ユーザ102および個人202の両方が、各人の座標804を検出する全地球測位システム(GPS)受信機802を含むデバイス104を持ち運ぶこともできる。座標804の比較806によって、それらのデバイス104同士が、ひいてはユーザ102と個人202とが、互いに10フィート以内など、特定の近傍内にいると推定することができる。したがって、ユーザ102のデバイス104は、個人202とユーザ102とが一緒にいる間に個人202に関連するアクション108を実行することができる。
[0060] この第2の態様の第4の変形として、ユーザ102のデバイス104は、ユーザ102と個人202との間の音声チャット、ビデオ会議チャット、またはテキストチャットセッションなどのユーザ102と個人202との間の通信セッションを検出する通信セッション検出器を含むことがある。この検出は、例えば、通信セッションのメタデータを評価して個人202をその通信セッションの参加者として識別する、またはその通信セッションのメディアストリームに生体測定識別子を適用する(例えば、音声セッション中に個人202の声を検出し、その声を個人202の声識別子208と突き合わせる、など)ことによって、実現することができる。
[0061] この第2の態様の第5の変形として、個人202がユーザ102と一緒にいること(212)は、個人202に関連するデバイスから発出される信号を検出することによって検出することができる。例えば、個人と関連する携帯電話が、セルラ通信信号またはWiFi信号などのワイヤレス信号を発出し、この信号が、そのデバイスの識別子を含んでいることもある。デバイスと個人202との関連が既知である場合には、デバイスから発出される信号中の識別子を検出し、これを個人202がユーザ102と一緒にいるものとして解釈することができる。
[0062] この第2の態様の第6の変形として、存在212の検出は、個人202の存在だけでなく、ユーザ102の存在を検証することを含むこともある。例えば、デバイス104は、ユーザ102の環境210の写真218を評価して個人202の顔の顔識別子206を識別するだけでなく、写真218を評価してユーザ102の顔の顔識別子206を識別することもある。デバイス104が常にユーザ102と共にあると仮定することが許容できることもあるが、個人202だけでなくユーザ102の存在212も検証することが望ましいこともある。例えば、この検証により、個人202とユーザのデバイス104とが遭遇したこと(例えば、個人202が、ユーザ102が不在のときにたまたまユーザのデバイス104に遭遇した場合など)を、個人202とユーザ102とが一緒にいること(212)と区別することができる。あるいは、またはこれに加えて、デバイス104は、最近パスワードを用いてデバイス104をロック解除したことなど、デバイス104との最近の相互作用を、ユーザ102の存在212を示す指示として解釈することもできる。
[0063] この第2の態様の第7の変形として、デバイスは、複数の識別子の組合せを使用して、個人202がユーザ102と一緒にいること(212)を検出することができる。例えば、デバイス104は、個人202の顔識別子と、個人202の声識別子と、個人202が持ち運ぶ第2のデバイスから発出された信号とを同時に検出して、個人202がユーザ102と一緒にいること(212)を検証することができる。これらの信号を組み合わせて評価することにより、例えば、偽陽性(声識別子が、第1の個人に似た声を持つ第2の個人の声と一致することによって個人202の存在212を誤って識別するなど)の割合、および偽陰性(例えば個人202が咽頭炎を患っているときには個人の声識別子が一致しないことがあるなど、識別子の変化によって個人202の存在21を誤って識別し損なうなど)の割合を低下させることができる。本明細書に提示する技術によれば、多数のこのような技術を利用して、個人202がユーザ102と一緒にいることを検出することができる。
[0064] D4.アクションの実行
[0065] 本明細書に提示する技術の実施形態の間で異なる可能性がある第4の態様は、個人202がユーザ102と一緒にいること(212)を検出したときの、アクション108の実行を含む。
[0066] この第4の態様の第1の変形として、1つまたは複数の条件をアクション108に関連付けて、個人202がユーザ102と一緒にいる(212)間に条件が満たされた後で、それぞれのアクション108を実行するようにすることもできる。例えば、条件は、特定の時間範囲の間に、特定の位置で、またはユーザ102がデバイス104上で特定のタイプのアプリケーションを使用している間に、個人202がユーザ102と一緒にいる(212)ときにのみ、アクション108が実行されるように指定することができる。アクション108と関連付けられるこのような条件は、様々な方法で評価することができる。第1のこのような例としては、条件を定期的に評価して、条件が満たされていることを検出することもできる。あるいは、トリガを生成して、デバイス104が、トリガ検出器に、条件が満たされたことを検出するように命令し、条件が満たされたことが検出されたときにトリガ通知を生成するように命令するようにすることもできる。
[0067] この第4の態様の第2の変形として、存在212の検出およびアクション108の呼出しを制限して、プロセッサの容量、メモリ、またはバッテリの容量などのデバイス104の計算リソースの消費、ならびにカメラおよびマイクロフォンなどのセンサの使用を低減することもできる。第1のこのような例としては、デバイス104は、アクション108に関連する条件が満たされたときにのみ、ユーザ102の環境210を評価して個人104がユーザ102と一緒にいること(212)を検出し、それ以外の場合には、環境210を評価することを控えて、バッテリ電力を節約することができる。第2のこのような例としては、デバイス104は、例えば個人202およびユーザ102が一緒にいる可能性が高い位置でのみ検出するなど、個人104がユーザ102と一緒にいることが予想されるときのみ、個人202がユーザ102と一緒にいること(212)を検出することができる。
[0068] この第4の態様の第3の変形として、条件の評価を、デバイス104上のアプリケーションによって補助することもできる。例えば、デバイス104は、アプリケーション条件を提供して、そのアプリケーション条件について条件が満たされたことを検出することができるアプリケーションを、少なくとも1つ含むことができる。デバイス104は、条件付きアクション中にアプリケーション条件を指定した要求を受信したときに、その条件を記憶することができ、アプリケーションを呼び出してアプリケーション条件が満たされたことを判定することによって、その条件を評価することができる。例えば、アプリケーション条件は、個人202およびユーザ102が一緒にいる状態(212)が市場内で起こることを指定することがある。デバイス104は、個人202がユーザ102と一緒にいること(212)を検出することができるが、その一緒にいる(212)位置が市場であるかどうかを判定することができないこともある。したがって、デバイス104は、その一緒にいる(212)位置の座標を既知の市場の座標と比較することができるアプリケーションを呼び出して、ユーザ102と個人202とが市場内で一緒にいるかどうかを判定することができる。
[0069] 図9は、この第4の態様の第4の変形を特徴とする例示的なシナリオ900を示す図であり、このシナリオでは、ユーザ102のデバイス104は、ユーザ102と個人202との間の少なくとも1つの通信を評価して、条件が満たされたことを検出することができ、ここで、通信は、ユーザ102からデバイス104に発行されるコマンドを含まない。この例示的なシナリオ900では、第1の時点910で、デバイス104は、第1の個人102がユーザ102と一緒にいること(212)を検出することができる。デバイス104は、マイクロフォン216を呼び出して、その通信のオーディオサンプル220を生成することができ、音声分析902を実行して、そのユーザ102と個人202との間の通信中でユーザ10がジョーという名の第2の個人102と一緒にいる(212)ときに、ただし条件906(「ジョーが市場を訪れている場合」)を満足する場合にのみ、アクション108(「ジョーにパンを買うように頼む」)を実行することを求める要求416を検出することができる。デバイス104は、アクション108と、条件906と、第2の個人202とを含むリマインダ904を記憶することができる。第2の時点912で、デバイス104は、ユーザ102が第2の個人202と一緒にいること(212)を検出することができ、再度マイクロフォン216を呼び出して、ユーザ102と個人202との間の通信のオーディオサンプル220を生成することができる。このオーディオサンプル220を音声分析902により、条件が満たされたことを明らかにすることができる(例えば、第2の個人が、自分は明日市場に行くつもりだと述べることもある)。デバイス104は、条件906が満たされたこと(908)を検出することができ、個人102がそこにいる(212)間にユーザ102に対してメッセージ120を提示することによって、アクションを実行することができる。
[0070] この第4の態様の第5の変形として、デバイス104は、様々な方法でアクション108を実行することができる。第1のこのような例として、デバイス104は、ユーザ102の耳に向けられたスピーカまたは振動モジュールなどの非視覚的コミュニケータを含むことができ、ユーザ102の耳の中に送り込まれるオーディオまたはモールス符号化メッセージなど、メッセージの非視覚的表現をユーザに対して提示することができる。このような提示により、ユーザ102と一緒にいる(212)間に個人202にも見えてしまう視覚的メッセージより分離した方法でユーザ102にメッセージを通信することができる可能性がある。
[0071] 図10は、この第4の態様の第6の変形を特徴とする例示的なシナリオ1000を示す図であり、このシナリオでは、アクション108は、個人202がユーザ102と一緒にいる(212)間に実行されるが、個人202とユーザ102との間の相互作用1002を中断することを回避する方法で実行される。この例示的なシナリオ1000では、第1の時点104で、デバイス104は、ユーザ102と個人202との間の相互作用を検出し(例えば、ユーザ102と個人202が話をしていることを検出する)、そのために、アクション108を実行することを控える(例えば、相互作用1002の間はユーザ102に対してオーディオまたは視覚メッセージを提示することを控える)。第2の時点1006で、デバイス104は、相互作用1002の一時停止(例えば会話のない期間など)を検出することがあり、このときに、アクション108を実行することができる(例えば、ユーザ102に対してメッセージ120を提示する)。このようにして、デバイス104は、アクション108を実行するタイミングを選択して、ユーザ102と個人202との間の相互作用1002を中断することを回避することができる。アクション108の実行における多数のこのような変形は、本明細書に提示する技術の複数の実施態様に含まれ得る。
[0072] E.環境の計算
[0073] 図11および以下の記述は、本明細書に記載する提供物のうちの1つまたは複数の実施形態を実施するのに適したコンピューティング環境の簡単な全体的説明を与えるものである。図11の動作環境は、適当な動作環境の単なる一例に過ぎず、動作環境の使用または機能の範囲に関するいかなる限定も示唆するものではない。コンピューティングデバイスの例としては、パーソナル・コンピュータ、サーバコンピュータ、手持ち型またはラップトップデバイス、モバイルデバイス(携帯電話、携帯情報端末(PDA)、メディアプレイヤなど)、マルチプロセッサシステム、家電製品、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのいずれかを含む分散型コンピューティング環境などが挙げられるが、これらに限定されるわけではない。
[0074] 実施形態について、「コンピュータ可読命令」が1つまたは複数のコンピューティングデバイスによって実行されるという一般的な状況で説明したが、それが必要というわけではない。コンピュータ可読命令は、コンピュータ可読媒体(後述)を介して配布することができる。コンピュータ可読命令は、特定のタスクを実行する、または特定の抽象データ型を実施する、関数、オブジェクト、アプリケーションプログラミングインタフェース(API)、データ構造などのプログラムモジュールとして実施することができる。通常は、コンピュータ可読命令の機能は、様々な環境で望ましいように組み合わせたり、分散させたりすることができる。
[0075] 図11は、本明細書に提供する1つまたは複数の実施形態を実施するように構成されたコンピューティングデバイス1102を含むシステム1100の一例を示す図である。1つの構成では、コンピューティングデバイス1102は、少なくとも1つの処理ユニット1106と、メモリ1108とを含む。コンピューティングデバイスの正確な構成およびタイプに応じて、メモリ1108は、揮発性(例えば、RAMなど)、不揮発性(例えば、ROM、フラッシュメモリなど)、またはその両者の何らかの組合せであり得る。この構成は、図11には破線1104で示してある。
[0076] 他の実施形態では、デバイス1102は、追加の特徴および/または機能を含むことができる。例えば、デバイス1102は、磁気記憶装置および光学記憶装置など(ただしこれらに限定されない)、追加の記憶装置(例えば、取外し可能および/または取外し不能)を含むこともできる。このような追加の記憶装置は、図11では、記憶装置1110として示してある。1実施形態では、本明細書に提供する1つまたは複数の実施形態を実施するコンピュータ可読命令は、記憶装置1110内にあることもある。記憶装置1110は、オペレーティングシステムおよびアプリケーションプログラムなどを実施するその他のコンピュータ可読命令を記憶することもできる。コンピュータ可読命令は、メモリ1108にロードして、例えば処理ユニット1106によって実行することができる。
[0077] 本明細書で使用する「コンピュータ可読媒体」という用語は、コンピュータ可読記憶デバイスを含む。このようなコンピュータ可読記憶デバイスは、揮発性および/または不揮発性のもの、取外し可能および/または取外し不能のものとすることができ、コンピュータ可読命令またはその他のデータを記憶する様々なタイプの物理デバイスを含み得る。メモリ1108および記憶装置1110は、コンピュータ記憶媒体の例である。コンピュータ記憶デバイスとしては、RAM、ROM、EEPROM、フラッシュメモリまたはその他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)またはその他の光学記憶装置、磁気カセット、磁気テープ、および磁気ディスク記憶装置またはその他の磁気記憶デバイスが含まれるが、これらに限定されるわけではない。
[0078] デバイス1102は、また、デバイス1102が他のデバイスと通信することを可能にする1つまたは複数の通信接続1116を含むこともできる。1つまたは複数の通信接続1116としては、モデム、ネットワークインタフェースカード(NIC)、集積ネットワークインタフェース、無線周波送受信機、赤外線ポート、USB接続、またはコンピューティングデバイス1102を他のコンピューティングデバイスに接続するその他のインタフェースが含まれるが、これらに限定されるわけではない。1つまたは複数の通信接続1116は、有線接続または無線接続を含み得る。1つまたは複数の通信接続1116は、通信媒体を伝送および/または受信することができる。
[0079] 「コンピュータ可読媒体」という用語は、通信媒体を含み得る。通信媒体は、通常、搬送波またはその他の移送機構など、「変調データ信号」に含まれるコンピュータ可読命令またはその他のデータを具現化したものであり、任意の情報送達媒体を含む。「変調データ信号」という用語は、その信号中に情報を符号化するように、その特徴のうちの1つまたは複数が設定または変更されている信号を含み得る。
[0080] デバイス1102は、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス、赤外線カメラ、ビデオ入力デバイス、および/または任意のその他の入力デバイスなど、1つまたは複数の入力デバイス1114を含むことができる。1つまたは複数のディスプレイ、スピーカ、プリンタ、および/または任意のその他の出力デバイスなど、1つまたは複数の出力デバイス1112も、デバイス1102に含めることができる。1つまたは複数の入力デバイス1114および1つまたは複数の出力デバイス1112は、有線接続、無線接続、またはそれらの任意の組合せによってデバイス1102に接続することができる。1実施形態では、別のコンピューティングデバイスの入力デバイスまたは出力デバイスを、コンピューティングデバイス1102用の1つまたは複数の入力デバイス1114または1つまたは複数の出力デバイス1112として使用することができる。
[0081] コンピューティングデバイス1102の構成要素は、バスなど様々な相互接続によって接続することができる。このような相互接続としては、PCI Expressなどの周辺構成要素相互接続(PCI)、ユニバーサルシリアルバス(USB)、ファイヤワイヤ(IEEE1394)および光バス構造などを含み得る。別の実施形態では、コンピューティングデバイス1102の構成要素は、ネットワークによって相互接続することができる。例えば、メモリ1108は、ネットワークによって相互接続された異なる物理的位置に位置する多数の物理メモリユニットから構成されることもある。
[0082] 当業者なら、コンピュータ可読命令を記憶するために利用される記憶デバイスを、ネットワーク上に分散させることができることを認識するであろう。例えば、ネットワーク1118を介してアクセス可能なコンピューティングデバイス1120が、本明細書に提供する1つまたは複数の実施形態を実施するコンピュータ可読命令を記憶することもある。コンピューティングデバイス1102は、コンピューティングデバイス1120にアクセスして、コンピュータ可読命令のうちの一部または全てをダウンロードして実行することができる。あるいは、コンピューティングデバイス1102は、必要に応じてコンピュータ可読命令のうちのいくつかをダウンロードすることもでき、あるいは、一部の命令はコンピューティングデバイス1102で実行し、一部はコンピューティングデバイス1120で実行することもできる。
[0083] F.用語の用法
[0084] 構造的な特徴および/または方法論的な動作に特有の表現で主題について説明したが、添付の特許請求の範囲に定義される主題は、必ずしも上述した具体的な特徴または動作に限定されるわけではないことを理解されたい。上述の具体的な特徴および動作は、限定的なものではなく、請求項を実施する例示的な形態として開示したものである。
[0085] 本願で使用する「構成要素」、「モジュール」、「システム」および「インタフェース」などの用語は、一般に、ハードウェア、ハードウェアとソフトウェアの組合せ、ソフトウェア、または実行中のソフトウェアの、コンピュータ関連エンティティを指すように意図されている。例えば、構成要素は、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行可能、実行スレッド、プログラム、および/またはコンピュータとすることができるが、これらに限定されるわけではない。例示を目的として、制御装置上で動作するアプリケーション、およびその制御装置は、両方とも構成要素とすることができる。1つまたは複数の構成要素が、プロセスおよび/または実行スレッド内にあることもあり、1つの構成要素は、1つのコンピュータ上に位置し、かつ/または2つ以上のコンピュータの間に分散していることもある。
[0086] さらに、請求する主題は、標準的なプログラミングおよび/またはエンジニアリング技術を使用して、開示する主題を実施するようにコンピュータを制御するソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せを製造して、方法、装置、または製造品として実施することができる。本明細書で使用する「製造品」という用語は、任意のコンピュータ可読デバイス、キャリア、または媒体からアクセス可能なコンピュータプログラムを包含するように意図されている。もちろん、当業者なら、請求する主題の範囲または趣旨を逸脱することなく、この構成に多数の修正を加えることができることを認識するであろう。
[0087] 本明細書では、実施形態の様々な動作が提供されている。1実施形態では、記載する動作のうちの1つまたは複数が、コンピューティングデバイスによって実行された場合にそのコンピューティングデバイスに記載する動作を実行させる、1つまたは複数のコンピュータ可読媒体に記憶されたコンピュータ可読命令を構成することもある。これらの動作のうちの一部または全てを説明した順序は、これらの操作が必ず順序依存であることを暗示するものとして解釈すべきではない。当業者なら、本明細書の恩恵があれば、代替の順序付けを理解するであろう。さらに、全ての動作が必ずしも本明細書に提供する各実施形態に存在しているとは限らないことは理解されるであろう。
[0088] さらに、「例示的な」という言葉は、本明細書では、例、場合、または例証として働くことを意味するために使用している。本明細書に「例示的な」として記載されている任意の態様または設計は、必ずしも、他の態様または設計よりも有利であるものと解釈すべきではない。そうではなくて、「例示的な」という言葉を使用しているのは、概念を具体的に提示するためである。本願で使用する「または」という用語は、排他的な「または」ではなく包含的な「または」を意味するように意図している。すなわち、特に指定がない限り、あるいは文脈から明らかでない限り、「XはAまたはBを利用する」は、自然な包含的順列のいずれかを意味するように意図している。すなわち、XがAを利用する場合、XがBを利用する場合、またはXがAおよびBの両方を利用する場合には、「XはAまたはBを利用する」は、上記の場合のいずれでも満たされる。さらに、本願および添付の特許請求の範囲で使用する冠詞「a」および「an」は、一般に、特に指定がない限り、または単数形に向けられていることが文脈から明白でない限り、「1つまたは複数」を意味するものとして解釈することができる。
[0089] また、1つまたは複数の実施態様に関連して本開示を示して説明したが、本明細書および添付の図面を読んで理解すれば、当業者なら等価な代替態様および修正態様を思いつくであろう。本開示は、このような修正および代替を全て含み、以下の特許請求の範囲によってのみ限定される。特に、上述の構成要素(例えば要素、リソースなど)によって実行される様々な機能に関しては、それらの構成要素を説明するために使用される用語は、特に指定がない限り、本開示の本明細書で説明した例示的な実施態様における機能を実行する開示した構造と構造的に等価ではなくても、記載した構成要素(例えば、機能的に等価である構成要素)の指定された機能を実行する任意の構成要素に対応するものと意図されている。さらに、いくつかの実施態様のうちの1つのみに関連して本開示の特定の特徴を開示したが、この特徴は、任意の所与または特定の適用分野で望ましいように、また有利であるように、その他の実施態様の1つまたは複数のその他の特徴と組み合わせることもできる。さらに、詳細な説明または特許請求の範囲で「含む(includes)」、「有している(having)」、「有する(has)」、「備える(with)」、またはそれらの変形表現を使用する限りにおいては、これらの用語は、「含む(comprising)」という用語と同様に包含的であるものと意図している。
Claims (10)
- ユーザのために個人に関係するアクションを実行するように構成されたデバイスであって、メモリを有し、
前記ユーザに既知の少なくともひとりの個人の少なくとも1つの識別子を記憶するメモリと、
ある個人が前記ユーザと一緒にいる間にアクションを実行することを求める要求を前記ユーザから受信したときに、前記個人に関連するアクションを前記メモリに記憶する要求受信機と、
前記ユーザの環境の環境サンプルを取り込み、
前記環境サンプルを評価して個人が前記ユーザと一緒にいることを示す個人の識別子を検出する
個人認識機と、
前記メモリに記憶されている選択されたアクションに関連する選択された個人が前記ユーザと一緒にいることを前記個人認識機が検出したときに、前記ユーザのために前記選択されたアクションを実行するアクション実行機とを含む、デバイス。 - 前記個人認識機が、
前記ユーザの環境の画像を受信するカメラと、
前記ユーザの前記環境の前記画像中で前記選択された個人を認識する個人認識機とをさらに含む、請求項1に記載のデバイス。 - 前記メモリが、前記選択された個人の顔の顔識別子を記憶し、
前記個人認識機が、前記ユーザの前記環境の前記画像中の前記選択された個人の前記顔を、前記選択された個人の前記顔識別子と突き合わせる顔認識機をさらに含む、請求項1に記載のデバイス。 - 前記メモリが、前記選択された個人の声の声識別子を記憶し、
前記デバイスが、前記個人の環境のオーディオサンプルを受信するオーディオ受信機をさらに含み、
前記個人認識機が、前記個人の前記環境の前記オーディオサンプル中の前記選択された個人の前記声の前記声識別子を識別する声認識機をさらに含む、請求項1に記載のデバイス。 - 前記個人認識機が、前記個人が前記ユーザと一緒にいる間に、
前記個人の個人認識識別子を識別することと、
前記個人の前記個人認識識別子を記憶することとをさらに含み、
前記個人認識機が、前記個人の前記個人認識識別子に従って、前記個人が前記ユーザと一緒にいることを検出する、請求項1に記載のデバイス。 - 前記個人認識機が、
前記ユーザの位置を検出するユーザ位置検出器と、
前記選択された個人の位置を検出し、
前記選択された個人の前記位置と前記ユーザの前記位置とを比較して、前記選択された個人が前記ユーザと一緒にいると判定する
個人位置検出器とをさらに含む、請求項1に記載のデバイス。 - 前記個人認識機が、前記ユーザと前記個人との間の通信セッションを検出する通信セッション検出器をさらに含む、請求項1に記載のデバイス。
- 前記個人検出器が、
前記選択された個人が前記ユーザと一緒にいることが予想されると決定し、
前記選択された個人が前記ユーザと一緒にいることが予想される間のみ、前記選択された個人が前記ユーザと一緒にいることを検出する
ことによって前記ユーザと一緒にいることを検出する、請求項1に記載のデバイス。 - 前記要求受信機が、前記アクションが実行される少なくとも1つの条件を前記ユーザから受信したときに、前記アクションに関連する前記少なくとも1つの条件を前記デバイスの前記メモリに記憶することによって前記ユーザからの前記要求を受信し、
前記アクション実行機が、
前記アクションに関連する前記少なくとも1つの条件を評価して条件が満たされたことを検出し、
前記選択された個人が前記ユーザと一緒にいること、および前記アクションの前記少なくとも1つの条件が満たされたことを検出したときに、前記ユーザのために前記アクションを実行することによって
前記アクションを実行する、請求項1に記載のデバイス。 - 前記アクション実行機が、
前記ユーザと前記個人との間の相互作用を検出し、
前記ユーザと前記個人との間の前記相互作用中に、前記アクションを実行することを控え、
前記ユーザと前記個人との間の前記相互作用の一時停止中に、前記アクションを実行することによって
前記アクションを実行する、請求項1に記載のデバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/194,031 US20150249718A1 (en) | 2014-02-28 | 2014-02-28 | Performing actions associated with individual presence |
US14/194,031 | 2014-02-28 | ||
PCT/US2015/017615 WO2015130859A1 (en) | 2014-02-28 | 2015-02-26 | Performing actions associated with individual presence |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017516167A true JP2017516167A (ja) | 2017-06-15 |
Family
ID=52686468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016548615A Pending JP2017516167A (ja) | 2014-02-28 | 2015-02-26 | 個人の存在に関連するアクションの実行 |
Country Status (11)
Country | Link |
---|---|
US (1) | US20150249718A1 (ja) |
EP (1) | EP3111383A1 (ja) |
JP (1) | JP2017516167A (ja) |
KR (1) | KR20160127117A (ja) |
CN (1) | CN106062710A (ja) |
AU (1) | AU2015223089A1 (ja) |
CA (1) | CA2939001A1 (ja) |
MX (1) | MX2016011044A (ja) |
RU (1) | RU2016134910A (ja) |
TW (1) | TW201535156A (ja) |
WO (1) | WO2015130859A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019049661A1 (ja) * | 2017-09-05 | 2019-03-14 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9946862B2 (en) * | 2015-12-01 | 2018-04-17 | Qualcomm Incorporated | Electronic device generating notification based on context data in response to speech phrase from user |
US9877154B2 (en) * | 2016-02-05 | 2018-01-23 | Google Llc | Method and apparatus for providing target location reminders for a mobile device |
US10237740B2 (en) | 2016-10-27 | 2019-03-19 | International Business Machines Corporation | Smart management of mobile applications based on visual recognition |
US11722571B1 (en) * | 2016-12-20 | 2023-08-08 | Amazon Technologies, Inc. | Recipient device presence activity monitoring for a communications session |
US10192553B1 (en) * | 2016-12-20 | 2019-01-29 | Amazon Technologes, Inc. | Initiating device speech activity monitoring for communication sessions |
US10339957B1 (en) * | 2016-12-20 | 2019-07-02 | Amazon Technologies, Inc. | Ending communications session based on presence data |
JP2018136766A (ja) * | 2017-02-22 | 2018-08-30 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
US10623431B2 (en) | 2017-05-15 | 2020-04-14 | Forcepoint Llc | Discerning psychological state from correlated user behavior and contextual information |
US10862927B2 (en) | 2017-05-15 | 2020-12-08 | Forcepoint, LLC | Dividing events into sessions during adaptive trust profile operations |
US10129269B1 (en) | 2017-05-15 | 2018-11-13 | Forcepoint, LLC | Managing blockchain access to user profile information |
US10915643B2 (en) | 2017-05-15 | 2021-02-09 | Forcepoint, LLC | Adaptive trust profile endpoint architecture |
US10447718B2 (en) | 2017-05-15 | 2019-10-15 | Forcepoint Llc | User profile definition and management |
US10999296B2 (en) | 2017-05-15 | 2021-05-04 | Forcepoint, LLC | Generating adaptive trust profiles using information derived from similarly situated organizations |
US10999297B2 (en) | 2017-05-15 | 2021-05-04 | Forcepoint, LLC | Using expected behavior of an entity when prepopulating an adaptive trust profile |
US10917423B2 (en) | 2017-05-15 | 2021-02-09 | Forcepoint, LLC | Intelligently differentiating between different types of states and attributes when using an adaptive trust profile |
US9882918B1 (en) | 2017-05-15 | 2018-01-30 | Forcepoint, LLC | User behavior profile in a blockchain |
WO2019036704A1 (en) * | 2017-08-18 | 2019-02-21 | Carrier Corporation | METHOD FOR RECALLING A FIRST USER TO TERMINATE A TASK ON THE BASIS OF A POSITION IN RELATION TO A SECOND USER |
US10762453B2 (en) * | 2017-09-15 | 2020-09-01 | Honda Motor Co., Ltd. | Methods and systems for monitoring a charging pattern to identify a customer |
CN109582353A (zh) * | 2017-09-26 | 2019-04-05 | 北京国双科技有限公司 | 嵌入数据采集代码的方法及装置 |
CN107908393B (zh) * | 2017-11-17 | 2021-03-26 | 南京国电南自轨道交通工程有限公司 | 一种scada实时模型画面的设计方法 |
US10737585B2 (en) * | 2017-11-28 | 2020-08-11 | International Business Machines Corporation | Electric vehicle charging infrastructure |
TWI677751B (zh) * | 2017-12-26 | 2019-11-21 | 技嘉科技股份有限公司 | 攝像裝置與運作攝像裝置的方法 |
US10511930B2 (en) * | 2018-03-05 | 2019-12-17 | Centrak, Inc. | Real-time location smart speaker notification system |
US10997295B2 (en) | 2019-04-26 | 2021-05-04 | Forcepoint, LLC | Adaptive trust profile reference architecture |
TWI730861B (zh) * | 2020-07-31 | 2021-06-11 | 國立勤益科技大學 | 人群間違反社交距離警示方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002236171A (ja) * | 2000-12-06 | 2002-08-23 | Omron Corp | 侵入物検知方法および侵入物検知装置 |
JP2008011296A (ja) * | 2006-06-30 | 2008-01-17 | Casio Hitachi Mobile Communications Co Ltd | Icタグリーダ付き携帯端末装置及びプログラム |
US8054180B1 (en) * | 2008-12-08 | 2011-11-08 | Amazon Technologies, Inc. | Location aware reminders |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8046000B2 (en) * | 2003-12-24 | 2011-10-25 | Nortel Networks Limited | Providing location-based information in local wireless zones |
US7483061B2 (en) * | 2005-09-26 | 2009-01-27 | Eastman Kodak Company | Image and audio capture with mode selection |
JP5266753B2 (ja) * | 2007-12-28 | 2013-08-21 | 日本電気株式会社 | 在宅情報取得システム、受取人端末装置、受取人端末装置制御方法、在宅情報サーバー、在宅情報サーバー制御方法、及び、プログラム |
US20110043858A1 (en) * | 2008-12-15 | 2011-02-24 | Paul Jetter | Image transfer identification system |
US8145274B2 (en) * | 2009-05-14 | 2012-03-27 | International Business Machines Corporation | Automatic setting of reminders in telephony using speech recognition |
US8537003B2 (en) * | 2009-05-20 | 2013-09-17 | Microsoft Corporation | Geographic reminders |
US8437339B2 (en) * | 2010-04-28 | 2013-05-07 | Hewlett-Packard Development Company, L.P. | Techniques to provide integrated voice service management |
US9055337B2 (en) * | 2012-05-17 | 2015-06-09 | Cable Television Laboratories, Inc. | Personalizing services using presence detection |
US9247387B2 (en) * | 2012-11-13 | 2016-01-26 | International Business Machines Corporation | Proximity based reminders |
-
2014
- 2014-02-28 US US14/194,031 patent/US20150249718A1/en not_active Abandoned
-
2015
- 2015-01-20 TW TW104101809A patent/TW201535156A/zh unknown
- 2015-02-26 JP JP2016548615A patent/JP2017516167A/ja active Pending
- 2015-02-26 AU AU2015223089A patent/AU2015223089A1/en not_active Abandoned
- 2015-02-26 KR KR1020167026896A patent/KR20160127117A/ko unknown
- 2015-02-26 CN CN201580010966.6A patent/CN106062710A/zh active Pending
- 2015-02-26 CA CA2939001A patent/CA2939001A1/en not_active Abandoned
- 2015-02-26 MX MX2016011044A patent/MX2016011044A/es unknown
- 2015-02-26 EP EP15710641.0A patent/EP3111383A1/en not_active Ceased
- 2015-02-26 RU RU2016134910A patent/RU2016134910A/ru not_active Application Discontinuation
- 2015-02-26 WO PCT/US2015/017615 patent/WO2015130859A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002236171A (ja) * | 2000-12-06 | 2002-08-23 | Omron Corp | 侵入物検知方法および侵入物検知装置 |
JP2008011296A (ja) * | 2006-06-30 | 2008-01-17 | Casio Hitachi Mobile Communications Co Ltd | Icタグリーダ付き携帯端末装置及びプログラム |
US8054180B1 (en) * | 2008-12-08 | 2011-11-08 | Amazon Technologies, Inc. | Location aware reminders |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019049661A1 (ja) * | 2017-09-05 | 2019-03-14 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JPWO2019049661A1 (ja) * | 2017-09-05 | 2020-10-15 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11356360B2 (en) | 2017-09-05 | 2022-06-07 | Sony Corporation | Information processing system and information processing method |
JP7272265B2 (ja) | 2017-09-05 | 2023-05-12 | ソニーグループ株式会社 | 情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
MX2016011044A (es) | 2016-10-28 |
CN106062710A (zh) | 2016-10-26 |
CA2939001A1 (en) | 2015-09-03 |
RU2016134910A (ru) | 2018-03-01 |
US20150249718A1 (en) | 2015-09-03 |
EP3111383A1 (en) | 2017-01-04 |
WO2015130859A1 (en) | 2015-09-03 |
AU2015223089A1 (en) | 2016-08-11 |
KR20160127117A (ko) | 2016-11-02 |
RU2016134910A3 (ja) | 2018-10-01 |
TW201535156A (zh) | 2015-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017516167A (ja) | 個人の存在に関連するアクションの実行 | |
US11102624B2 (en) | Automated messaging | |
US10176810B2 (en) | Using voice information to influence importance of search result categories | |
US20190013025A1 (en) | Providing an ambient assist mode for computing devices | |
CN110244931B (zh) | 用于音频输入监视的装置 | |
JP6618489B2 (ja) | 位置ベースのオーディオ・メッセージング | |
TWI644307B (zh) | 用於操作一虛擬助理之方法,電腦可讀儲存媒體,及系統 | |
KR101726945B1 (ko) | 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감 | |
KR102178896B1 (ko) | 선택적으로 조종 가능한 상태 머신을 갖는 개인 보조 모듈 제공 | |
JP6466565B2 (ja) | 発語トリガを常時リッスンするための動的閾値 | |
JP2022095759A (ja) | デジタルアシスタントのためのボイストリガ | |
US9271111B2 (en) | Response endpoint selection | |
US11580501B2 (en) | Automatic detection and analytics using sensors | |
US20140253666A1 (en) | Intent engine for enhanced responsiveness in interactive remote communications | |
JP2018508868A (ja) | コンテキストベースのアクセス検証 | |
US9355640B2 (en) | Invoking action responsive to co-presence determination | |
JP2021532486A (ja) | ホットワード認識および受動的支援 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181127 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190620 |