JP2022537574A - ウェアラブルマルチメディアデバイスおよびレーザ投影システムを伴うクラウドコンピューティングプラットフォーム - Google Patents

Abstract

ウェアラブルマルチメディアデバイス、およびウェアラブルマルチメディアデバイスによって捕捉されるマルチメディアデータを処理するためのアプリケーションエコシステムを伴うクラウドコンピューティングプラットフォームのためのシステム、方法、デバイスおよび非一時的コンピュータ可読記憶媒体が開示される。一実施形態において、身体装着装置が、カメラと、深度センサと、レーザ投影システムと、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、カメラを使用して、一組のデジタル画像を捕捉することと、一組のデジタル画像内のオブジェクトを識別することと、深度センサを使用して、深度データを捕捉することと、深度データ内の装置を装着しているユーザのジェスチャを識別することと、オブジェクトをジェスチャと関連付けることと、オブジェクトと関連したデータを取得することと、レーザ投影システムを使用して、表面上にデータのレーザ投影を投影することとを含む動作を行わせる命令を記憶したメモリとを備える。

Description

関連出願の相互参照
本出願は、２０１９年６月１８日出願の「Ｗｅａｒａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｄｅｖｉｃｅ ａｎｄ Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ Ｐｌａｔｆｏｒｍ Ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎ Ｅｃｏｓｙｓｔｅｍ」のための米国仮特許出願第６２／８６３，２２２号からの、かつ２０１８年５月２０日出願の「Ｗｅａｒａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｄｅｖｉｃｅ ａｎｄ Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ Ｐｌａｔｆｏｒｍ Ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎ Ｅｃｏｓｙｓｔｅｍ」のための米国特許出願第１５／９７６，６３２号の一部継続出願である、２０２０年６月１７日出願の「Ｗｅａｒａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｄｅｖｉｃｅ ａｎｄ Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ Ｐｌａｔｆｏｒｍ Ｗｉｔｈ Ｌａｓｅｒ Ｐｒｏｊｅｃｔｉｏｎ Ｓｙｓｔｅｍ」のための米国特許出願第１６／９０４，５４４号に対する優先権の利益を主張するものであり、これらの特許出願の各々は、その全体が参照により本明細書に組み込まれている。

本開示は、概してクラウドコンピューティングおよびマルチメディア編集に関する。

現代のモバイルデバイス（例えば、スマートフォン、タブレットコンピュータ）は、ユーザが自発的な出来事のデジタル画像またはビデオを撮れるようにする組込みカメラをしばしば含む。これらのデジタル画像およびビデオは、モバイルデバイス上のメモリを解放するために、ユーザアカウントと関連したオンラインデータベースに記憶できる。ユーザは、友人および家族と自分の画像およびビデオを共有し、また自分の様々な再生デバイスを使用してオンデマンドで画像およびビデオをダウンロードまたはストリーミングできる。これらの組込みカメラは、かさばりかつ撮影の準備をするのにより多くの時間をしばしば必要とする従来のデジタルカメラに比べて著しい利点を提供する。

モバイルデバイス組込みカメラの利便性にもかかわらず、これらのデバイスによって捕捉されない多くの重要な瞬間があるというのは、それらの瞬間があまりに急に発生するか、またはユーザが瞬間にのまれて画像もしくはビデオを撮るのを単に忘れるからである。

ウェアラブルマルチメディアデバイス、およびウェアラブルマルチメディアデバイスによって捕捉されるマルチメディアデータを処理するためのアプリケーションエコシステムを伴うクラウドコンピューティングプラットフォームのためのシステム、方法、デバイスおよび非一時的コンピュータ可読記憶媒体が開示される。

一実施形態において、身体装着装置が、カメラと、深度センサと、レーザ投影システムと、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、カメラを使用して、一組のデジタル画像を捕捉することと、一組のデジタル画像内のオブジェクトを識別することと、深度センサを使用して、深度データを捕捉することと、深度データ内の装置を装着しているユーザのジェスチャを識別することと、オブジェクトをジェスチャと関連付けることと、オブジェクトと関連したデータを取得することと、レーザ投影システムを使用して、表面上にデータのレーザ投影を投影することとを含む動作を行わせる命令を記憶したメモリとを備える。

一実施形態において、レーザ投影は、オブジェクトに対するテキストラベルを含む。

一実施形態において、レーザ投影は、オブジェクトに対するサイズテンプレートを含む。

一実施形態において、レーザ投影は、オブジェクトにアクションを行うための命令を含む。

一実施形態において、身体装着装置が、カメラと、深度センサと、レーザ投影システムと、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、センサを使用して、深度データを捕捉することと、深度データ内の第１のジェスチャであって、装置を装着しているユーザによってなされた、ジェスチャを識別することと、第１のジェスチャを要求またはコマンドと関連付けることと、レーザ投影システムを使用して、表面上に要求またはコマンドと関連したレーザ投影を投影することとを含む動作を行わせる命令を記憶したメモリとを備える。

一実施形態において、動作は、深度センサを使用して、レーザ投影と関連した第２のジェスチャを取得することと、第２のジェスチャに基づいてユーザ入力を決定することと、ユーザ入力に従って１つまたは複数のアクションを開始することとを更に含む。

一実施形態において、動作は、第２のジェスチャをしているユーザの手にデータを投影するのを防止するためにレーザ投影をマスクすることを更に含む。

一実施形態において、動作は、深度センサまたはカメラを使用して、表面の幾何形状、材質またはテクスチャを示す深度または画像データを取得することと、表面の幾何形状、材質またはテクスチャに基づいてレーザ投影システムの１つまたは複数のパラメータを調整することとを更に含む。

一実施形態において、動作は、カメラを使用して、表面からのレーザ投影の反射を捕捉することと、レーザ投影が均一な明るさを有するようにレーザ投影の強度を、異なる屈折率を補償するように自動的に調整することとを更に含む。

一実施形態において、装置は、ユーザの被服を通してバッテリパックに磁気結合するように構成される磁気取付け機構であって、バッテリパックから誘導充電を受けるように更に構成される、磁気取付け機構を含む。

一実施形態において、方法が、身体装着装置の深度センサを使用して、深度データを捕捉するステップと、装置の１つまたは複数のプロセッサを使用して、深度データ内の第１のジェスチャであって、装置を装着しているユーザによってなされた、第１のジェスチャを識別するステップと、１つまたは複数のプロセッサを使用して、第１のジェスチャを要求またはコマンドと関連付けるステップと、装置のレーザ投影システムを使用して、表面上に要求またはコマンドと関連したレーザ投影を投影するステップとを含む。

一実施形態において、方法は、深度センサを使用して、ユーザによる第２のジェスチャであって、レーザ投影と関連した、第２のジェスチャを取得するステップと、第２のジェスチャに基づいてユーザ入力を決定するステップと、ユーザ入力に従って１つまたは複数のアクションを開始するステップとを更に含む。

一実施形態において、１つまたは複数のアクションは、別のデバイスを制御することを含む。

一実施形態において、方法は、第２のジェスチャをしているユーザの手にデータを投影するのを防止するためにレーザ投影をマスクするステップを更に含む。

一実施形態において、方法は、深度センサまたはカメラを使用して、表面の幾何形状、材質またはテクスチャを示す深度または画像データを取得するステップと、表面の幾何形状、材質またはテクスチャに基づいてレーザ投影システムの１つまたは複数のパラメータを調整するステップとを更に含む。

一実施形態において、方法が、クラウドコンピューティングプラットフォームの１つまたは複数のプロセッサによって、コンテキストデータを捕捉するための少なくとも１つのデータ捕捉デバイスを含むウェアラブルマルチメディアデバイスからコンテキストデータを受信するステップと、１つまたは複数のプロセッサによって、コンテキストデータの１つまたは複数の特性およびユーザ要求に基づいて１つまたは複数のアプリケーションでデータ処理パイプラインを作成するステップと、１つまたは複数のプロセッサによって、データ処理パイプラインを通してコンテキストデータを処理するステップと、１つまたは複数のプロセッサによって、データ処理パイプラインの出力をウェアラブルマルチメディアデバイスまたは出力の提示のための他のデバイスに送るステップとを含む。

一実施形態において、システムが、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、クラウドコンピューティングプラットフォームの１つまたは複数のプロセッサによって、コンテキストデータを捕捉するための少なくとも１つのデータ捕捉デバイスを含む、ウェアラブルマルチメディアデバイスからコンテキストデータを受信することと、１つまたは複数のプロセッサによって、コンテキストデータの１つまたは複数の特性およびユーザ要求に基づいて１つまたは複数のアプリケーションでデータ処理パイプラインを作成することと、１つまたは複数のプロセッサによって、データ処理パイプラインを通してコンテキストデータを処理することと、１つまたは複数のプロセッサによって、データ処理パイプラインの出力をウェアラブルマルチメディアデバイスまたは出力の提示のための他のデバイスに送ることとを含む動作を行わせる命令を記憶したメモリとを備える。

一実施形態において、非一時的コンピュータ可読記憶媒体が、クラウドコンピューティングプラットフォームの１つまたは複数のプロセッサによって、コンテキストデータを捕捉するための少なくとも１つのデータ捕捉デバイスを含むウェアラブルマルチメディアデバイスからコンテキストデータを受信し、１つまたは複数のプロセッサによって、コンテキストデータの１つまたは複数の特性およびユーザ要求に基づいて１つまたは複数のアプリケーションでデータ処理パイプラインを作成し、１つまたは複数のプロセッサによって、データ処理パイプラインを通してコンテキストデータを処理し、そして１つまたは複数のプロセッサによって、データ処理パイプラインの出力をウェアラブルマルチメディアデバイスまたは出力の提示のための他のデバイスに送るための命令を含む。

一実施形態において、方法が、ウェアラブルマルチメディアデバイスのコントローラによって、ウェアラブルマルチメディアデバイスの１つまたは複数のセンサによって提供される、表面幾何形状、材質またはテクスチャを示す深度または画像データを受けるステップと、コントローラによって、表面幾何形状、材質またはテクスチャに基づいてウェアラブルマルチメディアデバイスのプロジェクタの１つまたは複数のパラメータを調整するステップと、ウェアラブルマルチメディアデバイスのプロジェクタによって、表面上へテキストまたは画像データを投影するステップと、コントローラによって、表面上に投影されたテキストまたは画像データとのユーザ対話を示す１つまたは複数のセンサからの深度または画像データを受けるステップと、コントローラによって、ユーザ対話に基づいてユーザ入力を決定するステップと、ウェアラブルマルチメディアデバイスのプロセッサによって、ユーザ入力に従って１つまたは複数のアクションを開始するステップとを含む。

一実施形態において、ウェアラブルマルチメディアデバイスが、１つまたは複数のセンサと、プロジェクタと、表面幾何形状、材質またはテクスチャを示す、深度または画像データであって、ウェアラブルマルチメディアデバイスの１つまたは複数のセンサによって提供される、深度または画像データを１つまたは複数のセンサから受け、表面幾何形状、材質またはテクスチャに基づいてプロジェクタの１つまたは複数のパラメータを調整し、プロジェクタを使用して表面上へテキストまたは画像データを投影し、表面上に投影されたテキストまたは画像データとのユーザ対話を示す１つまたは複数のセンサからの深度または画像データを受け、ユーザ対話に基づいてユーザ入力を決定し、そしてユーザ入力に従って１つまたは複数のアクションを開始するように構成されるコントローラとを備える。

本明細書に開示される特定の実施形態は以下の利点の１つまたは複数を提供する。ウェアラブルマルチメディアデバイスは、ユーザによる最小の対話で自発的な瞬間および取引のマルチメディアデータを捕捉する。マルチメディアデータは、ユーザ嗜好に基づいてクラウドコンピューティングプラットフォーム上で自動的に編集およびフォーマットされ、次いで各種のユーザ再生デバイス上での再生のためにユーザに利用可能にされる。一実施形態において、データ編集および／または処理は、プロプライエタリであるおよび／またはサードパーティ開発者から提供／ライセンス供与されるアプリケーションのエコシステムによって行われる。アプリケーションエコシステムは、サードパーティ開発者が自身のアプリケーションをアップロード、検証および更新できるようにする様々なアクセスポイント（例えば、ウェブサイト、ポータル、ＡＰＩ）を提供する。クラウドコンピューティングプラットフォームは、エコシステムアプリケーションの１つまたは複数、ユーザ嗜好ならびに他の情報（例えば、データの型または形式、データの量および質）を使用して各マルチメディアデータストリームのためのカスタム処理パイプラインを自動的に構築する。

追加的に、ウェアラブルマルチメディアデバイスは、オブジェクトおよびユーザによる空中ジェスチャを検出し、次いでカメラ画像内のオブジェクトにラベル付けするまたは他のデバイスを制御するなど、検出に基づいて様々なアクションを行うまたは推論することができるカメラおよび深度センサを含む。一実施形態において、ウェアラブルマルチメディアデバイスはディスプレイを含んでおらず、ユーザが、スマートフォンおよびタブレットコンピュータユーザに関する目下の課題であるようにディスプレイに没入することなく、友人、家族および同僚と対話し続けられるようにする。そのため、ウェアラブルマルチメディアデバイスは、例えば、ユーザが現実世界環境から更に離れている、拡張現実（ＡＲ）および仮想現実（ＶＲ）のためのスマートゴーグルまたはスマートグラスとは異なる技術手法をとる。他との協同を容易にするために、かつディスプレイなしを埋め合わせるために、ウェアラブルマルチメディアコンピュータは、テーブル、壁およびユーザの手のひらさえ含め、いかなる表面上へもレーザ投影を投影するレーザ投影システムを含む。レーザ投影は、オブジェクトにラベル付けし、オブジェクトに関連するテキストまたは命令を提供し、かつユーザがメッセージを作り、他のデバイスを制御し、または単に他人とコンテンツを共有して話し合えるようにするエフェメラルユーザインタフェース（例えば、キーボード、数値キーパッド、デバイスコントローラ）を提供することができる。

開示される実施形態の詳細が添付図面および以下の説明に述べられる。他の特徴、目的および利点は同説明、図面および請求項から明らかである。

一実施形態に係る、ウェアラブルマルチメディアデバイスおよびウェアラブルマルチメディアデバイスによって捕捉されたマルチメディアデータを処理するためのアプリケーションエコシステムを伴うクラウドコンピューティングプラットフォームのための動作環境のブロック図である。 一実施形態に係る、図１のクラウドコンピューティングプラットフォームによって実装されるデータ処理システムのブロック図である。 一実施形態に係る、コンテキストデータストリームを処理するためのデータ処理パイプラインのブロック図である。 一実施形態に係る、輸送アプリケーションのためにコンテキストデータストリームを処理するための別のデータ処理のブロック図である。 一実施形態に係る、図２のデータ処理システムによって使用されるデータオブジェクトを例示する。 一実施形態に係る、データパイプラインプロセスのフロー図である。 一実施形態に係る、クラウドコンピューティングプラットフォームのためのアーキテクチャである。 一実施形態に係る、ウェアラブルマルチメディアデバイスのためのアーキテクチャである。 一実施形態に係る、図３に関して記載されたシーン識別アプリケーションのためのグラフィカルユーザインタフェース（ＧＵＩ）例のスクリーンショットである。 一実施形態に係る、図９のＧＵＩを使用して検索できるオブジェクトおよびメタデータへ生または前処理コンテキストデータを分類するための分類器フレームワークを例示する。 一実施形態に係る、ウェアラブルマルチメディアデバイスのためのハードウェアアーキテクチャを図示するシステムブロック図である。 一実施形態に係る、ウェアラブルマルチメディアデバイスから受信される生または前処理コンテキストデータを処理するためにクラウドコンピューティングプラットフォームに実装される処理フレームワークを図示するシステムブロック図である。 一実施形態に係る、ウェアラブルマルチメディアデバイスのためのソフトウェアコンポーネントを例示する。 一実施形態に係る、ユーザの手のひらに様々な種類の情報を投影するウェアラブルマルチメディアデバイスのプロジェクタの使用を例示する。 一実施形態に係る、ユーザの手のひらに様々な種類の情報を投影するウェアラブルマルチメディアデバイスのプロジェクタの使用を例示する。 一実施形態に係る、ユーザの手のひらに様々な種類の情報を投影するウェアラブルマルチメディアデバイスのプロジェクタの使用を例示する。 一実施形態に係る、ユーザの手のひらに様々な種類の情報を投影するウェアラブルマルチメディアデバイスのプロジェクタの使用を例示する。 一実施形態に係る、ユーザが自分のエンジンオイルを点検するのを支援するために自動車エンジン上に情報が投影される、プロジェクタの応用を例示する。 一実施形態に係る、ユーザが自分のエンジンオイルを点検するのを支援するために自動車エンジン上に情報が投影される、プロジェクタの応用を例示する。 一実施形態に係る、家庭の調理人が野菜を切るのを支援するための情報がまな板上へ投影される、プロジェクタの応用を例示する。 一実施形態に係る、プロジェクタアーキテクチャのシステムブロック図である。 一実施形態に係る、異なる表面幾何形状または材質に基づくレーザパラメータの調整を例示する。

様々な図面に使用される同じ参照記号は同様の要素を示す。

概観
ウェアラブルマルチメディアデバイスは、テンションクラスプ、インタロックピンバック、磁石または任意の他の取付け機構を使用してユーザの被服または物体に取り付けることができる軽量で小型状のバッテリ給電デバイスである。ウェアラブルマルチメディアデバイスは、ユーザが最小のユーザ対話またはデバイスセットアップで自発的に生活上の出来事（「瞬間」）のマルチメディアデータ（例えば、ビデオ、オーディオ、深度データ）を捕捉し、また取引（例えば、金融取引）を文書化できるようにするデジタル画像捕捉デバイス（例えば、光学画像安定器（ＯＩＳ）付き１８０°ＦＯＶ）を含む。ワイヤレスマルチメディアデバイスによって捕捉されるマルチメディアデータ（「コンテキストデータ」）は、コンテキストデータを１つまたは複数のアプリケーション（例えば、人工知能（ＡＩ）アプリケーション）によって、ウェアラブルマルチメディアデバイスおよび／または任意の他の再生デバイス上にダウンロードおよび再生できる任意の所望の提示形式（例えば、単一画像、画像ストリーム、ビデオクリップ、オーディオクリップ、マルチメディア提示、画像ギャラリ）へ処理、編集およびフォーマットできるようにするアプリケーションエコシステムを伴うクラウドコンピューティングプラットフォームにアップロードされる。例えば、クラウドコンピューティングプラットフォームは、ビデオデータおよびオーディオデータをユーザによって指定される任意の所望の撮影スタイル（例えば、ドキュメンタリー、ライフスタイル、スナップショット、フォトジャーナリズム、スポーツ、ストリート）へ変換できる。

一実施形態において、コンテキストデータは、ユーザ嗜好に基づいてクラウドコンピューティングプラットフォームのサーバコンピュータによって処理される。例えば、ユーザ嗜好に基づいて、ユーザが再現したい瞬間に完璧に合わせて画像をカラーグレーディング、安定化およびトリミングできる。ユーザ嗜好は、ウェブサイトもしくはポータルを通じてアクセス可能なオンラインアカウントを通じてユーザによって作成されるユーザプロファイルに記憶でき、またはユーザ嗜好は、（例えば、機械学習を使用して）時間と共にプラットフォームによって学習できる。一実施形態において、クラウドコンピューティングプラットフォームはスケーラブルな分散コンピューティング環境である。例えば、クラウドコンピューティングプラットフォームは、データのストリームを変換するまたはそれらに反応するリアルタイムストリーミングデータパイプラインおよびストリーミングアプリケーションを伴う分散ストリーミングプラットフォーム（例えば、Ａｐａｃｈｅ Ｋａｆｋａ（商標））であることができる。

一実施形態において、ユーザは、単純なタッチジェスチャ（例えば、タップもしくはスワイプ）で、コマンドを発することまたは任意の他の入力機構によって、ウェアラブルマルチメディアデバイス上のコンテキストデータ捕捉セッションを開始および停止できる。ウェアラブルマルチメディアデバイスの全部または一部は、１つまたは複数のセンサ（例えば、近接センサ、光学センサ、加速度計、ジャイロスコープ）を使用してデバイスがユーザによって装着されていないことを検出すると自動的に電源を切ることができる。

コンテキストデータは、任意の所望の暗号化または圧縮技術を使用して暗号化および圧縮され、ユーザアカウントと関連したオンラインデータベースに記憶できる。コンテキストデータは、ユーザによって設定できる指定の期間の間記憶できる。ユーザには、ウェブサイト、ポータルまたはモバイルアプリケーションを通じて、自分のデータおよびデータプライバシーを管理するためのオプトイン機構および他のツールを提供できる。

一実施形態において、コンテキストデータは、例えばアプリケーションエコシステムにおける拡張現実（ＡＲ）および仮想現実（ＶＲ）アプリケーションを使用して処理できる３次元（３Ｄ）表面マッピングオブジェクトを提供するために点群データを含む。点群データは、ウェアラブルマルチメディアデバイス上に組み込まれる深度センサ（例えば、ライダまたは飛行時間（ＴＯＦ））によって生成できる。

一実施形態において、ウェアラブルマルチメディアデバイスは、コンテキストデータが捕捉されたときにデバイスを装着しているユーザの位置および向きを決定するための全地球航法衛星システム（ＧＮＳＳ）受信器（例えば、全地球測位システム（ＧＰＳ））および１つまたは複数の慣性センサ（例えば、加速度計、ジャイロスコープ）を含む。一実施形態において、ユーザの場所および向きを決定するためにアプリケーションエコシステムにおける、ビジュアルオドメトリアプリケーションなどの位置確認アプリケーションによってコンテキストデータにおける１つまたは複数の画像を使用できる。

一実施形態において、ウェアラブルマルチメディアデバイスは、周囲光センサ、磁力計、圧力センサ、音声活動検出器等を含むがこれらに限定されない、１つまたは複数の環境センサも含むことができる。このセンサデータをコンテキストデータに含めて、瞬間を捕捉するために使用できる追加情報でコンテンツ提示を強化できる。

一実施形態において、ウェアラブルマルチメディアデバイスは、心拍数センサ、指紋スキャナ等などの１つまたは複数の生体測定センサを含むことができる。このセンサデータをコンテキストデータに含めて、取引を文書化する、または瞬間の間のユーザの情緒状態を示すことができる（例えば、高心拍数は興奮もしくは恐れを示し得る）。

一実施形態において、ウェアラブルマルチメディアデバイスは、ヘッドセットまたはイヤーバッドを接続するヘッドホンジャック、および音声コマンドを受けかつ周囲のオーディオを捕捉するための１つまたは複数のマイクロホンを含む。代替実施形態において、ウェアラブルマルチメディアデバイスは、ブルートゥース、ＩＥＥＥ８０２．１５．４（ＺｉｇＢｅｅ（商標））および近距離無線通信（ＮＦＣ）を含むがこれらに限定されない、狭域通信技術を含む。狭域通信技術は、ヘッドホンジャックに加えて、もしくはそれの代わりにワイヤレスヘッドセットもしくはイヤーバッドにワイヤレスで接続するために使用でき、かつ／または任意の他の外部デバイス（例えば、コンピュータ、プリンタ、プロジェクタ、テレビジョンおよび他のウェアラブルデバイス）にワイヤレスで接続できる。

一実施形態において、ウェアラブルマルチメディアデバイスは、ワイヤレス送受信器ならびに、ＷｉＦｉ、３Ｇ、４Ｇおよび５Ｇ通信技術を含め、各種の通信技術のための通信プロトコルスタックを含む。一実施形態において、ヘッドセットまたはイヤーバッドは、頭部ジェスチャ等でコマンドを提供するために、ユーザが向いている方向についての情報を提供するセンサ（例えば、生体測定センサ、慣性センサ）も含む。一実施形態において、カメラ方向は、カメラ視野がユーザの視野方向に追従するように、頭部ジェスチャによって制御できる。一実施形態において、ウェアラブルマルチメディアデバイスはユーザの眼鏡に組み込むまたは取り付けることができる。

一実施形態において、ウェアラブルマルチメディアデバイスは、ユーザが壁またはテーブル天板などの表面上に瞬間を再生できるようにする、プロジェクタ（例えば、レーザプロジェクタ、ＬＣｏＳ、ＤＬＰ、ＬＣＤ）を含む、または外部プロジェクタに配線もしくはワイヤレスで結合できる。別の実施形態において、ウェアラブルマルチメディアデバイスは、プロジェクタまたは他の出力デバイスに接続できる出力ポートを含む。

一実施形態において、ウェアラブルマルチメディア捕捉デバイスは、タッチジェスチャ（例えば、タップ、マルチタップまたはスワイプジェスチャ）に応答するタッチ面を含む。ウェアラブルマルチメディアデバイスは、情報を提示するための小型ディスプレイおよびオン／オフステータス、電力状況または任意の他の所望のステータスを示す１つまたは複数の光インジケータを含んでよい。

一実施形態において、クラウドコンピューティングプラットフォームは、ユーザが自分の環境における物体を指差して「その建物は何か」と言うなど、音声クエリと組み合わせてコンテキストベースのジェスチャ（例えば、空中ジェスチャ）によって駆動できる。クラウドコンピューティングプラットフォームは、空中ジェスチャを使用して、カメラのビューポートの範囲を狭めて建物を分離する。建物の１つまたは複数の画像が捕捉されてクラウドコンピューティングプラットフォームに送られ、そこで画像認識アプリケーションが画像クエリを実行して、結果を記憶するまたはユーザに返すことができる。空中およびタッチジェスチャは、投影されたエフェメラルディスプレイ上で、例えばユーザインタフェース要素に応答して行うこともできる。

一実施形態において、コンテキストデータは、ユーザまたは任意の許可された閲覧者だけが接続された画面（例えば、スマートフォン、コンピュータ、テレビジョン等）上でまたは表面上の投影として瞬間を再現できるように、デバイス上でおよびクラウドコンピューティングプラットフォーム上で暗号化できる。ウェアラブルマルチメディアデバイスのためのアーキテクチャ例は図８に関して記載される。

個人的な生活上の出来事に加えて、ウェアラブルマルチメディアデバイスは、今スマートフォンによって処理されている金融取引の捕捉を簡単にする。日々の取引（例えば、商取引、マイクロ取引）の捕捉は、ウェアラブルマルチメディアデバイスによって提供される視覚支援コンテキストアウェアネスを使用することによって、より簡単、より迅速かつより潤滑にされる。例えば、ユーザが金融取引（例えば、購入をすること）に関与するとき、ウェアラブルマルチメディアデバイスは、日付、時刻、金額、当事者のデジタル画像またはビデオ、オーディオ（例えば、取引を説明するユーザ注釈）および環境データ（例えば、位置データ）を含め、金融取引を記憶するデータを生成することになる。データは、クラウドコンピューティングプラットフォームに送られるマルチメディアデータストリームに含めることができ、そこでデータをオンラインで記憶できかつ／または１つもしくは複数の金融アプリケーション（例えば、財務管理、会計、予算、税務申告書作成、在庫等）によって処理できる。

一実施形態において、クラウドコンピューティングプラットフォームは、ウェブサイトまたはポータル上に、様々なサードパーティアプリケーション開発者がアプリケーションエコシステムにおいて自身のアプリケーションをアップロード、更新および管理できるようにするグラフィカルユーザインタフェースを提供する。一部のアプリケーション例には、個人生配信（例えば、Ｉｎｓｔａｇｒａｍ（商標）Ｌｉｖｅ、Ｓｎａｐｃｈａｔ（商標））、高齢者監視（例えば、大切な人が薬を飲んだことを確認するため）、想起（例えば、先週の子供のサッカーの試合を見せること）および個人ガイド（例えば、ユーザの位置を知っており、またアクションを行うようユーザを導くＡＩ対応個人ガイド）を含むことができるが、これらに限定されない。

一実施形態において、ウェアラブルマルチメディアデバイスは、１つまたは複数のマイクロホンおよびヘッドセットを含む。一部の実施形態において、ヘッドセットワイヤはマイクロホンを含む。一実施形態において、ウェアラブルマルチメディアデバイス上に、ユーザクエリ、要求およびコマンドに応答するデジタルアシスタントが実装される。例えば、親によって装着されるウェアラブルマルチメディアデバイスは、子供のサッカーの試合に対する瞬間コンテキストデータ、特に子供がゴールを決める「瞬間」を捕捉する。ユーザは、プラットフォームがゴールのビデオクリップを作成して、それをユーザのユーザアカウントに記憶するように（例えば、音声コマンドを使用して）要求できる。ユーザによるいかなる更なるアクションもなしで、クラウドコンピューティングプラットフォームは、ゴールが決められたときに（例えば、顔認識、ビジュアルまたはオーディオキューを使用して）瞬間コンテキストデータの正しい部分を識別し、瞬間コンテキストデータをビデオクリップへ編集し、そしてビデオクリップをユーザアカウントと関連したデータベースに記憶する。

一実施形態において、デバイスは、バッテリ寿命を持続する光起電面技術ならびに、充電マット上の誘導充電およびワイヤレスオーバージエア（ＯＴＡ）充電を可能にする誘導充電回路網（例えば、Ｑｉ）を含むことができる。

一実施形態において、ウェアラブルマルチメディアデバイスは、再充電携帯バッテリパックと磁気結合するまたは合わさるように構成される。携帯バッテリパックは、上に永久磁石（例えば、Ｎ極）が設けられる合わせ面を含み、そしてウェアラブルマルチメディアデバイスは、上に永久磁石（例えば、Ｓ極）が設けられる対応する合わせ面を有する。任意の所望の形状またはサイズを有する任意の数の永久磁石を合わせ面上に任意の所望のパターンで配置できる。

永久磁石は、携帯バッテリパックおよびウェアラブルマルチメディアデバイスを共に被服（例えば、ユーザのシャツ）を間にして合わさった構成に保つ。一実施形態において、携帯バッテリパックおよびウェアラブルマルチメディアデバイスは同じ合わせ面寸法を有し、その結果、合わさった構成にあるときに張出し部分がない。ユーザは、自分の被服の裏側に携帯バッテリパックを置き、そして自分の被服の外側で携帯バッテリパックの上にウェアラブルマルチメディアデバイスを置き、その結果、永久磁石が被服を通して互いを引きつけることによって、自分の被服にウェアラブルマルチメディアデバイスを磁気的に留める。一実施形態において、携帯バッテリパックは、共振誘導結合の原理を使用して合わさった構成にある間ウェアラブルマルチメディアデバイスにワイヤレスで給電するために使用される組込みワイヤレス送電器を有する。一実施形態において、ウェアラブルマルチメディアデバイスは、合わさった構成にある間、携帯バッテリパックから電力を受けるために使用される組込みワイヤレス受電器を含む。

動作環境例
図１は、一実施形態に係る、ウェアラブルマルチメディアデバイスおよびウェアラブルマルチメディアデバイスによって捕捉されたマルチメディアデータを処理するためのアプリケーションエコシステムを伴うクラウドコンピューティングプラットフォームのための動作環境のブロック図である。動作環境１００は、ウェアラブルマルチメディアデバイス１０１、クラウドコンピューティングプラットフォーム１０２、ネットワーク１０３、アプリケーション（「アプリ」）開発者１０４およびサードパーティプラットフォーム１０５を含む。クラウドコンピューティングプラットフォーム１０２は、ウェアラブルマルチメディアデバイス１０１によってアップロードされたコンテキストデータを記憶するための１つまたは複数のデータベース１０６に結合される。

前記したように、ウェアラブルマルチメディアデバイス１０１は、テンションクラスプ、インタロックピンバック、磁石または任意の他の取付け機構を使用してユーザの被服または物体に取り付けることができる軽量で小型状のバッテリ給電デバイスである。ウェアラブルマルチメディアデバイス１０１は、ユーザが最小のユーザ対話またはデバイスセットアップで自発的に「瞬間」のマルチメディアデータ（例えば、ビデオ、オーディオ、深度データ）を捕捉し、また日々の取引（例えば、金融取引）を文書化できるようにするデジタル画像捕捉デバイス（例えば、ＯＩＳ付き１８０°ＦＯＶ）を含む。ワイヤレスマルチメディアデバイス１０１によって捕捉されたコンテキストデータはクラウドコンピューティングプラットフォーム１０２にアップロードされる。クラウドコンピューティングプラットフォーム１０２は、コンテキストデータを１つまたは複数のサーバ側アプリケーションによって、ウェアラブルマルチメディアデバイスおよび／または他の再生デバイス上にダウンロードおよび再生できる任意の所望の提示形式（例えば、単一画像、画像ストリーム、ビデオクリップ、オーディオクリップ、マルチメディア提示、画像ギャラリ）へ処理、編集およびフォーマットできるようにするアプリケーションエコシステムを含む。

例として、子供の誕生会で、親は、カメラレンズが自分の視野方向に向いているように自分の被服上にウェアラブルマルチメディアデバイスを留める（またはネックレスもしくはチェーンにデバイスを取り付けて自分の首周りに装着する）ことができる。カメラは、ユーザが今見ているほとんど全てをカメラが捕捉できるようにする１８０°ＦＯＶを含む。ユーザは、単にデバイスの表面をタップするまたはボタンを押すことによって記録を開始できる。追加のセットアップは必要とされない。誕生日の特別な瞬間（例えば、ロウソクの吹消し）を捕捉したマルチメディアデータストリーム（例えば、オーディオ付きビデオ）が記録される。この「コンテキストデータ」は、ワイヤレスネットワーク（例えば、ＷｉＦｉ、セルラ）を通じてリアルタイムでクラウドコンピューティングプラットフォーム１０２に送られる。一実施形態において、コンテキストデータは、それを後になってアップロードできるようにウェアラブルマルチメディアデバイス上に記憶される。別の実施形態において、ユーザは、コンテキストデータを別のデバイス（例えば、パーソナルコンピュータのハードドライブ、スマートフォン、タブレットコンピュータ、サムドライブ）に転送し、そして後になってアプリケーションを使用してコンテキストデータをクラウドコンピューティングプラットフォーム１０２にアップロードできる。

一実施形態において、コンテキストデータは、クラウドコンピューティングプラットフォーム１０２によってホストおよび管理されるアプリケーションエコシステムの１つまたは複数のアプリケーションによって処理される。アプリケーションは、それらの個々のアプリケーションプログラミングインタフェース（ＡＰＩ）を通じてアクセスできる。コンテキストデータをデータ型、データ量、データ品質、ユーザ嗜好、テンプレートおよび／または任意の他の情報の１つまたは複数に基づいて処理して、ユーザ嗜好に基づく所望の提示を生成するように、クラウドコンピューティングプラットフォーム１０２によってカスタム分散ストリーミングパイプラインが作成される。一実施形態において、ユーザ嗜好の有無にかかわらずデータ処理パイプラインに含めるのに適切なアプリケーションを自動的に選択するために機械学習技術を使用できる。例えば、任意の適切な機械学習技術（例えば、深層学習または畳込みニューラルネットワーク）を使用してデータ処理のためのユーザ嗜好を決定するために、データベース（例えば、ＮｏＳＱＬデータベース）に記憶された履歴ユーザコンテキストデータを使用できる。

一実施形態において、アプリケーションエコシステムは、コンテキストデータを処理するサードパーティプラットフォーム１０５を含むことができる。コンテキストデータを送／受信するためにクラウドコンピューティングプラットフォーム１０２とサードパーティプラットフォーム１０５との間にセキュアセッションが確立される。この設計は、サードパーティアプリプロバイダがそれ自体のアプリケーションへのアクセスを制御し、また更新を提供できるようにする。他の実施形態において、アプリケーションはクラウドコンピューティングプラットフォーム１０２のサーバ上で実行され、そして更新はクラウドコンピューティングプラットフォーム１０２に送られる。後者の実施形態において、アプリ開発者１０４は、クラウドコンピューティングプラットフォーム１０２によって提供されるＡＰＩを使用して、アプリケーションエコシステムに含まれるべきアプリケーションをアップロードおよび更新できる。

データ処理システム例
図２は、一実施形態に係る、図１のクラウドコンピューティングプラットフォームによって実装されるデータ処理システムのブロック図である。データ処理システム２００は、レコーダ２０１、ビデオバッファ２０２、オーディオバッファ２０３、写真バッファ２０４、取込サーバ（ｉｎｇｅｓｔｉｏｎ ｓｅｒｖｅｒ）２０５、データストア２０６、ビデオプロセッサ２０７、オーディオプロセッサ２０８、写真プロセッサ２０９およびサードパーティプロセッサ２１０を含む。

ウェアラブルマルチメディアデバイス上で実行されるレコーダ２０１（例えば、ソフトウェアアプリケーション）は、カメラおよびオーディオサブシステムによって捕捉されるビデオ、オーディオおよび写真データ（「コンテキストデータ」）を記録し、そしてデータをそれぞれバッファ２０２、２０３、２０４に記憶する。このコンテキストデータは、次いでクラウドコンピューティングプラットフォーム１０２の取込サーバ２０５に（例えば、ワイヤレスＯＴＡ技術を使用して）送られる。一実施形態において、データは、各々一意のストリーム識別子（ｓｔｒｅａｍｉｄ）を伴う別々のデータストリームで送ることができる。ストリームは、属性例として、位置（例えば、緯度、経度）、ユーザ、オーディオデータ、様々な継続時間のビデオストリームおよびＮ個の写真を含み得る別個のデータ片である。ストリームは、１～ＭＡＸＳＴＲＥＡＭ＿ＬＥＮ秒の継続時間を有することができ、本例ではＭＡＸＳＴＲＥＡＭ＿ＬＥＮ＝２０秒である。

取込サーバ２０５は、ストリームを取り込み、そしてデータストア２０６にストリームレコードを作成してプロセッサ２０７～２０９の結果を記憶する。一実施形態において、オーディオストリームが最初に処理され、必要とされるその他のストリームを決定するために使用される。取込サーバ２０５は、ｓｔｒｅａｍｉｄに基づいてストリームを適切なプロセッサ２０７～２０９に送る。例えば、ビデオストリームはビデオプロセッサ２０７に送られ、オーディオストリームはオーディオプロセッサ２０８に送られ、そして写真ストリームは写真プロセッサ２０９に送られる。一実施形態において、ウェアラブルマルチメディアデバイスから収集されたデータ（例えば、画像データ）の少なくとも一部分を、それが所与のアプリケーションによって更に処理できるようにメタデータへ処理して暗号化し、そしてウェアラブルマルチメディアデバイスまたは他のデバイスに送り返す。

プロセッサ２０７～２０９は、前記したようにプロプライエタリまたはサードパーティアプリケーションを実行することができる。例えば、ビデオプロセッサ２０７は、ビデオバッファ２０２に記憶された生ビデオデータをユーザ嗜好または他の情報に基づいて一組の１つまたは複数の画像処理／編集アプリケーション２１１、２１２に送るビデオ処理サーバであることができる。プロセッサ２０７は、アプリケーション２１１、２１２に要求を送り、そして取込サーバ２０５に結果を返す。一実施形態において、サードパーティプロセッサ２１０は、それ自体のプロセッサおよびアプリケーションを使用してストリームの１つまたは複数を処理できる。別の例では、オーディオプロセッサ２０８は、オーディオバッファ２０３に記憶された音声データを音声テキスト変換アプリケーション２１３に送るオーディオ処理サーバであることができる。

シーン識別アプリケーション例
図３は、一実施形態に係る、コンテキストデータストリームを処理するためのデータ処理パイプラインのブロック図である。本実施形態において、データ処理パイプライン３００は、ユーザによって装着されるウェアラブルマルチメディアデバイスによって捕捉されたコンテキストデータに基づいてユーザが何を見ているか判定するように作成および構成される。取込サーバ３０１は、ウェアラブルマルチメディアデバイスのオーディオバッファ２０３から（例えば、ユーザ注釈を含む）オーディオストリームを受信し、そしてオーディオストリームをオーディオプロセッサ３０５に送る。オーディオプロセッサ３０５は、オーディオストリームを、音声テキスト変換を行って、解析されたテキストをオーディオプロセッサ３０５に返すアプリ３０６に送る。オーディオプロセッサ３０５は、解析されたテキストを取込サーバ３０１に返す。

ビデオプロセッサ３０２は、取込サーバ３０１から解析されたテキストを受け、そしてビデオ処理アプリ３０７に要求を送る。ビデオ処理アプリ３０７は、ビデオシーン内のオブジェクトを識別し、そして解析されたテキストを使用してオブジェクトにラベル付けする。ビデオ処理アプリ３０７は、シーンを記述する応答（例えば、ラベル付きオブジェクト）をビデオプロセッサ３０２に送る。ビデオプロセッサは、次いで応答を取込サーバ３０１に転送する。取込サーバ３０１は応答をデータマージプロセス３０８に送り、これが応答をユーザの位置、向きおよびマップデータとマージする。データマージプロセス３０８は、ウェアラブルマルチメディアデバイス上のレコーダ３０４にシーン記述で応答を返す。例えば、応答は、マップ位置およびシーン内のオブジェクトの記述（例えば、シーン内の人々を識別する）を含め、シーンを子供の誕生会と記述するテキストを含むことができる。レコーダ３０４は、シーン記述をウェアラブルマルチメディアデバイス上に記憶されたマルチメディアデータと（例えばｓｔｒｅａｍｉｄを使用して）関連付ける。ユーザがデータを呼び出すと、データはシーン記述で強化される。

一実施形態において、データマージプロセス３０８は、単なる位置およびマップデータ以上のものを使用し得る。オントロジの概念もあることができる。例えば、画像に捕捉されるユーザのお父さんの顔特徴はクラウドコンピューティングプラットフォームによって認識でき、ユーザの名前ではなく「お父さん」として返すことができ、そして「５５５ Ｍａｉｎ Ｓｔｒｅｅｔ， Ｓａｎ Ｆｒａｎｃｉｓｃｏ， ＣＡ」などの住所は「自宅」として返すことができる。オントロジはユーザに固有であることができ、かつユーザの入力から成長および学習できる。

輸送アプリケーション例
図４は、一実施形態に係る、輸送アプリケーションのためにコンテキストデータストリームを処理するための別のデータ処理のブロック図である。本実施形態において、データ処理パイプライン４００は、自宅まで乗せてもらうために輸送会社（例えば、Ｕｂｅｒ（登録商標）、Ｌｙｆｔ（登録商標））を呼ぶように作成される。ウェアラブルマルチメディアデバイスからのコンテキストデータが取込サーバ４０１によって受信され、そしてオーディオバッファ２０３からのオーディオストリームがオーディオプロセッサ４０５に送られる。オーディオプロセッサ４０５はオーディオストリームをアプリ４０６に送り、アプリ４０６は音声をテキストに変換する。解析されたテキストはオーディオプロセッサ４０５に返され、オーディオプロセッサ４０５は解析されたテキストを取込サーバ４０１に返す（例えば、ユーザの音声による輸送の要求）。処理されたテキストがサードパーティプロセッサ４０２に送られる。サードパーティプロセッサ４０２は、サードパーティアプリケーション４０７（例えば、Ｕｂｅｒ（登録商標）またはＬｙｆｔ（商標）（登録商標）アプリケーション）にユーザ位置およびトークンを送る。一実施形態において、トークンは、ユーザに代わって要求を仲介するために使用されるＡＰＩおよび許可トークンである。アプリケーション４０７はサードパーティプロセッサ４０２に応答データ構造を返し、応答データ構造は取込サーバ４０１に転送される。取込サーバ４０１は、応答データ構造における乗車到着ステータス（例えば、ＥＴＡ）を確認して、ユーザコールバックキュー４０８にユーザへのコールバックを設定する。取込サーバ４０１はレコーダ４０４に車両記述で応答を返し、これをウェアラブルマルチメディアデバイス上のラウドスピーカを通して、または有線もしくは無線接続を介してユーザのヘッドホンもしくはイヤーバッドを通してデジタルアシスタントによってユーザに発することができる。

図５は、一実施形態に係る、図２のデータ処理システムによって使用されるデータオブジェクトを例示する。データオブジェクトは、クラウドコンピューティングプラットフォーム上でインスタンス化されるソフトウェアコンポーネントインフラストラクチャの一部である。「Ｓｔｒｅａｍｓ（ストリーム）」オブジェクトはデータｓｔｒｅａｍｉｄ、ｄｅｖｉｃｅｉｄ、ｓｔａｒｔ、ｅｎｄ、ｌａｔ、ｌｏｎ、ａｔｔｒｉｂｕｔｅｓおよびｅｎｔｉｔｉｅｓを含む。「ｓｔｒｅａｍｉｄ」はストリーム（例えば、ビデオ、オーディオ、写真）を識別し、「ｄｅｖｉｃｅｉｄ」はウェアラブルマルチメディアデバイス（例えば、モバイルデバイスＩＤ）を識別し、「ｓｔａｒｔ」はコンテキストデータストリームの開始時間であり、「ｅｎｄ」はコンテキストデータストリームの終了時間であり、「ｌａｔ」はウェアラブルマルチメディアデバイスの緯度であり、「ｌｏｎ」はウェアラブルマルチメディアデバイスの経度であり、「ａｔｔｒｉｂｕｔｅｓ」は例えば誕生日、顔特徴点、肌色、オーディオ特性、住所、電話番号等を含み、そして「ｅｎｔｉｔｉｅｓ」はオントロジを構成する。例えば、名前「Ｊｏｈｎ Ｄｏ」は、ユーザに応じて「お父さん」または「兄（もしくは弟）」にマッピングされる。

「Ｕｓｅｒｓ（ユーザ）」オブジェクトはデータｕｓｅｒｉｄ、ｄｅｖｉｃｅｉｄ、ｅｍａｉｌ、ｆｎａｍｅおよびｌｎａｍｅを含む。ｕｓｅｒｉｄはユーザを一意識別子で識別し、ｄｅｖｉｃｅｉｄはウェアラブルデバイスを一意識別子で識別し、ｅｍａｉｌはユーザの登録電子メールアドレスであり、ｆｎａｍｅはユーザの名であり、そしてｌｎａｍｅはユーザの姓である。「Ｕｓｅｒｄｅｖｉｃｅｓ（ユーザデバイス）」オブジェクトはデータｕｓｅｒｉｄおよびｄｅｖｉｃｅｉｄを含む。「Ｄｅｖｉｃｅｓ（デバイス）」オブジェクトはデータｄｅｖｉｃｅｉｄ、ｓｔａｒｔｅｄ、ｓｔａｔｅ、ｍｏｄｉｆｉｅｄおよびｃｒｅａｔｅｄを含む。一実施形態において、ｄｅｖｉｃｅｉｄはデバイスに対する（例えば、ＭＡＣアドレスとは別個の）一意識別子である。ｓｔａｒｔｅｄは、デバイスが初めて開始された時である。ｓｔａｔｅはオン／オフ／スリープである。ｍｏｄｉｆｉｅｄは最終修正日であり、最後の状態変更またはオペレーティングシステム（ＯＳ）変更を反映する。ｃｒｅａｔｅｄは、デバイスがオンにされた初回である。

「ＰｒｏｃｅｓｓｉｎｇＲｅｓｕｌｔｓ（処理結果）」オブジェクトはデータｓｔｒｅａｍｉｄ、ａｉ、ｒｅｓｕｌｔ、ｃａｌｌｂａｃｋ、ｄｕｒａｔｉｏｎおよびａｃｃｕｒａｃｙを含む。一実施形態において、ｓｔｒｅａｍｉｄは汎用一意識別子（ＵＵＩＤ）としての各ユーザストリームである。例えば、８：００ＡＭから１０：００ＡＭに開始されたストリームはｉｄ：１５ｈ１５８ｄｈｂ４を有することになり、そして１０：１５ＡＭから１０：１８ＡＭに開始するストリームは、このストリームのために接触されたＵＵＩＤを有することになる。ａｉは、このストリームのために接触されたプラットフォームアプリケーションに対する識別子である。ｒｅｓｕｌｔは、プラットフォームアプリケーションから送られたデータである。ｃａｌｌｂａｃｋは、使用されたコールバックである（バージョンが変更し得るため、プラットフォームが要求を再生する必要がある場合に備えてコールバックは追跡される）。ａｃｃｕｒａｃｙは、結果セットがどれくらい正確であるかに対するスコアである。一実施形態において、処理結果は、１）マージサーバに全セットの結果を通知するため、２）ユーザ体験を向上できるように最速のＡＩを決定するため、および３）最も正確なａｉを決定するためなど、複数タスクに対して使用できる。ユースケースに応じて、精度より速度を優先しても、その逆でもよい。

「Ｅｎｔｉｔｉｅｓ（エンティティ）」オブジェクトはデータｅｎｔｉｔｙＩＤ、ｕｓｅｒＩＤ、ｅｎｔｉｔｙＮａｍｅ、ｅｎｔｉｔｙＴｙｐｅおよびｅｎｔｉｔｙＡｔｔｒｉｂｕｔｅを含む。ｅｎｔｉｔｙＩＤはエンティティに対するＵＵＩＤであり、エンティティは、ｅｎｔｉｔｙＩＤがその１つのエンティティを参照する複数項目を有する。例えば、「バラク・オバマ」が１４４のｅｎｔｉｔｙＩＤを有すると、これは、関連テーブルにおいてＰＯＴＵＳ４４または「バラク・フセイン・オバマ」または「オバマ大統領」にリンクされ得る。ｕｓｅｒＩＤは、エンティティレコードが作られたユーザを識別する。ｅｎｔｉｔｙＮａｍｅは、ｕｓｅｒＩＤがエンティティを呼ぶ名前である。例えば、ｅｎｔｉｔｙＩＤ １４４に対するマリア・オバマのｅｎｔｉｔｙＮａｍｅは「お父さん」または「パパ」であり得る。ｅｎｔｉｔｙＴｙｐｅは人、場所または物である。ｅｎｔｉｔｙＡｔｔｒｉｂｕｔｅは、ｕｓｅｒＩＤによるエンティティの理解に固有であるそのエンティティについての属性の配列である。これにより、例えばマリアが音声クエリ：「あなたにお父さんが見えますか」を発すると、クラウドコンピューティングプラットフォームは、クエリをバラク・フセイン・オバマに翻訳し、サードパーティに要求を仲介するまたはシステムで情報を調べる際にそれを使用できるように、エンティティを共にマッピングする。

プロセス例
図６は、一実施形態に係る、データパイプラインプロセスのフロー図である。プロセス６００は、図１～図５に関して記載されたウェアラブルマルチメディアデバイス１０１およびクラウドコンピューティングプラットフォーム１０２を使用して実装できる。

プロセス６００は、ウェアラブルマルチメディアデバイスからコンテキストデータを受信すること（６０１）によって始まることができる。例えば、コンテキストデータは、ウェアラブルマルチメディアデバイスのカメラおよびオーディオサブシステムによって捕捉されたビデオ、オーディオおよび静止画像を含むことができる。

プロセス６００は、コンテキストデータおよびユーザ要求／嗜好に基づいてアプリケーションでデータ処理パイプラインを作成（例えば、インスタンス化）すること（６０２）によって続くことができる。例えば、ユーザ要求または嗜好に基づいて、かつデータ型（例えば、オーディオ、ビデオ、写真）にも基づいて、１つまたは複数のアプリケーションが論理的に接続されて、コンテキストデータをウェアラブルマルチメディアデバイスまたは別のデバイス上で再生されるべき提示へ処理するデータ処理パイプラインを形成できる。

プロセス６００は、データ処理パイプラインでコンテキストデータを処理すること（６０３）によって続くことができる。例えば、瞬間または取引の間のユーザ注釈からの音声をテキストへ変換でき、次いでこれを使用してビデオクリップ内のオブジェクトにラベル付けする。

プロセス６００は、データ処理パイプラインの出力をウェアラブルマルチメディアデバイスおよび／または他の再生デバイスに送ること（６０４）によって続くことができる。

クラウドコンピューティングプラットフォームアーキテクチャ例
図７は、一実施形態に係る、図１～図６および図９に関して記載されるクラウドコンピューティングプラットフォーム１０２のためのアーキテクチャ例７００である。より多くのまたはより少ないコンポーネントを伴うアーキテクチャを含め、他のアーキテクチャも可能である。一部の実装例において、アーキテクチャ７００は、１つまたは複数のプロセッサ７０２（例えば、デュアルコアＩｎｔｅｌ（登録商標）Ｘｅｏｎ（登録商標）プロセッサ）、１つまたは複数のネットワークインタフェース７０６、１つまたは複数の記憶デバイス７０４（例えば、ハードディスク、光ディスク、フラッシュメモリ）および１つまたは複数のコンピュータ可読媒体７０８（例えば、ハードディスク、光ディスク、フラッシュメモリ等）を含む。これらのコンポーネントは１つまたは複数の通信チャネル７１０（例えば、バス）を通じて通信およびデータを交換でき、同チャネルは、コンポーネント間のデータおよび制御信号の転送を容易にするための様々なハードウェアおよびソフトウェアを活用できる。

用語「コンピュータ可読媒体」は、不揮発性媒体（例えば、光または磁気ディスク）、揮発性媒体（例えば、メモリ）および伝送媒体を、限定することなく含む、実行のためにプロセッサ７０２に命令を提供することに関与する任意の媒体を指す。伝送媒体は、同軸ケーブル、銅線および光ファイバを、限定することなく含む。

コンピュータ可読媒体７０８は、オペレーティングシステム７１２（例えば、Ｍａｃ ＯＳ（登録商標）サーバ、Ｗｉｎｄｏｗｓ（登録商標）ＮＴサーバ、Ｌｉｎｕｘサーバ）、ネットワーク通信モジュール７１４、インタフェース命令７１８およびデータ処理命令７１６を更に含むことができる。

オペレーティングシステム７１２は、マルチユーザ、マルチプロセッシング、マルチタスキング、マルチスレッディング、リアルタイム等であることができる。オペレーティングシステム７１２は、デバイス７０２、７０４、７０６および７０８からの入力を認識し、それらに出力を提供すること、コンピュータ可読媒体７０８（例えば、メモリまたは記憶デバイス）上のファイルおよびディレクトリを追跡および管理すること、周辺デバイスを制御すること、ならびに１つまたは複数の通信チャネル７１０上のトラフィックを管理することを含むがこれらに限定されない、基本タスクを行う。ネットワーク通信モジュール７１４は、ネットワーク接続を確立および維持するための様々なコンポーネント（例えば、ＴＣＰ／ＩＰ、ＨＴＴＰ等などの通信プロトコルを実装するためのソフトウェア）、ならびに例えばＡｐａｃｈｅ Ｋａｆｋａ（商標）を使用して分散ストリーミングプラットフォームを作成するための様々なコンポーネントを含む。データ処理命令７１６は、図１～図６に関して記載されたように、サーバ側動作を実装するためのサーバ側またはバックエンドソフトウェアを含む。インタフェース命令７１８は、図１に関して記載されたように、ウェアラブルマルチメディアデバイス１０１、サードパーティアプリケーション開発者１０４およびサードパーティプラットフォーム１０５に／からデータを送受信するためのウェブサーバおよび／またはポータルを実装するためのソフトウェアを含む。

アーキテクチャ７００は、各々１つまたは複数の処理コアを有するローカルまたは分散ネットワーク内の１つまたは複数のサーバコンピュータを含む、任意のコンピュータデバイスに含めることができる。アーキテクチャ７００は、並列処理もしくはピアツーピアインフラストラクチャに、または１つもしくは複数のプロセッサを伴う単一のデバイス上に実装できる。ソフトウェアは、複数ソフトウェアコンポーネントを含むことができ、または単一のコードの本体であることができる。

ウェアラブルマルチメディアデバイスアーキテクチャ例
図８は、図１～図６および図９に関して記載される特徴およびプロセスを実装するウェアラブルマルチメディアデバイスのためのアーキテクチャ例８００のブロック図である。アーキテクチャ８００は、メモリインタフェース８０２、データプロセッサ、画像プロセッサまたは中央処理ユニット８０４、および周辺機器インタフェース８０６を含んでよい。メモリインタフェース８０２、プロセッサ８０４または周辺機器インタフェース８０６は別々のコンポーネントでよく、または１つもしくは複数の集積回路に集積されてよい。１つまたは複数の通信バスまたは信号ラインが様々なコンポーネントを結合し得る。

センサ、デバイスおよびサブシステムを周辺機器インタフェース８０６に結合して複数機能を容易にし得る。例えば、モーションセンサ８１０、生体測定センサ８１２、深度センサ８１４を周辺機器インタフェース８０６に結合して、モーション、向き、生体測定および深度検出機能を容易にし得る。一部の実装例において、ウェアラブルマルチメディアデバイスの移動および向きを検出するためにモーションセンサ８１０（例えば、加速度計、レートジャイロスコープ）が活用されてよい。

環境センサ（例えば、温度センサ、気圧計、周辺光）など、他のセンサも周辺機器インタフェース８０６に接続して環境感知機能を容易にし得る。例えば、生体測定センサは、指紋、顔認識、心拍数および他のフィットネスパラメータを検出できる。一実施形態において、触覚モータ（図示せず）を周辺機器インタフェースに結合でき、ユーザへの触覚フィードバックとして振動パターンを提供できる。

位置プロセッサ８１５（例えば、ＧＮＳＳ受信器チップ）を周辺機器インタフェース８０６に接続してジオリファレンスを提供してよい。電子磁力計８１６（例えば、集積回路チップ）も周辺機器インタフェース８０６に接続して、磁北の方向を決定するために使用され得るデータを提供してよい。このように、電子磁力計８１６は電子コンパスアプリケーションによって使用されてよい。

写真およびビデオクリップを記録することなどのカメラ機能を容易にするためにカメラサブシステム８２０および光センサ８２２、例えば電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）光センサが活用されてよい。一実施形態において、カメラは１８０°ＦＯＶおよびＯＩＳを有する。深度センサは、物体／被写体上へ既知のパターンでドットを投影する赤外線エミッタを含むことができる。ドットは、次いで専用の赤外線カメラによって撮影され、そして深度データを決定するために分析される。一実施形態において、飛行時間（ＴＯＦ）カメラを使用して、既知の光の速さに基づいて距離を決定し、画像の各点に対してカメラと物体／被写体との間の光信号の飛行時間を測定できる。

１つまたは複数の通信サブシステム８２４を通じて通信機能が容易にされ得る。通信サブシステム８２４は１つまたは複数のワイヤレス通信サブシステムを含んでよい。ワイヤレス通信サブシステム８２４は、無線周波数受信器および送信器ならびに／または光（例えば、赤外線）受信器および送信器を含んでよい。有線通信システムが、他の通信デバイス、ネットワークアクセスデバイス、パーソナルコンピュータ、プリンタ、ディスプレイスクリーン、またはデータを受信もしくは送信することが可能な他の処理デバイス（例えば、プロジェクタ）などの、他のコンピューティングデバイスへの有線接続を確立するために使用され得るポートデバイス、例えばユニバーサルシリアルバス（ＵＳＢ）ポートまたは何らかの他の有線ポート接続を含んでよい。

通信サブシステム８２４の具体的な設計および実装は、デバイスが動作すると意図される通信ネットワークまたは媒体に依存してよい。例えば、デバイスは、移動通信グローバルシステム（ＧＳＭ）ネットワーク、ＧＰＲＳネットワーク、拡張データＧＳＭ環境（ＥＤＧＥ）ネットワーク、ＩＥＥＥ８０２．ｘｘ通信ネットワーク（例えば、ＷｉＦｉ、ＷｉＭａｘ、ＺｉｇＢｅｅ（商標））、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、符号分割多元接続（ＣＤＭＡ）ネットワーク、近距離無線通信（ＮＦＣ）、Ｗｉ－Ｆｉ ＤｉｒｅｃｔおよびＢｌｕｅｔｏｏｔｈ（商標）ネットワークを通じて動作するように設計されたワイヤレス通信サブシステムを含んでよい。ワイヤレス通信サブシステム８２４は、デバイスが他のワイヤレスデバイスのための基地局として構成され得るようにホスティングプロトコルを含んでよい。別の例として、通信サブシステムは、デバイスが、例えばＴＣＰ／ＩＰプロトコル、ＨＴＴＰプロトコル、ＵＤＰプロトコル、ＩＣＭＰプロトコル、ＰＯＰプロトコル、ＦＴＰプロトコル、ＩＭＡＰプロトコル、ＤＣＯＭプロトコル、ＤＤＥプロトコル、ＳＯＡＰプロトコル、ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ、ＭＰＥＧ Ｄａｓｈおよび任意の他の公知の通信プロトコルまたは技術などの、１つまたは複数のプロトコルまたは通信技術を使用してホストデバイスと同期できるようにし得る。

オーディオサブシステム８２６をスピーカ８２８および１つまたは複数のマイクロホン８３０に結合して、音声認識、音声複製、デジタル録音、電話機能およびビームフォーミングなどの音声対応機能を容易にし得る。

Ｉ／Ｏサブシステム８４０は、タッチコントローラ８４２および／または別の入力コントローラ８４４を含んでよい。タッチコントローラ８４２はタッチ面８４６に結合されてよい。タッチ面８４６およびタッチコントローラ８４２は、例えば、容量性、抵抗性、赤外線および弾性表面波技術を含むがこれらに限定されない幾つかのタッチ感度技術の他に、他の近接センサアレイまたはタッチ面８４６との１つもしくは複数の接触点を決定するための他の要素のいずれかを使用して、その接触および移動または遮断を検出してよい。１つの実装例において、タッチ面８４６は仮想またはソフトボタンを表示してよく、これらはユーザによる入出力デバイスとして使用されてよい。

他の入力コントローラ８４４は、１つもしくは複数のボタン、ロッカスイッチ、サムホイール、赤外線ポート、ＵＳＢポート、および／またはスタイラスなどのポインタデバイスなどの、他の入力／制御デバイス８４８に結合されてよい。１つまたは複数のボタン（図示せず）は、スピーカ８２８および／またはマイクロホン８３０の音量調節のための上／下ボタンを含んでよい。

一部の実装例において、デバイス８００は、ＭＰ３、ＡＡＣおよびＭＰＥＧビデオファイルなどのユーザ記録オーディオおよび／またはビデオファイルを再生する。一部の実装例において、デバイス８００は、ＭＰ３プレーヤの機能性を含んでよく、かつ他のデバイスにテザリングするためのピンコネクタまたは他のポートを含んでよい。他の入出力および制御デバイスも使用され得る。一実施形態において、デバイス８００は、直接または間接通信リンクを通じてアクセサリデバイスにオーディオをストリーミングするためのオーディオ処理ユニットを含んでよい。

メモリインタフェース８０２はメモリ８５０に結合されてよい。メモリ８５０は、１つもしくは複数の磁気ディスク記憶デバイス、１つもしくは複数の光記憶デバイスまたはフラッシュメモリ（例えば、ＮＡＮＤ、ＮＯＲ）などの、高速ランダムアクセスメモリまたは不揮発性メモリを含んでよい。メモリ８５０は、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ＯＳ Ｘ、ｉＯＳ、ＷＩＮＤＯＷＳ、またはＶｘＷｏｒｋｓなどの組込みオペレーティングシステムなどの、オペレーティングシステム８５２を記憶してよい。オペレーティングシステム８５２は、基本システムサービスを扱うためのおよびハードウェア依存タスクを行うための命令を含んでよい。一部の実装例において、オペレーティングシステム８５２はカーネル（例えば、ＵＮＩＸカーネル）を含んでよい。

メモリ８５０は、図１～図６に関して記載されたように、ワイヤレスアクセサリデバイスとのピアツーピア通信を含め、１つまたは複数の追加デバイス、１つまたは複数のコンピュータまたはサーバと通信することを容易にする通信命令８５４も記憶してよい。通信命令８５４は、デバイスの地理的位置に基づいてデバイスによる使用のための動作モードまたは通信媒体を選択するためにも使用されてよい。

メモリ８５０は、図１～図６に関して記載されたように、センサ関連の処理および機能を容易にするセンサ処理命令８５８ならびに記録機能を容易にするレコーダ命令８６０を含んでよい。他の命令には、ＧＮＳＳおよびナビゲーション関連のプロセスを容易にするＧＮＳＳ／ナビゲーション命令、カメラ関連のプロセスを容易にするカメラ命令、ならびにタッチ入力を解釈するためのタッチモデルを含め、ユーザインタフェース処理を容易にするユーザインタフェース命令を含むことができる。

上記の識別された命令およびアプリケーションの各々は、上記した１つまたは複数の機能を行うための命令のセットに相当し得る。これらの命令は、別々のソフトウェアプログラム、手順またはモジュールとして実装される必要はない。メモリ８５０は追加命令またはより少ない命令を含み得る。更には、デバイスの様々な機能は、１つまたは複数の信号処理および／または特定用途向け集積回路（ＡＳＩＣ）で、を含め、ハードウェアでかつ／またはソフトウェアで実装され得る。

グラフィカルユーザインタフェース例
図９は、一実施形態に係る、図３に関して記載されたシーン識別アプリケーションとの使用のためのグラフィカルユーザインタフェース（ＧＵＩ）９００例のスクリーンショットである。ＧＵＩ９００は、ビデオペイン９０１、時間／位置データ９０２、オブジェクト９０３、９０６ａ、９０６ｂ、９０６ｃ、検索ボタン９０４、カテゴリ９０５のメニューおよびサムネイル画像９０７を含む。ＧＵＩ９００は、例えば、クライアントアプリケーションを通じてまたはクラウドコンピューティングプラットフォーム１０２のウェブサーバによって提供されるウェブページを通じてユーザデバイス（例えば、スマートフォン、タブレットコンピュータ、ウェアラブルデバイス、デスクトップコンピュータ、ノートブックコンピュータ）上に提示できる。本例では、ユーザは、時間／位置データ９０２によって示されるように、２０１８年１０月１８日１２：４５ＰＭにＯｒｃｈａｒｄ Ｓｔｒｅｅｔ、Ｎｅｗ Ｙｏｒｋ、Ｎｅｗ Ｙｏｒｋに立っているビデオペイン９０１内の青年のデジタル画像を捕捉した。

一実施形態において、画像は、Ｖｉｏｌａ－Ｊｏｎｅｓオブジェクト検出ネットワークなどの、クラウドコンピューティングプラットフォーム１０２上に実装されるオブジェクト検出フレームワークを通じて処理される。例えば、モデルまたはアルゴリズムを使用して、デジタル画像全体に及ぶ一組の境界ボックスを含む関心領域または領域提案を生成する。境界ボックスの各々に対して視覚特徴が抽出され、そして視覚特徴に基づいて、領域提案にオブジェクトが存在するかどうか、およびどのオブジェクトが存在するかを判定するために評価される。重複するボックスは、（例えば非最大抑制を使用して）単一の境界ボックスへ結合される。一実施形態において、重複するボックスは、ビッグデータストレージのカテゴリへオブジェクトを編成するためにも使用される。例えば、オブジェクト９０３（青年）が親オブジェクトと考えられ、そしてオブジェクト９０６ａ～９０６ｃ（彼が着用している衣料品）は、重複する境界ボックスのためオブジェクト９０３の子オブジェクト（靴、シャツ、パンツ）と考えられる。このように、検索エンジンを使用した「人」の検索の結果として、「人」とラベル付けされた全てのオブジェクトおよび、もしあれば、その子オブジェクトが検索結果に含まれる。

実施形態において、画像内のオブジェクトを識別するために、境界ボックスよりむしろ複合ポリゴンが使用される。複合ポリゴンは、例えばユーザが指差している画像内のハイライト／ホットスポット領域を決定するために使用される。複合ポリセグメンテーション部分だけが（画像全部ではなくて）クラウドコンピューティングプラットフォームに送られるので、プライバシー、セキュリティおよび速度が改善される。

デジタル画像内のオブジェクトを検出およびラベル付けするためにクラウドコンピューティングプラットフォーム１０２によって実装できるオブジェクト検出フレームワークの他の例には、領域畳込みニューラルネットワーク（Ｒ－ＣＮＮ）、Ｆａｓｔ Ｒ－ＣＮＮおよびＦａｓｔｅｒ Ｒ－ＣＮＮを含むが、これらに限定されない。

本例では、デジタル画像内に識別されるオブジェクトには、人、車、建物、道路、窓、ドア、階段、標識、テキストを含む。識別されたオブジェクトは、ユーザが検索するためのカテゴリとして編成および提示される。ユーザは、カーソルまたは（タッチ感応スクリーンを使用している場合）指を使用してカテゴリ「人」を選択した。カテゴリ「人」を選択することによって、オブジェクト９０３（すなわち、画像内の青年）はデジタル画像の残りのオブジェクトから分離され、そしてオブジェクト９０６ａ～９０６ｃの部分集合はそれらのそれぞれのメタデータと共にサムネイル画像９０７に表示される。オブジェクト９０６ａは「オレンジ、シャツ、ボタン、半そで」とラベル付けされ、オブジェクト９０６ｂは「青、ジーンズ、裂け、デニム、ポケット、電話」とラベル付けされ、そしてオブジェクト９０６ｃは「青、ナイキ、靴、左、エアマックス、赤い靴下、白いスウッシュ、ロゴ」とラベル付けされる。

検索ボタン９０４が押されると、ユーザによって選択されたカテゴリおよびビデオペイン９０１内の特定の画像に基づいて新たな検索を開始する。検索結果はサムネイル画像９０７を含む。同様に、ユーザがカテゴリ「車」を選択して次いで検索ボタン９０４を押せば、新たなサムネイル９０７の集合が表示され、画像に捕捉された全ての車をそれらのそれぞれのメタデータと共に示す。

図１０は、一実施形態に係る、図９のＧＵＩ９００を使用して検索できるオブジェクトおよびメタデータへ生または前処理コンテキストデータを分類するための分類器フレームワーク１０００を例示する。フレームワーク１０００は、ＡＰＩ１００１、分類器１００２ａ～１００２ｎおよびデータストア１００５を含む。ウェアラブルマルチメディアデバイス上で捕捉された生または前処理コンテキストデータはＡＰＩ１００１を通じてアップロードされる。コンテキストデータは分類器１００２ａ～１００２ｎ（例えば、ニューラルネットワーク）を通される。一実施形態において、分類器１００２ａ～１００２ｎは、多数のウェアラブルマルチメディアデバイスからクラウドソースされるコンテキストデータを使用して訓練される。分類器１００２ａ～１００２ｎの出力は、データストア１００５に記憶されるオブジェクトおよびメタデータ（例えば、ラベル）である。データストア１００５内のオブジェクト／メタデータに対して検索インデックスが生成されるが、これを検索エンジンによって使用して、ＧＵＩ９００を使用して入力された検索クエリを満たすオブジェクト／メタデータを求めて検索できる。ツリーインデックス、サフィックスツリーインデックス、転置インデックス、引用インデックス分析およびｎグラムインデックスを含むがこれらに限定されない、様々な種類の検索インデックスを使用できる。

データ型、データ量、データ品質、ユーザ嗜好、ユーザ起動もしくはアプリケーション起動検索クエリ、音声コマンド、アプリケーション要件、テンプレートおよび／または任意の他の情報の１つまたは複数に基づいて分類器１００２ａ～１００２ｎが選択されて動的データ処理パイプラインへ追加されて、所望の提示を生成する。ニューラルネットワーク、サポートベクトルマシン（ＳＶＭ）、ランダムフォレスト、ブースト決定木、ならびに投票、スタッキングおよびグレーディング技術を使用するこれらの個々の分類器の任意の組合せを含め、任意の公知の分類器を使用できる。一実施形態において、分類器の一部はユーザ個人用である、すなわち、分類器は特定のユーザデバイスからのコンテキストデータだけで訓練される。そのような分類器は、ユーザにとって個人的である人および物体を検出およびラベル付けするように訓練できる。例えば、１つの分類器を、ユーザに知られている個人（例えば、家族、友人）の、例えばユーザ入力によってラベル付けされた画像内の顔を検出する顔検出のために使用できる。

例として、ユーザは、「私のビデオからニューオーリンズにいるお母さんとお父さんを含むムービーを作成して」、「サウンドトラックとしてジャズ音楽を加えて」、「カクテル『ハリケーン』を作るためのドリンクレシピを私に送って」および「最寄りの酒屋への行き方を私に送って」などの複数フレーズを発することができる。クラウドコンピューティングプラットフォーム１０２によって音声フレーズが解析され、単語が使用されて、ユーザの父母の顔を検出するための分類器を追加することを含め、要求されたタスクを行う個人用処理パイプラインを組み立てる。

一実施形態において、ＡＩを使用して、ユーザがメッセージセッションの間にどのようにクラウドコンピューティングプラットフォームと対話するか判定する。例えば、ユーザがメッセージ「ボブ、『トイ・ストーリー４』を見たか」を発すれば、クラウドコンピューティングプラットフォームは、ボブが誰であるか判定し、そしてクラウドコンピューティングプラットフォーム上のメッセージ中継サーバに送られるストリングから「ボブ」を解析する。同様に、メッセージが「ボブ、これを見て」と言っていれば、プラットフォームデバイスは、別個のトランザクションとして画像を添付する必要なく一段階でメッセージと共に画像を送る。画像は、プロジェクタ１１１５および任意の所望の表面を使用して、ボブに送る前にユーザによって視覚的に確認できる。また、プラットフォームは、しばらくの間ボブとの持続的かつ個人用通信チャネルを維持し、メッセージセッションの間、各通信に名前「ボブ」を先行させる必要はなくなる。

コンテキストデータブローカサービス
一実施形態において、クラウドコンピューティングプラットフォーム１０２を通じてコンテキストデータブローカサービスが提供される。本サービスは、ユーザが自分で選んだエンティティに自分のプライベート生または処理コンテキストデータを販売できるようにする。プラットフォーム１０２は、コンテキストデータブローカサービスをホストし、そしてユーザコンテキストデータのプライバシーを保護するために必要とされるセキュリティプロトコルを提供する。プラットフォーム１０２は、エンティティとユーザとの間の取引および金銭の授受または決済も容易にする。

生および前処理コンテキストデータは、ビッグデータストレージを使用して記憶できる。ビッグデータストレージは、多数のデータファイルおよびオブジェクトを伴うストレージ上の記憶および入出力動作をサポートする。一実施形態において、ビッグデータストレージは、ダイレクトアタッチトストレージ（ＤＡＳ）プール、スケールアウトもしくはクラスタネットワークアタッチトストレージ（ＮＡＳ）またはオブジェクト記憶形式に基づくインフラストラクチャの冗長かつスケーラブルな供給から構成されるアーキテクチャを含む。ストレージインフラストラクチャは、大量のデータの迅速な処理および検索を可能にするコンピューティングサーバノードに接続される。一実施形態において、ビッグデータストレージアーキテクチャは、Ｈａｄｏｏｐ（商標）、Ｃａｓｓａｎｄｒａ（商標）およびＮｏＳＱＬ（商標）などのビッグデータ解析ソリューションのネイティブサポートを含む。

一実施形態において、生または処理コンテキストデータを購入することに関心があるエンティティは、クラウドコンピューティングプラットフォーム１０２の登録ＧＵＩまたはウェブページを通じてコンテキストデータブローカサービスに加入する。一旦登録されると、エンティティ（例えば、会社、広告代理店）は、データ仲介を容易にするように調整された１つまたは複数のＧＵＩを通じてユーザと直接的または間接的に取引できるようにされる。一実施形態において、プラットフォーム１０２は、特定の種類のコンテキストデータに対するエンティティの要求をコンテキストデータを提供できるユーザと合わせることができる。例えば、被服会社は、自身の被服または競合会社のロゴが検出された全ての画像に関心があり得る。被服会社は、次いでコンテキストデータを使用して自身の顧客の人口統計をより良好に識別できる。別の例では、報道機関または政治運動は、カバーストーリーまたは特集記事に使用する報道価値のある出来事のビデオ映像に関心があり得る。様々な会社が、改善された広告ターゲティングまたは他のマーケティングプロジェクトのためにユーザの検索履歴または購入履歴に関心があり得る。様々なエンティティが、自動運転車両のための物体検出器など、他の物体検出器のための訓練データとして使用するためにコンテキストデータを購入することに関心があり得る。

一実施形態において、ユーザの生または処理コンテキストデータは、ユーザのプライバシーを保護するためにセキュアな形式で入手可能とされる。ユーザもエンティティも、仲介取引から生じる金銭を預けるおよび引き出すための自身のオンライン口座を有することができる。一実施形態において、データブローカサービスは、価格決定モデルに基づいて取引手数料を徴収する。手数料は、従前のオンライン広告（例えば、バナー広告のクリックスルー等）を通じても取得できる。

一実施形態において、個人がウェアラブルマルチメディアデバイスを使用して自分自身のメタデータを作成できる。例えば、有名シェフが、食事を準備している間ウェアラブルマルチメディアデバイス１０１を装着してよい。画像内のオブジェクトは、シェフによって提供されるメタデータを使用してラベル付けされる。ユーザは、ブローカサービスからメタデータへのアクセスを取得できる。ユーザが自分自身のウェアラブルマルチメディアデバイス１０１を装着している間に料理を準備しようとするとき、オブジェクトが検出され、そしてシェフによって提供された、ユーザが何かを再現するのに役立つメタデータ（例えば、タイミング、量、順序、スケール）が、寸法、調理時間および追加ヒント等など、ユーザの作業台（例えば、まな板、カウンタトップ、レンジ、オーブン等）上へ投影される。例えば、まな板上に肉片が検出され、そして肉を繊維に対して直角に切ることをユーザに気づかせるテキストがプロジェクタ１１１５によってまな板上に投影され、更にはシェフのメタデータに従って均一な厚さでスライスを切る際にユーザを導く寸法ガイドを肉面上に投影する。レーザ投影ガイドは、均一な厚さで野菜を切る（例えば、千切り、みじん切り）ためにも使用できる。ユーザは、クラウドサービスプラットフォームに自分のメタデータをアップロードし、自分自身のチャネルを作成し、そしてＹｏｕＴｕｂｅ（登録商標）プラットフォームと同様に、サブスクリプションおよび広告によって収入を得ることができる。

図１１は、一実施形態に係る、ウェアラブルマルチメディアデバイスのためのハードウェアアーキテクチャ１１００を図示するシステムブロック図である。アーキテクチャ１１００は、システムオンチップ（ＳｏＣ）１１０１（例えば、Ｑｕａｌｃｏｍｍ Ｓｎａｐｄｒａｇｏｎ（登録商標）チップ）、メインカメラ１１０２、３Ｄカメラ１１０３、静電容量センサ１１０４、モーションセンサ１１０５（例えば、加速度計、ジャイロ、磁力計）、マイクロホン１１０６、メモリ１１０７、全地球航法衛星システム受信器（例えば、ＧＰＳ受信器）１１０８、ＷｉＦｉ／ブルートゥースチップ１１０９、ワイヤレス送受信器チップ１１１０（例えば、４Ｇ、５Ｇ）、無線周波数（ＲＦ）送受信器チップ１１１２、ＲＦフロントエンド電子回路（ＲＦＦＥ）１１１３、ＬＥＤ１１１４、プロジェクタ１１１５（例えば、レーザ投影、ピコプロジェクタ、ＬＣｏＳ、ＤＬＰ、ＬＣＤ）、オーディオ増幅器１１１６、スピーカ１１１７、外部バッテリ１１１８（例えば、バッテリパック）、磁気インダクタンス回路網１１１９、電力管理チップ（ＰＭＩＣ）１１２０および内部バッテリ１１２１を含む。これらのコンポーネントの全てが協働して、本明細書に記載される様々なタスクを容易にする。

図１２は、一実施形態に係る、ウェアラブルマルチメディアデバイスから受信される生または前処理コンテキストデータを処理するための代替のクラウドコンピューティングプラットフォーム１２００を図示するシステムブロック図である。エッジサーバ１２０１が、ワイヤレス通信リンクを通じてウェアラブルマルチメディアデバイス１２０２から生または前処理コンテキストデータを受信する。エッジサーバ１２０１は、ＡＩまたはカメラビデオ（ＣＶ）処理およびジェスチャ検出などの、限られたローカル前処理を提供する。エッジサーバ１２０１において、ディスパッチャ１２０３が生または前処理コンテキストデータを状態／コンテキスト検出器１２０４、ファーストパーティハンドラ１２０５および／または限られたＡＩタスクを行うための限定ＡＩリゾルバ１２０６に宛てる。状態／コンテキスト検出器１２０４は、例えばウェアラブルマルチメディアデバイス１２０２のＧＰＳ受信器または他の測位技術（例えば、Ｗｉ－Ｆｉ、セルラ、ビジュアルオドメトリ）によって提供されるＧＮＳＳデータを使用して、コンテキストデータが捕捉された位置を決定する。状態／コンテキスト検出器１２０４は、画像および音声技術ならびにＡＩも使用して、コンテキストデータに含まれる画像、オーディオおよびセンサデータ（例えば、モーションセンサデータ、生体測定データ）を分析して、ユーザ活動、ムードおよび関心を決定する。

エッジサーバ１２０１は、ファイバおよびルータによって領域データセンタ１２０７に結合される。領域データセンタ１２０７は、前処理または生コンテキストデータの完全ＡＩおよび／またはＣＶ処理を行う。領域データセンタ１２０７において、ディスパッチャ１２０８が生または前処理コンテキストデータを状態／コンテキスト検出器１２０９、完全ＡＩリゾルバ１２１０、第１のハンドラ１２１１および／または第２のハンドラ１２１２に宛てる。状態／コンテキスト検出器１２０９は、例えばウェアラブルマルチメディアデバイス１２０２のＧＰＳ受信器または他の測位技術（例えば、Ｗｉ－Ｆｉ、セルラ、ビジュアルオドメトリ）によって提供されるＧＮＳＳデータを使用して、コンテキストデータが捕捉された位置を決定する。状態／コンテキスト検出器１２０９は、画像および音声認識技術ならびにＡＩも使用して、コンテキストデータに含まれる画像、オーディオおよびセンサデータ（例えば、モーションセンサデータ、生体測定データ）を分析して、ユーザ活動、ムードおよび関心を決定する。

図１３は、一実施形態に係る、ウェアラブルマルチメディアデバイスのためのソフトウェアコンポーネント１３００を例示する。例えば、ソフトウェアコンポーネントは、ＡＩおよびＣＶ、ジェスチャ認識、メッセージング、メディア捕捉、サーバ接続性ならびにアクセサリ接続性のためのデーモン１３０１を含む。ソフトウェアコンポーネントは、グラフィック処理ユニット（ＧＰＵ）、機械学習（ＭＬ）、カメラビデオ（ＣＶ）およびネットワークサービスのためのライブラリ１３０２を更に含む。ソフトウェアコンポーネントは、ハードウェア抽象化およびＬｉｎｕｘカーネルを含むアンドロイド（登録商標）ネイティブ開発キット（ＮＤＫ）などのオペレーティングシステム１３０３を含む。他のソフトウェアコンポーネント１３０４には、電力管理、接続性、セキュリティ＋暗号化およびソフトウェア更新のためのコンポーネントを含む。

図１４Ａ～図１４Ｄは、一実施形態に係る、ユーザの手のひらにプロジェクタ１１１５によって投影される様々な種類の情報を投影するウェアラブルマルチメディアデバイスのプロジェクタ１１１５の使用を例示する。特に、図１４Ａは、電話番号にダイヤルする際および番号入力を必要とする他のタスクの際に使用するためにユーザの手のひらへの数字パッドのレーザ投影を図示する。３Ｄカメラ１１０３（深度センサ）を使用して数字パッド上のユーザの指の場所を決定する。ユーザは、電話番号にダイヤルすることなどを使用して、数字パッドと対話できる。図１４Ｂは、ユーザの手のひらに投影されたターンバイターン方向を図示する。図１４Ｃは、ユーザの手のひらに投影された時計を図示する。図１４Ｄは、ユーザの手のひらの温度示度を図示する。３Ｄカメラ１１０３によって様々な１本または２本指ジェスチャ（例えば、タップ、長押し、スワイプ、ピンチ／デピンチ）を検出できる結果として、ウェアラブルマルチメディアデバイス上で異なるアクションがトリガされる。

図１４Ａ～図１４Ｄがユーザの手のひらへのレーザ投影を図示するが、壁、床、天井、カーテン、被服、投影スクリーン、テーブル／机／カウンタトップ、電化製品（例えば、レンジ、洗濯機／乾燥機）、および装置（例えば、車のエンジン、電子回路板、まな板）を含むがこれらに限定されない、任意の投影面を使用できる。

図１５Ａおよび図１５Ｂは、一実施形態に係る、ユーザが自分のエンジンオイルを点検するのを支援する情報が自動車エンジン上へ投影される、プロジェクタ１１１５の応用を例示する。図１５Ａおよび図１５Ｂは、その画像の前後の画像を図示する。ユーザは言葉：「どうやってオイルを点検するのか」を口に出す。本例では、音声はマイクロホン１１０６によって受信され、そしてウェアラブルマルチメディアデバイス１２０２のメインカメラ１１０２および／または３Ｄカメラ１１０３がエンジンの画像を捕捉する。画像および音声は圧縮されてエッジサーバ１２０１に送られる。エッジサーバ１２０１は、画像およびオーディオを領域データセンタ１２０７に送る。領域データセンタ１２０７において、画像およびオーディオは伸長され、そして１つまたは複数の分類器を使用して、画像内の検油棒および給油口キャップの位置を検出およびラベル付けする。ラベルおよびそれらの画像座標がウェアラブルマルチメディアデバイス１２０２に送り返される。プロジェクタ１１１５は、画像座標に基づいて車のエンジン上へラベルを投影する。

図１６は、一実施形態に係る、家庭の調理人が野菜を切るのを支援するための情報がまな板上へ投影される、プロジェクタの応用を例示する。ユーザは言葉：「どのくらいの大きさにこれを切るべきか」を口に出す。本例では、音声はマイクロホン１１０６によって受信され、そしてウェアラブルマルチメディアデバイス１２０２のメインカメラ１１０２および／または３Ｄカメラ１１０３がまな板および野菜の画像を捕捉する。画像および音声は圧縮されてエッジサーバ１２０１に送られる。エッジサーバ１２０１は、画像およびオーディオを領域データセンタ１２０７に送る。領域データセンタ１２０７において、画像およびオーディオは伸長され、そして１つまたは複数の分類器を使用して、画像内の野菜の種類（例えば、カリフラワー）、そのサイズおよびその位置を検出する。画像情報およびオーディオに基づいて、カット命令（例えば、データベースまたは他のデータソースから取得される）および画像座標が決定され、ウェアラブルマルチメディアデバイス１２０２に送り返される。プロジェクタ１１１５は、情報および画像座標を使用して野菜を囲んでまな板上へサイズテンプレートを投影する。

図１７は、一実施形態に係る、プロジェクタアーキテクチャ１７００のシステムブロック図である。プロジェクタ１１１５は、画素を２次元に走査し、画素の２Ｄアレイを撮像し、または撮像および走査を混合する。走査プロジェクタが、レーザビームの狭い発散および２次元（２Ｄ）走査を直接活用して、画像を画素ごとに「塗布」する。一部の実施形態において、水平および垂直走査方向に対して別々のスキャナが使用される。他の実施形態において、単一の２軸スキャナが使用される。特定のビーム軌道も、使用されるスキャナの種類に応じて変動する。

図示した例では、プロジェクタ１７００は、コントローラ１７０１、バッテリ１１１８／１１２１、電力管理チップ（ＰＭＩＣ）１１２０、固体レーザ１７０４、Ｘ－Ｙスキャナ１７０５、ドライバ１７０６、メモリ１７０７、デジタルアナログ変換器（ＤＡＣ）１７０８およびアナログデジタル変換器（ＡＤＣ）１７０９を含む走査ピコプロジェクタである。

コントローラ１７０１はＸ－Ｙスキャナ１７０５に制御信号を提供する。Ｘ－Ｙスキャナ１７０５は可動ミラーを使用して、固体レーザ１７０４によって発生されるレーザビームを、制御信号に応答して２次元に操向する。Ｘ－Ｙスキャナ１７０５は、１または２次元に制御可能な傾斜角を有する１つまたは複数の微小電気機械（ＭＥＭＳ）マイクロミラーを含む。ドライバ１７０６は、Ｘ－Ｙスキャナ１７０５に制御信号（例えば、電圧または電流）を提供する電力増幅器および他の電子回路網（例えば、フィルタ、スイッチ）を含む。メモリ１７０７は、投影されるべきテキストおよび画像のためのレーザパターンを含む、プロジェクタによって使用される様々なデータを記憶する。ＤＡＣ１７０８およびＡＤＣ１７０９はデジタルおよびアナログ領域間のデータ変換を提供する。ＰＭＩＣ１１２０は、固体レーザ１７０４のオンオフおよび固体レーザ１７０４に供給される電力量の調整を含め、固体レーザ１７０４の電力およびデューティサイクルを管理する。固体レーザ１７０４は、例えば垂直共振器面発光レーザ（ＶＣＳＥＬ）である。

一実施形態において、コントローラ１７０１は、メインカメラ１１０２からの画像データおよび３Ｄカメラ１１０３からの深度データを使用してレーザ投影上のユーザの手および／または指位置を認識および追跡し、その結果、レーザ投影を入力インタフェースとして使用してウェアラブルマルチメディアデバイス１０１によってユーザ入力が受け取られる。

別の実施形態において、プロジェクタ１１１５は、電力を節約するためにベクトルグラフィック投影ディスプレイおよび低電力固定ＭＥＭＳマイクロミラーを使用する。プロジェクタ１１１５が深度センサを含むので、投影範囲は、レーザ投影画像と対話している指／手に投影することを防止するために必要に応じてマスクできる。一実施形態において、深度センサは、ジェスチャを追跡して別のデバイス上の入力（例えば、テレビ画面上の画像をスワイプする、コンピュータ、スマートスピーカと対話する等）も制御できる。

他の実施形態において、ピコプロジェクタの代わりに、液晶オンシリコン（ＬＣｏＳもしくはＬＣＯＳ）、デジタル光処理（ＤＬＰ）または液晶ディスプレイ（ＬＣＤ）デジタル投影技術を使用できる。

図１８は、表面によって反射される光量に基づくレーザパラメータの調整を例示する。多種多様な表面上で投影が明瞭かつ読みやすいことを確実にするために、３Ｄカメラ１１０３からのデータを使用して、表面反射に基づいてプロジェクタ１１１５の１つまたは複数のパラメータを調整する。一実施形態において、表面からのレーザビームの反射を使用して、レーザビームの強度を、異なる屈折率を補償するように自動的に調整して、均一な明るさの投影を作成する。強度は、例えば固体レーザ１１１５に供給される電力を調整することによって調整できる。調整の量は、反射レーザビームのエネルギー準位に基づいてコントローラ１７０１によって計算できる。

図示した例では、円パターン１８００が表面１８０１上に投影されており、ここには第１の表面反射を有する領域１８０２および第１の表面反射とは異なる第２の表面反射を有する領域１８０３を含む。領域１８０２、１８０３における表面反射の差（例えば、異なる屈折率による）の結果として、円パターン１８００が領域１８０２において領域１８０３より明るくなくなる。均一な強度の円パターン１８００を発生させるために、固体レーザ１７０４は、固体レーザ１７０４に供給される電力を増減させて、領域１８０２において走査するときにレーザビームの強度を上げるようコントローラ１７０１によって（ＰＭＩＣ１１２０を通じて）指令される。結果は均一な明るさの円パターン１８００である。領域１８０２および１８０３の表面幾何形状が異なる場合、１つまたは複数のレンズを使用して、表面上の投影テキストまたは画像のサイズを調整できる。例えば、領域１８０２を湾曲させることができる一方で、領域１８０３は平坦であることができる。このシナリオでは、領域１８０２におけるテキストまたは画像のサイズは、領域１８０２における表面の曲率を補償するように調整できる。

一実施形態において、レーザ投影は、ユーザによる空中ジェスチャ（例えば、関心物体を特定するために指差す、データへの動作を示すためにスワイプする、数を示すために指を立てる、嗜好を示すために親指を立てるまたは下げる、等）によって自動的にまたは手動で要求され、そして環境における任意の表面または物体に投影できる。例えば、ユーザは自分の家のサーモスタットを指差すことができ、自分の手のひらまたは他の表面上に温度データが投影される。カメラおよび深度センサは、ユーザがどこを指差しているか検出し、サーモスタットとして指差している物体を識別し、クラウドコンピューティングプラットフォーム上でサーモスタットアプリケーションを走らせ、そしてウェアラブルマルチメディアデバイスにアプリケーションデータをストリーミングし、それが表面（例えば、ユーザの手のひら、壁、テーブル）上に表示される。別の例では、ユーザが自分の家の正面ドアのスマートロックの前に立っており、かつ自分の家の全てのロックが連動されていれば、スマートロックに対する制御手段が、そのロックもしくは自分の家の他のロックにアクセスするために、スマートロックまたはドアの表面上に投影される。

一実施形態において、カメラおよびその大きな視野（ＦＯＶ）によって撮られた画像は、クラウドコンピューティングプラットフォーム上で実行されるＡＩ駆動の仮想写真家を使用して「コンタクトシート」でユーザに提示できる。例えば、専門の写真家によって作成された画像／メタデータで訓練された機械学習（例えば、ニューラルネットワーク）を使用して異なるトリミングおよび処理により画像の様々な提示が作成される。この特徴により、あらゆる撮られる画像は、センサデータ（例えば、深度、周辺光、加速度計、ジャイロ）によって通知される動作を含む原画像への多重画像処理動作を伴う複数の「見た目」を有し得る。

記載された特徴は、デジタル電子回路網で、またはコンピュータハードウェア、ファームウェア、ソフトウェアもしくはそれらの組合せで実装され得る。上記特徴は、プログラマブルプロセッサによる実行のために情報担体で、例えば機械可読記憶デバイスで有形に具現化されたコンピュータプログラム製品で実装され得る。方法ステップは、入力データに作用して出力を生成することによって記載された実装例の機能を行う命令のプログラムを実行するプログラマブルプロセッサによって行われ得る。

記載された特徴は、データ記憶システム、少なくとも１つの入力デバイスおよび少なくとも１つの出力デバイスからデータおよび命令を受信するように、かつそれらにデータおよび命令を送信するように結合される少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能である１つまたは複数のコンピュータプログラムで有利に実装され得る。コンピュータプログラムは、或る活動を行うまたは或る結果をもたらすためにコンピュータにおいて直接的または間接的に使用され得る命令のセットである。コンピュータプログラムは、コンパイラまたはインタープリタ型言語を含め、任意の形態のプログラミング言語（例えば、Ｏｂｊｅｃｔｉｖｅ－Ｃ、Ｊａｖａ）で書かれ得、そしてそれは、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に適切な他のユニットとしてを含め、任意の形態で展開され得る。

命令のプログラムの実行のための適切なプロセッサには、例として、汎用および専用の両マイクロプロセッサ、ならびに任意の種類のコンピュータの単独プロセッサまたはマルチプロセッサもしくはコアの１つを含む。一般に、プロセッサは、リードオンリメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受けることになる。コンピュータの必須要素は、命令を実行するためのプロセッサならびに命令およびデータを記憶するための１つまたは複数のメモリである。一般に、コンピュータは、データファイルを記憶するための大容量記憶デバイスと通信し得る。これらの大容量記憶デバイスには、内部ハードディスクおよびリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ならびに光ディスクを含み得る。コンピュータプログラム命令およびデータを有形に具現化するのに適切な記憶デバイスには、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭおよびフラッシュメモリデバイスなどの半導体メモリデバイス、内部ハードディスクおよびリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ならびにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含め、全ての形態の不揮発性メモリを含む。プロセッサおよびメモリは、ＡＳＩＣ（特定用途向け集積回路）によって補足され、またはそれに組み込まれ得る。ユーザとの対話を提供するために、上記特徴は、作成者に情報を表示するためのＣＲＴ（陰極線管）、ＬＥＤ（発光ダイオード）またはＬＣＤ（液晶ディスプレイ）ディスプレイまたはモニタなどのディスプレイデバイス、作成者がコンピュータに入力を提供し得るキーボードおよび、マウスまたはトラックボールなどのポインティングデバイスを有するコンピュータ上に実装され得る。

開示された実施形態の１つまたは複数の特徴またはステップは、アプリケーションプログラミングインタフェース（ＡＰＩ）を使用して実装され得る。ＡＰＩは、呼出しアプリケーションと、サービスを提供する、データを提供する、または動作もしくは計算を行う他のソフトウェアコード（例えば、オペレーティングシステム、ライブラリルーチン、関数）との間で受け渡される１つまたは複数のパラメータを定義し得る。ＡＰＩは、ＡＰＩ仕様書に定義される呼出し規約に基づいてパラメータリストまたは他の構造を通じて１つまたは複数のパラメータを送るまたは受けるプログラムコードの１つまたは複数の呼出しとして実装され得る。パラメータは、定数、キー、データ構造、オブジェクト、オブジェクトクラス、変数、データ型、ポインタ、アレイ、リストまたは別の呼出しであり得る。ＡＰＩ呼出しおよびパラメータは任意のプログラミング言語で実装され得る。プログラミング言語は、ＡＰＩをサポートする機能にアクセスするためにプログラマが利用するであろう語彙および呼出し規約を定義し得る。一部の実装例において、ＡＰＩ呼出しは、アプリケーションを実行するデバイスの、入力能力、出力能力、処理能力、電力能力、通信能力等などの能力をアプリケーションに報告し得る。

幾つかの実装例が記載された。にもかかわらず、様々な修正がなされ得ることが理解されるであろう。１つまたは複数の実装例の要素が組み合わされて、削除されて、修正されて、または補足されて更なる実装例を形成し得る。更に別の例では、図に描かれる論理フローは、望ましい結果を達成するために、図示される特定の順序または順番を必要としない。加えて、他のステップが設けられてよく、または記載されたフローからステップが排除されてよく、そして記載されたシステムに他のコンポーネントが追加され、またはそこからコンポーネントが削除されてよい。したがって、他の実装例は以下の請求項の範囲内である。

１００ 動作環境
１０１ ウェアラブルマルチメディアデバイス
１０２ クラウドコンピューティングプラットフォーム
１０３ ネットワーク
１０４ アプリケーション開発者
１０５ サードパーティプラットフォーム
１０６ データベース
２００ データ処理システム
２０１ レコーダ
２０２ ビデオバッファ
２０３ オーディオバッファ
２０４ 写真バッファ
２０５ 取込サーバ
２０６ データストア
２０７ ビデオプロセッサ
２０８ オーディオプロセッサ
２０９ 写真プロセッサ
２１０ サードパーティプロセッサ
２１１ アプリ１
２１２ アプリ２
２１３ アプリ１
２１４ アプリ２
２１５ アプリ１
２１６ アプリ２
２１７ アプリ
３００ データ処理パイプライン
３０１ 取込サーバ
３０２ ビデオプロセッサ
３０４ レコーダ
３０５ オーディオプロセッサ
３０６ アプリ
３０７ ビデオ処理アプリ
３０８ データマージプロセス
４００ データ処理パイプライン
４０１ 取込サーバ
４０２ サードパーティプロセッサ
４０４ レコーダ
４０５ オーディオプロセッサ
４０６ アプリ
４０７ サードパーティアプリケーション
４０８ ユーザコールバックキュー
７００ アーキテクチャ
７０２ プロセッサ
７０４ 記憶デバイス
７０６ ネットワークインタフェース
７０８ コンピュータ可読媒体
７１０ 通信チャネル
７１２ オペレーティングシステム
７１４ ネットワーク通信モジュール
７１６ データ処理命令
７１８ インタフェース命令
８００ アーキテクチャ
８０２ メモリインタフェース
８０４ プロセッサ
８０６ 周辺機器インタフェース
８１０ モーションセンサ
８１２ 生体測定センサ
８１４ 深度センサ
８１５ 位置プロセッサ
８１６ 電子磁力計
８１７ 環境センサ
８２０ カメラサブシステム
８２２ 光センサ
８２４ 通信サブシステム
８２６ オーディオサブシステム
８２８ スピーカ
８３０ マイクロホン
８４０ Ｉ／Ｏサブシステム
８４２ タッチコントローラ
８４４ 他の入力コントローラ
８４６ タッチ面
８４８ 他の入力／制御デバイス
８５０ メモリ
８５２ オペレーティングシステム
８５４ 通信命令
８５８ センサ処理命令
８６０ レコーダ命令
９００ グラフィカルユーザインタフェース
９０１ ビデオペイン
９０２ 時間／位置データ
９０３ オブジェクト
９０４ 検索ボタン
９０５ カテゴリ
９０６ａ、９０６ｂ、９０６ｃ オブジェクト
９０７ サムネイル画像
１０００ 分類器フレームワーク
１００１ ＡＰＩ
１００２ａ～１００２ｎ 分類器
１００５ データストア
１１００ ハードウェアアーキテクチャ
１１０１ システムオンチップ
１１０２ メインカメラ
１１０３ ３Ｄカメラ
１１０４ 静電容量センサ
１１０５ モーションセンサ
１１０６ マイクロホン
１１０７ メモリ
１１０８ 全地球航法衛星システム受信器
１１０９ ＷｉＦｉ／ブルートゥースチップ
１１１０ ワイヤレス送受信器チップ
１１１２ 無線周波数送受信器チップ
１１１３ ＲＦフロントエンド電子回路
１１１４ ＬＥＤ
１１１５ プロジェクタ
１１１６ オーディオ増幅器
１１１７ スピーカ
１１１８ 外部バッテリ
１１１９ 磁気インダクタンス回路網
１１２０ 電力管理チップ
１１２１ 内部バッテリ
１２００ クラウドコンピューティングプラットフォーム
１２０１ エッジサーバ
１２０２ ウェアラブルマルチメディアデバイス
１２０３ ディスパッチャ
１２０４ 状態／コンテキスト検出器
１２０５ ファーストパーティハンドラ
１２０６ 限定ＡＩリゾルバ
１２０７ 領域データセンタ
１２０８ ディスパッチャ
１２０９ 状態／コンテキスト検出器
１２１０ 完全ＡＩリゾルバ
１２１１ 第１のハンドラ
１２１２ 第２のハンドラ
１３００ ソフトウェアコンポーネント
１３０１ デーモン
１３０２ ライブラリ
１３０３ オペレーティングシステム
１３０４ 他のソフトウェアコンポーネント
１７００ プロジェクタ、プロジェクタアーキテクチャ
１７０１ コントローラ
１７０４ 固体レーザ
１７０５ Ｘ－Ｙスキャナ
１７０６ ドライバ
１７０７ メモリ
１７０８ デジタルアナログ変換器
１７０９ アナログデジタル変換器
１８００ 円パターン
１８０１ 表面
１８０２、１８０３ 領域

Claims (15)

1. 身体装着装置であって、
   カメラと、
   深度センサと、
   レーザ投影システムと、
   １つまたは複数のプロセッサと、
   前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
   前記カメラを使用して、一組のデジタル画像を捕捉することと、
   前記一組のデジタル画像内のオブジェクトを識別することと、
   前記深度センサを使用して、深度データを捕捉することと、
   前記深度データ内の前記装置を装着しているユーザのジェスチャを識別することと、
   前記オブジェクトを前記ジェスチャと関連付けることと、
   前記オブジェクトと関連したデータを取得することと、
   前記レーザ投影システムを使用して、表面上に前記データのレーザ投影を投影することとを含む動作を行わせる命令を記憶したメモリとを備える、身体装着装置。
2. 前記レーザ投影が、前記オブジェクトに対するテキストラベルを含む、請求項１に記載の装置。
3. 前記レーザ投影が、前記オブジェクトに対するサイズテンプレートを含む、請求項１または２に記載の装置。
4. 前記レーザ投影が、前記オブジェクトにアクションを行うための命令を含む、請求項１から３のいずれか一項に記載の装置。
5. 身体装着装置であって、
   カメラと、
   深度センサと、
   レーザ投影システムと、
   １つまたは複数のプロセッサと、
   前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
   前記センサを使用して、深度データを捕捉することと、
   前記深度データ内の第１のジェスチャであり、前記装置を装着しているユーザによってなされた、ジェスチャを識別することと、
   前記第１のジェスチャを要求またはコマンドと関連付けることと、
   前記レーザ投影システムを使用して、表面上に前記要求またはコマンドと関連したレーザ投影を投影することとを含む動作を行わせる命令を記憶したメモリとを備える、身体装着装置。
6. 前記動作が、
   前記深度センサを使用して、前記レーザ投影と関連した第２のジェスチャを取得することと、
   前記第２のジェスチャに基づいてユーザ入力を決定することと、
   前記ユーザ入力に従って１つまたは複数のアクションを開始することとを更に含む、請求項５に記載の装置。
7. 前記動作が、
   前記第２のジェスチャをしている前記ユーザの手に前記データを投影するのを防止するために前記レーザ投影をマスクすることを更に含む、請求項６に記載の装置。
8. 前記動作が、
   前記深度センサまたはカメラを使用して、前記表面の幾何形状、材質またはテクスチャを示す深度または画像データを取得することと、
   前記表面の前記幾何形状、材質またはテクスチャに基づいて前記レーザ投影システムの１つまたは複数のパラメータを調整することとを更に含む、請求項１から７のいずれか一項に記載の装置。
9. 前記動作が、
   前記カメラを使用して、前記表面からの前記レーザ投影の反射を捕捉することと、
   前記レーザ投影が均一な明るさを有するように前記レーザ投影の強度を、異なる屈折率を補償するように自動的に調整することとを更に含む、請求項１から８のいずれか一項に記載の装置。
10. ユーザの被服を通してバッテリパックに磁気結合するように構成される磁気取付け機構であり、前記バッテリパックから誘導充電を受けるように更に構成される、磁気取付け機構
    を更に備える、請求項１から９のいずれか一項に記載の装置。
11. 身体装着装置の深度センサを使用して、深度データを捕捉するステップと、
    前記装置の１つまたは複数のプロセッサを使用して、前記深度データ内の第１のジェスチャであって、前記装置を装着しているユーザによってなされた、第１のジェスチャを識別するステップと、
    前記１つまたは複数のプロセッサを使用して、前記第１のジェスチャを要求またはコマンドと関連付けるステップと、
    前記装置のレーザ投影システムを使用して、表面上に前記要求またはコマンドと関連したレーザ投影を投影するステップと
    を含む方法。
12. 前記深度センサを使用して、前記ユーザによる第２のジェスチャであって、前記レーザ投影と関連した、第２のジェスチャを取得するステップと、
    前記第２のジェスチャに基づいてユーザ入力を決定するステップと、
    前記ユーザ入力に従って１つまたは複数のアクションを開始するステップと
    を更に含む、請求項１１に記載の方法。
13. 前記１つまたは複数のアクションが、別のデバイスを制御することを含む、請求項１２に記載の方法。
14. 前記第２のジェスチャをしている前記ユーザの手に前記データを投影するのを防止するために前記レーザ投影をマスクするステップ
    を更に含む、請求項１１から１３のいずれか一項に記載の方法。
15. 前記深度センサまたはカメラを使用して、前記表面の幾何形状、材質またはテクスチャを示す深度または画像データを取得するステップと、
    前記表面の前記幾何形状、材質またはテクスチャに基づいて前記レーザ投影システムの１つまたは複数のパラメータを調整するステップと
    を更に含む、請求項１１から１４のいずれか一項に記載の方法。

Images