JP2022525867A - ユーザの音響的及び／又は映像的コンテンツの記憶及びレンダリング - Google Patents

Abstract

ユーザの音響的及び／又は映像的コンテンツを記憶するためのシステム１００が提供される。システム１００は、ユーザのジェスチャ及び／又は音声コマンドの検知に応答して、ジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を特定することを行うように構成された１つ又は複数のプロセッサ１０２を備える。システム１００は、対象者の身体上の特定された場所の指標を、ユーザのジェスチャ及び／又は音声コマンドが検知された後の期間又は検知されている期間にキャプチャされたユーザの音響的及び／又は映像的コンテンツとともに記憶するため、少なくとも１つのメモリ１０４を制御することを行うように構成された１つ又は複数のプロセッサ１０２を更に備える。

Description

本開示は、ユーザの音響的及び／又は映像的コンテンツを記憶するためのシステム及び方法、及びユーザの音響的及び／又は映像的コンテンツをレンダリングするためのシステム及び方法に関する。

しばしば、対象者が任意の所与の日に膨大な量の情報を提供されることがあり、従って、対象者にとって、彼ら／彼女らが提供された情報の全てを覚えていることが困難であり、まして全ての情報を正確に覚えていることは困難であることがある。ときに、これらの情報は重要なものであることがあり、もしも対象者がこれらの情報を忘れてしまったり、不正確に思い出したりすると問題が起こることがある。対象者にとって、彼ら／彼女らが利用可能な膨大な量の情報の中から所望の情報を容易に検索して読み出し、又はフィルタリングすることも困難であることがある。

これは、ヘルスケアの分野において特に顕著であり、そこでは、対象者（例えば患者）が自分の状態、疾患の進行、推奨される治療などを理解するために患者協働が重要である。診察中に医療専門家（例えば、医師）によって多くの説明が提供され、しばしば、対象者が後になって説明を正確に思い出すことができないことがある。また、医療用画像にはしばしば膨大な量の情報（注釈及び医療レポートなど）が含まれるので、医療用画像によって提供される情報は、対象者にとって理解が困難であることがあり、情報にきちんとした理由のないように見える場合、すなわち、医療専門家からの関連する説明がない場合には、特に困難である。

自宅で対象者が参考にすべき、医師による診察からの全ての文書（例えば、医療用画像、レポート、バックグラウンド冊子、解剖学表現など）を含んだディレクトリが作られる。しかしながら、これらは対象者にとっては手に負えない量の情報であることがあり、対象者は情報をフィルタリングし、互いにつなぎ合わせなければならない。これは、対象者にとっては複雑で、時間を浪費する作業であり得、このことは、対象者が情報と関わり合うことがなくなり、故に、それを参考にする気をそぐことを意味する。また、対象者は、診察の間に、彼ら／彼女らの健康に関わるイベント（例えば、症状）を医療専門家に報告することを必要とする。しかしながら、このようなイベントを記録することは対象者にとって困難で、うんざりすることであり得、このようなイベントが多数ある場合には特にそうである。

米国特許出願公開第２０１３／０１７４０７７号は、情報を表示するためのディスプレイユニットと、ディスプレイユニットのディスプレイ面の上で実施されるジェスチャ動作を検知するためのジェスチャ入力ユニットとを備える医療情報ディスプレイ装置を公開している。取得ユニットが、対象者の外見画像が表示されている間にディスプレイ面上で実施されたジェスチャ動作に対応する対象者の医療情報を取得する。しかしながら、このようにして対象者は医療情報を検索して読み出すことができるが、この医療情報を装置に提供することは医療専門家にとって困難で、時間を浪費するプロセスであるとともに、ディスプレイ面を使用して医療情報にアクセスすることは対象者への負担にもなる。更には、装置を適切に使用するためには、医療専門家及び対象者が自分が直接的に見ている又は感じている特定の身体部位をグラフィカル表現に変換することが可能である必要があるので、彼ら／彼女らの双方にとっての追加的な困難さもある。これらは余計な時間がかかり、正確性に限界をもたらすことにもなる。

上に述べられたように、既存の技術に存在する限界は、対象者による将来の検索による読み出しのために装置に医療情報を提供することは医療専門家にとって困難で、時間を浪費するプロセスであり得るということ、及び対象者にとってはディスプレイ面を使用して医療情報にアクセスしなければならないことが負担となり、これもやはり困難で、時間を浪費するプロセスになり得るということ、である。加えて、既存の技術には、正確性の限界があるという問題もある。故に、これらの限界に対処することを目的とした改善を行うことは有益である。

従って、第１の態様によると、ユーザの音響的及び／又は映像的コンテンツを記憶するためのシステムが提供される。システムは、ユーザのジェスチャ及び／又は音声コマンドの検知に応答して、ジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を特定することを行うように構成された１つ又は複数のプロセッサを備える。１つ又は複数のプロセッサは、対象者の身体上の特定された場所の指標を、ユーザのジェスチャ及び／又は音声コマンドが検知された後の期間又は検知されている期間にキャプチャされたユーザの音響的及び／又は映像的コンテンツとともに記憶するように少なくとも１つのメモリを制御することを行うように構成される。

いくつかの実施形態において、システムは、ユーザのジェスチャ及び／又は音声コマンドを検知すること、及び／又はユーザの音響的及び／又は映像的コンテンツをキャプチャすることを行うように構成された１つ又は複数の検知器を備える。

いくつかの実施形態において、期間は予め定められた持続期間を有し、又は、期間は、ユーザの更なるジェスチャ及び／又は音声コマンドの検知に応答して終了する。

いくつかの実施形態において、ジェスチャは、ポインティングジェスチャ、タッピングジェスチャ、スライディングジェスチャ、及び／又は視線ジェスチャを含む。いくつかの実施形態において、ジェスチャは、ユーザの身体部位のジェスチャ、又はユーザによって保持されたデバイスのジェスチャを含む。

いくつかの実施形態において、１つ又は複数のプロセッサは、ユーザのジェスチャ及び／又は音声コマンドが検知されている期間にキャプチャされたユーザの映像的コンテンツを、ジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を特定するための身体認識を使用して処理するように構成されることによって対象者の身体上の場所を特定するように構成される。追加的に又は代替的に、いくつかの実施形態において、１つ又は複数のプロセッサは、ジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を特定するための身体結合通信を使用するように構成されることによって対象者の身体上の場所を特定するように構成される。

第２の態様によると、ユーザの音響的及び／又は映像的コンテンツを記憶するための方法が提供される。方法は、ユーザのジェスチャ及び／又は音声コマンドの検知に応答して、ジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を特定するステップと、対象者の身体上の特定された場所の指標を、ユーザのジェスチャ及び／又は音声コマンドが検知された後の期間又は検知されている期間にキャプチャされたユーザの音響的及び／又は映像的コンテンツとともに記憶するように少なくとも１つのメモリを制御するステップとを有する。

第３の態様によると、ユーザの音響的及び／又は映像的コンテンツをレンダリングするためのシステムが提供される。システムは、対象者のジェスチャ及び／又は音声コマンドの検知に応答して、対象者及びジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を特定することを行うように構成された１つ又は複数のプロセッサを備える。１つ又は複数のプロセッサは、少なくとも１つのメモリから、特定された対象者の身体上の特定された場所の指標とともに記憶されたユーザの音響的及び／又は映像的コンテンツを取得することと、ユーザの取得された音響的及び／又は映像的コンテンツをレンダリングするように１つ又は複数のユーザインタフェースを制御することとを行うように構成される。

いくつかの実施形態において、システムは、対象者のジェスチャ及び／又は音声コマンドを検知するように構成された１つ又は複数の検知器；及び／又はユーザの取得された音響的及び／又は映像的コンテンツをレンダリングするように構成された１つ又は複数のユーザインタフェースを備える。

いくつかの実施形態において、１つ又は複数のプロセッサは、対象者の身体上の１つ又は複数の場所を示す対象者の映像的表現をレンダリングするように１つ又は複数のユーザインタフェースを制御することを行うように構成され、場所のための指標が少なくとも１つのメモリに記憶されている。代替的に又は追加的に、いくつかの実施形態において、１つ又は複数のプロセッサは、対象者の身体上の場所へのジェスチャの近接を示すフィードバックをレンダリングするように１つ又は複数のユーザインタフェースを制御することを行うように構成され、場所のための指標が少なくとも１つのメモリに記憶されている。

いくつかの実施形態において、１つ又は複数のプロセッサは、ユーザの取得された音響的及び／又は映像的コンテンツを、特定された対象者の身体の映像的表現とともにレンダリングするように１つ又は複数のユーザインタフェースを制御することを行うように構成される。

いくつかの実施形態において、１つ又は複数のプロセッサは、対象者のジェスチャ及び／又は音声コマンドが検知されている期間にキャプチャされた対象者の映像的コンテンツを、対象者を特定するためのカメラに基づいた認識を使用して処理するように構成されることによって対象者を特定するように構成される。追加的に又は代替的に、いくつかの実施形態において、１つ又は複数のプロセッサは、対象者のジェスチャ及び／又は音声コマンドが検知されている期間にキャプチャされた対象者の音響的コンテンツを、対象者を特定するための音声認識を使用して処理するように構成されることによって対象者を特定するように構成される。追加的に又は代替的に、いくつかの実施形態において、１つ又は複数のプロセッサは、対象者を特定するための身体結合通信を使用するように構成されることによって対象者を特定するように構成される。

いくつかの実施形態において、１つ又は複数のプロセッサは、対象者のジェスチャ及び／又は音声コマンドが検知されている期間にキャプチャされた対象者の映像的コンテンツを、ジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を特定するための身体認識を使用して処理するように構成されることによって対象者の身体上の場所を特定するように構成される。追加的に又は代替的に、いくつかの実施形態において、１つ又は複数のプロセッサは、ジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を特定するための身体結合通信を使用するように構成されることによって対象者の身体上の場所を特定するように構成される。

第４の態様によると、ユーザの音響的及び／又は映像的コンテンツをレンダリングするための方法が提供される。方法は、対象者のジェスチャ及び／又は音声コマンドの検知に応答して、対象者及びジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を特定するステップを有する。方法は、少なくとも１つのメモリから、特定された対象者の身体上の特定された場所の指標とともに記憶されたユーザの音響的及び／又は映像的コンテンツを取得するステップと、ユーザの取得された音響的及び／又は映像的コンテンツをレンダリングするように１つ又は複数のユーザインタフェースを制御するステップとを有する。

第５の態様によると、コンピュータ可読媒体を含むコンピュータプログラム製品が提供される。コンピュータ可読媒体は、内部に埋め込まれたコンピュータ可読コードを有する。コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行されると、コンピュータ又はプロセッサに前述された方法を実行させるように構成される。

上述された態様及び実施形態によると、既存の技術の限界が対処される。特には、上述された態様及び実施形態によると、ユーザ（例えば、医療専門家）が実施することを必要とされる全てのことは、彼ら／彼女らが提供する情報に関連する対象者の身体上の関係する場所の指標とともに記憶されるべきその情報のためのジェスチャ及び／又は音声コマンドを実施することだけであるので、ユーザが情報を提供するやり方が単純化される。同様に、対象者（例えば、患者）が実施することを必要とされる全てのことは、取得及びレンダリングされるべき彼ら／彼女らの身体上の関係する場所についての情報のためのジェスチャ及び／又は音声コマンドを実施することだけであるので、対象者が情報を検索して読み出すやり方も単純化される。ユーザ及び対象者は、対象者の実際の身体上の関係する場所に関する彼ら／彼女らのジェスチャ及び／又は音声コマンドを提供し得るので、情報を入力及び検索して読み出すための追加的なデバイスの必要性はなくなる。代わりに、音響的及び／又は映像的コンテンツは、対象者の身体上の対応する場所に自然に関連付けられる。故に、ユーザ及び対象者への負担が低減され、彼ら／彼女らは、情報の提供及び情報の検索による読み出しという彼ら／彼女らそれぞれのタスクを、対象者の実際の身体上の関係する場所に関する単純なジェスチャ及び／又は音声コマンドを通じてより効率的に完了することができる。

更には、上述された態様及び実施形態によると、ジェスチャ及び／又は音声コマンドによって示される対象者の身体上の場所は、ユーザの音響的及び／又は映像的コンテンツが身体の解剖学的構造に具体的に関連するように特定されるので、情報はより関係性が高く、より正確になる。このことは、例えば、症状の身体の場所の記録を改善することができ、音響的及び／又は映像的コンテンツのより良好な理解及びより容易な診査も容易化する。このようにして、上述された態様及び実施形態は、医療専門家による診断を容易化する。故に、ユーザの音響的及び／又は映像的コンテンツを記憶するためのシステム及び方法、及びユーザの音響的及び／又は映像的コンテンツをレンダリングするための向上されたシステム及び方法が提供される。

これらの及び他の態様は、本明細書において以下に説明される実施形態から明らかであり、これらを参照することで解明されるであろう。

次に、例示的な実施形態が、単なる例として、以下の図面を参照して説明される。

実施形態によるシステムの概略的な図である。 実施形態による方法を示すフローチャートである。 実施形態によるシステムの概略的な図である。 実施形態による方法を示すフローチャートである。 システムが使用され得る例示的な状況を示す図である。 システムが使用され得る例示的な状況を示す図である。

上に述べられたように、本明細書において、ユーザの音響的及び／又は映像的コンテンツを記憶するための向上されたシステム及び方法、及びユーザの音響的及び／又は映像的コンテンツをレンダリングするための向上されたシステム及び方法が提供される。本明細書において、「ユーザ」への言及は、医師、看護士、介護者などの医療専門家を指す。また、本明細書において、「対象者」への言及は患者を指す。本明細書において説明されるユーザのジェスチャ及び／又は音声コマンドは、対象者の実際の身体を対象とするジェスチャ及び／又は音声コマンドである。

図１は、実施形態によるユーザの音響的及び／又は映像的コンテンツを記憶するためのシステム１００を示す。システムは、ユーザによって、例えば、医療施設において使用されるものであり得る。医療施設とは、例えば、一般開業医（ＧＰ）の診療所、病院、クリニック、又は任意の他の医療施設であり得る。図１において示されるように、システム１００は１つ又は複数のプロセッサ１０２を備える。１つ又は複数のプロセッサ１０２は、本明細書において説明される様々な機能を実施するために、ソフトウェア及び／又はハードウェアによって多くのやり方において実現され得る。

特定の実施態様において、１つ又は複数のプロセッサ１０２は、複数のソフトウェア及び／又はハードウェアモジュールを備え得、その各々は、本明細書において説明される方法の個々の又は複数のステップを実施するように構成され、又はそれらはこれを実施するためのものである。１つ又は複数のプロセッサ１０２は、例えば、本明細書において説明される様々な機能を実施するように構成又はプログラム（例えば、ソフトウェア又はコンピュータプログラムコードを使用して）された１つ又は複数のマイクロプロセッサ、１つ又は複数のマルチコアプロセッサ及び／又は１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、１つ又は複数の処理ユニット、及び／又は１つ又は複数のコントローラ（例えば、１つ又は複数のマイクロコントローラ）を備える。１つ又は複数のプロセッサ１０２は、いくつかの機能を実施する専用ハードウェア（例えば、増幅器、プレ増幅器、アナログ－デジタル変換器（ＡＤＣ）及び／又はデジタル－アナログ変換器ＤＡＣ）と、他の機能を実施する１つ又は複数のプロセッサ（例えば、１つ又は複数のプログラムされたマイクロプロセッサ、ＤＳＰ及び関連する回路）との組み合わせとして実現されてよい。

簡単に言うと、１つ又は複数のプロセッサ１０２は、ユーザのジェスチャ及び／又は音声コマンドの検知に応答して、ジェスチャ及び／又は音声コマンドによって示された対象者の身体（例えば、身体上のエリア、又は身体の一部）上の場所を特定するように構成される。また、１つ又は複数のプロセッサ１０２は、対象者の身体上の特定された場所の指標を、ユーザのジェスチャ及び／又は音声コマンドが検知された後の期間又は検知されている期間にキャプチャされたユーザの音響的及び／又は映像的コンテンツとともに記憶するように少なくとも１つのメモリ１０４を制御するように構成される。

図１において示されるように、いくつかの実施形態において、システム１００は少なくとも１つのメモリ１０４を備える。代替的に又は追加的に、いくつかの実施形態において、少なくとも１つのメモリ１０４は、システム１００の外部にある（例えば、システム１００から分離されている、又はシステム１００から遠隔の場所にある）。例えば、いくつかの実施形態によると、別のシステムが少なくとも１つのメモリ１０４を備える。いくつかの実施形態において、病院データベースが少なくとも１つのメモリ１０４を備えてよく、少なくとも１つのメモリ１０４はクラウドコンピューティングリソースなどであってよい。システム１００の１つ又は複数のプロセッサ１０２は、少なくとも１つのメモリ１０４と通信及び／又は接続するように構成される。少なくとも１つのメモリ１０４は、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能ＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、及び電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ（登録商標））などの揮発性又は不揮発性コンピュータメモリを含むキャッシュ又はシステムメモリなどの任意のタイプの非一時的機械可読媒体を備える。いくつかの実施形態において、少なくとも１つのメモリ１０４は、システム１００を本明細書において説明されるやり方において動作させるようにシステム１００の１つ又は複数のプロセッサ１０２によって実行され得るプログラムコードを記憶するように構成され得る。

代替的に又は追加的に、少なくとも１つのメモリ１０４は、本明細書において説明される方法によって必要とされる又は本明細書において説明される方法からもたらされる情報を記憶するように構成され得る。例えば、少なくとも１つのメモリ１０４は、対象者の身体上の特定された場所の指標を、ユーザのジェスチャ及び／又は音声コマンドが検知された後の期間又は検知されている期間にキャプチャされたユーザの音響的及び／又は映像的コンテンツとともに記憶するように構成される。少なくとも１つのメモリ１０４は、本明細書において説明される方法によって必要とされる又は本明細書において説明される方法からもたらされる任意の他の情報若しくは情報の任意の組み合わせを記憶するようにも構成される。システム１００の１つ又は複数のプロセッサ１０２は、本明細書において説明される方法によって必要とされる又は本明細書において説明される方法からもたらされる情報を記憶するように少なくとも１つのメモリ１０４を制御するように構成され得る。

図１において示されるように、いくつかの実施形態において、システム１００は１つ又は複数の検知器１０６を備える。代替的に又は追加的に、いくつかの実施形態において、少なくとも１つの検知器１０６は、システム１００の外部にある（例えば、システム１００から分離されている、又はシステム１００から遠隔の場所にある）。例えば、いくつかの実施形態によると、別のシステムが少なくとも１つの検知器１０６を備える。１つ又は複数の検知器１０６は、ユーザのジェスチャ及び／又は音声コマンドを検知するように構成される。代替的に又は追加的に、１つ又は複数の検知器１０６は、ユーザの音響的及び／又は映像的コンテンツをキャプチャするように構成される。いくつかの実施形態において、ユーザのジェスチャ及び／又は音声コマンドを検知するように構成された１つ又は複数の検知器１０６のうちの少なくとも１つが、ユーザの音響的及び／又は映像的コンテンツをキャプチャするようにも構成される。他の実施形態において、ユーザのジェスチャ及び／又は音声コマンドを検知するように構成された１つ又は複数の検知器１０６と、ユーザの音響的及び／又は映像的コンテンツをキャプチャする１つ又は複数の検知器１０６とは異なる。

図１において示されるように、いくつかの実施形態において、システム１００は、少なくとも１つのユーザインタフェース１０８を備える。代替的に又は追加的に、いくつかの実施形態において、少なくとも１つのユーザインタフェース１０８は、システム１００の外部にある（例えば、システム１００から分離されている、又はシステム１００から遠隔の場所にある）。システム１００の１つ又は複数のプロセッサ１０２は、少なくとも１つのユーザインタフェース１０８と通信及び／又は接続するように構成される。いくつかの実施形態において、システム１００の１つ又は複数のプロセッサ１０２は、本明細書において説明されるやり方において動作するように少なくとも１つのユーザインタフェース１０８を制御するように構成され得る。

ユーザインタフェース１０８は、本明細書において説明される方法によって必要とされる又は本明細書において説明される方法からもたらされる情報をレンダリング（又は出力、表示、若しくは提供）するように構成され得る。例えば、いくつかの実施形態において、１つ又は複数のユーザインタフェース１０８は、対象者の身体上の特定された場所の指標、ユーザのジェスチャ及び／又は音声コマンドが検知された後の期間又は検知されている期間にキャプチャされたユーザの音響的及び／又は映像的コンテンツ、又は本明細書において説明される方法によって必要とされる又は本明細書において説明される方法からもたらされる任意の他の情報若しくは情報の任意の組み合わせのうちの任意の１つ又は複数をレンダリング（又は出力、表示、若しくは提供）するように構成される。代替的に又は追加的に、１つ又は複数のユーザインタフェース１０８は、ユーザ入力を受信するように構成され得る。例えば、１つ又は複数のユーザインタフェース１０８は、ユーザ（例えば、対象者又は別のユーザ）が、情報又は命令を手動で入力すること、システム１００と相互作用すること、及び／又はシステム１００を制御することを可能とする。故に、１つ又は複数のユーザインタフェース１０８は、情報をレンダリング（又は出力、表示、若しくは提供）することを可能とする、及び／又はユーザがユーザ入力を提供することを可能とする任意の１つ又は複数のユーザインタフェースである。

例えば、１つ又は複数のユーザインタフェース１０８は、１つ又は複数のスイッチ、１つ又は複数のボタン、キーパッド、キーボード、マウス、ディスプレイ若しくはディスプレイスクリーン、タッチスクリーンなどのグラフィカルユーザインタフェース（ＧＵＩ）、アプリケーション（例えば、タブレット、スマートフォン、又は任意の他のスマートデバイスなどのスマートデバイス上のもの）若しくは任意の他の映像的コンポーネント、１つ又は複数のスピーカ、１つ又は複数のマイクロフォン若しくは任意の他の音響的コンポーネント、１つ又は複数のライト（例えば、１つ又は複数の発光ダイオード、すなわちＬＥＤ）、触知的又は触覚的フィードバックを提供するコンポーネント（例えば、振動機能又は他の触知的フィードバックコンポーネント）、拡張現実デバイス（例えば、拡張現実グラス又は任意の他の拡張現実デバイス）、スマートデバイス（例えば、スマートミラー、タブレット、スマートフォン、スマートウォッチ、又は任意の他のスマートデバイス）、又は任意の他のユーザインタフェース若しくはユーザインタフェースの組み合わせを備える。いくつかの実施形態において、情報をレンダリングするように制御される１つ又は複数のユーザインタフェースは、ユーザがユーザ入力を提供することを可能とする１つ又は複数のユーザインタフェースと同一である。

図１において示されるように、いくつかの実施形態において、システム１００は、少なくとも１つの通信インタフェース（又は通信回路）１１０を備える。代替的に又は追加的に、いくつかの実施形態において、少なくとも１つの通信インタフェース１１０は、システム１００の外部にある（例えば、システム１００から分離されている、又はシステム１００から遠隔の場所にある）。通信インタフェース１１０は、システム１００又はシステム１００のコンポーネント（例えば、１つ又は複数のプロセッサ１０２、１つ又は複数のメモリ１０４、１つ又は複数の検知器１０６、１つ又は複数のユーザインタフェース１０８及び／又はシステム１００の任意の他のコンポーネント）が、互いに及び／又は１つ又は複数の他のコンポーネントと通信及び／又は接続することを可能とするためのものであり得る。例えば、１つ又は複数の通信インタフェース１１０は、システム１００の１つ又は複数のプロセッサ１０２が、１つ又は複数のメモリ１０４、１つ又は複数の検知器１０６、１つ又は複数のユーザインタフェース１０８及び／又はシステム１００の任意の他のコンポーネントと通信及び／又は接続することを可能とするためのものであり得る。

通信インタフェース１１０は、システム１００又はシステム１００のコンポーネントが任意の適切なやり方で通信及び／又は接続することを可能とする。例えば、１つ又は複数の通信インタフェース１１０は、システム１００又はシステム１００のコンポーネントが、無線で、有線接続を介して、又は任意の他の通信（又はデータ転送）機構を介して通信及び／又は接続することを可能とする。いくつかの無線の実施形態において、例えば、１つ又は複数の通信インタフェース１１０は、システム１００又はシステム１００のコンポーネントが、無線周波数（ＲＦ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は通信及び／又は接続のための任意の他の無線通信技術を使用することを可能とする。

図２は、実施形態によるユーザの音響的及び／又は映像的コンテンツを記憶するための方法２００を示す。より具体的には、図２は、ユーザの音響的及び／又は映像的コンテンツを記憶するための、図１を参照して前述されたシステム１００を動作させる方法２００を示す。図２において示された方法２００は、コンピュータによって実現される方法である。前述されたように、図１を参照して前述されたシステム１００は、１つ又は複数のプロセッサ１０２を備える。図２において示された方法２００は、概して、図１を参照して前述されたシステム１００の１つ又は複数のプロセッサ１０２によって、又はその制御下において実施され得る。

図２を参照すると、ブロック２０２において、ユーザのジェスチャ及び／又は音声コマンドの検知に応答して、ジェスチャ及び／又は音声コマンドによって示された対象者の身体（例えば、身体上のエリア、又は身体の一部）上の場所が特定される。より具体的には、システム１００の１つ又は複数のプロセッサ１０２は、ユーザのジェスチャ及び／又は音声コマンドの検知に応答して、ジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を特定する。ユーザのジェスチャ及び／又は音声コマンドは、ユーザとの診察中に検知される。

本明細書において、ユーザのジェスチャは、ポインティングジェスチャ、タッピングジェスチャ、スライディングジェスチャ、視線ジェスチャ（例えば、注視）、又は任意の他のジェスチャ、又はジェスチャの任意の組み合わせを含む。いくつかの実施形態において、ユーザのジェスチャは、ユーザの身体部位（例えば、指、手、目、又は任意の他の身体部位）のジェスチャ、又はユーザによって保持されたデバイス（例えば、ポインティングデバイス又は任意の他のデバイス）のジェスチャを含む。ユーザのジェスチャは、対象者の身体上の場所との相互作用（例えば、接触）を含み、又は、ユーザのジェスチャは、対象者の身体の場所から離れている。ユーザのジェスチャが対象者の身体の場所から離れている場合、ユーザのジェスチャは、対象者の身体上の場所を示すために、対象者の身体上のその場所の周りの予め定められたエリア内にある（例えば、対象者の身体上の場所から２０ｃｍ内にある）。本明細書において、ユーザの音声コマンドは、「記録開始」又は「ブックマークの場所」など、ユーザの発声された命令を含む。

システム１００の１つ又は複数のプロセッサ１０２は、ユーザのジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を、任意の適切なやり方において特定するように構成される。いくつかの実施形態において、これは、身体定位システムの使用を伴う。

いくつかの実施形態において、システム１００の１つ又は複数のプロセッサ１０２は、ユーザのジェスチャによって示された対象者の身体上の場所を特定するためにユーザの映像的コンテンツを分析するように構成される。例えば、いくつかの実施形態において、１つ又は複数のプロセッサ１０２は、ユーザのジェスチャ及び／又は音声コマンドが検知されている期間にキャプチャされたユーザの映像的コンテンツを、ユーザのジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を特定するための（例えば、３次元的）身体認識を使用して処理するように構成されることによって対象者の身体上の場所を特定するように構成される。当業者は、適切な（例えば、３次元的）身体認識技術及び対象者の身体（例えば、身体上のエリア、又は身体の一部）上の場所を特定するためにそれらが使用され得るやり方を承知しているであろう。

しかしながら、簡単に言うと、例えば、カメラ（例えば、深度カメラ）が対象者の身体の画像を取得し、この画像は、対象者の身体上の身体マーカ（例えば、区別可能な特性又は特徴）を識別するためにシステム１００の１つ又は複数のプロセッサ１０２によって処理される。対象者の身体の画像におけるこれらの身体マーカは、身体の皮膚面を再構築するために使用され得る。次いで、皮膚上のポイントが最も近い身体マーカから補間され得る。ユーザのジェスチャによって示された対象者の身体上の場所は、皮膚上のポイントに対するジェスチャの場所を外挿することによって特定され得る。いくつかの実施形態において、ユーザのジェスチャによって示された対象者の身体上の場所を特定するために、対象者の形態に対して外挿された解剖学的（例えば、医療的）マップが、認識された身体骨格上に重畳される。いくつかの実施形態において、カメラ（例えば、深度カメラ）がユーザのジェスチャを特定するために使用される。

ユーザの映像的コンテンツは直接的にキャプチャされる。例えば、ユーザの映像的コンテンツは、ユーザの環境におけるカメラ（例えば、壁に設置されたカメラ）又はユーザによって保持されたデバイス（例えば、電話又はコンピュータ）上のカメラなどのカメラから取得される。代替的に又は追加的に、ユーザの映像的コンテンツは間接的にキャプチャされる。例えば、ユーザの映像的コンテンツは鏡から取得される。ユーザの映像的コンテンツの（例えば、鏡を介した）間接的なキャプチャは、その他のやり方では視認できない対象者の身体上の場所（例えば、対象者の身体の背中にある場所）を示すユーザのジェスチャが依然として検知され得ることを保証し得る。システム１００の１つ又は複数のプロセッサ１０２は、身体マッピングを使用して、間接的にキャプチャされたユーザの映像的コンテンツを処理する。

代替的に又は追加的に、いくつかの実施形態において、システム１００の１つ又は複数のプロセッサ１０２は、ジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を特定するための身体結合通信を使用するように構成されることによって対象者の身体上の場所を特定するように構成される。当業者は、適切な身体結合通信技術及び対象者の身体（例えば、身体上のエリア、又は身体の一部）上の場所を特定するためにそれらが使用され得るやり方を承知しているであろう。

しかしながら、簡単に言うと、身体結合通信においては、ユーザの身体及び対象者の身体が通信チャンネルとして働く。ユーザが（例えば、彼ら／彼女らの指によって）対象者に接触すると、ユーザの身体内に電気信号が誘起され（例えば、腕に着用されるセンサなどのウェアラブルセンサを介して）、ユーザの身体を通って対象者の身体内に送信される。結果としてもたらされる結合（例えば、ガルバニック結合又は容量結合）は、対象者によって着用された１つ又は複数のセンサによって測定される。測定された結合は、ユーザが接触する対象者の身体（例えば、身体部位）上の場所に応じて異なる。結合の身体マップが（例えば、部分的に）計算され得る。身体マップは（例えば、部分的に）事前較正される。身体マップは、結合値を対象者の身体上の場所にマッピングする。システム１００の１つ又は複数のプロセッサ１０２は、取得された結合値をマッピングされた結合値と比較することによって、所与の瞬間にユーザによって接触された対象者の身体（例えば、身体部位）上の場所を特定し得る。

図２に戻ると、ブロック２０４において、少なくとも１つのメモリ１０４は、対象者の身体上の特定された場所の指標を、ユーザのジェスチャ及び／又は音声コマンドが検知された後の期間又は検知されている期間にキャプチャされたユーザの音響的及び／又は映像的コンテンツとともに記憶するように制御される。より具体的には、システム１００の１つ又は複数のプロセッサ１０２が少なくとも１つのメモリ１０４をこのように制御する。故に、対象者の身体上の特定された場所はブックマークされ得、対象者の身体上の特定された場所に関連付けられたユーザの音響的及び／又は映像的コンテンツとともに記憶され得る。いくつかの実施例において、ユーザのジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所は、心臓の疾患に関してはユーザの胸部の左部にあり、頭痛に関してはユーザの頭部にあり、血圧の測定に関しては腕にある、などとなる。ユーザの音響的及び／又は映像的コンテンツとともに記憶された対象者の身体上の１つ又は複数の（例えば、１から１０の範囲で）場所の指標があってよい。

いくつかの実施形態において、１つ又は複数のプロセッサ１０２は、対象者のジェスチャ及び／又は音声コマンドの検知に応答して（検知に際して）、ユーザの音響的及び／又は映像的コンテンツとともに対象者の身体上の特定された場所の指標を記憶するように少なくとも１つのメモリ１０４を自動的に制御するように構成され得る。いくつかの実施形態において、対象者の身体上の特定された場所の指標は、異なる時間に（例えば、診察のたびに、又は毎日）キャプチャされたユーザの音響的及び／又は映像的コンテンツとともに記憶され、ユーザは、時間経過に伴う変化を観察するために音響的及び／又は映像的コンテンツを閲覧することができる。少なくとも１つのメモリ１０４は、対象者の身体上の特定された複数の場所の指標を、関連付けられたユーザの音響的及び／又は映像的コンテンツとともに記憶する。いくつかの実施形態において、対象者の身体上の特定された場所の指標は、２次元的表現、リスト（例えば、インデックスリスト）、ルックアップテーブルなどの標準的なディレクトリの形態で、ユーザのその関連付けられた（又はそのそれぞれの）音響的及び／又は映像的コンテンツとともに少なくとも１つのメモリ１０４において記憶される。

いくつかの実施形態において、システム１００の１つ又は複数のプロセッサ１０２は、ユーザの音響的及び／又は映像的コンテンツがキャプチャされている間に、他の関係する情報（例えば、スキャン画像、解剖学的表現などの医療情報）をレンダリングするように少なくとも１つのユーザインタフェース１０８を制御するように構成され得る。少なくとも１つのユーザインタフェース１０８は、例えば、スクリーン又は仮想空間を備える。このようにして、ユーザの音響的及び／又は映像的コンテンツを補足するために、この音響的及び／又は映像的コンテンツがキャプチャされているときに、有益な情報が対象者に提供され得る。

いくつかの実施形態において、ユーザのジェスチャ及び／又は音声コマンドが検知された後の期間又は検知されている期間は、予め定められた持続期間を有する。いくつかの実施形態において、ユーザのジェスチャ及び／又は音声コマンドが検知された後の期間は、ユーザのジェスチャ及び／又は音声コマンドの検知に応答して開始する。いくつかの実施形態において、ユーザのジェスチャ及び／又は音声コマンドが検知された後の期間は、予め定められた量の時間の後に、又は予め定められた量の音響的及び／又は映像的コンテンツ（例えば、予め定められた量の画像及び／又はセンテンス）がキャプチャされた後に終了する。いくつかの実施形態において、ユーザのジェスチャ及び／又は音声コマンドが検知された後の期間は、ユーザの更なるジェスチャ及び／又は音声コマンドの検知の後に終了する。更なるジェスチャは、例えば、ユーザが元のジェスチャの実施をやめること（例えば、もはや対象者の身体上の特定された場所に触れていない、又はそこをポインティングしていない）、又は、音響的及び／又は映像的コンテンツのキャプチャを中止する映像的命令（例えば、ユーザのタッピングアクション、又は、元のジェスチャがユーザのタッピングアクションであったときには、対象者の身体上の特定された場所に向けられたユーザの追加的なタッピングアクション）を含む。更なる音声コマンドは、例えば、ユーザが元の音声コマンドの実施をやめること（例えば、もはや発声していない）、又は、「記録中止」など音響的及び／又は映像的コンテンツのキャプチャを中止する命令が発声されることを含む。いくつかの実施形態において、音響的及び／又は映像的コンテンツは、継続的にキャプチャされ、ユーザのジェスチャ及び／又は音声コマンドが検知されている期間が、例えば、音響的及び／又は映像的分析（例えば、ジェスチャ認識及び／又は音声認識）を使用して切り離される。

本明細書においてユーザの音響的コンテンツと称されるものは、例えば、ユーザの音声を含む。本明細書においてユーザの映像的コンテンツと称されるものは、例えば、ユーザの１つ又は複数の画像及び／又は１つ又は複数のビデオを含む。本明細書においてユーザの音響的及び／又は映像的コンテンツと称されるものは、（例えば、個人的な）医療情報又は健康データを含み得る。医療情報又は健康データは、例えば、疾患の場所、１つ又は複数の症状、推奨される治療、１つ又は複数のモニタリングポイントの場所、血圧カフをどこに位置させるかについての指標などに関する、例えば医療専門家からの説明を含み得る。

図２においては示されていないが、いくつかの実施形態において、システム１００の１つ又は複数のプロセッサ１０２は、ユーザを特定するように構成される。ユーザは、任意の適切なやり方において特定される。

例えば、いくつかの実施形態において、システム１００の１つ又は複数のプロセッサ１０２は、ユーザのジェスチャ及び／又は音声コマンドが検知されている期間にキャプチャされたユーザの映像的コンテンツを、ユーザを特定するためのカメラに基づいた認識を使用して処理するように構成されることによってユーザを特定するように構成される。当業者は、適切な３次元的骨格認識のカメラに基づいた認識技術及びユーザを特定するためにそれらが使用され得るやり方を承知しているであろう。しかしながら、簡単に言うと、例えば、ユーザを特定するために顔認識技術が使用され得る。これは、システム１００の１つ又は複数のプロセッサ１０２が、カメラ（ユーザの環境におけるもの又はユーザによって保持されたデバイスのもの）によって取得された１つ又は複数の画像を、メモリ１０４における顔の画像と比較することを有し、メモリ１０４における各画像は、画像における顔が属するユーザのアイデンティティの指標とともに記憶されている。比較は、１つ又は複数の取得された画像における１つ又は複数の顔の特徴を特定することと、メモリ１０４に記憶された顔の画像における対応する顔の特徴にそれらが合致するかを判定することとを有する。合致する場合、合致する顔の特徴を含む画像とともに記憶されたアイデンティティによってユーザが特定される。

代替的に又は追加的に、いくつかの実施形態において、システム１００の１つ又は複数のプロセッサ１０２は、ユーザのジェスチャ及び／又は音声コマンドが検知されている期間にキャプチャされたユーザの音響的コンテンツを、ユーザを特定するための音声（又は言語）認識を使用して処理するように構成されることによってユーザを特定するように構成される。当業者は、適切な音声（又は言語）認識技術及びユーザを特定するためにそれらが使用され得るやり方を承知しているであろう。しかしながら、簡単に言うと、例えば、システム１００の１つ又は複数のプロセッサ１０２は、パターン認識を使用して、キャプチャされた声紋を処理し、キャプチャされた声紋を基準声紋と比較する。各基準声紋は、ユーザを特定するために、基準声紋が対応するユーザの指標とともにメモリ１０４に記憶されている。

代替的に又は追加的に、いくつかの実施形態において、システム１００の１つ又は複数のプロセッサ１０２は、ユーザを特定するための身体結合通信を使用するように構成されることによってユーザを特定するように構成される。当業者は、適切な身体結合通信技術及びユーザを特定するためにそれらが使用され得るやり方を承知しているであろう。しかしながら、簡単に言うと、例えば、ユーザはデバイス（例えば、タグ）を着用し、デバイスは、特定可能な電気信号を彼ら／彼女らの身体中に誘起するように構成される。電気信号を誘起するように構成されたデバイスは、ユーザのための個人的識別子として働く。電気信号は、検知され、ユーザを特定するために処理される。

代替的に又は追加的に、ジェスチャが、ユーザによって保持されたデバイス（例えば、ポインティングデバイス）のジェスチャを含む実施形態において、デバイスはユーザを特定するために使用される。ユーザが特定されるいくつかの実施形態において、システム１００の１つ又は複数のプロセッサ１０２は、ユーザのアイデンティティの指標を、ユーザの音響的及び／又は映像的コンテンツとともに記憶するように少なくとも１つのメモリ１０４を制御するように構成される。

これも図２においては示されていないが、いくつかの実施形態において、システム１００のプロセッサ１０２は、対象者の身体上の１つ又は複数の場所（これは特定された場所を含む）と関連付けられた追加的な情報を記憶するように、少なくとも１つのメモリ１０４を制御するように構成される。追加的な情報は、データベース（例えば、一般的なデータベース）から（例えば自動的に）検索されて読み出され、及び／又は、少なくとも１つのユーザインタフェース１０８（例えば、ＧＵＩ）を介して受信される。データベースは、例えば、電子的健康記録（ＥＨＲ）又は電子的医療記録（ＥＭＲ）を含み、そこから追加的な情報が検索されて読み出される。いくつかの実施形態において、ユーザは、少なくとも１つのユーザインタフェース１０８を介して追加的な情報を入力する。いくつかの実施形態において、少なくとも１つのユーザインタフェース１０８は、特定された対象者の身体の映像的表現であって、対象者の身体上の１つ又は複数の場所に関連付けられた追加的な情報を入力するためにこの映像的表現上でユーザがこれらの１つ又は複数の場所にタグ付け可能（又は選択可能）であるような特定された対象者の身体の映像的表現をレンダリングするように構成される。追加的な情報は、ユーザの音響的及び／又は映像的コンテンツに対して追加される情報として定められる。故に、追加的な情報は、ユーザの音響的及び／又は映像的コンテンツを補足し得る。追加的な情報は、対象者の身体上の関係する場所に（例えば、自動的に）リンクされ得る。このようにして、情報のディレクトリは、対象者の身体上の１つ又は複数の場所（これは、特定された場所を含む）に関連付けられ得る。

いくつかの実施形態において、ユーザは、ジェスチャ及び／又は音声コマンドを実施している間に又はその後に、追加的な情報を入力し、システム１００のプロセッサ１０２は、ジェスチャ及び／又は音声コマンドによって示された対象者の身体上の特定された場所に追加的な情報を関連付ける。ユーザが一方の手でジェスチャを実施している実施例において、ユーザは、彼ら／彼女らのもう一方の手を使用して、又は音声コマンドによって、ユーザインタフェース１０８を介してこの追加的な情報を入力する。代替的に又は追加的に、いくつかの実施形態において、追加的な情報は、ユーザの音響的及び／又は映像的コンテンツのキャプチャに引き続いて（例えばキャプチャの後に）提供される。追加的な情報の例としては、これらに限定されるものではないが、対象者についての医療情報（又は対象者についての健康データ）（これはユーザからの１つ又は複数の説明の形態をとってよい）、１つ又は複数の医療用画像、１つ又は複数の医療用ビデオ、１つ又は複数の医療（例えば、診断）レポート、１つ又は複数の解剖学的構造を視覚化したもの（又は表現したもの）、１つ又は複数の治療オプションの説明、１つ又は複数の処方箋、１つ又は複数のサポートグループへのリンク、対象者に対する１つ又は複数の質問（例えば、彼ら／彼女らの次回の診察、気分、症状など関するもの）、又は任意の他の追加的な情報、又は追加的な情報の任意の組み合わせなどがある。

実施例において、追加的な情報（説明のための解剖学的表現など）は、医療専門家が医療データベースに問い合わせして取得され、ディスプレイにレンダリングされ、対象者との診察中に説明される。追加的な情報は、例えば医療専門家のジェスチャによって、対象者の身体上の関係する場所に関連付けられる。別の実施例において、リハビリテーションのために対象者が実施しなければならない運動が医療専門家によって対象者に示され、カメラによって映像的にキャプチャされ、対象者の身体上の関係する場所に関連付けられる。この実施例において、映像的にキャプチャされた運動は追加的な情報である。

いくつかの実施形態において、ユーザのジェスチャ及び／又は音声コマンドによって示された対象者の身体上の特定された場所及び関連付けられたユーザの音響的及び／又は映像的コンテンツのうちの任意の１つ又は複数は、時間経過とともに（例えば自動的に）、例えば、医療状態（例えば、疾患）が移行するとともに更新される。ジェスチャ及び／又は音声コマンドによって示された対象者の身体上の特定された場所は、システム１００のプロセッサ１０２が、ユーザの音響的及び／又は映像的コンテンツを分析し、ユーザのジェスチャ及び／又は音声コマンドが対象者の身体上の特定された場所におけるシフトをいつ示したかを検知することによって更新される。システム１００のプロセッサ１０２は、更新された対象者の身体上の特定された場所を記憶するように少なくとも１つのメモリ１０４を制御するように構成され得る。システム１００のプロセッサ１０２は、更新された対象者の身体上の特定された場所を、ユーザの元のジェスチャ及び／又は音声コマンドが検知された後の期間又は検知されている期間にキャプチャされたユーザの音響的及び／又は映像的コンテンツ並びに対象者の身体上の特定された場所におけるシフトを示したユーザのジェスチャ及び／又は音声コマンドが検知された後の期間又は検知されている期間にキャプチャされたユーザの音響的及び／又は映像的コンテンツのうちの任意の１つ又は複数とともに記憶するように少なくとも１つのメモリ１０４を制御するように構成され得る。

このようにして、特定された場所及び関連付けられた音響的及び／又は映像的データの進展を観察することが可能である。故に、例えば、医療状態（例えば、疾患）の改善又は悪化を観察することが可能である。このように、対象者の身体上の特定された場所及び関連付けられたユーザの音響的及び／又は映像的コンテンツのうちの任意の１つ又は複数を更新することによって、対象者の後続の協働が促進される。

図３は、実施形態によるユーザの音響的及び／又は映像的コンテンツをレンダリングするためのシステム３００を示す。システムは、対象者によって、例えば、自宅など彼ら／彼女ら自身の環境において使用されるものであり得る。図３において示されるように、システム３００は１つ又は複数のプロセッサ３０２を備える。１つ又は複数のプロセッサ３０２は、本明細書において説明される様々な機能を実施するために、ソフトウェア及び／又はハードウェアによって多くのやり方において実現され得る。

特定の実施態様において、１つ又は複数のプロセッサ３０２は、複数のソフトウェア及び／又はハードウェアモジュールを備え得、その各々は、本明細書において説明される方法の個々の又は複数のステップを実施するように構成され、又はそれらはこれを実施するためのものである。１つ又は複数のプロセッサ３０２は、例えば、本明細書において説明される様々な機能を実施するように構成又はプログラム（例えば、ソフトウェア又はコンピュータプログラムコードを使用して）された１つ又は複数のマイクロプロセッサ、１つ又は複数のマルチコアプロセッサ及び／又は１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、１つ又は複数の処理ユニット、及び／又は１つ又は複数のコントローラ（例えば、１つ又は複数のマイクロコントローラ）を備える。１つ又は複数のプロセッサ３０２は、いくつかの機能を実施する専用ハードウェア（例えば、増幅器、プレ増幅器、アナログ－デジタル変換器（ＡＤＣ）及び／又はデジタル－アナログ変換器ＤＡＣ）と、他の機能を実施する１つ又は複数のプロセッサ（例えば、１つ又は複数のプログラムされたマイクロプロセッサ、ＤＳＰ及び関連する回路）との組み合わせとして実現されてよい。

簡単に言うと、１つ又は複数のプロセッサ３０２は、対象者のジェスチャ及び／又は音声コマンドの検知に応答して、対象者及びジェスチャ及び／又は音声コマンドによって示された対象者の身体（例えば、身体上のエリア、又は身体の一部）上の場所を特定するように構成される。また、１つ又は複数のプロセッサ３０２は、少なくとも１つのメモリ３０４から、特定された対象者の身体上の特定された場所の指標とともに記憶されたユーザの音響的及び／又は映像的コンテンツを取得し、ユーザの取得された音響的及び／又は映像的コンテンツをレンダリングするように１つ又は複数のユーザインタフェース３０８を制御するようにも構成される。以前に述べられたように、本明細書において、「ユーザ」への言及は、医師、看護士、介護者などの医療専門家を指す。また、本明細書において、「対象者」への言及は患者を指す。

図３において示されるように、いくつかの実施形態において、システム３００は少なくとも１つのメモリ３０４を備える。代替的に又は追加的に、いくつかの実施形態において、少なくとも１つのメモリ３０４は、システム３００の外部にある（例えば、システム３００から分離されている、又はシステム３００から遠隔の場所にある）。例えば、いくつかの実施形態によると、別のシステムが少なくとも１つのメモリ３０４を備える。いくつかの実施形態において、病院データベースが少なくとも１つのメモリ３０４を備えてよく、少なくとも１つのメモリ３０４はクラウドコンピューティングリソースなどであってよい。いくつかの実施形態において、ユーザの音響的及び／又は映像的コンテンツをレンダリングするためのシステム３００の少なくとも１つのメモリ３０４は、ユーザの音響的及び／又は映像的コンテンツを記憶するためのシステム１００の少なくとも１つのメモリ１０４と同一であってよい。例えば、いくつかの実施形態によると、少なくとも１つのメモリ１０４、３０４は、中央メモリである。他の実施形態において、ユーザの音響的及び／又は映像的コンテンツをレンダリングするためのシステム３００の少なくとも１つのメモリ３０４と、ユーザの音響的及び／又は映像的コンテンツを記憶するためのシステム１００の少なくとも１つのメモリ１０４とは異なる。

システム３００の１つ又は複数のプロセッサ３０２は、少なくとも１つのメモリ３０４と通信及び／又は接続するように構成される。少なくとも１つのメモリ３０４は、ランダムアクセスメモリ（ＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能ＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、及び電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ（登録商標））などの揮発性又は不揮発性コンピュータメモリを含むキャッシュ又はシステムメモリなどの任意のタイプの非一時的機械可読媒体を備える。いくつかの実施形態において、少なくとも１つのメモリ３０４は、システム３００を本明細書において説明されるやり方において動作させるようにシステム３００の１つ又は複数のプロセッサ３０２によって実行され得るプログラムコードを記憶するように構成され得る。

代替的に又は追加的に、少なくとも１つのメモリ３０４は、本明細書において説明される方法によって必要とされる又は本明細書において説明される方法からもたらされる情報を記憶するように構成され得る。例えば、少なくとも１つのメモリ３０４は、ユーザの音響的及び／又は映像的コンテンツを、対象者の身体（例えば、身体上のエリア、又は身体の一部）上の場所の指標とともに記憶するように構成される。少なくとも１つのメモリ３０４は、本明細書において説明される方法によって必要とされる又は本明細書において説明される方法からもたらされる任意の他の情報若しくは情報の任意の組み合わせを記憶するようにも構成される。システム３００の１つ又は複数のプロセッサ３０２は、本明細書において説明される方法によって必要とされる又は本明細書において説明される方法からもたらされる情報を記憶するように少なくとも１つのメモリ３０４を制御するように構成され得る。

図３において示されるように、いくつかの実施形態において、システム３００は１つ又は複数の検知器３０６を備える。代替的に又は追加的に、いくつかの実施形態において、少なくとも１つの検知器３０６は、システム３００の外部にある（例えば、システム３００から分離されている、又はシステム３００から遠隔の場所にある）。例えば、いくつかの実施形態によると、別のシステムが少なくとも１つの検知器３０６を備える。１つ又は複数の検知器３０６は、対象者のジェスチャ及び／又は音声コマンドを検知するように構成される。

図３において示されるように、いくつかの実施形態において、システム３００は、少なくとも１つのユーザインタフェース３０８を備える。代替的に又は追加的に、いくつかの実施形態において、少なくとも１つのユーザインタフェース３０８は、システム３００の外部にある（例えば、システム３００から分離されている、又はシステム３００から遠隔の場所にある）。例えば、いくつかの実施形態によると、別のシステムが少なくとも１つのユーザインタフェース３０８を備える。システム３００の１つ又は複数のプロセッサ３０２は、少なくとも１つのユーザインタフェース３０８と通信及び／又は接続するように構成される。いくつかの実施形態において、システム３００の１つ又は複数のプロセッサ３０２は、本明細書において説明されるやり方において動作するように少なくとも１つのユーザインタフェース３０８を制御するように構成され得る。

ユーザインタフェース３０８は、本明細書において説明される方法によって必要とされる又は本明細書において説明される方法からもたらされる情報をレンダリング（又は出力、表示、若しくは提供）するように構成され得る。例えば、いくつかの実施形態において、１つ又は複数のユーザインタフェース３０８は、特定された対象者の指標、対象者の身体上の特定された場所の指標、ユーザの取得された音響的及び／又は映像的コンテンツ、又は本明細書において説明される方法によって必要とされる又は本明細書において説明される方法からもたらされる任意の他の情報若しくは情報の任意の組み合わせのうちの任意の１つ又は複数をレンダリング（又は出力、表示、若しくは提供）するように構成される。代替的に又は追加的に、１つ又は複数のユーザインタフェース３０８は、ユーザ入力を受信するように構成され得る。例えば、１つ又は複数のユーザインタフェース３０８は、ユーザ（例えば、対象者又は別のユーザ）が、情報又は命令を手動で入力すること、システム３００と相互作用すること、及び／又はシステム３００を制御することを可能とする。故に、１つ又は複数のユーザインタフェース３０８は、情報をレンダリング（又は出力、表示、若しくは提供）することを可能とする、及び／又はユーザがユーザ入力を提供することを可能とする任意の１つ又は複数のユーザインタフェースである。

例えば、１つ又は複数のユーザインタフェース３０８は、１つ又は複数のスイッチ、１つ又は複数のボタン、キーパッド、キーボード、マウス、ディスプレイ若しくはディスプレイスクリーン、タッチスクリーンなどのグラフィカルユーザインタフェース（ＧＵＩ）、アプリケーション（例えば、タブレット、スマートフォン、又は任意の他のスマートデバイスなどのスマートデバイス上のもの）若しくは任意の他の映像的コンポーネント、１つ又は複数のスピーカ、１つ又は複数のマイクロフォン若しくは任意の他の音響的コンポーネント、１つ又は複数のライト（例えば、１つ又は複数の発光ダイオード、すなわちＬＥＤ）、触知的又は触覚的フィードバックを提供するコンポーネント（例えば、振動機能又は他の触知的フィードバックコンポーネント）、拡張現実デバイス（例えば、拡張現実グラス又は任意の他の拡張現実デバイス）、スマートデバイス（例えば、スマートミラー、タブレット、スマートフォン、スマートウォッチ、又は任意の他のスマートデバイス）、又は任意の他のユーザインタフェース若しくはユーザインタフェースの組み合わせを備える。いくつかの実施形態において、情報をレンダリングするように制御される１つ又は複数のユーザインタフェースは、ユーザがユーザ入力を提供することを可能とする１つ又は複数のユーザインタフェースと同一である。

図３において示されるように、いくつかの実施形態において、システム３００は、少なくとも１つの通信インタフェース（又は通信回路）３１０を備える。代替的に又は追加的に、いくつかの実施形態において、少なくとも１つの通信インタフェース３１０は、システム３００の外部にある（例えば、システム３００から分離されている、又はシステム３００から遠隔の場所にある）。通信インタフェース３１０は、システム３００又はシステム３００のコンポーネント（例えば、１つ又は複数のプロセッサ３０２、１つ又は複数のメモリ３０４、１つ又は複数の検知器１０６、１つ又は複数のユーザインタフェース３０８及び／又はシステム３００の任意の他のコンポーネント）が、互いに及び／又は１つ又は複数の他のコンポーネントと通信及び／又は接続することを可能とするためのものであり得る。例えば、１つ又は複数の通信インタフェース３１０は、システム３００の１つ又は複数のプロセッサ３０２が、１つ又は複数のメモリ３０４、１つ又は複数の検知器１０６、１つ又は複数のユーザインタフェース３０８及び／又はシステム３００の任意の他のコンポーネントと通信及び／又は接続することを可能とするためのものであり得る。

通信インタフェース３１０は、システム３００又はシステム３００のコンポーネントが任意の適切なやり方で通信及び／又は接続することを可能とする。例えば、１つ又は複数の通信インタフェース３１０は、システム３００又はシステム３００のコンポーネントが、無線で、有線接続を介して、又は任意の他の通信（又はデータ転送）機構を介して通信及び／又は接続することを可能とする。いくつかの無線の実施形態において、例えば、１つ又は複数の通信インタフェース３１０は、システム３００又はシステム３００のコンポーネントが、無線周波数（ＲＦ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は通信及び／又は接続のための任意の他の無線通信技術を使用することを可能とする。

図４は、実施形態によるユーザの音響的及び／又は映像的コンテンツをレンダリングするための方法４００を示す。より具体的には、図４は、ユーザの音響的及び／又は映像的コンテンツをレンダリングするための、図３を参照して前述されたシステム３００を動作させる方法４００を示す。図４において示された方法４００は、コンピュータによって実現される方法である。前述されたように、図３を参照して前述されたシステム３００は、１つ又は複数のプロセッサ３０２を備える。図４において示された方法４００は、概して、図３を参照して前述されたシステム３００の１つ又は複数のプロセッサ３０２によって、又はその制御下において実施され得る。

図４を参照すると、ブロック４０２において、対象者のジェスチャ及び／又は音声コマンドの検知に応答して、対象者及びジェスチャ及び／又は音声コマンドによって示された対象者の身体（例えば、身体上のエリア、又は身体の一部）上の場所が特定される。より具体的には、システム３００の１つ又は複数のプロセッサ３０２は、対象者のジェスチャ及び／又は音声コマンドの検知に応答して、対象者及びジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を特定する。

本明細書において、対象者のジェスチャは、ポインティングジェスチャ、タッピングジェスチャ、スライディングジェスチャ、視線ジェスチャ（例えば、注視）、又は任意の他のジェスチャ、又はジェスチャの任意の組み合わせを含む。いくつかの実施形態において、対象者のジェスチャは、対象者の身体部位（例えば、指、手、目、又は任意の他の身体部位）のジェスチャ、又は対象者によって保持されたデバイス（例えば、ポインティングデバイス又は任意の他のデバイス）のジェスチャを含む。対象者のジェスチャは、対象者の身体上の場所との相互作用（例えば、接触）を含み、又は、ジェスチャは、対象者の身体の場所から離れている。対象者のジェスチャが対象者の身体の場所から離れている場合、対象者のジェスチャは、対象者の身体上の場所を示すために、対象者の身体上のその場所の周りの予め定められたエリア内にある（例えば、対象者の身体上の場所から２０ｃｍ内にある）。本明細書において、対象者の音声コマンドは、「再生開始」など、対象者の発声された命令を含む。

システム３００の１つ又は複数のプロセッサ３０２は、任意の適切なやり方において対象者を特定するように構成される。

例えば、いくつかの実施形態において、システム３００の１つ又は複数のプロセッサ３０２は、対象者のジェスチャ及び／又は音声コマンドが検知されている期間にキャプチャされた対象者の映像的コンテンツを、対象者を特定するためのカメラに基づいた認識を使用して処理するように構成されることによって対象者を特定するように構成される。当業者は、適切なカメラに基づいた認識技術及び対象者を特定するためにそれらが使用され得るやり方を承知しているであろう。しかしながら、簡単に言うと、例えば、対象者を特定するために顔認識技術が使用され得る。これは、システム１００の１つ又は複数のプロセッサ１０２が、カメラ（対象者の環境におけるもの又は対象者によって保持されたデバイスのもの）によって取得された１つ又は複数の画像を、メモリ１０４における顔の画像と比較することを有し、メモリ１０４における各画像は、画像における顔が属する対象者のアイデンティティとともに記憶されている。比較は、１つ又は複数の取得された画像における１つ又は複数の顔の特徴を特定することと、メモリ１０４に記憶された顔の画像における対応する顔の特徴にそれらが合致するかを判定することとを有する。合致する場合、合致する顔の特徴を含む画像とともに記憶されたアイデンティティによって対象者が特定される。

代替的に又は追加的に、いくつかの実施形態において、システムの１つ又は複数のプロセッサ３０２は、対象者のジェスチャ及び／又は音声コマンドが検知されている期間にキャプチャされた対象者の音響的コンテンツを、対象者を特定するための音声（又は言語）認識を使用して処理するように構成されることによって対象者を特定するように構成される。当業者は、適切な音声（又は言語）認識技術及び対象者を特定するためにそれらが使用され得るやり方を承知しているであろう。しかしながら、簡単に言うと、例えば、システム１００の１つ又は複数のプロセッサ１０２は、パターン認識を使用して、キャプチャされた声紋を処理し、キャプチャされた声紋を基準声紋と比較する。各基準声紋は、対象者を特定するために、基準声紋が対応する対象者の指標とともにメモリ１０４に記憶されている。

代替的に又は追加的に、いくつかの実施形態において、システム３００の１つ又は複数のプロセッサ３０２は、対象者を特定するための身体結合通信を使用するように構成されることによって対象者を特定するように構成される。当業者は、適切な身体結合通信技術及び対象者を特定するためにそれらが使用され得るやり方を承知しているであろう。しかしながら、簡単に言うと、例えば、対象者はデバイス（例えば、タグ）を着用し、デバイスは、特定可能な電気信号を彼ら／彼女らの身体中に誘起するように構成される。電気信号を誘起するように構成されたデバイスは、対象者のための個人的識別子として働く。電気信号は、検知され、対象者を特定するために処理される。

代替的に又は追加的に、ジェスチャが、対象者によって保持されたデバイス（例えば、ポインティングデバイス）のジェスチャを含む実施形態において、デバイスは対象者を特定するために使用される。

システム３００の１つ又は複数のプロセッサ３０２は、対象者のジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を、任意の適切なやり方において特定するように構成される。いくつかの実施形態において、これは、身体定位システムの使用を伴う。

いくつかの実施形態において、システム３００の１つ又は複数のプロセッサ３０２は、対象者のジェスチャによって示された対象者の身体上の場所を特定するために対象者の映像的コンテンツを分析するように構成される。例えば、いくつかの実施形態において、１つ又は複数のプロセッサ３０２は、対象者のジェスチャ及び／又は音声コマンドが検知されている期間にキャプチャされた対象者の映像的コンテンツを、対象者の身体上の場所を特定するための（例えば、３次元的）身体認識を使用して処理するように構成されることによって対象者の身体上の場所を特定するように構成される。当業者は、適切な（例えば、３次元的）身体認識技術及び対象者の身体（例えば、身体上のエリア、又は身体の一部）上の場所を特定するためにそれらが使用され得るやり方を承知しているであろう。

しかしながら、簡単に言うと、例えば、カメラ（例えば、深度カメラ）が対象者の身体の画像を取得し、この画像は、対象者の身体上の身体マーカ（例えば、区別可能な特性又は特徴）を識別するためにシステム１００の１つ又は複数のプロセッサ１０２によって処理される。対象者の身体の画像におけるこれらの身体マーカは、身体の皮膚面を再構築するために使用され得る。次いで、皮膚上のポイントが最も近い身体マーカから補間され得る。対象者のジェスチャによって示された対象者の身体上の場所は、皮膚上のポイントに対するジェスチャの場所を外挿することによって特定され得る。いくつかの実施形態において、対象者のジェスチャによって示された対象者の身体上の場所を特定するために、対象者の形態に対して外挿された解剖学的（例えば、医療的）マップが、認識された身体骨格上に重畳される。いくつかの実施形態において、カメラ（例えば、深度カメラ）が対象者のジェスチャを特定するために使用される。

対象者の映像的コンテンツは直接的にキャプチャされる。例えば、対象者の映像的コンテンツは、対象者の環境におけるカメラ（例えば、壁に設置されたカメラ）又は対象者によって保持されたデバイス（例えば、電話又はコンピュータ）上のカメラなどのカメラから取得される。代替的に又は追加的に、対象者の映像的コンテンツは間接的にキャプチャされる。例えば、対象者の映像的コンテンツは鏡から取得される。対象者の映像的コンテンツの（例えば、鏡を介した）間接的なキャプチャは、その他のやり方では視認できない対象者の身体上の場所（例えば、対象者の身体の背中にある場所）を示す対象者のジェスチャが依然として検知され得ることを保証し得る。システム１００の１つ又は複数のプロセッサ１０２は、身体マッピングを使用して、間接的にキャプチャされた対象者の映像的コンテンツを処理する。

代替的に又は追加的に、いくつかの実施形態において、システム３００の１つ又は複数のプロセッサ３０２は、対象者の身体上の場所を特定するための身体結合通信を使用するように構成されることによって対象者の身体上の場所を特定するように構成される。当業者は、適切な身体結合通信技術及び対象者の身体（例えば、身体上のエリア、又は身体の一部）上の場所を特定するためにそれらが使用され得るやり方を承知しているであろう。

しかしながら、簡単に言うと、身体結合通信においては、対象者の身体が通信チャンネルとして働く。対象者が（例えば、彼ら／彼女らの指によって）彼ら／彼女らの身体上の場所に接触すると、対象者の身体内に電気信号が誘起され（例えば、腕に着用されるセンサなどのウェアラブルセンサを介して）、対象者の身体を通って送信される。結果としてもたらされる結合（例えば、ガルバニック結合又は容量結合）は、対象者の身体上に着用された１つ又は複数のセンサによって測定される。測定された結合は、対象者が接触する対象者の身体（例えば、身体部位）上の場所に応じて異なる。結合の身体マップが（例えば、部分的に）計算され得る。身体マップは（例えば、部分的に）事前較正される。身体マップは、結合値を対象者の身体上の場所にマッピングする。システム１００の１つ又は複数のプロセッサ１０２は、取得された結合値をマッピングされた結合値と比較することによって、所与の瞬間に対象者によって接触された対象者の身体（例えば、身体部位）上の場所を特定し得る。

図４に戻ると、ブロック４０４において、少なくとも１つのメモリ３０４から、特定された対象者の身体上の特定された場所の指標とともに記憶されたユーザの音響的及び／又は映像的コンテンツが取得される。より具体的には、システム３００の１つ又は複数のプロセッサ３０２は、少なくとも１つのメモリ３０４から、特定された対象者の身体上の特定された場所の指標とともに記憶されたユーザの音響的及び／又は映像的コンテンツを取得する。

図４のブロック４０６において、１つ又は複数のユーザインタフェース３０８は、ユーザの取得された音響的及び／又は映像的コンテンツをレンダリングするように制御される。より具体的には、システム３００の１つ又は複数のプロセッサ３０２は、ユーザの取得された音響的及び／又は映像的コンテンツをレンダリングするように１つ又は複数のユーザインタフェース３０８を制御する。例えば、１つ又は複数のユーザインタフェース３０８は、ユーザの取得された音響的及び／又は映像的コンテンツを、これを介してレンダリングするためのスピーカ又はディスプレイを備える。故に、前述されたように対象者に関する医療情報又は健康データを含むユーザの音響的及び／又は映像的コンテンツは、対象者の身体上の場所に関連付けられ、関係する身体部位を（ジェスチャ及び／又は音声コマンドによって）活動化させることによって、対象者が彼ら／彼女らの健康データを容易にナビゲートすることを可能とするためにレンダリングされ得る。

いくつかの実施形態において、１つ又は複数のプロセッサ３０２は、対象者のジェスチャ及び／又は音声コマンドの検知に応答して（検知に際して）、ユーザの取得された音響的及び／又は映像的コンテンツを自動的にレンダリングするように構成され得る。いくつかの実施形態において、１つ又は複数のプロセッサ３０２は、ユーザの取得された音響的及び／又は映像的コンテンツを、特定された対象者の身体の映像的表現とともにレンダリングするように１つ又は複数のユーザインタフェース３０８を制御するように構成され得る。いくつかの実施形態において、１つ又は複数のプロセッサ３０２は、ユーザの取得された映像的コンテンツ（及び任意の追加的な情報）を、特定された対象者の身体の映像的表現の上に重畳するように１つ又は複数のユーザインタフェース３０８を制御するように構成され得る。いくつかの実施形態において、１つ又は複数のプロセッサ３０２は、ユーザの取得された映像的コンテンツ（及び任意の追加的な情報）を、特定された対象者の実際の身体の上に重畳するように（例えば、拡張現実、すなわちＡＲを使用して）、１つ又は複数のユーザインタフェース３０８を制御するように構成され得る。ユーザの取得された映像的コンテンツは、任意のユーザインタフェース３０８上で、例えば、ディスプレイ上で、スクリーン上で、仮想又は拡張空間において、又は任意の他のやり方においてレンダリングされ得る。

図４においては示されていないが、いくつかの実施形態において、１つ又は複数のプロセッサ３０２は、対象者の身体上の１つ又は複数の場所を示す対象者の映像的表現をレンダリングするように１つ又は複数のユーザインタフェース３０８（例えば、ディスプレイ又は拡張現実デバイス）を制御するように構成され、場所のための指標が少なくとも１つのメモリ３０４に記憶されている。対象者のレンダリングされた映像的表現は、対象者の身体上の１つ又は複数の場所のマップを効果的に提供し、場所のための指標が少なくとも１つのメモリ３０４に記憶されている。いくつかの実施形態において、１つ又は複数のプロセッサ３０２は、対象者の身体上の１つ又は複数の場所を示す対象者の映像的表現によってジェスチャを実施するために、対象者の身体部位又は対象者によって保持されたデバイスのライブ位置をレンダリングするように構成され、場所のための指標が少なくとも１つのメモリ３０４に記憶されている。このようにして、対象者は、彼ら／彼女らの身体上のセーブポイントを再び訪れるため、及び、関連付けられた音響的及び／又は映像的コンテンツを検索して読み出すために、（例えば、身体部位又はジェスチャのために彼ら／彼女らが使用するデバイスを参照して）映像的ガイダンスを提供され得る。同様に、１つ又は複数のプロセッサ３０２は、対象者の身体上の１つ又は複数の場所に対象者を誘導するために音響的ガイダンスをレンダリングするように１つ又は複数のユーザインタフェース３０８（例えば、スピーカ）を制御するように構成され、場所のための指標が少なくとも１つのメモリ３０４に記憶されている。

代替的に又は追加的に、いくつかの実施形態において、１つ又は複数のプロセッサ３０２は、対象者の身体（例えば、身体上のエリア、又は身体の一部）上の場所への対象者のジェスチャの近接を示すフィードバックをレンダリングするように１つ又は複数のユーザインタフェース３０８を制御するように構成され、場所のための指標が少なくとも１つのメモリ３０４に記憶されている。例えば、１つ又は複数のプロセッサ３０２は、対象者の身体上の場所へのジェスチャの近接を示す触知的又は触覚的フィードバック（振動など）をレンダリングするように、１つ又は複数の触知的又は触覚的フィードバックコンポーネントを制御するように構成され、場所のための指標が少なくとも１つのメモリ３０４に記憶されている。触知的又は触覚的フィードバックは、例えば、ウェアラブルデバイス（例えば、対象者の指又は手に着用されたもの）を通じて、又は手持ち式デバイス（例えば、スマートフォン）を通じてレンダリングされる。代替的に又は追加的に、例えば、１つ又は複数のプロセッサ３０２は、対象者の身体上の場所へのジェスチャの近接を示す光によるフィードバック（光の強度又は色のシフトなど）をレンダリングするように１つ又は複数の光源を制御するように構成され、場所のための指標が少なくとも１つのメモリ３０４に記憶されている。フィードバックは、対象者の身体上の場所から予め定められた距離（例えば、２０ｃｍ）内の対象者のジェスチャとしてレンダリングされ、場所のための指標が少なくとも１つのメモリ３０４に記憶されている。いくつかの実施形態において、レンダリングされるフィードバックは、対象者の身体上の場所に対象者のジェスチャがより近づくに連れて、より強くなり、場所のための指標が少なくとも１つのメモリ３０４に記憶されている。このようにして、対象者は、彼ら／彼女らの身体上のブックマークの場所を特定して作動させ、関連付けられた音響的及び／又は映像的コンテンツを検索して読み出すためのガイダンスを提供され得る。

いくつかの実施形態において、対象者は、対象者の身体上の１つ又は複数の場所に関連付けられたデータ（１つ又は複数の症状など）を入力し、場所のための指標が少なくとも１つのメモリ３０４に記憶されている。対象者は、少なくとも１つのユーザインタフェース３０８を介してこのようなデータを入力し得る。対象者の映像的表現がレンダリングされるいくつかの実施形態において、対象者は、映像的表現に対する注釈としてデータを入力する。プロセッサ３０２は、少なくとも１つのユーザインタフェース３０８を介して入力データを取得し、入力データを記憶するように少なくとも１つのメモリ３０４を制御するように構成され得る。

いくつかの実施形態において、ユーザの音響的及び／又は映像的コンテンツをレンダリングするためのシステム３００は、対象者の症状をチェックするためにも使用される。例えば、もしも対象者がある症状（例えば頭痛）に苦しんでいるなら、対象者は、ジェスチャ及び／又は音声コマンドによって症状を説明し得る。例えば、対象者は、苦痛の鋭さ又は強さをタッピングジェスチャによって説明し（例えば、タッピングアクションが実施された回数が苦痛を等級付けする）、苦痛の方向をスライディングジェスチャによって説明し、又は、任意の他の症状を任意の他のジェスチャによって説明する。代替的に又は追加的に、対象者は、苦痛の鋭さ又は強さ、苦痛の方向、又は任意の他の症状を、口頭で説明する。システム３００のプロセッサ３０２は、示された症状を処理するように構成される。

いくつかの実施形態において、システム３００のプロセッサ３０２は、対象者の症状の確認又は詳細について尋ねる１つ又は複数の質問をレンダリングするように少なくとも１つのユーザインタフェース３０８を制御するように構成される。このようにして、対象者の症状に関連付けられた潜在的な医療状態の緊急性が評価され得る。いくつかの実施形態において、システム３００のプロセッサ３０２は、症状に関連する通知、例えば、症状に関連するイベントの指標、対象者の身体上の対応する場所の指標とともに症状を記憶するオプション又は症状に関連する任意の他の通知などをレンダリングするように少なくとも１つのユーザインタフェース３０８を制御するように構成される。このようにして、システム３００は予防的になり得る。

図５（ａ）は、ユーザの音響的及び／又は映像的コンテンツを記憶するためのシステム１００が使用される状況を示す。この実施例において、ユーザ５００は医療専門家（例えば、医師）であり、対象者６００は患者である。図５（ａ）において示されるように、ユーザ５００はジェスチャ５０２及び／又は音声コマンド５０４を実施する。この実施例において、ジェスチャはポインティングジェスチャである。前述されたように、ユーザ５００のジェスチャ５０２及び／又は音声コマンド５０４の検知に応答して、システム１００の１つ又は複数のプロセッサ１０２（図５（ａ）においては図示されない）は、ジェスチャ５０２及び／又は音声コマンド５０４によって示された対象者６００の身体上の場所６０６を特定する。この実施例において、ジェスチャ５０２及び／又は音声コマンド５０４によって示された対象者６００の身体上の場所６０６は、対象者６００の腕の上にある。やはり前述されたように、システム１００の１つ又は複数のプロセッサ１０２は、対象者６００の身体上の特定された場所６０６の指標を、ユーザ５００のジェスチャ５０２及び／又は音声コマンド５０４が検知された後の期間又は検知されている期間にキャプチャされたユーザ５００の音響的及び／又は映像的コンテンツとともに記憶するように少なくとも１つのメモリ１０４（図５（ａ）においては図示されない）を制御する。

図５（ｂ）は、ユーザの音響的及び／又は映像的コンテンツをレンダリングするためのシステム３００が使用される状況を示す。この実施例において、対象者６００は患者である。図５（ｂ）において示されるように、対象者６００はジェスチャ６０２及び／又は音声コマンド６０４を実施する。この実施例において、ジェスチャはポインティングジェスチャである。前述されたように、対象者６００のジェスチャ６０２及び／又は音声コマンド６０４の検知に応答して、システム３００の１つ又は複数のプロセッサ３０２（図５（ｂ）においては図示されない）は、対象者６００及びジェスチャ６０２及び／又は音声コマンド６０４によって示された対象者の身体上の場所６０６を特定する。やはり前述されたように、システム３００の１つ又は複数のプロセッサ３０２は、少なくとも１つのメモリ３０４（図５（ｂ）においては図示されない）から、特定された対象者６００の身体上の特定された場所６０６の指標とともに記憶されたユーザ５００の音響的及び／又は映像的コンテンツを取得し、ユーザ５００の取得された音響的及び／又は映像的コンテンツをレンダリングするように１つ又は複数のユーザインタフェース３０８（図５（ｂ）においては図示されない）を制御する。こうして、マルチモーダルなシステムが提供され、このマルチモーダルなシステムにおいては、ユーザのジェスチャ及び／又は音声コマンドによって対象者の身体上の場所がブックマークされ得、このマルチモーダルなシステムを通じて、対象者は引き続いてユーザの音響的及び／又は映像的コンテンツの再生を始動させ得、場合によっては、他の特定のアクション（例えば、関連付けられた症状の記録）を実施し得る。

コンピュータ可読媒体を含むコンピュータプログラム製品も提供される。コンピュータ可読媒体は、内部に埋め込まれたコンピュータ可読コードを有する。コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行されると、コンピュータ又はプロセッサに本明細書において説明される方法を実行させるように構成される。コンピュータ可読媒体は、例えば、コンピュータプログラム製品を担持することができる任意の実体又はデバイスである。例えば、コンピュータ可読媒体としては、ＲＯＭ（例えば、ＣＤ－ＲＯＭ又は半導体ＲＯＭ）又は磁気記録媒体（ハードディスクなど）などのデータ記憶装置などがある。更には、コンピュータ可読媒体は、電気的又は光学的信号などの送信可能なキャリア波であり、これは電気的又は光学的ケーブルを介して、又は無線によって、又は他の手段によって搬送される。コンピュータプログラム製品がこのような信号に埋め込まれたとき、コンピュータ可読媒体は、このようなケーブル又は他のデバイス若しくは手段によって構成される。代替的に、コンピュータ可読媒体は、コンピュータプログラム製品が埋め込まれた集積回路であり、集積回路は、本明細書において説明される方法を実施するように、又は本明細書において説明される方法の実施において使用されるように適合される。

こうして、本明細書において、既存の技術に関連する限界に対処する、ユーザの音響的及び／又は映像的コンテンツを記憶するための向上されたシステム１００、方法２００及びコンピュータプログラム製品、及びユーザの音響的及び／又は映像的コンテンツをレンダリングするための向上されたシステム３００、方法４００及びコンピュータプログラム製品が提供される。

本明細書において説明された原理及び技術を実践するにあたって、図面、本開示、及び添付の特許請求の範囲を検討することにより、開示された実施形態に対する変形例が、当業者によって理解及び実行され得る。特許請求の範囲において、「備える、含む、有する」という語は、他の要素又はステップを排除するものではなく、単数表現は、複数性を排除するものではない。単一のプロセッサ又は他のユニットが、特許請求の範囲において列挙されたいくつかのアイテムの機能を果たし得る。特定の手段が互いに異なる従属請求項において列挙されているという単なる事実は、これらの手段の組み合わせが有利に使用され得ないことを示すものではない。コンピュータプログラムは、他のハードウェアとともに又はその一部として供給される光学的記憶媒体又は固体媒体などの適切な媒体上に記憶又は分配されてよいが、インターネット又は他の有線若しくは無線の遠隔通信システムを介してなど、他の形態において分配されてもよい。特許請求の範囲における任意の参照符号は、範囲を限定するものと解釈されるべきではない。

Claims (15)

1. ユーザの音響的及び／又は映像的コンテンツを記憶するためのシステムであって、前記システムは、
   前記ユーザのジェスチャ及び／又は音声コマンドの検知に応答して、前記ジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を特定することと、
   前記対象者の前記身体上の特定された前記場所の指標を、前記ユーザの前記ジェスチャ及び／又は音声コマンドが検知された後の期間又は検知されている期間にキャプチャされた前記ユーザの音響的及び／又は映像的コンテンツとともに記憶するように少なくとも１つのメモリを制御することと
   を行う、１つ又は複数のプロセッサを備える、システム。
2. 前記ユーザの前記ジェスチャ及び／又は音声コマンドを検知すること、及び／又は
   前記ユーザの前記音響的及び／又は映像的コンテンツをキャプチャすること
   を行う、１つ又は複数の検知器を備える、請求項１に記載のシステム。
3. 前記期間は予め定められた持続期間を有し、又は、
   前記期間は、前記ユーザの更なるジェスチャ及び／又は音声コマンドの検知に応答して終了する、請求項１又は２に記載のシステム。
4. 前記ジェスチャは、ポインティングジェスチャ、タッピングジェスチャ、スライディングジェスチャ、及び／又は視線ジェスチャを含む、請求項１から３のいずれか一項に記載のシステム。
5. 前記ジェスチャは、
   前記ユーザの身体部位のジェスチャ、又は
   前記ユーザによって保持されたデバイスのジェスチャ
   を含む、請求項１から４のいずれか一項に記載のシステム。
6. 前記１つ又は複数のプロセッサは、
   前記ユーザの前記ジェスチャ及び／又は音声コマンドが検知されている前記期間にキャプチャされた前記ユーザの前記映像的コンテンツを、前記ジェスチャ及び／又は音声コマンドによって示された前記対象者の前記身体上の前記場所を特定するための身体認識を使用して処理すること、及び／又は
   前記ジェスチャ及び／又は音声コマンドによって示された前記対象者の前記身体上の前記場所を特定するための身体結合通信を使用すること
   によって前記対象者の前記身体上の前記場所を特定する、請求項１から５のいずれか一項に記載のシステム。
7. ユーザの音響的及び／又は映像的コンテンツを記憶するための方法であって、前記方法は、
   前記ユーザのジェスチャ及び／又は音声コマンドの検知に応答して、前記ジェスチャ及び／又は音声コマンドによって示された対象者の身体上の場所を特定するステップと、
   前記対象者の前記身体上の特定された前記場所の指標を、前記ユーザの前記ジェスチャ及び／又は音声コマンドが検知された後の期間又は検知されている期間にキャプチャされた前記ユーザの音響的及び／又は映像的コンテンツとともに記憶するように少なくとも１つのメモリを制御するステップと
   有する、方法。
8. ユーザの音響的及び／又は映像的コンテンツをレンダリングするためのシステムであって、前記システムは、
   対象者のジェスチャ及び／又は音声コマンドの検知に応答して、前記対象者及び前記ジェスチャ及び／又は音声コマンドによって示された前記対象者の身体上の場所を特定することと、
   少なくとも１つのメモリから、特定された前記対象者の前記身体上の特定された前記場所の指標とともに記憶された前記ユーザの音響的及び／又は映像的コンテンツを取得することと、
   前記ユーザの取得された前記音響的及び／又は映像的コンテンツをレンダリングするように１つ又は複数のユーザインタフェースを制御することと
   を行う、１つ又は複数のプロセッサを備える、システム。
9. 前記対象者の前記ジェスチャ及び／又は音声コマンドを検知する１つ又は複数の検知器、及び／又は
   前記ユーザの取得された前記音響的及び／又は映像的コンテンツをレンダリングする前記１つ又は複数のユーザインタフェース
   を備える、請求項８に記載のシステム。
10. 前記１つ又は複数のプロセッサは、
    前記対象者の前記身体上の１つ又は複数の場所を示す前記対象者の映像的表現をレンダリングするように前記１つ又は複数のユーザインタフェースを制御することであって、前記場所のための指標が前記少なくとも１つのメモリに記憶されている、制御すること、及び／又は
    前記対象者の前記身体上の場所への前記ジェスチャの近接を示すフィードバックをレンダリングするように前記１つ又は複数のユーザインタフェースを制御することであって、前記場所のための指標が前記少なくとも１つのメモリに記憶されている、制御すること
    を行う、請求項８又は９に記載のシステム。
11. 前記１つ又は複数のプロセッサは、
    前記ユーザの取得された前記音響的及び／又は映像的コンテンツを、特定された前記対象者の前記身体の映像的表現とともにレンダリングするように、前記１つ又は複数のユーザインタフェースを制御すること
    を行う、請求項８から１０のいずれか一項に記載のシステム。
12. 前記１つ又は複数のプロセッサは、
    前記対象者の前記ジェスチャ及び／又は音声コマンドが検知されている期間にキャプチャされた前記対象者の映像的コンテンツを、前記対象者を特定するためのカメラに基づいた認識を使用して処理することと、
    前記対象者の前記ジェスチャ及び／又は音声コマンドが検知されている前記期間にキャプチャされた前記対象者の音響的コンテンツを、前記対象者を特定するための音声認識を使用して処理することと、
    前記対象者を特定するための身体結合通信を使用することと
    によって前記対象者を特定する、請求項８から１１のいずれか一項に記載のシステム。
13. 前記１つ又は複数のプロセッサは、
    前記対象者の前記ジェスチャ及び／又は音声コマンドが検知されている前記期間にキャプチャされた前記対象者の前記映像的コンテンツを、前記ジェスチャ及び／又は音声コマンドによって示された前記対象者の前記身体上の前記場所を特定するための身体認識を使用して、処理すること、及び／又は
    前記ジェスチャ及び／又は音声コマンドによって示された前記対象者の前記身体上の前記場所を特定するための身体結合通信を使用すること
    によって、前記対象者の前記身体上の前記場所を特定する、請求項８から１２のいずれか一項に記載のシステム。
14. ユーザの音響的及び／又は映像的コンテンツをレンダリングするための方法であって、前記方法は、
    対象者のジェスチャ及び／又は音声コマンドの検知に応答して、前記対象者及び前記ジェスチャ及び／又は音声コマンドによって示された前記対象者の身体上の場所を特定するステップと、
    少なくとも１つのメモリから、特定された前記対象者の前記身体上の特定された前記場所の指標とともに記憶された前記ユーザの音響的及び／又は映像的コンテンツを取得するステップと、
    前記ユーザの取得された前記音響的及び／又は映像的コンテンツをレンダリングするように１つ又は複数のユーザインタフェースを制御するステップと
    を有する、方法。
15. コンピュータ可読媒体を含むコンピュータプログラムであって、前記コンピュータ可読媒体は、内部に埋め込まれたコンピュータ可読コードを有し、前記コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行されると、前記コンピュータ又はプロセッサに請求項７又は１４に記載の方法を実行させる、コンピュータプログラム。

Images