JP2016521471A - マルチモーダルセンサからの混合メディア - Google Patents

Abstract

マルチモーダルセンサからの混合メディア通信の方法が開示される。第１のデータは、第１の通信デバイスに関連する第１の画像取り込みデバイスにおいて取り込まれる。第２のデータは、第１の通信デバイスに関連する第２の画像取り込みデバイスにおいて取り込まれる。第１のデータ及び第２のデータは、第２の通信デバイスのディスプレイ上に同時に表示するように、第２の通信デバイスへと同時に送信される。【選択図】図１

Description

関連技術の相互参照
本願は、２０１３年３月１５日に出願された米国特許出願第１３／８３７，４４３号に関すると共に、該出願についての優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。

現代技術は、２つのデバイス間の通信のための様々な方法及び技術を可能にする。通信は、ネットワーク越しに生じることがある。通信は技術により制限されることがあるため、ユーザが所望のメッセージタイプを送信できないことや、通信における異なるメディアを組み合わせる所望の柔軟性を有さないことがある。

マルチモーダルセンサからの混合メディア通信のための方法が開示される。第１のデータは、第１の通信デバイスに関連する第１の画像取り込みデバイスにおいて取り込まれる。第２のデータは、第１の通信デバイスに関連する第２の画像取り込みデバイスにおいて取り込まれる。第１のデータ及び第２のデータは、第２の通信デバイスのディスプレイ上に同時に表示されるように、第２の通信デバイスへと同時に送信される。

図１は、本技術の実施形態に係るマルチモーダルセンサからの混合メディア通信のための例示のデバイスのブロック図を示す。 図２は、本技術の実施形態に係るマルチモーダルセンサからの混合メディア通信のための例示のデバイスのブロック図を示す。 図３Ａは、本技術の実施形態に係るマルチモーダルセンサからの混合メディア通信のための例示の環境のブロック図を示す。 図３Ｂは、本技術の実施形態に係るマルチモーダルセンサからの混合メディア通信のための例示のデバイスのブロック図を示す。 図４は、本技術の実施形態に係るマルチモーダルセンサからの混合メディア通信のための例示の方法のフローチャートを示す。 図５は、本技術の実施形態に係るマルチモーダルセンサからの混合メディア通信のための例示の方法のフローチャートを示す。

本説明において参照された図面は、特段の記載のない限り、正確な縮尺ではないと理解されるべきである。

以下、添付の図面に例示された本技術の実施形態を詳細に参照する。本技術が種々の実施形態と併せて説明される際には、本技術をそれらの実施形態に限定することは意図されないと理解される。むしろ、本技術は、代替、修正及び等価物に及ぶことが意図されており、それらは添付の特許請求の範囲により規定される種々の実施形態の趣旨及び範囲内に含まれてもよい。

さらに、以下の実施形態についての説明では、本技術の十分な理解を提供するため、多数の具体的詳細を示している。しかしながら、本技術は、それらの具体的詳細なしに実施されてもよい。他の例では、公知の方法、手順、部品及び回路については、本技術の側面をいたずらに不明瞭にしないよう、詳細には説明していない。

以下の議論より明らかな場合を除いて、特に明記しない限り、「取り込み（capturing）」、「受信（receiving）」、「送信（sending）」、「作成（creating）」、「フィルタリング（filtering）」、「交換（swapping）」、「通信（communicating）」、「表示（displaying）」またはそれに類するもの等の用語を利用した議論は、ここでの実施形態の説明全体において、コンピュータシステムまたは類似の電子コンピューティングデバイスの動作及び処理に関するものであると理解される。該コンピュータシステム、または、電話、スマートフォンまたはハンドヘルドモバイルデバイスのような類似の電子コンピューティングデバイスは、該コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを、該コンピュータシステムのメモリもしくはレジスタ内、または他のそのような情報記憶デバイス、伝達デバイスもしくは表示デバイス内の物理量として同様に表される他のデータへと操作及び変換する。本技術の実施形態は、例えば光学コンピュータまたは機械式コンピュータのような他のコンピュータシステムの使用にも適している。

マルチモーダルセンサからの混合メディア通信についての概要
本技術の実施形態は、マルチモーダルセンサからの混合メディア通信に関する。該通信は、携帯電話、スマートフォン、コンピュータ、ラップトップ、テレビ、ハンドヘルド電子デバイス等のような２つのデバイス間のものであってもよい。該デバイスは、画像（image）、映像（video）、音声（audio）、テキスト（text）、動画（animation）及び他の効果、またはそれらの組み合わせを取り込むまたは生成すると共に、画像、映像、音声、テキスト、動画及び他の効果を表示または再生することができる。画像、映像、音声、テキスト、動画及び他の効果の組み合わせを、混合メディアと記載する。該デバイスは、画像取り込みデバイス、カメラ、マイク、光センサ等のようなマルチモーダルセンサを有していてもよい。ある実施形態では、該通信は、携帯電話ネットワーク、wifiネットワークまたは通信に使用される他のネットワークのようなネットワーク越しに生じる。

上記通信は、デバイスに利用可能なメディアの組み合わせを使用する。ある実施形態では、該通信は、画像並びに映像及び音声ストリームを備えた混合メディア通信である。該映像及び音声ストリームは、該画像に関係していてもよく、していなくてもよい。例えば、該デバイスのユーザは、該デバイスに関連する第１のカメラを使用して対象物の写真を撮影してもよく、該デバイスに関連する第２のカメラ及びマイクを使用して映像及び音声ストリームを取得してもよい。該映像及び音声ストリームを伴う該画像は、混合メディアを生成した該デバイスから、第２のデバイスまで同時に送信される。その際に、第２のデバイスは、該画像及び該映像ストリームを同時に表示可能なディスプレイと有すると共に、該音声を再生するために音を出す。第２のデバイスのディスプレイは、該画像及び映像ストリームを受信すると、それらを自動的に表示してもよい。

ある実施形態では、混合メディアを生成するデバイスはまた、送信されているものをユーザが見ることができるように、上記画像及び映像ストリームを表示する。ある実施形態では、該画像は映像ストリームに関係している。例えば、ユーザは画像を取り込むために該デバイスを利用してもよく、続いて、該画像に関する説明を提供する該ユーザを参加させた映像を取り込むために該デバイスを利用してもよい。ある実施形態では、上記映像及び音声は、取り込まれると共にリアルタイムで第２のデバイスにストリーミングされてもよい。ある実施形態では、該映像及び／または音声ストリームは、第２のデバイスにストリーミングされ、該ストリーミングの間、ユーザは第２のカメラを利用することにより、該ストリーミングの間に該画像を取り込み、画面表示（image）し、第２のデバイスへと送信する。このような処理は、第１のカメラの映像ストリームの間に複数の画像が第２のカメラにより取り込まれ、第１のカメラからの該ストリームの間に複数の画像が第２のデバイスへと送信されるように、複数回繰り返されてもよい。

ある実施形態では、混合メディアコンテンツは、複数の他のデバイスへと同時に送信されてもよい。ある実施形態では、混合メディアコンテンツは２つの映像ストリームを備えており、該２つの映像ストリームは、第１のデバイスからの第１のカメラからの映像ストリームと、１つの対応する音声ストリームを伴った第１のデバイスの第２のカメラからの映像ストリームとである。

第２のデバイスは、第１のデバイスと実質的に同じであってもよく、異なっていてもよい。第１のデバイスは、上記通信が送信される前に、該通信の編集、フィルタリング、またはその他の修正を行うことが可能であってもよい。例えば、上記映像部分は、ユーザにオプションを提供するユーザインタフェースを介して、編集、修正、変更、短縮、効果付加等がされてもよい。上記取り込まれた画像もまた、動画化（animate）、切り抜き、フィルタリング、効果付加、テキスト付加等がされてもよい。該デバイスもまた、混合メディア通信が別のデバイス上に表示される方法についてのオプションを、ユーザに提供してもよい。例えば、該デバイスは、映像が前面に表示されて該画像が背面に表示されるかもしくはその逆か、該画像及び映像がサイド・バイ・サイドであるか、または該画像及び映像がピクチャ・イン・ピクチャ技法を用いて表示されるかについての選択肢を、該ユーザに提供してもよい。

マルチモーダルセンサからの混合メディア通信のための方法及びシステム
図１は、デバイス１００の実施形態を表す。デバイス１００は、マルチモーダルセンサからの混合メディア通信を作成、送信、受信及び／または表示するように構成される。混合メディア通信は、音声部分、画像部分、映像部分、テキスト部分、動画、効果を含む任意の数のメディアの組み合わせを備えていてもよい。該メディアの組み合わせは、これらの項目の任意の複数または組み合わせを含む。デバイス１００は、スマートフォン、携帯電話、デスクトップコンピュータ、ラップトップ、ノートブック、ネットブック、ハンドヘルドデバイス、ＰＤＡ、テレビ、またはマルチモーダルセンサからの混合メディア通信にネットワーク越しに関与し得る類似の電子デバイスであってもよいことが当然に理解される。

ある実施形態では、デバイス１００は、通信を送受信することができる。このような通信は、該通信がユーザ間のソーシャル通信用である場合において、マルチモーダルセンサを用いて取り込まれた混合メディア通信であってもよい。混合メディア通信の一例は、対応する音声及び映像ストリームを伴い、第１のデバイスから第２のデバイスまでリアルタイムで同時に送信される画像である。デバイス１００は、専ら混合メディア通信を作成、送受信するために構築されていてもよく、さらに他の機能を提供するデバイスであってもよい。例えば、デバイス１００は、オペレーティングシステムを利用したスマートフォンであってもよい。ある実施形態では、本技術は、スマートフォンにおいてアプリケーションまたはアプリ（app）としてデプロイ（配備）されてもよい。該アプリは、ユーザインタフェースを含んでいてもよく、コンテンツを取り込み、通信を作成し、通信を送受信し、通信を表示または再生するために、該デバイスのハードウェアの特徴を使用してもよい。該通信はまた、メッセージまたはメッセージングとして記述されてもよい。

明瞭性及び簡潔性のため、ここでの議論はデバイス１００の部品及び機能に焦点をあてる。しかしながら、図２のデバイス２００及び図３Ａ及び３Ｂのデバイス３００は、デバイス１００と同様の方法で操作され、同様の特性を有する。ある実施形態では、デバイス２００及びデバイス３００はデバイス１００と同じであり、デバイス１００と同じ部品を含む。

デバイス１００は、ディスプレイ１１０、プロセッサ１２０、第１の画像取り込みデバイス１５０、第２の画像取り込みデバイス１５１、マイク１５２、スピーカ１５４、全地球測位システム１６０、トランシーバ１６１及び光センサ１６２を備えるものとして表される。デバイス１００が表された部品の全てを含んでいてもよく、含んでいなくてもよいことは、当然に理解される。

ディスプレイ１１０は、画像、写真（picture）、テキスト、動画、効果、混合メディア通信、ユーザインタフェース等を表示するように構成される。ディスプレイ１１０は、さらに、デバイス１００により取り込まれた画像及び映像を表示するように、または別のデバイスにより取り込まれ、デバイス１００により受信された画像、写真、映像もしくは通信を表示するように構成される。ある実施形態では、ディスプレイ１１０はタッチスクリーンであり、命令を開始するために使用者に押され得るまたは選択され得る領域に、ユーザインタフェースを表示することができる。

トランシーバ１６１は、テキスト、会話（speech）、音声、映像、動画または通信自身のような通信に関係するデータを送信または受信するためのものである。トランシーバ１６１は、通信を他のデバイスにネットワーク越しに送受信するために操作されてもよい。例えば、該ネットワークは、３Ｇまたは４Ｇネットワークのような携帯電話ネットワークでもよい。他の実施形態では、該ネットワークは、Wi-Fiネットワーク、Bluetoothネットワーク、近距離通信、または電磁無線信号を送受信するための別のネットワークであってもよい。ある実施形態では、該ネットワークはインターネットの一部であるか、インターネットと通信する。該通信は、あるデバイスから別のデバイスに直接送信されてもよく、他のデバイスまたはサーバを通して経路指定または中継されてもよい。例えば、ピアツーピアネットワークが利用されてもよく、デバイスを互いにリンクするまたは連絡情報を介してデバイスを識別する中央サーバが利用されてもよい。

第１の画像取り込みデバイス１５０は、デジタルカメラ、ビデオカメラ、電荷結合デバイス（ＣＣＤ）のようなデバイス１００において、画像、映像または写真を取り込むための画像取り込みデバイスである。ある実施形態では、第１の画像取り込みデバイス１５０はデバイス１００の前面にあり、ディスプレイ１１０と同じ方向を向いている。そのため、第１の画像取り込みデバイス１５０は、ディスプレイ１１０を見ているユーザの画像または映像を取り込むことができる。デバイス１００はまた、デバイス１００の背面に、第１の画像取り込みデバイス１５０の反対側を向いている追加のカメラ（例えば、第２の画像取り込みデバイス１５１）を含んでいてもよいことが当然に理解される。マイク１５２は、デバイス１００において音声を取り込むためのものである。スピーカ１５４は、デバイス１００において、別のデバイスからの通信の音声ストリームのような可聴信号を生成するためのものである。デバイス１００はまた、可聴信号のためにヘッドホンまたはスピーカをデバイス１００にプラグ接続するように用いられるヘッドホンジャックが組み込まれていてもよい。全地球測位システム１６０は、デバイス１００の位置を測定するためのものである。

デバイス１００は、第１のデータ１６４及び第２のデータ１６５を生成してもよく、取り込んでもよい。第１のデータ１６４及び第２のデータ１６５は、以下の１つ以上であってもよい：使用者の命令に応答する画像、映像または音声。ある実施形態では、第１のデータ１６４は、マイク１５２を用いて第１の画像取り込みデバイス１５０により取り込まれた映像及び音声ストリームであり、第２のデータ１６５は第２の画像取り込みデバイス１５１により取り込まれた１つ以上の画像である。プロセッサ１２０は、デバイス１００の部品を制御するために利用され、第１のデータ１６４及び第２のデータ１６５を処理することができる。例えば、プロセッサ１２０は、トランシーバ１６１を介して１つ以上のデバイスに同時に送信されるように、第１のデータ１６４及び第２のデータ１６５を組み合わせてもよい。トランシーバ１６１は、第１のデータ１６４及び第２のデータ１６５を同時にリアルタイムで第２のデバイスに送信することができる。

第１のデータ１６４及び第２のデータ１６５は、混合メディア通信を形成するように、プロセッサ１２０により組み合わされてもよい。第１のデータ１６４及び第２のデータ１６５は、混合メディア通信を生成するデバイスのディスプレイ上に同時に表示されてもよく、混合メディア通信を受信する第２のデバイスのディスプレイ上に同時に表示されてもよい。

ある実施形態では、混合メディア通信は、映像ストリームを組み合わされた画像であり、それにより該画像及び映像ストリームが同じディスプレイ上に同時に表示される。該画像は、写真または静止フレームとして描写されてもよい。例えば、該画像及び映像ストリームは、それらが取り込まれている間にディスプレイ１１０上に同時に表示されてもよく、それによって、該映像ストリーム及び画像が取り込まれる際に、デバイス１００の使用者が該映像ストリーム及び画像を見ることができ、それによってフィードバックを受けてもよい。該画像及び映像ストリームはまた、該画像及び映像ストリームを受信する第２のデバイスの単一のディスプレイ上に同時に表示されてもよい。音声ストリームもまた、画像及び映像ストリームと共にリアルタイムで同時に送信されてもよい。

第１のデータ１６４及び第２のデータ１６５は、様々な仕組みにより表示されてもよい。ある実施形態では、第１のデータ１６４及び第２のデータ１６５は、上記ディスプレイの第１の領域及び第２の領域に、サイド・バイ・サイドで表示されてもよい。第１及び第２の領域の大きさは同じであってもよく、同じでなくてもよい。ある実施形態では、第１及び第２の領域は互いに重なっており、一方が前面に、他方が背面に描写されていてもよい。ある実施形態では、第１のデータ１６４及び第２のデータ１６５は、ピクチャ・イン・ピクチャ技法を用いて表示される。ある実施形態では、第１のデータ１６４は、該ディスプレイにおいて、第２のデータ１６５に対して背面に区画及び配置される。

ある実施形態では、上記ディスプレイ上における第１のデータ１６４及び第２のデータ１６５の位置は、交換されてもよい。このことは、サイド・バイ・サイドディスプレイ、ピクチャ・イン・ピクチャディスプレイ、及び背面と前面が重なるディスプレイを含む全ての実施形態に該当する。混合メディア通信を表示するために用いられる仕組みは、標準設定により制御されてもよく、ユーザによりカスタマイズされてもよい。ある実施形態では、該表示の仕組みは、混合メディア通信のストリーミングの間に変更されてもよい。例えば、混合メディア通信は、第２のデータ１６５にサイド・バイ・サイドとされた第１のデータ１６４により始まるが、続く該ストリーミングの途中で、ピクチャ・イン・ピクチャの仕組みに切り替えられてもよい。該表示の仕組み及び位置は、様々な方法で交換され及び入れ替えられてもよく、混合メディア通信の送信またはストリーミングの間に何度でも交換され及び入れ替えられてもよいことが当然に理解される。

ある実施形態では、混合メディア通信を作成及び送信するデバイスが、上記表示の仕組み及び上記交換または入れ替えを制御する。ある実施形態では、混合メディア通信を受信する上記デバイスが、該表示の仕組み及び該交換または入れ替えを制御する。ある実施形態では、該通信に含まれる任意のデバイスが、該表示の仕組みを制御する。該制御は、デバイス１００のユーザインタフェースにおいて受信したユーザ命令に応答して、プロセッサ１２０により実行されてもよい。

ある実施形態では、第１及び第２のデバイスの両方が、同時に混合メディア通信を生成、受信及び送信する。例えば、両デバイスは、他方のデバイスからデータを受信してそれを表示する間に、画像及び／または映像を取り込み及び生成し、そのデータを他方のデバイスに送信してもよい。

ある実施形態では、上記背面カメラまたは第２の画像取り込みデバイス１５１は、上記前面カメラの明度を保証するために、光センサ１６２を利用する。例えば、該前面カメラは、該背面カメラによって取り込まれた画像よりも高い明度を有するユーザの顔の映像を取り込んでもよい。

デバイス１００はまた、ハンドヘルドデバイスまたはコンピュータのような別のデバイスとの映像会議に参加することができる。映像会議の間、第１の画像取り込みデバイス１５０は、デバイス１００において映像を取り込む。例えば、第１の画像取り込みデバイス１５０は、ユーザまたは他の対象物の映像を取り込む。マイク１５２は、デバイス１００において取り込まれた該映像信号に対応する音声信号を同時に取り込んでもよい。同様に、第２のデバイスもまた、音声及び映像を取り込んでいてもよい。該２つのデバイスは、その後、映像及び音声を交換してもよい。デバイス１００は、映像会議では、ディスプレイ１１０の２つの異なる領域に、第２のデバイスにより取り込まれたリアルタイムまたはライブでの映像ストリームを表示してもよく、同時にデバイス１００により取り込まれた映像を表示してもよい。該映像会議はまた、複数のデバイスを含んでいてもよい。該複数のデバイスからの該音声及び映像は、デバイス１００を介して表示されてもよい。デバイス１００は、複数のデバイスからの音声及び映像を含み得る該映像会議を記録可能であってもよい。

ある実施形態では、デバイス１００は、上記映像会議または映像ストリームのスクリーンショットを取り込むことができる。該スクリーンショットはまた、スナップショットまたは該映像の静止フレームとして描写されてもよい。該スクリーンショットは、複数の映像ソースからの画像を含んでいてもよく、１つのソースのみからの映像を含んでいてもよい。該スクリーンショットは、使用者により選択されてもよく、プロセッサ１２０によりランダムに選択されてもよい。

ある実施形態では、混合メディア通信のための上記取り込まれたコンテンツは、該コンテンツが取得された場所の位置データを含んでいてもよい。該位置データは、全地球測位システム１６０を介して生成されてもよい。

プロセッサ１２０は、複数の画像、音声部分、映像、動画または任意のそれらの組み合わせを伴う混合メディア通信を作成することができてもよい。ある実施形態では、混合メディア通信の該コンテンツは、デバイス１００により生成されなくてもまたは取り込まれなくてもよい。例えば、デバイス１００は、混合メディア通信を作成するために、別のデバイスからの画像または他のコンテンツを受信してもよく、後にプロセッサ１２０に利用されるインターネットから画像をダウンロードしてもよい。

上記音声ストリームは声でなくてもよく、音楽または他の可聴音であり得る。ある実施形態では、該音声ストリームは、上記画像、映像または混合メディア通信の他のコンテンツに関係していてもよい。特に、該音声ストリームは、画像または映像中のものについての言葉による説明であってもよい。例えば、上記ユーザが休暇中で重要な目印の画像を取り込んでもよく、その後にデバイス１００が該目印を説明するユーザからの音声ストリームを取り込んでもよい。ある実施形態では、該音声はメッセージではなく、混合メディア通信の該他のコンテンツに関係していない。

デバイス１００が任意の数のシーケンスにおいて音声及び画像を取り込んでもよいことは、当然に理解される。ある実施形態では、上記音声及び映像が最初に取り込まれ、該画像は混合メディア通信のストリーミングの間に後で取り込まれる。ある実施形態では、混合メディア通信は、第１の画像取り込みデバイス１５０を用いて取り込まれた映像及び／または音声の連続するストリームであってもよく、複数の画像が第２の画像取り込みデバイス１５１により順に取り込まれ、混合メディア通信の一部として第２のデバイスに１つずつ送信される。ある実施形態では、デバイス１００は、複数のカメラを用いて、画像、映像及び音声を同時に取り込む。

デバイス１００は、混合メディア通信または別のデバイスからのストリームを受信することができてもよい。ある実施形態では、デバイス１００は、混合メディア通信を受信すると、混合メディア通信を自動的に表示する。ある実施形態では、デバイス１００が混合メディア通信を受信するとき、メッセージまたは通信を受信するデバイスに関連する標準の通知を任意の回数用いて混合メディア通信のユーザに通知してもよい。その後、該ユーザは、デバイス１００に混合メディア通信を開くまたはアクセスするよう命令してもよい。

混合メディア通信を生成する際には、デバイス１００はまた、混合メディア通信におけるコンテンツを編集またはフィルタリングすることが可能であってもよい。画像及び映像は、切り抜かれてもよく、明度及び色の制御をされてもよく、他の標準的な編集技法を利用されてもよい。映像は、短縮されてもよい。混合メディア通信のコンテンツに、動画及び他の効果が付加されてもよい。デバイス１００は、これらの編集、フィルタリング、改変、変更または他の効果に関する命令を受信するために、ユーザインタフェースを利用してもよい。テキスト及び他の効果が、映像または画像の上に重ねられてもよい。ある実施形態では、該画像上の対象物を識別するために、ピンポイントが付加されてもよい。例えば、該ピンポイントは、ツリーまたは一部分のような対象物を指し示す矢印または他のインジケータの形状であってもよい。該画像中における該識別された対象物は、該画像の領域であってもよい。ある実施形態では、該画像は、該画像の領域が拡大されるように改変されてもよい。これは、該画像の一部分の拡大として描写されてもよい。該拡大された領域は、混合メディア通信において表示される画像の一部分のみであってもよい。

ある実施形態では、混合メディア通信は、映像、写真または他のコンテンツを提供するウェブサイトに送信されてもよく、そのため、他のユーザがオンデマンドで該コンテンツにアクセスしてもよく、または該ウェブサイトが該コンテンツを指定されたユーザに自動的に送付してもよい。

以下、図２を参照する。図２は、本技術の実施形態に係る例示の環境のブロック図である。図２は、マイク２２５と、画像取り込みデバイス２３０と、領域２１０とを備えたデバイス２００を表す。図２はまた、対象物２１５及びユーザ２０５を表す。デバイス２００は、対象物２１５の画像２２０を取り込むために利用されてもよい。ここに見られるように、画像２２０は対象物２１５の写真であり、建築物のような構造物または目印として図２に表されている。デバイス２００はまた、前面カメラと称される画像取り込みデバイス２３０を介して、ユーザ２０５の映像を記録してもよい。ユーザ２０５の映像は、領域２１０に表示されてもよい。

領域２１０はまた、編集制御部または混合メディア通信を送信する連絡先を選択するための制御部のような他の制御部を表示するように使用されてもよい。ある実施形態では、ユーザ２０５は、上記映像及び音声が取り込まれている間に、デバイス２００のディスプレイ上において画像２２０を見ることが可能であってもよい。画像２２０は、画像取り込みデバイス２３０を介した映像の取り込みの前またはその間のいずれにおいて取り込まれてもよいことが、当然に理解される。その後、画像２２０及び該映像は、別のデバイスへと同時に送信される。

以下、図３Ａを参照する。図３Ａは、本技術の実施形態に係る例示の環境のブロック図である。図３Ａは、前面カメラ３０５と、背面カメラ３１０と、マイク３１２とを備えたデバイス３００の側面図を表す。図３Ａはまた、ユーザ３１４及び対象物３２０を表す。ある実施形態では、背面カメラ３１０は、対象物３２０の写真を取り込むために用いられ、前面カメラはユーザ３１４の映像を取り込むために用いられ、マイク３１２は、音声を取り込むために用いられる。該写真、映像及び音声は、混合メディア通信を作成するために利用される。デバイス３００が１つを超えるカメラを有している場合、該写真、映像及び音声は、同時に取り込まれ得る。あるいは、該写真、映像及び音声は、任意の順序または順番で取り込まれてもよく、デバイス３００及びその部品によって取り込まれても取り込まれてなくてもよい。

ある例では、デバイス３００は、対象物３２０の写真を取り込むと共に、対象物３２０に関する情報を説明または提供するユーザ３１４の音声または声のトラックを伴う映像を取り込む。例えば、ユーザ３１４は、対象物３２０が重要である理由、ユーザ３１４が対象物３１４まで旅行した方法、または他の様式の情報を説明してもよい。該写真、音声及び映像は、後に混合メディア通信を作成するために利用されてもよい。

以下、図３Ｂを参照する。図３Ｂは、本技術の実施形態に係る例示の環境のブロック図である。図３Ｂは、上述の図３Ａに示されたようにして取り込まれた写真、音声及び映像を用いて作成された混合メディア通信を受信して表示または再生するデバイス３００の正面図を表す。画像３２５は対象物３２０の写真であり、映像３３０はユーザ３１４の映像である。映像３３０が映像として表示されると同時に音声メッセージが再生されている間、画像３２５が継続的に静止状態で表示されるように、混合メディア通信が表示されてもよい。このように、混合メディア通信は、写真と、該写真に関する情報を説明または提供する該ユーザの映像とを表示してもよい。該映像は、情報伝達の助けとなる該ユーザの顔の特徴、身体言語または身振りを見せるのに役立ってもよい。映像３３０及び画像３２５は、画面分割技法またはピクチャ・イン・ピクチャ技法を用いて、デバイス３００のディスプレイの別々の領域に表示されてもよい。しかしながら、映像３３０及び画像３２５は、それらが互いに重なる同一領域に表示されてもよい。例えば、画像３２５は、該ディスプレイ全体を包含してもよく、映像３３０が画像３２５上の前面にある際には背面にあってもよい。逆に、画像３２５が前面にあり、映像３３０が背面にあってもよい。

なお、本明細書に記載される様々な実施形態はまた、互いに組み合わされて用いられ得る。すなわち、記載された実施形態の１つは、他の記載された実施形態の１つ以上と組み合わせて用いられ得る。

マルチモーダルセンサからの混合メディア通信の操作
図４は、本技術のある実施形態に係るマルチモーダルセンサからの混合メディア通信の処理４００を示すフローチャートである。ある実施形態では、処理４００はコンピュータに実装される方法であり、コンピュータが使用可能な命令またはコンピュータが実行可能な命令の制御下においてプロセッサ及び電気部品により実行される。該コンピュータが使用可能な命令またはコンピュータが実行可能な命令は、例えば、コンピュータが使用可能な揮発性または不揮発性メモリのようなデータ記憶機構内に存在し、非一時的であってもよい。しかしながら、該コンピュータが使用可能な命令またはコンピュータが実行可能な命令は、任意の種類のコンピュータが使用可能な記憶媒体内に存在していてもよい。ある実施形態では、処理４００は、図１、２、３Ａ及び／または３Ｂの部品により実行される。

４０２では、第１の通信デバイスに関連する第１の画像取り込みデバイスにおいて、第１のデータが取り込まれる。ある実施形態では、第１のデータは、第１の通信デバイスに関連する前面カメラにより取り込まれた映像である。

４０４では、第１の通信デバイスに関連する第２の画像取り込みデバイスにおいて、第２のデータが取り込まれる。ある実施形態では、第２のデータは、第１の通信デバイスに関連する背面カメラにより取り込まれた画像または静止フレーム写真である。第１及び第２のデータは、同時に取り込まれてもよい。

４０６では、第１のデータ及び第２のデータは、第２の通信デバイスに同時に送信され、それにより第２の通信デバイスのディスプレイ上に同時に表示される。これは、第１の通信デバイスのトランシーバを用いて達成されてもよい。第１及び第２のデータは、混合メディア通信として描写されてもよく、様々な表示の仕組みを用いて表示されてもよい。ある実施形態では、第１及び第２のデータは、第２の通信デバイスにおいて受信されると、リアルタイムで表示される。ある実施形態では、第１及び第２のデータの該表示の仕組みは、該通信を送信している間に、１度以上にわたり変更され、交換され、または入れ替えられてもよい。これは、第１または第２の通信デバイスのいずれにより制御されてもよい。

図５は、本技術のある実施形態に係るマルチモーダルセンサからの混合メディア通信の処理５００を示すフローチャートである。ある実施形態では、処理５００はコンピュータに実装される方法であり、コンピュータが使用可能な命令またはコンピュータが実行可能な命令の制御下においてプロセッサ及び電気部品により実行される。該コンピュータが使用可能な命令またはコンピュータが実行可能な命令は、例えば、コンピュータが使用可能な揮発性または不揮発性メモリのようなデータ記憶機構内に存在し、非一時的であってもよい。しかしながら、該コンピュータが使用可能な命令またはコンピュータが実行可能な命令は、任意の種類のコンピュータが使用可能な記憶媒体内に存在していてもよい。ある実施形態では、処理５００は、図１、２、３Ａ及び／または３Ｂの部品により実行される。

５０２では、第１の通信デバイスに関連する第１の画像取り込みデバイスにより取り込まれた第１のデータが、第２の通信デバイスにおいて取り込まれる。ある実施形態では、第１のデータは、第１の通信デバイスに関連する前面カメラにより取り込まれた映像である。

５０４では、第１の通信デバイスに関連する第２の画像取り込みデバイスにより取り込まれた第２のデータが、第２の通信デバイスにおいて取り込まれ、第１のデータ及び第２のデータが同時に受信される。ある実施形態では、第２のデータは、第１の通信デバイスに関連する背面カメラにより取り込まれた画像または静止フレーム写真である。第１及び第２のデータは、同時に取り込まれてもよい。

５０６では、第１のデータ及び第２のデータは、第２の通信デバイスの単一のディスプレイ上に同時に表示される。これは、第１の通信デバイスのトランシーバを用いて達成されてもよい。第１及び第２のデータは、混合メディア通信として描写されてもよく、様々な表示の仕組みを用いて表示されてもよい。ある実施形態では、第１及び第２のデータは、第２の通信デバイスにおいて受信されると、リアルタイムで表示される。ある実施形態では、第１及び第２のデータの該表示の仕組みは、該通信を送信している間に、１度以上にわたり変更され、交換され、または入れ替えられてもよい。これは、第１または第２の通信デバイスのいずれにより制御されてもよい。

このように、様々な実施形態が記載される。特定の実施形態が記載されている場合には、該実施形態はそのような記載により限定されるように解釈されるのではなく、以下の特許請求の範囲に従って解釈されることが当然に理解される。

コンピュータシステム環境の例
本技術の幾分かは、コンピュータが読み取り可能な命令及びコンピュータが実行可能な命令により構成され、該命令は、例えば、コンピュータシステムまたは混合メディア通信のために使用されるスマートフォンなどの他のユーザデバイスにおけるコンピュータが使用可能なメディア内に存在する。以下の説明は、本技術の態様のために使用されるまたは本技術の態様と組み合わせて使用されるコンピュータシステムまたは部品の例である。

本技術は、汎用のネットワーク化されたコンピュータシステム、組み込みコンピュータシステム、クラウドベースコンピュータ、ルーター、スイッチ、サーバデバイス、ユーザデバイス、種々の中間デバイス／アーティファクト（artifact）、スタンドアロンコンピュータシステム、携帯電話、ＰＤＡ、テレビ等を含む、いくつかの異なるコンピュータシステム上またはその中で操作し得る。該コンピュータシステムは、例えば、フロッピーディスク、コンパクトディスク及びそれらを結合した類するものなどのコンピュータが読み取り可能な周辺メディアを有することにうまく適合する。

上記コンピュータシステムは、情報通信用のアドレス／データバスと、バスに結合された情報処理及び命令処理用のプロセッサとを含む。該コンピュータシステムは、マルチプロセッサまたはシングルプロセッサ環境にもうまく適合し、単数または複数のプロセッサのための情報及び命令を記憶するためのバスに接続された、コンピュータが使用可能な揮発性メモリ、例えば、ランダムアクセスメモリ（ＲＡＭ）のようなデータ記憶機構もまた含む。

上記コンピュータシステムはまた、コンピュータが使用可能な不揮発性メモリ、例えば、読み取り専用メモリ（ＲＯＭ）と、英数字入力デバイス、マウスまたは他の通常用いられる入力装置のような入力デバイスとを含んでいてもよい。該コンピュータシステムはまた、液晶デバイス、陰極線管、プラズマディスプレイのようなディスプレイと、プリンタまたは他の通常の出力デバイスのような他の出力部品とを含んでいてもよい。

上記コンピュータシステムはまた、該システムが他の電子デバイス及びコンピュータシステムとインタフェース接続することを可能とするために、バスに結合された１つ以上の信号生成及び信号受信デバイスを含んでいてもよい。本実施形態の信号生成及び信号受信デバイスは、有線シリアルアダプタ、モデム、ネットワークアダプタ、無線モデム、無線ネットワークアダプタ及び他のこのような通信技術を含んでいてもよい。該信号生成及び信号受信デバイスは、情報を該コンピュータシステムに結合及び／またはコンピュータシステムからの情報を結合するための１つ以上の通信インタフェースと共に動作してもよい。通信インタフェースは、シリアルポート、パラレルポート、ユニバーサルシリアルバス（ＵＳＢ）、イーサネットポート、アンテナまたは他の入出力インタフェースを含んでいてもよい。通信インタフェースは、該コンピュータシステムを、物理的に、電子的に、光学的にまたは（例えば、高周波による）無線により、携帯電話、ラジオ、ハンドヘルドデバイス、スマートフォンまたはコンピュータシステムのような他のデバイスに結合してもよい。

上記主題が構造的な特徴及び／または方法論的な作用に特有の用語で記載されていたとしても、添付の特許請求の範囲に規定された該主題は、上述の特定の特徴または作用に限定される必要はないことが理解されるべきである。むしろ、上述の特定の特徴及び作用は、該特許請求の範囲の実施についての例示の形態として開示されている。

本明細書に記載される全ての要素、部分及びステップを含むことが好ましい。これらの要素、部分及びステップのいずれも、当業者にとって自明であるように、他の要素、部分またはステップに置換されてもよく、完全に削除されてもよいことが理解される。

以上の説明は、少なくとも以下の概念を提示する。
概念
概念１．マルチモーダルセンサからの混合メディア通信のための方法であって、前記方法が、
第１の通信デバイスに関連する第１の画像取り込みデバイスにおいて、第１のデータを取り込む工程と、
前記第１の通信デバイスに関連する第２の画像取り込みデバイスにおいて、第２のデータを取り込む工程と、
前記第１のデータ及び前記第２のデータを、前記第２の通信デバイスのディスプレイ上に同時に表示するように、第２の通信デバイスへと同時に送信する工程とを備える、方法。
概念２．前記第１の通信デバイスが、前記第１のデータ及び前記第２のデータを前記第２の通信デバイスの前記ディスプレイ上に呼び出す方法を制御する、概念１に記載の方法。
概念３．前記第２の通信デバイスが、前記第１のデータ及び前記第２のデータを前記第２の通信デバイスの前記ディスプレイ上に呼び出す方法を制御する、概念１に記載の方法。
概念４．前記第１のデータが映像及び音声コンテンツを備えた映像ストリームであり、前記第２のデータが画像である、概念１に記載の方法。
概念５．前記第１のデータが映像及び音声コンテンツを備えた映像ストリームであり、前記第２のデータが複数の画像である、概念１に記載の方法。
概念６．前記第１のデータが、前記第２の通信デバイスの前記ディスプレイの第１の領域に表示され、前記第２のデータが、前記第２の通信デバイスの前記ディスプレイの第２の領域に表示され、
前記第１の領域の前記第１のデータを前記第２の領域の前記第２のデータと交換する工程をさらに備える、概念１、２、３、４または５に記載の方法。
概念７．前記第２の通信デバイスの前記ディスプレイにおいて、前記第１のデータが、前記第２のデータとサイド・バイ・サイドで表示される、概念１、２、３、４または５に記載の方法。
概念８．前記第２の通信デバイスの前記ディスプレイにおいて、前記第１のデータが、前記第２のデータのピクチャ・イン・ピクチャとして表示される、概念１、２、３、４または５に記載の方法。
概念９．前記第２の通信デバイスの前記ディスプレイにおいて、前記第１のデータが分割されて前記第２のデータに対して背面に配置される、概念１、２、３、４または５に記載の方法。
概念１０．前記第２の画像取り込みデバイスが、前記第１、２、３、４または５の取り込みデバイスにより取り込まれた前記第１のデータの明度を補償するように、前記取り込みのための光センサを利用する、概念１に記載の方法。
概念１１．前記第１の画像取り込みデバイスが、前記第２の画像取り込みデバイスとは反対方向を向いている、概念１、２、３、４または５に記載の方法。
概念１２．マルチモーダルセンサからの混合メディア通信のための方法であって、前記方法が、
第１の通信デバイスに関連する第１の画像取り込みデバイスにより取り込まれた第１のデータを、第２の通信デバイスにおいて受信する工程と、
第１の通信デバイスに関連する第２の画像取り込みデバイスにより取り込まれた第２のデータを、第２の通信デバイスにおいて受信する工程であって、前記第１のデータ及び前記第２のデータが同時に受信される工程と、
前記第１のデータ及び前記第２のデータを、前記第２の通信デバイスの単一のディスプレイ上に同時に表示する工程とを備える、方法。
概念１３．前記第１の通信デバイスが、前記第１のデータ及び前記第２のデータを前記第２の通信デバイスの前記ディスプレイ上に呼び出す方法を制御する、概念１２に記載の方法。
概念１４．前記第２の通信デバイスが、前記第１のデータ及び前記第２のデータを前記第２の通信デバイスの前記ディスプレイ上に呼び出す方法を制御する、概念１２に記載の方法。
概念１５．前記第１のデータが映像及び音声コンテンツを備えた映像ストリームであり、前記第２のデータが画像である、概念１２に記載の方法。
概念１６．前記第１のデータが映像及び音声コンテンツを備えた映像ストリームであり、前記第２のデータが複数の画像である、概念１２に記載の方法。
概念１７．前記第１のデータが、前記第２の通信デバイスの前記ディスプレイの第１の領域に表示され、前記第２のデータが、前記第２の通信デバイスの前記ディスプレイの第２の領域に表示され、
前記第２の領域の前記第２のデータと交換される前記第１の領域の前記第１のデータを交換する工程をさらに備える、概念１２、１３、１４、１５または１６に記載の方法。
概念１８．前記第１のデータが、前記第２の通信デバイスの前記ディスプレイにおいて、前記第２のデータとサイド・バイ・サイドで表示される、概念１２、１３、１４、１５または１６に記載の方法。
概念１９．前記第１のデータが、前記第２の通信デバイスの前記ディスプレイにおいて、前記第２のデータのピクチャ・イン・ピクチャとして表示される、概念１２、１３、１４、１５または１６に記載の方法。
概念２０．前記第１のデータが、前記第２の通信デバイスの前記ディスプレイにおいて、前記第２のデータに対する背面に分割及び配置される、概念１２、１３、１４、１５または１６に記載の方法。
概念２１．前記第２の画像取り込みデバイスが、前記第１の取り込みデバイスにより取り込まれた前記第１のデータの明度を補償するように、前記取り込みのための光センサを利用する、概念１２、１３、１４、１５または１６に記載の方法。
概念２２．前記第１の画像取り込みデバイスが、前記第２の画像取り込みデバイスとは反対方向を向いている、概念１２、１３、１４、１５または１６に記載の方法。
概念２３．実行時においてコンピュータシステムにマルチモーダルセンサからの混合メディア通信のための方法を実行させる、内部に統合された命令を有するコンピュータ利用可能な記憶媒体であって、前記方法が、
第１の通信デバイスに関連する第１の画像取り込みデバイスにおいて、第１のデータを取り込む工程と、
前記第１の通信デバイスに関連する第２の画像取り込みデバイスにおいて、第２のデータを取り込む工程と、
前記第１のデータ及び前記第２のデータを、前記第２の通信デバイスのディスプレイ上に同時に表示するように、第２の通信デバイスへと同時に送信する工程とを備える、記憶媒体。
概念２４．マルチモーダルセンサからの混合メディア通信のためのデバイスであって、前記デバイスが、
第１のデータを取り込むための第１の画像取り込みデバイスであって、前記デバイスのディスプレイと同じ方向に向けられている前記第１の画像取り込みデバイスと、
前記第１のデータに関係する音声コンテンツを取り込むためのマイクと、
第２のデータを取り込むための第２の画像取り込みデバイスであって、前記第１の画像取り込みデバイスの反対方向に向けられている前記第２の画像取り込みデバイスと、
前記第１のデータ及び前記第２のデータを、第２の通信デバイスのディスプレイ上に同時に表示するように、前記第２の通信デバイスへと同時に送信する送信器とを備える、デバイス。
概念２５．前記第１のデータが映像及び音声コンテンツを備えた映像ストリームであり、前記第２のデータが画像である、概念２４に記載のデバイス。
概念２６．前記第１のデータが映像及び音声コンテンツを備えた映像ストリームであり、前記第２のデータが複数の画像である、概念２４に記載のデバイス。

Claims (26)

1. マルチモーダルセンサからの混合メディア通信のための方法であって、前記方法が、
   第１の通信デバイスに関連する第１の画像取り込みデバイスにおいて、第１のデータを取り込む工程と、
   前記第１の通信デバイスに関連する第２の画像取り込みデバイスにおいて、第２のデータを取り込む工程と、
   前記第１のデータ及び前記第２のデータを、第２の通信デバイスのディスプレイ上に同時に表示するように、前記第２の通信デバイスへと同時に送信する工程とを備える、方法。
2. 前記第１の通信デバイスが、前記第１のデータ及び前記第２のデータを前記第２の通信デバイスの前記ディスプレイ上に呼び出す方法を制御する、請求項１に記載の方法。
3. 前記第２の通信デバイスが、前記第１のデータ及び前記第２のデータを前記第２の通信デバイスの前記ディスプレイ上に呼び出す方法を制御する、請求項１に記載の方法。
4. 前記第１のデータが映像及び音声コンテンツを備えた映像ストリームであり、前記第２のデータが画像である、請求項１に記載の方法。
5. 前記第１のデータが映像及び音声コンテンツを備えた映像ストリームであり、前記第２のデータが複数の画像である、請求項１に記載の方法。
6. 前記第１のデータが、前記第２の通信デバイスの前記ディスプレイの第１の領域に表示され、前記第２のデータが、前記第２の通信デバイスの前記ディスプレイの第２の領域に表示され、
   前記第１の領域の前記第１のデータを前記第２の領域の前記第２のデータと交換する工程をさらに備える、請求項１に記載の方法。
7. 前記第２の通信デバイスの前記ディスプレイにおいて、前記第１のデータが前記第２のデータとサイド・バイ・サイドで表示される、請求項１に記載の方法。
8. 前記第２の通信デバイスの前記ディスプレイにおいて、前記第１のデータが前記第２のデータのピクチャ・イン・ピクチャとして表示される、請求項１に記載の方法。
9. 前記第２の通信デバイスの前記ディスプレイにおいて、前記第１のデータが分割されて前記第２のデータに対して背面に配置される、請求項１に記載の方法。
10. 前記第２の画像取り込みデバイスが、前記第１の取り込みデバイスにより取り込まれた前記第１のデータの明度を補償するように、前記取り込みのための光センサを利用する、請求項１に記載の方法。
11. 前記第１の画像取り込みデバイスが、前記第２の画像取り込みデバイスとは反対方向を向いている、請求項１に記載の方法。
12. マルチモーダルセンサからの混合メディア通信のための方法であって、前記方法が、
    第１の通信デバイスに関連する第１の画像取り込みデバイスにより取り込まれた第１のデータを、第２の通信デバイスにおいて受信する工程と、
    第１の通信デバイスに関連する第２の画像取り込みデバイスにより取り込まれた第２のデータを、第２の通信デバイスにおいて受信する工程であって、前記第１のデータ及び前記第２のデータが同時に受信される工程と、
    前記第１のデータ及び前記第２のデータを、前記第２の通信デバイスの単一のディスプレイ上に同時に表示する工程とを備える、方法。
13. 前記第１の通信デバイスが、前記第１のデータ及び前記第２のデータを前記第２の通信デバイスの前記ディスプレイ上に呼び出す方法を制御する、請求項１２に記載の方法。
14. 前記第２の通信デバイスが、前記第１のデータ及び前記第２のデータを前記第２の通信デバイスの前記ディスプレイ上に呼び出す方法を制御する、請求項１２に記載の方法。
15. 前記第１のデータが映像及び音声コンテンツを備えた映像ストリームであり、前記第２のデータが画像である、請求項１２に記載の方法。
16. 前記第１のデータが映像及び音声コンテンツを備えた映像ストリームであり、前記第２のデータが複数の画像である、請求項１２に記載の方法。
17. 前記第１のデータが、前記第２の通信デバイスの前記ディスプレイの第１の領域に表示され、前記第２のデータが、前記第２の通信デバイスの前記ディスプレイの第２の領域に表示され、
    前記第１の領域の前記第１のデータを前記第２の領域の前記第２のデータと交換する工程をさらに備える、請求項１２に記載の方法。
18. 前記第１のデータが、前記第２の通信デバイスの前記ディスプレイにおいて、前記第２のデータとサイド・バイ・サイドで表示される、請求項１２に記載の方法。
19. 前記第１のデータが、前記第２の通信デバイスの前記ディスプレイにおいて、前記第２のデータのピクチャ・イン・ピクチャとして表示される、請求項１２に記載の方法。
20. 前記第１のデータが、前記第２の通信デバイスの前記ディスプレイにおいて、前記第２のデータに対する背面に分割及び配置される、請求項１２に記載の方法。
21. 前記第２の画像取り込みデバイスが、前記第１の取り込みデバイスにより取り込まれた前記第１のデータの明度を補償するように、前記取り込みのための光センサを利用する、請求項１２に記載の方法。
22. 前記第１の画像取り込みデバイスが、前記第２の画像取り込みデバイスとは反対方向を向いている、請求項１２に記載の方法。
23. 実行時においてコンピュータシステムにマルチモーダルセンサからの混合メディア通信のための方法を実行させる、内部に統合された命令を有するコンピュータ利用可能な記憶媒体であって、前記方法が、
    第１の通信デバイスに関連する第１の画像取り込みデバイスにおいて、第１のデータを取り込む工程と、
    前記第１の通信デバイスに関連する第２の画像取り込みデバイスにおいて、第２のデータを取り込む工程と、
    前記第１のデータ及び前記第２のデータを、第２の通信デバイスのディスプレイ上に同時に表示するように、前記第２の通信デバイスへと同時に送信する工程とを備える、記憶媒体。
24. マルチモーダルセンサからの混合メディア通信のためのデバイスであって、前記デバイスが、
    第１のデータを取り込むための第１の画像取り込みデバイスであって、前記デバイスのディスプレイと同じ方向に向けられている前記第１の画像取り込みデバイスと、
    前記第１のデータに関係する音声コンテンツを取り込むためのマイクと、
    第２のデータを取り込むための第２の画像取り込みデバイスであって、前記第１の画像取り込みデバイスの反対方向に向けられている前記第２の画像取り込みデバイスと、
    前記第１のデータ及び前記第２のデータを、第２の通信デバイスのディスプレイ上に同時に表示するように、前記第２の通信デバイスへと同時に送信する送信器とを備える、デバイス。
25. 前記第１のデータが映像及び音声コンテンツを備えた映像ストリームであり、前記第２のデータが画像である、請求項２４に記載のデバイス。
26. 前記第１のデータが映像及び音声コンテンツを備えた映像ストリームであり、前記第２のデータが複数の画像である、請求項２４に記載のデバイス。

Images