JP2016506700A - 混合媒体通信 - Google Patents

Abstract

【解決手段】混合メディア通信により通信するための方法及びシステムである。装置に関連付けられた画像撮像装置により画像が取得される。装置に関連付けられたマイクロフォンにより画像に関連する音声メッセージが取得される。通信は、装置から第２の装置に送信される。通信は、画像及び音声メッセージを含み、第２の装置は、通信にアクセスすると、自動的に画像を表示し、音声メッセージを再生する。【選択図】図１

Description

［関連出願の相互参照］
本出願は２０１３年１月８日に出願された米国非仮特許出願第１３／７３６，８３２号に関連し、その優先権を主張し、その全ては参照により本明細書に援用される。

近時の技術により、２つの装置間で通信するための様々な方法及び技法が可能となっている。通信は、マルチメディアでも可能であり、ネットワークを超えて発生しうる。通信には、ユーザが所望の種類のメッセージを送信することができなかったり、通信において異なるメディアを組み合わせる柔軟性を望めなかったというような、技術の限界がありうる。

要約すると、この書面は、混合メディア通信により通信するための方法及びシステムを提示する。画像は、装置に関連付けられた画像取得装置により取得される。画像に関連した音声メッセージは、装置に関連付けられたマイクロフォンにより取得される。通信は、装置から第２の装置へ送信される。通信は、画像及び音声メッセージを含む。第２の装置は、通信にアクセスすると、自動的に画像を表示し、音声メッセージを再生する。

図１は、本技術の実施例に係る混合メディア通信による通信のための装置の例のブロック図を示す。

図２は、本技術の実施例に係る混合メディア通信による通信のための装置の例のブロック図を示す。

図３Ａは、本技術の実施例に係る混合メディア通信による通信のための環境の例のブロック図を示す。

図３Ｂは、本技術の実施例に係る混合メディア通信による通信のための装置の例のブロック図を示す。

図４は、本技術の実施例に係る混合メディア通信による通信のための方法の例のフローチャートを示す。

図５は、本技術の実施例に係る混合メディア通信による通信のための方法の例のフローチャートを示す。

本明細書において参照される図面は、とくに注記しない限り、縮尺に合わせたものではないことが理解されるべきである。

これから、本技術の実施の形態について詳細に説明する。本技術の例は、添付の図面に示される。本技術は様々な形態と組み合わせて説明されるが、それらは本技術をこれらの実施の形態に限定するように意図されたものではないことが理解されよう。逆に、本技術は、添付の特許請求の範囲により定義されるような様々な実施の形態の趣旨及び範囲に含まれる変形、修正及び均等物をカバーすることが意図される。

更に、実施の形態の以下の説明において、本技術の完全な理解を提供するために、多くの具体的な詳細について述べる。しかしながら、本技術は、これらの具体的な詳細なしに実施することができる。他の例において、よく知られた方法、手順、部品及び回路は、本実施の形態の態様をいたずらに不明瞭としないために、詳細には説明されない。

以下の議論から明らかであるように、とくにそうではないと断らない限り、本実施の形態の説明の全体にわたって、「取得」「受信」「送信」「生成」「フィルタリング」「改変」「通信」「変更」などの語を用いた議論は、コンピュータシステム又は同様の電気的計算装置の動作及び処理のことを指すことが認識される。電話、スマートフォン、又は携帯型装置などのコンピュータシステム又は同様の電気的計算装置は、物理的（電気的）な量としてコンピュータシステムのレジスタ及びメモリ内で表現されるデータを操作し、コンピュータシステムのメモリ又はレジスタ、又は、他の同様な情報ストレージ、通信又は表示装置の中で物理量として同様に表現される他のデータに変換する。本技術の実施の形態は、例えば、光学的及び機械的なコンピュータなどの他のコンピュータシステムの利用にもよく適している。

［混合媒体通信の概要］
本技術の実施の形態は、混合媒体（メディア）通信のためのものである。通信は、携帯電話、スマートフォン、コンピュータ、ラップトップ、テレビジョン、携帯型電子機器などの２つの装置間でなされてもよい。装置は、画像及び音声を取得することができるとともに、画像及び音声を表示又は再生することができる。１つの実施の形態において、通信は、セルラーネットワーク、ｗｉｆｉ（登録商標）ネットワーク、又は通信のために用いられる他のネットワークなどのネットワークを介して発生する。

この通信により、装置はメディアを組み合わせて使用することが可能となる。１つの実施の形態において、この通信は、画像と画像に関連付けられた声又は音のメッセージとを含む混合メディア通信である。例えば、装置のユーザは、装置に関連付けられたカメラを用いて、オブジェクトの写真を撮影してもよい。そして、ユーザの声の録音が装置により記録される。つづいて、装置は、オブジェクトの写真とユーザの声の録音を用いて混合メディア通信を生成する。つづいて、混合メディアメッセージは、第２の装置に送信される。混合メディアメッセージは、２以上のメッセージ又は２以上の音声メッセージを含んでもよく、映像、テキスト、又はアニメーションなどの他の要素を更に含んでもよい。

装置は、ユーザを促して音声メッセージを記録させてもよい。例えば、装置は、画像を撮像し、つづいて、装置のユーザインタフェースを用いて、音声メッセージを記録するようユーザを促してもよい。１つの実施の形態において、装置のカメラ要素がアクティベート又は始動されると、音声メッセージの記録を開始してもよい。カメラが写真の撮像に用いられると、装置は、音声メッセージの記録を停止し、自動的に音声メッセージを写真に関連付けて混合メディア通信を生成し、第２の装置へ送信する。１つの実施の形態において、この画像は、装置を用いて記録されたビデオ会議などの映像から選択された画像である。この音声は、ビデオ会議の音声の部分であってもよい。

第２の装置は、混合メディア通信を受信することができる。ユーザは、第２の装置により、混合メディアメッセージにアクセスし、又は、混合メディアメッセージを開いてもよい。混合メディアメッセージにアクセスすると、第２の装置は、自動的に画像を表示し、音声メッセージを再生してもよい。このように、装置は、通信又は画像の表題として機能しうる、又は、別の種類の音声メッセージを中継しうる音声メッセージとともに、画像を別の装置へ送信することができる。

１つの実施の形態において、混合メディア通信は、画像に関連する音声が添えられた画像である。例えば、第１の装置は、オブジェクトの画像を撮像し、つづいて、ユーザの映像を撮像してもよい。映像は、ユーザに注目し、記録されたユーザの声の音声部分を含む。ユーザは、オブジェクトの画像を説明してもよいし、他の情報を提供してもよい。画像及び動画像は、第１の装置に関連付けられた２つの異なるカメラを用いて撮像されてもよい。つづいて、通信は、第２の装置に送信されてもよい。第２の装置が通信にアクセスすると、第２の装置において、動画と画像が同時に再生又は表示されてもよい。

第１の装置は、通信が送信される前に、通信を編集、フィルター、又は別の方法で変更可能であってもよい。例えば、ユーザに選択肢を提供するユーザインタフェースを介して、動画部分が編集、修正、変更、短縮されてもよいし、効果を追加されてもよい。同様に、撮像された画像が、アニメーション化されたり、切り取られたり、フィルターをかけられたり、効果を追加されたり、テキストを追加されたりしてもよい。装置は、混合メディア通信が別の装置上でどのように表示されるかに関する選択肢を更にユーザに提供してもよい。例えば、装置は、画像が背景に表示されている間に動画を前景に表示するか、又はその逆かの選択をユーザに提案してもよい。

［混合メディア通信のための方法及びシステム］
図１は、装置１００の実施例を示す。装置１００は、混合メディア通信に参加するために構成される。装置１００は、混合メディア通信を生成し、混合メディア通信を送信又は受信し、又は、混合メディア通信を表示することが可能であってもよい。混合メディア通信は、音声部分、画像部分、動画部分、テキスト部分、アニメーション、効果、これらのアイテムのいずれかの複数を含む、任意の数のメディアの組み合わせを含んでもよい。装置１００は、スマートフォン、携帯電話、デスクトップコンピュータ、ラップトップ、ノートブック、ネットブック、携帯型装置、ＰＤＡ、テレビジョン、又はネットワークを介してマルチメディアのディジタル通信に参加することが可能な同様の電子機器であってもよいことが認識されるべきである。

１つの実施の形態において、装置１００は、通信を送信及び受信することができる。このような通信は、ユーザ間のソーシャルコミュニケーションのための通信であって、マルチモーダルなセンサを用いて取得された混合メディア通信であってもよい。混合メディア通信の１つの例は、画像が表示されるときに装置上で再生される、対応する音声部分又はメッセージが添えられた画像である。このような対応する音声部分が添えられた画像は、可聴画像、又は、「画像（picture）」という語に由来する「icture」に「音声（voice）」を表す「v」をつけた「victure」と記述されてもよい。装置１００は、混合メディア通信の生成、送信、及び受信のみを専ら行うように構成されてもよいし、他の機能も行う装置であってもよい。例えば、装置１００は、オペレーティングシステムを用いるスマートフォンであってもよい。１つの実施の形態において、本技術は、アプリケーション又はアプリとしてスマートフォンに配置されてもよい。アプリは、ユーザインタフェースを含んでもよく、メディアを取得し、通信を生成し、通信を送受信し、通信を表示又は再生するために、装置のハードウェア要素を使用する。通信は、メッセージ又はメッセージングと記述されてもよい。

明確かつ簡潔にするために、装置１００の構成要素及び機能に話を集中する。しかし、図２の装置２００並びに図３Ａ及び３Ｂの装置３００は、装置１００と同様に動作し、同様の特性を有する。１つの実施の形態において、装置２００及び装置３００は、装置１００と同じであり、装置１００と同じ構成要素を含む。

装置１００は、ディスプレー１１０、混合メディア通信生成部１２０、送受信部１４０、画像撮像装置１５０、画像撮像装置１５１、マイクロフォン１５２、及びスピーカー１５４を含む。装置１００は、オプションで、全地球測位システム（ＧＰＳ）１６０を含む。

ディスプレー１１０は、画像、写真、テキスト、アニメーション、効果、混合メディア通信、ユーザインタフェースなどを表示するように構成される。ディスプレー１１０は、装置１００により撮像された画像又は動画を表示するように、又は、別の装置により撮像され装置１００により受信された画像、写真、動画、又は通信を表示するように、更に構成される。１つの実施の形態において、ディスプレー１１０はタッチスクリーンであり、コマンドを起動するためにユーザが押下又は選択可能な領域にユーザインタフェースを表示することができる。

送受信部１４０は、テキスト、スピーチ、音声、動画、アニメーション、又は通信自体などの通信に関連するデータを送受信するためのものである。送受信部１４０は、ネットワークを介して別の装置との間で通信を送受信するように作用してもよい。例えば、ネットワークは、３Ｇ又は４Ｇネットワークなどのセルラーネットワークであってもよい。別の実施の形態において、ネットワークは、Ｗｉ−Ｆｉネットワーク、ブルートゥース（登録商標）ネットワーク、近距離通信、又は、電磁波無線信号を送受信するための他のネットワークであってもよい。１つの実施の形態において、ネットワークは、インターネットの一部であり、又は、インターネットと通信する。通信は、１つの装置から別の装置へ直接送信されてもよいし、他の装置又はサーバを介したルートを経て送信又は中継されてもよい。例えば、ピアツーピアネットワークが使用されてもよいし、装置間をつなぎ、又は、交信情報により装置を識別する中央サーバが使用されてもよい。

画像撮像装置１５０は、ディジタルカメラ又はビデオカメラなどの、装置１００において画像、動画、又は写真を取得するための画像取得装置である。装置１００は、画像撮像装置１５０とは反対に面する装置１００の背面に、追加のカメラ（例えば、画像撮像装置１５１）を更に含んでもよい。マイクロフォン１５２は、装置１００において音声を取得するためのものである。スピーカー１５４は、別の装置からの通信の音声ストリームなどの可聴信号を装置１００において生成するためのものである。全地球測位システム１６０は、装置１００において位置を判定するためのものである。

装置１００は、ユーザからのコマンドに応じて、画像、動画、又は音声を取得してもよい。このようなユーザからのコマンドにより、装置１００は、ユーザに更なるコンテンツを生成するよう自動的に促してもよい。更なるコンテンツは、その後、装置１００により取得される。例えば、ユーザは、画像を撮像し、又は、以前撮像した画像を選択してもよい。つづいて、装置１００は、ユーザに音声を生成するよう促してもよい。音声は、マイクロフォン１５２により取得される。音声は、撮像された画像の声による説明であってもよい。つづいて、混合メディア通信生成部１２０は、画像と音声を結びつけて、混合メディア通信を生成してもよい。つづいて、送受信部１４０は、混合メディア通信を別の装置へ送信してもよい。または、ユーザは、更なるコンテンツを取得して既に取得されている別のコンテンツに関連付けるよう装置１００へ手動で命令してもよい。このように、混合メディア通信は、２以上の種類のメディアのコンテンツから生成されてもよい。混合メディア通信は、画像に、タイトル又はテキストメッセージに代わる音声メッセージが添えられたものであってもよいし、画像の説明に代わるものであってもよい。１つの実施の形態において、混合メディア通信は、タイトル又は混合メディア通信の他の説明についてのテキストを含まない。

装置１００は、携帯型装置又はコンピュータなどの別の装置とのビデオ会議に参加することもできる。ビデオ会議中、画像撮像装置１５０は、装置１００においてビデオを撮像する。例えば、画像撮像装置１５０は、ユーザ又は他のオブジェクトの動画を撮像する。マイクロフォン１５２は、装置１００において、撮像された動画信号に対応する音声信号を同時に取得する。同様に、第２の装置も音声及び動画を取得してもよい。つづいて、２つの装置は動画及び音声を交換してもよい。装置１００は、ビデオ会議中に、第２の装置により撮像されたリアルタイム又はライブのビデオストリームと、装置１００により撮像された動画を、ディスプレー１１０の２つの異なる領域に同時に表示可能であってもよい。ビデオ会議は、複数の装置を更に含んでもよい。複数の装置からの音声及び動画は、装置１００を介して表示されてもよい。装置１００は、複数の装置からの音声及び動画を含みうるビデオ会議を記録可能であってもよい。

１つの実施の形態において、装置１００は、ビデオ会議のスクリーンショットを取得可能である。スクリーンショットは、スナップショット又は動画の静止フレームとして記述されてもよい。スクリーンショットは、複数の動画ソースからの画像、又は、１つのみのソースからの動画を含んでもよい。スクリーンショットは、ユーザにより選択されてもよいし、混合メディア通信生成部１２０によりランダムに選択されてもよい。スクリーンショットは、ビデオ会議中にキャプチャーされてもよいし、ビデオ会議の記録を用いてキャプチャーされてもよい。つづいて、ユーザは、混合メディア通信の音声部分を生成してもよいし、音声部分はビデオ会議からの音声の一部であってもよい。例えば、スクリーンショットは選択されてもよく、音声は、ビデオ会議の時系列においてスクリーンショットが発生した時点から数秒前又は数秒後など、スクリーンショットが撮像された時点に近接して発生したビデオ会議の音声の一部であってもよい。音声部分は、混合メディア通信生成部１２０により自動的に混合メディア通信に追加されてもよいし、音声はユーザにより選択されてもよい。しかし、音声部分は、ビデオ会議の任意の一部に由来してもよく、ビデオ会議の時系列においてスクリーンショットと同時に生成された音声である必要はない。

本技術を用いることにより、ユーザは、多くの情報を含む混合メディア通信を送信することができる。ユーザは、テキストとして情報を打ち込む必要はなく、その代わりに、声を利用して情報を生成することができる。さらに、画像及び音声のみ、又は、画像、音声、及びテキストを含む混合メディア通信は、一般に、動画を含む通信よりもデータ量が少ない。さらに、画像は動画よりも高い解像度で撮像されてもよく、高い解像度の画像及び音声を含む混合メディア通信は、依然として動画に比べて小さいデータ量を有するであろう。データ量の小さい通信は、ネットワークを介した送信がより容易であり、より高速に送信されうる。さらに、写真は静的であるが、動画は流動的である。ある例において、とくに動画がそれ自体の音声トラックを有する場合、ユーザは流動的な動画よりも、静的な写真の説明を提供する方が容易である。

１つの実施の形態において、取得された混合メディア通信のためのコンテンツは、コンテンツが取得された場所の位置データを含んでもよい。位置データは、全地球測位システム１６０を介して生成されてもよい。

混合メディア通信生成部１２０は、複数の画像、音声部分、動画、アニメーション、又はそれらの任意の組み合わせから混合メディア通信を生成することができてもよい。１つの実施の形態において、混合メディア通信のコンテンツは、装置１００により生成又はキャプチャーされる必要はない。例えば、装置１００は、別の装置から画像又は他のコンテンツを受信してもよいし、画像をインターネットからダウンロードしてもよい。それは、混合メディア通信生成部１２０により混合メディア通信を生成するために使用される。

音声部分又はメッセージは声である必要はなく、音楽又は他の音声であってもよい。１つの実施の形態において、音声部分は、画像、動画、又は混合メディア通信の他のコンテンツに関連する。とくに、音声メッセージは、画像又は動画に何が含まれるかの口頭による説明であってもよい。例えば、ユーザは、肌の状態の写真を撮影し、つづいて、ユーザの声を用いて肌の状態を音声で説明してもよい。音声及び画像は、医療専門家に送信される混合メディア通信を含んでもよい。別の例において、ユーザは、休暇中に著名なランドマークの画像を撮像してもよく、装置１００は、ランドマークについてのユーザの説明から音声メッセージを取得してもよい。１つの実施の形態において、音声はメッセージではなく、混合メディア通信の他のコンテンツとは関連しない。

装置１００は、音声及び画像を任意の順序で取得してもよいことが認識されるべきである。１つの実施の形態において、まず音声が取得され、つづいて画像が取得される。例えば、ユーザは、カメラのファインダーを起動するよう装置１００に指示してもよく、そのときに、装置１００は自動的に音声の取得を開始する。装置１００が写真を撮像する指示を受信すると、装置１００は自動的に音声の取得を終了し、混合メディア通信を生成する。１つの実施の形態において、まず、装置１００が画像を撮像し、又は、ユーザが既に取得された画像を選択し、つづいて、装置１００が混合メディア通信のための音声を取得する。１つの実施の形態において、装置１００は画像及び音声を同時に取得する。音声及び画像が取得又は選択されると、装置１００は、他のコンテンツ又はメディアが混合メディア通信に含まれるべきか否かについてユーザに問い合わせてもよい。ここで、ユーザは、混合メディア通信に別の画像、音声、又は動画が含まれるべきであることを指示してもよい。

１つの実施の形態において、装置１００は、音声の記録を開始し、つづいて、音声を取得しているときに複数の画像を撮像してもよい。それぞれの画像が撮像されるときに、音声が取得される時系列に関連したタイムスタンプが記録される。つづいて、混合メディア通信生成部１２０は、音声の再生中にまず第１の画像を表示し、音声メッセージのタイムラインに関連して第２の画像が撮像されたときに第２の画像を表示する混合メディア通信を生成する。このように、混合メディア通信のフローは、画像ではなく音声により制御又は駆動される。これは、任意の時間長、及び任意の数の画像について実施されてもよい。所定の時間、例えば３０秒後に、装置１００が音声の取得を自動的に停止することができるように、時間量が予め設定されていてもよい。または、装置１００は、所定の数の画像が撮像された後に、音声及び画像の取得を停止してもよい。装置１００は、混合メディア通信のデータ量の上限を更に有してもよく、データ量が到達するとコンテンツの取得を停止してもよい。

混合メディア通信が混合メディア通信生成部１２０により生成された後、装置１００は、混合メディア通信をいずれの装置に送信すべきかに関する情報をユーザに促してもよい。装置１００は、本技術のアプリに関連付けられた交信先のライブラリーを提供してもよいし、装置１００のオペレーティングシステムに関連付けられた交信先にアクセスしてもよいし、交信先はユーザにより手動で入力されてもよい。

装置１００又は別の装置は、混合メディア通信を受信することができてもよい。装置１００は、混合メディア通信を受信するときに、メッセージ又は通信を受信する装置に関連付けられた任意の数の標準的なアラートを用いて、混合メディア通信をユーザに報知してもよい。このとき、ユーザは、混合メディア通信を開く又はアクセスするよう装置１００に要求してもよい。１つの実施の形態において、混合メディア通信生成部１２０は、混合メディア通信が装置によりアクセスされたときに装置が混合メディア通信のコンテンツの異なる部分を自動的に表示するように、混合メディア通信を生成する。例えば、混合メディア通信が画像及び音声メッセージを含む場合、混合メディア通信にアクセスされると、受信した装置は自動的に画像を表示し、音声を再生する。２以上の画像又は音声メッセージがある場合、混合メディア通信生成部１２０は、コンテンツを再生する順序を自動的に選択し、後続の画像を表示する前に画像を表示する時間を自動的に決定してもよい。しかし、画面分割技術又はピクチャーインピクチャー技術を用いて、又は、２つの画像の一部が互いに重なるように１つの画像を前景に１つの画像を背景に表示して、２以上の画像を同時に表示してもよい。複数の動画又は動画と画像の組み合わせについても同様であってもよい。１つの実施の形態において、ユーザは、混合メディア通信に含まれるコンテンツの異なる部分の再生の順序、及び／又は、長さを手動で選択してもよい。

装置１００は、混合メディア通信に含まれるコンテンツを編集し、又はフィルタをかけることができてもよい。画像及び動画は、クロッピング（トリミング）されてもよいし、明るさ及び色調を制御されてもよいし、又は、標準的な編集技術が適用されてもよい。動画は短くされてもよい。アニメーション及び他の効果が混合メディア通信のコンテンツに追加されてもよい。装置１００は、このような編集、フィルタリング、改造、変更、又は他の効果に関するコマンドを受け付けるためにユーザインタフェースを使用してもよい。テキスト及び他の効果が動画又は画像の上に重畳されてもよい。１つの実施の形態において、画像に含まれるオブジェクトを識別するためにピン先が追加されてもよい。例えば、ピン先は、木又はポーションなどのオブジェクトを指し示す矢又は他のインジケーターの形状であってもよい。識別される画像内のオブジェクトは、画像の領域であってもよい。１つの実施の形態において、画像は、画像の領域が拡大されるように変更されてもよい。これは、画像の一部におけるズームインと記述されてもよい。拡大される領域は、混合メディア通信中に表示される画像の一部のみであってもよい。

１つの実施の形態において、混合メディア通信は、動画、画像、又は他のコンテンツを提供するウェブサイトに送信されてもよい。これにより、他のユーザがコンテンツにオンデマンドでアクセスすることができる。または、ウェブサイトは指定されたユーザにコンテンツを自動的に転送してもよい。

次に、本技術の実施の形態に係る環境の例のブロック図である図２を参照する。図２は、マイクロフォン２２５及び領域２１０を備える装置２００を示す。図２は、更に、オブジェクト２１５及びユーザ２０５を示す。装置２００は、オブジェクト２１５の画像２２０を撮像するために用いられてもよい。図示されるように、画像２２０はオブジェクト２１５の写真である。図２において、オブジェクト２１５は、ビルなどの構造物又はランドマークであるように示される。装置２００は、画像２２０に関する音声メッセージを録音するようユーザ２０５を促してもよい。この音声メッセージは、つづいて、混合メディア通信を生成するために用いられる。領域２１０は、ユーザ２０５に対してプロンプトを表示するために用いられてもよいし、編集コントロール、混合メディア通信を送信すべき交信先を選択するためのコントロールなどの他のコントロールを表示するために用いられてもよい。１つの実施の形態において、ユーザ２０５は、音声メッセージが録音されている間、装置２００のディスプレー上で画像２２０を見ることができてもよいし、音声は画像２２０が撮像される前に録音されてもよい。

次に、本技術の実施の形態に係る環境の例のブロック図である図３Ａを参照する。図３Ａは、前面カメラ３０５、背面カメラ３１０、及びマイクロフォン３１２を備える装置３００の側面視を示す。図３Ａは、ユーザ３１４及びオブジェクト３２０を更に示す。１つの実施の形態において、背面カメラ３１０はオブジェクト３２０の写真を撮像するために用いられ、前面カメラはユーザ３１４の動画を撮像するために用いられ、マイクロフォン３１２は音声を録音するために用いられる。写真、動画、及び音声は、混合メディア通信を生成するために用いられる。装置３００が２以上のカメラを有している場合は、写真、動画、及び音声を同時に記録することができる。または、写真、動画、及び音声は、任意のシーケンス又は順序で記録されてもよく、装置３００及びその構成要素により記録されてもよいし、記録されなくてもよい。

１つの実施の形態において、装置３００は、オブジェクト３２０の写真を撮像し、オブジェクト３２０に関する情報を説明又は提供するユーザ３１４の音又は声のトラックを含む動画を撮像する。例えば、ユーザ３１４は、なぜオブジェクト３２０が重要であるか、又は、ユーザ３１４がオブジェクト３１４までどのように旅したか、又は、他の任意の種類の情報を説明してもよい。つづいて、写真、音声、及び動画は、混合メディア通信を生成するための用いられてもよい。

次に、本技術の実施の形態に係る環境の例のブロック図である図３Ｂを参照する。図３Ｂは、図３Ａにおいて説明したように、記録された写真、音声、及び動画を用いて生成された混合メディア通信の再生を表示している装置３００の正面視を示す。画像３２５はオブジェクト３２０の写真であり、動画３３０はユーザ３１４の動画である。混合メディア通信は、動画３３０が動画として表示され、同時に、音声メッセージが再生される間に、画像３２５が連続して静止した態様で表示されるように、表示される。このように、混合メディア通信は、写真と、写真に関する情報を説明又は提供するユーザの動画とを表示してもよい。動画は、通信を助けるユーザの顔の特徴、ボディランゲージ、又はジェスチャーを示すために有益であろう。動画３３０及び画像３２５は、画面分割技術又はピクチャーインピクチャー技術を用いて、装置３００のディスプレーの分離された領域に表示されてもよい。しかし、動画３３０及び画像３２５は、同じ領域において互いに重なるように表示されてもよい。例えば、画像３２５はディスプレーの全体を構成し、背景となる一方、動画３３０は画像３２５の上の前景となってもよい。逆に、画像３２５が前景となり、動画３３０が背景となってもよい。

本明細書において説明された様々な実施の形態は、互いに組み合わせて用いられることもできることに留意すべきである。すなわち、説明された１つの実施の形態は、説明された他の１以上の実施の形態と組み合わせて用いられることができる。

［混合メディア通信の動作］
図４は、本技術の１つの実施の形態に係る混合メディア通信による通信のための方法４００を示すフローチャートである。１つの実施の形態において、方法４００は、コンピュータにより利用可能でコンピュータにより実行可能な命令の制御下で、プロセッサー及び電子的な構成要素により実行される、コンピュータに実装された方法である。コンピュータにより利用可能でコンピュータにより実行可能な命令は、例えば、コンピュータにより利用可能な揮発性及び不揮発性のメモリなどのデータ格納機能に保持される。メモリは非一時的なものであってもよい。しかし、コンピュータにより利用可能でコンピュータにより実行可能な命令は、コンピュータにより利用可能な任意の種類の記録媒体に保持されてもよい。１つの実施の形態において、方法４００は、図１、２、３Ａ、及び／又は３Ｂの構成要素により実行される。

４０２において、装置に関連付けられた画像撮像装置により画像が撮像される。複数の画像が撮像されてもよい。動画などの他のコンテンツが更に取得されてもよい。１つの実施の形態において、画像は、ビデオ会議などの動画のスナップショットである。

４０４において、装置に関連付けられたマイクロフォンにより、画像に関連する音声メッセージが録音される。音声は、画像の声による説明など、画像を直接説明するものであってもよいし、音楽、音響効果、又は他の可聴音であってもよい。１つの実施の形態において、音声は、画像を説明するもの、又は、画像に一般的に関連付けられるものではなく、単に混合メディア通信において画像に結合されるために選択されたことで画像に関連してもよい。１つの実施の形態において、装置は、画像に関連する音声を録音するようユーザを促す、又は、画像が撮像されることを見越して音声を録音するようユーザを促す。音声メッセージ及び画像は、一方と他方を順に記録されてもよいし、又は、同時に記録されてもよい。音声メッセージは、ビデオ会議中に録音された音声ストリームの一部であってもよい。

４０６において、通信が装置から第２の装置へ送信される。通信は、第２の装置が通信にアクセスすると、自動的に画像を表示し、音声メッセージを再生することができるように、画像及び音声メッセージを含む。通信は、混合メディア通信であってもよく、セルラーネットワークを介して送信されてもよい。通信は、テキスト、アニメーション、画像、動画、効果、音声などを含む様々なコンテンツから構成される任意の数の追加部分を含んでもよい。画像は、オブジェクト又は画像の領域を識別するピンポイントを含むように変更されてもよいし、又は、画像の領域をズームイン又は拡大するように変更されてもよい。

図５は、本技術の１つの実施の形態に係る混合メディア通信による通信のための方法５００を示すフローチャートである。１つの実施の形態において、方法５００は、コンピュータにより利用可能でコンピュータにより実行可能な命令の制御下で、プロセッサー及び電子的な構成要素により実行される、コンピュータに実装された方法である。コンピュータにより利用可能でコンピュータにより実行可能な命令は、例えば、コンピュータにより利用可能な揮発性及び不揮発性のメモリなどのデータ格納機能に保持される。メモリは非一時的なものであってもよい。しかし、コンピュータにより利用可能でコンピュータにより実行可能な命令は、コンピュータにより利用可能な任意の種類の記録媒体に保持されてもよい。１つの実施の形態において、方法５００は、図１、２、３Ａ、及び／又は３Ｂの構成要素により実行される。

５０２において、装置に関連付けられた第１の撮像装置により画像が撮像される。

５０４において、その装置に関連付けられた第２の画像撮像装置により動画が撮像される。動画は音声部分を含み、音声部分は画像に関連する。

５０６において、通信は装置から第２の装置へ送信される。通信は、第２の装置が通信にアクセスすると、自動的に画像を表示し、動画を再生することができるように、画像及び動画を含む。通信は、画像を前景に、動画を背景にして、動画と画像を同時に表示してもよい。通信は、画像を背景に、動画を前景にして、動画と画像を同時に表示してもよい。通信は、混合メディア通信であってもよく、コンテンツの追加部分を含んでもよい。動画は、通信に組み込まれる前に変更又は編集されてもよい。

このように、様々な実施の形態が説明された。特定の実施の形態が説明されたが、実施の形態は、このような説明により限定して解釈されるべきではなく、後述の特許請求の範囲にしたがって解釈されるべきであることが認識されるべきである。

［コンピュータシステム環境の例］
本技術の一部は、例えば、コンピュータシステムのコンピュータにより利用可能な媒体、又は、混合メディア通信のために用いられるスマートフォンなどの他のユーザ装置に保持される、コンピュータにより利用可能でコンピュータにより実行可能な命令から構成される。下記の説明は、本技術の態様のために、又は、本技術の態様に関連して利用可能なコンピュータシステム又は構成要素の例である。

本技術は、汎用ネットワークコンピュータシステム、組み込まれたコンピュータシステム、クラウドベースのコンピュータ、ルータ、スイッチ、サーバ装置、ユーザ装置、様々な仲介装置／人工物、スタンドアロンコンピュータシステム、携帯電話、携帯情報端末（ＰＤＡ）、テレビジョンなどを含む多数の異なるコンピュータシステムにおいて実行可能であることが認識される。コンピュータシステムは、例えば、フロッピー（登録商標）ディスク、コンパクトディスクなどの、周辺のコンピュータ読み取り可能な媒体をコンピュータに結合させるように好適に適合される。

コンピュータシステムは、情報を通信するためのアドレス／データバスと、情報及び命令を処理するための、バスに結合されたプロセッサとを含む。コンピュータシステムは、マルチプロセッサ又はシングルプロセッサ環境にもよく適しており、例えばランダムアクセスメモリ（ＲＡＭ）など、プロセッサのための情報及び命令を格納するための、バスに結合された、コンピュータにより利用可能な揮発性メモリなどのデータ格納機能を更に含む。

コンピュータシステムは、例えばリードオンリーメモリ（ＲＯＭ）などの、コンピュータにより利用可能な不揮発性メモリや、英数字入力装置、マウス、又は他の一般に用いられる入力装置などの入力装置を更に含んでもよい。コンピュータシステムは、液晶装置、陰極線管、プラズマディスプレーなどのディスプレーや、プリンター又は他の一般的な出力装置などの他の出力要素を更に含んでもよい。

コンピュータシステムは、システムが他の電子機器及びコンピュータシステムとインタフェースで接続することを可能とするバスで接続された、１以上の信号生成及び受信装置を更に含んでもよい。本実施の形態の信号生成受信装置は、ワイヤードシリアルアダプタ、モデム、ネットワークアダプタ、ワイヤレスモデム、ワイヤレスネットワークアダプタ、及び他の同様な通信技術を含んでもよい。信号生成受信装置は、コンピュータシステムへの情報、及び／又は、コンピュータシステムからの情報を連結するための１以上の通信インタフェースと協同して動作してもよい。通信インタフェースは、シリアルポート、パラレルポート、ユニバーサルシリアルバス（ＵＳＢ）、イーサネット（登録商標）ポート、アンテナ、又は他の入力／出力インタフェースを含んでもよい。通信インタフェースは、携帯電話、ラジオ、携帯型装置、スマートフォン、又はコンピュータシステムなどの別の装置とコンピュータシステムを、物理的に、電気的に、光学的に、又は無線で（例えばラジオ周波数により）接続してもよい。

主題は、構造的特徴、及び／又は、方法論的行為に特有な用語で説明されたが、添付された特許請求の範囲において定義された主題は、上述した特有の特徴又は行為に必ずしも限定されないことが理解されるべきである。むしろ、上述した特有の特徴及び行為は、特許請求の範囲を実施する実施例の形態として開示される。

本明細書において説明した全ての要素、部分、及びステップは、含まれることが好ましい。これらの要素、部分、及びステップは、他の要素、部分、及びステップにより置換されてもよいし、又は、完全に削除されてもよいことが理解されるべきであり、このことは当業者には明らかであろう。

［コンセプト］
本文書は、少なくとも下記のコンセプトを提示する。
［コンセプト１］
混合メディア通信により通信するための方法であって、
装置に関連付けられた画像撮像装置により画像を取得するステップと、
前記装置に関連付けられたマイクロフォンにより前記画像に関連する音声メッセージを取得するステップと、
前記装置から第２の装置に通信を送信するステップと、
を備え、
前記通信は、前記画像及び前記音声メッセージを含み、前記第２の装置は、前記通信にアクセスすると、自動的に前記画像を表示し、前記音声メッセージを再生する
ことを特徴とするコンピュータにより実行される方法。
［コンセプト２］
前記通信は、ネットワークを介して送信され、
前記ネットワークは、セルラーネットワーク及びｗｉｆｉネットワークからなるネットワークの群から選択される
ことを特徴とするコンセプト１に記載のコンピュータにより実行される方法。
［コンセプト３］
前記装置は、前記音声メッセージをユーザに促すことを特徴とするコンセプト１に記載のコンピュータにより実行される方法。
［コンセプト４］
前記通信は、複数の画像と、前記複数の画像に関連する前記音声メッセージとを含むことを特徴とするコンセプト１、２、又は３に記載のコンピュータにより実行される方法。
［コンセプト５］
前記通信は、追加の部分を更に含み、
前記追加の部分は、テキストメッセージ、アニメーション、追加の画像、及び動画からなる追加の部分の群から選択される
ことを特徴とするコンセプト１、２、又は３に記載のコンピュータにより実行される方法。
［コンセプト６］
前記画像を取得するステップは、前記音声メッセージを取得するステップよりも前に生じることを特徴とするコンセプト１、２、又は３に記載のコンピュータにより実行される方法。
［コンセプト７］
前記画像を取得するステップは、前記音声メッセージを取得するステップよりも後に生じることを特徴とするコンセプト１、２、又は３に記載のコンピュータにより実行される方法。
［コンセプト８］
前記画像を取得するステップは、前記音声メッセージを取得するステップ中に生じることを特徴とするコンセプト１、２、又は３に記載のコンピュータにより実行される方法。
［コンセプト９］
前記画像は、前記通信を送信するステップの前に、フィルタにより変更されることを特徴とするコンセプト１、２、又は３に記載のコンピュータにより実行される方法。
［コンセプト１０］
前記画像は、前記画像中のオブジェクトを識別するピンポイントを追加するように変更されることを特徴とするコンセプト９に記載のコンピュータにより実行される方法。
［コンセプト１１］
前記画像は、前記画像の領域を拡大するように変更されることを特徴とするコンセプト９に記載のコンピュータにより実行される方法。
［コンセプト１２］
前記画像は、前記画像撮像装置により撮像されたビデオ会議のスナップショット画像であり、前記音声メッセージは、前記ビデオ会議の音声部分であることを特徴とするコンセプト１に記載のコンピュータにより実行される方法。
［コンセプト１３］
混合メディア通信を用いて通信するための装置であって、
画像を取得するための画像撮像装置と、
前記画像に関連する音声メッセージを取得するためのマイクロフォンと、
通信を生成して前記装置から第２の装置に送信する混合メディア通信生成部と、
を備え、
前記通信は、前記画像及び前記音声メッセージを含み、前記第２の装置は、前記通信にアクセスすると、自動的に前記画像を表示し、前記音声メッセージを再生する
ことを特徴とする装置。
［コンセプト１４］
画像を取得するための第２の画像撮像装置を更に備えることを特徴とするコンセプト１３に記載の装置。
［コンセプト１５］
混合メディア通信により通信するための方法であって、
装置に関連付けられた第１の画像撮像装置により画像を取得するステップと、
前記装置に関連付けられた第２の画像撮像装置により動画を取得するステップと、
前記装置から第２の装置に通信を送信するステップと、
を備え、
前記動画は音声部分を含み、前記音声部分は前記画像に関連し、
前記通信は、前記画像及び前記動画を含み、前記第２の装置は、前記通信にアクセスすると、自動的に前記画像を表示し、前記動画を再生する
ことを特徴とするコンピュータにより実行される方法。
［コンセプト１６］
通信は、前記画像をディスプレーの前景部分に、前記動画を前記ディスプレーの背景部分にして、前記動画と前記画像とを同時に表示することを特徴とするコンセプト１５に記載のコンピュータにより実行される方法。
［コンセプト１７］
通信は、前記画像をディスプレーの背景部分に、前記動画を前記ディスプレーの前景部分にして、前記動画と前記画像とを同時に表示することを特徴とするコンセプト１５に記載のコンピュータにより実行される方法。
［コンセプト１８］
前記動画は音声及び動画を含み、前記音声は前記画像において何が描写されているかに関連することを特徴とするコンセプト１５、１６、又は１７に記載のコンピュータにより実行される方法。
［コンセプト１９］
前記通信は、複数の画像及び動画を含むことを特徴とするコンセプト１５に記載のコンピュータにより実行される方法。
［コンセプト２０］
前記通信は、追加の部分を更に含み、
前記追加の部分は、テキストメッセージ、アニメーション、追加の画像、及び動画からなる追加の部分の群から選択される
ことを特徴とするコンセプト１５、１６、又は１７に記載のコンピュータにより実行される方法。
［コンセプト２１］
前記画像を取得するステップは、前記動画を取得するステップよりも前に生じることを特徴とするコンセプト１５、１６、又は１７に記載のコンピュータにより実行される方法。
［コンセプト２２］
前記画像を取得するステップは、前記動画を取得するステップよりも後に生じることを特徴とするコンセプト１５、１６、又は１７に記載のコンピュータにより実行される方法。
［コンセプト２３］
前記動画は、前記通信を送信するステップの前に、フィルタにより変更されることを特徴とするコンセプト１５、１６、又は１７に記載のコンピュータにより実行される方法。

Claims (23)

1. 混合メディア通信により通信するための方法であって、
   装置に関連付けられた画像撮像装置により画像を取得するステップと、
   前記装置に関連付けられたマイクロフォンにより前記画像に関連する音声メッセージを取得するステップと、
   前記装置から第２の装置に通信を送信するステップと、
   を備え、
   前記通信は、前記画像及び前記音声メッセージを含み、前記第２の装置は、前記通信にアクセスすると、自動的に前記画像を表示し、前記音声メッセージを再生する
   ことを特徴とするコンピュータにより実行される方法。
2. 前記通信は、ネットワークを介して送信され、
   前記ネットワークは、セルラーネットワーク及びｗｉｆｉネットワークからなるネットワークの群から選択される
   ことを特徴とする請求項１に記載のコンピュータにより実行される方法。
3. 前記装置は、前記音声メッセージをユーザに促すことを特徴とする請求項１に記載のコンピュータにより実行される方法。
4. 前記通信は、複数の画像と、前記複数の画像に関連する前記音声メッセージとを含むことを特徴とする請求項１に記載のコンピュータにより実行される方法。
5. 前記通信は、追加の部分を更に含み、
   前記追加の部分は、テキストメッセージ、アニメーション、追加の画像、及び動画からなる追加の部分の群から選択される
   ことを特徴とする請求項１に記載のコンピュータにより実行される方法。
6. 前記画像を取得するステップは、前記音声メッセージを取得するステップよりも前に生じることを特徴とする請求項１に記載のコンピュータにより実行される方法。
7. 前記画像を取得するステップは、前記音声メッセージを取得するステップよりも後に生じることを特徴とする請求項１に記載のコンピュータにより実行される方法。
8. 前記画像を取得するステップは、前記音声メッセージを取得するステップ中に生じることを特徴とする請求項１に記載のコンピュータにより実行される方法。
9. 前記画像は、前記通信を送信するステップの前に、フィルタにより変更されることを特徴とする請求項１に記載のコンピュータにより実行される方法。
10. 前記画像は、前記画像中のオブジェクトを識別するピンポイントを追加するように変更されることを特徴とする請求項９に記載のコンピュータにより実行される方法。
11. 前記画像は、前記画像の領域を拡大するように変更されることを特徴とする請求項９に記載のコンピュータにより実行される方法。
12. 前記画像は、前記画像撮像装置により撮像されたビデオ会議のスナップショット画像であり、前記音声メッセージは、前記ビデオ会議の音声部分であることを特徴とする請求項１に記載のコンピュータにより実行される方法。
13. 混合メディア通信を用いて通信するための装置であって、
    画像を取得するための画像撮像装置と、
    前記画像に関連する音声メッセージを取得するためのマイクロフォンと、
    通信を生成して前記装置から第２の装置に送信する混合メディア通信生成部と、
    を備え、
    前記通信は、前記画像及び前記音声メッセージを含み、前記第２の装置は、前記通信にアクセスすると、自動的に前記画像を表示し、前記音声メッセージを再生する
    ことを特徴とする装置。
14. 画像を取得するための第２の画像撮像装置を更に備えることを特徴とする請求項１３に記載の装置。
15. 混合メディア通信により通信するための方法であって、
    装置に関連付けられた第１の画像撮像装置により画像を取得するステップと、
    前記装置に関連付けられた第２の画像撮像装置により動画を取得するステップと、
    前記装置から第２の装置に通信を送信するステップと、
    を備え、
    前記動画は音声部分を含み、前記音声部分は前記画像に関連し、
    前記通信は、前記画像及び前記動画を含み、前記第２の装置は、前記通信にアクセスすると、自動的に前記画像を表示し、前記動画を再生する
    ことを特徴とするコンピュータにより実行される方法。
16. 通信は、前記画像をディスプレーの前景部分に、前記動画を前記ディスプレーの背景部分にして、前記動画と前記画像とを同時に表示することを特徴とする請求項１５に記載のコンピュータにより実行される方法。
17. 通信は、前記画像をディスプレーの背景部分に、前記動画を前記ディスプレーの前景部分にして、前記動画と前記画像とを同時に表示することを特徴とする請求項１５に記載のコンピュータにより実行される方法。
18. 前記動画は音声及び動画を含み、前記音声は前記画像において何が描写されているかに関連することを特徴とする請求項１５に記載のコンピュータにより実行される方法。
19. 前記通信は、複数の画像及び動画を含むことを特徴とする請求項１５に記載のコンピュータにより実行される方法。
20. 前記通信は、追加の部分を更に含み、
    前記追加の部分は、テキストメッセージ、アニメーション、追加の画像、及び動画からなる追加の部分の群から選択される
    ことを特徴とする請求項１５に記載のコンピュータにより実行される方法。
21. 前記画像を取得するステップは、前記動画を取得するステップよりも前に生じることを特徴とする請求項１５に記載のコンピュータにより実行される方法。
22. 前記画像を取得するステップは、前記動画を取得するステップよりも後に生じることを特徴とする請求項１５に記載のコンピュータにより実行される方法。
23. 前記動画は、前記通信を送信するステップの前に、フィルタにより変更されることを特徴とする請求項１５に記載のコンピュータにより実行される方法。

Images