JP2016521929A - 通信における情報交換のための方法、ユーザ端末、及びサーバ - Google Patents

Abstract

通信当事者間の対話型情報を交換するための方法及び装置。送信側ユーザは、送信側ユーザの端末上に表示された受信側ユーザのアバター上で動作を行う。送信側ユーザの端末は、その動作を監視し、検出された対話型タッチ挙動に従って再生可能メッセージを決定し、かつ送信側ユーザの端末上で再生可能メッセージを再生する。送信側ユーザの端末は、受信側ユーザの端末が送信側ユーザのタッチ挙動に反応して、第２の再生可能メッセージを決定することを可能にするように、関連情報を送信する。両方の再生可能メッセージは、アバターに関連し、２つの通信当事者間の実世界の物理的やりとりを模倣するために、送信側ユーザの対話型タッチ挙動との対応を有する。

Description

関連出願の相互参照
本出願は、２０１４年５月２２日出願の中国特許出願第２０１３１０１９２８５５．４号、名称「ＭＥＴＨＯＤ，ＣＬＩＥＮＴ ＴＥＲＭＩＮＡＬ ＡＮＤ ＳＥＲＶＥＲ ＦＯＲ ＩＮＦＯＲＭＡＴＩＯＮ ＥＸＣＨＡＮＧＥ ＩＮ ＣＯＭＭＵＮＩＣＡＴＩＯＮＳ」に対する外国優先権を主張し、当該中国特許出願は、参照によりその全体が本明細書に組み込まれる。

本出願は、対話型情報交換技術に関し、より具体的には、対話型情報交換のために使用される方法、ユーザ端末、及びサービスに関する。

通信技術における進歩は、モバイルデバイスを使用した、人々の間での時間や場所を選ばない通信を可能にしている。モバイルデバイスに基づく既存の通信方法は、テキストメッセージング、マルチメディアメッセージング、及び電話通話を含む。これらの方法は従来、使用者に対して極めて高価なサービス料金を課してきた。第三世代（３Ｇ）及びより高度なモバイル通信技術ならびにＷｉＦｉ音声通話技術と相まって、減少するネットワークデータコスト、スマート移動電話の急速な拡大に伴い、多くの新しい移動通信方法が導入されている。一例は、即時通信アプリケーション、及び内蔵の即時通信機能を有するゲーム製品等、モバイルクライアントアプリケーションを使用する個人的通信である。

従来のテキストメッセージングや電話通話とは異なり、モバイルクライアントアプリケーションに基づく通信方法は、テキスト、音声メッセージ、写真の送信及びファイル交換等を含む、ソーシャルネットワーク内での双方向の対話的通信を可能にする仮想ソーシャルネットワークを形成することが可能である。伝送された情報は、受信者がインターネットに接続している限り、リアルタイムで受信することが可能である。仮想ソーシャルネットワーキングは、個人的通信を、より低いコストでより便利にしている。

早期のモバイルアプリベースの即時通信においては、情報は、しばしば顔文字等の単純な表現画像を伴ったが、主にテキストによって伝送された。新しい技術は、会話をより対話型、より仮想かつ可聴にする、視覚的通話、音声通話の能力を有する。これらのより新しい方法は、従来のテキスト及び画像よりもユーザの感情をもっと正確に表現することができる。

しかしながら、新しい方法であっても、ユーザが有し得るリアルな感情及び感性を表現することにおいて十分ではないままであり、実世界の対人コミュニケーションを再現するには至らない。この点で依然として多大な改善の余地が存在する。

本概要は、簡素化された形式において、詳細説明において以下にさらに説明される、一部の概念を導入するために提供される。本概要は、請求対象事項の重要な特徴または不可欠な特徴全てを特定することを意図するものではなく、また請求対象事項の範囲を決定する上での支援として単独で使用されることを意図するものでもない。

本開示は、通信当事者間の対話型情報を交換するための方法及び装置を提供する。送信側ユーザは、送信側ユーザの端末上に表示された受信側ユーザのアバター上で動作を行う。送信側ユーザの端末は、その動作を監視し、検出された対話型タッチ挙動に従って第１の再生可能メッセージを決定し、再生可能メッセージを送信側ユーザの端末上で再生する。送信側ユーザの端末は、受信側ユーザの端末が送信側ユーザのタッチ挙動に反応して、第２の再生可能メッセージを決定することを可能にするように、関連情報を送信する。両方の再生可能メッセージは、アバターに関連し、２つの通信当事者間の実世界の物理的やりとりを模倣するために、送信側ユーザの対話型タッチ挙動との対応を有する。

一実施形態において、方法は、最初に、対話型タッチ挙動と動作コードとの間の一致関係に基づいて、対話型タッチ挙動に対応する動作コードを決定してから、次いで、動作コードと再生可能メッセージとの間の一致関係に基づいて、動作コードに対応する第１の再生可能メッセージを決定することによって、対話型タッチ挙動に従って、第１の再生可能メッセージを決定する。

方法は、送信側ユーザ及び受信側ユーザの予め記憶された関係特性データに基づいて、送信側ユーザ及び受信側ユーザの関係特性をさらに決定することができ、送信側ユーザ及び受信側ユーザの関係特性に従って、第１の再生可能メッセージをさらに決定することができる。送信側ユーザ及び受信側ユーザの関係特性を決定するために、送信側ユーザ及び受信側ユーザの識別情報は、サーバが、予め記憶された関係特性データに基づいて関係特性を決定することを可能にするように、サーバへ伝送することができる。

さらに、送信側ユーザ及び受信側ユーザの予め記憶された関係特性データに基づいて、送信側ユーザ及び受信側ユーザの関係特性を決定することによって、第２の再生可能メッセージもまた、送信側ユーザ及び受信側ユーザの関係特性に従って決定することができる。

対話型タッチ挙動に従って第１の再生可能メッセージを決定するために、方法は、検出された対話型タッチ挙動から挙動特徴を抽出してから、次いで、挙動特徴と再生可能メッセージとの間の一致関係に基づいて、第１の再生可能メッセージを決定することができる。抽出された挙動特徴は、サーバが、挙動特徴と再生可能メッセージとの間の一致関係に基づいて第１の再生可能メッセージを決定することを可能にするように、対話型タッチ挙動の関連情報として扱われ、サーバへ送信することができる。

一実施形態において、対話型タッチ挙動に対応する第１の再生可能メッセージを決定するために、方法は、検出された対話型タッチ挙動から挙動特徴を抽出し、挙動特徴と動作コードとの間の一致関係に基づいて動作コードを決定し、次いで、動作コードと再生可能メッセージとの間の一致関係に基づいて第１の再生可能メッセージを決定する。動作コードは、サーバが動作コードと再生可能メッセージとの間の一致関係に基づいて第１の再生可能メッセージを決定することを可能にするように、対話型タッチ挙動の関連情報として扱われ、サーバへ送信することができる。

一実施形態において、対話型タッチ挙動の関連情報をサーバまたは受信側ユーザの端末へ送信することは、検出された対話型タッチ挙動から挙動特徴を抽出することと、サーバまたは受信側ユーザの端末が、挙動特徴と再生可能メッセージとの間の一致関係に基づいて第２の再生可能メッセージを決定することを可能にするように、抽出された挙動特徴をサーバまたは受信側ユーザの端末へ送信することとを含む。

代替として、対話型タッチ挙動の関連情報をサーバまたは受信側ユーザの端末へ送信することは、検出された対話型タッチ挙動から挙動特徴を抽出することと、挙動特徴と動作コードとの間の一致関係に基づいて、動作コードを決定することと、サーバまたは受信側ユーザの端末が動作コードと再生可能メッセージとの間の一致関係に基づいて第２の再生可能メッセージを決定することを可能にするように、動作コードをサーバまたは受信側ユーザの端末へ送信することとを含むことができる。

受信側ユーザのアバター上で行われる送信側ユーザの検出された対話型タッチ挙動は、送信側ユーザの端末のタッチ画面の指定領域上で送信側ユーザのタッチ挙動、または端末内蔵の加速度センサを使用して監視されたユーザ端末を振る送信側ユーザの挙動を含むことができる。

方法はさらに、受信側ユーザの端末上で第２の再生可能メッセージとともに、送信側ユーザの記録された音声メッセージを再生することができる。記録された音声メッセージは、送信側ユーザの端末で録音することができる。

通信における情報交換のための方法の別の態様に従い、サーバまたは受信側ユーザの端末は、受信側ユーザのアバター上で行われた送信側ユーザの対話型タッチ挙動の関連情報を受信し、サーバまたは受信側ユーザの端末は、対話型タッチ挙動の関連情報に従って、再生可能メッセージを決定する。再生可能メッセージは、アバターに関連し、送信側ユーザの対話型タッチ挙動との対応を有する。再生可能メッセージは次いで、受信側ユーザの端末上で再生される。

実施形態において、対話型タッチ挙動に従って再生可能メッセージを決定することは、対話型タッチ挙動と動作コードとの間の一致関係に基づいて、対話型タッチ挙動に対応する動作コードを決定することと、動作コードと再生可能メッセージとの間の一致関係に基づいて、動作コードに対応する再生可能メッセージを決定することとを含む。

方法は、送信側ユーザ及び受信側ユーザの予め記憶された関係特性データに基づいて、送信側ユーザ及び受信側ユーザの関係特性をさらに決定することができ、次いで、送信側ユーザ及び受信側ユーザの関係特性に従って、再生可能メッセージを決定することができる。

本開示の別の態様は、通信における情報交換のためのコンピュータベースの装置である。装置は、プロセッサと、コンピュータ可読メモリ及び記憶媒体と、Ｉ／Ｏデバイスとを有するコンピュータを含む。コンピュータは、送信側ユーザの端末上に受信側ユーザのアバターを提示することと、受信側ユーザのアバター上で行われる送信側ユーザの対話型タッチ挙動を監視することと、対話型タッチ挙動に従って、第１の再生可能メッセージを決定することと、送信側ユーザの端末上で第１の再生可能メッセージを再生することと、サーバまたは受信側ユーザの端末が対話型タッチ挙動の関連情報に従って第２の再生可能メッセージを決定することを可能にするように、対話型タッチ挙動の関連情報をサーバまたは受信側ユーザの端末へ送信することとを含む機能を実施するようにプログラムされる。第１の再生可能メッセージ及び第２の再生可能メッセージの両方は、アバターに関連し、対話型タッチ挙動との対応を有し、受信側ユーザの端末上で再生することが可能である。

対話型タッチ挙動に従って第１の再生可能メッセージを決定するために、コンピュータは、対話型タッチ挙動と動作コードとの間の一致関係に基づいて、対話型タッチ挙動に対応する動作コードをさらに決定することと、動作コードと再生可能メッセージとの間の一致関係に基づいて、動作コードに対応する第１の再生可能メッセージを決定することとを行うようにプログラムされてもよい。

本開示の他の特徴及び利点は、以下の説明に記載され、部分的に、説明から明らかになるか、または本明細書の実践により理解されるであろう。本出願の目的及び他の利点は、特に指摘され、実現され、かつ到達された構造の記述、請求項、及び図面から得ることができる。

対話型通信において情報を交換するための方法の第１の実施例の模式的フローである。 アバターに組み込まれた再生可能メッセージの例である。 アバター上でどのように動作するかについてユーザに指示するために、アバターとともに表示される指標の例である。 対話型通信において情報を交換するための方法の第２の実施例の模式的フローである。 対話型通信において情報を交換するための方法の第３の実施例の模式的フローである。 対話型通信において情報を交換するための方法の第４の実施例の模式的フローである。 対話型通信において情報を交換するための方法の第５の実施例の模式的フローである。 対話型通信において情報を交換するための方法を実装する送信側ユーザの端末の機能ブロックの模式図である。 対話型通信において情報を交換するための方法を実装するサーバの機能ブロックの模式図である。 対話型通信において情報を交換するための方法を実装する受信側ユーザの端末の機能ブロックの模式図である。

本開示の上記の目的、特徴、及び利点の理解を促進するために、本開示は、添付の図面及び例示的実施形態と併せて、さらに詳細を説明する。説明の中で、例えば、「技法（単数または複数）」という用語は、上記の文脈によって、かつ本開示全体にわたって許可される方法、装置、デバイス、システム、及び／またはコンピュータ可読命令を指し得る。

この説明において、工程が説明される順序は、限定として解釈されることを意図せず、任意の数の説明される工程ブロックは、方法、または代替方法を実装するために、任意の順序で組み合わされてもよい。実施形態は、説明の便宜のためだけに、順次のステップで説明される。矛盾を生じない限り、本開示に説明される実施例及び実施形態、ならびにその特徴及び機能は自由に組み合わされてもよい。さらに、本開示の技法を実践するために、実施形態に説明されるあらゆるステップが要求されるわけではない。

即時通信をより現実的にし、実世界の対面式の人間のやりとりにより近づけるために、本開示は、既存の即時通信の視覚及び音声側面に加えて、「タッチ可能な側面」を導入する。実世界の次のやりとりでは、言語に加えて、人々は、身体言語及び物理的やりとりを使用して伝えることができる。そのうちのいくつかは、直感的な人間の挙動である。即時通信におけるタッチ可能な側面は、そのような人間体験を再現することを助けることができる。

実施例１
図１は、対話型通信において情報を交換するための方法の第１の実施例の模式フローである。

ブロック１０１で、送信側ユーザの端末は、送信側ユーザに、受信側ユーザのアバターを提供する。

通信が、送信側ユーザと受信側ユーザとの間で発生していて、各ユーザが、スマートフォン等の移動端末を使用していると仮定する。送信側ユーザは、会話または情報の交換を開始する。送信側ユーザは、送信側ユーザの端末上で住所録を開き、会話の受信側ユーザとして、ユーザを選択する。これを実行するために、送信側ユーザは、受信側ユーザの画像またはアイコンをクリックし、会話のウィンドウに入力することができる。この過程の中で、受信側ユーザ及び関連付けられたアバターが決定される。

例えば、会話の一部として、送信側ユーザは、ユーザインターフェースのエントリを通じて、送信側ユーザの端末に、対話型タッチ動作（例えば、受信側ユーザの頭のタッチ、キス等）を表すメッセージを送信するように命令する。対話型タッチ動作は、本開示において、以下にさらに詳細を説明する。端末は、命令を受信すると、受信側ユーザの識別を決定し、送信側ユーザの端末上に、受信側ユーザのアバターを送信側ユーザに提示する。このように、送信側ユーザが対話型タッチ動作の受信側ユーザを選択すると、送信側ユーザは、送信側ユーザの端末上に表示されたユーザインターフェースに、受信側ユーザのアバターを見る。

受信側ユーザのアバターは、ユーザアバターを記憶するサーバとの同期を通じて、送信側ユーザの端末に予め記憶されてもよく、または、送信側ユーザの端末にダウンロードされてもよい。このように、送信側ユーザの端末は、受信側ユーザのアバターをローカルで検出することができ、それを送信側ユーザに表示する。代替として、送信側ユーザの端末が、受信側ユーザのアバターを全く有さない場合、ダウンロードリクエストまたは同期リクエストは、受信側ユーザのアバターを取得するために、サーバへ最初に送信されてもよい。アバターがローカル及びサーバ上の両方で利用不可能である場合、デフォルトのアバターが送信側ユーザに提示されてもよい。加えて、送信側ユーザの端末は、受信側ユーザから直接、受信側ユーザのアバターを受信することができる。送信側ユーザの端末はまた、受信側ユーザから受信された任意の他の関連情報（例えば、写真、音声、ビデオ、住所）に基づいて、受信側ユーザのアバターを作成することもできる。

すなわち、任意のユーザＡに関して、そのアバターは、サーバで作成されても、ユーザＡの端末で作成されるがサーバに記憶されても、ユーザＡの端末から直接ユーザＢの端末へ送信されても、または送信側ユーザ（または任意の他のユーザ）の端末で作成されてもよい。ユーザＢが、ユーザＡ上で対話型タッチ動作を実施することが必要である場合、ユーザＢは、ダウンロードまたは同期によってサーバから、ユーザＡのアバターを取得するか、またはユーザＡから直接アバターを受信するかのいずれかであってもよい。

情報交換工程をより現実的にするために、ユーザのアバターは、ユーザの顔写真に基づいて作成されてもよい。アバターがサーバによって作成される場合、サーバは、ユーザに、ユーザの写真をアップロードすることを要求してもよい。ユーザの顔面特徴に類似する複合仮想３次元画像を生成するために、写真とともに予め構成されたコンピュータモデルが使用されてもよい。これを実行する１つの方式は、髪型、皮膚の色、顔の形状、顔の大きさ、めがね等の特徴を取得するために顔または顔の任意の部分（例えば、目、あご）、パースライン、及び色特徴を識別する画像処理技術の顔面認識を使用し、最適なアバターを取得するために、これらの特徴的顔立ちをユーザ特徴ライブラリと一致させることである。

基本的なアバターに基づいて、一連の表現画像を作成することができる。例えば、泣く、涙を流す、拡大した注意深い耳等、多様な感情及び反応を表現するために動画を作成することができる。以下の検討において、動画を例として使用する。これらの動画はそれぞれ、所定の種類の対話型タッチ動作に対応し、特定の対話型タッチ動作が実施されると、それぞれの動画（再生可能メッセージの形式である）が送信側ユーザの端末上及び受信側ユーザの端末上で再生される。それぞれの動画は、対話型タッチ動作に対する視覚的に認識可能な反応を表現する。

ユーザのアバターが、動画等の一連の画像を有する場合、別のユーザは、サーバまたは他のユーザからアバターを受信する際に、一連の画像全体を取得してもよい。一連の画像は、何らかの対話型タッチ動作がアバター上で実施される前のステータスを表現する最初のアバター、及び多様な対話型タッチ動作に対応する複数の動画を含むことができる。

送信側ユーザの端末上で再生される動画は、受信側ユーザの端末上で再生される動画と異なっていてもよく、各々、それぞれのユーザの観点からの適切な反応を表現する。送信側ユーザの端末上で再生される動画は、送信側ユーザの動作の表現であり、一方、受信側ユーザの端末上で再生される動画は、受信側ユーザの反応の表現である。例えば、ユーザＡが、ユーザＢに「平手打ち」を送信する場合、ユーザＡに再生される動画は、平手打ち動作を示すためにユーザＢのアバターの頭に向かって振り上げた手であってもよく、一方、ユーザＢに再生される動画は、平手打ちを受けて涙を流すアバターであってもよい。この目的において、ユーザＡが、サーバまたはユーザＢから直接のいずれかで、ユーザＢのアバターを取得すると、受信されたアバターは、最初のアバターだけではなく、多様な動作及び反応を表現する一連の動画も含まなければならない。同様に、ユーザＡがその独自のアバターをサーバへアップロードまたは同期すると、同期は、ユーザＡの最初のアバターだけではなく、多様な動作及び反応を表現する一連の動画も含む。

動画に加えて、音声も追加されてもよい。例えば、「平手打ち」を受けた場合、再生される動画は、泣き声を伴う、図２に示された例示的アバター２００の場合、受信側ユーザの泣いているアバターを有することができる。音声は、動画が利用不可能または何らかの理由で再生される必要がない場合、単独で再生されてもよい。この場合、音声単独が再生可能メッセージである。

本開示の意味において、再生可能メッセージは、音声、画像、及び／または動画の任意の組み合わせを指す。

ブロック１０２で、受信側ユーザのアバター上で行われる送信側ユーザの対話型タッチ挙動が監視される。

対話型タッチ挙動は、実世界の身体間の接触を表現する予め定義された動作等、特定の動作において示される。そのような動作の例として、「平手打ち」、「キス」、「タッチ」等が挙げられる。

送信側ユーザの観点から、対話型タッチ動作は、送信側ユーザに表示された受信側ユーザのアバター上で実施されてもよい。そのような動作のエントリを実装する１つの方式は、送信側ユーザが、それぞれの操作エントリポイント上で直接動作を実施することを可能にするように、各種の動作に対して操作エントリポイントを表示することである。操作エントリポイントの例は、送信側ユーザの端末のユーザインターフェース上のクリックまたはタッチ可能なボタンである。例えば、ボタンは、それぞれ、「平手打ち」、「キス」、「タッチ」を表現して表示されてもよい。送信側ユーザがボタンをクリックまたはタッチすると、対応するタッチ動作が登録される。

ユーザ端末は概して、タッチ画面、加速度センサ、及び他のセンサを有する。従って、送信側ユーザは、タッチ画面をタッチするだけで、またはタッチ画面上のアバターの相対的位置を変更するために、ユーザ端末を振る等によって、タッチ動作を実施することができる。

タッチ動作をトリガーする操作は、所定の対話型タッチ動作に対応するように予め定義されてもよいので、送信側ユーザが所定の操作を行うと、対応するタッチ動作が登録される。以下は、操作と多様なタッチ動作との間の対応の例示的リストである。

すなわち、ユーザ端末上の多様な操作は、多様な対話型タッチ動作を表現するように定義することができる。操作のヒントまたは命令は、アバターとともに表示され得る。図３は、多様なアイコン３０２が、「平手打ち」、「触れる」、「さみしい」、及び「誘惑」等の多様なタッチ動作に対応する多様な操作を示すために、アバター３００と同時に表示される例である。

どの再生可能メッセージ、及び／または添付の音声が、再生されるかを適切に決定するためには、送信側ユーザによって意図されたタッチ動作を正しく識別することが重要である。送信側ユーザが操作を実施する際に多様なタッチ動作をより良く識別するために、多様なタッチ動作は、各特定のタッチ動作を表現する固有のコードを使用して予め体系化することができ、特定の組のユーザ操作特徴に対する各コード間の対応を定義する一致関係を作成かつ記憶することができる。

例えば、実施される手ぶり及びタッチ操作は、操作の種類を識別する特徴（例えば、クリックまたはスワイプ）、操作の位置を識別する別の特徴（例えば、頭の領域または鼻、口、耳等のより小さい領域）、及び操作のトレースを識別するまた別の特徴（例えば、ハート型に基づく操作）という、いくつかの異なる特徴によって特徴付けることができる。多様なタッチ動作と多様なユーザ操作との間の対応の定義を用いて、各操作は、操作を固有に表現することが可能である、１組の固有の操作特徴に削減することができる。これによって、操作特徴とタッチ動作のコードとの間の対応の一致リストがもたらされる。例えば、「平手打ち」というタッチ動作は、動作コード００１に対応し、その定義されたユーザ操作は、操作タイプ＝クリック、操作場所＝頭、という特徴を有するはずである。したがって、「００１−クリック操作、頭の位置で」という対応関係が作成される。通信工程の間に、検出されたタッチ挙動が、「クリック操作、頭の位置で」という特徴に削減された場合、検出されたタッチ挙動は、「平手打ち」に対応する、動作コード「００１」に対応すると決定される。対話型タッチ動作は従って、ユーザ操作を検出することによって識別される。

したがって、対話型タッチ動作を認識する手順は、最初に、検出されたユーザ操作から操作特徴を抽出してから、次いで、多様な操作特徴と動作コードとの間の一致関係に基づいて検出されたユーザ操作に対応する動作コードを決定し、次いで、動作コードと多様な対話型タッチ動作との間の一致関係に基づいて意図された対話型タッチ動作を決定することである。

現実の応用において、時々、ユーザ操作は適切に実施されない場合があり、その結果、適切な操作特徴が抽出され得ず、正しい動作コードが識別され得ない。このような状況において、デフォルトの動作コードは、検出された対話型タッチ挙動に対する一致動作コードとして使用することができる。

ブロック１０２に説明される上記の手順は、送信側ユーザの端末上で実施され得る。すなわち、操作特徴と動作コードとの間の一致関係は、送信側ユーザの端末上にローカルに記憶することができる。送信側ユーザのタッチ挙動が検出されると、操作特徴は、ローカルで抽出され、記憶された一致関係に基づいて一致する動作コードを識別するために使用され得る。

ブロック１０３で、検出された対話型タッチ挙動に従って、第１の再生可能メッセージが決定される。第１の再生可能メッセージは、アバターに関連し、対話型タッチ挙動との対応を有する。

対話型タッチ挙動を検出すると、検出された対話型タッチ挙動に対応する再生可能メッセージを決定することが可能である。再生可能メッセージは、次のブロック１０４に示されるように、送信側ユーザの対話型タッチ挙動の適切な表現として、送信側ユーザに対して再生される。これを実行する１つの方式は、多様な対話型タッチ挙動と多様な再生可能メッセージとの間の一致関係を記憶し、検出された対話型タッチ挙動に対応する第１の再生可能メッセージを直接決定するために、一致関係を使用することである。

検出された対話型タッチ挙動から直接再生可能メッセージを決定することは可能であるが、別の方式は、ブロック１０２に関して本明細書に説明されるように符号化スキームを使用することである。例えば、各対話型タッチ動作に動作コードを割り当てることができ、各動作コードは、少なくとも１つの再生可能メッセージに対応するように割り当てることができる。動作コードと再生可能メッセージとの間の一致関係は、送信側ユーザの端末上でローカルに記憶することができる。加えて、動作コードと操作特徴との間の一致関係もまた、ローカルに記憶することができる。対話型タッチ操作が検出されると、操作特徴は、検出された対話型タッチ操作から抽出され、対応する動作コードは、操作特徴と動作コードとの間の一致関係に基づいて取得される。その後、第１の再生可能メッセージは、再生可能メッセージと動作コードとの間の一致関係に基づいて決定され、必要に応じて再生される。

すなわち、送信側ユーザにとって、送信側ユーザによって実施される対話型タッチ操作に応答して、動画及び／または音声がローカルで再生される。動画及び／または音声は、受信側ユーザのアバターに関連し、再生されたメッセージは、送信側ユーザによって実施される対話型タッチ操作に対する受信側ユーザの表現反応を反映するように、アバターの表現変化を示す。

例えば、ユーザＡがユーザＢ上で「会話」動作を実施すると、あたかもユーザＡが実際にユーザＢの耳をつかみ、ユーザＢがユーザＡを聞くようにさせるように、ユーザＢの「拡大された注意深い耳」を示す動画が、ユーザＡの端末上で再生される。

上記の例において、送信側ユーザの端末は、どの動画及び／または音声が再生されることが必要であるかを決定するために、検出された対話型タッチ挙動を解析する。この解析機能もまた、サーバによって実施され得る。実際には、上記の一致関係は、サーバに記憶され得るので、サーバは、操作特徴を受信し、それらを動作コードに変換し、動作コードを送信側ユーザの端末へ返すことができる。この構成において、どのメッセージ（第１の再生可能メッセージ）が再生されるかを決定するためには、送信側ユーザの端末だけが、動作コードと再生可能メッセージとの間の一致関係を記憶することが必要である。

代替として、サーバはさらに、動作コードと再生可能メッセージとの間の一致関係を記憶することができるので、サーバは、第１に、受信された操作特徴を動作コードに変換することができ、さらに、対応する第１の再生可能メッセージを決定することができ、次いで、再生される第１の再生可能メッセージを送信側ユーザの端末へ送信する。第１の再生可能メッセージ自体を送信する代わりに、サーバは、代替として、決定された第１の再生可能メッセージに対応する再生可能メッセージコードを送信側ユーザの端末へ送信し、送信側ユーザの端末に、ローカルに記憶されている、またはその他利用可能にされる第１の再生可能メッセージを再生させることができる。

代替として、サーバは、動作コードと再生可能メッセージとの間の一致関係だけを記憶してもよい。送信側ユーザの対話型タッチ挙動を検出すると、送信側ユーザの端末は、操作特徴を抽出し、動作コードと操作特徴との間のローカルに記憶された一致関係から、対応する動作コードを決定し、決定された動作コードをサーバへ送信する。サーバは次いで、動作コードと再生可能メッセージコードとの間の一致関係に基づいて第１の再生可能メッセージコードを決定し、コードを送信側ユーザの端末に返し、送信側ユーザの端末は、次のブロック１０４に示されるように、対応する再生可能メッセージをローカルで再生する。

ブロック１０４で、第１の再生可能メッセージは、送信側ユーザの端末上で再生される。動画及び／または音声は、任意の適切な技術を使用して再生され得る。

ブロック１０５で、送信側ユーザの端末は、サーバまたは受信側ユーザの端末が受信された関連情報に従って第２の再生可能メッセージを決定することを可能にするように、対話型タッチ挙動の所定の関連情報を、サーバまたは受信側ユーザの端末へ送信する。第１の再生可能メッセージのように、第２の再生可能メッセージもまた、アバターに関連し、対話型タッチ挙動との対応を有し、受信側ユーザの端末上で再生することが可能である。

実施形態において、関連情報は、受信側ユーザの端末へ送信され、受信された関連情報に従って第２の再生可能メッセージを決定する。関連情報はまた、ポイントツーポイント接続を使用して直接受信側ユーザの端末へ送信されても、または関連情報を次いで受信側ユーザの端末へ渡す中間サーバへ送信されてもよい。代替として、関連情報はサーバへ送信され、サーバが、受信された関連情報に従って第２の再生可能メッセージを決定する。

以下に検討するように、上記の「関連情報」は、多様な形式であり得る。

第１の例示的形式において、関連情報は、上記のような動作コードを含む。すなわち、送信側ユーザの端末は、関連情報として、検出された対話型タッチ挙動に対応することが決定される、動作コードを扱い、それを受信側ユーザの端末へ送信することができる。受信側ユーザの端末は、例えば、サーバとの同期によって、動作コードと再生可能メッセージコードとの間の一致関係をそれまでに取得し、記憶している。動作コードを受信すると、受信側ユーザの端末は、一致関係に基づいて、第２の再生可能メッセージのコードを決定し、決定されたコードに対応する第２の再生可能メッセージを再生する。

第２の例示的形式において、関連情報は、第２の再生可能メッセージのコードを含む。すなわち、送信側ユーザの端末が動作コードを解析すると、第１の再生可能メッセージのコードだけでなく、第２の再生可能メッセージのコードも取得し、第２の再生可能メッセージのコードを受信側ユーザの端末へ送信する。代替として、サーバは、過去の関連情報の中間として使用され得る。加えて、サーバが使用される場合、サーバは、解析の一部を実施することができる。例えば、送信側ユーザの端末は、動作コードをサーバへ送信し、サーバは、動作コードと再生可能メッセージコードとの間の一致関係に基づいて、第２の再生可能メッセージのコードを決定し、決定されたコードを「関連情報」として、受信側ユーザの端末へ送信することができる。受信側ユーザの端末は、受信されたコードに対応する第２の再生可能メッセージを再生する。

第１の再生可能メッセージの場合と同様に、受信側ユーザの端末は、アバターの動画に加えて、音声記録を再生することができることに注意されたい。音声は、送信側ユーザがタッチ及び振る操作を実施する時に、送信側ユーザの端末で記録され得る。

また、同じユーザのアバターは、通信において異なる当事者に表示される場合、同じでなくてもよいことにも注意されたい。例えば、ある通信において、ユーザＡが送信側ユーザである一方、ユーザＢが受信側ユーザである場合、ユーザＡの端末上に表示されたユーザＢのアバターは、ユーザＢ自身の端末上に表示されたユーザＢのアバターとは異なり得る。しかし、言うまでもなく、ユーザＢの同じアバターが使用され得る。この点で、制限は存在しない。

上記のように、開示された実施形態の実践において、受信側ユーザのアバターは、送信側ユーザが、アバター上で対話型タッチ操作を実施することを可能にするように、送信側ユーザの端末上に表示される。操作に応答して、表現ピクチャ（例えば、動画）が送信側ユーザに表示され、別の表現ピクチャ（例えば、動画）が受信側ユーザに表示され、送信側ユーザが受信側ユーザの身体上で自然なタッチ動作を実施する場合に受信側ユーザが実世界で有するであろう種類の反応を再現または模倣する。これは、コングリゲーションにタッチ可能な側面を提供し、実世界の対話の再現のレベルを増加することによって、ユーザ体験を改善する。

さらなる詳細及び実施例は、通信の実際例を使用して以下に提供する。

実施例２
図４は、対話型通信において情報を交換するための方法の第２の実施例の模式フローである。

ブロック４０１で、送信側ユーザの対話型タッチ挙動が監視され、検出される。受信側ユーザのアバターの顔は、識別領域として処理される。例えば、耳、口、眼、髪の毛がタッチされ得る。

ブロック４０２は、送信側ユーザのハンドタッチ操作が検出されるかを決定する。検出された場合、手順は、ブロック４０３に進み、検出されない場合、手順はブロック４０１に戻って、監視を続ける。

ブロック４０３は、検出されたハンドタッチ操作を最も近い動作コードに一致させる。同時に、記録機能を開始することができる。

ブロック４０４は、動作コードと再生可能メッセージとの間の一致関係に基づいて、動作コードに対応する第１の再生可能メッセージを決定し、第１の再生可能メッセージを送信側ユーザの端末上で再生する。

ブロック４０５は、決定された動作コードをサーバへ送信し、サーバは、動作コードを受信側ユーザの端末に渡す。代替として、動作コードは、受信側ユーザの端末へ直接送信されてもよい。

上記のブロック４０４及び４０５は、１つのステップに組み合わされて実施され得る。

ブロック４０６は、動作コードと再生可能メッセージとの間の一致関係に基づいて、第２の再生可能メッセージを決定し、第２の再生可能メッセージを送信側ユーザの端末上で再生する。音声ファイルがサーバまたは送信側ユーザの端末から送信される場合、音声は、同時に再生され得る。

多様な対話型タッチ挙動の例は、タッチ挙動に応答してメッセージを再生するという以下の効果になり得る。

平手打ち：送信側ユーザの端末で、受信側ユーザのアバターの頭を数回ヒットすると、送信側ユーザの端末は、受信側ユーザのアバターの頭の画像が、「あなた、どうしちゃったの！」という音とともに平手打ちされている動画を再生する。関連情報が受信側ユーザの端末に送信されると、受信側ユーザの端末は、平手打ちされている動作コードを取得し、音とともに泣いているアバター等、応答動画を再生する。

触れる：送信側ユーザの端末で、受信側ユーザのアバターの頭に触れると、タッチ動作の再生をトリガーし、受信側ユーザの端末は、添付の音とともに触れられている動画を再生する。

さみしい：送信側ユーザの端末で、送信側ユーザが、受信側ユーザのアバターの上にハートを描くと、受信側ユーザがいないことを寂しいと思う動作をトリガーする。受信側ユーザは、アバター動画の対応再生とともに、関連情報を受信する。例えば、受信側ユーザは、「誰かが私のことを思っている」という音声とともに、数回のくしゃみを聞くことができ、続いて、送信側ユーザの音声を伴い、受信側当事者がいないことを寂しいと思う送信当事者の動作を示す動画の再生となる。

誘惑：送信側ユーザの端末で、受信側ユーザのアバターの首近くに線を描くと、誘惑の動作をトリガーし、受信側当事者は、音声とともに誘惑の動作を表現する対応動画を受信する。

キス：送信側ユーザの端末で、受信当事者のアバターの唇の上に指を置くと、キスの動作をトリガーする。動作の関連情報を受信すると、受信側ユーザの端末は、キスしてほしい唇を示すメッセージを再生する。受信側ユーザが、指を使用して唇にタッチすると、返すキスが生成されて、キスされている動画をトリガーして再生される。

揺れ動く：送信側ユーザが端末をそっと振ると、揺れ動く動作をトリガーする。受信側ユーザのアバターが揺れ動いている動画が、受信側ユーザの端末上で再生される。

揺さぶる：送信側ユーザが端末を強く振ると、受信側ユーザを揺さぶる動作をトリガーする。受信側ユーザのアバターが成形されている動画が、受信側ユーザの端末上で表示される。例えば、アバターは、壁（画面の端）に衝突し、「痛い」という音を伴う場合がある。

つねる：受信側ユーザのアバターの顔がつねられていることを示す動画が両方の側で再生され得る。

会話：送信側ユーザが受信側ユーザのアバターの耳をつかむと、拡大され注意深い耳を示す。送信側ユーザが、話し始め、メッセージを記録する。関連情報を受信すると、動画が受信側ユーザの端末上で再生され、記録されたメッセージを話している送信側ユーザの話しているアバターを示す。

送信側ユーザによる所定のタッチ動作に反応する動画は、異なる受信側ユーザで同じであってもよく、異なる送信側ユーザによる同じタッチ動作によってトリガーされる同じ受信側ユーザの動画もまた、同じであり得る。しかしながら、動画は、送信側ユーザと受信側ユーザとの間の関係に従って、個人化され得る。例えば、同じ受信側ユーザＢに対して、反応は、タッチ動作が送信側ユーザＡによってトリガーされた場合、２人はより緊密な関係を有するため、より強力であってもよいが、タッチ動作が送信側ユーザＣによってトリガーされた場合、２人はより疎遠な関係を有するため、より弱い場合がある。このような目的のために、異なるレベルの反応を反映する異なる動画を作成することができる。

送信側ユーザのタッチ動作に対する受信側ユーザによる反応として第２の再生可能メッセージが個人化されるだけでなく、第１の再生可能メッセージもまた、送信側ユーザによるタッチ動作の表現として、２つの当事者の関係に依存して、個人化され得る。すなわち、送信側ユーザと受信側ユーザとの間の関係の性質に依存して、送信側ユーザが所定のタッチ動作を実施すると、タッチ動作を表現するために同じ送信側ユーザに再生される動画は、異なる受信側ユーザに関して異なっていてもよく、または、２つの異なる送信側ユーザに再生された動画は、同じ受信側ユーザに関して異なっていてもよい。例えば、ユーザＡ及びユーザＢがより緊密な関係を有する一方、ユーザＣ及びユーザＢがより疎遠な関係を有する場合、ユーザＡがユーザＢに「平手打ち」の動作を実施すると、動画１がユーザＡに再生される一方、動画２がユーザＢに再生される。しかし、ユーザＣがユーザＢに「平手打ち」の動作を実施すると、動画３がユーザＣに再生される一方、動画４がユーザＢに再生される。これらの動画は、ユーザ関係の性質を迅速に反映するように指定され得る。一般に、例えば、動画１及び２は、動画３及び４よりも強い感情を反映すべきである。

上記の目的のために、サーバは、各対話型タッチ動作に対して複数の再生可能メッセージを作成することができる。同時に、ユーザは、他に対してそれらの関係の特性を設定することが可能であり得て、そのような特性は、サーバに記憶され得る。このように、動作コードと再生可能メッセージコードとの間の一致関係は、２つの当事者間の関係の特性に従って異なり得る。サーバが動作コードを受信すると、サーバは、２つの当事者の関係に従って個人化された一致関係に基づいて、適切な第１の再生可能メッセージコード及び第２の再生可能メッセージコードを決定することができる。

一実施形態において、送信側ユーザの端末は、第１に、検出された対話型タッチ挙動から操作特徴を抽出し、操作特徴と動作コードとの間の一致関係に基づいて対応する動作コードを決定する。送信側ユーザの端末は次いで、送信側ユーザ及び受信側ユーザの識別とともに動作コードをサーバへ送信する。関連情報を受信すると、サーバは、送信側ユーザ及び受信側ユーザの関係特性の下に定義された動作コードと再生可能メッセージコードとの間の一致関係に基づいて、第１の再生可能メッセージコード及び第２の再生可能メッセージコードを決定する。関係特性は、予め定義され、サーバに記憶され得る。サーバは、対応する第１の再生可能メッセージが送信側ユーザの端末上で再生されることを可能にするように、第１の再生可能メッセージコードを送信側ユーザに返し、対応する第２の再生可能メッセージが受信側ユーザの端末で再生されることを可能にするように、第２の再生可能メッセージコードを受信側ユーザへ送信する。

実際には、しかしながら、ユーザによって設定された関係特性は、送信側ユーザの端末が、２人のユーザ間の関係特性を決定することを可能にするように、送信側ユーザの端末に同期され得て、さらに、２人のユーザの関係特性に従って個人化された一致リストに基づいて、動作コードに対応する第１の再生可能メッセージコード及び第２の再生可能メッセージコードを決定する。送信側ユーザの端末は次いで、第１の再生可能メッセージをローカルで再生し、第２の再生可能メッセージが受信側ユーザの端末上で再生されることを可能にするように、第２の再生可能メッセージコードを受信側ユーザの端末へ送信する。

ユーザ間の関係は、分類され得る。例えば、ユーザの連絡先は、多様な群に分割され得て、各群は、その独自の一致関係を有することができて、どの再生可能メッセージが所定のタッチ動作に対して再生されるべきかを決定する。同じタッチ動作に応答して、各群は、異なる再生可能メッセージを有することができる。再生可能メッセージは概して、同じ種類の表現を反映し得るが、異なる程度の感情またはレベルの反応を有し得る。

関係特性は、ユーザによって設定され、サーバに記憶され得る。サーバが送信側ユーザから動作コードを受信すると、サーバは最初に、送信側ユーザが、受信側ユーザによって設定された所定の群に属するかを決定し、さらに、受信側ユーザが、動作コードと再生可能メッセージコードとの間の一致関係を、他の群のそれとは異なるように設定しているかを決定する。上記の質問の答が肯定である場合、サーバは、特定の一致関係を使用して、動作コードに対応する第１及び第２の再生可能メッセージコードを決定し、それぞれのコードを、送信側ユーザの端末及び受信側ユーザの端末へ送信する。

ユーザの住所録は、「同級生」、「友人」、「家族」等の多様な群に既に体系化されている場合があることに注意されたい。これらの既存の群は、動作コード及び再生可能メッセージコードの異なる一致関係を定義するための根拠として使用され得る。既存の群は、実際に、関係がどの程度緊密であるかを記述し得ないため、これをさらに良好に行うため、異なる群またはサブグループが定義され得る。

加えて、ユーザは、別の特定のユーザのための特殊な一致関係を定義することができる。これは、グループの代わり、またはグループに加えてのいずれかで使用される可能性がある。この目的のために、送信側ユーザから動作コードを受信すると、サーバは最初に、受信側ユーザが、その送信側ユーザのための特殊な一致関係を定義しているかを決定し、それに従って第１及び第２の再生可能メッセージを決定する。特殊な一致関係が全く定義されていない場合、サーバは、デフォルトの一致関係を使用することができる。代替として、サーバはさらに、送信側ユーザが所定のグループに属するかを決定し、それに従って第１及び第２の再生可能メッセージを決定する。

工程は、図５の例を使用してさらに説明する。

ブロック５０１は、ユーザＢに関して実施されたユーザＡの対話型タッチ挙動を監視する。

ブロック５０２は、対話型タッチ挙動が検出されたかを決定する。検出された場合、工程は、ブロック５０３に入る。検出されない場合、工程はブロック５０１に戻り、監視を続ける。

ブロック５０３は、検出された対話型タッチ挙動に対応する最も近い一致動作コードを発見する。

ブロック５０４は、最も近い一致動作コードをサーバへ送信し、サーバは、ユーザＢ（受信側ユーザ）が、動作コードと対応する再生可能メッセージコードとの間の特殊な一致関係を予め定義しているかを決定する。定義している場合、工程はブロック５０９に入り、定義していない場合、工程はブロック５０５に入る。

ブロック５０５で、サーバは、ユーザＢが、所定のグループに対して動作コードと対応する再生可能メッセージコードとの間にカスタマイズされた一致関係を予め定義しているかを決定する。定義している場合、工程はブロック５０６に入り、定義していない場合、工程はブロック５０７に入る。

ブロック５０６で、サーバは、ユーザＡがグループに属するかを決定する。属する場合、工程はブロック５０９に入り、属さない場合、工程はブロック５０７に入る。

ブロック５０７で、サーバは、動作コードに対応するデフォルトの再生可能メッセージコードを、ユーザＡの端末及びユーザＢの端末へ送信する。

ブロック５０８で、ユーザＡの端末及びユーザＢの端末は、受信された再生可能メッセージコードに対応するそれぞれの再生可能メッセージを再生する。工程は終了する。

ブロック５０９で、サーバは、ユーザＡ、またはユーザＡが属するグループに予め定義された一致関係に従って、再生可能メッセージコードを決定し、動作コードに対応する決定された再生可能メッセージコードを、ユーザＡの端末及びユーザＢの端末へ送信する。

ブロック５１０で、ユーザＡの端末及びユーザＢの端末は、予め定義された再生可能メッセージコードに対応するそれぞれの再生可能メッセージを再生する。

要約すると、上記の工程を使用して、タッチ動作に対する反応を個人化することができる。例えば、ユーザＡが、ユーザＢに対して「誘惑」動作を実施したと想定する。ユーザＡがユーザＢと有するいくつかの可能な異なる関係が存在し得る。ユーザＡ及びユーザＢが緊密な関係を有している場合、「誘惑」の動作に対応する再生可能メッセージは、適切なレベルの緊密性を反映し得る。しかし、ユーザＡ及びユーザＢがただの友人である場合、応答して再生される再生可能メッセージは、この種類の関係を反映し得る。例えば、「誘惑」の動作は、実際にはからかいとして認識され得る。ユーザＡがユーザＢによって嫌われている場合、応答して再生される再生可能メッセージもまた、例えば、無関心な態度を用いて、この種類の関係を反映し得る。

対話型タッチ動作に対する個人化された反応は、ユーザのアバターを、より知的に、より個人的に、より現実的に、感情表現をより正確に、及び関係の種類の反映をより正確にし、全て合わせて、通信を実世界の対面式対話により近づける。

実施例２
上記の説明は、送信側ユーザの端末の観点からである。以下に、サーバの観点から、例示的な工程を説明する。

図６は、サーバ上で実施される情報交換のための方法を示す。

ブロック６０１で、サーバは、送信側ユーザの端末から、送信側ユーザの対話型タッチ挙動の関連情報、及び受信側ユーザの識別を取得する。

ブロック６０２で、サーバは、関連情報に従って、受信側ユーザの端末へ送信されるメッセージを決定する。

ブロック６０３で、サーバは、受信側ユーザの端末が、受信されたメッセージに基づいて、第２の再生可能メッセージを決定することを可能にするように、決定されたメッセージを受信側ユーザの端末へ送信する。第２の再生可能メッセージは、受信側ユーザのアバターに関連し、対話型タッチ挙動に対応する。

実際には、サーバは、送信側ユーザの端末から取得された関連情報を分析して、どのようなメッセージが受信側ユーザの端末へ送信されるべきかを決定する。代替として、サーバは、受信側ユーザの端末が、関連情報に基づいて、第２の再生可能メッセージを決定することを可能にするように、関連情報を受信側ユーザの端末へ送信してもよい。

実施形態において、サーバは、関連情報を分析し、受信側ユーザの端末で再生される第２の再生可能メッセージを決定し、第２の再生可能メッセージのコードを受信側ユーザの端末へ送信する。

関連情報は、検出された対話型タッチ挙動から抽出された操作特徴を含むことができる。この場合、サーバは、操作特徴と第２の再生可能メッセージとの間の予め記憶された一致関係を使用して、第２の再生可能メッセージを決定することができる。代替として、関連情報は、検出された対話型タッチ動作に対応する動作コードを含むことができる。この場合、サーバは、動作コードと第２の再生可能メッセージとの間の予め記憶された一致関係を使用して、第２の再生可能メッセージを決定する。

加えて、送信側ユーザと受信側ユーザとの間の関係に依存して、同じ対話型タッチ動作に応答して、異なる動画及び／または音声記録を再生することができる。この目的のために、サーバは、ユーザの関係特性を記憶する。送信側ユーザの端末は、対話型タッチ挙動の関連情報に加えて、ユーザ識別情報をサーバへ送信する。識別情報は、サーバが第２の再生可能メッセージをカスタマイズすることを可能にする。

実際には、受信側ユーザの端末のために第２の再生可能メッセージを決定することに加えて、サーバはまた、送信側ユーザの端末のために第１の再生可能メッセージも決定することができる。これを実行するために、サーバは、送信側ユーザの端末から、送信側ユーザの識別を取得し、検出された対話型タッチ挙動の関連情報に基づいて、第１の再生可能メッセージを決定し、送信側ユーザの識別に基づいて、第１の再生可能メッセージのコードを送信側ユーザの端末へ返す。

検出された対話型タッチ挙動の関連情報は、サーバが、操作特徴と第１の再生可能メッセージとの間の予め記憶された一致関係を使用して、第１の再生可能メッセージを決定することを可能にするように、検出された対話型タッチ挙動から抽出された操作特徴を含むことができる。関連情報はまた、サーバが、動作コードと第１の再生可能メッセージとの間の予め記憶された一致関係を使用して、第１の再生可能メッセージを決定することを可能にするように、検出された対話型タッチ挙動に対応する動作コードも含むことができる。

サーバはまた、送信側ユーザと受信側ユーザとの間の関係特性に基づいて、第１の再生可能メッセージを決定（例えば、カスタマイズ）することともできる。

実施例３
開示される方法は、受信側ユーザの端末の観点から以下にさらに説明する。図７は、通信における受信側ユーザの端末による情報交換のための方法を示す。

ブロック７０１で、受信側ユーザの端末は、送信側ユーザの端末上で、受信側ユーザのアバター上で行われた送信側ユーザの検出された対話型タッチ挙動の関連情報を受信する。

ブロック７０２で、受信側ユーザの端末は、関連情報に従って第２の再生可能メッセージを決定し、第２の再生可能メッセージを再生する。

十分な関連情報が受信側ユーザの端末に提供された場合、ユーザ端末は、第２の再生可能メッセージをローカルで決定することが可能である。サーバが関連情報に基づいて第２の再生可能メッセージを決定する実施例２に説明されたのと同様に、実施例３において、関連情報は、検出された対話型タッチ挙動の操作特徴、検出された対話型タッチ挙動に対応する動作コード、または検出された対話型タッチ挙動に対応する第２の再生可能メッセージのコードのうちのいずれかを含むことができる。目標は、受信側ユーザの端末が、それに従って第２の再生可能メッセージを決定することを可能にすることである。

上記の実施例において、工程は、異なる角度から説明されることに注意されたい。実施例は、同じ工程の異なる態様を再提示、または同じ原則に基づくが、同じ機能が異なる場所で、送信側ユーザの端末、受信側ユーザの端末、及びサーバの中で異なるデバイスによって実施される異なる動作点を含めて類似の工程を提示し得る。説明のほとんどは、同じ原則に基づき、本明細書では繰り返さない。

上記の技法は、コンピュータ実行可能命令を含む、１つ以上の非一時的コンピュータ可読媒体の助けを用いて実装され得る。非一時的コンピュータ実行可能命令は、コンピュータプロセッサが、本明細書に説明される技法に従って動作を実施することを可能にする。コンピュータ可読媒体は、コンピュータデータを記憶するための適切なメモリデバイスのうちのいずれかであり得ることを理解されたい。そのようなメモリデバイスとして、ハードディスク、フラッシュメモリデバイス、光学式データストレージ、及びフロッピーディスクが挙げられるが、これらに限定されない。さらに、コンピュータ実行可能命令を含むコンピュータ可読媒体は、１つのローカルシステム内の構成要素（単数または複数）、あるいは複数のリモートシステムのネットワークを介して分散された構成要素からなり得る。コンピュータ実行可能命令のデータは、有形の物理的メモリデバイスに配信、または電子的に伝送されるかのいずれかであり得る。

本明細書に開示される方法に関係して、本開示は、本明細書に説明される方法を実装するためのコンピュータベースの装置も提供する。

本開示において、「モジュール」とは一般に、特定のタスクまたは機能を実施するために設計された機能性を指す。モジュールは、特定のタスクまたは関数と関連付けられる目的を達成するための、ハードウェア、ソフトウェア、プランまたはスキーム、あるいはこれらの組み合わせであり得る。加えて、個別のモジュールの描写は必ずしも、物理的に個別のデバイスが使用されることを示唆しない。そうではなく、描写は機能性だけであり得て、いくつかのモジュールの機能は、単一の組み合わされたデバイスまたは構成要素によって実施され得る。コンピュータベースのシステムにおいて使用される場合、プロセッサ、ストレージ、及びメモリ等の通常のコンピュータ構成要素は、多様なそれぞれの機能を実施するために１つ以上のモジュールとして機能するようにプログラムされ得る。

図８は、対話型通信において情報を交換するための方法を実装する送信側ユーザの端末の機能ブロックの模式図である。

送信側ユーザの端末８００は、１つ以上のプロセッサ（単数または複数）８９０、Ｉ／Ｏデバイス８９２、及びアプリケーションプログラム（単数または複数）８８０を記憶するメモリ８９４を有する、典型的なスマートフォンのハードウェアに基づくことができる。送信側ユーザの端末８００は、以下の機能モジュールを有するようにプログラムされる。

アバター管理モジュール８０１は、ユーザのアバターを決定、選択、及び／または提示するようにプログラムされる。例えば、送信側ユーザが情報交換を開始すると、アバター管理モジュール８０１は最初に、受信側ユーザの識別を決定することができ、受信側ユーザのアバターを取得またはその他提供する。

タッチ挙動監視モジュール８０２は、受信側ユーザのアバターに基づいて動作を行う送信側ユーザの対話型タッチ挙動を監視し、検出するようにプログラムされる。

第１の再生可能メッセージ決定モジュール８０３は、検出された対話型タッチ挙動に対応する第１の再生可能メッセージを決定するようにプログラムされる。

メッセージ伝送モジュール８０４は、受信側ユーザの端末が、受信された関連情報に基づいて、第２の再生可能メッセージを決定し、再生することを可能にするように、関連情報を受信側ユーザの端末へ送信するようにプログラムされる。関連情報は、検出された対話型タッチ挙動に特徴的に関連し、本明細書に説明されるように多様な形式であり得る。

さらに、上記のモジュールは、開示される方法の文脈において、本明細書に説明されるように、多様な機能を実施するようにプログラムされたサブモジュールを有することができる。これらのモジュール及びサブモジュールの詳細は繰り返さない。

図９は、対話型通信において情報を交換するための方法を実装するサーバの機能ブロックの模式図である。

サーバ９００は、１つ以上のプロセッサ（単数または複数）、Ｉ／Ｏデバイス、アプリケーションプログラム（単数または複数）を記憶するメモリを有する、典型的なサーバのハードウェアに基づくことができる。サーバ９００は、以下に説明するような機能モジュールを有するようにプログラムされる。

関連情報取得モジュール９０１は、サーバ９００が受信側ユーザの端末へ送信されるメッセージを決定することを可能にするように、送信側ユーザの端末から関連情報を取得するようにプログラムされる。関連情報は、検出された対話型タッチ挙動に特徴的に関連し、本明細書に説明されるように多様な形式であり得る。受信側ユーザの端末へ送信されるメッセージ（単数または複数）もまた、本明細書に説明されるように多様な種類であり得る（第２の再生可能メッセージを含むが、これに限定されない）。

再生可能メッセージ決定モジュール９０２は、受信された関連情報に基づいて、受信側ユーザの端末へ送信されるメッセージ（単数または複数）を決定するようにプログラムされる。

メッセージ伝送モジュール９０３は、受信側ユーザの端末が、第２の再生可能メッセージを決定することを可能にするように、決定されたメッセージ（単数または複数）を受信側ユーザの端末へ送信するようにプログラムされる。

さらに、上記のモジュールは、開示される方法の文脈において、本明細書に説明されるように、多様な機能を実施するようにプログラムされたサブモジュールを有することができる。これらのモジュール及びサブモジュールの詳細は繰り返さない。

図１０は、対話型通信にいて情報を交換するための方法を実装する受信側ユーザの端末の機能ブロックの模式図である。

受信側ユーザの端末１０００は、１つ以上のプロセッサ（単数または複数）、Ｉ／Ｏデバイス、及びアプリケーションプログラム（単数または複数）を記憶するメモリを有する、典型的なスマートフォンのハードウェアに基づくことができる。受信側ユーザの端末１０００は、以下に説明するような機能モジュールを有するようにプログラムされる。

メッセージ受信モジュール１００１は、受信側ユーザのアバター上で動作を行う送信側ユーザの検出された対話型タッチ挙動の関連情報を受信するようにプログラムされる。関連情報は、検出された対話型タッチ挙動に特徴的に関連し、本明細書に説明されるように多様な形式であり得る。システムの構成に依存して、関連情報は、本明細書に説明するように、サーバ、または送信側ユーザの端末のいずれかから受信され得る。

第２の再生可能メッセージ決定モジュール１００２は、受信された関連情報に基づいて、第２の再生可能メッセージを決定し、再生するようにプログラムされる。

さらに、上記のモジュールは、開示される方法の文脈において、本明細書に説明されるように、多様な機能を実施するようにプログラムされたサブモジュールを有することができる。これらのモジュール及びサブモジュールの詳細は繰り返さない。

装置の上記の実施形態は、本明細書に説明される方法の実施形態に緊密に関係し、従って、方法の実施形態の詳細説明もまた、装置の実施形態に適用可能であり、繰り返さない。

要約すると、本開示は、人々の間の実世界の対面式タッチ可能な対話を再現または模倣するために、受信側ユーザのアバターを使用して、動画化された媒体を生成する。送信側ユーザは、受信側ユーザのアバター上で対話型タッチ動作を実施する。検出された対話型タッチ動作は、送信側ユーザの表現及び受信側ユーザの反応を表現するように、動画に変換される。動画は、送信側ユーザの端末及び受信側ユーザの端末のいずれか１つ、または両方で再生され得て、即時通信のための「タッチ可能物」を作成し、それによって、実世界の対面式通信の再現のレベルを増加させる。

本開示に説明される技法は、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイスまたは携帯用デバイス、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能消費者デバイス、ネットワークＰＣ、マイクロコンピュータ、ならびに大型メインフレームコンピュータ、あるいは上記の例の１つ以上を含む任意の分散環境を含むがこれらに限定されない、汎用コンピューティング機器または環境、あるいは特殊コンピューティング機器または環境において実装され得る。

特定のモジュールは、機械実行可能コマンド及びコードに基づいて、コンピュータプログラムモジュールを使用して実装され得る。一般に、コンピュータプログラムモジュールは、特定のタスクを実施、またはルーチン、プログラム、オブジェクト、構成要素、データ構造等の特定の抽象データタイプを実装することができる。本開示に説明される技法はまた、分散コンピューティング環境等の分散コンピューティング環境においても実践され得て、通信ネットワークを通じて接続されたリモートの処理デバイスによってタスクを実施する。分散コンピューティング環境において、プログラムモジュールは、メモリデバイスを含むローカルまたはリモートいずれかのコンピュータ記憶媒体に配置され得る。

本明細書に検討される潜在的な利点及び有利は、添付の請求項の範囲に対する限定または制限として解釈されてはならないことを理解されたい。

情報検証の方法及び装置は、本開示において上記に詳細に説明された。例示的な実施形態は、本開示において本発明の概念及び実装を説明するために採用される。例示的な実施形態は、本開示の方法及び中心概念の理解を深めるためだけに使用される。本開示の概念に基づき、当業者は、例示的実施形態及び応用分野を変更することができる。

Claims (20)

1. 通信における情報交換のための方法であって、
   送信側ユーザの端末上に、受信側ユーザのアバターを提示することと、
   前記受信側ユーザの前記アバター上で行われる前記送信側ユーザの対話型タッチ挙動を監視することと、
   前記対話型タッチ挙動に従って、第１の再生可能メッセージを決定することであって、前記第１の再生可能メッセージが、前記アバターに関連し、前記対話型タッチ挙動との対応を有する、決定することと、
   前記第１の再生可能メッセージを前記送信側ユーザの端末上で再生することと、
   サーバまたは前記受信側ユーザの端末が前記受信された情報に従って第２の再生可能メッセージを決定することを可能にするように、前記対話型タッチ挙動の関連情報を前記サーバまたは前記受信側ユーザの端末へ送信することであって、前記第２の再生可能メッセージが、前記アバターに関連し、前記対話型タッチ挙動との対応を有し、前記受信側ユーザの端末上で再生され得る、送信することと、を含む、前記方法。
2. 前記対話型タッチ挙動に従って、前記第１の再生可能メッセージを前記決定することが、
   対話型タッチ挙動と動作コードとの間の一致関係に基づいて、前記対話型タッチ挙動に対応する動作コードを決定することと、
   動作コードと再生可能メッセージとの間の一致関係に基づいて、前記動作コードに対応する前記第１の再生可能メッセージを決定することと、を含む、請求項１に記載の前記方法。
3. 送信側ユーザ及び受信側ユーザの予め記憶された関係特性データに基づいて、前記送信側ユーザ及び前記受信側ユーザの関係特性を決定することと、
   前記送信側ユーザ及び前記受信側ユーザの前記関係特性に従って、前記第１の再生可能メッセージを決定することと、をさらに含む、請求項１に記載の前記方法。
4. 前記送信側ユーザ及び前記受信側ユーザの前記関係特性を前記決定することが、
   前記サーバが前記予め記憶された関係特性データに基づいて前記関係特性を決定することを可能にするように、前記送信側ユーザの識別情報及び前記受信側ユーザの識別情報を前記サーバへ伝送することを含む、請求項３に記載の前記方法。
5. 送信側ユーザ及び受信側ユーザの予め記憶された関係特性データに基づいて、前記送信側ユーザ及び前記受信側ユーザの関係特性を決定することと、
   前記送信側ユーザ及び前記受信側ユーザの前記関係特性に従って、前記第２の再生可能メッセージを決定することと、をさらに含む、請求項１に記載の前記方法。
6. 前記送信側ユーザ及び前記受信側ユーザの前記関係特性を前記決定することが、
   前記サーバまたは前記受信側ユーザの端末が前記予め記憶された関係特性データに基づいて前記関係特性を決定することを可能にするように、前記送信側ユーザの識別情報及び前記受信側ユーザの識別情報を前記サーバまたは前記受信側ユーザの端末へ伝送することを含む、請求項５に記載の前記方法。
7. 前記対話型タッチ挙動に従って、前記第１の再生可能メッセージを前記決定することが、
   前記検出された対話型タッチ挙動から挙動特徴を抽出することと、
   挙動特徴と再生可能メッセージとの間の一致関係に基づいて、前記第１の再生可能メッセージを決定することと、を含む、請求項１に記載の前記方法。
8. 挙動特徴と再生可能メッセージとの間の前記一致関係に基づいて、前記第１の再生可能メッセージを前記決定することが、
   前記サーバが前記挙動特徴と前記再生可能メッセージとの間の前記一致関係に基づいて前記第１の再生可能メッセージを決定することを可能にするように、前記対話型タッチ挙動の前記関連情報として前記抽出された挙動特徴を前記サーバへ送信することを含む、請求項７に記載の前記方法。
9. 前記対話型タッチ挙動に従って、前記第１の再生可能メッセージを前記決定することが、
   前記検出された対話型タッチ挙動から挙動特徴を抽出することと、
   挙動特徴と動作コードとの間の一致関係に基づいて、動作コードを決定することと、
   動作コードと再生可能メッセージとの間の一致関係に基づいて、前記第１の再生可能メッセージを決定することと、を含む、請求項１に記載の前記方法。
10. 動作コードと再生可能メッセージとの間の前記一致関係に基づいて、前記第１の再生可能メッセージを前記決定することが、
    前記サーバが前記動作コードと前記再生可能メッセージとの間の前記一致関係に基づいて前記第１の再生可能メッセージを決定することを可能にするように、前記対話型タッチ挙動の前記関連情報として前記動作コードを前記サーバへ送信することを含む、請求項９に記載の前記方法。
11. 前記対話型タッチ挙動の前記関連情報を前記サーバまたは前記受信側ユーザの端末へ前記送信することが、
    前記検出された対話型タッチ挙動から挙動特徴を抽出することと、
    前記サーバまたは前記受信側ユーザの端末が挙動特徴と再生可能メッセージとの間の一致関係に基づいて前記第２の再生可能メッセージを決定することを可能にするように、前記抽出された挙動特徴を前記サーバまたは前記受信側ユーザの端末へ送信することと、を含む、請求項１に記載の前記方法。
12. 前記対話型タッチ挙動の前記関連情報を前記サーバまたは前記受信側ユーザの端末へ前記送信することが、
    前記検出された対話型タッチ挙動から挙動特徴を抽出することと、
    挙動特徴と動作コードとの間の一致関係に基づいて、動作コードを決定することと、
    前記サーバまたは前記受信側ユーザの端末が動作コードと再生可能メッセージとの間の一致関係に基づいて前記第２の再生可能メッセージを決定することを可能にするように、前記動作コードを前記サーバまたは前記受信側ユーザの端末へ送信することと、を含む、請求項１に記載の前記方法。
13. 前記受信側ユーザの前記アバター上で行われる前記送信側ユーザの前記対話型タッチ挙動を前記監視することが、
    前記送信側ユーザの端末のタッチ画面の指定領域上で行われる前記送信側ユーザのタッチ挙動を監視することを含む、請求項１に記載の前記方法。
14. 前記受信側ユーザの前記アバター上で行われる前記送信側ユーザの前記対話型タッチ挙動を前記監視することが、
    前記送信側ユーザの端末に内蔵された加速度センサを使用して、前記送信側ユーザの端末を振る前記送信側ユーザの挙動を監視することを含む、請求項１に記載の前記方法。
15. 前記受信側ユーザの端末上で前記第２の再生可能メッセージとともに、前記送信側ユーザの記録された音声メッセージを再生することであって、前記記録された音声メッセージが、前記送信側ユーザの端末で記録される、再生することとをさらに含む、請求項１に記載の前記方法。
16. 通信における情報交換のための方法であって、
    サーバまたは受信側ユーザの端末で、前記受信側ユーザのアバター上で行われた送信側ユーザの対話型タッチ挙動の関連情報を受信することと、
    前記サーバまたは前記受信側ユーザの端末で、前記対話型タッチ挙動の前記関連情報に従って再生可能メッセージを決定することであって、前記再生可能メッセージが、前記アバターに関連し、前記送信側ユーザの前記対話型タッチ挙動との対応を有する、決定することと、
    前記受信側ユーザの端末上で前記再生可能メッセージを再生することと、を含む、前記方法。
17. 前記対話型タッチ挙動に従って、前記再生可能メッセージを前記決定することが、
    対話型タッチ挙動と動作コードとの間の一致関係に基づいて、前記対話型タッチ挙動に対応する動作コードを決定することと、
    動作コードと再生可能メッセージとの間の一致関係に基づいて、前記動作コードに対応する前記再生可能メッセージを決定することと、を含む、請求項１６に記載の前記方法。
18. 送信側ユーザ及び受信側ユーザの予め記憶された関係特性データに基づいて、前記送信側ユーザ及び前記受信側ユーザの関係特性を決定することと、
    前記送信側ユーザ及び前記受信側ユーザの前記関係特性に従い、前記再生可能メッセージを決定することと、をさらに含む、請求項１６に記載の前記方法。
19. 通信における情報交換のためのコンピュータベースの装置であって、
    プロセッサと、メモリと、Ｉ／Ｏデバイスとを有するコンピュータであって、
    送信側ユーザの端末上に、受信側ユーザのアバターを提示することと、
    前記受信側ユーザの前記アバター上で行われる前記送信側ユーザの対話型タッチ挙動を監視することと、
    前記対話型タッチ挙動に従って、第１の再生可能メッセージを決定することであって、前記第１の再生可能メッセージが、前記アバターに関連し、前記対話型タッチ挙動との対応を有する、決定することと、
    前記第１の再生可能メッセージを前記送信側ユーザの端末上で再生することと、
    サーバまたは前記受信側ユーザの端末が前記対話型タッチ挙動の関連情報に従って第２の再生可能メッセージを決定することを可能にするように、前記対話型タッチ挙動の前記関連情報を前記サーバまたは前記受信側ユーザの端末へ送信することと、を含む機能を実施するようにプログラミングされた、コンピュータを備え、前記第２の再生可能メッセージが、前記アバターに関連し、前記対話型タッチ挙動との対応を有し、前記受信側ユーザの端末上で再生することが可能である、前記コンピュータベースの装置。
20. 前記対話型タッチ挙動に従って、前記第１の再生可能メッセージを決定することが、
    対話型タッチ挙動と動作コードとの間の一致関係に基づいて、前記対話型タッチ挙動に対応する動作コードを決定することと、
    動作コードと再生可能メッセージとの間の一致関係に基づいて、前記動作コードに対応する前記第１の再生可能メッセージを決定することと、を含む、請求項１９に記載の前記コンピュータベースの装置。