JP2020154652A - プログラム、情報処理方法、端末 - Google Patents

Abstract

【課題】トークルームを介して行った通話の内容を認識しやすくする。【解決手段】 第１端末にコンテンツの送信または、第１端末から送信されたコンテンツの受信を行う端末の情報処理方法であって、第１端末から送信された第１コンテンツと、端末の通信部によって第１端末に送信された第２コンテンツとを端末の表示領域に表示することと、第１コンテンツと第２コンテンツとを表示する表示領域に対する端末のユーザによる入力に基づいて、第１端末との通話に関する制御を端末の制御部によって行うことと、第１端末のユーザの音声に基づく第１情報と、端末のユーザの音声に基づく第２情報とを第１端末との通話に基づき制御部により取得することと、第１情報と第２情報とに基づく通話情報を表示領域に表示することとを含む。【選択図】図２

Description

本開示は、端末の情報処理方法、プログラム、端末に関する。

近年、メッセージングサービスを介して、ユーザ同士が通信によるメッセージのやり取りを行っている。また、このようなメッセージングサービスにおいては、ユーザ同士で通話あるいはビデオ通話を行うことができるメッセージングサービスも存在する。特許文献１には、そのようなシステムの一例が開示されている。

特開２０１４−２３２５０２号公報

本発明の第１の態様によると、第１端末にコンテンツの送信または、第１端末から送信されたコンテンツの受信を行う端末の情報処理方法であって、第１端末から送信された第１コンテンツと、端末の通信部によって第１端末に送信された第２コンテンツとを端末の表示領域に表示することと、第１コンテンツと第２コンテンツとを表示する表示領域に対する端末のユーザによる入力に基づいて、第１端末との通話に関する制御を端末の制御部によって行うことと、第１端末のユーザの音声に基づく第１情報と、端末のユーザの音声に基づく第２情報とを第１端末との通話に基づき制御部により取得することと、第１情報と第２情報とに基づく通話情報を表示領域に表示することとを含む。
本発明の第２の態様によると、第１端末にコンテンツの送信または、前記第１端末から送信されたコンテンツの受信を行う端末のコンピュータに実行させるプログラムであって、前記第１端末から送信された第１コンテンツと、前記端末の通信部によって前記第１端末に送信された第２コンテンツとを前記端末の表示領域に表示することと、前記第１コンテンツと前記第２コンテンツとを表示する前記表示領域に対する前記端末のユーザによる入力に基づいて、前記第１端末との通話に関する制御を前記端末の制御部によって行うことと、前記第１端末のユーザの音声に基づく第１情報と、前記第端末のユーザの音声に基づく第２情報とを前記第１端末との前記通話に基づき前記制御部により取得することと、前記第１情報と前記第２情報とに基づく通話情報を前記表示領域に表示することとを含む。
本発明の第３の態様によると、第１端末にコンテンツの送信または、前記第１端末から送信されたコンテンツの受信を行う端末であって、前記第１端末から送信された第１コンテンツと、前記端末の通信部によって前記第１端末に送信された第２コンテンツとを表示する表示部と、前記第１コンテンツと前記第２コンテンツとを表示する前記表示部に対する前記端末のユーザによる入力に基づいて、前記第１端末との通話に関する制御を行う制御部とを備え、前記制御部は、前記第１端末のユーザの音声に基づく第１情報と、前記第端末のユーザの音声に基づく第２情報とを前記第１端末との前記通話に基づき取得し、前記表示部は、前記第１情報と前記第２情報とに基づく通話情報を表示する。

実施形態の一態様における通信システムの構成を示す図。 通信システムの一実施態様を示す図であって、（ａ）は、メッセージングサービスを介したユーザ同士の通話の様子を示す図であり、（ｂ）は、通話後のメッセージングサービスにおけるトークルームの表示例を示す図。 通信システムにおけるやり取りを示すシーケンス図。 端末における通話と通話内容の表示処理例を示すフローチャート。 端末によるトークルームにおいて通話内容の表示・非表示の切替の動作例を示すフローチャート。 （ａ）は、端末における通話前のトークルームの例を示す画面図。（ｂ）は、端末における通話後のトークルームの例を示す画面図。 （ａ）は、端末における通話内容を展開していない状態のトークルームの例を示す画面図。（ｂ）は、端末におけるトークルームの表示例であって通話内容を展開した例を示す画面図。 （ａ）は、ユーザが指を通話アイコンに近づけている様子を示す図。（ｂ）は、通話アイコンを拡大表示している例を示す画面図。 （ａ）は、ポップアップによる通話の内容を示すメッセージを表示する例を示す画面図。（ｂ）は、別の画面に遷移して通話の内容を示すメッセージを表示する例を示す画面図。 端末におけるビデオ通話を実行した場合の動作例を示すフローチャート。 （ａ）は、通話の一部の様子を示す模式図、（ｂ）は、図１２（ａ）に続く状況の一例を示す模式図、（ｃ）は、通話後のトークルームの表示例を示す画面図。 （ａ）は、端末の位置に関する画像を背景画像として表示する例を示す画面図。（ｂ）は、背景画像と通話の内容を連動させている表示例を示す画面図。 （ａ）は、通話の一部の様子を示す模式図、（ｂ）は、図１３（ａ）に続く状況の一例を示す模式図、（ｃ）は、通話後のトークルームの表示例を示す画面図。 端末におけるコールアイコンの表示に係る動作例を示すフローチャート。 （ａ）は、通話量が比較的少ない場合を通話アイコンの表示サイズで表現した場合の表示例を示す画面図。（ｂ）は、（ａ）よりも通話量が多い場合の通話アイコンの表示例を示す画面図。 （ａ）は、通話量が比較的少ない場合を通話アイコンの色で表現した表示例を示す画面図。（ｂ）は、（ａ）よりも通話量が多い場合の通話アイコンの表示例を示す画面図。 （ａ）、（ｂ）は、通話アイコンの代替として、通話中の内容に関する画像をトークルームに表示する例を示す画面図。 （ａ）は、通話アイコンの代替として、通話中の内容に関する画像をトークルームに表示する例であって、通話アイコンも併せて表示した例を示す画面図。（ｂ）は、通話アイコンの代替として画像を拡大表示した例を示す画面図。 （ａ）は、通話の内容を示すメッセージの表示例を示す画面図。（ｂ）は、（ａ）に示す通話内容の場合に、表示する見出し（要約）の例を示す画面図。

＜法的事項の遵守＞
本明細書に記載の開示は、通信の秘密など、本開示の実施に必要な実施国の法的事項遵守を前提とすることに留意されたい。

本開示に係る端末による送信または受信に係る状況を確認できる表示方法等を実施するための実施形態について、図面を参照して説明する。

＜システム構成＞
図１は、本開示の一実施形態に係る通信システム１の構成を示す。図１に開示されるように、通信システム１では、ネットワーク３０を介してサーバ１０と、端末２０（端末２０Ａ，端末２０Ｂ，端末２０Ｃ）とが接続される。サーバ１０は、ネットワーク３０を介してユーザが所有する端末２０に、端末２０間でのメッセージの送受信を実現するサービスを提供する。なお、ネットワーク３０に接続される端末２０の数は限定されない。

ネットワーク３０は、１以上の端末２０と、１以上のサーバ１０とを接続する役割を担う。すなわち、ネットワーク３０は、端末２０がサーバ１０に接続した後、データを送受信することができるように接続経路を提供する通信網を意味する。

ネットワーク３０のうちの１つまたは複数の部分は、有線ネットワークや無線ネットワークであってもよいし、そうでなくてもよい。ネットワーク３０は、限定でなく例として、アドホック・ネットワーク（ad hoc network）、イントラネット、エクストラネット、仮想プライベート・ネットワーク（virtual private network：ＶＰＮ）、ローカル・エリア・ネットワーク（local area network：ＬＡＮ）、ワイヤレスＬＡＮ（wireless LAN：ＷＬＡＮ）、広域ネットワーク（wide area network：ＷＡＮ）、ワイヤレスＷＡＮ（wireless WAN：ＷＷＡＮ）、大都市圏ネットワーク（metropolitan area network：ＭＡＮ）、インターネットの一部、公衆交換電話網（Public Switched Telephone Network：ＰＳＴＮ）の一部、携帯電話網、ＩＳＤＮ（integrated service digital networks）、無線ＬＡＮ、ＬＴＥ（long term evolution）、ＣＤＭＡ（code division multiple access）、ブルートゥース（Bluetooth（登録商標））、衛星通信など、または、これらの２つ以上の組合せを含むことができる。ネットワーク３０は、１つまたは複数のネットワーク３０を含むことができる。

端末２０（端末２０Ａ，端末２０Ｂ，端末２０Ｃ）は、各実施形態において記載する機能を実現できる情報処理端末であればどのような端末であってもよい。端末２０は、限定ではなく例として、スマートフォン、携帯電話（フィーチャーフォン）、コンピュータ（限定でなく例として、デスクトップ、ラップトップ、タブレットなど）、メディアコンピュータプラットホーム（限定でなく例として、ケーブル、衛星セットトップボックス、デジタルビデオレコーダ）、ハンドヘルドコンピュータデバイス（限定でなく例として、ＰＤＡ・（personal digital assistant）、電子メールクライアントなど）、ウェアラブル端末（メガネ型デバイス、時計型デバイスなど）、または他種のコンピュータ、またはコミュニケーションプラットホームを含む。また、端末２０は情報処理端末と表現されてもよい。

端末２０Ａ、端末２０Ｂおよび端末２０Ｃの構成は基本的には同一であるため、以下の説明においては、端末２０について説明する。また、必要に応じて、ユーザXが利用する端末を端末２０Xと表現し、ユーザXまたは端末２０Xに対応づけられた、所定のサービスにおけるユーザ情報をユーザ情報Xと表現する。なお、ユーザ情報とは、所定のサービスにおいてユーザが利用するアカウントに対応付けられたユーザの情報である。ユーザ情報は、限定でなく例として、ユーザにより入力される、または、所定のサービスにより付与される、ユーザの名前、ユーザのアイコン画像、ユーザの年齢、ユーザの性別、ユーザの住所、ユーザの趣味趣向、ユーザの識別子などのユーザに対応づけられた情報を含み、これらのいずれか一つまたは、組み合わせであってもよいし、そうでなくてもよい。

サーバ１０は、端末２０に対して、所定のサービスを提供する機能を備える。サーバ１０は、各実施形態において記載する機能を実現できる情報処理装置であればどのような装置であってもよい。サーバ１０は、限定でなく例として、サーバ装置、コンピュータ（限定でなく例として、デスクトップ、ラップトップ、タブレットなど）、メディアコンピュータプラットホーム（限定でなく例として、ケーブル、衛星セットトップボックス、デジタルビデオレコーダ）、ハンドヘルドコンピュータデバイス（限定でなく例として、ＰＤＡ、電子メールクライアントなど）、あるいは他種のコンピュータ、またはコミュニケーションプラットホームを含む。また、サーバ１０は情報処理装置と表現されてもよい。サーバ１０と端末２０とを区別する必要がない場合は、サーバ１０と端末２０とは、それぞれ情報処理装置と表現されてもよいし、されなくてもよい。

＜ハードウェア（HW）構成＞
図１を用いて、通信システム１に含まれる各装置のHW構成について説明する。

（１）端末のHW構成

端末２０は、制御部２１（ＣＰＵ：central processing unit（中央処理装置））、記憶部２８、通信Ｉ／Ｆ２２（インタフェース）、入出力部２３、表示部２４、位置情報取得部２５を備える。端末２０のHWの各構成要素は、限定でなく例として、バスBを介して相互に接続される。なお、端末２０のHW構成として、すべての構成要素を含むことは必須ではない。限定ではなく例として、端末２０は、マイク２３２、カメラ２３４、位置情報取得部２５等、個々の構成要素、または複数の構成要素を取り外すような構成であってもよいし、そうでなくてもよい。

通信Ｉ／Ｆ２２は、ネットワーク３０を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信Ｉ／Ｆ２２は、ネットワーク３０を介して、サーバ１０との通信を実行する機能を有する。通信Ｉ／Ｆ２２は、各種データを制御部２１からの指示に従って、サーバ１０に送信する。また、通信Ｉ／Ｆ２２は、サーバ１０から送信された各種データを受信し、制御部２１に伝達する。また、通信Ｉ／Ｆ２２を単に通信部と表現する場合もある。また、通信Ｉ／Ｆ２２が物理的に構造化された回路で構成される場合には、通信回路と表現する場合もある。

入出力部２３は、端末２０に対する各種操作を入力する装置、および、端末２０で処理された処理結果を出力する装置を含む。入出力部２３は、入力部と出力部が一体化していてもよいし、入力部と出力部に分離していてもよいし、そうでなくてもよい。

入力部は、ユーザからの入力を受け付けて、当該入力に係る情報を制御部２１に伝達できる全ての種類の装置のいずれかまたはその組み合わせにより実現される。入力部は、限定でなく例として、タッチパネル２３１、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ２３４（動画像を介した操作入力）、マイク２３２（音声による操作入力）を含む。

出力部は、制御部２１で処理された処理結果を出力することができる全ての種類の装置のいずれかまたはその組み合わせにより実現される。出力部は、限定でなく例として、 タッチパネル、タッチディスプレイ、スピーカ２３３（音声出力）、レンズ（限定でなく例として３D（three dimensions）出力や、ホログラム出力）、プリンターなどを含む。

表示部２４は、フレームバッファに書き込まれた表示データに従って、表示することができる全ての種類の装置のいずれかまたはその組み合わせにより実現される。表示部２４は、限定でなく例として、タッチパネル、タッチディスプレイ、モニタ（限定でなく例として、液晶ディスプレイやOELD（organic electroluminescence display））、ヘッドマウントディスプレイ（ＨＤＭ：Head Mounted Display）、プロジェクションマッピング、ホログラム、空気中など（真空であってもよいし、そうでなくてもよい）に画像やテキスト情報等を表示可能な装置を含む。なお、これらの表示部２４は、３Dで表示データを表示可能であってもよいし、そうでなくてもよい。

入出力部２３がタッチパネルの場合、入出力部２３と表示部２４とは、略同一の大きさおよび形状で対向して配置されていてもよい。

制御部２１は、プログラム内に含まれたコードまたは命令によって実現する機能を実行するために物理的に構造化された回路を有し、限定でなく例として、ハードウェアに内蔵されたデータ処理装置により実現される。そのため、制御部２１は、制御回路と表現されてもよいし、されなくてもよい。

制御部２１は、限定でなく例として、中央処理装置（ＣＰＵ）、マイクロプロセッサ（microprocessor）、プロセッサコア（processor core）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（application-specific integrated circuit）、ＦＰＧＡ（field programmable gate array）を含む。

記憶部２８は、端末２０が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。記憶部２８は、限定でなく例として、ＨＤＤ（hard disk drive）、ＳＳＤ（solid state drive）、フラッシュメモリ、ＲＡＭ（random access memory）、ＲＯＭ（read only memory）など各種の記憶媒体を含む。また、記憶部２８は、メモリ(memory)と表現されてもよいし、されなくてもよい。

端末２０は、プログラムＰを記憶部２８に記憶し、このプログラムＰを実行することで、制御部２１が、制御部２１に含まれる各部としての処理を実行する。つまり、記憶部２８に記憶されるプログラムＰは、端末２０に、制御部２１が実行する各機能を実現させる。また、このプログラムPは、プログラムモジュールと表現されてもよいし、されなくてもよい。

マイク２３２は、音声データの入力に利用される。スピーカ２３３は、音声データの出力に利用される。カメラ２３４は、動画像データの取得に利用される。なお、カメラ２３４としては、端末２０の表示部２４が設けられている側と、表示部２４が設けられている側とは反対側と、の両面に設けられてよく、それぞれ、インカメラ、アウトカメラと呼称することもある。インカメラ、アウトカメラの切替は、端末２０のユーザからの入力により実行される。

（２）サーバのHW構成
サーバ１０は、制御部１１（ＣＰＵ）、記憶部１５、通信Ｉ／Ｆ１４（インタフェース）、入出力部１２、表示部１３を備える。サーバ１０のHWの各構成要素は、限定でなく例として、バスBを介して相互に接続される。なお、サーバ１０のHWは、サーバ１０のHWの構成として、全ての構成要素を含むことは必須ではない。限定ではなく例として、サーバ１０のHWは、表示部１３を取り外すような構成であってもよいし、そうでなくてもよい。

制御部１１は、プログラム内に含まれたコードまたは命令によって実現する機能を実行するために物理的に構造化された回路を有し、限定でなく例として、ハードウェアに内蔵されたデータ処理装置により実現される。

制御部１１は、代表的には中央処理装置（ＣＰＵ）、であり、その他にマイクロプロセッサ、プロセッサコア、マルチプロセッサ、ＡＳＩＣ、ＦＰＧＡであってもよいし、そうでなくてもよい。本開示において、制御部１１は、これらに限定されない。

記憶部１５は、サーバ１０が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。記憶部１５は、ＨＤＤ、ＳＳＤ、フラッシュメモリなど各種の記憶媒体により実現される。ただし、本開示において、記憶部１５は、これらに限定されない。また、記憶部１５は、メモリ(memory)と表現されてもよいし、されなくてもよい。

通信Ｉ／Ｆ１４は、ネットワーク３０を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信Ｉ／Ｆ１４は、ネットワーク３０を介して、端末２０との通信を実行する機能を有する。通信Ｉ／Ｆ１４は、各種データを制御部１１からの指示に従って、端末２０に送信する。また、通信Ｉ／Ｆ１４は、端末２０から送信された各種データを受信し、制御部１１に伝達する。また、通信Ｉ／Ｆ１４を単に通信部と表現する場合もある。また、通信Ｉ／Ｆ１４が物理的に構造化された回路で構成される場合には、通信回路と表現する場合もある。

入出力部１２は、サーバ１０に対する各種操作を入力する装置により実現される。入出力部１２は、ユーザからの入力を受け付けて、当該入力に係る情報を制御部１１に伝達できる全ての種類の装置のいずれかまたはその組み合わせにより実現される。入出力部１２は、代表的にはキーボード等に代表されるハードウェアキーや、マウス等のポインティングデバイスで実現される。なお、入出力部１２、限定でなく例として、タッチパネルやカメラ（動画像を介した操作入力）、マイク（音声による操作入力）を含んでいてもよいし、そうでなくてもよい。ただし、本開示において、入出力部１２は、これらに限定されない。

表示部１３は、代表的にはモニタ（限定でなく例として、液晶ディスプレイやOELD（organic electroluminescence display））で実現される。なお、表示部１３は、ヘッドマウントディスプレイ（ＨＤＭ）などであってもよいし、そうでなくてもよい。なお、これらの表示部１３は、３Dで表示データを表示可能であってもよいし、そうでなくてもよい。ただし、本開示において、表示部１３は、これらに限定されない。
サーバ１０は、プログラムＰを記憶部１５に記憶し、このプログラムＰを実行することで、制御部１１が、制御部１１に含まれる各部としての処理を実行する。つまり、記憶部１５に記憶されるプログラムＰは、サーバ１０に、制御部１１が実行する各機能を実現させる。このプログラムPは、プログラムモジュールと表現されてもよいし、されなくてもよい。

本開示の各実施形態においては、端末２０および／または、サーバ１０のＣＰＵがプログラムPを実行することにより、実現するものとして説明する。

なお、端末２０の制御部２１、および／または、サーバ１０の制御部１１は、制御回路を有するＣＰＵだけでなく、集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって各処理を実現してもよいし、そうでなくてもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、各実施形態に示す複数の処理を１つの集積回路により実現されることとしてもよいし、そうでなくてもよい。また、ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。そのため、制御部２１は、制御回路と表現されてもよいし、されなくてもよい。

また、本開示の各実施形態のプログラムP(限定ではなく、例として、ソフトウェアプログラム、コンピュータプログラム、またはプログラムモジュール)は、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよいし、されなくてもよい。 記憶媒体は、「一時的でない有形の媒体」に、プログラムPを記憶可能である。また、プログラムPは、本開示の各実施形態の機能の一部を実現するためのものであってもよいし、そうでなくてもよい。さらに、本開示の各実施形態の機能を記憶媒体にすでに記録されているプログラムPとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよいし、そうでなくてもよい。

記憶媒体は、１つまたは複数の半導体ベースの、または他の集積回路（ＩＣ）（限定でなく例として、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）など）、ハード・ディスク・ドライブ（ＨＤＤ）、ハイブリッド・ハード・ドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピィ・ディスケット、フロッピィ・ディスク・ドライブ（ＦＤＤ）、磁気テープ、固体ドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュア・デジタル・カード、またはドライブ、任意の他の適切な記憶媒体、またはこれらの２つ以上の適切な組合せを含むことができる。記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性の組合せでよい。なお、記憶媒体はこれらの例に限られず、プログラムＰを記憶可能であれば、どのようなデバイスまたは媒体であってもよい。また、記憶媒体をメモリ（memory）と表現されてもよいし、されなくてもよい。

サーバ１０および／または端末２０は、記憶媒体に記憶されたプログラムＰを読み出し、読み出したプログラムＰを実行することによって、各実施形態に示す複数の機能部の機能を実現することができる。

また、本開示のプログラムＰＤＤは、当該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して、サーバ１０および／または端末２０に提供されてもよいし、されなくてもよい。サーバ１０および／または端末２０は、限定でなく例として、インターネット等を介してダウンロードしたプログラムＰを実行することにより、各実施形態に示す複数の機能部の機能を実現する。

また、本開示の各実施形態は、プログラムPが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
サーバ１０および／または端末２０における処理の少なくとも一部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよいし、そうでなくてもよい。
端末２０における処理の少なくとも一部を、サーバ１０により行う構成としてもよいし、そうでなくてもよい。この場合、端末２０の制御部２１の各機能部の処理のうち少なくとも一部の処理を、サーバ１０で行う構成としてもよいし、そうでなくてもよい。
サーバ１０における処理の少なくとも一部を、端末２０により行う構成としてもよいし、そうでなくてもよい。この場合、サーバ１０の制御部１１の各機能部の処理のうち少なくとも一部の処理を、端末２０で行う構成としてもよいし、そうでなくてもよい。
明示的な言及のない限り、本開示の実施形態における判定の構成は必須でなく、判定条件を満たした場合に所定の処理が動作されたり、判定条件を満たさない場合に所定の処理がされたりしてもよいし、そうでなくてもよい。

なお、本開示のプログラムは、限定でなく例として、ActionScript、JavaScript(登録商標)などのスクリプト言語、Objective-C、Java(登録商標)などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装される。

＜機能構成＞
＜実施形態１＞
＜概要＞
本実施の形態に係る通信システム１においては、サーバ１０を介して、端末２０同士でメッセージングアプリケーションを介して、トークルーム上でメッセージのやり取りを行うことができる。トークルームとは、サーバ１０が提供するメッセージングサービスにおいて、メッセージングサービスを利用するユーザ同士がコンテンツのやり取りをする場所のことをいう。また、トークルーム上でやり取りされるコンテンツは、ユーザが自身の端末２０を利用して入力した文字情報、写真やスタンプなどを含む画像情報、音声ファイル、動画ファイル、データファイルなど各種のファイル情報を含むが、これらに限定するものではない。

通信システム１においては、さらに、トークルームを介して、端末２０のユーザ同士で通話を実行することができる。通信システム１において、ユーザ１０ａ、１０ｂは、図２（ａ）に示すように、通話を行う。通話を終了した以降、トークルームにおいては、ユーザ同士で電話を行ったことを示す画像情報（以下、通話アイコンと呼称する。なお、通話を行ったことを示す画像は、アイコンに限定するものではない。画像情報は、限定ではなく、通話に関連する情報の一例。）が表示される。また、本実施の形態においては、更に、図２（ｂ）に示すように、端末は、通話の内容を示すメッセージ（限定ではなく、通話情報の一例）をテキストで表示する。図２（ｂ）は、ユーザ１０ｂの端末２０ｂの表示画面例を示す図である。以下、詳細に説明する。

（１）端末の機能構成
図１に示すように、端末２０は、制御部２１により実現される機能として、メッセージ処理部２１１と、通話部２１２と、音声認識部２１３と、表示処理部２１４とを備える。

メッセージ処理部２１１は、サーバ１０が提供するメッセージングサービスから提供されるメッセージングアプリケーションに従って、ユーザからの入力および／または通信Ｉ／Ｆ１２が受信したメッセージを含むコンテンツの入力を受け付けて、表示処理部２１４に表示するように指示する。なお、ユーザからの入力を受け付けた場合には、その受け付けた入力内容を通信Ｉ／Ｆ２２にサーバ１０に宛てて送信するように指示する。なお、ここでメッセージ処理部２１１が処理する対象として、トークルームに対してユーザが入力したテキストメッセージに限らず、写真やスタンプなどを含む画像情報、音声ファイル、動画ファイル、データファイルなどを含んでよい。

また、メッセージ処理部２１１は、音声認識部２１３が音声認識により生成したテキストデータの文章量に応じて通話アイコンの表示サイズを決定して、文章量に応じた大きさの通話アイコンを表示するよう表示処理部２１４に指示してもよいし、しなくてもよい。文章量に応じた大きさで通話アイコンを表示することで、後々ユーザが確認した際に、通話アイコンの大きさから通話量を推測することができる。通話量を推測するとともに、通話を行った日時を確認することで、ユーザにその時の通話の内容を想起させやすくすることができる。このとき、通話アイコンの大きさに代えて、文章量に応じた色の変化で通話量の多少を表現することとしてもよい。

通話部２１２は、メッセージングサービス上で、サーバ１０を介して、メッセージングサービスを利用する他のユーザとの間の通話を実行する機能を有する。通話部２１２は、メッセージングサービス上の通話の入力を端末２０のユーザから受け付けた場合に、指定されている相手に対して発呼を行う機能と、メッセージングサービスを利用する他のユーザからの発呼を受け付ける（着呼する）機能とを有する。通話部２１２は、限定ではなく、一例として、ＶｏＩＰ（Voice over Internet Protocol）と呼称される機能により、通話を実行する。通話部２１２は、通話中に、通話の内容を録音して、記憶部２８に記録してもよいし、しなくてもよい。また、通話部２１２は、ビデオ通話機能を有していてもよい。即ち、通話部２１２は、ビデオ通話の際には、マイク２３２が集音した音声と、カメラ２３４が撮像した映像とを、通信Ｉ／Ｆ２２を介して、サーバ１０に送信するとともに、通信Ｉ／Ｆを介して通話相手からサーバ１０を介して送信された音声信号と映像信号とを受信し、音声信号に基づく音声をスピーカ２３３から出力させるとともに、映像信号に基づく映像を表示部２４に表示するよう表示処理部２１４に指示する。また、通話部２１２は、ユーザがトークルーム上に表示された通話を行ったことを示す画像情報（通話アイコン。あるいは、通話アイコンとは別の通話のための画像）に対する入力に基づいて、通話を開始する（発呼をかける）こととしてもよいし、しなくてもよい。すなわち、トークルーム上で通話を行ったことを示す通話アイコンに対して所定の入力を行うことで、トークルームに対応するユーザとの通話を行うべく、発呼処理が実行されてもよいし、されなくてもよい。なお、通話は、端末２０のユーザが保持するスマートスピーカのようなＡＩアシスタント機能を有するスピーカを介した通話であってもよい。その場合には、スマートスピーカを通して、他の端末との通話を行うことになるが、その場合には、スマートスピーカが収集した音声は、直接サーバ１０に送信され、サーバ１０から通話相手の端末に送信される。この場合、スマートスピーカ自体が音声認識処理を行って、テキストメッセージをサーバ１０に送信し、サーバ１０が、スマートスピーカに対応付けられているユーザの端末２０のトークルームに、通話の内容を示すテキストメッセージを送信して、端末２０の表示部２４がトークルーム上に通話内容を示すメッセージを表示することとしてもよいし、スマートスピーカは音声をサーバ１０に送信するのみとし、サーバ１０が音声認識処理を行って、通話内容を示すテキストメッセージを、スマートスピーカに対応するユーザの端末２０に送信して、端末２０の表示部２４が特ルーム上に通話内容を示すメッセージを表示することとしてもよい。また、スマートスピーカを利用した他の手法としては、端末２０の通信Ｉ／Ｆ２２は、一端、スマートスピーカからユーザの音声を受信し、通話部２１２は、スマートスピーカが収集した音声を受信し、その音声を、通信Ｉ／Ｆ２２を介して、サーバ１０に送信する構成としてもよい。

音声認識部２１３は、通話部２１２により実行されている通話の音声を認識し、テキストデータに変換する機能を有する。音声認識部２１３による音声認識は、通話部２１２により記憶部２８に記録された通話の録音データに対して実行するものであってもよい。音声認識部２１３は、音声認識により得られたテキストデータを、記憶部２８に記録してもよいし、しなくてもよい。音声認識部２１３は、音声認識により得られたテキストデータを、メッセージ処理部２１１に送信する。音声認識部２１３は、音声認識により得られたテキストデータを話者ごとに時系列に沿って区分し、話者を示す情報と音声認識して得られた区分後のテキストデータとを対応付けて、メッセージ処理部２１１に送信する。音声の内容から話者を特定するには、会話を行っている音声の特徴量（限定ではなく一例として、周波数スペクトル）を抽出することによって、会話されている内容各々を分類し、話者を特定することができる。

表示処理部２１４は、サーバ１０が提供するメッセージングサービスから提供されるメッセージングアプリケーションに従って、ユーザからの入力および／または通信Ｉ／Ｆ１２が受信したメッセージを含むコンテンツの入力を受け付けて、表示処理部２１４に表示するように指示する。なお、ユーザからの入力を受け付けた場合には、その受け付けた入力内容を通信Ｉ／Ｆ２２にサーバ１０に宛てて送信するように指示する。メッセージ処理部２１１は、端末２０が送信したコンテンツ（限定ではなく、第２コンテンツの一例）と、端末２０以外のユーザが保持する端末が送信したコンテンツ（限定ではなく、第１コンテンツの一例）とで、その表示態様を代えて表示する（限定ではなく一例として、他のユーザが送信したコンテンツを表示部２４の表示領域の左側に、端末２０のユーザが送信したコンテンツを表示部２４の表示領域の右側に表示する、あるいは、各ユーザで送信したコンテンツの背景色を変更するなど）こととしてよい。他のユーザが送信したコンテンツを表示部２４の表示領域の左側に表示するとは、表示領域の左側に寄せてコンテンツを表示することを意味する。即ち、図２（ｂ）のトークルームの表示例に示されるように他のユーザが発話した音声に対応するメッセージの左端を、表示領域の左側に寄せて表示する。同様に、端末２０のユーザが送信したコンテンツを表示部２４の表示領域の右側に表示するとは、表示領域の右側に寄せてコンテンツ（メッセージ）の右端を寄せて表示することを意味する。即ち、図２（ｂ）のトークルームの表示例に示されるように、端末２０のユーザの発話に対応するメッセージの右端を端末２０の表示領域の右側に寄せて表示する。また、表示処理部２１４は、音声認識部２１３が認識した音声に基づくテキストメッセージについて、端末２０のユーザが発話した通話内容を示すメッセージ（限定ではなく第２情報の一例）を端末２０のユーザに対応付けて表示領域に表示し、通話相手のユーザが発話した通話内容を示すメッセージ（限定ではなく第１情報の一例）を通話相手のユーザに対応付けて表示領域に表示する。

（２）サーバの機能構成
図１に示すように、サーバ１０は、制御部１１により実現される機能として、メッセージ処理部１１１を備える。

メッセージ処理部１１１は、各ユーザ間のやり取りを行うためのトークルームを管理する機能を備える。メッセージ処理部１１１は、サーバ１０が提供するコンテンツングサービスの提供を受ける端末間のコンテンツを含むコンテンツのやり取りを中継する。即ち、あるユーザからトークルームへのコンテンツが送信された場合に、そのトークルームを特定し、トークルームに属する他のユーザにコンテンツを送信する。

＜動作＞
図３は、本実施例に係る通信システム１において、各装置の間のやり取りの一例を示すシーケンス図である。図３に示すシーケンス図は、メッセージアプリケーション上でユーザ同士が通話を行った際のやり取りを示す図である。

図３に示すように、まず、端末２０ａは、ユーザからの入力に従って、メッセージアプリケーション上から、通話相手を指定して、発呼を行う（ステップＳ３０１）。つまり、端末２０ａは、サーバ１０に、通話相手の情報を含む発呼要求を送信する。

サーバ１０は、端末２０ａから、発呼要求を受信すると、その発呼要求に含まれる通話相手の情報から通話相手のユーザ（端末２０ｂ）を特定し、特定したユーザ（端末２０ｂ）に、発呼信号を送信する（ステップＳ３０２）。

端末２０ｂは、サーバ１０から送信された発呼信号を受信する。即ち、端末２０ｂは、メッセージアプリケーション上で、端末２０ａのユーザからの通話要求を着呼する（ステップＳ３０３）。そして、端末２０ａ、２０ｂは、メッセージアプリケーション上でサーバ１０を介して通話を行う（ステップＳ３０４）。ここで、通話の内容は、録音されてもよいし、されなくてもよい。そして、端末２０ａのユーザと、端末２０ｂのユーザとは、通話を終了する入力をそれぞれの端末に対して行って、通話を終了する（ステップＳ３０５）。

通話の終了後に、端末２０ｂは、通話の内容に対する音声認識を行って、通話の内容をテキスト情報に変換する（ステップＳ３０６）。なお、ステップＳ３０４において、通話の内容を録音する場合は、通話の終了後でも音声認識処理を実行できるが、録音しない場合には、通話開始直後からオンタイムでの音声認識処理を実行することになる。端末２０ｂは、音声認識により得られたメッセージ（テキストメッセージ）を記憶する（ステップＳ３０７）。なお、音声認識により得られたメッセージは、端末２０ｂのみならず、サーバ１０や端末２０ａに送信されて、サーバ１０や端末２０ａにおいて記憶されてもよい。また、端末２０ｂではなくサーバ１０にのみ記憶されることとしてもよい。通信システムに関わるいずれかの装置において、音声認識により得られたテキストメッセージのデータが記憶され、トークルームでの表示を実現することができる。

端末２０ｂは、通話内容の音声認識処理を実行すると、音声認識したテキストデータをメッセージとしてメッセージングアプリケーションによって、端末２０の表示部２４の表示領域に表示する（ステップＳ３０８）。

なお、図３には図示していないが、端末２０ａにおいても、ステップＳ３０６〜Ｓ３０８の処理、即ち、通話の内容に対して音声認識処理を実行し、音声認識したテキストデータを表示する処理を実行することとしてもよいし、しなくてもよい。また、通話は、サーバ１０を介して行われることから、音声認識処理は、サーバ１０が実行することとしてもよく、その場合には、サーバ１０が音声認識して得た通話の内容を示すテキストデータは、通話に関わる各ユーザ（端末２０）に送信され、それぞれの端末のトークルーム上で表示される。このように、通話の内容が自動的にテキストデータに変換されて、トークルーム上で表示することによって、後々にユーザが実行した通話の内容を思い出したいときにも、確実に通話の内容を認識することができる。

図４は、図３に示すシーケンス図の処理を実現するための端末２０の動作例を示すフローチャートである。

端末２０の制御部２１は、メッセージングアプリケーション上で通話が開始されたか否かを検出する（ステップＳ４０１）。これは、メッセージングアプリケーション上で、ユーザからの入力に従って、端末２０からの発呼に対する応答があった場合、または、他の端末からの発呼に対する着呼入力があったか否かによって通話部２１２により検出することができる。

端末２０の制御部２１は、通話部２１２が通話している間、通話の音声を録音し、録音した音声データを記憶部２８に記憶する（ステップＳ４０２）。

端末２０の制御部２１は、入出力部２３を介して、ユーザからの通話終了入力があるか否かに基づいて、通話が終了したか否かを判定する（ステップＳ４０３）。通話が終了していない場合には（ステップＳ４０３のＮＯ）、通話が終了するまで待機する。

通話が終了したと判定された場合は（ステップＳ４０３のＹＥＳ）、制御部２１は、録音を終了する。音声認識部２１３は、録音されている音声データに対して音声認識処理を実行する。そして、音声認識により得られたテキストメッセージを記憶部２８に記憶する（ステップＳ４０４）。即ち、音声認識部２１３は、録音されている音声データを、通話内容を示すテキストデータに変換する。

なお、音声認識により得られたテキストメッセージは、サーバ１０に送信されてもよいし、されなくてもよい。さらには、サーバ１０がテキストメッセージを受信した場合に、通話相手の端末にも送信されてもよいし、送信されなくてもよい。端末２０が音声認識により得たテキストメッセージを、サーバ１０又は通話相手の端末に送信することにより、通話相手の端末においても通話内容を示すメッセージが、テキストで表示することができ、通話相手もまた、後に通話の内容を確認したときに、メッセージを見て、通話の内容を確認することができる。通話相手の端末は、受信したテキストメッセージを用いて、トークルーム上に、端末２０と同様に表示することとしてもよいし、しなくてもよい。

音声認識部２１３は、音声認識して得られたテキストデータを、それぞれ時系列順で話者ごとに区分けする（ステップＳ４０５）。このとき、音声認識部２１３は、同じ話者が話した内容のテキストデータであっても、所定の基準で、区分けすることとしてもよいし、しなくてもよい。限定ではなく一例として、文単位で区分けすることとしてもよいし、しなくてもよい。音声認識部２１３は、区分けしたテキストデータを、表示処理部２１４に伝達する。

そして、表示処理部２１４は、音声認識部２１３が区分けした各テキストデータを、対応する話者に対応付けて、トークルーム上のメッセージとして、表示部２４に表示する（ステップＳ４０６）。つまり、端末２０の制御部２１は、端末２０を保持するユーザの音声を音声認識して得たテキストメッセージ（限定ではなく、第２情報の例）を、端末２０のユーザに対応付けて表示し、通話相手の音声を音声認識したテキストメッセージ（限定ではなく、第１情報の例）を、通話相手に対応づけて表示する。

制御部２１は、入出力部２３を介して、ユーザからのメッセージングアプリケーションの終了入力があるか否かを判定する（ステップＳ４０７）。終了入力がない場合には（ステップＳ４０７のＮＯ）、ステップＳ４０１の処理に戻る。一方で、終了入力があった場合には（ステップＳ４０７のＹＥＳ）、処理を終了する。このように、本実施の形態に係る端末２０によれば、図２（ａ）に示されるように、メッセージングアプリケーション上で通話を実行した場合に、図２（ｂ）に示されるように、その通話内容を自動的にテキストに変換してメッセージとして表示することができる。したがって、後々、ユーザが通話をしたときの会話内容を想起するための一助とすることができる。

図５は、端末２０における通話の内容を示すメッセージの表示に係る処理の動作例を示すフローチャートである。端末２０は、トークルーム上で、ユーザ同士が通話を行った場合であって、その通話内容のメッセージの表示・非表示の切替ができる機能を有してもよいし、有さなくてもよい。図５は、メッセージの表示・非表示の切替ができる場合の端末２０の動作例を示すフローチャートである。ここでは、端末２０の表示部２４にトークルームが表示されており、且つ、過去にメッセージングアプリケーション上で、通話を行ったことがある場合における端末２０の動作を示すフローチャートである。なお、図５に示す処理は、ユーザが、端末２０においてメッセージングアプリケーションを実行し、トークルームを表示している過程での処理である。

端末２０の表示部２４には、トークルームが表示され、メッセージングアプリケーション上で過去に通話を行ったがある場合には、トークルームに通話を行ったことを示す画像情報（通話アイコン）が表示される。端末２０の制御部２１は、トークルーム上に表示されている通話アイコンに対する入力（限定ではなく一例としてタッチ入力）が、入出力部２３に対して成されたか否かを判定する（ステップＳ５０１）。

通話アイコンに対するタッチ入力があった場合には（ステップＳ５０１のＹＥＳ）、制御部２１は、通話アイコンに対応するメッセージの内容が展開済みであるか否かを判定する（ステップＳ５０２）。メッセージが展開されているとは、通話の内容を示すメッセージが表示されていることと同義である。

通話メッセージが展開済みである場合には（ステップＳ５０２のＹＥＳ）、表示処理部２１４は、表示されている通話メッセージを非表示にする（ステップＳ５０３）。一方で、通話メッセージが展開済みでない場合には（ステップＳ５０２のＮＯ）、表示処理部２１４は、通話メッセージの内容を表示部２４に表示して（ステップＳ５０４）、終了する。なお、通話終了時において、端末２０がトークルームにおいてメッセージを展開状態で表示するか、展開されていない状態で表示するかは、任意であり、ユーザが端末２０に対してした設定により定められてもよい。また、通話の内容のメッセージを表示する際に、通話の内容を音声認識して変換したテキストメッセージの全てを表示することとしてもよいし、一部の抜粋のみを表示することとしてもよい。一部の抜粋を表示する場合には、テキストメッセージを解析することにより、その通話において重要な内容と推察される内容を示すテキストメッセージを表示することとしてよい。

図６は、図４に示す端末２０においてトークルーム上で通話を行った場合の、通話の前後でのトークルームの表示の変化例を示す図である。図６（ａ）は、通話前のトークルームの表示例を示しており、図６（ｂ）は、通話後のトークルームの表示例を示している。

図６（ａ）には、端末２０のユーザの、あるトークルームの表示例を示しており、２２時１１分に送信されたメッセージ６０１が表示されている状態を示している。この状態で、端末２０のユーザが、トークルームに関連する他のユーザと通話を行ったとする。この通話の内容は、記録されて音声認識処理により、テキストメッセージに変換される。そして、テキストメッセージは、通話に関連した各ユーザにメッセージを対応付けて表示する。つまり、端末２０は、図６（ｂ）に示すように、メッセージ６０１に続けて、トークルーム上に通話を行ったことを示す通話アイコン６１１を表示する。通話アイコン６１１には、通話を行った日時情報６１２（通話の開始日時でもよいし、終了日時でもよい）が対応付けられて表示されてもよいし、されなくてもよい。そして、端末２０は、通話アイコン６１１に続けて、点線６１３で囲った部分に示すように、通話の内容を音声認識により、テキストに変換したメッセージとして、通話内容を表示する。これにより、端末２０は、トークルーム上に通話した内容を示す情報をメッセージという形式で残すことができる。

図７は、図５に示す端末２０における処理を行った場合の表示例を示す図である。図７（ａ）は、通話の内容を示すメッセージを表示していない状態を示す画面図であり、図７（ｂ）は、通話の内容を示すメッセージを展開して表示している状態を示す画面図である。

図７（ａ）に示すように、端末２０の表示部２４には、メッセージングアプリケーションのトークルームが表示される。そして、そのトークルーム上には、通話を行ったことを示す通話アイコン６１１が表示されているとする。ユーザは、このときの通話内容を知りたい場合には、図７（ａ）に示すように、通話アイコン６１１に対して、自身の指やスタイラスなどを用いてタッチ入力、即ち、通話内容のメッセージの展開の指示を行う。

図７（ａ）に示すように、通話メッセージが展開（表示）されていない状態で、通話アイコン６１１にタッチ入力を検出すると、端末２０は、対応する通話の内容を示すメッセージを展開、即ち、図７（ｂ）に示すように、表示部２４に表示する。図７（ｂ）に示されるように、通話アイコン６１１の下には、通話の内容をメッセージ形式で表示した例を示している。

また、図７（ｂ）に示す表示態様のように、通話の内容を示すメッセージが表示されている状態で、通話アイコン６１１に対するタッチ入力が検出された場合には、端末２０の表示処理部２１４は、図７（ｂ）に示す表示態様から、図７（ａ）に示す表示態様に変更することができる。なお、通話後の最初の表示態様としては、図６（ｂ）に示す表示態様であってもよいし、図７（ａ）に示す表示態様であってもよい。また、いずれの表示態様を初期の表示態様とするかについては、端末２０においてメッセージングアプリケーションに対して、端末２０のユーザが設定可能に構成されていてもよく、端末２０はユーザが設定した設定内容にしたがって、図６（ｂ）に示す表示態様と、図７（ａ）に示す表示態様とのいずれかを表示することとしてよい。

図６、図７に示したように、通話アイコン６１１に対して、通話の内容を示すメッセージを端末に表示させることにより、端末２０は、ユーザに思い出したい会話を思い出させることができる。なお、ここでは、メッセージを展開する例を示しているが、通話の内容を示すメッセージの表示方法は、展開に限るものではなく、限定ではなく一例として、ユーザが通話アイコン６１１の付近をタッチしているときにメッセージをポップアップさせる表示であってもよいし、トークルームとは別の画面に遷移しての表示であってもよい。なお、通話アイコン６１１として、通話に関わるユーザの画像を表示することとしてもよく、その場合に、通話アイコン６１１の代替として表示してもよいし、通話アイコン６１１とともに表示してもよい。また、ユーザの画像は、限定ではなく一例として、ユーザの顔写真や、メッセージングアプリケーション上でユーザが用いているプロフィール画像や、通話をした際にインカメラを用いて撮像したユーザの顔写真（あるいはその加工物）などを用いることができるが、これらに限定するものではない。

図８は、通話アイコン６１１の一表示態様を示す図である。図８（ａ）は、ユーザが指を通話アイコン６１１に近づけている例を示しており、図８（ｂ）は、ユーザの指が一定以上通話アイコン６１１に近づいた例を示している。図８は、通話の内容を示すメッセージが展開されていない状態を示している。

図８の矢印８０１に示すように、ユーザは、自身の指を、通話アイコン６１１ａに近づけるとする。このとき、端末のタッチパネル２３１は、ユーザの指がタッチパネル２３１に接触している状態、または、一定以上近接している状態を検出し、その操作位置を検出する。そして、端末２０の制御部２１は、検出した操作位置が示すタッチパネル２３１上の座標が、通話アイコン６１１ａの表示座標に近づいているかを判定する。そして、ユーザの指が、通話アイコン６１１ａに近づいていると判定した場合に、端末２０の制御部２１は、図８（ｂ）に示すように通話アイコン６１１ｂを拡大表示することとしてもよいし、しなくてもよい。通話アイコン６１１ｂを拡大表示することで、ユーザに通話アイコン６１１ｂへのタッチを容易にすることができる。そして、拡大表示された通話アイコン６１１ｂをタッチすることで、図７に示したように、メッセージの展開・非展開を切替える操作を行うことができる。

また、図６や図７においては、メッセージを通話アイコン６１１の下に展開する例を示したが、通話の内容を示すメッセージの表示方法は、この例に限定するものではない。限定ではなく一例として、端末２０は、通話内容を示すメッセージの内容を、図９（ａ）に示すように、ポップアップメッセージ９０１として表示するように構成されてもよい。また、あるいは、端末２０は、通話内容を示すメッセージの内容を、図９（ｂ）に示すように、トークルームとは別の画面に遷移して、表示するように構成されてもよい。また、その際には、元のトークルームの表示に戻るためのリターンアイコン９０２が表示されてもよいし、表示されてなくてもよい。リターンアイコン９０２をタッチすることにより、元のトークルームの表示に戻ることができる。

なお、実施形態では、音声の特徴量を用いて通話における話者を特定しているが、発話事に、各発話を取得した端末がその音声信号に対して、各端末（またはユーザ）を識別可能な情報を付与することで、各音声の話者を区別できるように構成してもよい。また、スマートスピーカが複数のユーザの音声を拾って別の端末のユーザと通話を行う場合には、スマートスピーカが拾った音声それぞれの話者は、それぞれの話者の位置情報を音声と共に受信することで、話者を特定してもよい。これは、スマートスピーカのマイクとして指向性マイクを用いることで、音声がどの方向からの音声からかで話者を区別できるので、スマートスピーカが音声に対して、音声を受信した方向を示す情報を付与することで話者の区別ができる。これにより、メッセージ処理部２１１では、話者に対応付けて通話内容を示すメッセージを表示することができる。また、音声認識部２１３は、連続して同じ話者が会話を続けている場合であっても、文の切れ目、会話の切れ目、文脈の切れ目等によって、音声認識して得られたテキストデータを区分してもよいし、しなくてもよい。また、この区分は単純に文字数が所定の文字数を超えた時点で区切るように構成されてもよいし、しなくてもよい。また、音声認識部２１３は、音声認識により得られたテキストデータのうち周囲のノイズに関連する内容は削除することとしてもよい。これは、既知のノイズキャンセリング技術を用いることとしてもよいし、文脈解析を用いて、不自然な語がテキストデータの中にある場合にその内容を除去することで実現してもよい。また、音声認識部２１３は、得られたテキストデータにおいて、相槌に関するメッセージは削除することとしてもよいし、しなくてもよい。また、あるいは、相槌を打っている場合には、相槌をうったことを示す情報として画像情報（限定ではなく一例として、相槌を打っている様子を示すスタンプ）を用いて相槌を表現することとしてもよい。

＜実施形態の効果＞
以下、実施形態１の効果について述べる。

上記実施形態に係る端末２０のユーザは、端末２０を用いて、サーバ１０が提供するメッセージングアプリケーションを介して、他のユーザと通話を行う。そして、端末２０は、通話の内容を、端末２０の表示部２４の表示領域に、メッセージングアプリケーションのトークルームの中で、通話の内容を示す情報を表示する。具体的には、端末２０は、通話の内容に対して音声認識処理を行うことにより、テキストデータに変換する。そして、端末２０は、変換したテキストデータを、メッセージングアプリケーションのトークルームに表示する。

この構成により、端末２０のユーザは、後に通話の内容を思い出したいときに、通話の内容を示す情報を確認することで、通話の内容を想起する一助とすることができる。また、端末２０は、ユーザに特別な操作を強いることなく、通話の内容をテキストメッセージに変換して表示することができる。

また、端末２０は、トークルーム上に通話を行ったことを示す通話アイコンを表示することとしてよい。そして、その通話アイコンに対するユーザからの入力によって、通話の内容を示すメッセージの表示、非表示を切り替えることとしてよい。

これにより、端末２０は、メッセージを非表示とすることで、通話が長引いた場合に通話の内容を表示するにあたってメッセージの量が膨大になることでトークルームが見づらくなるのを防止することができるとともに、通話アイコンに対する入力を行うことで、メッセージを展開して、ユーザに通話の内容を認識させることができる。

また、端末２０は、通話の内容に対して音声認識処理を行って得られたテキストメッセージの内、全てを表示しなくてもよいし、一部を表示してもよいし、全てを表示してもよい。また、いずれの表示態様にするかは、端末２０に対するユーザの設定により決定されてもよい。

すべてを表示しない場合には、トークルームの表示内容が簡潔になり、ユーザにとってトークルームにおける操作が容易になり、通話の内容の一部だけ表示することで、トークルームの簡潔性と通話の内容をユーザに認識させることを両立させることができ、全てを表示した場合には、ユーザにより詳細に通話の内容を認識させることができる。また、いずれの表示態様を用いるかをユーザが選択、設定することにより、端末２０は、ユーザに対する利便性を提供することができる。

また、端末２０は、通話を行った際に通話を行ったことを示す情報として、通話相手の画像（限定ではなく一例として顔画像、あるいは、メッセージングアプリケーション上で用いているプロフィール画像）を用いてもよく、更に、端末２０のユーザの画像（限定ではなく一例として顔画像、あるいは、メッセージングアプリケーション上で用いているプロフィール画像）も併せて表示することとしてもよい。

これにより、端末２０は、ユーザに、通話を行ったこと、そして、通話相手が誰であったかを一目で認識させることができる。

また、端末２０は、通話の内容を音声認識処理によりテキストデータに変換する際に、発話しているユーザが誰であるかを特定する。そして、特定したユーザに対応するように変換してテキストデータを、他方のユーザに対して送信したメッセージであるかのように表示する。

これにより、端末２０は、通話中の端末２０のユーザと、通話相手のユーザとを区別して、メッセージを表示することができるので、それぞれの発言が誰の発言であったかを、後々確認させることができる。

また、端末２０は、メッセージングアプリケーション上で、通話を行ったことを示す画像情報をトークルーム上に表示し、その画像情報に対するユーザの入力が有った場合に、そのトークルームに紐づけられているユーザとの通話を開始するように構成されてもよい。

この構成により、ユーザは、トークルームに関連するユーザと今一度通話をしたくなった場合にも、ややこしい入力をすることなく、手軽に発呼することができる。

＜実施形態２＞
上記実施形態１においては、メッセージングアプリケーションのユーザ間で通常の音声通話を行った場合の例を説明した。本実施形態２においては、メッセージングアプリケーションのユーザ間でビデオ通話を行った場合の例について説明する。

図１０は、ユーザがビデオ通話を行った場合の端末の動作例を示すフローチャートである。本実施形態に係るメッセージングアプリケーションにおいては、ビデオ通話による通話も可能である。ビデオ通話とは、所謂、テレビ電話機能のことである。図１０に示すように、端末２０の通話部２１２は、サーバ１０を介して、通話相手との間でビデオ通話を開始する（ステップＳ１００１）。これは、メッセージングアプリケーション上において、端末２０のユーザが発呼指示を行う、もしくは、他のユーザからの発呼を受けることにより開始する。

通話部２１２は、ビデオ通話を開始すると、入出力部２３のカメラ２３４に撮像の開始を指示する。カメラ２３４は、インカメラとして、端末２０の表示部２４側、即ち、端末２０のユーザを撮像する。また、通話部２１２は、マイク２３２に対して、端末２０のユーザの会話音を取得するように指示する。通話部２１２は、ビデオ通話中、カメラ２３４が撮像した映像、および、マイク２３２が取得した音声を、通信Ｉ／Ｆ２２を介して、サーバ１０に送信する。カメラ２３４が撮像した映像、および、マイク２３２が取得した音声は、サーバ１０から通話相手の端末に送信される。また、端末２０の通信Ｉ／Ｆ２２は、逐次サーバ１０から逐次通話相手の端末から送信された映像と音声を受信し、受信した映像を表示部２４に表示するように表示処理部２１４に指示するとともに、受信した音声をスピーカ２３３から出力するよう入出力部２３に指示する。通話部２１２は、ビデオ通話において、端末２０が撮像した映像および取得した音声、ならびに、通話相手の端末から送信された映像および音声を、記憶部２８に記憶する。

端末２０は、端末２０からのビデオ通話の終了の指示入力、もしくは、通話相手が通話を切ることによりビデオ通話を終了する（ステップＳ１００３）。

端末２０の音声認識部２１３は、録画しておいたビデオ通話の音声に対して音声認識を行う（ステップＳ１００４）。また、端末２０の制御部２１は、画像の内容からユーザの感情を特定してもよいし、しなくてもよい。

端末２０の音声認識部２１３は、音声認識を終了すると、音声認識により得られるテキストメッセージを、トークルームに表示する（ステップＳ１００５）。また、制御部２１が、ユーザの感情を特定していた場合には、メッセージを特定したユーザの感情に応じた表示態様でメッセージを表示することとしてもよいし、しなくてもよい。ここで、ユーザの感情に応じた表示態様とは、メッセージを表示するためのバブル（吹き出し）の形を変更（例えば、ユーザが怒っている場合には、吹き出しの形をギザギザにしたりする）したり、メッセージに特定の感情を示す文字を付与したり（例えば、ユーザが怒っている場合には、＃をメッセージの最後に付与したり、ユーザが喜んでいる場合には、♪記号をメッセージの最後に付与したりする）、感情に応じた色で文字を表示したりすることであってよい。また、あるいは、ユーザの感情を示す顔文字や画像情報（限定ではなく、一例としてスタンプ）を併せて表示するようにしてもよい。

端末２０の制御部２１は、ビデオ通話の間に、ユーザがアウトカメラへの切替又はアウトカメラの起動を行ったか否かを判定する（ステップＳ１００６）。これは、端末２０のユーザがアウトカメラへの切替又は起動を行った場合には、端末２０に対するユーザからの入力によって検出することができ、通話相手がアウトカメラへの切替を行って撮像した映像を送信した場合には、映像に不自然な切れ目が発生するので、その切れ目を検出することにより検出することができる。

ビデオ通話中にアウトカメラへの切替が行われていた場合には（ステップＳ１００６のＹＥＳ）、制御部２１は、アウトカメラが撮影して得た映像のなかの一フレームを静止画として、あるいは、アウトカメラが撮影した間に得られた映像を動画として、トークルーム上のビデオ通話の内容をテキストメッセージに変換して表示したメッセージに対応付けて表示する（ステップＳ１００７）。動画の場合は、アウトカメラに切換えたタイミングから再びインカメラに切換えたタイミングまでの間の動画であるとしてよいが、これに限るものではない。なお、この静止画もしくは動画の挿入位置は、任意であってよく、例えば、ビデオ通話を音声認識して変換したテキストメッセージの最初であってもよいし、最後であってもよいし、アウトカメラへの切替が発生したタイミングであってもよい。ビデオ通話中において、アウトカメラへの切替が行われていない場合には（ステップＳ１００７のＮＯ）、ステップＳ１００８の処理に移行する。

制御部２１は、通話中に、位置情報に関する入力があるか否かを判定する（ステップＳ１００８）。ここで、位置情報に関する入力とは、端末２０もしくは通話相手の端末の位置が特定できる情報の入力であれば、どのような態様での入力であってもよく、限定ではなく一例として、音声もしくはユーザもしくは通話相手からの直接入力による地名や施設の名称の入力、ユーザからの位置情報（ＧＰＳによる位置情報）の取得指示入力、常時起動されているＧＰＳによる自動的な位置情報の取得、通話相手からの位置情報の送信、ユーザからの位置を特定可能な画像や情報の入力など、が有り得るが、これらに限定するものではない。通話中に位置情報に関する入力がなかった場合には（ステップＳ１００８のＮＯ）、処理を終了する。

一方、通話中に位置情報に関する入力があった場合には（ステップＳ１００８のＹＥＳ）、制御部２１は、位置情報に関連する画像をトークルームに挿入する（ステップＳ１００９）。ここで、位置情報に関連する画像とは、端末２０の位置、もしくは、通話相手の端末の位置に関連する画像であり、関連すればどのような画像であってもよい。

ユーザもしくは通話相手から音声もしくは直接入力による地名や施設に関する入力が通話中にあった場合には、その地名の周辺を含む地図情報を画像として取得して挿入してもよいし、施設の位置を示す地図情報、あるいは、施設の外観を示す写真などを取得して挿入してもよい。

また、ユーザからの位置情報の取得指示入力があった場合には、取得した位置情報を含む周辺地図の画像を取得して挿入してもよい。同様に通話相手が位置情報を通話中に送信してきた場合にも、受信した位置情報を含む周辺地図の画像を取得して挿入してもよい。

また、ユーザ（もしくは通話相手）から自身がいる店舗や施設等のホームページを、ユーザの位置に関する情報として受け付けて、そのホームページのアドレスと代表画像を、取得して挿入してもよいし、ホームページの画像を挿入してもよいし、ホームページから特定できる場所を示す地図情報を取得して挿入してもよい。

なお、ステップＳ１００８、Ｓ１００９の処理は、ビデオ通話に限らず、通常の通話時にも実行してもよい。また、画像の挿入は１つに限るものではなく、任意の数であってよく、数に制限を設けてもよいし、設けなくてもよい。また、ステップＳ１００４とステップＳ１００５の処理、ステップＳ１００６とステップＳ１００７の処理、そして、ステップＳ１００８とステップＳ１００９の処理の三つの処理は、全てを実施しなくともよく、少なくとも１つを実施してもよいし、これらの三つの処理のうち少なくとも二つを組み合わせて実行することとしてもよい。

また、ビデオ通話中にアウトカメラを起動したとき（アウトカメラに切換えたとき）に撮像した画像（静止画、動画）を、通話の内容を示す情報として、通話の内容を示すメッセージとともに（あるいは、メッセージを表示することなく）、トークルームに表示することとしたが、これもその限りではない。まず、トークルームの通話の内容を示す画像として表示する画像は、アウトカメラにより撮像されたものに限らず、インカメラで撮像されたものであってもよい。したがって、インカメラにより撮像された画像の一例として、通話に係るユーザそれぞれの顔画像がトークルームに表示されることとしてもよい。

また、画像の表示は、メッセージ間に挿入する形で表示する態様に限るものではない。例えば、通話の内容を示すメッセージを表示している区間の背景画像として表示することとしてもよい。このとき、メッセージ全体の背景画像として表示することに限らず、取得した画像に関連する会話を行っている期間のみ表示するように構成されてもよい。画像に関連する会話を行っている期間は、通話の内容を音声認識処理して得られたテキストメッセージを解析することにより実現することができる。この一例を、図１１を用いて説明する。

以下には、通話時の位置に関する情報の入力例と、その際のトークルームの表示例についての具体例を説明する。

図１１は、通話の一例と、そのときの通話後に表示されるトークルームの表示例を示している。図１１（ａ）は、通話の一部の様子を示しており、図１１（ｂ）は、図１１（ａ）に続く状況の一例を示している。また、図１１（ｃ）は、通話後のトークルームの表示例を示している。

図１１（ａ）に示すように、端末２０ａのユーザ１０ａが、端末２０ｂのユーザ１０ｂに、所在を訪ねる通話またはビデオ通話を行ったとする。これに対して、ユーザ１０ｂは、図１１（ｂ）に示すように、自身が存在する場所の情報として、近くの施設の写真を撮影したとする。

図１１（ａ）、（ｂ）に示すようなやり取りを通話中に行った場合には、一例として、端末２０は、図１１（ｃ）に示すように、端末２０ｂが取得した端末２０ｂに関する位置情報に基づく画像１１０１をトークルームに挿入する。ここで、端末２０ｂは、図１１（ｂ）に示す撮影によって得られた画像を、そのまま、端末２０ｂの位置に関する画像として、トークルームに表示することとしてもよいし、撮影した画像から抽出可能な位置に関連する情報を画像認識処理により抽出したうえで、その情報から、画像をネットワークから取得して表示することとしてもよい。図１１（ｂ）の例でいえば、ユーザ１０ｂが端末２０ｂを用いて撮像した画像から、「ＡＡマート」という文言を抽出し、その文言をインターネットで検索して、検索により得られた画像（限定ではなく一例として、ホームページの画像）、図１１（ｃ）に示すように表示する。図１１（ｃ）の例では、画像１１０１を、撮影を行ったタイミングに同期するように、図１１（ｂ）でユーザ１０ｂの発話に続く形で、表示しているが、前述のように、画像１１０１は、トークルームの背景画像として表示することとしてもよい。また、あるいは、通話の内容を示すメッセージの先頭部分に挿入してもよいし、終端部分に挿入してもよい。

図１２（ａ）は、端末の位置に関する情報に基づいて、取得した画像を、トークルームの背景として表示した表示例を示す図である。そして、図１２（ｂ）は、図１２（ａ）に示すトークルームをスクロールアップして表示した状態の表示例を示す図である。図１２（ａ）に示すように、端末２０は、トークルームの背景画像として、通話中に特定された端末に関する位置の情報から特定された画像を表示する。

図１２（ａ）に示すように、端末２０は、トークルームの背景画像として通話中に取得した画像（限定ではなく一例として、端末の位置に関する画像、ユーザが通話中に入力した画像、ユーザが通話中に撮影した画像、通話の内容に関する画像など）を表示し、その背景画像に重畳して、通話内容を示すメッセージを表示する。図１２（ａ）に示すように、メッセージの背景画像として、通話中に特定された、端末に関する位置の情報から特定された画像を表示することで、通話中の内容を示すメッセージの内容とともに、ユーザに通話の内容をより想起させやすくすることができる。また、この時、背景画像として表示するのは、関連する話題のメッセージを表示する区間Ｔ１の間のみとしてもよいし、しなくてもよい。つまり、図１２（ｂ）に示すように、区間Ｔ２においては背景画像として話題中に取得した端末の位置に関する情報に基づく画像を表示し、区間Ｔ３においては、背景画像を表示しない。すなわち、画像に関連する話題のメッセージの表示区間と、その話題中に取得できた端末の位置に関する情報に基づいて取得した画像を背景画像として表示する表示区間とを連動させることで、通話時の臨場感を再現することができ、ユーザに通話の内容をより想起させやすくすることができる。

また、表示の他の例として、図１３を用いて説明する。図１３（ａ）は、通話の一部の様子を示しており、図１３（ｂ）は、図１３（ｂ）に続く状況の一例を示している。そして、図１３（ｃ）は、図１３（ａ）、図１３（ｂ）に示される通話がなされた場合に、端末２０に表示されるトークルームの表示例を示している。

図１３（ａ）に示すように、ユーザ１０ａは、通話またはビデオ通話を介して、端末２０ｂのユーザ１０ｂに、ある場所への往訪を提案しており、これに対して、ユーザ１０ｂは、その場所の説明を求めている。

ユーザ１０ｂからの要求に対して、ユーザ１０ａは、自身の端末２０ａを用いて、通話中に、位置情報の入力を行う。この位置情報の入力は、例えば、行先の店舗（またはそのそば）に居るのであれば、位置情報の取得の指示入力であってもよいし、ユーザが認識している行先の位置情報（限定ではなく一例として、経緯度情報であったり、住所の情報であったりしてよい）の直接入力であってもよいし、行先に関連する情報を掲載したウェブページであってもよい。

このような図１３（ａ）、図１３（ｂ）に示すようなやり取りを含む通話が行われた場合に、端末２０は、図１３（ｂ）において入力された位置情報に基づいて、図１３（ｃ）に示すように、行先の位置を示す地図１３０１を、メッセージ間に挿入して表示する。なお、位置情報に関連する画像は、地図１３０１に限定するものではなく、その他の画像であってもよく、例えば、行先のホームページに関する画像情報、あるいは、そのアドレス情報などであってもよい。

図１２や図１３に示したように、端末２０は、通話中のユーザ同士の会話に基づくメッセージを表示するのみならず、その通話中に入力された位置情報に関する情報に基づく画像を自動的に収集して、表示することができる。これにより、端末２０は、トークルームを介して通話が行われた場合に、その通話の内容を示す情報をより多く提供することができる。

なお、ここで、音声認識部２１３は、ビデオ通話が終了してから音声認識を実行することとしていたが、これはその限りではなく、通話中に実行していてもよい。また、さらには、ユーザが端末２０を用いてスピーカーフォンによる通話を行う場合には、端末２０は、リアルタイムで音声認識を行うことにより、通話を行いつつ、トークルーム上にリアルタイムで解析され変換されたメッセージを表示するようにしてもよい。このようにビデオ通話であっても、端末２０は、そのビデオ通話においてなされたユーザ同士の通話内容をメッセージとして、トークルーム上に表示することができる。また、ビデオ通話を行ううえで、何らかのレッスン、具体的には、英会話（語学）のレッスンを行う態様も考えられるが、そのような場合に、端末２０は、テキストメッセージに併せて、その言語でのより適切な言い回しをネットワーク等から収集して表示するようにしてもよい。

＜実施形態の効果＞
以下、実施形態２の効果について述べる。

また、端末２０のユーザは、サーバ１０が提供するメッセージングアプリケーションを介して、ビデオ通話により、他のユーザと通話を行う。このとき、端末２０は、ビデオ通話を含む通話中に撮影した、若しくは、通話相手のユーザの端末により撮影された画像、あるいは、その画像に基づく情報を、トークルームに表示することとしてよい。

これにより、端末２０は、通話時の会話の内容をユーザに想起しやすくさせることができる。

また、端末２０は、ユーザからの撮影するカメラの切替指示に基づき、通話中に、端末２０の表示部２４がある側とは、反対側に設けられたアウトカメラにより撮影した画像を、トークルームに表示することとしてよい。

これにより、特にビデオ通話中に、アウトカメラを用いて画像を撮影したということは、その通話内容に密接に関連する撮影であった可能性が高く、その画像に基づく情報を、トークルームに表示することにより、ユーザに、その通話の内容を後から思い出させやすくすることができる。また、ユーザからの撮影しているカメラの切替（インカメラからアウトカメラへの切替）をトリガとして、アウトカメラが撮影した画像をトークルームに表示することで、通話の内容を想起しやすくするための情報を自動的に生成して表示することができる。

また、端末２０は、ビデオ通話中に、ユーザから入力された画像を、トークルームに表示することとしてよい。このとき、端末２０は、通話の内容を示すメッセージの間であって、画像が入力されたタイミングに一致するように、その画像を表示することとしてもよいが、これに限らず、通話に係るメッセージの先頭部分に表示してもよいし、終端部分に表示することとしてもよい。

これにより、端末２０は、ユーザに、後から、画像をみることで、通話の内容を思い出させやすくすることができる。

また、端末２０は、通話中に取得した画像を、通話の内容を示すメッセージの背景画像として表示することとしてもよい。

これにより、ユーザは、通話内容を示すメッセージ（テキスト）の内容を確認しつつ、通話中に見たり、撮影したり、取得したりした画像を背景画像として確認することで、通話の内容を想起しやすくなる。

また、端末２０は、ユーザが入力した画像や、通話中に撮影して得られた画像の他にも、端末２０の位置に関する情報に基づく画像、あるいは、通話相手の端末の位置に関する情報に基づく画像を取得して、メッセージに関連付けて表示することとしてもよい。

端末２０は、通話中の端末２０の位置、あるいは、通話相手の端末の位置の情報に基づく、画像を取得することで、限定ではなく一例として、ユーザに、どのような場所で通話したのか、または通話相手がどのような場所にいたのかを認識させることで、通話の内容を思い出させることができる。

また、端末２０は、通話が行われた場合に、通話の内容にしたがった画像を表示するようにしてもよい。端末２０は、通話の内容を音声認識処理によりテキストメッセージに変換した後に、形態素解析、文脈解析等により通話の内容を解析し、解析して得られた結果から、関連性の高い画像を表示する。端末２０は、限定ではなく一例として、通話の内容として、ある店舗に関する話題があった場合には、その店舗の写真を画像として、メッセージに対応付けて表示してもよいし、ある食物に関する話題があった場合には、その食物の写真を画像として、メッセージに対応付けて表示してもよい。

話題に関連性の高い画像を表示することで、端末２０は、ユーザに通話の内容を容易に想起させることができる。

＜実施形態３＞
図１４は、トークルーム上で、通話を行った際に、その通話の内容をユーザが容易に認識できるようにするための表示態様を実現するための処理の動作例を示すフローチャートである。端末２０は、図１４に示す処理を実行してもよいし、しなくてもよい。また、図示していないが、端末２０は、ユーザからの入力に従って、図１４に示す処理を実行するか否かを選択設定可能に構成されていてもよい。図１４に示す処理は、図４に示すステップＳ４０４以降の処理例を示す。

図１４に示すように、音声認識部２１３は、録音した音声に対して音声認識処理を実行する（ステップＳ４０４）。

制御部２１は、音声認識部２１３が音声認識により変換して得られたテキストデータの文章量を特定する（ステップＳ１４０５）。制御部２１は、限定ではなく一例として、テキストデータの文字数、あるいは、テキストデータのデータ容量を、文章量として特定してよい。制御部２１は、特定した文章量に基づいて、通話アイコン６１１の表示サイズを決定する（ステップＳ１４０６）。具体的には、制御部２１は、文章量が多ければ多いほど通話アイコン６１１の表示サイズが大きくなるように、表示サイズを決定する。限定ではなく一例として、制御部２１は、予め定めた文章量を入力として表示サイズを決定する関数により表示サイズを決定することとしてもよいし、予め記憶部２８に文章量の範囲に応じて表示サイズが定められたテーブルを記憶しておき、そのテーブルに従って表示サイズを決定することとしてもよい。なお、ここでは、テキスト変換後の文字量に基づいて、通話アイコン６１１の表示サイズを決定することとしているが、これは、文字量に代えて、通話時間の長さを用いてもよい。即ち、通話時間が長いほど、濃い会話になっていたことが想定されることから、通話アイコン６１１の表示サイズを大きくし、通話時間が短いほど、簡潔な会話になっていたことが想定されることから、通話アイコン６１１の表示サイズを小さくする。

また、制御部２１は、文章に対して形態素解析などを利用して文脈解析を実行する（ステップＳ１４０７）。これは、既存のテキストマイニング技術を用いることで実現することができる。そして、制御部２１は、解析結果から、通話内容のタイトルとして適切と推定される見出しを決定する（ステップＳ１４０８）。この見出しは、限定ではなく一例として、解析したテキストデータに頻出する文言を用いたり、テキストデータの解析結果からなんらかのスケジュールとして推定される文言を用いたりすることができる。また、見出しに用いる文言は、端末２０のユーザの発話した内容に基づくものであってもよいし、通話相手のユーザが発話した内容に基づくものであってもよいし、その両方であってもよい。また、会話の中にスケジュールに関する内容があった場合には、端末２０は、そのスケジュールを、メッセージングアプリケーションとは別の、スケジュール管理を行うスケジュール管理アプリケーションを起動して、そのスケジュールをカレンダー上に登録するようにしてもよいし、しなくてもよい。

そして、制御部２１は、表示処理部２１４に対して、決定した表示サイズで通話アイコン６１１を、トークルーム上に表示するとともに、その通話アイコン６１１に対応付けて、決定した見出しを添えて表示して（ステップＳ１４０９）、終了する。

図１５には、通話量（通話内容のメッセージの文章量）に応じて通話アイコンのサイズを変えて表示した表示例を示している。図１５（ａ）は、相対的に、通話量（通話内容のメッセージの文章量）が少なかった場合に表示される通話アイコン１５０１の表示例を示している。なお、図１５においては、見やすさのために、メッセージを展開していない状態を示している。図１５（ａ）に対し、通話アイコン１５０１に対応する通話の通話量よりも多い通話がなされた場合の通話アイコンの表示例を、図１５（ｂ）に示す。図１５（ｂ）に示すように、通話アイコン１５０２は、図１５（ａ）に示す通話アイコン１５０１よりも大きいサイズで表示されている。図１５に示すように、通話の通話量（通話内容のメッセージの文章量）に応じて通話アイコンを表示することで、ユーザは、一目で感覚的に、どのぐらい話し込んでいたのかを認識することができる。

ところで、通話量を表示する手法は、上述の通り、通話アイコンのサイズに限定するものではない。例えば、図１６に示すように、通話アイコンの色の濃淡で通話量を表現してもよい。図１６では、色をハッチングで示している。図１６（ａ）は、相対的に通話料が少なかった場合の通話アイコン１６０１を示している。これに対して、図１６（ｂ）は、図１６（ａ）の通話アイコン１６０１が対応する通話の通話料よりも多い通話量の通話アイコン１６０２の表示例を示している。通話アイコン１６０２に示すように、図１６（ａ）に示す通話アイコン１６０１が対応する通話の通話料よりも多い通話量である場合には、通話アイコン１６０２の色を濃く表示することで、通話料を示す。すなわち、通話アイコンの色の濃淡により、ユーザに一目で通話量を認識させることができる。このように、通話アイコンの表示態様によって、通話量を表現することができる。

また、通話アイコンとして表示する画像は、図１５や図１６に示すような、通話を示す記号に限らず、通話に関連する画像であってもよいし、アイコンとの組み合わせであってもよい。即ち、図１５や図１６に示す通話アイコンの通話の記号の背景画像として、通話に関連する画像（通話中の端末の位置に関する画像）を表示することとしてもよい。具体的には、端末２０は、図１７に示すように、通話アイコンとして表示する表示位置に、通話に関連する画像（限定ではなく一例として、端末の位置に関する画像、ユーザが通話中に入力した画像、ユーザが通話中に撮影した画像、通話の内容に関する画像など。限定ではなく、通話に関連する情報の例。）を通話アイコンの代替として表示してもよい。このとき、端末２０は、図１７（ａ）に示すように、通話アイコンとしての外形内に、通話時に取得した通話に関する画像の一部を示す態様で、画像１７０１に示すように表示することとしてもよいし、図１７（ｂ）に示すように、通話アイコンの外形に拘らず、画像１７０２のように、通話に関する画像をそのまま表示するようにしてもよい。また、更には、図１７（ｂ）に示すように画像１７０２を表示する場合には、端末２０は、図１８（ａ）に示すように、表示している画像１７０２が通話に関連するものであることを明確にするために、通話アイコン１８０１も併せて表示することとしてもよい。図１８（ａ）では、通話アイコン１８０１は画像１７０２に重畳して表示しているが、これは、通話アイコン１８０１が画像１７０２に対応付けられていることが理解できれば、画像１７０２の枠外に表示することとしてもよい。そして、更には、端末２０は、画像１７０２の通話アイコン１８０１以外の部分に対するユーザからのタッチ入力を検出することで、図１８（ｂ）に示すように、画像１７０２を拡大表示することとしてもよい。このとき、通話アイコン１８０１は表示してもしなくてもよい。図１８（ｂ）では、通話アイコン１８０１を表示していない例を示している。また、端末２０は、図１８（ａ）に示す通話アイコン１８０１に対してユーザからのタッチ入力を検出した場合には、端末２０の通話部２１２が、トークルームに対応するユーザに対して発呼を開始するように構成されてもよい。

図１９は、通話の内容に見出しを付けた場合の表示例を示す図である。図１９（ａ）は、通話の音声を音声認識処理により、テキストメッセージに変換し、トークルーム上にメッセージとして表示した一例を示している。図１９（ａ）のメッセージに示されるように、ユーザ同士で、飲み会の約束をしていることが理解できる。このようなやり取りをしていた場合に、端末２０の制御部２１は、メッセージのテキストに対して、形態素解析、文脈解析を行って、一例として、飲み会を行うこと、飲み会を土曜日に行うことを特定する。そして、端末２０の制御部２１は、通話アイコン１９０１に対応付けて、通話の内容を示す見出し１９０２を表示する。図１９（ｂ）に示す例では、「土曜日 飲み会」という内容の見出し１９０２を表示する。このように、端末２０は、通話の内容を示すメッセージを表示するだけでなく、その通話の内容を示す見出し１９０２を表示することもできる。これにより、通話の内容を示すメッセージを全て読まずとも、ユーザは、通話の内容を認識することができる。

また、図１９では、見出しを付与する例を示したが、端末２０は、より通話の内容を認識しやすくするために、通話の内容を音声認識処理によりテキストメッセージに変換した後に、形態素解析、文脈解析等の解析技術を用いて、通話の内容を認識し、要約した文章を表示するものであってもよい。通話の内容を要約することで、通話が長引き、表示すべきメッセージとしての文量が多くなると、全てを表示した場合に、ユーザがその内容を読むのに時間を要することになり手間であるところ、要約することによって、表示するメッセージを簡素化しながらも、ユーザに通話の内容を認識させることができる。なお、要約は、通話に関連するユーザのいずれかの会話であるかのように表示してもよいし、しなくてもよい。また、要約には、会話の中で何等かのスケジュールに関する内容が含まれていた場合には、そのスケジュールについては、必ず含めるようにしてもよいし、含めなくてもよい。

＜実施形態の効果＞
以下、実施形態の効果について述べる。

また、端末２０は、通話内容を音声認識して得られるテキストデータの文字量や、通話時間の長さに基づいて、通話を行ったことを示す画像情報（限定ではなく一例として通話アイコン）を表示することとしてもよい。文字量や通話時間に基づいて通話アイコンを表示するとは、文字量の多寡、通話時間の長短によって、通話アイコンの表示サイズを変更して表示したり、通話アイコンの表示色を変更したりして表示することであってよい。

これにより、通話の内容に関するメッセージの内容を見なくても、通話アイコンの大きさを見るだけで、その時の会話の弾み具合やボリューム（通話量）を想定しやすくすることで、ユーザに、通話の内容を思い出させる一因とすることができる。

また、端末２０は、トークルームにおいて通話を行ったことを示す画像として通話アイコンを表示する以外に、トークルームに、通話に関する画像（限定ではなく一例として、端末の位置に関する画像、ユーザが通話中に入力した画像、ユーザが通話中に撮影した画像、通話の内容に関する画像など）を表示することとしてもよい。すなわち、通話アイコンに代えて、通話内容に関する画像を通話を行ったことを示す情報としてトークルームに表示することとしてもよい。

これにより、通話に関連する画像として、通話アイコンではなく、実際の通話に関する画像が表示されることにより、通話内容を示すメッセージを見ずとも、通話の内容をユーザに認識させることができる。

また、端末２０は、通話の内容を示す情報を表示するにあたって、通話内容を解析し、解析した結果から通話の内容を示す要約文に変換する処理を行い、その要約を表示することとしてもよい。これは、限定ではなく一例として、ユーザ同士の通話内容と、その通話内容に対する要約と、を教師データとする学習処理を利用して、学習モデルを生成し、その学習モデルに対して、音声認識処理により得られたテキストデータを入力することで、要約を作成することとしてもよい。

これにより、端末２０は、簡単な内容で、ユーザに通話の内容を認識させることができる。また、長い通話を全て表示するのではなく、要約を表示することで、メッセージングアプリケーションの利便性を向上させることができるとともに、表示の見た目のデザイン性を向上させることもできる。

１ 通信システム
１０ サーバ
１１ 制御部
１１１ メッセージ処理部
１２ 入出力部
１３ 表示部
１４ 通信Ｉ／Ｆ（通信部）
２０ 端末
２１ 制御部
２１１ メッセージ処理部
２１２ 通話部
２１３ 音声認識部
２１４ 表示処理部
２２ 通信Ｉ／Ｆ
２３ 入出力部
２３１ タッチパネル
２３２ マイク
２３３ スピーカ
２３４ カメラ
２４ 表示部（ディスプレイ）
２５ 位置情報取得部
２８ 記憶部
３０ ネットワーク

本開示は、端末のプログラム、情報処理方法、端末に関する。

本発明の第１の態様によると、第１端末にコンテンツの送信または、第１端末から送信されたコンテンツの受信を行う端末によって実行されるプログラムは、第１端末から送信された第１コンテンツと、端末の通信部によって第１端末に送信された第２コンテンツとを端末の表示領域に表示することと、第１コンテンツと第２コンテンツとを表示する表示領域に対する端末のユーザによる入力に基づいて、第１端末との通話に関する制御を端末の制御部によって行うことと、第１端末のユーザの音声に基づく第１情報と、端末のユーザの音声に基づく第２情報とを第１端末との通話に基づき制御部により取得することと、第１端末の撮像部によって撮像された第１画像を制御部によって取得することと、第１情報と第２情報とに基づく通話情報と、第１画像とを表示領域に表示することとが端末によって実行される。
本発明の第２の態様によると、第１端末にコンテンツの送信または、第１端末から送信されたコンテンツの受信を行う端末の情報処理方法は、第１端末から送信された第１コンテンツと、端末の通信部によって第１端末に送信された第２コンテンツとを端末の表示領域に表示することと、第１コンテンツと第２コンテンツとを表示する表示領域に対する端末のユーザによる入力に基づいて、第１端末との通話に関する制御を端末の制御部によって行うことと、第１端末のユーザの音声に基づく第１情報と、端末のユーザの音声に基づく第２情報とを第１端末との通話に基づき制御部により取得することと、第１端末の撮像部によって撮像された第１画像を制御部によって取得することと、第１情報と第２情報とに基づく通話情報と、第１画像とを表示領域に表示することとを含む。
本発明の第３の態様によると、第１端末にコンテンツの送信または、第１端末から送信されたコンテンツの受信を行う端末は、第１端末から送信された第１コンテンツと、端末の通信部によって第１端末に送信された第２コンテンツとを表示する表示部と、第１コンテンツと第２コンテンツとを表示する表示部に対する端末のユーザによる入力に基づいて、第１端末との通話に関する制御を行う制御部とを備え、制御部は、第１端末のユーザの音声に基づく第１情報と、端末のユーザの音声に基づく第２情報とを第１端末との通話に基づき取得し、第１端末の撮像部によって撮像された第１画像を取得し、表示部は、第１情報と第２情報とに基づく通話情報と、第１画像とを表示する。

Claims (22)

1. 第１端末にコンテンツの送信または、前記第１端末から送信されたコンテンツの受信を行う端末の情報処理方法であって、
   前記第１端末から送信された第１コンテンツと、前記端末の通信部によって前記第１端末に送信された第２コンテンツとを前記端末の表示領域に表示することと、
   前記第１コンテンツと前記第２コンテンツとを表示する前記表示領域に対する前記端末のユーザによる入力に基づいて、前記第１端末との通話に関する制御を前記端末の制御部によって行うことと、
   前記第１端末のユーザの音声に基づく第１情報と、前記端末のユーザの音声に基づく第２情報とを前記第１端末との前記通話に基づき前記制御部により取得することと、
   前記第１情報と前記第２情報とに基づく通話情報を前記表示領域に表示することとを含む。
2. 請求項１に記載の情報処理方法であって、
   少なくとも前記通話を行っている間に撮影された画像を前記端末の制御部によって取得することと、
   前記画像に基づき、前記通話情報が前記表示領域に表示される表示態様を前記制御部によって制御することとを含む。
3. 請求項１に記載の情報処理方法であって、
   前記通話を行っている間に撮影された画像を前記端末の制御部によって取得することと、
   前記通話情報と前記画像とを前記表示領域に表示することを含む。
4. 請求項３に記載の情報処理方法であって、
   前記表示領域とは反対の側の、前記端末の撮像部の起動に基づき、前記画像を撮像する制御を前記制御部によって行うことを含む。
5. 請求項３または請求項４に記載の情報処理方法であって、
   前記画像は、動画像であり、
   前記動画像を撮像している間に、前記端末のユーザによって入力された画像を、前記第１情報と前記第２情報との間に表示することを含む。
6. 請求項３または請求項４に記載の情報処理方法であって、
   前記通話情報は、前記画像に重畳して前記表示領域に表示される。
7. 請求項１に記載の情報処理方法であって、
   前記端末に基づく画像を前記制御部により取得することと、
   前記通話情報と、前記画像とを前記表示領域に表示することとを含む。
8. 請求項７に記載の情報処理方法であって、
   前記画像は、前記通話に基づく前記端末の位置に関する情報または、前記第１端末の位置に関する情報に基づき取得される。
9. 請求項１から請求項８のいずれか一項に記載の情報処理方法であって、
   前記通話情報を表示するための第１表示を前記表示領域に表示することと、
   前記第１表示に対する前記端末のユーザの入力に基づいて、前記表示領域に前記通話情報を表示することとを含む。
10. 請求項９に記載の情報処理方法であって、
    前記通話の時間、および前記通話情報の少なくとも一方に基づいて、前記第１表示の表示態様を前記制御部によって制御することを含む。
11. 請求項９または請求項１０に記載の情報処理方法であって、
    前記第１表示は、前記通話情報の少なくとも一部を含む。
12. 請求項９または請求項１０に記載の情報処理方法であって、
    前記第１表示は、前記通話に関連する画像である。
13. 請求項１２に記載の情報処理方法であって、
    前記通話に関連する画像は、前記通話を行った前記端末または、前記第１端末の位置に関連する画像である。
14. 請求項１から請求項１３のいずれか一項に記載の情報処理方法であって、
    前記通話情報は、前記第１情報に基づくコンテンツと、前記第２情報に基づくコンテンツとを含む。
15. 請求項１４に記載の情報処理方法であって、
    前記第１情報に基づくコンテンツに対応する前記第１端末のユーザを示す画像を前記表示領域に表示することと、
    前記第２情報に基づくコンテンツに対応する前記端末のユーザを示す画像を前記表示領域に表示することとを含む。
16. 請求項１５に記載の情報処理方法であって、
    前記第１情報は、前記第１端末の情報に基づいて、前記第１端末のユーザの音声の情報であることが特定され、
    前記第２情報は、前記端末の情報に基づいて、前記端末のユーザの音声の情報であることが特定される。
17. 請求項１から請求項１３のいずれか一項に記載の情報処理方法であって、
    前記通話情報は、前記第１情報と前記第２情報とに基づき、前記通話の内容が要約された情報である。
18. 請求項１から請求項１７のいずれか一項に記載の情報処理方法であって、
    前記通話情報を前記表示領域に表示しない設定を前記制御部によって行うことを含む。
19. 請求項１から請求項１８のいずれか一項に記載の情報処理方法であって、
    前記第１端末との前記通話に関する制御は、前記第１コンテンツと、前記第２コンテンツと、前記通話に関する制御を行うための画像とが前記表示領域に表示され、前記通話に関する制御を行うための画像に対する前記端末のユーザによる入力に基づいて、前記第１端末との前記通話の開始に関する制御が前記制御部によって行われる。
20. 請求項１から請求項１９のいずれか一項に記載の情報処理方法であって、
    前記第１コンテンツと、前記第２コンテンツと、前記通話情報とは、前記端末の記憶部に記憶されたアプリケーションソフトウェアによって前記表示領域に表示され、
    前記通話は、前記アプリケーションソフトウェアによって実行される。
21. 第１端末にコンテンツの送信または、前記第１端末から送信されたコンテンツの受信を行う端末のコンピュータに実行させるプログラムであって、
    前記第１端末から送信された第１コンテンツと、前記端末の通信部によって前記第１端末に送信された第２コンテンツとを前記端末の表示領域に表示することと、
    前記第１コンテンツと前記第２コンテンツとを表示する前記表示領域に対する前記端末のユーザによる入力に基づいて、前記第１端末との通話に関する制御を前記端末の制御部によって行うことと、
    前記第１端末のユーザの音声に基づく第１情報と、前記端末のユーザの音声に基づく第２情報とを前記第１端末との前記通話に基づき前記制御部により取得することと、
    前記第１情報と前記第２情報とに基づく通話情報を前記表示領域に表示することとを含む。
22. 第１端末にコンテンツの送信または、前記第１端末から送信されたコンテンツの受信を行う端末であって、
    前記第１端末から送信された第１コンテンツと、前記端末の通信部によって前記第１端末に送信された第２コンテンツとを表示する表示部と、
    前記第１コンテンツと前記第２コンテンツとを表示する前記表示部に対する前記端末のユーザによる入力に基づいて、前記第１端末との通話に関する制御を行う制御部とを備え、
    前記制御部は、前記第１端末のユーザの音声に基づく第１情報と、前記端末のユーザの音声に基づく第２情報とを前記第１端末との前記通話に基づき取得し、
    前記表示部は、前記第１情報と前記第２情報とに基づく通話情報を表示する。

Images