JP2016071571A - メッセージ送信装置及びコンピュータプログラム - Google Patents

Abstract

【課題】送信者の置かれた周囲の状況を、モバイル端末に搭載されているセンサーから取得できる情報に基づいて判断して、どういう状況の下で送信されたメッセージなのかを容易にメッセージの受け手に伝えるメッセージ送信装置及びコンピュータプログラムを提供する。
【解決手段】送信者の周囲の環境情報を取得するセンサ部と、センサ部が取得した周囲の環境情報から送信者の周囲状況を判定し、この判定結果に基づいて判定結果に関連する背景イラストを抽出し、並行して、送信者の顔画像から送信者の抱いている感情を判定し、この判定結果に関連する顔イラストを抽出し、抽出された背景イラストおよび顔イラストをメッセージとして送信するイラスト送信部を備える。
【選択図】図６

Description

本発明は、モバイル情報機器（モバイル端末）やパーソナルコンピュータ等にメッセージを送信する機能を提供するメッセージ送信装置及びコンピュータプログラムに関する。

現在では公私を問わず電子メールで通信することはあたりまえとなり、様々なＳＮＳ（Social Networking Site）が出現して、電子的なメッセージを交換して人と人とが交流することが増えてきている。最近では、趣味や私的生活空間の一部として仮想的なコミュニティに参加するというだけではなく、ビジネス上の目的で仮想的なコミュニティを形成して、そこでの生活者対生活者、企業対生活者の対話の内容からマーケティングのヒントを得ようとするアプローチも試みられてきている。このような状態において参加者間のコミュニケーションを円滑に仲立ちする仕組みや道具の重要性が増している。

インターネットを通じてリアルタイムにコミュニケーションを実現するアプリケーションとしてはインスタントメッセンジャーと呼ばれる技術があり、普及している。インスタントメッセンジャーでは、接続中のユーザーを確認し、オンラインのユーザー間でリアルタイムに短いメッセージをやり取りできる。

このインスタントメッセンジャーには、テキストメッセージに挿入できるイラストが各種提供されている。これらのイラストは、喜怒哀楽をはじめ、感動・落胆・放心・ドヤ顔・お礼・お詫び・懇願・からかい・応援などといった、多種多様な感情や心境を表現したものである。テキストメッセージにこれらのイラストを添えることで、言葉では表現しにくい感情の機微を、的確かつ簡潔に伝えることができる。

様々な感情や心境を表現したイラストが多く用意されればそれらを適切に選択することでメッセージが伝える内容はそれだけ豊かになるが、数多くのイラストの中から適切なイラストを選択する手間も比例して増加することになる。このイラストの選択にかかる手間を省くため、特許文献１においては、顔画像の写真を用いて感情種別を判断し、その表情に応じたイラストを写真に挿入して、メールに添付する技術が開示されている。

また、後述する本願発明の実施形態に関連して、顔画像に基づいて被撮影対象人物のその時抱いている感情を推定する感情解析方法として特許文献２が公知である。移動で乗車している交通機関を加速度センサにより判定する手法として非特許文献１が公知である。マイクで周囲の音を集めることにより、利用者の状態を識別する手法として非特許文献２が公知である。

特開２０１２−１９１６６２号公報 特開２００７−０６５９６９号公報

山崎、五味田、加速度センサ等を用いた移動状態判定方式の検討、［online］、平成20年3月13日、情報処理学会第７０回全国大会 ３−３９ ［平成２６年９月１０日検索］、インターネット〈https://www.ipsj.or.jp/award/9faeag0000004emc-att/1E#3.pdf〉 大内、土井、加速度と音で日々の生活行動を認識するActivity Analyzer、［online］、2011年3月10日、情報処理学会インタラクション２０１１［平成２６年９月１０日検索］、インターネット〈http://www.interaction-ipsj.org/archives/paper2011/interactive/0110/1CR3-7.pdf〉

特許文献１に開示された発明は、顔画像から感情を判断するだけなので、どんな状況でその感情になっているのか、例えば、暑くてイライラしているのか、寒くてイライラしているのかを、メッセージの受け手に伝えることまではできない。そのため、周囲の状況を伝えるためには、テキストメッセージを入力して補う必要が生じる。本発明はこのような従来技術の欠点を解消することを動機として着想した。

本発明の目的は、メッセージ送信者の置かれた周囲の状況及び感情を容易に相手方に伝えることが可能なメッセージ送信装置、コンピュータプログラムを提供することにある。

課題を解決するための本願第１の発明は、送信者のテキスト入力を含む対話操作入力を受付ける入力部と、周囲の状況に関連するイラストと、感情に関連するイラストと、を記録保持するイラスト保持部と、前記テキストと前記イラストを描画表示する表示部と、前記操作入力時の周囲の環境情報を取得するセンサ部と、前記センサ部が取得した周囲の環境情報から前記送信者の周囲の状況を判定する状況判定部と、前記操作入力時の前記送信者の顔画像を撮像する自画像撮像部と、前記自画像撮像部により撮像された送信者の顔画像から送信者が抱いている感情を判定する感情判定部と、前記状況判定部及び前記感情判定部の判定結果に基づいて、各判定結果に関連するイラストを前記イラスト保持部からそれぞれ少なくとも１つずつ抽出して前記表示部に表示するイラスト提示部と、前記操作入力されたテキスト及び前記抽出されたイラストを外部へ送信するメッセージ送信部と、
を備えることを特徴とするメッセージ送信装置である。

このようなメッセージ送信装置は、センサ部が取得した周囲の環境情報に基づいた判定結果に関連するイラストと、感情判定部が判定した送信者が抱いている感情に関連するイラストの２種類のイラストをそれぞれ少なくとも１つ提示するので、送信者はメッセージ作成時の周囲の状況をいちいちテキストで打ち込まなくてもどういう状況の下に置かれているかをイラストのメッセージとして容易にメッセージの受け手に伝えることができる

ここで、前記イラスト提示部は、前記抽出したイラストを前記送信者が選択可能な態様で前記表示部に表示し、前記メッセージ送信部は、選択されたイラストのみを外部へ送信するよう構成してもよい。このようにすれば、周囲の状況に関連するイラストと、感情に関連するイラストとの少なくともいずれかが２種類以上抽出された場合でも、送信者は各１つずつイラストを選択することができ送信者の便宜である。

センサ部としては、温度センサー、加速度センサー等を備えることが好適である。またセンサーではないが、内部時計による時刻情報を周囲情報、環境情報の一つとして扱ってもよい。またセンサーではないが、マイクにより集音した周囲の音情報を環境情報の一つとして扱うようにしてもよい。

さらに、前記イラスト提示部は、それぞれ抽出された周囲の状況に関連するイラストと、感情に関連するイラストとを合成した合成イラストを１つ以上生成し、前記送信者が選択可能な態様で前記表示部に表示し、前記送信部は、選択された合成イラストのみを外部へ送信するよう構成するのが好適である。周囲の状況に関連するイラストも感情に関連するイラストも複数抽出される可能性があり、そのような場合は合成イラストを選択することができればこれを１つのメッセージとして送信でき利用者の利便性が増す。

また、前記自画像撮像部は、前記操作入力中の顔画像を動画にて撮影し、
前記感情判定部は、前記動画から取得される表情が変化した時のフレーム画像から感情を判定するよう構成してもよい。このように構成した場合は、笑った瞬間など特徴的な表情から感情を判定する可能性が増すので感情判定の確度が向上する。

本願第２の発明は、パーソナルコンピュータ又はモバイル通信端末を前記第１の発明の何れかの態様に係るメッセージ送信装置として機能させ実行させるコンピュータプログラムである。

本発明に係るメッセージ送信装置によれば、送信者の置かれた周囲の状況を判断して、どういう感情・状況の下で送信されたメッセージなのかを容易にメッセージの受け手に伝えることができる。

本発明の一つの実施形態が用いられるメッセージ閲覧送信システムの概要構成を示す図である。 本発明の実施の形態におけるメッセージ送信装置(モバイル端末)の一例としての携帯型情報機器のハードウェア構成図である。 メッセージ送信装置１０を機能面から説明する機能ブロック図である。 メッセージ送信装置１０の設定画面５００を説明する図である。 メッセージ送信装置１０のメッセージ作成時の画面６００の画面フォーマットを説明する図である。 メッセージ作成時の作業フローを説明する図である。 メッセージ処理部１２０の動作を定めたプログラムを詳しく説明するフローチャートである。 感情判定処理をさらに詳しく説明するフローチャートである。 状況判定処理をさらに詳しく説明するフローチャートである。 画像の合成処理を模式的に説明する図である。 変形実施形態にて使用されるイラスト画像の選択画面である。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。以下の説明で本願発明のメッセージ送信装置を使用する利用者は送信者のことである。

（第１の実施形態）
本願発明のメッセージ送信装置をモバイル端末上に実現した場合を想定して本願発明の一つの実施形態を説明することとする。なお、携帯可能なモバイル端末に限ることなく、例えば備え付けのＰＣ端末であっても実現可能である。このメッセージ送信装置は、1対1のメッセージの送受信や多人数でやり取りされるインターネット上で一定の限られた利用者間で共通の話題について自由に批評したり感想を表明することにより親睦を深めあったり、またはある目的を持った集団がそのメンバー間で一定の合意形成を図るなどのコミュニティ内での掲示板やチャットなどに適用可能である。

図１は、本発明の第１の実施形態におけるメッセージ閲覧送信システムの概要構成を示す図である。インターネット仮想空間上でコミュニティを実現するコミュニティサイトサーバー装置２００と、インターネット９を介してコミュニティサイトサーバー装置２００にアクセスするメッセージ送信装置１０としてのモバイル端末により構成される。メッセージ送信装置１０はＷｉ−Ｆｉ通信規格にのっとった無線通信によりインターネット９に直結するアクセスポイント（無線ＬＡＮルーター）を通じてサーバー装置２００にアクセスしてもよい。あるいは４Ｇ（ＬＴＥ）等の移動体通信の無線規格に従って、インターネット９にゲートウェイを介して接続される移動体通信ネットワーク上の何れかの基地局と接続することによりサーバー装置２００にアクセスしてもよい。また、サーバー装置２００には、コミュニティを形成する複数台のモバイル端末がアクセス・閲覧可能である。サーバー装置２００はその上に構成される１つ以上のコミュニティのアカウント管理（誰がどのコミュニティに参加しているか）、投稿されたメッセージの管理（コンテンツ管理）等を行う。

図２は、本発明の実施の形態におけるメッセージ送信装置１０の一例としての携帯型情報機器のハードウェア構成図である。１１は携帯型情報機器を制御するプロセッサ部である。制御プログラムを読み込み解釈実行する中央演算処理回路と一時データを保持するＲＡＭ（ランダムアクセスメモリ）、スピーカ１１１・マイク１１２を制御する音声処理回路、温度センサ・加速度センサ・湿度センサ等の周囲の環境情報を取得可能な各種センサで構成されるセンサ部１１３の制御回路、内部時計回路、インターフェース回路などが集積された集積回路である。１２はＲＯＭ(リードオンリメモリ)である。携帯情報機器のＯＳのプログラムコード（特に起動時に読み出されるコード）が格納されている。１３はタッチパネルディスプレイ部である（入力部及び出力部の一例）。液晶パネル部１３１、タッチパネル部１３２、表示制御部１３３などから構成される。２次元アレイ状の接触検知素子(図示せず)が液晶表示パネル部１３１の表面部分に内挿されるなどして液晶パネル部１３１とタッチパネル部１３２は一体的に実装される。１３３は表示制御部である。液晶パネル部１３１に表示させる表示データを一時的に保持するビデオＲＡＭを含み、バス１９を通して制御信号および表示データを受取り、画像を表示するなどしてタッチパネルディスプレイ部１３を制御する。また、表示制御部１３３は、接触検知素子をスキャンして操作者のタッチパネル部１３２上への手指の接触を検知して接触位置情報とともに入力イベントが発生した旨をプロセッサ部１１に通知する。

１４はフラッシュメモリなどの不揮発メモリである。アプリケーションのプログラムコードなどが格納される。１５は通信機能部である。基地局との間で４Ｇ（ＬＴＥ）、ＣＤＭＡ２０００または，Ｗ−ＣＤＭＡ方式による音声通話、パケット通信を提供する。（または、無線ＬＡＮルーターとの間でＩＥＥＥ８０２．１１系のいわゆるＷｉ−Ｆｉ通信を提供する）。１５１はＳＩＭカード（Subscriber Identity Module Card）である。１６は自分画像撮像カメラである（自画像撮像部の一例）。レンズ光学系及び画像センサが感じた信号をデジタル信号に変えるＡＤ変換回路、変換されたデジタルデータの一時記憶バッファ等の回路を含んだカメラ制御部１６１を含む。プロセッサ部１１、ＲＯＭ１２、表示制御部１３３、不揮発メモリ１４、通信機能部１５、カメラ制御部１６１の各要素はバス１９で接続される。

図３は、メッセージ送信装置１０を機能面から説明する機能ブロック図である。中央にある制御部１１Ａは、図２のプロセッサ部１１の中央演算処理回路がＲＯＭ１２や不揮発メモリ１４に記録されているＯＳの制御プログラムやアプリケーションプログラムを解釈実行することによりその機能が発揮される。イラスト保持部１４Ａはイラスト画像が記録保持される記憶領域である。不揮発メモリ１４の一部の領域である。入力部１３Ａは利用者によるテキストの操作入力を受付ける。表示部１３Ｂはテキストや画像を表示する。入力部１３Ａおよび表示部１３Ｂは、タッチパネルディスプレイ部１３がＯＳの制御プログラムやアプリケーションプログラムにより駆動されて機能する。自画像撮像部１６Ａは利用者の顔画像を撮像する。自画像撮像部１６Ａは自分画像撮像カメラ１６やタッチパネルディスプレイ部１３がＯＳの制御プログラムやアプリケーションプログラムにより駆動されて機能する。センサ部１１３Ａは、センサ部１１３がＯＳの制御プログラムやアプリケーションプログラムによりあるタイミングで駆動されて周囲の環境情報を取得する。

この他、コンピュータプログラムが実行されることによって生じる機能ブロックがある。メッセージ送信装置１０は一つのコンピュータシステムである。メッセージ送信装置を構成する各機能はそのほとんどは不揮発メモリ１４に記憶されるアプリケーションプログラムの実行コードがプロセッサ部１１に読み込まれ実行されることによって図２に示した各ハードウェア要素を駆動することにより生じる。この結果生じる機能ブロックとしては、大きく分けて、メッセージ処理部１２０、メッセージ受信部１７０、メッセージ送信部１８０などが挙げられる。

メッセージ受信部１７０はコミュニティサイトサーバー装置２００が提供するコミュニティ上に投稿されたメッセージ（或いは又、特にメッセージ閲覧投稿装置１０を宛先に指定した私信メッセージ）を通信機能部１５の動作を介して受信する機能である。尚、ここでの送受信されるメッセージには、テキストメッセージとイラストを含むイラストメッセージがある。メッセージ送信部１８０は、作成されたメッセージを通信機能部１５を介してネットワーク上で指定した宛先（本実施形態においてはコミュニティサイトサーバー装置２００、ネットワーク上のリソースの一例）に送信（アップロード）する機能を提供する。メッセージ受信部１７０、メッセージ送信部１８０は、既存のインターネット上のリアルタイムコミュニケーションツール（インスタントメッセンジャーや各種のチャットアプリ）をそのまま用いてもよい。リアルタイム性を必須としなければインターネットメールの機能とプロトコルに従って実現してもよい。これらのコミニケーションアプリケーションは現在様々な形態のものが公知であり、詳細は割愛する。メッセージ処理部１２０は、新たにメッセージを作成編集する機能を担う。また、送受信したメッセージを閲覧表示する機能も提供する。

メッセージ処理部１２０は、周囲の状況を判定する機能（状況判定部１２１）、利用者の感情を判定する機能（感情判定部１２２）、イラスト画像を提示して選択させる対話画面を表示する機能（イラスト提示部１２３）、の各部分機能をも提供する。これらの機能を実現するプログラムの実行コードは不揮発メモリ１４に記録されている。

本実施形態が扱うイラスト画像は少なくとも２種類あり、イラスト保持部１４Ａに記録保持されている。環境情報に依存した周囲の状況を表す背景イラスト画像（背景イラスト、周囲の状況に関連するイラストの一例）と、利用者の感情を表現するための、人物の表情を表現した顔イラスト画像（顔イラスト、感情に関連するイラストの一例）である。これらの画像には、その画像の特徴を記述した属性値として各種対応した識別子が付与される。属性値は画像のプロパティ情報としてテキスト又はバイナリ情報で画像データと一体になって記録される。まず、背景イラスト画像か顔イラスト画像かを区別する識別子を有する。また顔イラスト画像の場合にはそのイラストが表している感情を示す属性、すなわち、「怒り」「嫌悪」「悲しみ」「恐怖」「驚き」「喜び」「無表情」等のいずれかを示す感情に対応した識別子が記録される。

また、背景イラスト画像の場合には、内部時計による時刻情報や温度センサ、加速度センサ、ＧＰＳ等を用いることにより得られる周囲の環境情報に対応した周囲の状況を表す属性、「暑い」「暖かい」「涼しい」「寒い」、「徒歩」「停止」「バス」「電車」「車」「自転車」、「春−朝」「春−昼」‥「冬−夜」等の周囲の状況に対応した識別子が付与される。以下ではこれら感情又は周囲の状況を表す属性の値は上記のテキストデータにより各イラスト画像に設定されているものとして説明する。

図４から図６の図面によりメッセージ送信装置１０の利用手順を説明する。図４は、メッセージ送信装置１０の設定画面５００である。メッセージ送信装置１０に感情判断を行わせるか否か、メッセージ送信装置１０に状況判断を行わせるか否か、をボタンの選択により設定する。この設定は不揮発メモリ１４の所定の領域に記憶される。図４では感情判断も状況判断もＯＮ（メッセージ送信装置１０の同機能を使用する）の設定となっている。

図５は、メッセージ送信装置１０のメッセージ処理時の画面６００の画面フォーマットを説明する図である。画面６００は、送受信されたテキストメッセージが表示されるテキスト表示領域６１０、送受信されたイラストメッセージが配置される領域６２０、テキスト入力エリア６３０の３部分に分けられる。すなわち、表示領域は、送信時及び受信時ともに同様のエリアに表示され、例えば色分けされたり、表示を右寄せ、あるいは左寄せして表示することで受信されたメッセージか、送信したメッセージかが視覚的に判別可能に表示される。６０２はテキスト送信ボタンである。テキスト入力エリア６３０で確定された変換後テキストはボタン６０２が押されるとメッセージとしてサーバー装置２００へ送信され、上部のテキスト表示領域６１０に反映される。テキスト入力エリア６３０の左にはイラストボタン６０１が配置されている。また画面６００には、終了ボタンも選択可能であるが図示が省略されている。

図６は、メッセージ作成時の作業フローを説明する図である。利用者はテキスト入力エリア６３０にテキストを入力し（「テキスト入力エリア６３０に文字を入力しかな漢字変換等を行うことにより「テキストを入力」する処理については市販のモバイル情報機器において公知であるので詳細な記述は割愛する）テキスト送信ボタン６０２を押すと入力確定したテキストが領域６１０に新たな送信メッセージとして表示される。この状態（画面６００が表示された後でテキスト入力エリア６３０が使用されていない状態）で、利用者がイラストボタン６０１を押すと、事前の設定により感情判断がＯＮとなっている場合は、自画像の撮像がなされる。自分画像撮像カメラが駆動し、自画像撮カメラのスルー画像を表示する画面７００に切り替わる。利用者は好みのタイミングで画面７００の下部に出ている撮影ボタンを押して顔画像を取り込ませる。つづいて感情判定部１２２は今取り込んだ顔画像データから利用者の感情を判定して、その判定結果と同じ感情を示す属性値が設定されている顔イラスト画像を抽出する。

並行して、利用者がイラストボタン６０１を押したとき、事前の設定により状況判断がＯＮとなっている場合は、メッセージ送信装置１０はセンサの出力を取得して周囲状況を判定する。そしてこの判定結果と同じ周囲状況を表す属性値がついている背景画像を抽出する。メッセージ送信装置１０は背景画像に顔イラスト画像を合成した画像を何通りか作成して、利用者の選択を受付けるイラスト選択画面８００を表示する。画面８００には幾つかの合成画像が表示されているが、利用者は任意の１つを選択することができる。利用者の選択操作（１つの合成画像上で指を押し当てるなど）が受付けられると、図示は省略するが選択したイラストを送信することについての確認を促すメッセージとともにイラストを送信指示するボタン（およびキャンセルするボタン）が操作可能に組み込まれた確認画面が利用者に呈示され、利用者がイラストを送信指示するボタンを押すと、選択したイラスト画像がメッセージとして送信され、確認画面および画面８００は消えて画面６００に切り替わる。メッセージ送信装置１０は、利用者が新たに送信した合成イラスト画像を送受信したイラスト配置領域６２０に配置したメッセージ処理画面６００を合成し再表示する。

なお、ここではイラストボタンを押すことでカメラ、および各種センサを起動し、イラストを生成するよう説明を行ったが、本発明はこれに限定されることなく、種々のタイミングにてこれらの動作を実行可能である。例えば、テキストを入力中にカメラを起動した上で、動画として撮影を行い、撮影時間内での表情の変化を分析し、その中で現れた特徴的な表情のみを抽出してもよい。同様にセンサを起動し続けることで入力開始時と入力終了時における周囲の状況の違いなどを判断することも可能である。

図５−６で説明したメッセージ送信装置１０の動作はメッセージ処理部１２０の働きにより実現する。図７はメッセージ処理部１２０の動作を詳しく説明するフローチャートである。以下図７−９により説明する。

利用者による受信メッセージの閲覧の意思表示を受けて、メッセージ処理部１２０が起動されると、画面６００のメッセージ処理画面が表示される。この状態で、イラストボタン６０１、送信ボタン６０２、終了ボタン（図示せず）が画面６００上に表示されるが、これらのボタンが押されていない場合は、テキスト入力（Ｓ３２）のモードで動作する。テキスト入力のモードでは、テキスト入力エリア６３０へのテキスト入力を受け、文字変換指示がなされたら文字変換が確定したテキストをテキスト入力エリア６３０に表示する処理を行う。送信ボタン６０２が押されると（Ｓ２０のＹ分岐）は、テキスト入力エリア６３０に入力されたテキストを新規メッセージとして所定の宛先（本実施形態においてはコミュニティサイトサーバー装置２００）に送信（アップロード）する（Ｓ２２，Ｓ２４）。終了ボタンが押されると（Ｓ３０のＹ分岐）メッセージ作成の作業を中断して終了する。

イラストボタン６０１が押された場合（Ｓ０２のＹ分岐）は、感情判定処理および状況判定処理を呼び出す（Ｓ０４，Ｓ０８）。感情判定処理、状況判定処理の詳細は後述するが、感情判定処理の結果としては利用者の感情を「怒り」「嫌悪」「悲しみ」「恐怖」「驚き」「喜び」「無表情」の何れかに識別した結果を返す。状況判定処理の結果としては、例えば温度センサーを使用している場合は「暑い」「暖かい」「涼しい」「寒い」の何れかに識別した結果を返す。この結果に基づいて、夫々の判定結果に関連したイラスト画像の抽出が行われる（Ｓ１０）。イラスト提示部１２３は、イラスト保持部１４Ａに保持されているイラスト画像からその画像に付与された感情を示す属性または周囲状況を表す属性の値がいずれかの判定結果に一致しているイラスト画像（顔画像、背景画像）を抽出する。次に、画像の合成を行う（Ｓ１２）。

図１０は画像の合成処理を模式的に説明する図である。感情判定処理の結果が「怒り」であり、温度センサーによる状況判定処理結果が「暑い」だった場合を例にとって説明している。図１０の左側は、「怒り」に対応する顔イラスト画像（ａ１）と「暑い」に対応する背景イラスト画像（ｈ１）（ｈ２）（ｈ３）を示している。画像の合成処理は顔イラスト画像の一つと背景イラスト画像の一つの全ての組合せの合成画像を作成する。
図１０場合は、右側に示した（ａ１×ｈ１）（ａ１×ｈ２）（ａ１×ｈ３）の３つの合成画像ができる。

次に、イラスト提示部１２３は、合成画像により画面８００のような選択画面を表示し、利用者の選択を促す（Ｓ１４）。何れか一つの画像が利用者により選択されると、イラスト送信部１２４により、図示は省略するが選択したイラストを送信することについての確認を促すメッセージとともにイラストを送信指示するボタン（およびキャンセルするボタン）が操作可能に組み込まれた確認画面が利用者に呈示され、利用者がイラストを送信指示するボタンを押すと、選択したイラスト画像がメッセージとして所定の宛先に送信（アップロード）される（Ｓ１６）。その結果は、メッセージ処理画面６００を表示したとき、イラスト配置領域６２０に新たに送信したイラスト画像が配置されて表示されるので利用者は確認できる。

図８は、Ｓ０４の感情判定処理をさらに詳しく説明するフローチャートである。図８に示す動作は感情判定部１２２による動作ということができる。まず、感情判断がＯＮに設定されているかどうかを確かめる（Ｓ５０）。もしＯＮに設定されていなかったら（Ｎの分岐）即座に感情判定処理を終了する（即座にリターンする）。感情判断がＯＮに設定されている場合（Ｙの分岐）は、メッセージ送信装置の表示を、自分画像撮像のための操作画面７００に切り替える（Ｓ５１）。画面７００ではカメラのスルー画像が画面中央部に表示される。利用者が撮像ボタン（シャッターボタン）を押すと（Ｓ５３のＹ分岐）、自分画像撮像カメラはスルー画像（利用者の顔画像）をキャプチャーして、得られた顔画像を所定の領域に一時保存する（Ｓ５６）。次に顔画像に基づく感情解析処理を行う（Ｓ５９）。

顔画像に基づいて被撮影対象人物のその時抱いている感情を推定する感情解析処理は公知の手法が知られているので、適当な公知の手法を用いた解析処理を行う。例えば特許文献２に記載の「表情から心理状態を推定する方法」が知られているのでこれを用いてもよい。同公報記載の方法は、「ヒトの画像から、左右の眼および口の形状をフーリエ記述子を用いて定量的に表し、これらの口および左右の眼の形状をそれぞれ表すフーリエ記述子を用いた線形判別式により、口および左右の眼のそれぞれの形状について、あらかじめ設定されている複数の基本感情について判定得点を算出して正規化することにより、それぞれの形状における上記各基本感情に関する感情確信度を求め、各表情要素ごとの重要度を加味した重回帰式を用いて計算し、その結果からヒトの心理状態を推定する。」というものである。

図９は、Ｓ０８の状況判定処理をさらに詳しく説明するフローチャートである。図９に示す動作は状況判定部１２１による動作ということができる。まず、状況判断がＯＮに設定されているかどうかを確かめる（Ｓ７０）。もしＯＮに設定されていなかったら（Ｎの分岐）即座に状況判定処理を終了する（即座にリターンする）。状況判断がＯＮに設定されている場合（Ｙの分岐）は、まず、センサー情報を取得する（Ｓ７１）。センサーインターフェース回路のレジスタの内容を読み出す（制御部１１Ａが所定の番地のデータを読み出す）等してセンサー情報を取得する。次に使用するセンサーに応じてあらかじめ設定された状況判定処理を行う（Ｓ７２）。

温度センサーを使用している場合は、計測値（気温）をそのまま利用して、予め定めた幾つかの気温設定範囲のどこに属するかにより、「暑い」「暖かい」「涼しい」「寒い」を状況判定結果として出力する。センサーではないが内部時計を使った場合には、日時および時刻に応じて、春夏秋冬の何れかの季節と朝昼夜の何れかの組合せを状況判定結果として出力する。例えば「春−夜」「夏−朝」を状況判定結果とする。

加速度センサーを使った場合には、移動中の利用者が使っている交通機関を「車」「電車」「バス」「徒歩」「停止」等に識別した結果を状況判定結果とする。移動で乗車している交通機関を加速度センサにより判定する手法としては公知のものがある。例えば非特許文献１に記載の方法により、ある程度の精度で「徒歩」「停止」「バス」「電車」「車」「自転車」の識別を行うことができる。

センサーではないがマイクで周囲の音を集めることにより、加速度センサーにより「停止」と判定された場合に、利用者が何かしている状態をある程度識別してその結果を状況判定結果としてもよい。非特許文献２に記載の方法によって、「歯磨き」「髭剃り（電気シェーバー）」「ドライヤー使用」「トイレ」「掃除機による清掃」「皿洗い」「アイロンがけ」の識別が一定の精度で可能である。

以上、本発明の好適な実施形態を説明した。この実施形態においてはセンサー等の情報に基づく状況判定処理と顔画像を解析した結果に基づく感情判定処理の両方を使い、それぞれ背景イラスト画像と顔イラスト画像を選択し、これらを合成してメッセージに加えることで、送信者（利用者）の置かれた周囲の状況を、モバイル端末に搭載されているセンサーから取得できる情報に基づいて判断して、どういう状況の下で送信されたメッセージなのかを容易にメッセージの受け手に伝えることができるという本願発明の目的を達成することができる。

（第１の実施形態の変形構成）また、上記説明した実施形態では、背景イラストと顔イラストを合成して、合成したイラストをメッセージとして送信するものとして説明したが、これらを合成しない構成であってもよい。そのために、ステップＳ１０のイラスト抽出を、状況判定処理結果に該当する背景イラストの抽出、感情判定処理結果に該当する顔イラストの抽出をおこなった後、ステップＳ１２を割愛してステップＳ１４の選択画面を提示する処理を、図１１のア）に例示するような状況判定処理結果に該当する背景イラストだけから構成される選択画面８０１により背景イラストを選択させて背景イラストを送信させ、続いて、図１１のイ）に例示するような感情判定処理結果に該当する顔イラストだけから構成される選択画面８０２により顔イラストを利用者に選択させて、顔イラストを送信するとした構成としてもよい。このような構成であっても、背景イラストと顔イラストはイラストボタン６０１を押した後の一連の操作により連続的にほぼ同時に送信されるので、送信者（利用者）の置かれた周囲の状況を、モバイル端末に搭載されているセンサーから取得できる情報に基づいて判断して、どういう状況の下で送信されたメッセージなのかを容易にメッセージの受け手に伝えることができるという本願発明の目的を達成することができる。

また、上記変形構成において、背景イラストおよび顔イラストがそれぞれ１つずつだけ抽出される場合、また、第１の実施形態において合成イラストが唯一通りしかできない場合は、画面８００の選択画面の表示を省略し、直ちに抽出されたイラストまたは合成イラストの送信を行うようにしてもよい。

（感情判定部１２２の変形構成）また、感情判定部１２２の自画像撮像部１６Ａを用いた感情判定処理の説明においては、イラストボタン６０１が押されて画面７００に切り替わった後、利用者が明示的に撮像ボタンを押して静止画の顔画像を取り込むのではなく、自画像撮像部１６Ａにて利用者の顔を動画として撮影し、感情判定部は、公知の笑顔検出の技術を用いて、撮影中の動画から表情が変化した瞬間を検出し、その時点のフレーム画像から利用者の感情を判定してもよい。

また、状況判断処理に使うセンサーとしては、温度センサー、加速度センサー、内部時計、マイクを扱うことを説明したが、温度センサー、加速度センサー、時計のうちの少なくとも１つの要素により状況判断処理を行える構成であれば、送信者の置かれた周囲の状況を、モバイル端末に搭載されているセンサーから取得できる情報に基づいて判断して、どういう状況の下で送信されたメッセージなのかを容易にメッセージの受け手に伝えることができるという本願発明の目的を達成することができる。

また、メッセージ送信部１８０は、新規メッセージをもっぱら中央にあるコミュニティサイトサーバー装置２００に送信するものであって、メッセージ受信部１７０はサーバー装置２００にあるコミュニティ参加者が投稿したメッセージを取得するものとして説明したが、本発明の趣旨はそのような場合に限られるものではない。有線または無線通信により１対１で論理的に接続される外部の機器に仲介するサーバーを経由することなく、メッセージ送信部と受信側のメッセージ送信装置の受信部が直接メッセージを送信受信するものであってもよい。

また、本発明はパーソナルコンピュータ上に構成することもできる。例えば温度センサーについては無線通信により温度湿度データをパソコンに取り込めるようにしたものが市販されている。このようなものを用いて、当該パソコンにメッセージ処理部１２０、メッセージ受信部１７０、メッセージ送信部１８０の機能を実現させる専用プログラムを搭載させることにより、本願発明のメッセージ送信装置とすることができる。

このメッセージ送信装置は、メッセージを送信する者の周囲の状況やその時抱いている感情を容易にメッセージに含めることができることから、インターネット上で会員利用者間で共通の話題について自由に批評したり感想を表明することにより親睦を深めあう趣味の場としてのコミュニティ形成や、または、ＭＲＯＣ（Marketing Research Online Community）のような、ビジネス上の目的を持った一定の集団の意見交換やディスカッションを行う場としてのコミュニティを形成するために有用なツールとして利用できる。

１ メッセージ閲覧送信システム
９ インターネット
１０ メッセージ送信装置
１１ プロセッサ部
１１０ 制御部
１１１ スピーカ
１１２ マイク
１１３ センサ部
１１３Ａセンサ部
１２ ＲＯＭ(リードオンリメモリ)
１２０ メッセージ処理部
１２１ 状況判定部
１２２ 感情判定部
１２３ イラスト提示部
１２４ イラスト送信部
１８０ メッセージ送信部
１３ タッチパネルディスプレイ部
１３Ａ 入力部
１３Ｂ 表示部
１３３ 表示制御部
１４ 不揮発メモリ
１４Ａ イラスト保持部
１５ 通信機能部
１６ 自分画像撮像カメラ
１６Ａ 自画像撮像部
１６１ カメラ制御部
１７０ メッセージ受信部
２００ コミュニティサイトサーバー装置
５００ 設定画面
６００ メッセージ作成時の画面
７００ 自画像撮像カメラの操作画面
８００ イラスト選択画面
８０１ イラスト選択画面（背景イラストのみ）
８０２ イラスト選択画面（顔イラストのみ）

Claims (6)

1. 送信者のテキスト入力を含む対話操作入力を受付ける入力部と、
   周囲の状況に関連するイラストと、感情に関連するイラストと、を記録保持するイラスト保持部と、
   前記テキストと前記イラストを描画表示する表示部と、
   前記操作入力時の周囲の環境情報を取得するセンサ部と、
   前記センサ部が取得した周囲の環境情報から前記送信者の周囲の状況を判定する状況判定部と、
   前記操作入力時の前記送信者の顔画像を撮像する自画像撮像部と、
   前記自画像撮像部により撮像された送信者の顔画像から送信者が抱いている感情を判定する感情判定部と、
   前記状況判定部及び前記感情判定部の判定結果に基づいて、各判定結果に関連するイラストを前記イラスト保持部からそれぞれ少なくとも１つずつ抽出して前記表示部に表示するイラスト提示部と、
   前記操作入力されたテキスト及び前記イラストを外部へ送信するメッセージ送信部と、
   を備えることを特徴とするメッセージ送信装置。
2. 前記イラスト提示部は、前記抽出したイラストを前記送信者が選択可能な態様で前記表示部に表示し、
   前記メッセージ送信部は、選択されたイラストのみを外部へ送信することを特徴とする請求項１記載のメッセージ送信装置。
3. 前記イラスト提示部は、それぞれ抽出された周囲の状況に関連するイラストと感情に関連するイラストとを合成した合成イラストを前記送信者が選択可能な態様で前記表示部に表示することを特徴とする請求項２に記載のメッセージ送信装置。
4. 前記状況判定部は、内部時計による時刻情報を用いて周囲状況を判定することを特徴とする請求項１から請求項３のいずれか１項に記載のメッセージ送信装置。
5. 前記自画像撮像部は、前記操作入力中の顔画像を動画にて撮影し、
   前記感情判定部は、前記動画から取得される表情が変化した時のフレーム画像から感情を判定することを特徴とする請求項１から請求項４のいずれか１項に記載のメッセージ送信装置。
6. 請求項１から請求項５の何れか１項に記載のメッセージ送信装置をコンピュータに実行させるコンピュータプログラム。