JP2007280074A

JP2007280074A - 携帯端末および制御方法

Info

Publication number: JP2007280074A
Application number: JP2006105824A
Authority: JP
Inventors: Noriko Matsumoto; 紀子松本; Koichi Terui; 孝一照井
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2006-04-07
Filing date: 2006-04-07
Publication date: 2007-10-25

Abstract

【課題】メール受信者の反応をメール送信者に伝えることができる携帯端末およびこれを制御する制御方法を提供する。
【解決手段】携帯端末の表示部に受信したデータを表示している場合に、ユーザを撮影した画像データなどを用いて、ユーザの反応あるいは感情等のユーザ関連情報を抽出する。そして、抽出したユーザ関連情報は、自動的あるいはユーザの指示、ユーザ設定に応じて、データの送信相手に送信する。
【選択図】図１

Description

本発明は、通信機能を持ち、メールを送受信可能な携帯端末および、これを制御する制御方法に関する。

特許文献１に、クライアントのメールの読込装置に開封確認機能を組み込みし、既存のメールシステムの変更無しに開封確認機能を行える開封確認機能付き電子メール読込装置が提案されている。

また、特許文献２には、電子メールなどで、文章だけでは書き手の微妙な意図を伝えるのが困難なときに、顔の表情を用いて書き手の意図を伝えることを課題とし、文章中の表現に応じて顔マークを自動的に作成する顔マーク入力装置が提案されている。

特開平１０−３２０３１９号公報特開平１０−１４９４３３号公報

上記のように、メール送信者が送信したメールが開封されたかどうかを確認する方法や、メール送信者の感情を反映した顔マークを入力したメールを作成する方法が提案されている。しかし、これら従来技術では、メール送信者がメール受信者がメールを読んでいるときのダイレクトな反応を知る方法については記載されていなかった。なお、特許文献２の方法を用いることにより、メール受信者が受信メールに対し、感情を反映した顔マークが入力された返信メールを作成することはできるが、これはメール作成中の感情を反映したものであって、受信メールを読んだときの反応を伝えることを記載したものではない。

そこで、本発明は、メール受信者の反応をメール送信者に伝えることができる携帯端末およびこれを制御する制御方法を提供することを目的とする。

上記目的を達成するために、本発明では、携帯端末の表示部に受信したデータを表示している場合に、ユーザを撮影した画像データなどを用いて、ユーザの反応あるいは感情等のユーザ関連情報を抽出する。そして、抽出したユーザ関連情報は、自動的あるいはユーザの指示、ユーザ設定に応じて、データの送信相手に送信する。

本発明によれば、メール受信者の反応をメール送信者に伝えることができる携帯端末およびこれを制御する制御方法を提供することができる。

図1は、携帯端末100の構成要素の一例を示したものである。携帯端末100は、携帯電話やPHS（Personal Handy-phone System）、PDA（Personal Digital Assistant）やPC（Personal Computer）など、メールを受信し、表示、通信可能な端末である。

撮像部101は、カメラ等により景色や人物の静止画像や動画像を撮像する。通信部103は、アンテナ102を介し、他の携帯端末や外部の装置等との通信を行う。これにより、ユーザは通話やインターネット、メールなどが可能である。記憶部104は、例えば、ROM(Read Only Memory)やRAM(Random Access Memory)等で構成され、携帯端末100で扱うデータやソフトウェアなどや、撮像部101により撮像された静止画データや動画データ、音声や音楽等の音データ等の他に、メールを返信する際に使用される音データや画像データ、文字データなども記憶することができる。

入力部105は、キーボードやボタンなどで構成され、ユーザによる操作の入力が可能である。ただし、入力部は、ユーザがキーボード等を操作することにより入力した指示に限らず、撮像部101から映像信号が入力されても良い。また、例えばマイクなどの音入力部110から音声信号を入力しても良い。

音出力部106は例えばスピーカであり、通信部103により受信した音声信号や、音入力部110から入力された音声信号を出力する。なお、スピーカによる再生音の出力に限らず、ヘッドホン等を用いて出力しても良い。また、画像表示部107は、LCD（Liquid Crystal Display）や有機EL等で構成され、撮像部101により撮像された画像や、通信部103より受信したメールなどを表示する。

なお、撮像部101は、ユーザが画像表示部107の表示画面を見ている場合、ユーザを撮影可能な位置に配置されているものとする。例えば、撮像部101と画像表示部107は、携帯端末100の筐体の同じ面に設ける。ここで、同じ面とは、同一の筐体の面に限らず、携帯端末100が例えば折畳型やスライド型の場合には端末を開いたときに現れる面も含むものとする。

制御部108は、CPUで実現され、記憶部104に記憶されたプログラムに基づいて動作し、携帯端末100の各部を制御する。感情抽出部109は、撮像部101により撮像された画像データや、音入力部110により入力された音声データから、ユーザの感情や反応を推定あるいは抽出する。本実施例では、音声認識や表情認識の技術を用い、顔画像や音声から感情を抽出する場合について説明しているが、感情や反応が抽出できるものであれば他の技術を用いても良い。

図１の例では、制御部108の内部に感情抽出部109を設けているが、これに限定するものではなく、制御部108とは別に感情抽出部109を設けても良い。また、図１に示す構成の一部、例えば音出力部106や音入力部110、撮影部101を携帯端末100の外部装置とし、無線通信あるいは有線通信により接続して用いるようにしても良い。また、記憶部104を着脱可能なメモリカードや外部より接続された記憶装置等で実現してもよい。

図2は、携帯端末におけるメール処理手順を示したフローチャートである。本処理は記憶部104に記憶されたプログラムに基づき、制御部108により実行される。

携帯端末処理が開始（S201）されると、通信部103は、他の携帯端末から送られてきたメールを受信する（S202）。入力部105によりユーザからメール表示指示が入力されると、画像表示部107が受信メールを表示する（S203）。受信メールが表示されると、制御部108は撮像部101を起動させ（S204）、撮像部101がメールを読んでいるユーザの画像の取得を開始する（S205）。本例では、撮像部101と画像表示部107は同じ面に設けられ、ユーザが受信メールを読んでいる場合には、撮像部101はユーザの顔の画像を取得できるように構成されている。ただし、撮影時に撮影部101の方向に顔を向けることをユーザに促すようにメッセージを表示するようにしても良いし、撮影部101の撮影方向を可動式にし、本メール処理を行う場合に撮影部の撮影方向を変更するようにしても良い。

なお、撮像部101が撮影を開始する前に、撮影開始を知らせるメッセージを画像表示部107に表示させるか、撮影開始を知らせる報知音を音出力部106から出力することが好ましい。これにより、ユーザは撮影が開始されることを知ることができる。あるいは、撮影開始をする前に、撮影を行うかどうかの選択を求めるメッセージを画像表示部107に表示し、入力部105により撮影指示が入力された場合のみ、撮影を行うようにしても良い。メール送信者が会社関係であるか友人であるかどうかや、その時のユーザの状況によって撮影を好まない場合があるため、このようにユーザが選択できるようにすることにより、ユーザの使い勝手を向上することができる。

ユーザがメールを読み終わり、入力部105にメール表示の終了指示や次のメールの表示指示などが入力されると、画像表示部107はメールの表示を終了する（S206）。撮像部101は、画像の取得を終了し（S207）、記憶部104へ記録する。感情抽出部109は、撮像部101が取得したユーザの顔画像より、ユーザの感情や行動を抽出する（S208）。感情等を抽出する方法については、後述する。制御部108は、感情抽出部109で抽出された感情や反応を示すメールを作成し（S209）、送信者へ自動的に返信し（S210）、処理を終了する（S211）。

図3は顔画像から返信メールを作成する様子を示したものである。撮像部101が記録したユーザがメールを読んでいる最中の顔の画像（301）より、「笑い」、「喜び」、「おもしろい」、「吹き出した」などのような感情を感情抽出部が抽出する（302）。そして、制御部が、これらの感情が分かるような返信メールを自動的に作成し（303）、自動的に送信者へ送信する。これにより受信者は、メールを受け取り、読んでいる最中のリアクションや感情を、ダイレクトに、送信者に伝えることが出来、より楽しくコミュニケーションをとることが出来る。なお、図３の例では、「思わず笑ってふきだした」という文字だけで感情を伝えているが、感情に対応したマークや絵文字やアバター等を含めても良い。感情に対応した音楽や動画をテキストデータとともに、あるいはテキストデータの代わりに送信するようにしても良い。

以上、メールを自動的に返信する場合について説明したが、メールを送信する前に画像表示部107にメール内容を表示し、ユーザから送信指示が入力された場合にのみ、作成したメールを送信するようにしても良い。ユーザの表情によっては感情抽出部109がユーザの感情を間違って抽出する可能性があり、メール内容によってはユーザが送信を望まない場合があるため、このようにユーザがメール内容を確認し、送信の可否を選択できるようにすることにより、ユーザは表情や反応といった個人情報が勝手に流出するのを防ぐことができる。また、送信の可否をメールを読む毎に行う場合に限らず、ユーザが、送信許可する相手や時間、受信メールのタイトルの種類等を予め指定するようにするようにしても良い。例えば、送信許可する相手については、アドレス帳から個人やグループを指定する。これにより、感情伝達が必要でないメールに対しては反応が送信されることを防ぐことができる。

また、受信したメールにメールの開封を通知する開封確認通知要求が添付されている場合に、開封確認とともに、あるいは開封確認の代わりに送信するようにしても良い。また、ユーザが返信メールを送信する際に、読んだときの感情を伝える情報を添付して送信するようにしても良い。

一方、送信メールに対する受信者の感情等に関する情報を受信した場合、メールの送信日時や件名などを示す送信済みメール一覧に、反応を示すアイコン等と追加して表示するようにしても良い。これにより、ユーザは件名と反応を示すアイコンを確認することにより、送信メールリスト上で、ユーザは相手が喜んだメールや驚いたメールを容易に識別することができ、どのような話題に対して相手の興味を持っているのか等を判断するのに用いることができる。

次に、感情抽出部109においてユーザの感情等を抽出する方法について説明する。感情抽出部109は、顔の画像より、エッジ検出やパターンマッチング等の顔認識技術によって、目や眉毛、口、鼻といった特徴点を抽出し、その位置関係により表情を推定する。例えば、眉毛が上に上がっていて湾曲に盛り上がっており、口が開いていれば、「驚き」の表情と判断し、口角が上がっていて、眉毛が下がっていれば、「喜び」の表情と判断する。但し、感情等の抽出方法をこれに限定するものではなく、感情抽出が可能であればどのような技術を用いても構わない。これらの表情パターンデータは、感情抽出部109に記憶しても良いし、記憶部104に記憶しても良い。また、１つの表情の継続時間を測定し、その時間に応じて、感情の強さを認識するようにしても良い。この場合、例えば、「驚き」の表情が5秒以上続いた場合には、「とても驚いた」と判断する。また、撮影部101から出力された顔の画像からユーザがメールを読んでいる時間を測定し、その時間に応じて感情の種類や強さを判断するようにしても良い。

なお、メールを読んでいる最中のユーザの表情は、実際の面と向かったコミュニケーションにおける感情表現よりも感情が抑えられている可能性が高いため、感情抽出部109で抽出した感情を誇大に評価し使用するなどしてもよい。また、メール送信前に、ユーザにメール内容に確認を求める場合に、ユーザが感情の種類や感情の強弱を変更できるようにしても良い。ユーザ毎に表情の出し方に差があるため、このようにユーザが変更できるようにすることにより、ユーザの感情を適切に相手に伝えることができる。また、変更情報に応じて、表情パターンデータを変更するようにしても良い。これにより、ユーザの感情をより的確に抽出することができる。

以上の説明では、読み手の反応を取得するために、読み手がメールを読んでいる最中の顔の画像から感情を抽出していたが、これに限定するものではなく、他の情報を用いて感情や反応を抽出しても良い。例えば、携帯端末100に、ユーザの脈拍や手の温度を測定可能な測定部を備え、メールを読んでいる最中のユーザの手より脈拍や温度を測定し、感情抽出部109は測定した脈拍等のデータから感情を抽出してもよい。

また、以上の例では、受信側の携帯端末により感情等を示す情報の送信が制御する場合について説明したが、送信側が読み手の反応の取得を求める要求情報をメールに付加して送信し、受信側の携帯端末がこの要求情報に応じて感情の抽出や、感情に関する情報を送信するようにしても良い。あるいは、読み手の反応を取得するタイミングを指示する指示情報を送信メールに付加し、受信側の携帯端末は、指示情報に応じて、メール送信者の指定したタイミングで感情や反応の抽出を行うようにしても良い。これにより、送信者が、メール内の特に読んで欲しい箇所、反応が見たい箇所について、読み手の反応や感情を知ることができる。

また、本実施例では、メールにおけるコミュニケーションの際に、メールの読み手の感情や反応を送信者に伝える場合を想定していたが、メールに限らず、チャットやメッセンジャーといった他のコミュニケーションを行う場合に適用しても良い。更に、抽出した感情を送信者へ知らせる他に、抽出した感情の結果を、読み手が返信メールを作成する際の、文字変換機能等に反映し、読み手が興味を持った単語を変換時に上位に持ってくるなど、利用しても良い。

以上説明した方法によれば、メール送信者が、メール受信者である読み手を煩わせることなく、簡単に、メール受信者のダイレクトな反応や感情を感じ、よりスムーズで円滑なコミュニケーションを図ることができる。そして、ユーザが楽しんでコミュニケーション可能な、使い勝手の良い携帯端末を提供することができる。

携帯端末の構成の一例を示す構成図である。携帯端末におけるメール処理手順を示したフローチャートである。本発明の第1の実施例における画面表示を示した画面表示図である

符号の説明

１００携帯端末
１０１撮像部
１０２アンテナ
１０３通信部
１０４記憶部
１０５入力部
１０６音出力部
１０７画像表示部
１０８制御部
１０９感情抽出部
１１０音声入力部

Claims

携帯端末を制御する制御方法であって、
前記携帯端末は、他の端末とデータの送受信を行う通信部と、前記通信部により受信したデータを表示画面に表示する表示部と、前記携帯端末のユーザが前記表示画面を見ている場合に前記ユーザを撮影可能な位置に配置された撮像部と、を備え、
前記表示部に前記受信したデータを前記表示部に表示している場合に、前記撮像部により前記携帯端末のユーザを撮影し、
前記撮像部により撮影されたユーザの画像データを用いて、前記ユーザに関するユーザ関連情報を抽出することを特徴とする制御方法。
請求項１に記載の制御方法において、前記通信部により前記ユーザ関連情報を前記他の端末に送信することを特徴とする制御方法。
請求項２に記載の制御方法において、前記通信部により前記ユーザ関連情報を前記他の端末に送信する前に、前記表示部により前記ユーザ関連情報を表示画面に表示することを特徴とする制御方法。
請求項２に記載の制御方法において、前記通信部により前記ユーザ関連情報を前記他の端末に送信する前に、前記表示部により前記ユーザ関連情報の送信許可を求めるメッセージを表示画面に表示することを特徴とする制御方法。
請求項１ないし４に記載のユーザ関連情報は、ユーザの感情を示す情報であることを特徴とする制御方法。
通信回線を接続可能な通信部と、前記通信部により受信したメールの表示を行う表示部と、を有する携帯端末において、前記表示部によりメールを表示中にメールを読んでいるユーザを撮影可能な撮影部を有することを特徴とした携帯端末。
請求項６に記載の携帯端末は、ユーザの指示を入力可能な入力部を備え、
前記入力部によりメール表示の指示が入力されると前記撮像部を起動することを特徴とする携帯端末。
請求項６または請求項７に記載の携帯端末において、前記撮影部により撮影したユーザの画像データを用いて、前記ユーザの感情を抽出する感情抽出部を有することを特徴とする携帯端末。
請求項８に記載の携帯端末において、前記感情抽出部により抽出されたユーザの感情に関する情報を前記通信部により送信することを特徴とする携帯端末。
請求項９に記載の携帯端末において、前記メールに対する返信メールを送信するときに、前記ユーザの感情に関する情報を前記通信部により送信することを特徴とする携帯端末。
請求項９に記載の携帯端末において、前記メールに開封確認要求が付加されている場合に、前記ユーザの感情に関する情報を前記通信部により送信することを特徴とする携帯端末。