JP2013029928A - 情報端末装置、そのデータ加工方法及びプログラム - Google Patents

Abstract

【課題】通信相手に手軽に心理状態や感情を伝達することが可能な情報端末装置、そのデータ加工方法及びプログラムを提供する。
【解決手段】センサを用いてユーザの生体情報を測定し、センサで測定された生体情報に基づいて、予め決められたユーザの特定の心理状態・感情を検出し、その強さを示す心理強度情報を出力する。そして、心理強度情報の統計値に基づいてユーザが作成中または編集中の画像データを予め決められた所定の加工方法にしたがって加工する。
【選択図】図１

Description

本発明は、電子メールの送受信、並びに画像や映像の撮影、編集が可能な情報端末装置、そのデータ加工方法及びプログラムに関する。

電子メールを利用して他者とコミュニケーションを行う場合、互いの表情や態度等は見えないため、例えば「好き」という言葉を伝えても、どれくらい「好き」なのかは伝わりにくい。

通信相手と直接会ってコミュニケーションを行えば、表情、態度、言葉使いなどで、相手の感情をある程度読み取ることができる。しかしながら、物理的あるいは時間的な制約により相手と直接会えるとは限らない。近年では、通話と同時に撮影画像も送受信できる固定電話機や携帯電話機も増えてきているが、送受信するデータ量が大きく、通話料金も高くなるため、通信相手に心理状態や感情を伝達する際に、より手軽に利用できる情報端末装置の実現が望ましい。

なお、特許文献１には、人の感情を検出して、該感情を色で可視化する装置及び方法が記載されている。

特開２００５−０５８４４９号公報

上述したように、通信相手と直接会ってコミュニケーションを行えば、表情、態度、言葉使いなどで、相手の感情をある程度読み取ることができる。しかしながら、物理的あるいは時間的な制約により相手と直接会えるとは限らない。

また、通話と同時に撮影画像も送受信できる固定電話機や携帯電話機は、送受信するデータ量が大きく、通信料金も高くなるため、通信相手に心理状態や感情を伝達する際に、より手軽に利用できる情報端末装置の実現が望ましい。

本発明は上述したような背景技術が有する問題点を解決するためになされたものであり、通信相手に手軽に心理状態や感情を伝達することが可能な情報端末装置、そのデータ加工方法及びプログラムを提供することを目的とする。

上記目的を達成するため本発明の情報端末装置は、ユーザの生体情報を測定する生体情報検出手段と、
前記生体情報検出手段で測定された生体情報に基づいて、予め決められた前記ユーザの特定の心理状態・感情を検出し、その強さを示す心理強度情報を出力する心理状態検出手段と、
前記心理強度情報の統計値に基づいて、前記ユーザが作成中または編集中の画像データを予め決められた所定の加工方法にしたがって加工するデータ加工手段と、
を有する。

一方、本発明のデータ加工方法は、情報端末装置のデータ加工方法であって、
処理装置が、
センサを用いてユーザの生体情報を測定し、
前記センサで測定された生体情報に基づいて、予め決められた前記ユーザの特定の心理状態・感情を検出し、その強さを示す心理強度情報を出力し、
前記心理強度情報の統計値に基づいて、前記ユーザが作成中または編集中の画像データを予め決められた所定の加工方法にしたがって加工する方法である。

また、本発明のプログラムは、情報端末装置に画像データを加工させるためのプログラムであって、
センサを用いてユーザの生体情報を測定させ、
前記センサで測定された生体情報に基づいて、予め決められた前記ユーザの特定の心理状態・感情を検出し、その強さを示す心理強度情報を出力し、
前記心理強度情報の統計値に基づいて、前記ユーザが作成中または編集中の画像データを予め決められた所定の加工方法にしたがって加工するためのものである。

本発明によれば、通信相手に手軽に心理状態や感情を伝達することが可能な情報端末装置が実現される。

本発明の情報端末装置の一構成例を示すブロック図である。 図１に示した情報端末装置の実施の形態の構成例を示すブロック図である。 図２に示した情報端末装置による処理手順の一例を示すフローチャートである。 図２に示した情報端末装置によるデータ加工方法の一例を示す模式図である。

次に本発明について図面を用いて説明する。

図１は本発明の情報端末装置の一構成例を示すブロック図である。

図１に示すように、本発明の情報端末装置は、ユーザの生体情報を測定する生体情報検出手段１０と、前記生体情報検出手段１０で測定された生体情報に基づいて、予め決められた前記ユーザの特定の心理状態・感情を検出し、その強さを示す心理強度情報を出力する心理状態検出手段２０と、前記心理強度情報の統計値に基づいて、前記ユーザが作成中または編集中の画像データを予め決められた所定の加工方法にしたがって加工するデータ加工手段３０とを有する。

図２は、図１に示した情報端末装置の実施の形態の構成例を示すブロック図である。

図２に示すように、本実施形態の情報端末装置１は、入力部２、操作検出部３、表示部４、通信部５、生体情報検出部６、心理状態検出部７及びデータ加工部８を備える。

情報端末装置１としては、例えば周知の携帯電話機、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Data Assistance，Personal Digital Assistants：個人向け携帯型情報通信機器）、ゲーム機、ノート型やタブレット型のパーソナルコンピュータ、据え置き型のパーソナルコンピュータ等がある。

入力部２は、情報端末装置１に対してユーザの指示、あるいは文字、数字、記号等のデータを入力するための入力手段である。入力部２は、周知のタッチパネル、キーボード、三次元非接触操作インタフェースあるいはその他の入力手段で実現される。

操作検出部３は、ユーザによる情報端末装置１の操作（指示入力、あるいは文字、数字、記号等のデータ入力）を検出し、生体情報検出部６、心理状態検出部７及びデータ加工部８に検出結果を通知する。

表示部４は、情報端末装置１による処理中の画像を表示する液晶ディスプレイや有機ＥＬパネル等である。入力部２がタッチパネルである場合、表示部４の表示面上には該タッチパネルが設置されていてもよい。

通信部５は、無線通信または有線通信によりネットワークを介して通信相手となる情報端末装置と電子メール、音声、画像等の各種の情報を送受信するための周知の通信回路である。

生体情報検出部６は、情報端末装置１を操作しているユーザの生体情報を測定する。この「操作」には、ユーザが単に表示部４を視認している状態を含めてもよい。生体情報検出部６は、ユーザの体温、脈拍、血圧、発汗等を測定する周知の各種センサで実現される。生体情報検出部６には、心理状態検出部７の検出対象であるユーザの特定の心理状態・感情を検出するのに必要なセンサを用いればよい。図１に示した生体情報検出手段１０は、生体情報検出部６で実現される。

心理状態検出部７は、生体情報検出部６で検出された生体情報に基づいて、予め決められたユーザの特定の心理状態・感情を検出し、その強さを示す情報（以下、心理強度情報と称す）を出力する。検出対象となるユーザの心理状態・感情としては、「嬉しい」、「楽しい」等の肯定的な心理状態が好ましい。人の心理状態・感情の検出方法は、例えば上記特許文献１に記載された技術を用いればよい。このように予め決められたユーザの特定の心理状態・感情のみ検出することで、生体情報の検出に必要なセンサの種類を低減できるため、より小規模で実現性の高い生体情報検出部６及び心理状態検出部７が得られる。図１に示した心理状態検出手段２０は、心理状態検出部７で実現される。

データ加工部８は、心理状態検出部７から出力された心理強度情報に基づいて、ユーザが情報端末装置１を用いて作成中または編集中の画像データを加工し、加工後の画像データを表示部４によりユーザへ提示する。加工対象としては、電子メール、あるいはユーザが情報端末装置１に備えるカメラで撮影した画像や映像等がある。加工方法としては、（１）文字や記号等のフォントや色の変更、（２）絵文字やキャラクター画像等の追加または変更、（３）表示画像の色相、彩度、明度等の変更、（４）表示画像に含まれる人物、動物、キャラクター等の表情や服装の変更等がある。加工方法は、例えばユーザの特定の心理状態・感情の強さに対応して、加工対象毎に予め設定しておけばよい。

本実施形態のデータ加工部８は、ユーザが電子メールを作成または編集している間、あるいはユーザがカメラで画像や映像を撮影している間、あるいはその前後で心理状態検出部７から出力される心理強度情報を時系列に取得し、その時系列な心理強度情報の統計値（最大値、平均値、最小値、中央値、最頻値、標準偏差、分散、及び／またはそれらの加減乗除の組み合わせ等）に基づいて画像データを加工する。画像データの加工は、例えば心理強度情報の最大値や平均値等が予め設定された閾値以上であるときに実施すればよい。なお、閾値は１つである必要はなく、複数の閾値を設定し、各閾値の段階に応じて画像データの加工方法を変更してもよい。

このように心理強度情報の統計値に基づいて画像データを加工することで、ユーザの心理状態・感情が変動しても、データ加工部８はユーザの特定の心理状態・感情を安定して検出することができる。そのため、ユーザの心理状態・感情の検出ミスが低減される。また、検出対象となるユーザの心理状態・感情を上記「嬉しい」、「楽しい」等の肯定的な心理状態に設定しておけば、ユーザにとって通信相手へ伝えたくない「嫌い」、「つまらない」等の否定的な心理状態が検出されて画像データが加工されることがない。そのため、加工されたデータを見る者が不愉快に感じることが無い。

なお、データ加工部８は、心理状態検出部７から出力される心理強度情報に基づく画像データの加工のみ実施し、他の手段やユーザの意図的な操作による画像データの加工を不能としてもよい。その場合、加工された電子メールや画像等を見る者（例えば、通信相手）にとっては、加工後の電子メールや画像で示される作成者や撮影者の心理状態が、ウソではない、信憑性が高いものであることが分かる。図１に示したデータ加工手段３０は、データ加工部８で実現される。

データ加工部８で加工された電子メール等は、ユーザの操作にしたがって通信部５によりネットワークを介して通信相手となる情報端末装置へ送信される。

図２に示した操作検出部３、心理状態検出部７及びデータ加工部８は、周知のＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、メモリ等を備えた処理装置で実現できる。その場合、ＣＰＵは、メモリに格納された所定の制御用プログラムにしたがって処理を実行することで情報端末装置１としての機能を実現すると共に、操作検出部３、心理状態検出部７及びデータ加工部８としての機能を実現する。

次に、図２に示した情報端末装置の動作について図面を用いて説明する。

図３は図２に示した情報端末装置による処理手順の一例を示すフローチャートであり、図４は図２に示した情報端末装置によるデータ加工方法の一例を示す模式図である。

以下では、加工対象をユーザが作成中の電子メールとし、該ユーザの心理状態・感情の強さに応じて該電子メールを加工する例で説明する。

図３に示すように、ユーザが情報端末装置１を操作して電子メールの作成を開始すると、操作検出部３によって該ユーザによる操作（電子メールの作成）を検出し（ステップＳ１）、その検出結果を生体情報検出部６、心理状態検出部７及びデータ加工部８に通知する。

生体情報検出部６は、操作検出部３からユーザの操作開始が通知されると、ユーザの所定の生体情報を測定し、その測定値を出力する（ステップＳ２）。

心理状態検出部７は、生体情報検出部６で測定された生体情報に基づいて、予め決められたユーザの特定の心理状態・感情を検出し、その強さを示す心理強度情報を出力する（ステップＳ３）。

データ加工部８は、操作検出部３からの通知に基づき、ユーザが電子メールを作成または編集している間、あるいはその前後で心理状態検出部７から出力される心理強度情報を時系列で取得し、その時系列な心理強度情報の統計値を算出する。そして、該心理強度情報の統計値が予め設定された閾値以上である場合、作成中の電子メールを所定の加工方法にしたがって加工する（ステップＳ４）。例えば検出対象となるユーザの心理状態・感情が上記「嬉しい」、「楽しい」等であり、図４（ａ）に示すようにユーザが電子メールに「好きです。」と入力したときに心理強度情報の統計値が所定の閾値以上である場合、図４（ｂ）に示すように、その文章を複数のハートマークで囲むように加工すればよい。

本実施形態の情報端末装置によれば、心理状態検出部７により予め決められたユーザの特定の心理状態・感情のみ検出することで、生体情報の検出に必要なセンサの種類を低減できるため、より小規模で実現性の高い生体情報検出部６及び心理状態検出部７が得られる。したがって、通信相手に手軽に心理状態や感情を伝達することが可能な情報端末装置が実現される。

また、心理強度情報の統計値に基づいて画像データを加工することで、ユーザの心理状態・感情が変動しても、データ加工部８はユーザの特定の心理状態・感情を安定して検出することができる。そのため、ユーザの心理状態・感情の検出ミスが低減される。また、検出対象となるユーザの心理状態・感情を上記「嬉しい」、「楽しい」等の肯定的な心理状態に設定すれば、ユーザにとって通信相手へ伝えたくない「嫌い」、「つまらない」等の否定的な心理状態に基づいて画像データが加工されることがない。そのため、加工されたデータを見る者が不愉快に感じることが防止される。

さらに、データ加工部８が、心理状態検出部７から出力される心理強度情報に基づく画像データの加工のみ実施し、他の手段やユーザの意図的な操作による画像データの加工を不能とすれば、加工された電子メールや画像等を見る者にとっては、加工後の電子メールや画像で示される作成者や撮影者の心理状態が、ウソではない、信憑性の高いものであることが分かる。

１ 情報端末装置
２ 入力部
３ 操作検出部
４ 表示部
５ 通信部
６ 生体情報検出部
７ 心理状態検出部
８ データ加工部
１０ 生体情報検出手段
２０ 心理状態検出手段
３０ データ加工手段

Claims (10)

1. ユーザの生体情報を測定する生体情報検出手段と、
   前記生体情報検出手段で測定された生体情報に基づいて、予め決められた前記ユーザの特定の心理状態・感情を検出し、その強さを示す心理強度情報を出力する心理状態検出手段と、
   前記心理強度情報の統計値に基づいて、前記ユーザが作成中または編集中の画像データを予め決められた所定の加工方法にしたがって加工するデータ加工手段と、
   を有する情報端末装置。
2. 前記データ加工手段は、
   前記ユーザが作成中または編集中、あるいはその前後で前記心理状態検出手段から出力される心理強度情報を時系列に取得し、その時系列な心理強度情報の最大値または平均値に基づいて前記画像データを加工する請求項１記載の情報端末装置。
3. 前記心理状態検出手段は、
   前記特定のユーザの心理状態・感情として肯定的な心理状態を検出する請求項１または２記載の情報端末装置。
4. 前記データ加工手段は、
   前記心理状態検出手段から出力される心理強度情報のみに基づいて前記画像データの加工を実施する請求項１から３のいずれか１項記載の情報端末装置。
5. 情報端末装置のデータ加工方法であって、
   処理装置が、
   センサを用いてユーザの生体情報を測定し、
   前記センサで測定された生体情報に基づいて、予め決められた前記ユーザの特定の心理状態・感情を検出し、その強さを示す心理強度情報を出力し、
   前記心理強度情報の統計値に基づいて、前記ユーザが作成中または編集中の画像データを予め決められた所定の加工方法にしたがって加工するデータ加工方法。
6. 前記処理装置が、
   前記ユーザが作成中または編集中、あるいはその前後で出力された前記心理強度情報を時系列に取得し、その時系列な心理強度情報の最大値または平均値に基づいて前記画像データを加工する請求項５記載のデータ加工方法。
7. 前記処理装置が、
   前記特定のユーザの心理状態・感情として肯定的な心理状態を検出する請求項５または６記載のデータ加工方法。
8. 前記処理装置が、
   前記心理強度情報のみに基づいて前記画像データの加工を実施する請求項５から７のいずれか１項記載のデータ加工方法。
9. 情報端末装置に画像データを加工させるためのプログラムであって、
   センサを用いてユーザの生体情報を測定させ、
   前記センサで測定された生体情報に基づいて、予め決められた前記ユーザの特定の心理状態・感情を検出し、その強さを示す心理強度情報を出力し、
   前記心理強度情報の統計値に基づいて、前記ユーザが作成中または編集中の画像データを予め決められた所定の加工方法にしたがって加工するためのプログラム。
10. 前記ユーザが作成中または編集中、あるいはその前後で出力された前記心理強度情報を時系列に取得し、その時系列な心理強度情報の最大値または平均値に基づいて前記画像データを加工するための請求項９記載のプログラム。

Images