JP2005190388A - プログラム実行方法、電子機器及び携帯端末装置 - Google Patents

Abstract

【課題】 ユーザに負担をかけることなく、ユーザの状態に応じた機能をユーザにとって興味深く適切に実現することが可能なプログラム実行方法及び電子機器を提供する。
【解決手段】 情報インタフェース部６００において、他の電子機器との間で送受信されたり、あるいは携帯端末装置に入力される文字、音声、画像等の携帯端末装置を使用する際に得られる種々の入力情報を取得し、分析部３２０でキーワード抽出などによって分析を行い、推定部３３０でユーザの体調や心情、願望等の心身の状態（健康状態や心理状態など）を推定する。そして、推定確度判定部（プログラム実行制御手段）５０にて、推定された状態の度合の判定などによってその推定の確しからしさを確認し、必要に応じて、ユーザ自身の意思を確認した後に、プログラム実行手段５０によって推定されたユーザの状態に適したプログラムを実行する。
【選択図】 図１

Description

本発明は、例えば携帯端末装置等の電子機器におけるプログラム実行方法、及びその電子機器、並びに携帯端末装置に関する。

携帯電話装置等の携帯端末装置を多機能化し、ユーザの健康状態や心理状態等の把握を可能とする技術が提案されている。

特許文献１には、健康管理、心理状態の把握を行うために、携帯電話装置に設けられたセンサにより生体情報を取得し、得られた生体情報に基づいて変化させたキャラクタ画像をディスプレイ上に表示させ、このキャラクタ画像によってユーザ自身の現在の状態を知らせるようにした技術が開示されている。

また、特許文献２には、高齢者などに健康管理を長期間継続させるために、端末装置上のディスプレイを用いてユーザに問診を実施して、この問診結果によりユーザの精神状態を把握し、ユーザの精神状態に応じて処理プログラムをランダムに選択して提案、実施するようにした技術が開示されている。

上記特許文献１の従来例では、センサによって生体情報を検出するようになっているため、生体情報に基づいて決定される健康状態や心理状態のみに対応する動作しか行うことができない。また、上記特許文献２の従来例では、ユーザの健康状態を把握するためにユーザに問診を行う必要があり、ユーザに対し手間を煩わせてしまう。

また、ユーザの状態を把握するためとはいえ、上記従来例のように端末装置に設けたセンサから生体情報を入力することを特別に意識させたり、問診に応答するといった手続をこなすのは、ユーザを身構えさせることになり、ユーザの負担となる。また、生体情報に基づくキャラクタの変化や、問診結果に応じたプログラムの実施では、当初は興味深い機能でも、慣れてくると面白みがなくなり、ユーザにとって飽きられることもある。

特開２００３−１８２５０号公報 特開２００３−２２５２２８号公報

本発明は、上記事情に鑑みてなされたもので、ユーザに負担をかけることなく、ユーザの状態に応じた機能をユーザにとって興味深く適切に実現することが可能なプログラム実行方法、電子機器及び携帯端末装置を提供することを目的とする。

本発明の第１の態様として、本発明のプログラム実行方法は、複数のプログラムを実行可能な電子機器における前記プログラムの実行方法であって、前記電子機器を介して送受信される、あるいは前記電子機器に入力される、前記複数のプログラムの内の一つを選択することに直接的に結びつかない情報を取得する第１のステップと、取得された前記情報に基づいて、所定の分析処理を実施する第２のステップと、前記分析の結果に基づいて前記電子機器を使用するユーザの状態に関する推定処理を実行する第３のステップと、前記推定処理により得られる推定結果の確度、及び前記推定結果に対応するプログラムを実行することに対する前記電子機器のユーザの意思、の少なくとも一つを確認し、前記推定結果に対応するプログラム実行の妥当性を判断する第４のステップと、前記プログラム実行が妥当と判断された場合に、前記ユーザの状態に適合する実行可能なプログラムを実行する第５のステップとを有するものである。

この手順により、例えば、他の電子機器との間で送受信されたり、あるいは電子機器に入力される情報に基づいて、電子機器を使用するユーザの状態、例えば、ユーザの体調や心情、願望等の状態（健康状態や心理状態など）を推定し、ユーザの状態に合ったプログラムを適切に実行することが可能である。このため、問診等を行わずに、ユーザを身構えさせたり負担をかけることなく、自然体でユーザの状態を把握でき、ユーザの状態に応じた機能をユーザにとって興味深く適切に実現することが可能となる。また、プログラムの実行に際し、例えば、推定結果の確度を判定したり、あるいは、プログラム実行に関する通知を行ってユーザからの実行指示を受けるなどしてユーザの意思を確認することによって、むやみなプログラム実行をなくし、飽きのこないプログラムの実行が可能である。

また、本発明の第２の態様として、上記のプログラム実行方法であって、前記第２のステップ、第３のステップ、及び第４のステップの少なくとも一つにおいて関連する情報を保持する所定のデータベースの検索を実施し、前記第１のステップで取得された情報に基づき、あるいは、前記プログラムが実行されたか否かに基づき、前記データベースを更新するものも含まれる。

この手順により、分析処理や推定処理に使用されるデータベースの内容を適応的に更新することによって、分析の精度や推定の確度を効果的に向上させることが可能となる。

また、本発明の第３の態様として、上記のプログラム実行方法であって、前記第１のステップにおいて取得する情報は、前記電子機器をユーザが使用する際に得られる文字、音声、画像の内の少なくとも一つが含まれる入力情報を含むものである。

この手順により、例えば、他の電子機器との間で送受信されたり、あるいは電子機器に入力される文字、音声、画像等の入力情報に基づいて、ユーザの状態把握に関する所定の分析、推定を行うことで、ユーザの状態を的確に把握できる可能性を向上できる。

また、本発明の第４の態様として、上記のプログラム実行方法であって、前記第３のステップの推定処理において、前記電子機器を使用するユーザの心身の状態を推定するものも含まれる。

この手順により、使用時に取得した情報に基づいてユーザの心身の状態を推定することによって、ユーザ自身の体調や心情を考慮して、思いやりのある言動（すなわち、元気づけのための言葉の表示や、元気づけの言葉を音声合成して出力する等）を表現するプログラムを実行することが可能となる。

また、本発明の第５の態様として、上記のプログラム実行方法であって、ユーザの好み情報を予め登録しておき、前記第４のステップにおけるプログラム実行の妥当性の判断において、そのプログラム実行が、前記ユーザの好みに合致するか否かの確認も実施し、合致しない場合にはプログラム実行の妥当性がないと判断するものも含まれる。

この手順により、ユーザの好みに合致しないプログラムの実行を未然に防止できる。例えば、お酒を嗜好しない人に対して、「ストレス発散のために、ビールを飲みに行こう」というような表示をすることを無くし、ユーザの気分を害することを防げる。

また、本発明の第６の態様として、上記のプログラム実行方法であって、前記電子機器が、通話機能及びメール送受信機能の内の少なくとも一つを含む通信機能を有する場合に、前記第２のステップの分析処理において、前記通信におけるユーザの発話内容またはメールに含まれるキーワードを検出するものも含まれる。

この手順により、通信時の発話やメールに使用されるキーワードに基づくユーザ状態の推定、及びキーワードの使用頻度に基づく状態の度合の推定や推定の確度の確認等を行うことができ、ユーザの使用によって得られる情報に基づいて的確にユーザの状態を検出することが可能となる。人が所定の感情等を表現する際、所定のキーワードを繰り返し使用する傾向があり、これを利用して効果的に分析、推定ができる。また、処理内容が比較的簡単であることから、実施が容易である。

また、本発明の第７の態様として、上記のプログラム実行方法であって、前記分析処理において、さらに前記発話内容またはメールに含まれる前記キーワードに関連付けされた関連付け用語を抽出する処理を行い、前記第５のステップにおいて実行される前記プログラムのデータとして、前記関連付け用語を用いるものも含まれる。

この手順により、キーワードに関連付けされた用語を用いて、例えば、ユーザの現在の状態に適合するようなメッセージを迅速に作成し、表示したりすることが可能となる。

また、本発明の第８の態様として、上記のプログラム実行方法であって、前記プログラムは、テキスト情報を合成した画像を前記電子機器の表示部に表示するためのプログラムであり、前記キーワードに関連付けされた関連付け用語を前記テキスト情報の一部に用いるものも含まれる。

この手順により、キーワードに関連付けされた用語を用いて、例えば、ユーザの現在の状態に適合するようなメッセージを迅速に作成し、画像に合成して表示することが可能となる。

また、本発明の第９の態様として、上記のプログラム実行方法であって、前記第４のステップにおける前記推定結果の確度の確認は、前記推定の結果として把握される前記電子機器を使用するユーザの状態の度合を所定の閾値と比較することにより行い、前記度合が前記所定の閾値以上であることを前記プログラムを実行するための条件の一つとするものも含まれる。

この手順により、把握したユーザの状態の度合によってプログラムの実行可否を判定することで、高い確度で状態が把握された場合にその状態に適合するプログラムを実行できる。このため、ユーザの現在の状態について見当違いの推定を行ったり、確度の低い推定によって、不適切なプログラムを実行したり、不適切なタイミングでプログラムを実行することを防止することが可能である。

また、本発明の第１０の態様として、上記のプログラム実行方法であって、前記推定結果の確度の確認処理において、前記ユーザの状態の度合が前記所定の閾値未満である場合に、前記度合の状態に関して猶予期間を設定するステップと、前記ユーザの状態の度合を再度把握するステップと、前記猶予期間内において前記ユーザの状態の度合が再度把握された場合に、以前に把握した状態と今回把握した状態とを少なくとも用いて前記プログラムの実行妥当性を判定するステップとを有するものも含まれる。

この手順により、把握したユーザの状態の度合が所定の閾値未満である場合に、猶予期間内において以前に把握した状態と今回把握した状態とを少なくとも用いてプログラムの実行妥当性を判定することによって、ユーザ状態の推定結果の確度を適切に確認できるため、むやみなプログラム実行をなくし、適切なプログラムを実行できる。

また、本発明の第１１の態様として、上記のプログラム実行方法であって、前記プログラムの実行妥当性を判定する際に、前記以前に把握した状態の度合と前記今回把握した状態の度合とを加算し、この度合の累積加算値が前記所定の閾値以上であるかによって前記プログラムの実行妥当性を判定するものも含まれる。

この手順により、把握したユーザの状態の度合が所定の閾値未満である場合に、猶予期間内において把握された度合を加算した累積加算値を用いて、プログラムの実行妥当性を適切に判定することが可能である。

また、本発明の第１２の態様として、上記のプログラム実行方法であって、前記ユーザの状態として一または複数の状態が把握された場合に、各々の状態の度合について前記猶予期間内に把握された度合を加算し、これらの度合の累積加算値によって前記プログラムの実行妥当性を判定するものも含まれる。

この手順により、把握したユーザの状態の度合が所定の閾値未満である場合に、猶予期間内において把握された各々の度合について加算し、各度合について判定することで、よりきめ細かな推定結果の確度の判定が可能となる。

また、本発明の第１３の態様として、上記のプログラム実行方法であって、前記プログラムの実行妥当性を判定する際に、前記以前に把握した状態と前記今回把握した状態とが同じであるかによって前記プログラムの実行妥当性を判定するものも含まれる。

この手順により、把握したユーザの状態の度合が所定の閾値未満である場合に、猶予期間内において把握された状態が一致するかによって、同じ状態が把握された場合に推定結果の確度が高いことを判定できる。

また、本発明の第１４の態様として、上記のプログラム実行方法であって、前記第３のステップの推定処理において、前記ユーザの状態を推定する場合に、その状態の原因が特定の人物に起因するものかどうかを判定し、前記第５のステップのプログラム実行処理において、前記原因の判定結果に基づき、前記ユーザの状態の原因が特定の人物かどうかによって特定された実行すべきプログラムを実行するものも含まれる。

この手順により、ユーザの状態とともにその状態に関する原因を把握し、原因が通信相手の特定の人物である場合はこれに対応するプログラムを選択することができ、特定の人物ごとに適合するプログラム実行など、ユーザの状態及び原因を考慮した適切なプログラムの実行が可能となる。

また、本発明の第１５の態様として、上記のプログラム実行方法であって、前記第２のステップの分析処理において、前記通信におけるユーザの発話内容またはメールに対する言語解析を行い、前記発話内容またはメールから前記ユーザの状態及びその原因に関するキーワードを抽出するものも含まれる。

この手順により、ユーザの発話内容やメールの文章などの言語解析を行い、ユーザの状態及びその原因に関するキーワードを抽出することで、ユーザの状態とともにその状態に関する原因を把握することができる。

また、本発明の第１６の態様として、本発明のプログラム実行方法は、複数のプログラムを実行可能な電子機器における前記プログラムの実行方法であって、前記電子機器を介して送受信される、あるいは前記電子機器に入力される、前記複数のプログラムの内の一つを選択することに直接的に結びつかない情報を取得する第１のステップと、取得された前記情報に基づいて、所定の分析処理を実施する第２のステップと、前記分析の結果に基づいて前記電子機器を使用するユーザの状態に関する推定処理を実行してその状態の原因が特定の人物に起因するかどうかを判定する第３のステップと、前記原因の判定結果に基づき、前記ユーザの状態の原因が特定の人物かどうかによって特定されたプログラムを実行する第５のステップとを有するものである。

この手順により、ユーザの状態とともにその状態に関する原因を把握し、原因が通信相手の特定の人物であるかどうかによって、特定の人物ごとに適合するプログラム実行など、ユーザの状態及び原因を考慮した適切なプログラムの実行が可能となる。

また、本発明の第１７の態様として、上記第１〜第１６のいずれかの態様の各手順を、通信機能を有する２台の電子機器を用いて実行するプログラム実行方法であって、前記第１のステップ、第２のステップ、第３のステップ及び第４のステップを一方の電子機器で実施し、前記一方の電子機器から他方の電子機器に、実行すべきプログラム自体、または実行すべきプログラムを指定する情報を通信回線を介して送信し、前記第５のステップを前記他方の電子機器で実行するものも含まれる。

これにより、一方の電子機器と他方の電子機器との連携によって、本発明のプログラム実行方法を実施することができ、プログラム実行形態のバリエーションが広がる。

また、本発明の第１８の態様として、上記第１〜第１６のいずれかの態様の各手順を、通信機能を有する２台の電子機器を用いて実行するプログラム実行方法であって、前記第１のステップ、第２のステップ、第３のステップ及び第４のステップを一方の電子機器で実施し、前記一方の電子機器から前記他方の電子機器に、プログラムの実行に関する通知と、前記第３のステップにおける前記推定処理に関する情報とを通信回線を介して送信し、前記他方の電子機器において、送信されてきた前記通知及び情報に基づいて実行すべきプログラムを特定し、前記第５のステップを実行するものも含まれる。

これにより、一方の電子機器と他方の電子機器との連携によって、本発明のプログラム実行方法を実施することができ、プログラム実行形態のバリエーションが広がる。

また、本発明の第１９の態様として、上記第１〜第１６のいずれかの態様の各手順を、電子機器と通信ネットワーク上にあるサーバとの連携により実現するプログラム実行方法であって、前記第１のステップにより、前記電子機器にて取得された情報を、前記通信ネットワーク上の前記サーバに送信し、前記第２のステップ、第３のステップ及び第４のステップを前記サーバにて実施し、前記サーバからプログラムの実行に必要な情報を前記電子機器に送信し、前記電子機器にて、前記第５のステップを実行するものも含まれる。

これにより、電子機器とネットワーク上のサーバとの連携によって、本発明のプログラム実行方法を実施することができ、プログラム実行形態のバリエーションが広がる。

本発明の第２０の態様として、本発明の電子機器は、複数のプログラムを実行可能な電子機器であって、前記電子機器を介して送受信される、あるいは前記電子機器に入力される、前記複数のプログラムの内の一つを選択することに直接的に結びつかない情報を取得する情報取得手段と、前記情報取得手段で取得された前記情報に基づいて、所定の分析処理を実施する分析手段と、前記分析の結果に基づいて前記電子機器を使用するユーザの状態に関する推定処理を実行する推定手段と、前記推定処理により得られる推定結果の確度、及び前記推定結果に対応するプログラムを実行することに対する前記電子機器のユーザの意思、の少なくとも一つを確認し、前記推定結果に対応するプログラム実行の妥当性を判断するプログラム実行制御手段と、前記プログラム実行が妥当と判断された場合に、前記ユーザの状態に適合する実行可能なプログラムを実行するプログラム実行手段とを備えるものである。

この構成により、例えば、他の電子機器との間で送受信されたり、あるいは電子機器に入力される情報に基づいて、電子機器を使用するユーザの状態、例えば、ユーザの体調や心情、願望等の状態（健康状態や心理状態など）を推定し、ユーザの状態に合ったプログラムを適切に実行することが可能である。このため、問診等を行わずに、ユーザを身構えさせたり負担をかけることなく、自然体でユーザの状態を把握でき、ユーザの状態に応じた機能をユーザにとって興味深く適切に実現することが可能となる。

また、本発明の第２１の態様として、上記の電子機器であって、前記分析手段及び前記推定手段が分析処理と推定処理を行う際に使用する情報が蓄積されているデータベースと、前記複数のプログラムが格納されているプログラム格納手段とを備えるものも含まれる。

この構成により、データベースを利用することで、的確な分析や推定が可能となり、また、データベースの内容を適応的に更新することによって、分析の精度や推定の確度を効果的に向上させることが可能となる。

また、本発明の第２２の態様として、上記の電子機器であって、さらに通信手段を備え、前記情報取得手段は、前記通信手段において送受信される情報、または前記電子機器に入力される情報を含む入力情報から前記情報を取得するものも含まれる。

この構成により、通信手段による通信時の発話やメールに使用されるキーワードに基づくユーザ状態の推定、及びキーワードの使用頻度に基づく状態の度合の推定や推定の確度の確認等を行うことができ、ユーザの使用によって得られる情報に基づいて的確にユーザの状態を検出することが可能となる。

また、本発明の第２３の態様として、上記の電子機器であって、前記通信手段は、前記実行すべきプログラム自体、前記実行すべきプログラムを指定する情報、前記推定処理に関する情報の内の少なくとも一つを、他の電子機器に送信することが可能に構成されるものも含まれる。

この構成により、通信手段を用いた通信によって、複数の電子機器の連携により本発明のプログラム実行方法を実施することが可能となる。

本発明の第２４の態様として、本発明は、上記いずれかに記載の電子機器の各手段を備える携帯端末装置を提供する。

携帯端末装置は、ユーザが携帯して常時使用している可能性が高く、ユーザの現在の状態を推量するのに好適な種々の情報を絶えず取得することが可能である。このため、ユーザの状態を把握してこの状態に適合するプログラムを実行するという点から望ましく、本発明のプログラム実行機能を搭載する効果が顕著に得られ、携帯端末装置の付加価値を効率的に高めることができる。

本発明の第２５の態様として、本発明は、上記第１７または第１８の態様のプログラム実行方法を実施可能な情報処理システムであって、前記一方の電子機器と、前記他方の電子機器と、前記電子機器間を無線通信あるいは有線通信を用いて接続するための前記通信回線とを有して構築される情報処理システムを提供する。

これにより、複数の電子機器の連携によって、本発明のプログラム実行方法を実施することができ、プログラム実行形態のバリエーションが広がる。また、１台の電子機器の処理負担を軽減することもできる。

本発明の第２６の態様として、本発明は、上記第１９の態様のプログラム実行方法を実施可能な情報処理システムであって、前記電子機器と、無線通信または有線通信に使用される前記通信ネットワークと、前記通信ネットワーク上に設けられた前記サーバとを有して構築される情報処理システムを提供する。

これにより、複数の電子機器の連携によって、本発明のプログラム実行方法を実施することができ、プログラム実行形態のバリエーションが広がる。また、電子機器側の処理負担を軽減することもできる。また、サーバ側では、ハードウエアの増強等が容易可能であるため、より高度な解析処理を短時間に行うことが可能となる。

本発明によれば、ユーザに負担をかけることなく、ユーザの状態に応じた機能をユーザにとって興味深く適切に実現することが可能なプログラム実行方法、電子機器及び携帯端末装置を提供できる。

以下の説明において、「ユーザ」とは、メール機能及び通信機能の内、少なくとも１つの機能を有する情報機器等の電子機器、例えば携帯端末装置（携帯電話装置、携帯情報端末（ＰＤＡ）等を含む）、ＰＣ（Personal Computer ）などの利用者をいうものとする。 本実施形態では、電子機器として主に携帯電話装置等の携帯端末装置を用いたプログラム実行方法の例を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る携帯端末装置の全体構成を示すブロック図である。

本実施形態の携帯端末装置は、アンテナＡＮと、無線通信処理部２００と、データ多重化部２１０と、データ信号処理部２２０（ビデオコーデック２２２、音声コーデック２２４、データ処理部２２６を有する）と、電子メール処理部２２８と、入出力インタフェース部２３０（画像インタフェース２３２、音声インタフェース２３４、キーインタフェース２３６を有する）と、携帯端末装置の動作を統括的に制御するＣＰＵ３００と、送受信される信号のフレーム分割、フレーム組立、ＱｏＳ制御等の通信制御を行う通信制御部５００と、文字、音声、画像等のマルチメディア情報を広く取得するための情報インタフェース部（情報蓄積部）６００と、データベース部４００と、表示手段８０と、カメラ８２と、スピーカ９０と、マイク９１と、バイブレータ７０と、操作キー２５０とを備える。

ＣＰＵ３００は、端末制御部３１０と、分析部３２０と、推定部３３０（プログラム名決定手段４０をもつ）と、推定確度判定部５０（プログラム実行制御手段の機能をもつ）と、プログラム実行手段６０とを備える。また、データベース部４００は、分析推定データベース４１０と、プログラム格納部４２０とを備える。これらの携帯端末装置の各部は、バスＢＵＳを介してＣＰＵ３００と接続されており、ＣＰＵ３００によって、その動作が統括的に制御される。

本実施形態の携帯端末装置は、プログラム実行方法を工夫することで、「ユーザの体調や心情等を推し量り（察知し）、気の利いた言葉をさりげなく返してくれたり、ユーザに対する思いやりを、なにげない行動でさらりと示してくれる良き友人や家族」の役目を果たす機能を実現するべく設計されている。

すなわち、情報インタフェース部６００により、ユーザの意図とは関係なく（たとえ、ユーザが自身の体調不良等を意図的に隠そうとしていても）、携帯端末装置を介して通信され、あるいは携帯端末装置に入力される文字、音声、画像等の広範囲の多様なマルチメディア情報を、情報インタフェース部６００において広く取得する。これにより、ユーザが発する種々のシグナル（情報）をキャッチすることができる。

次に、分析部３２０により、分析推定データベース４１０を利用して取得した情報についてキーワード抽出などの所定の分析処理を行う。そして、推定部３３０により、分析推定データベース４１０を利用して前記分析処理結果からユーザの肉体的状態や心理的な状態等を推定する。次に、その推定の確しからしさ（確度）を、推定確度判定部（プログラム実行制御手段）５０で判定し、これによりプログラム実行の妥当性を判断する。このとき、ユーザの現在の体調や本当の気持を推定し、その推定の確しからしさ（確度）を確認するなどによって、見当違いな言動（すなわちプログラムの実行）をしないようにし、時と場所をわきまえた言動となるように配慮する。

推定の確度の判定は、例えば、推定されたユーザの体調や心情、願望等の状態（健康状態や心理状態など）の度合を定量化し、その度合を所定の閾値を比較するといった処理を行うことで実現する（この点については、第２の実施形態以降の実施形態において詳述する）。また、この推定確度判定部（プログラム実行制御手段）５０では、必要ならば、ユーザにプログラムの実行を事前に告知し、ユーザの同意を得る処理を行い、ユーザの同意が得られることを、プログラム実行の妥当性有りとすることの前提条件とすることができる。このように、ユーザ自身の意思を確認し、ユーザにプログラム実行の決定権を持たせることで、プログラム実行の際に慎重を期し、思いやりのある言動をユーザに対して与えられるようにする。

ユーザにプログラム実行を事前に告知する場合には、推定確度判定部（プログラム実行制御手段）５０が端末制御部３１０にその旨を通知し、この端末制御部３１０が、バスＢＵＳを介して画像インタフェース２３２を制御し、表示部８０にプログラム実行の予告及びその同意の有無を求める画像を表示する。この表示に対して、ユーザが、操作キー２５０を操作して、プログラム実行に同意するか否かの意思表示を行う。操作キー２５０を介して入力された情報は、キーインタフェース２３６を介して推定確度判定部５０に伝えられる。これにより、ユーザがプログラムの実行に同意したか否かを、推定確度判定部５０が知ることができる。

推定確度判定部５０により、プログラムの実行の妥当性有りと判定されると、プログラム実行手段６０が、プログラム格納部４２０から実行すべきプログラムを取り出す。この段階で、実行可能なプログラムの候補が複数あるときは、プログラム実行手段６０は、所定の手順に従い、そのプログラムの候補の中から一つを特定し、その特定されたプログラムを取り出す。

そして、プログラム実行手段６０は、取り出されたプログラムを実行する。この結果、例えば、ユーザを思いやるメッセージの表示が表示手段８０に表示されたり、音声メッセージがスピーカ９０より出力されたりする。これにより、むやみなプログラムの実行を無くして、飽きのこないプログラム実行を実現することができる。

このように第１の実施形態によれば、他の電子機器との間で送受信されたり、あるいは携帯端末装置に入力される文字、音声、画像等の情報に基づいて、ユーザの体調や心情、願望等の状態（健康状態や心理状態など）を推定し、ユーザの状態に合ったプログラムを適切に実行することが可能である。これにより、ユーザに同調や励ましなどを行い、ユーザの状態を思いやる機能を実現できる。例えば、ユーザが疲れていたり落ち込んでいることが把握された場合に、ユーザを思いやる元気づけのための文字や画像等をさりげなくなく表示等することにより、ユーザの状態が改善する効果を与えることが可能となる。

したがって、本実施形態では、携帯端末装置等の電子機器を、「もの言わぬ受動的な機器」から、ユーザ自身の体調や心情を思いやってくれるような「いとおしさを感じさせる、なくてはならない存在の機器」へと変えていくことができる。このため、広範なユーザに受け入れられ、ユーザに負担をかけず、さらに、ユーザが常に興味深く快適に使用できるような、ユーザにとって有益な電子機器の多機能化を実現できる。

（第２の実施形態）
図２は、本発明の第２の実施形態に係る携帯端末装置の構成を示すブロック図である。図２において、図１と同じ部分や同等の部分には、同じ参照符号を使用している。第２の実施形態は、上記第１の実施形態の具体例の一例を示すものである。

第２の実施形態の携帯端末装置ＭＣは、送信メール記憶手段１０と、キーワード検出手段２０と、状態把握手段３０と、プログラム名決定手段４０と、プログラム実行制御手段５０と、プログラム実行手段６０と、振動手段７０と、表示手段８０と、音声出力手段９０と、キーワードデータベース１００と、キーワードＶＳ状態データベース１１０と、状態ＶＳプログラム名データベース１２０と、プログラムデータベース１３０とを備える。

図２の携帯端末装置ＭＣにおいて、送信メール記憶手段１０は、図１における情報インタフェース部６００に相当する。また、キーワード検出手段２０、状態把握手段３０、及びプログラム名決定手段４０は、図１の分析部３２０及び推定部３３０に相当する。また、プログラム実行制御手段５０は、図１の推定確度判定部５０に相当する。また、キーワードデータベース１００、キーワードＶＳ状態データベース１１０、及び状態ＶＳプログラム名データベース１２０は、図１の分析推定データベース４１０に相当する。また、プログラムデータベース１３０は、図１のプログラム格納部４２０に相当する。

第２の実施形態では、携帯端末装置を使用して電子メールの送受信を行っているユーザの状態を推定し、この状態推定結果に応じたプログラム実行を行うものとして、以下、その動作を説明する。

送信メール記憶手段１０は、ユーザが送信したメールを記憶する。キーワード検出手段２０は、ユーザの送信メールを取り込み、その取り込んだ送信メールに、キーワードデータベース１００に格納されている、例えば「うまくいかない」「あ〜あ」等のキーワードが使用されているかを検出する。そしてキーワード検出手段２０は、検出したキーワード群（検出したキーワードが一つの場合はキーワード）を検出頻度と対で出力する。例えば、検出したキーワード群を（うまくいかない，２回）、（あ〜あ，１回）のように出力する。なお、キーワードデータベース１００は、後述するキーワードＶＳ状態データベース１１０にあるキーワードを少なくとも含んでいる。

状態把握手段３０は、キーワード検出手段２０による検出結果から抽出したキーワードを用いて、キーワードＶＳ状態データベース１１０を検索する。この検出結果により、状態把握手段３０は、抽出したキーワードからユーザの状態を把握する。ここで、キーワードＶＳ状態データベース１１０には、ユーザが用いた言葉（キーワード）とユーザの状態との関係を示す情報が格納されている。

図３は、キーワードＶＳ状態データベース１１０に格納されているユーザが用いたキーワードとユーザの状態との関係の一例を示す図である。

図３に示される例では、ユーザが用いたキーワードとユーザの状態との関係は表の形式で表現されている。例えば、この表において、行３１は、「眠い」、「しんどい」、「食欲がない」というキーワードと「疲れ」というユーザの状態（体調）とが対応づけられていることを示す。また、行３２は、「やった！」、「最高！」というキーワードと「喜び」というユーザの状態（感情）とが対応づけられていることを示す。

なお、ユーザが用いたキーワードとユーザの状態との関係を表現する方法は、図３に示される方法に限定されない。ユーザが発するキーワードとユーザの状態との関係は任意の方法で表現され得る。

状態把握手段３０は、例えば、抽出したキーワードが「眠い」、「しんどい」、「食欲がない」のうちの１つであった場合には、図３に示される表を参照してユーザの状態が「疲れ」の状態であると判定する。

また、状態把握手段３０は、キーワードの検出頻度を用いて、検出された状態の度合いも把握する。例えば、キーワード群が（眠い，２回）、（しんどい，２回）、（くやしい，１回）ならば、「疲れ」の状態を示すキーワードの検出頻度は合計４回であり、「怒り」の状態を示すキーワードの検出頻度は１回であるので、状態「疲れ」とその度合「４」、及び状態「怒り」とその度合「１」を把握する。ここでは、状態把握手段３０は、検出された状態が複数ある場合に、状態の度合が最大である状態とその度合を出力することにする。

なお、上述したメール文書中のキーワードを用いる方法に代えて、または、上述した文書中のキーワードを用いる方法に加えて、音声認識結果に基づいてユーザの発話（通話）中に用いたキーワードを検出したり、ユーザの音声の強さまたは張りのレベルを検出することにより、ユーザの状態を把握するようにしてもよい。例えば、ユーザの音声の強さまたは張りのレベルが所定のレベル以下であることを検出した場合には、ユーザに元気が無く、ユーザの状態が「疲れ」の状態であると判定する。

プログラム名決定手段４０は、状態把握手段３０により把握された状態を用いて、状態ＶＳプログラム名データベース１２０を検索する。この検索結果により、プログラム名決定手段４０は、把握された状態からユーザに適合するプログラム名を選択する。ここで、状態ＶＳプログラム名データベース１２０には、ユーザの状態とユーザに実行させるためのユーザの状態に適合するプログラムとの関係を示す情報が格納されている。

図４は、状態ＶＳプログラム名データベース１２０に格納されているユーザの状態とユーザの状態に適合するプログラムとの関係の一例を示す図である。

図４に示される例では、ユーザの状態とユーザの状態に適合するプログラムとの関係は表の形式で表現されている。例えば、この表において、行４１は、「疲れ」というユーザの状態とこの状態に適合する３つのプログラム名Ａ，Ｂ，Ｃとが対応づけられていることを示す。これら３つのプログラムは「休養を薦める」内容であり、状態「疲れ」の改善のための助言を行うためのプログラムである。

また、行４２は、「喜び」というユーザの状態とこの状態に適合する３つのプログラム名Ｈ，Ｉ，Ｊとが対応づけられていることを示す。これら３つのプログラムは「一緒に喜ぶ」内容であり、ユーザの状態「喜び」に同調するためのプログラムである。

ここで、状態把握手段３０が出力する状態が「疲れ」であるとすると、プログラム名決定手段４０は、「疲れ」を改善させるためのプログラムとして、３つのプログラムＡ，Ｂ，Ｃの内の１つをランダムに選ぶことになる。

なお、状態「喜び」以外の「疲れ」「落ち込み」「怒り」に対応するプログラムとしては、これらの状態を改善するためのプログラムを用意しており、状態「喜び」に対応するプログラムとしては、この状態に同調するためのプログラムを用意している。

上記プログラムは、音声、テキスト、画像（静止画、動画）の任意の組合せから構成されている。特に、「ＳＭＩＬ（Synchronized Multimedia Integration Language）」「ＨＴＭＬ＋ＴＩＭＥ」などのＷ３Ｃで規格化されている言語を活用すれば、シーン記述データを表現するのに便利である。また、プログラムの他の実行例として、ユーザの健康状態、好みに応じて関係する情報が記載されたホームページを表示する、もしくはユーザの健康状態に応じて関係する連絡先に電話をかけるなどが挙げられる。

プログラム実行制御手段５０は、状態把握手段３０から出力される状態とその度合を入力する。そして、このプログラム実行制御手段５０は、プログラムが状態に同調する内容であるか又はユーザの状態の度合が所定の閾値以上であると判定した場合に、即座にあるいは所定の時間をおいてから、振動手段７０及び表示手段８０を用いてユーザにプログラム実行の通知を行う。つまり、振動手段７０で携帯端末装置を振動させ、表示手段８０に「プログラム実行通知です。」と表示させることで、ユーザにプログラムの通知を知らせる。なお、プログラム実行の通知を自分宛のメールを用いて行っても良い。また、プログラム実行通知の際に、音声出力手段９０で報知音を鳴らしたり、図示しないＬＥＤ等で発光させるようにしてもよい。

このようにプログラム実行通知を行うことで、ユーザにプログラム実行の決定権を与えてユーザの意志でプログラム実行の判断を行わせることにしている。プログラム実行の通知に対して、ユーザが携帯端末装置の入力手段（操作キー）を押下してプログラム実行の指示を与えると、プログラム実行制御手段５０は、プログラムの実行猶予期間を設定することなく即座にプログラムを実行するために、プログラム実行手段６０に実行すべきプログラム名を出力する。

プログラム実行手段６０は、プログラム実行制御手段５０から与えられたプログラム名を用いて、プログラムデータベース１３０からプログラム名に対応するプログラムを取得し、この取得したプログラムを実行する。例えば、プログラム内容に応じて、表示手段８０や音声出力手段９０によって所定の映像や音声を出力する。

また、プログラム実行制御手段５０は、ユーザの状態の度合が所定の閾値未満であると判定した場合は、その度合に応じた実行猶予期間（有効期間）を設定する。例えば、閾値の設定をレベル「４」としている場合、状態の度合が「３」であれば実行猶予期間を「１週間」、度合が「２」であれば実行猶予期間を「三日」、度合が「１」であれば実行猶予期間を「一日」のように決定する。このように、実行猶予期間を状態の度合が大きいほど長く設定している。

この実行猶予期間が満了する時点までに以前把握したユーザの状態と同じ状態が把握された場合には、プログラム実行制御手段５０は、即座にあるいは実行猶予期間が経過するまでに、振動手段７０及び表示手段８０を用いてユーザにプログラム実行の通知を行う。 つまり、振動手段７０で携帯端末装置を振動させ、表示手段８０に「プログラム実行通知です。」と表示させることで、ユーザにプログラムの通知を知らせる。なお、プログラム実行の通知を自分宛のメールを用いて行っても良い。

ユーザはこのプログラム実行通知を受けてプログラム実行を行うか否かの決定を行う。プログラムを実行させる場合には、ユーザは携帯端末装置の入力手段（操作キー）を押下してプログラム実行制御手段５０に知らせる。プログラム実行制御手段５０は、このプログラム実行指示を受けて、把握された同じ状態に適合するプログラム名をプログラム実行手段６０に出力する。

プログラム実行手段６０は、このプログラム名を用いて、プログラムデータベース１３０からプログラム名に対応するプログラムを取得し、この取得したプログラムを実行する。例えば、プログラム内容に応じて、表示手段８０や音声出力手段９０によって所定の映像や音声を出力する。

図５は、第２の実施形態の携帯端末装置におけるユーザの状態に適合するプログラムの実行方法の処理手順を示すフローチャートである。

ＳＴ１では、携帯端末装置を用いてユーザの状態とその度合を把握する。具体的には、以下の処理を実行する。ユーザの状態の把握方法として、例えば、携帯端末装置のユーザによって作成された送信メールに含まれるキーワードを抽出する方法や、ユーザの発話（通話）内容に含まれるキーワードを音声認識技術を用いて認識して行う方法が挙げられる。

キ―ワード検出手段２０は、送信メールに含まれるキーワードの検出をキーワードデータベース１００を用いて行う。そして、キーワード検出手段２０は、検出したキーワードと検出頻度とを対で出力する。例えば、検出したキーワード群を（うまくいかない，２回）、（あ〜あ，１回）のように出力する。このキ―ワード検出手段２０によるキーワード検出のタイミングは、送信メールが行われるたびに行う。

ユーザの発話（通話）内容に含まれるキーワードを認識する方法を用いる場合は、その認識タイミングも通話中だけに行われることにする。このことで無駄なキーワードの検出作業をなくすことができる。

状態把握手段３０は、キーワード検出手段２０による検出結果から抽出したキーワードを用いて、キーワードＶＳ状態データベース１１０を検索する。その結果、状態把握手段３０は、そのキーワードからユーザの状態とその度合いを把握する。例えば、キーワード群が（うまくいかない，２回）、（あ〜あ，１回）であった場合、どちらも状態「落ち込み」を表すので、ユーザの状態を「落ち込み」でその度合を「３」とする。

ＳＴ２では、ユーザの状態に適合する実行すべきプログラムを決定する。具体的には、以下の処理を実行する。

プログラム名決定手段４０は状態把握手段３０から状態を入力してその状態に適合するプログラム名を状態ＶＳプログラム名データベース１２０を用いて状態に適合するプログラム名を選択する。ＳＴ１でユーザの状態が「落ち込み」と判断された場合、図４の表から、実行すべきプログラムとして「励ます」内容のプログラム名を選択する。ユーザの状態に適合するプログラム名が複数ある場合は、ランダムに選ぶか、以前選ばれたもの以外のプログラムを選ぶか、あるいは状態の度合に基づいて選ぶなどの選択方法を用いる。ここでは、ユーザの状態「落ち込み」に適合するプログラム名としてプログラム名Ｅがランダムに選ばれたとする。

ＳＴ３では、実行すべきプログラムが状態に同調する内容であるかを判断する。プログラム実行制御手段５０は、プログラム名決定手段４０が選択したプログラム名Ｅは状態「落ち込み」に対応するプログラムなので、状態を改善する内容である（同調する内容ではない）と判断する。

ここで、あらかじめユーザの好みを登録しておき、実行しようとするプログラムが、登録されている好みと合致するか否かを調べるようにしておけば、ユーザの好みに合わせたプログラムの実行が可能である。これにより、ユーザの好みに反するような画像を表示する等（例えば、お酒を飲めない人に対して、「ビールを飲みに行こう」と呼びかけるような表示をする等）の、好ましくない事態が生じないようにすることができる。

ＳＴ３でプログラムが状態に同調する内容であると判断した場合はＳＴ７に移行し、プログラムが状態を改善する内容であると判断した場合はＳＴ４に移行する。なお、このＳＴ３は、必要に応じて省略することも可能である。

ＳＴ４では、状態の度合が閾値以上であるかが判定される。具体的には、以下の処理が行われる。

プログラム実行制御手段５０は、状態把握手段３０からユーザの状態の度合を入力してその度合が閾値以上であるかを判定する。閾値以上と判定された場合は、ＳＴ７に移り、プログラム実行制御手段５０はプログラム実行猶予期間を設定することなく即座にあるいは所定の時間をおいてユーザに振動手段７０及び表示手段８０を用いてプログラム実行の通知を行う。このとき、振動手段７０で携帯端末装置を振動させたり、表示手段８０に「プログラム実行通知です。」と表示させることで、ユーザにプログラムの通知を知らせる。なお、プログラム実行の通知を自分宛のメールを用いて行っても良い。このことでユーザにプログラム実行の決定権を与えてユーザの意志でプログラム実行の判断を行わせている。

ＳＴ８では、ユーザがこのプログラム実行の通知を受けた後、プログラム実行の許可を与えたか否かを判断する。この判断はユーザが携帯端末装置の所定のボタンを押下したか否かで判断できる。プログラム実行の通知を行った後、ユーザが携帯端末装置の入力手段（操作キー）を押下してプログラム実行の指示を与えると、プログラム実行制御手段５０は、ユーザからプログラム実行の許可が得られたと判定してＳＴ９に移行し、プログラム実行を実行する。

ＳＴ９において、プログラム実行制御手段５０は、決定されたプログラム名をプログラム実行手段６０に出力し、プログラム実行手段６０によってこのプログラム名に対応するプログラムを実行させる。プログラム実行手段６０は、入力されたプログラム名からプログラムデータベース１３０を用いてプログラム名に対応するプログラムを取得し、そのプログラム内容に応じてプログラムを実行すべく、表示装置８０や音声出力手段９０に所定の映像、音声を出力させる。

例えば、プログラム名Ｅは「励ます」内容なので、テキストで「元気出せよ。○○君」などと出力させたり、音声で「くよくよするなよー。宇宙は広いぜ」などと出力させたりする。このプログラムは「励ます」内容であるので、ユーザにとって携帯端末装置がまるでユーザの心身の状態を思いやる存在に見えることになり、携帯端末装置がユーザにとってなくてはならない存在となる。また、ユーザに提供するプログラムに医学的な要素を含ませると、ユーザの体調管理にも使うこともできる。

ＳＴ４で、プログラム実行制御手段５０が状態の度合が閾値未満と判定した場合、ＳＴ５に移行し、その状態の度合に応じてプログラム実行猶予期間を決定する。例えば、プログラム実行制御手段５０は、度合が「３」であれば、実行猶予期間を「１週間」と決定する。

ＳＴ６では、ＳＴ５で決定されたプログラム実行猶予期間以内に以前把握された状態と同じ状態が把握されたか否かが判断される。ここで、同じ状態が判断された場合はＳＴ７に移行する。ＳＴ６からＳＴ７に移行した場合、プログラム実行の通知を、以前把握した状態と同じ状態が把握された時点で行っても良いし、前記設定した実行猶予期間内またはこの期間経過時に行っても良い。

ＳＴ６において、ＳＴ５で決定されたプログラム実行猶予期間以内に以前把握された状態と同じ状態が把握されない場合は、ＳＴ１０に移行し、ＳＴ２で決定されたプログラム名のプログラム実行を取り止めにする。さらに、ＳＴ８でプログラム実行の通知をユーザが受けてプログラム実行の許可を与えない場合も同様に、ＳＴ１０に移行し、プログラム実行を取り止めにする。なお、ＳＴ４で状態の度合が閾値未満であった場合、ＳＴ２で決定されたプログラム名のプログラム実行を取り止めにしても良い。つまり、ＳＴ５、ＳＴ６を省略するようにしても良い。

このように第２の実施形態では、ユーザに対して問診等を行うことなく、ユーザが通信する電子メール等におけるテキストやユーザの発話（音声）などに用いられたキーワード、すなわちユーザが携帯端末装置を使用する際に得られる何らかの入力情報に基づいて、ユーザの状態を把握するので、ユーザを身構えさせることなく、自然体でユーザの状態を把握することができる。

また、ユーザの状態と同時にその度合（状態の程度）も把握し、その度合が所定の閾値以上の場合に状態に適合するプログラムを実行するようにしたので、高い確度で把握されたユーザの状態に適合するプログラムを実行することとなる。その結果、むやみなプログラム実行をなくし、ユーザに飽きのこないプログラム実行を実現することができる。

また、本実施形態では、ユーザの状態が閾値未満の場合は状態の把握確度が高くない場合とみなすことができるので、実行条件として実行猶予期間の満了時点までに以前把握した状態と同じ状態が把握された場合に初めてプログラム実行を行わせることにしている。これにより、ユーザの状態の把握確度が低い場合でも、総合的に状態の把握確度を高めた状態でプログラム実行を行うことができる。この結果、むやみなプログラム実行をなくし、飽きのきないプログラム実行を実現することができる。

さらに、本実施形態では、プログラム実行の通知を行ってユーザからの指示を待つことにより、ユーザにプログラム実行の決定権を持たせたので、ユーザが提示されたプログラム実行を望むときだけにプログラム実行を行うことができる。これにより、むやみなプログラム実行をなくしつつ、飽きのこないプログラム実行を実現することができる。

（第３の実施形態）
第３の実施形態では、上述したキーワード検索を用いた分析に基づいて推定される状態などのユーザの状態の推定結果の確からしさ（確度）を判定（確認）する方法について、具体例を説明する。

携帯端末装置における入力情報の分析、推定の結果として、一つのユーザの状態（例えば、怒っている状態）が推定されたとしても、その推定の確度が低いと、見当違いのプログラムを実行してしまうおそれがあるため、推定の確度の判断が重要となる。また、複数のユーザの状態（例えば、怒っている状態、お腹がへっている状態）が推定された場合には、例えば、推定の確度を比較して、確度の高い方の状態を採用する等の措置を採る必要がある。このような点を考慮し、本実施形態では、各状態の度合（この度合は、例えばキーワードの出現頻度に基づき定量化される）と閾値との比較により推定の確度を判定するようにしている。

ユーザの状態に適合したプログラムを実行する際に、状態の推定結果の確度を判定する方法としては、上記第２の実施形態（図２及び図５）で採用した方式（度合が閾値未満のときに、同一状態が所定期間内に連続して出現するかにより確度を決定する方式：以下これを同一状態検出方式という）と、閾値未満の場合にその度合を加算していって閾値を超えるか否かにより確度を決定する方式（以下これを度合加算方式という）がある。

まず、第１例として、同一状態検出方式を説明する。同一状態検出方式では、ユーザの状態を検出する際に、各推定結果（検出されたユーザの現在の状態）の度合を閾値と比較して、閾値を越えるものの中から最高のレベルのものを選択し、これを現在のユーザの状態として出力する。ここで、閾値を越えるものが一つもないときに、各推定結果の内の度合が最高レベルを示す推定結果に実行猶予期間を設定し、所定期間内に同一状態が再び出現するか否かを検出する。そして、この実行猶予期間内において、度合が最高レベルを示すものとして再び、前回と同じ推定結果（ユーザの状態）が検出されて出現した場合に、その推定結果の出現頻度が高いものと認定し、すなわち推定結果の確度が高いと判定して、検出されたユーザの状態に適合するプログラム実行の妥当性があると判断する。

図６は、ユーザ状態の推定結果の確度を判定する方式の第１例（同一状態検出方式）における動作を具体的に説明するための図である。

まず、電子メールのメール文を解析し、使用されるキーワードによりユーザの状態を推定し、また、そのキーワードが使用される頻度から、その推定結果の度合を判定する。すなわち、図６において、メール送信Ｍ１が時刻ｔ１に行われたときに、そのメール文から、ユーザの状態（身体面及び精神面の双方の状態を含む）として、疲れ「３」、怒り「５」、落ち込み「７」、喜び「０」の各状態が把握（推定）される。

ここで、閾値レベルが「１０」とすると、複数（４つ）の推定結果の度合は、いずれも閾値に達しない。この場合には、度合の値が最高である落ち込み「７」が選択される。同時に、落ち込み度合「７」に対応する実行猶予期間Ｔ１（時刻ｔ２まで）が設定される。しかし、図６の例では、実行猶予時間Ｔ１の満了時点ｔ２までに、ユーザが次のメール送信を行わなかったため、新たに推定結果が得られず、それ以前の状態「落ち込み」の情報はリセットされる。

次に、メール送信Ｍ２が時刻ｔ３に行われた場合に、このメール文を解析することで、疲れ「２」、怒り「３」、落ち込み「８」、喜び「０」のユーザの状態が把握（推定）される。この場合も、推定された各状態の度合は、いずれも閾値「１０」に達しない。したがって、前回と同様に、度合の値が最高である、落ち込み「８」が選択され、落ち込み度合「８」に対応する実行猶予期間Ｔ２（時刻ｔ５まで）が設定される。

その後、ユーザによりメール送信Ｍ３が時刻ｔ５より前の時刻ｔ４に行われた場合に、そのメール文を解析することにより、疲れ「１」、怒り「１」、落ち込み「５」、喜び「０」のユーザの状態が把握（推定）される。今回も、いずれの度合も閾値「１０」に達しないため、把握されたユーザの状態のうちの度合が値が最も高いのは落ち込み「５」であるので、落ち込み「５」が選択される。この場合は、前回選択されたものと同じ「落ち込み」が検出され、今回の状態の把握及び選択は前回設定した実行猶予期間内になされている。つまり、所定期間内に、同一のユーザ状態が検出（選択）されたことになる。

したがって、ユーザは、現在、落ち込んでいる状態にある確率が高いと判断することができる。よって、実行可能なプログラムの候補として、「落ち込み」に対応する（適合する）プログラムが選ばれることになる。

このときのユーザ状態に対応するプログラムとしては、例えば、「くよくよするなよー」という元気付けの言葉を表示部に表示するためのプログラムである。なお、このプログラムの実行に際し、さらに慎重を期す必要がある場合には、ユーザの同意を得ることを条件としてもよい。この場合は、ユーザの同意が得られない場合には、たとえ上記の推定結果の確度が高いと判断されていても、最終的にはプログラム実行の妥当性はないと判定し、プログラムの実行を取り止めることになる。

上述した第１例の方式では、複数の推定結果の度合がいずれも閾値を越えないときには、実行猶予期間を設け、その期間内に同一状態が出現するか否かを検出しているが、必ずしもこれに限定されるわけではない。例えば、複数の推定結果の中で、その度合が閾値を越えるものがあったときでも、度合の値が最も高いものを選択して実行猶予期間を設定し、そして、その実行猶予期間内に、同じ推定結果が連続して出現するか否かを検出して、プログラム実行の妥当性を判断するようにしてもよい。

すなわち、同一状態検出方式は、所定期間内に同一状態が出現する（同一の推定結果が得られる）ことをプログラム実行のための必須条件とする方式であり、したがって、基本的には、推定結果の度合が閾値を越えるか越えないかに関係なく（このことをプログラム実行の必須条件とするか否かに関係なく）、実施できる方式であるといえる。

実行猶予期間の設定方法としては、上記第２の実施形態のように度合の値に応じて実行猶予期間の長さを設定する方法（例えば、度合ａ＞度合ｂならば、実行猶予期間ａ＞実行猶予期間ｂとする方法）、度合の値に関係なく実行猶予期間を一律に設定する方法（すなわち、実行猶予期間を固定値とする方法）などが考えられ、いずれを用いてもよい。

また、上記のように、推定結果の度合が閾値未満であるときに、度合の値が最も高い推定結果のみに実行猶予期間を設定してもよいし、推定結果の全てまたは一部に実行猶予期間を設定してもよい。

次に、第２例として、度合加算方式について説明する。度合加算方式では、ユーザの状態を検出する際に、１回の推定により得られる推定結果（検出されたユーザの現在の状態）の度合が閾値に達しないときでも、所定の実行猶予期間内に、同一の推定結果が得られる毎にその度合を前回の度合に加算していく。そして、実行猶予期間内において、その推定結果の度合の累積値が閾値以上であれば、その推定の確度は高いと判定して、検出されたユーザの状態に適合するプログラム実行の妥当性があると判断する。

この度合加算方式において、検出されたユーザの状態が複数あるとき、度合が最高である状態に対してのみ実行猶予期間を設定する第１の方法と、複数の状態の各々について実行猶予期間を設定する第２の方法とがある。ここで、第２の方法の方が第１の方法に比べてよりきめ細かな判定を行うことができる。

図７は、ユーザ状態の推定結果の確度を判定する方式の第２例（度合加算方式）における動作を具体的に説明するための図である。この図７では、上記第１の方法を採用した場合を示す。

まず、電子メールのメール文を解析し、使用されるキーワードによりユーザの状態を推定し、また、そのキーワードが使用される頻度から、その推定結果の度合を判定する。すなわち、図７において、メール送信Ｍ１が時刻ｔ１に行われたときに、そのメール文から、ユーザの状態（身体面及び精神面の双方の状態を含む）として、疲れ「５」、怒り「４」、落ち込み「３」、喜び「０」の各状態が把握（推定）される。

ここで、閾値レベルが「１０」とすると、複数（４つ）の推定結果の度合は、いずれも閾値に達しない。この場合には、度合の値が最高である疲れ「５」に着目して、この疲れ「５」に対応する実行猶予期間Ｔ１（時刻ｔ３まで）が各状態に一律に設定される。

次に、メール送信Ｍ２が時刻ｔ３より前の時刻ｔ２に行われた場合に、このメール文を解析することで、疲れ「１」、怒り「１」、落ち込み「６」、喜び「０」のユーザの状態が把握（推定）される。この場合、実行猶予期間Ｔ１内であるため、前回検出された各状態の度合と今回の度合とが加算され、各状態の度合の累積値は、疲れ「６」、怒り「５」、落ち込み「９」、喜び「０」となる。この場合も、閾値を越えるものがないため、今度は、度合が最高である落ち込み「６」に着目し、この落ち込み「６」に対応する実行猶予期間Ｔ２（時刻ｔ５まで）が各状態に一律に設定される。

そして、時刻ｔ３において、実行猶予期間Ｔ１が満了する。これにより、メール送信Ｍ１（時刻ｔ１）に関する状態の度合データはリセット（消去）される。つまり、メール送信Ｍ２（時刻ｔ２）に関する状態の度合データだけが残り、疲れ「１」、怒り「１」、落ち込み「６」、喜び「０」となる。

その後、ユーザによりメール送信Ｍ３が時刻ｔ５より前の時刻ｔ４に行われた場合に、そのメール文を解析することにより、疲れ「２」、怒り「３」、落ち込み「５」、喜び「０」のユーザの状態が把握（推定）される。この場合、実行猶予期間Ｔ２内であるため、前回までの各状態の度合と今回の度合とが加算され、各状態の度合の累積値は、疲れ「３」、怒り「４」、落ち込み「１１」、喜び「０」となり、落ち込みの度合が「１１」となって閾値を越える。

したがって、ユーザは、現在落ち込んだ状態であるという推定の確度が高いと判断される。よって、実行可能なプログラムの候補として、「落ち込み」に対応する（適合する）プログラムが選ばれることになる。

検出されたユーザ状態の度合を閾値と比較して推定の確度を判定する場合、推定される各状態の度合が閾値に達せず、この状態が長く続くと、いつまでたってもプログラム実行ができないという事態も生じ得ることになる。ここで、上記第２例の度合加算方式を採用すると、１回の推定では閾値を越える状態が検出されないときでも、実行猶予期間内に推定が繰り返され、その結果として、度合の累積値（累積加算値）が閾値を越えた場合に、プログラム実行が可能となる。よって、いつまでたってもプログラム実行ができないという事態が生じにくくなる。

実行猶予期間の設定方法としては、上記の例のように度合の値に関係なく実行猶予期間を一律に設定する方法（すなわち、実行猶予期間を固定値とする方法）、度合の値に応じて実行猶予期間の長さを設定する方法（例えば、度合ａ＞度合ｂならば、実行猶予期間ａ＞実行猶予期間ｂとする方法）などが考えられる。特に、上記第２の方法のように複数の状態の各々について実行猶予期間を設定する場合には、実行猶予期間の長さを可変的に設定するようにすれば、さらにきめ細かな判定を行うことができる。

このように第３の実施形態によれば、メールの内容などの入力情報から推定されるユーザの状態の推定結果の確からしさを適切に判定することができる。

（第４の実施形態）
図８は、本発明の第４の実施形態に係る携帯端末装置の構成を示すブロック図である。 第４の実施形態は、第２の実施形態の変形例であり、図８に示す第４の実施形態の構成は図２に示した第２の実施形態の構成とほぼ同様である。

この第４の実施形態では、状態推定手段３０が検索するデータベースとして、状態履歴データベース１４０が追加して設けられている。この状態履歴データベース１４０は、上記第３実施形態で説明した度合加算方式を用いてユーザ状態の推定の確度の判定を行う場合に使用するものである。

図９は、状態履歴データベースに蓄積されるデータの内容の一例を示す図である。状態履歴データベース１４０には、ユーザ状態の推定処理がなされる毎に取得される、各状態の度合（レベル）のすべてが蓄積されていく。

また、上述したように、度合加算方式では、実行猶予期間を定めて、その期間内における状態の度合の累積値を閾値と比較するという処理を行うため、各状態についての実行猶予期間の管理も必要となる。したがって、図９の右側に示されるように、状態履歴データベース１４０には、各状態に対応する、実行猶予期間の満了時点を示す情報も、その都度蓄積される。この状態履歴データベース１４０を活用することで、度合加算方式を用いた、ユーザ状態の推定の確度判定を効率的に行うことができる。

図１０は、第４の実施形態の携帯端末装置におけるユーザの状態に適合するプログラムの実行方法の処理手順を示すフローチャートである。

図１０に示される処理フローは、基本的には、図５に示した第２の実施形態の処理フローと同じである。ただし、図１０では、状態履歴データベースの更新処理を追加しているのが大きく異なる。図１０において、図５と同じステップには、同じ参照符号を付し、説明を省略する。図１０において、図５と異なるステップは、ＳＴＰ１、ＳＴＰ２の各ステップである。

ＳＴＰ１では、状態履歴データベース１４０の更新と、現状の最有力状態の判別処理を行う。すなわち、ＳＴ１でユーザの状態とその度合を把握した後、今回の入力データ（状態、度合、実行猶予期間）と過去の度合（レベル）の累積値や実行猶予期間（有効期間）を元に、状態履歴データベース１４０を再構築する。すなわち、検出された各状態のデータについて、実行猶予期間を過ぎたデータの削除や、各状態の度合の累積加算値の更新を行う。

ＳＴＰ２では、ＳＴ９でプログラムの実行を行った後、状態履歴データベース１４０の更新を行う。例えば、プログラムを実行したか否かにより、データベース内の各状態の度合を全部リセットまたは一定数を減じるなどの調整を行う。

このように第４の実施形態によれば、状態履歴データベースを用いることで、検出した各状態の度合を管理でき、ユーザの状態に適合するプログラムを適切なタイミングで実行させることができる。

（第５の実施形態）
図１１は、本発明の第５の実施形態に係る携帯端末装置の構成を示すブロック図である。第５の実施形態は、第２の実施形態の他の変形例であり、基本的な構成は同様である。

この第５の実施形態では、単なるキーワード検索だけではなく、より高度な文章（言語）解析処理を実施して分析精度を高めると共に、特定の通信相手による場合など、ユーザをその状態にさせた原因に関する解析も実施する。そして、ユーザの状態、ならびに、その状態の原因の双方に基づいて、より適切なプログラム選択を実施する。

第５の実施形態の携帯端末装置ＭＣは、図２のキーワード検出手段２０の代わりに文章認識手段２５を備え、図２の状態把握手段３０の代わりに状態把握・閾値判定手段３５を備えるとともに、図８と同様に状態履歴データベース１４０を備えて構成される。

文章認識手段２５は、メール文などの入力情報の文章解析処理を行い、この入力情報からユーザの状態を示すキーワード群、副詞などのキーワードの程度を示す単語による度合（度合Ａ）、キーワードに対応する原因を抽出する。状態把握・閾値判定手段３５は、文章認識手段２５の解析結果を基に、抽出されたキーワードに対応する状態、及びその状態に至る原因を把握するとともに、状態の度合（度合Ｂ）を判定して出力する。

以下、第５の実施形態の携帯端末装置の特徴的な動作を説明する。図１２は、第５の実施形態の携帯端末装置におけるユーザの状態に適合するプログラムの実行方法の処理手順を示すフローチャートである。

ＳＴ２１では、ユーザの状態とその度合と原因を把握する。すなわち、文章認識手段２５は、送信メール記憶手段１０から入力される送信メール文（文字列）の単語毎の認識及び構文解析を行い、文章の内容を自然言語として把握する。具体的には、誰が／何を／いつ／どこで／なぜ／どのくらい／どうする、を表す単語を認識することで、ユーザの状態を示すキーワード群、その度合（度合Ａ）とその状態に至る原因を把握し出力する。つまり、文章認識手段２５は、単語認識手段と構文解析手段とキーワード検出手段を内部に有している。

ここで、度合Ａは、状態を示すキーワードの程度を示す単語「非常に」「大変」「全然」などの副詞からその度合が把握できる。例えば「大変」の方が「すこし」よりも度合が高く、度合Ａとして例えば「大変」では「５」、「すこし」では「２」を出力する。また、原因は、ユーザが何に対してその状態になっているかを示すものであり、ここでは原因を特定人の言動などの行為による場合とそれ以外による場合に区分している。ユーザの状態の原因が特定人の行為である場合、「特定人の名前」を出力し、特定人の行為でない場合は「その他」を出力する。

例えば、メール文の中に「何であなたは私の悪口を言うの。止めて欲しい。本当に怒るんだから。」という文章があったとすると、キーワードデータベース１００を活用して、状態を示すキーワードとなり得るキーワード「怒る」を検出する。また、キーワード「怒る」を修飾する「本当に」を検出し、その度合Ａは「本当に」に対応する「５」を出力する。また、原因については、特定人の行為（あなたの私の悪口）から「特定人の名前」として「あなた」に相当するメールの送信先（通信相手）の名前を検出する。例えば携帯端末装置の電話帳から「よしこ」を原因として出力する。

そして、状態把握・閾値判定手段３５は、キーワードＶＳ状態データベース１１０を活用して、キーワードに対応した状態を把握し、最高の度合（度合Ｂ）に対応する状態を決定する。最高の度合の状態が複数あれば複数の状態が決定される。この場合、キーワード「怒る」から状態「怒り」を把握し、その度合を「１」とする。状態「怒り」を表すキーワードの数だけその度合は加算される。従って、状態把握・閾値判定手段３５が出力する度合Ｂ、状態ごとに算出される。ここで、度合Ｂは、｛度合Ａ＋（キーワード数）｝となる。上記例では、状態「怒り」としての度合Ｂは、度合Ａの「５」と、キーワード数の「１」との合計値「６」と決定される。

ＳＴ２２では、状態把握・閾値判定手段３５は、実行猶予期間が設定されているかを判断する。この場合は初回であり、後述する状態履歴データベース１４０には以前の情報が記録されていないので、実行猶予期間が設定されていないと判断する。

ＳＴ２３では、状態把握・閾値判定手段３５は、ＳＴ２１で把握された状態の度合が、閾値（例えばレベル１０）以上であるかを判断する。この例では、ＳＴ２１で、状態「怒り」としての度合Ｂは合計値「６」と把握されているので、閾値未満と判断され、ＳＴ３１に移行する。

ＳＴ３１では、状態把握・閾値判定手段３５が、状態履歴データベース１４０に、状態「怒り」と、その原因「よしこ」と、度合「６」に応じて設定されたプログラム実行猶予期間「Ｔ１」とを対にして記録する。また、プログラム実行猶予期間「Ｔ１」内に次のメール送信がない場合や、メール送信があっても状態が把握されない場合は、自動的に、以前に状態履歴データベース１４０に記憶させた情報（つまり、プログラム実行猶予期間を設定する基礎となった状態、原因、プログラム実行猶予期間の各データ）を消去する。その後、ＳＴ２１に戻る。

プログラム実行猶予期間「Ｔ１」が設定され、その期間の満了時点までにメール送信があった場合は、ＳＴ２１で、文章認識手段２５と状態把握・閾値判定手段３５を用いて、再度、ユーザの状態とその度合と原因を把握する。ＳＴ２２では、今度は状態把握・閾値判定手段３５は、状態履歴データベース１４０において実行猶予期間が設定されていると判断し、ＳＴ３０に移行する。

ＳＴ３０では、状態把握・閾値判定手段３５は、実行猶予期間内に同じ状態が把握されたかを判定する。同じ状態が把握された場合は、ＳＴ３２で、プログラム実行猶予期間を設定する要因となった（状態、原因、プログラム実行猶予期間）を状態履歴データベース１４０から消去し、ＳＴ２４に移行する。一方、今回把握された状態が実行猶予期間内で以前に把握された状態と違う場合は、ＳＴ３１で、新たに把握された最高の度合の状態によるプログラム実行猶予期間を設定し、状態、原因、プログラム実行猶予期間の各データを状態履歴データベース１４０に記憶する。

ＳＴ２４では、ユーザの状態に適合する実行すべきプログラムを決定する。プログラム名決定手段４０は、状態把握・閾値判定手段３５から出力される「状態と原因」を用いて、状態ＶＳプログラム名データベース１２０を検索し、プログラム名を決定する。

ここで、プログラム名の情報中に実行通知不要ビットが含まれているとする。この実行通知不要ビットを見れば、ユーザに実行通知不要であるか否かが判断できるようになっている。例えば、実行通知不要ビットが「１」であれば不要、「０」であれば必要とする。 なお、ユーザに同調するプログラムは実行通知不要ビットを「１」に設定している。

また、状態ＶＳプログラム名データベース１２０では、原因が「特定人の行為」と「その他」の場合に対応して、使用するプログラムが区分されており、区分された各々のプログラムには、各状態に対応したプログラム名が付与されている。

例えば、原因が「特定人の行為」の場合のプログラム内容は、ユーザ所有の携帯端末装置の電話帳における特定人のページにユーザの状態をキャラクタやテキストで表示させたり、ユーザの好きな曲を再生させたり、特定のコンテンツ（ウェブページ）のアドレスを知らせるなどである。また、原因が「その他」の場合のプログラム内容は、同様にユーザ所有の携帯端末装置の表示画面にユーザの状態をキャラクタ表示させたり、ＡＶプログラムの再生や特定のコンテンツ（ウェブページ）のアドレスを知らせるなどである。

ＳＴ２５では、ＳＴ２４で決定したプログラムはユーザに実行通知不要であるか否かを判断する。この判断は、プログラム実行制御手段５０が、プログラム名決定手段４０から出力されるプログラム名情報に含まれる実行通知不要ビットを用いてなされる。

ここで、実行通知不要であれば、ＳＴ２８に移行し、プログラム実行制御手段５０からプログラム実行手段６０にプログラム実行指示のためにプログラム名を渡す。これを受けて、プログラム実行手段６０は、プログラムデータベース１３０からプログラム名に対応するプログラムを取得し、表示装置８０及び音声出力手段９０の少なくとも一方を用いてプログラムを実行する。

実行通知不要のプログラム例としては、通信相手の「特定人（よしこ）の行為」が原因で、ユーザが、「疲れ／怒り／落ち込み／喜びなど」の状態を招いた場合に、電話帳の特定人（よしこ）のページにユーザの状態を示すキャラクタを入れるプログラムなどがある。このとき、例えば「喜び」の状態であれば、ニコニコ笑顔のキャラクタを表示する。

また、ユーザの状態として「○○をしたい」などの願望が把握された場合は、その対象のガイド情報などのコンテンツを表示するプログラムを実行してもよい。例えば、「温泉に行きたい」という願望が把握された場合は、温泉のガイドを表示するプログラムを実行する。

ＳＴ２５において、プログラム実行制御手段５０がプログラム実行通知の必要ありと判断すると、ＳＴ２６に移行し、プログラム実行の通知を、例えば自分宛のメールを用いて実行する。このプログラム実行通知には、振動手段７０または表示手段８０を用いる。通知用のメールには把握されたユーザの状態と実行すべきプログラム名を通知する。

ＳＴ２７では、プログラム実行通知を行った後、ユーザがプログラムの実行通知を受けてこのプログラムの実行許可を行ったか否かを判断する。ユーザが実行許可を指示する場合は携帯端末装置の操作キーの所定ボタンを押下する。ユーザからの実行許可指示入力を受けると、ＳＴ２８に移行し、プログラム実行制御手段５０は、プログラム実行手段６０に実行すべきプログラム名を送る。そして、プログラム実行手段６０は、プログラムデータベース１３０からプログラム名に対応するプログラムを取得し、表示装置８０及び音声出力手段９０の少なくとも一方を用いてプログラムを実行する。このようにユーザが実行許可をしてプログラムを速やかに実行することにより、プログラムの実行時（特に、ＡＶ関連のプログラムの実行時）に、ユーザが見てないところで勝手に実行されることを防止でき、ユーザに確実に視聴させることができる、といったメリットが得られる。

ユーザが実行不許可を指示する場合も、携帯端末装置の操作キーの所定ボタンを押下する。ユーザからの実行不許可指示入力を受けると、ＳＴ２９に移行し、プログラム実行制御手段５０は、プログラム実行の取り止めを行う。

実行通知が必要なプログラム例としては、通信相手の「特定人（よしこ）の行為」が原因でユーザが状態「怒り」を招いた場合、ユーザの好きな着歌を流し「そんなに怒らないの」のメッセージを流すプログラムなどがある。

このように第５の実施形態では、ユーザの状態を発生させる原因として、コミュニケート相手となる「特定人の行為」と「その他」に区分し、その区分に応じてユーザの状態に適合するプログラムを選択して実行するようにしている。これにより、ユーザ状態の原因となる通信相手等の特定の人物の判定結果も考慮して、ユーザ状態に対応したきめ細かいプログラム選択が可能となり、ユーザは、ユーザ思いの携帯端末装置であることをより一層、実感することができる。

（第６の実施形態）
第６の実施形態では、特に、プログラム実行時の表示画面の作成について説明する。第６の実施形態の特徴は、抽出したキーワードを用いて、効果的な表示画面を効率よく作成する点である。

図１３は、本発明の第６の実施形態に係る携帯端末装置の構成を示すブロック図である。第６の実施形態は、第２の実施形態のさらに他の変形例であり、基本的な構成は同様である。第６の実施形態の携帯端末装置ＭＣは、図２のキーワード検出手段２０の代わりにキーワード及び関連付け用語検出手段２７を備え、プログラム合成手段６５を新たに備えて構成される。

キーワード及び関連付け用語検出手段２７は、メール文等の入力情報において、キーワードとともにこのキーワードに関連付けされた用語を検出する。例えば、メール文の中に「仕事がうまくいかない。」という文があれば、キーワードとして「うまくいかない」を検出し、このキーワードと関連付けする用語として「仕事」を検出する。

図１４は、プログラム合成手段６５の内部構成を示すブロック図である。プログラム合成手段６５は、テキスト文合成部６０２と画像合成部６０４とを有する。プログラム合成手段６５は、テキスト文合成部６０２において、キーワード及び関連付け用語検出手段２７で検出されたキーワード「うまくいかない」に関連付けされた用語、例えば「仕事」と、プログラムデータベース１３０から読み出されたテキスト、例えば「元気出せよ。○○が何だ！」とを合成して、合成テキスト文「元気出せよ。仕事が何だ！」を作成する。

そして、プログラム合成手段６５は、画像合成部６０４において、プログラムデータベース１３０から読み出された画像１５０（図１５（ａ）参照）と、前記作成した合成テキスト文とを合成した合成画像１６０（図１５（ｂ）参照）を作成する。ここで、図１５（ａ），（ｂ）は、合成前及び合成後の画像の一例を示す図である。その後、プログラム実行手段６０は、表示手段８０を用いて合成画像１６０を表示させることでプログラムの再生を実行する。

このように第６の実施形態では、ユーザの発話またはメール文に用いられたキーワードに関連付けされた用語（文字データ）を、実行しようとするプログラムのデータに組み込み、例えば、その関連付け用語を反映した画像を形成するようにしている。このようにユーザ状態に関連付けられた用語を合成したプログラムを作成することによって、ユーザの状態の実態に適合した新しいプログラムを効率的に実行することができる。

なお、上述した第１〜第６の実施形態では、携帯電話装置等の携帯端末装置に用いた場合について説明したが、メール機能や通話機能等の少なくとも１つの通信機能、あるいは文字や音声の入力機能などを有する情報機器であれば、本発明を適用することができる。 つまり、メール機能を有するＰＣ、ファックス、ＴＶ、ＰＤＡなどの情報機器とか、通話機能（ＩＰ電話を含む）を有する電話機、ＰＣなどの情報機器にも適用できる。

本発明は、ユーザの状態を把握（推定）し、ユーザを思いやる言動を実現するためのプログラムを実行するという観点からは、ユーザが常時機器を使用していることが望ましく、その点から、ユーザが常時携帯する可能性の高い携帯機器に特に好適である。

（第７の実施形態）
第７の実施形態では、本発明に係るプログラム実行方法を、２台の電子機器の連係により実施する例を示す。

図１６は、本発明の第７の実施形態に係る２台の電子機器の連係によりプログラムを実行する情報処理システムの構成を示す図である。

上述した第１〜第６の実施形態では、ユーザの状態とその度合を把握した電子機器（携帯端末装置等の情報機器）がプログラムの実行を行うこととしていた。しかし、必ずしも、この形態に限定されるものではない。例えば、図１６に示されるように、ユーザの状態とその度合を電子機器１（例えば携帯電話装置）で把握し、この電子機器１とは異なる他の電子機器２（例えばＰＣ）でプログラムの実行を行わせることもできる。もちろん、逆にユーザの状態とその度合を電子機器２（例えばＰＣ）で把握し、この電子機器２とは異なる他の電子機器１（例えば携帯電話装置）でプログラムの実行を行わせることもできる。

２台の電子機器の連係によってプログラムを実行する方法としては、以下の第１〜第３の態様のようにいくつかの態様がある。

第１の態様は、送信元の電子機器から送信先の電子機器に、プログラム自体を送信する方法である。この場合、図１６において、ユーザの状態とその度合を把握した電子機器１から、他の電子機器２に対して、推定されたユーザ状態に適合するプログラムのプログラム実行通知とともに、実行すべきプログラムをネットワーク３を介して送信する。そして、電子機器２において、ユーザの実行指示に基づいて取得したプログラムを実行する。

第２の態様は、送信元の電子機器から送信先の電子機器に、実行するプログラムを指定する情報を送信する方法である。この場合、図１６において、ユーザの状態とその度合を把握した電子機器１から、他の電子機器２に対して、推定されたユーザ状態に適合し当該電子機器２に備わっているプログラムを指定する情報をネットワーク３を介して送る。そして、電子機器１から電子機器２に対し、このプログラムの実行通知をネットワーク３を介してメール等で行い、電子機器２のユーザの実行指示に基づいて、指定されたプログラムを電子機器２で実行する。

第３の態様は、送信元の電子機器から送信先の電子機器に、推定されたユーザ状態に関する情報を送信する方法である。この場合、図１６において、電子機器１から電子機器２に対し、プログラム実行通知と共にユーザの状態に関する情報をネットワーク３を介して送信し、電子機器２のユーザの実行指示に基づき、この電子機器２においてプログラムの選択及びプログラムの実行を行う。

この第７の実施形態では、２台の電子機器の連携によって本発明のプログラム実行方法の処理を実施するため、情報等の処理に伴う負荷が分散され、一つの電子機器の負担が軽くなるという効果も得られる。

（第８の実施形態）
第８の実施形態では、携帯端末装置とネットワーク上のサーバとの連携によって、本発明に係るプログラム実行方法を実施する例を示す。

図１７は、本発明の第８の実施形態に係る携帯端末装置とネットワーク上のサーバとの連携によってプログラムを実行する情報処理システムの構成を示す図である。

携帯電話装置等による携帯端末装置ＭＣ１は、基地局ＢＳ１、広域ネットワークＮＴを介して、基地局ＢＳ２を介した他の携帯端末装置ＭＣ２、及びサーバＳＶとの間で通信を行い、通話やデータ転送等を行うことができる。

上記第７の実施形態は２台の電子機器が連携するシステム構成であったが、第８の実施形態では、携帯端末装置ＭＣ１と広域ネットワークＮＴ上に設けられたサーバＳＶとが連携して必要な処理を実行するものである。すなわち、携帯端末装置ＭＣ１からサーバＳＶにデータを転送し、このサーバＳＶにてプログラム実行のための処理を行い、その処理結果をサーバＳＶから携帯端末装置ＭＣ１に転送し、携帯端末装置ＭＣ１においてプログラムを実行する。

このようなサーバ連携による処理を実施することにより、携帯端末装置ＭＣ１における処理の負担が軽減される。したがって、携帯端末装置ＭＣ１には、図１に示した文字や音声等のマルチメディア情報を取得する役目をする情報インタフェース部６００と、指定されたプログラムを実行するプログラム実行手段６０とを少なくとも備えていればよいことになる。

一方、サーバＳＶは、広域ネットワークＮＴを介して通信処理を行う通信インタフェース３１３、及び決定したプログラムを取り出すプログラム取り出し手段５５に加えて、図１に示した分析部３２０、推定部３３０（プログラム名決定手段４０を含む）、推定確度判定部（プログラム実行制御手段）５０、分析推定データベース４１０、プログラム格納部４２０を備えている。

携帯端末装置ＭＣ１は、まず、情報インタフェース部６００を介して取得したユーザによる入力情報等の各種のデータをサーバＳＶに送信する。そして、サーバＳＶにおいて、取得した情報についての分析、ユーザ状態の推定、推定の確度判定によるプログラム実行の妥当性判断、ユーザ状態に適合するプログラムの決定、実行すべきプログラムの取り出しを行い、そのプログラムを通信インタフェース３１３を介して携帯端末装置ＭＣ１に送信する。そして。携帯端末装置ＭＣ１において、プログラム実行手段６０によって送信されてきたプログラムを実行する。

具体的には、以下のような例が考えられる。携帯端末装置ＭＣ１にて他の携帯端末装置ＭＣ２にメール送信を行った際、そのメールの内容をすべて、広域ネットワークＮＴを介してサーバＳＶに送信する。この場合の送信データは、送信メール内の文字情報であるが、例えば音声情報が元となっている場合では音声情報そのものでも、音声情報を音声認識した結果の文字情報でもよい。

サーバＳＶでは、得られた情報からキーワード検出、ユーザの状態の推定、データベース更新・管理、プログラム実行判断、プログラム名決定等を行う。この処理結果を元に、サーバＳＶにある実行プログラムを取り出して携帯端末装置ＭＣ１に送信する。そして、携帯端末装置ＭＣ１は送信されてきたユーザの状態に適合するプログラムを実行する。

なお、上記の例では、サーバＳＶにて通信情報（入力情報）に関する一連の解析処理を実行しているが、処理を分散し、携帯端末装置ＭＣ１において一部の解析処理を実行するようにしてもよい。

この第８の実施形態によれば、サーバ連携によって本発明のプログラム実行方法の処理を実施することで、携帯端末装置側の負担を大幅に軽減することができる。また、サーバ側では、ハードウエアの増強が容易にできるため、より高度な解析処理を短時間に行うことが可能であり、実行可能なプログラムのバリエーションも広がる。

以上のように本実施形態によれば、ユーザに身構えさせることなく、ユーザの状態を高い確度で把握でき、そして、その状態に適合するプログラムを、タイムリーにかつユーザにとって飽きのこないように実行することができる。したがって、ユーザにとって携帯端末装置等の電子機器が、まるでユーザの心身の状態を思いやる存在に見えることになり、ユーザにとってなくてはならない存在となる。すなわち、携帯端末装置等の電子機器を、「もの言わぬ受動的な機器」から、ユーザ自身の体調や心情を思いやってくれるような、「いとおしさを感じさせる、なくてはならない存在の機器」へと変えていくことができる。これにより、広範なユーザに受け入れられ、ユーザに負担をかけず、さらに、ユーザが常に興味深く快適に使用できるような電子機器の多機能化を実現することができる。

ユーザの状態に適合するプログラムを実行する電子機器としては、種々のものに適用可能であるが、メール機能及び通信機能の内、少なくとも１つの機能を有する情報機器等の電子機器、特に携帯端末装置（携帯電話装置、携帯情報端末（ＰＤＡ）等を含む）、ＰＣ（Personal Computer ）、あるいは使用頻度の高い情報機器（ＰＣ、ファックス、ＴＶなど）が好適である。

本発明は、ユーザに負担をかけることなく、ユーザの状態に応じた機能をユーザにとって興味深く適切に実現することが可能となる効果を有し、例えば携帯端末装置等の電子機器におけるプログラム実行方法、及びその電子機器、並びに携帯端末装置、この携帯端末装置等を有する情報処理システム等に有用である。

本発明の第１の実施形態に係る携帯端末装置の全体構成を示すブロック図 本発明の第２の実施形態に係る携帯端末装置の構成を示すブロック図 キーワードＶＳ状態データベースに格納されているユーザが用いたキーワードとユーザの状態との関係の一例を示す図 状態ＶＳプログラム名データベースに格納されているユーザの状態とユーザの状態に適合するプログラムとの関係の一例を示す図 第２の実施形態の携帯端末装置におけるユーザの状態に適合するプログラムの実行方法の処理手順を示すフローチャート 第３の実施形態に係るユーザ状態の推定結果の確度を判定する方式の第１例（同一状態検出方式）における動作を具体的に説明するための図 第３の実施形態に係るユーザ状態の推定結果の確度を判定する方式の第２例（度合加算方式）における動作を具体的に説明するための図 本発明の第４の実施形態に係る携帯端末装置の構成を示すブロック図 状態履歴データベースに蓄積されるデータの内容の一例を示す図 第４の実施形態の携帯端末装置におけるユーザの状態に適合するプログラムの実行方法の処理手順を示すフローチャート 本発明の第５の実施形態に係る携帯端末装置の構成を示すブロック図 第５の実施形態の携帯端末装置におけるユーザの状態に適合するプログラムの実行方法の処理手順を示すフローチャート 本発明の第６の実施形態に係る携帯端末装置の構成を示すブロック図 第６の実施形態におけるプログラム合成手段の内部構成を示すブロック図 第６の実施形態におけるプログラム合成手段により合成される前と後の画像の一例を示す図であり、（ａ）は合成前の画像、（ｂ）は合成後の合成画像を示す図 本発明の第７の実施形態に係る２台の電子機器の連係によりプログラムを実行する情報処理システムの構成を示す図 本発明の第８の実施形態に係る携帯端末装置とネットワーク上のサーバとの連携によってプログラムを実行する情報処理システムの構成を示す図

符号の説明

１０ 送信メール記憶手段
２０ キーワード検出手段
２５ 文章認識手段
２７ キーワード及び関連付け用語検出手段
３０ 状態把握手段
３５ 状態把握・閾値判定手段
４０ プログラム名決定手段
５０ 推定確度判定部（プログラム実行制御手段）
６０ プログラム実行手段
６５ プログラム合成手段
８０ 表示手段
８２ カメラ
９０ スピーカ（音声出力手段）
９１ マイク
７０ バイブレータ（振動手段）
１００ キーワードデータベース
１１０ キーワードＶＳ状態データベース
１２０ 状態ＶＳプログラム名データベース
１３０ プログラムデータベース
１４０ 状態履歴データベース
２００ 無線通信処理部
２１０ データ多重化部
２２０ データ信号処理部
２２２ ビデオコーデック
２２４ 音声コーデック
２２６ データ処理部
２２８ 電子メール処理部
２３０ 入出力インタフェース部
２３２ 画像インタフェース
２３４ 音声インタフェース
２３６ キーインタフェース
２５０ 操作キー
３００ ＣＰＵ
３１０ 端末制御部
３２０ 分析部
３３０ 推定部
４００ データベース部
４１０ 分析推定データベース
４２０ プログラム格納部
５００ 通信制御部
６００ 情報インタフェース部

Claims (26)

1. 複数のプログラムを実行可能な電子機器における前記プログラムの実行方法であって、
   前記電子機器を介して送受信される、あるいは前記電子機器に入力される、前記複数のプログラムの内の一つを選択することに直接的に結びつかない情報を取得する第１のステップと、
   取得された前記情報に基づいて、所定の分析処理を実施する第２のステップと、
   前記分析の結果に基づいて前記電子機器を使用するユーザの状態に関する推定処理を実行する第３のステップと、
   前記推定処理により得られる推定結果の確度、及び前記推定結果に対応するプログラムを実行することに対する前記電子機器のユーザの意思、の少なくとも一つを確認し、前記推定結果に対応するプログラム実行の妥当性を判断する第４のステップと、
   前記プログラム実行が妥当と判断された場合に、前記ユーザの状態に適合する実行可能なプログラムを実行する第５のステップと
   を有するプログラム実行方法。
2. 請求項１記載のプログラム実行方法であって、
   前記第２のステップ、第３のステップ、及び第４のステップの少なくとも一つにおいて関連する情報を保持する所定のデータベースの検索を実施し、前記第１のステップで取得された情報に基づき、あるいは、前記プログラムが実行されたか否かに基づき、前記データベースを更新するプログラム実行方法。
3. 請求項１記載のプログラム実行方法であって、
   前記第１のステップにおいて取得する情報は、前記電子機器をユーザが使用する際に得られる文字、音声、画像の内の少なくとも一つが含まれる入力情報を含むプログラム実行方法。
4. 請求項１記載のプログラム実行方法であって、
   前記第３のステップの推定処理において、前記電子機器を使用するユーザの心身の状態を推定するプログラム実行方法。
5. 請求項１記載のプログラム実行方法であって、
   ユーザの好み情報を予め登録しておき、前記第４のステップにおけるプログラム実行の妥当性の判断において、そのプログラム実行が、前記ユーザの好みに合致するか否かの確認も実施し、合致しない場合にはプログラム実行の妥当性がないと判断するプログラム実行方法。
6. 請求項１記載のプログラム実行方法であって、
   前記電子機器が、通話機能及びメール送受信機能の内の少なくとも一つを含む通信機能を有する場合に、前記第２のステップの分析処理において、前記通信におけるユーザの発話内容またはメールに含まれるキーワードを検出するプログラム実行方法。
7. 請求項６記載のプログラム実行方法であって、
   前記分析処理において、さらに前記発話内容またはメールに含まれる前記キーワードに関連付けされた関連付け用語を抽出する処理を行い、
   前記第５のステップにおいて実行される前記プログラムのデータとして、前記関連付け用語を用いるプログラム実行方法。
8. 請求項７記載のプログラム実行方法であって、
   前記プログラムは、テキスト情報を合成した画像を前記電子機器の表示部に表示するためのプログラムであり、前記キーワードに関連付けされた関連付け用語を前記テキスト情報の一部に用いるプログラム実行方法。
9. 請求項１記載のプログラム実行方法であって、
   前記第４のステップにおける前記推定結果の確度の確認は、前記推定の結果として把握される前記電子機器を使用するユーザの状態の度合を所定の閾値と比較することにより行い、前記度合が前記所定の閾値以上であることを前記プログラムを実行するための条件の一つとするプログラム実行方法。
10. 請求項９記載のプログラム実行方法であって、
    前記推定結果の確度の確認処理において、前記ユーザの状態の度合が前記所定の閾値未満である場合に、
    前記度合の状態に関して猶予期間を設定するステップと、
    前記ユーザの状態の度合を再度把握するステップと、
    前記猶予期間内において前記ユーザの状態の度合が再度把握された場合に、以前に把握した状態と今回把握した状態とを少なくとも用いて前記プログラムの実行妥当性を判定するステップとを有するプログラム実行方法。
11. 請求項１０記載のプログラム実行方法であって、
    前記プログラムの実行妥当性を判定する際に、前記以前に把握した状態の度合と前記今回把握した状態の度合とを加算し、この度合の累積加算値が前記所定の閾値以上であるかによって前記プログラムの実行妥当性を判定するプログラム実行方法。
12. 請求項１１記載のプログラム実行方法であって、
    前記ユーザの状態として一または複数の状態が把握された場合に、各々の状態の度合について前記猶予期間内に把握された度合を加算し、これらの度合の累積加算値によって前記プログラムの実行妥当性を判定するプログラム実行方法。
13. 請求項１０記載のプログラム実行方法であって、
    前記プログラムの実行妥当性を判定する際に、前記以前に把握した状態と前記今回把握した状態とが同じであるかによって前記プログラムの実行妥当性を判定するプログラム実行方法。
14. 請求項１記載のプログラム実行方法であって、
    前記第３のステップの推定処理において、前記ユーザの状態を推定する場合に、その状態の原因が特定の人物に起因するものかどうかを判定し、
    前記第５のステップのプログラム実行処理において、前記原因の判定結果に基づき、前記ユーザの状態の原因が特定の人物かどうかによって特定された実行すべきプログラムを実行するプログラム実行方法。
15. 請求項６記載のプログラム実行方法であって、
    前記第２のステップの分析処理において、前記通信におけるユーザの発話内容またはメールに対する言語解析を行い、前記発話内容またはメールから前記ユーザの状態及びその原因に関するキーワードを抽出するプログラム実行方法。
16. 複数のプログラムを実行可能な電子機器における前記プログラムの実行方法であって、
    前記電子機器を介して送受信される、あるいは前記電子機器に入力される、前記複数のプログラムの内の一つを選択することに直接的に結びつかない情報を取得する第１のステップと、
    取得された前記情報に基づいて、所定の分析処理を実施する第２のステップと、
    前記分析の結果に基づいて前記電子機器を使用するユーザの状態に関する推定処理を実行してその状態の原因が特定の人物に起因するかどうかを判定する第３のステップと、
    前記原因の判定結果に基づき、前記ユーザの状態の原因が特定の人物かどうかによって特定されたプログラムを実行する第５のステップと
    を有するプログラム実行方法。
17. 請求項１〜請求項１６のいずれかに記載の各手順を、通信機能を有する２台の電子機器を用いて実行するプログラム実行方法であって、
    前記第１のステップ、第２のステップ、第３のステップ及び第４のステップを一方の電子機器で実施し、
    前記一方の電子機器から他方の電子機器に、実行すべきプログラム自体、または実行すべきプログラムを指定する情報を通信回線を介して送信し、
    前記第５のステップを前記他方の電子機器で実行するプログラム実行方法。
18. 請求項１〜請求項１６のいずれかに記載の各手順を、通信機能を有する２台の電子機器を用いて実行するプログラム実行方法であって、
    前記第１のステップ、第２のステップ、第３のステップ及び第４のステップを一方の電子機器で実施し、
    前記一方の電子機器から前記他方の電子機器に、プログラムの実行に関する通知と、前記第３のステップにおける前記推定処理に関する情報とを通信回線を介して送信し、
    前記他方の電子機器において、送信されてきた前記通知及び情報に基づいて実行すべきプログラムを特定し、前記第５のステップを実行するプログラム実行方法。
19. 請求項１〜請求項１６のいずれかに記載の各手順を、電子機器と通信ネットワーク上にあるサーバとの連携により実現するプログラム実行方法であって、
    前記第１のステップにより、前記電子機器にて取得された情報を、前記通信ネットワーク上の前記サーバに送信し、
    前記第２のステップ、第３のステップ及び第４のステップを前記サーバにて実施し、
    前記サーバからプログラムの実行に必要な情報を前記電子機器に送信し、前記電子機器にて、前記第５のステップを実行するプログラム実行方法。
20. 複数のプログラムを実行可能な電子機器であって、
    前記電子機器を介して送受信される、あるいは前記電子機器に入力される、前記複数のプログラムの内の一つを選択することに直接的に結びつかない情報を取得する情報取得手段と、
    前記情報取得手段で取得された前記情報に基づいて、所定の分析処理を実施する分析手段と、
    前記分析の結果に基づいて前記電子機器を使用するユーザの状態に関する推定処理を実行する推定手段と、
    前記推定処理により得られる推定結果の確度、及び前記推定結果に対応するプログラムを実行することに対する前記電子機器のユーザの意思、の少なくとも一つを確認し、前記推定結果に対応するプログラム実行の妥当性を判断するプログラム実行制御手段と、
    前記プログラム実行が妥当と判断された場合に、前記ユーザの状態に適合する実行可能なプログラムを実行するプログラム実行手段と
    を備える電子機器。
21. 請求項２０に記載の電子機器であって、
    前記分析手段及び前記推定手段が分析処理と推定処理を行う際に使用する情報が蓄積されているデータベースと、
    前記複数のプログラムが格納されているプログラム格納手段とを備える電子機器。
22. 請求項２０または２１に記載の電子機器であって、
    さらに通信手段を備え、
    前記情報取得手段は、前記通信手段において送受信される情報、または前記電子機器に入力される情報を含む入力情報から前記情報を取得する電子機器。
23. 請求項２２に記載の電子機器であって、
    前記通信手段は、前記実行すべきプログラム自体、前記実行すべきプログラムを指定する情報、前記推定処理に関する情報の内の少なくとも一つを、他の電子機器に送信することが可能に構成される電子機器。
24. 請求項２０〜請求項２３のいずれかに記載の電子機器の各手段を備える携帯端末装置。
25. 請求項１７または請求項１８に記載のプログラム実行方法を実施可能な情報処理システムであって、
    前記一方の電子機器と、
    前記他方の電子機器と、
    前記電子機器間を無線通信あるいは有線通信を用いて接続するための前記通信回線と
    を有して構築される情報処理システム。
26. 請求項１９に記載のプログラム実行方法を実施可能な情報処理システムであって、
    前記電子機器と、
    無線通信または有線通信に使用される前記通信ネットワークと、
    前記通信ネットワーク上に設けられた前記サーバと
    を有して構築される情報処理システム。

Images