JP2007271655A - 感情付加装置、感情付加方法及び感情付加プログラム - Google Patents

感情付加装置、感情付加方法及び感情付加プログラム Download PDF

Info

Publication number
JP2007271655A
JP2007271655A JP2006093559A JP2006093559A JP2007271655A JP 2007271655 A JP2007271655 A JP 2007271655A JP 2006093559 A JP2006093559 A JP 2006093559A JP 2006093559 A JP2006093559 A JP 2006093559A JP 2007271655 A JP2007271655 A JP 2007271655A
Authority
JP
Japan
Prior art keywords
emotion
information
message
emotion information
reply message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006093559A
Other languages
English (en)
Inventor
Akiko Yamato
亜紀子 大和
Makoto Tanaka
田中  誠
Ayako Hirano
絢子 平野
Shigeaki Komatsu
慈明 小松
Yoko Oike
陽子 大池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2006093559A priority Critical patent/JP2007271655A/ja
Publication of JP2007271655A publication Critical patent/JP2007271655A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】受信した電子メッセージ情報の文章に含まれる感情に対応した返信メッセージ用の感情情報を自動で生成して返信メッセージに関連付けて送信する。
【解決手段】受信した電子メッセージ情報に関連付けられている喜び、怒り、悲しさ、楽しさ、又は普通等の受信メッセージ感情情報を取得し、受信した電子メッセージ情報に対応する返信メッセージを入力して返信メッセージの文書を単語毎に区切り、予め単語毎に、喜び、怒り、悲しさ、楽しさ、又は普通等の感情情報を関連付けた感情辞書22を参照して返信メッセージの単語毎に感情情報を取得し、その感情情報に基づいて決定した返信メッセージ感情情報又は受信メッセージ感情情報から返信メッセージの送信感情情報を決定し、その送信感情情報と返信メッセージとを関連付けた感情付返信メッセージを生成して返信するように構成した。
【選択図】図1

Description

本発明は、ショートメッセージ、チャット、ブログ、又は電子メール等の電子メッセージ情報の文章の内容に応じて感情情報を付加する感情付加装置、感情付加方法及び感情付加プログラムに関する。
近年、ドキュメントやインターネットのホームページに掲載された文章、ニュース、その他の任意の文章に対して構文解析を行って音韻情報を含む文章に変換し、その音韻情報を含む文章について所定の音声合成を行って合成音声を出力する音声合成装置が開発されている。
特に、電子メールで送受信されている文章を、一律の感情表現による音声合成を用いて自動で読み上げると、文章の内容と異なる感情による発声となるために、電子メールの内容に込められた感情が実際に意図したものとは異なってしまう。
そこで、電子メールの送信者の意図や感情を音声で表現するために、予め電子メールに基本的声質データや感情パラメータを付与して電子メールの読み上げ音声を変えるなどして感情表現を行う試みがなされている。
電子メールのテキストデータに添付されたピッチや母音フォルマント等の基本的声質データと、テキスト解析部が算出したテキストデータの音声合成規則と、予め用意された音声合成の音韻データ群及び声質データを用いて所定の声質に適応化させて音声合成規則に従った音声合成を行う電子メール受信装置の発明が知られている(例えば特許文献1参照。)。
特許文献1に記載の電子メール受信装置は、受信した電子メールに添付されている基本的声質データを用いて、電子メールの送信者の声質に似た合成音声を出力する装置である。そして、電子メールの送信者により指定された喜び、怒り、悲しみ等の感情パラメータを用いて、感情表現を伴う音声を出力する旨の記載がなされている。
特開2001−34280号公報
特許文献1に記載の電子メール受信装置では、喜び、怒り、悲しみ等の感情を表現する抑揚を加えて電子メールを読み上げるために、予め電子メールの送信者が感情パラメータを設定するとともに、電子メールに添付する必要があった。
本発明は、例えばインターネットや携帯電話のキャリア等を経由してショートメッセージ、チャット、ブログ、又は電子メール等の電子メッセージ情報を受信し、その受信した電子メッセージ情報の文章の感情に対応した喜び、怒り、悲しさ、楽しさ、又は普通等の返信メッセージ用の感情情報を自動で生成して、返信メッセージに関連付けて送信することが可能な感情付加装置、感情付加方法及び感情付加プログラムを提供することを目的としている。
上記課題を解決するために、請求項1に記載の発明は、他の通信機器から受信した電子メッセージ情報に関連付けられている受信メッセージ感情情報を取得する受信メッセージ感情情報取得手段と、受信した電子メッセージ情報に対応する返信メッセージを入力する返信メッセージ入力手段と、前記返信メッセージの文書を単語毎に区切る形態素解析手段と、予め前記単語毎に感情情報を関連付けた感情辞書を参照して、前記返信メッセージの区切られた単語毎に感情情報を取得し、その感情情報に基づいて返信メッセージ感情情報を取得する返信メッセージ感情情報取得手段と、前記受信メッセージ感情情報又は前記返信メッセージ感情情報に基づいて送信感情情報を決定し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する感情付返信メッセージ生成手段とを備えることを特徴とする。
また、請求項2に記載の発明は、前記送信感情情報を前記受信メッセージ感情情報に応じた感情情報とする第1感情モードに設定する第1設定手段を備え、前記感情付返信メッセージ生成手段は、前記第1設定手段によって前記第1感情モードに設定されている場合には、前記受信メッセージ感情情報と前記送信感情情報とを関連付けた第1感情情報記憶手段を参照して、前記取得した受信メッセージ感情情報と関連する送信感情情報を取得し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成することを特徴とする。
また、請求項3に記載の発明は、前記第1設定手段によって前記第1感情モードに設定されている場合において、前記送信感情情報を、前記受信メッセージ感情情報と同調した感情情報とする同調モードに設定する同調モード設定手段とを備え、前記感情付返信メッセージ生成手段は、前記同調モード設定手段によって前記同調モードに設定されている場合には、前記受信メッセージ感情情報と前記送信感情情報とを関連付けた同調モード用感情情報記憶手段を参照して、前記取得した受信メッセージ感情情報と関連する前記送信感情情報を取得し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成することを特徴とする。
また、請求項4に記載の発明は、前記第1設定手段によって前記第1感情モードに設定されている場合において、前記送信感情情報を、前記受信メッセージ感情情報よりも和らげた感情情報とする温和モードに設定する温和モード設定手段を備え、前記感情付返信メッセージ生成手段は、前記温和モード設定手段によって前記温和モードに設定されている場合には、前記受信メッセージ感情情報と前記送信感情情報とを関連付けた温和モード用感情情報記憶手段を参照して、前記取得した受信メッセージ感情情報と関連する前記送信感情情報を取得し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成することを特徴とする。
また、請求項5に記載の発明は、前記返信メッセージ感情情報取得手段が取得した前記返信メッセージ感情情報を前記送信感情情報とする第2感情モードに設定する第2設定手段を備え、前記感情付返信メッセージ生成手段は、前記第2設定手段によって前記第2感情モードに設定されている場合には、前記返信メッセージ感情情報を前記送信感情情報として決定し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成することを特徴とする。
また、請求項6に記載の発明は、前記送信感情情報を、前記受信メッセージ感情情報及び前記返信メッセージ感情情報に応じた感情情報とする第3感情モードに設定する第3設定手段を備え、前記感情付返信メッセージ生成手段は、前記第3設定手段によって前記第3感情モードに設定されている場合には、前記受信メッセージ感情情報と前記返信メッセージ感情情報と前記送信感情情報とを関連付けた第3感情情報記憶手段を参照して、前記取得した受信メッセージ感情情報及び前記返信メッセージ感情情報と関連する送信感情情報を取得し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成することを特徴とする。
また、請求項7に記載の発明は、前記第3設定手段によって前記第3感情モードに設定されている場合において、前記受信メッセージ感情情報及び前記返信メッセージ感情情報の内、感情レベルの高い感情情報を前記送信感情情報とする感情レベル優先モードに設定する感情レベル優先モード設定手段とを備え、前記感情付返信メッセージ生成手段は、前記感情レベル優先モード設定手段によって前記感情レベル優先モードに設定されている場合には、前記受信メッセージ感情情報及び前記返信メッセージ感情情報の内、感情レベルの高い感情情報を前記送信感情情報として取得し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成することを特徴とする。
また、請求項8に記載の発明は、前記第3設定手段によって前記第3感情モードに設定されている場合において、前記受信メッセージ感情情報と前記返信メッセージ感情情報との所定の関係に対応する感情情報を前記送信感情情報とする感情関係モードに設定する感情関係モード設定手段とを備え、前記感情付返信メッセージ生成手段は、前記感情関係モード設定手段によって前記感情関係モードに設定されている場合には、前記受信メッセージ感情情報と前記返信メッセージ感情情報と前記送信感情情報とを関連付けた感情関係記憶手段を参照して、前記受信メッセージ感情情報及び前記返信メッセージ感情情報と所定の関係となる前記送信感情情報を取得し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成することを特徴とする。
また、請求項9に記載の発明は、前記返信メッセージ感情情報取得手段は、予め感情種類とその感情レベルとを関連付けた感情辞書を参照して、前記返信メッセージの単語毎に感情種類とその感情レベルとを取得し、当該取得した返信メッセージの各感情情報のうち、最大の感情レベルを有する感情情報を返信メッセージ感情情報として取得することを特徴とする。
また、請求項10に記載の発明は、他の通信機器から受信した電子メッセージ情報を受信メッセージとして記憶するメッセージ記憶手段と、前記受信メッセージを読み出して、前記受信メッセージの文書を単語毎に区切る受信メッセージ形態素解析手段とを備え、前記電子メッセージ情報に前記受信メッセージ感情情報が関連付けられていない場合には、前記受信メッセージ感情情報取得手段は、予め前記単語毎に感情情報を関連付けた感情辞書を参照して、前記受信メッセージの区切られた単語毎に感情情報を取得し、その感情情報に基づいて受信メッセージ感情情報を取得することを特徴とする。
また、請求項11に記載の発明は、前記返信メッセージ感情情報取得手段は、前記返信メッセージ感情情報として、文章毎に返信メッセージ文章毎感情情報を取得し、前記感情付返信メッセージ生成手段は、前記受信メッセージ感情情報及び前記返信メッセージ文章毎感情情報に基づいて送信文章感情情報を決定し、前記返信メッセージの各文章と前記送信文章感情情報とを関連付けた文章毎感情付返信メッセージを生成することを特徴とする。
また、請求項12に記載の発明は、前記感情付返信メッセージ生成手段は、前記受信した電子メッセージ情報がCC受信者(Carbon Copy受信者)宛又はBCC受信者(Blind Carbon Copy受信者)宛の電子メールである場合には、前記受信メッセージ感情情報を前記送信感情情報として決定し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成し、前記受信した電子メッセージ情報がCC受信者宛又はBCC受信者宛の電子メールでない場合には、前記受信メッセージ感情情報又は前記返信メッセージ感情情報に基づいて前記送信感情情報を決定し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成することを特徴とする。
また、請求項13に記載の発明は、前記電子メッセージ情報を電子メールとし、前記返信メッセージを、前記電子メールに対応する返信メールとしたことを特徴とする。
また、請求項14に記載の発明は、電子メッセージ情報に関連付けられている感情情報を取得する受信メッセージ感情情報取得手段と、返信メッセージを入力する返信メッセージ入力手段と、文書を単語毎に区切る形態素解析手段と、前記返信メッセージの感情情報を取得する返信メッセージ感情情報取得手段と、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する感情付返信メッセージ生成手段とを備える感情付加装置を用いた感情付加方法であって、前記受信メッセージ感情情報取得手段が他の通信機器から受信した電子メッセージ情報に関連付けられている受信メッセージ感情情報を取得するステップと、前記返信メッセージ入力手段が受信した電子メッセージ情報に対応する返信メッセージを入力するステップと、前記形態素解析手段が前記返信メッセージの文書を単語毎に区切るステップと、前記返信メッセージ感情情報取得手段が予め前記単語毎に感情情報を関連付けた感情辞書を参照して前記返信メッセージの区切られた単語毎に感情情報を取得し、その感情情報に基づいて返信メッセージ感情情報を取得するステップと、前記感情付返信メッセージ生成手段が前記受信メッセージ感情情報又は前記返信メッセージ感情情報に基づいて送信感情情報を決定し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成するステップとを含むことを特徴とする。
また、請求項15に記載の発明は、電子メッセージ情報に関連付けられている感情情報を取得する受信メッセージ感情情報取得手段と、返信メッセージを入力する返信メッセージ入力手段と、文書を単語毎に区切る形態素解析手段と、前記返信メッセージの感情情報を取得する返信メッセージ感情情報取得手段と、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する感情付返信メッセージ生成手段と、前記受信メッセージ感情情報取得手段、前記返信メッセージ入力手段、前記形態素解析手段、前記返信メッセージ感情情報取得手段、及び前記感情付返信メッセージ生成手段を制御することが可能な情報処理手段とを備える感情付加装置の情報処理手段にて実行される感情付加プログラムであって、前記情報処理手段が、前記受信メッセージ感情情報取得手段に他の通信機器から受信した電子メッセージ情報に関連付けられている受信メッセージ感情情報を取得する機能と、前記返信メッセージ入力手段から受信した電子メッセージ情報に対応する返信メッセージを入力する機能と、前記形態素解析手段に前記返信メッセージの文書を単語毎に区切る機能と、前記返信メッセージ感情情報取得手段に、予め前記単語毎に感情情報を関連付けた感情辞書を参照して前記返信メッセージの区切られた単語毎に感情情報を取得し、その感情情報に基づいて返信メッセージ感情情報を取得する機能と、前記感情付返信メッセージ生成手段に前記受信メッセージ感情情報又は前記返信メッセージ感情情報に基づいて送信感情情報を決定し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する機能とを実現させることを特徴とする。
請求項1の発明によれば、他の通信機器から受信した電子メッセージ情報に関連付けられている受信メッセージ感情情報を取得し、受信した電子メッセージ情報に対応する返信メッセージを入力すると、返信メッセージの文書を形態素解析手段が単語毎に区切り、区切られた単語毎の感情情報に基づいて返信メッセージ感情情報を取得し、受信メッセージ感情情報又は返信メッセージ感情情報に基づいて送信感情情報を決定し、返信メッセージと送信感情情報とを関連付けた感情付返信メッセージを生成するようにしたので、この感情付返信メッセージを受信した相手方の端末装置では、その返信メッセージに関連付けられている感情情報を用いて、自己が送信した電子メッセージ情報の文章、又はその返信メッセージの内容に対応した感情で読み上げることが可能となる。
また、請求項2の発明によれば、第1感情モードに設定されている場合には、受信メッセージ感情情報と送信感情情報とを関連付けた第1感情情報記憶手段を参照して、受信メッセージ感情情報と関連する送信感情情報を添付した感情付返信メッセージを生成するようにしたので、相手から受信したメッセージの文章の感情を優先的に参酌した感情情報で自動再生することが可能な感情情報付きの返信メッセージを送信することができる。
また、請求項3の発明によれば、第1感情モードの同調モードに設定されている場合には、同調モード用感情情報記憶手段を参照して、受信メッセージ感情情報と関連する送信感情情報を添付した感情付返信メッセージを生成するうにしたので、相手の電子メッセージ情報の感情に同調させた感情情報で読み上げることが可能な感情情報付きの返信メッセージを自動で生成して送信することができる。
また、請求項4の発明によれば、第1感情モードの温和モードに設定されている場合には、温和モード用感情情報記憶手段を参照して、受信メッセージ感情情報と関連する送信感情情報を添付した感情付返信メッセージを生成するようにしたので、相手から受信したメッセージの文章に表現されている感情を和らげた感情で読み上げることが可能な感情情報付きの返信メッセージを自動で生成して送信することができる。
また、請求項5の発明によれば、第2感情モードに設定されている場合には、返信メッセージ感情情報を添付した感情付返信メッセージを生成するようにしたので、返信メッセージの内容を優先した感情で読み上げることが可能な感情情報付きの返信メッセージを自動で生成して送信することができる。
また、請求項6の発明によれば、第3感情モードに設定されている場合には、受信メッセージ感情情報と返信メッセージ感情情報と送信感情情報とを関連付けた第3感情情報記憶手段を参照して、受信メッセージ感情情報及び返信メッセージ感情情報と関連する送信感情情報を添付した感情付返信メッセージを生成するようにしたので、相手から受信したメッセージの文章及び返信メッセージの文章に表現されている感情を参酌して、双方の感情を反映した感情情報で表現された感情情報付きの返信メッセージを自動で生成して送信することができる。
また、請求項7の発明によれば、第3感情モードの感情レベル優先モード設定手段に設定されている場合には、受信メッセージ感情情報及び返信メッセージ感情情報のうち感情レベルの高い感情情報を添付した感情付返信メッセージを生成するようにしたので、強い感情表現を優先した感情情報付きの返信メッセージを自動で生成して送信することができる。
また、請求項8の発明によれば、第3感情モードの感情関係モードに設定されている場合には、受信メッセージ感情情報と返信メッセージ感情情報と送信感情情報とを関連付けた感情関係記憶手段を参照して、受信メッセージ感情情報及び返信メッセージ感情情報と所定の関係となる送信感情情報を添付した感情付返信メッセージを生成するようにしたので、相手から受信したメッセージの文章及び返信メッセージの文章に表現されている感情を参酌して、双方の感情を反映した感情情報付きの返信メッセージを自動で生成して送信することができる。
また、請求項9の発明によれば、返信メッセージ感情情報取得手段が感情辞書を参照して返信メッセージの単語毎に感情種類とその感情レベルとを取得し、当該取得した各感情情報のうち、最大の感情レベルを有する感情情報付きの感情付返信メッセージを生成するようにした。この感情付返信メッセージを受信した相手方の端末装置では、その返信メッセージに関連付けられている感情情報を用いて、自己が送信した電子メッセージ情報の文章、又はその返信メッセージの内容に対応した感情で表現された返信メッセージを自動で再生することができる。
また、請求項10の発明によれば、他の通信機器から受信した受信メッセージの区切られた単語毎に感情情報を取得し、その感情情報に基づいて受信メッセージ感情情報を取得するようにしたので、受信した電子メッセージ情報に受信メッセージ感情情報が関連付けられていない場合であっても、受信した電子メッセージ情報の内容に対応した感情情報を自動で関連付けた返信メッセージを生成して返信することができる。
また、請求項11の発明によれば、返信メッセージの文章毎に返信メッセージ文章毎感情情報を取得して送信文章感情情報を決定し、返信メッセージの各文章と送信文章感情情報とを関連付けた文章毎感情付返信メッセージを生成するようにしたので、電子メッセージ情報の文章毎に、喜び、怒り、悲しさ、楽しさ、又は普通等の感情で表現された感情情報付きの返信メッセージを自動で再生することができる。
また、請求項12の発明によれば、受信した電子メッセージ情報がCC受信者(Carbon Copy受信者)宛又はBCC受信者(Blind Carbon Copy受信者)宛の電子メールである場合には、受信メッセージ感情情報を添付した感情付返信メッセージを生成するようにした。また、受信した電子メッセージ情報がCC受信者宛又はBCC受信者宛の電子メールでない場合には、受信メッセージ感情情報又は返信メッセージ感情情報に基づいて決定した送信感情情報を添付した感情付返信メッセージを生成するようにした。したがって、当事者以外の者が返信する返信メッセージの感情情報を、受信メッセージの感情情報と合わせることができる。この感情付返信メッセージを受信した相手方の端末装置では、自身が送信した相手によって、その電子メッセージ情報に応じた感情情報で表現された返信メッセージを自動で再生することができる。
また、請求項13の発明によれば、前記電子メッセージ情報を電子メールとし、前記返信メッセージを、前記電子メールに対応する返信メールとしたので、他の通信機器から受信した電子メールに関連付けられている受信メッセージ感情情報を取得し、受信した電子メールに対応する返信メールを入力すると、返信メールの文書を形態素解析手段が単語毎に区切り、区切られた単語毎の感情情報に基づいて返信メッセージ感情情報を取得し、受信メッセージ感情情報又は返信メッセージ感情情報に基づいて送信感情情報を決定し、返信メールと送信感情情報とを関連付けた感情付返信メッセージを生成するようにしたので、この感情付返信メッセージ(感情付きの返信メール。)を受信した相手方の端末装置では、その返信メールに関連付けられている感情情報を用いて、自己が送信した電子メールの文章、又はその返信メールの内容に対応した感情で読み上げることが可能となる。
また、請求項14の発明によれば、他の通信機器から受信した電子メッセージ情報に関連付けられている受信メッセージ感情情報を取得し、受信した電子メッセージ情報に対応する返信メッセージを入力すると、返信メッセージの文書を形態素解析手段が単語毎に区切り、区切られた単語毎の感情情報に基づいて返信メッセージ感情情報を取得し、受信メッセージ感情情報又は返信メッセージ感情情報に基づいて送信感情情報を決定し、返信メッセージと送信感情情報とを関連付けた感情付返信メッセージを生成するようにしたので、この感情付返信メッセージを受信した相手方の端末装置では、その返信メッセージに関連付けられている感情情報を用いて、自己が送信した電子メッセージ情報の文章、又はその返信メッセージの内容に対応した感情で読み上げることが可能となる。
また、請求項15の発明によれば、他の通信機器から受信した電子メッセージ情報に関連付けられている受信メッセージ感情情報を取得し、受信した電子メッセージ情報に対応する返信メッセージを入力すると、返信メッセージの文書を形態素解析手段が単語毎に区切り、区切られた単語毎の感情情報に基づいて返信メッセージ感情情報を取得し、受信メッセージ感情情報又は返信メッセージ感情情報に基づいて送信感情情報を決定し、返信メッセージと送信感情情報とを関連付けた感情付返信メッセージを生成するようにしたので、この感情付返信メッセージを受信した相手方の端末装置では、その返信メッセージに関連付けられている感情情報を用いて、自己が送信した電子メッセージ情報の文章、又はその返信メッセージの内容に対応した感情で読み上げることが可能となる。
以下、本発明を実施するための最良の形態を、図面に基づき説明する。
先ず、図1を参照して、本発明の実施の形態に係る感情付加装置900の信号処理系ブロックの構成と、それぞれのブロックの機能について説明する。
感情付加装置900は、例えばインターネット10を経由してショートメッセージ、チャット、ブログ、又は電子メール等の電子メッセージ情報を受信し、その受信した電子メッセージ情報に関連付けられている感情情報に応じた返信メッセージの感情情報を自動で生成して返信メッセージに関連付ける機能を備える、携帯電話やコンピュータ装置等の通信機器である。
また、感情付加装置900は、感情情報が関連付けられていない通常の電子メッセージ情報を受信した場合には、受信した電子メッセージ情報の内容に応じた感情情報を自動で生成して関連付ける機能を備えている。そして、喜び、怒り、悲しさ、楽しさ、又は普通等の感情情報が関連付けられている電子メッセージ情報に対して音声合成を行って、感情表現された合成音声を出力する機能を備えている。なお、受信した電子メッセージ情報のことを、以降受信メッセージと呼び、受信メッセージには受信した電子メール(以降受信メールと呼ぶ。)を含むものとする。また、返信メッセージには、返信する電子メール(以降返信メールと呼ぶ。)を含むものとする。
感情付加装置900は、通信手段として、無線LANや携帯電話等のキャリアと電波の送受信を行うためのアンテナ960と、他の通信機器と電子メッセージ情報や各種情報の送受信を行うことが可能な無線送受信手段961と、インターネット10等の有線の通信網を介して他の通信機器と電子メッセージ情報や各種情報の送受信を行うことが可能な有線送受信手段962とを備えている。
また、感情付加装置900は、キーボードやマウス、トラックボール、タブレット等から構成される入力手段970と、入力手段970が利用者から入力した文字や各種指示情報をバス999を介してCPU等から構成される情報処理手段980に伝達する入力インターフェース971と、文字や画像を利用者に対して表示する表示手段972と、情報処理手段980からバス999を介して表示情報を取得して表示手段に出力する表示インターフェース973とを備えている。
また、感情付加装置900は、各種文章、感情辞書22、音響辞書24、及び各種処理プログラムを記憶するとともに情報処理手段980の作業領域として用いることが可能なハードディスク又は半導体メモリ等の記憶手段984と、電子メッセージ情報の文章や各種処理プログラム、定数その他の情報を一時記憶するとともに情報処理手段980の作業領域として用いることが可能なRAM981と、情報処理手段980が実行するBIOS(basic input output system)等のプログラムや定数、その他の情報を記憶するROM983と、時間を計測するタイマ990とを備えている。
また、感情付加装置900は、文章を読み上げる際に合成した音声情報を情報処理手段980から取得して音声信号に変換し、増幅して出力する出力音声処理手段966と、音声信号を空気の振動に変換して音を発声するスピーカ等の音声出力手段965とを備えている。
また、感情付加装置900は、無線又は有線の通信処理、入力手段970を介して入力された入力情報の処理、表示手段972に各種情報を表示するための表示処理、記憶手段984、RAM981、又はROM983等に対する情報の書き込み又は読み出し処理、記憶手段984又は他の通信機器に対して電子メッセージ情報を送受信する処理、受信メッセージに関連付けられている受信メッセージ感情情報を入力する処理、受信メッセージの内容から感情情報を取得して受信メッセージ感情情報を取得する処理、返信メッセージを入力する処理、文章を区切る処理、文章全体又は特定単位毎に返信メッセージ感情情報を取得する処理、返信メッセージと送信感情情報とを関連付けた感情付返信メッセージを生成する処理、各感情モードの設定処理、設定された各感情モードに応じて送信感情情報を決定する処理、音韻情報を発音単位毎に関連付けて音韻付文章を生成する処理、発音単位毎に音声信号を生成する処理、又はその他の処理を処理プログラムに基づいて実行する情報処理手段980を備えている。
感情付加装置900の情報処理手段980とその周辺の回路は、バス999で接続されており、相互に高速な情報の伝達を行うことが可能となっている。そして情報処理手段980にて動作する処理プログラムの指示に基づいて、情報処理手段980は周辺の回路を制御することが可能となっている。なお、情報処理手段980にて実行される処理プログラムは、記録媒体や通信によって提供することが可能である。また、各周辺の回路をASIC等で構成することも可能である。
以下に、情報処理手段980がプログラムに基づいて実現することが可能な各機能について説明する。
[形態素解析手段28について]
形態素解析手段28は、受信した電子メッセージ情報や返信メッセージ等の文章を区切る機能を備えている。形態素解析手段28は、感情辞書22の辞書見出し(図13、図14参照)単位に文章を区切り、以下、形態素解析手段28によって区分されたものを単語とよぶ。この単語が請求項の単語に対応する。形態素解析手段28の機能は、情報処理手段980が実行するプログラムを用いて実現してもよいし、専用の処理回路を用いて実現してもよい。
[受信メッセージ感情情報取得手段26について]
受信メッセージ感情情報取得手段26は、利用者による指示に基づいて、記憶手段984等(メッセージ記憶手段20の機能を含む。)に記憶されている受信メッセージ、又はその受信メッセージに関連付けられている喜び、怒り、悲しさ、楽しさ、若しくは普通等の受信メッセージ感情情報を入力する機能を備えている。電子メッセージ情報の受信又は受信メッセージ感情情報の受信は、無線送受信手段961又は有線送受信手段962を介して他の通信機器のメッセージ記憶手段20から入力するようにしてもよい。
また、受信メッセージ感情情報取得手段26は、受信メッセージに受信メッセージ感情情報が関連付けられていない場合には、予め単語(辞書見出し)毎に、喜び、楽しさ、悲しさ、怒り、普通、又は感情強調等の感情情報を関連付けた感情辞書22を参照して、受信メッセージの単語毎に感情情報を取得し、その感情情報に基づいて受信メッセージ感情情報を取得する機能を備えている。受信メッセージ感情情報取得手段26の機能は、情報処理手段980が実行するプログラムを用いて実現してもよいし、専用の処理回路を用いて実現してもよい。
なお、上記のメッセージ記憶手段20は、インターネット10や携帯電話等のキャリアから無線送受信手段961又は有線送受信手段962等の通信手段を介して受信した電子メッセージ情報を受信メッセージとして記憶する機能を備えている。
[返信メッセージ入力手段27について]
返信メッセージ入力手段27は、受信した電子メッセージ情報に対応する返信メッセージを、入力インターフェース971、無線送受信手段961、又は有線送受信手段962等のインターフェースを介して入力する機能を備えている。利用者がキーボード等の入力手段を操作して返信メッセージを入力した場合には、情報処理手段980が入力インターフェース971を介して返信メッセージを入力する。
また、受信メッセージに対応する返信メッセージを、無線送受信手段961又は有線送受信手段962等のインターフェースを介して他の通信機器から入力することも可能である。返信メッセージ入力手段27の機能は、情報処理手段980が実行するプログラムを用いて実現してもよいし、専用の処理回路を用いて実現してもよい。
[返信メッセージ感情情報取得手段30について]
返信メッセージ感情情報取得手段30は、予め単語(辞書見出し)毎に、喜び、怒り、悲しさ、楽しさ、又は普通等の感情情報を関連付けた感情辞書22を参照して、形態素解析手段28によって区切られた返信メッセージの単語毎に感情情報を取得し、その感情情報に基づいて返信メッセージ全体の返信メッセージ感情情報を取得する機能を備えている。
また、返信メッセージ感情情報取得手段30は、感情辞書22を参照して、返信メッセージの単語毎に感情種類とその感情レベルとを取得し、当該取得した返信メッセージの各感情情報のうち、最大の感情レベルを有する感情情報を、返信メッセージ感情情報として取得する機能を備えている。
また、返信メッセージ感情情報取得手段30は、電子メッセージ情報における文章毎の感情情報を、返信メッセージ文章毎感情情報として取得する機能を備えている。
また、返信メッセージ感情情報取得手段30は、文章中の自立語、文節、鉤括弧内、句読点間等の文中の特定単位毎に感情情報を付与する機能を備えている。
また、返信メッセージ感情情報取得手段30は、感情情報として感情種類とその感情レベルとを関連付けた感情辞書22を参照して、形態素解析手段28によって区切られた文章の単語(辞書見出し)毎に感情種類とその感情レベルとを取得し、当該取得した各感情種類のうち最大の感情レベルを有する感情情報を返信メッセージ感情情報として取得する機能を備えている。
また、返信メッセージ感情情報取得手段30は、形態素解析手段28によって区切られた単語毎に取得した感情情報により、各感情種類毎に感情レベルの数値を加算して得た各感情種類のうち、感情レベルの数値が最大となる感情種類とその加算した感情レベルを返信メッセージ感情情報として取得する機能を備えている。
また、返信メッセージ感情情報取得手段30は、予め単語(辞書見出し)と感情強調情報とを関連付けた感情辞書22を参照して、形態素解析手段28によって区切られた文章の単語毎に感情強調情報を取得し、当該取得した感情強調情報を感情レベルに加算又は乗算した感情情報を、返信メッセージ感情情報として取得する機能を備えている。
また、返信メッセージ感情情報取得手段30は、自立語の単語(辞書見出し)と感情情報、及び、付属語の単語(辞書見出し)と感情情報とを関連付けた感情辞書22を参照して、形態素解析手段28によって区切られた文章の単語(辞書見出し)毎に感情情報を取得し、当該取得した感情情報をもとに文章中に異なる感情情報がある場合には、付属語の感情を優先した感情情報を返信メッセージ感情情報として取得する機能を備えている。
また、返信メッセージ感情情報取得手段30は、文章中に出現する各感情種類毎に出現頻度を加算して、加算した各感情種類のうち出現頻度が最大となる感情種類を返信メッセージ感情情報として取得する機能を備えている。
また、返信メッセージ感情情報取得手段30は、取得した各感情情報の中から、最大の感情レベル、又は、最大頻度となる一つの感情種類を特定することができない場合には、出現順が後ろの感情種類を返信メッセージ感情情報として取得する機能を備えている。
また、返信メッセージ感情情報取得手段30は、取得した各感情情報の中から、最大の感情レベル、又は、最大頻度となる一つの感情種類を特定することができない場合には、取得した複数の感情情報のうち優先順位の高い感情種類を返信メッセージ感情情報として取得する機能を備えている。
また、返信メッセージ感情情報取得手段30は、取得した各感情情報の中から、最大の感情レベル、又は、最大頻度となる一つの感情種類を特定することができない場合には、文章中の自立語、文節、句読点間等の単位で区切り、別々の感情種類を付与する機能を備えている。
また、返信メッセージ感情情報取得手段30は、取得した各感情情報の中から、最大の感情レベル、又は、最大頻度となる一つの感情種類を特定することができない場合であって、当該文章の前に前文章が存在する場合には、その前文章の感情情報を当該文章の感情情報として取得する機能を備えている。
これら返信メッセージ感情情報取得手段30の各機能は、情報処理手段980が実行するプログラムを用いて実現してもよいし、専用の処理回路を用いて実現してもよい。
[感情付返信メッセージ生成手段32について]
感情付返信メッセージ生成手段32は、受信メッセージ感情情報又は返信メッセージ感情情報に基づいて送信感情情報を決定し、返信メッセージと送信感情情報とを関連付けた感情付返信メッセージを生成する機能を備えている。感情付返信メッセージ生成手段32の機能は、情報処理手段980が実行するプログラムを用いて実現してもよいし、専用の処理回路を用いて実現してもよい。
また、感情付返信メッセージ生成手段32は、同調モード設定手段によって同調モードに設定されている場合には、受信メッセージ感情情報と送信感情情報とを関連付けた同調モード用感情情報記憶手段を参照して、取得した受信メッセージ感情情報と関連する送信感情情報を取得し、返信メッセージと送信感情情報とを関連付けた感情付返信メッセージを生成する機能を備えている。
また、感情付返信メッセージ生成手段32は、温和モード設定手段によって温和モードに設定されている場合には、受信メッセージ感情情報と送信感情情報とを関連付けた温和モード用感情情報記憶手段を参照して、取得した受信メッセージ感情情報と関連する送信感情情報を取得し、返信メッセージと送信感情情報とを関連付けた感情付返信メッセージを生成する機能を備えている。
また、感情付返信メッセージ生成手段32は、第1設定手段によって第1感情モードに設定されている場合には、受信メッセージ感情情報と送信感情情報とを関連付けた第1感情情報記憶手段を参照して、取得した受信メッセージ感情情報と関連する送信感情情報を取得し、返信メッセージと送信感情情報とを関連付けた感情付返信メッセージを生成する機能を備えている。前述の第1感情情報記憶手段は、上述の同調モード用感情情報記憶手段又は温和モード用感情情報記憶手段等の感情情報記憶手段である。
また、感情付返信メッセージ生成手段32は、第2設定手段によって第2感情モードに設定されている場合には、返信メッセージ感情情報を送信感情情報として決定し、返信メッセージと送信感情情報とを関連付けた感情付返信メッセージを生成する機能を備えている。
また、感情付返信メッセージ生成手段32は、感情レベル優先モードに設定されている場合には、受信メッセージ感情情報及び返信メッセージ感情情報の内、感情レベルの高い感情情報を送信感情情報として取得し、返信メッセージと送信感情情報とを関連付けた感情付返信メッセージを生成する機能を備えている。
また、感情付返信メッセージ生成手段32は、感情関係モード設定手段によって感情関係モードに設定されている場合には、受信メッセージ感情情報と返信メッセージ感情情報と送信感情情報とを関連付けた感情関係記憶手段を参照して、受信メッセージ感情情報及び返信メッセージ感情情報と所定の関係を有する送信感情情報を取得し、返信メッセージと送信感情情報とを関連付けた感情付返信メッセージを生成する機能を備えている。
また、感情付返信メッセージ生成手段32は、第3設定手段によって第3感情モードに設定されている場合には、受信メッセージ感情情報と返信メッセージ感情情報と送信感情情報とを関連付けた第3感情情報記憶手段を参照して、取得した受信メッセージ感情情報及び返信メッセージ感情情報と関連する送信感情情報を取得し、返信メッセージと送信感情情報とを関連付けた感情付返信メッセージを生成する機能を備えている。前述の第3感情情報記憶手段は、上述の感情関係記憶手段等の感情情報記憶手段である。
また、感情付返信メッセージ生成手段32は、受信した電子メッセージ情報がCC受信者(Carbon Copy受信者)宛又はBCC受信者(Blind Carbon Copy受信者)宛の電子メッセージ情報である場合には、受信メッセージ感情情報を送信感情情報として決定し、返信メッセージと送信感情情報とを関連付けた感情付返信メッセージを生成する機能を備えている。また、受信した電子メッセージ情報がCC受信者宛又はBCC受信者宛の電子メッセージ情報でない場合には、受信メッセージ感情情報又は返信メッセージ感情情報に基づいて送信感情情報を決定し、返信メッセージと送信感情情報とを関連付けた感情付返信メッセージを生成する機能を備えている。
また、感情付返信メッセージ生成手段32は、受信メッセージ感情情報及び返信メッセージ文章毎感情情報に基づいて送信文章感情情報を決定し、返信メッセージの各文章と送信文章感情情報とを関連付けた文章毎感情付返信メッセージを生成する機能を備えている。
[第1設定手段について]
第1設定手段は、送信感情情報を、受信メッセージ感情情報に応じた感情情報とする第1感情モードに設定する機能を備えている。第1設定手段の機能は、利用者から第1感情モードの設定情報を入力するキーボード等の入力手段970やタッチパネルの機能を有する表示手段972を用いて実現するようにしてもよいし、情報処理手段980が第1感情モードの設定を実現するようにしてもよい。
[同調モード設定手段について]
同調モード設定手段は、送信感情情報を、受信メッセージ感情情報と同調した感情情報とするモードに設定する機能を備えている。同調モード設定手段の機能は、利用者から同調モードの設定情報を入力するキーボード等の入力手段970やタッチパネルの機能を有する表示手段972を用いて実現するようにしてもよいし、情報処理手段980が同調モードの設定を実現するようにしてもよい。
[温和モード設定手段について]
温和モード設定手段は、送信感情情報を、受信メッセージ感情情報よりも和らげた感情情報とする温和モードに設定する機能を備えている。温和モード設定手段の機能は、利用者から温和モードの設定情報を入力するキーボード等の入力手段970やタッチパネルの機能を有する表示手段972を用いて実現するようにしてもよいし、情報処理手段980が温和モードの設定を実現するようにしてもよい。
[第2設定手段について]
第2設定手段は、返信メッセージ感情情報取得手段30が取得した返信メッセージ感情情報を送信感情情報とする第2感情モードに設定する機能を備えている。第2設定手段の機能は、利用者から第2感情モードの設定情報を入力するキーボード等の入力手段970やタッチパネルの機能を有する表示手段972を用いて実現するようにしてもよいし、情報処理手段980が第2感情モードの設定を実現するようにしてもよい。
[第3設定手段について]
第3設定手段は、送信感情情報を、受信メッセージ感情情報及び返信メッセージ感情情報に応じた感情情報とする第3感情モードに設定する機能を備えている。第3設定手段の機能は、利用者から第3感情モードの設定情報を入力するキーボード等の入力手段970やタッチパネルの機能を有する表示手段972を用いて実現するようにしてもよいし、情報処理手段980が第3感情モードの設定を実現するようにしてもよい。
[感情レベル優先モード設定手段について]
感情レベル優先モード設定手段は、受信メッセージ感情情報及び返信メッセージ感情情報の内、感情レベルの高い感情情報を送信感情情報とする感情レベル優先モードに設定する機能を備えている。感情レベル優先モード設定手段の機能は、利用者から感情レベル優先モードの設定情報を入力するキーボード等の入力手段970やタッチパネルの機能を有する表示手段972を用いて実現するようにしてもよいし、情報処理手段980が感情レベル優先モードの設定を実現するようにしてもよい。
[感情関係モード設定手段について]
感情関係モード設定手段は、受信メッセージ感情情報と返信メッセージ感情情報との所定の関係に対応する感情情報を送信感情情報とする感情関係モードに設定する機能を備えている。感情関係モード設定手段の機能は、利用者から感情関係モードの設定情報を入力するキーボード等の入力手段970やタッチパネルの機能を有する表示手段972を用いて実現するようにしてもよいし、情報処理手段980が感情関係モードの設定を実現するようにしてもよい。
[受信メッセージ形態素解析手段について]
受信メッセージ形態素解析手段は、メッセージ記憶手段20から受信メッセージを読み出して、形態素解析手段28と同様に、受信メッセージの文書を感情辞書22の辞書見出し(図13、図14参照)単位(単語)毎に区切る機能を備えている。この区切られた単語毎に感情情報を取得することによって、受信メッセージに受信メッセージ感情情報が関連付けられていない場合であっても、取得した感情情報に基づいて受信メッセージ感情情報を取得することが可能となる。
次に、フローチャートを用いて感情付加装置900が実行する処理について説明する。
図2は、受信した電子メール(電子メッセージ情報の一形態を示す。)中の単語に感情情報を関連付け、その感情情報に基づいて表現された音声を自動で発生させる処理のフローチャートである。以降、電子メッセージ情報の一形態として、受信した電子メールとその返信メールを用いた実施例を用いて説明する。
先ず、ステップS104「受信メールの読み上げ指示」(以降、S104のように省略して記載する。)にて利用者が、感情付加装置900の入力手段970等を操作して、自動で読み上げる受信メール(受信メッセージの一形態を示す。)を指示する情報を入力する。この入力は、利用者が直接感情付加装置900の入力手段970を操作して入力してもよいし、有線送受信手段962若しくは無線送受信手段961等を介して他の通信機器から受信メールの読み上げ指示を入力するようにしてもよい。
利用者等から、自動で読み上げる受信メールが指示されると、その指示はバス999を介して情報処理手段980が取得する。すると、情報処理手段980(受信メッセージ感情情報取得手段26の機能を含む。)はS204「読み上げ指示された受信メールを入力」にて、指示された一連の文章をメッセージ記憶手段20に入力する処理を行う。メッセージ記憶手段20は、記憶手段984内部に設けても良いし、他の通信機器機やサーバ等に設けてもよい。S204にて、指示された受信メールの入力処理が終了すると、情報処理手段980が実行する処理はS206「受信メールに感情情報あり?」の判断に進む。
S206にて情報処理手段980(受信メッセージ感情情報取得手段26の機能を含む。)は、利用者からの指示に基づいて入力した受信メールに、喜び、怒り、悲しさ、楽しさ、又は普通等の受信メッセージ感情情報が関連付けられているか否かの判断を行う。もし、受信メールに受信メッセージ感情情報が関連付けられていると判断した場合(S206;Yes)には、S214「音韻付文章の生成」の処理に分岐し、もし受信メールに受信メッセージ感情情報が関連付けられていないと判断した場合(S206;No)には、S208「メールの感情情報を取得」の処理に進む。
S208にて情報処理手段980(受信メッセージ感情情報取得手段26の機能を含む。)は、受信メールに受信メッセージ感情情報が関連付けられていないことを受けて、予め単語毎に、喜び、楽しさ、悲しさ、怒り、普通、又は感情強調等の感情情報を関連付けた感情辞書22を参照して、受信メッセージ形態素解析手段によって区切られた受信メールの単語毎に感情情報を取得し、その感情情報に基づいて受信メッセージ感情情報を取得する処理を行う。S208の処理の詳細については、図3に示すフローチャートを用いて別途説明することとする。
例えば、S204にて「今日ちょっといいことあってさ〜(´∀`)」という受信メール(実施例1とする。)を入力したとすると、S208にて「今日(副詞)/ちょっと(副詞)/いいこと(名詞[喜1])/ある(動詞)/た(助動詞)/さ(助詞)/(´∀`)(絵文字[喜1])」という感情情報付きの文章を取得する。そして、各単語毎の感情情報のうち「いいこと」という名詞の感情種類[喜]とその感情レベル[1]、及び、「(´∀`)」という絵文字の感情種類[喜]とその感情レベル[1]に基づいて、例えば[喜1]という受信メッセージ感情情報を取得する処理を行う。
S208の処理が終了すると、次のS214の処理に進む。
S214にて情報処理手段980は、受信メールの単語の読み、アクセント、品詞及び受信メッセージ感情情報を用い、音響辞書24を参照して、発音単位毎に音韻情報を関連付けた音韻付文章の生成を行う。音響辞書24に対しては、音素、音節、モーラ、形態素、単語、又はアクセント句等の発音単位毎に読みを指定し、音声を発生する際の音声の音程若しくは母音ホルマント、音声の強勢、発声速度、発声強度、又は抑揚等の音韻情報を取得して、音声を発声させるための音韻付文章を生成する処理を行う。音韻付文章の生成が終了すると、情報処理手段980が実行する処理は次のS216「音声情報の生成(音声発声処理)」に進む。
S216にて情報処理手段980は、S214にて生成した音韻付文章に基づいて、音声波形を生成するための音声情報を生成する。そして、その音声情報を出力音声処理手段966に出力して、スピーカ等の音声出力手段から感情表現付の音声を発声させる処理を行う。
上記実施例1の文章の例では、「キョウ|チョット|イイコト/アッ/テ/サァ」という読みで、感情を付加した音声を発声する。感情表現を含む音声は、S106「音声受聴」にて利用者が受聴する。音声発声処理が終了すると、S222「終了」の処理に進み、受信メールの読み上げ処理を終了する。
音声情報の生成は、音声の音程若しくは母音ホルマント、音声の強勢、発声速度、発声強度、又は抑揚等の音韻情報に基づいて、発声する音声の周波数の組み合わせ、音量、及び発音単位の間隔等を調節した音声情報を生成する。音声情報又は音声信号の生成は、全て電子的に合成してもよいし、声優が感情表現を踏まえて発した音声を発音単位毎に分解したものを合成して生成するようにしてもよい。
また、音声情報を生成する際に、感情情報が関連付けられている単語について、そのと感情種類や感情レベル等に応じて、ゆっくり読み上げたり、ピッチや音量を上下させたり声質を変えて読み上げるための音韻情報を音響辞書から取得して、音声情報を生成するようにしてもよい。
次に、S208「メールの感情情報を取得」の詳細な処理について、図3のフローチャートを用いて説明する。
図2のS208に処理が進むと、情報処理手段980(受信メッセージ感情情報取得手段26の機能を含む。)が実行する処理はS306「一文解析」の処理に進む。
S306にて情報処理手段980は、入力した電子メッセージ情報の文章について解析を行って一文毎に区切る処理を行う。文章の区切りは、一文毎に限定するものではなく、段落毎に区切ってもよいし文節毎、鍵括弧毎、句読点毎に区切るようにしてもよい。一文解析処理が終了すると、情報処理手段980が実行する処理は、次のS308「文章を単語毎に区切る」に進む。
S308にて情報処理手段980(受信メッセージ形態素解析手段及び形態素解析手段28の機能を含む。)は、文章に対して分かち書き等の処理を行って、文章を単語毎に区切る処理を行う。文章を単語毎に区切る処理が終了すると、情報処理手段980が実行する処理は、次のS310「感情付与」の処理に進む。なお、文章を区切る実施例を図11(a)及び図11(b)に示し、別途説明することとする。
S310にて情報処理手段980は、区切った各単語を用いて感情辞書22を参照し、感情情報、読み、アクセント、又は品詞等の単語に関する情報を取得するテキスト解析処理を行う。
例えば、上記実施例1の文章「今日ちょっといいことあってさ〜(´∀`)」という受信メールについて感情情報を付与する処理を行うと、「今日(副詞)/ちょっと(副詞)/いいこと(名詞[喜1])/ある(動詞)/た(助動詞)/さ(助詞)/(´∀`)(絵文字[喜1])」という文章が生成される。感情が付与された文章の生成処理が終了すると、情報処理手段980が実行する処理は、次のS312「文章毎に感情情報を取得」に進む。
S312にて情報処理手段980(受信メッセージ感情情報取得手段26及び返信メッセージ感情情報取得手段30の機能を含む。)は、感情が付与された文章の各感情情報に基づいて受信メッセージ感情情報、返信メッセージ感情情報又は返信メッセージ文章毎感情情報を生成する処理を行う。
例えば、実施例1の「今日ちょっといいことあってさ〜(´∀`)」という文章の場合、「いいこと」という単語について[喜1]という感情情報が関連付けられており、「(´∀`)」という絵文字についても[喜1]の感情情報が関連付けられている。この文章を自動で読み上げる際に用いる感情情報を定める処理の代表的なものとして、
(1)文章中の各感情情報のうち、最大の感情レベルを有する感情種類とその感情レベルとを文章の感情情報として取得する処理
(2)文章中の各感情レベルを各感情情報毎に加算し、最大の感情レベルを有する感情種類と加算した感情レベルを文章の感情情報として取得する処理
(3)文章中で一番多く用いられている感情種類をその文章の感情情報として取得する処理
(4)文章中の付属語の感情情報を用いて文章の感情情報を取得する処理
(5)前の文章の感情情報を引き継ぐ処理
(6)文章中の各感情情報のうち、出現順が後ろの感情種類とその感情レベルとを文章の感情情報として取得する処理
(7)文章中の各感情情報のうち、前もって設定した優先順位を用い、優先順位の高い感情種類とその感情レベルとを文章の感情情報として取得する処理
等の処理を挙げることができる。
また、文章中の各感情情報の中から、最大の感情レベル、又は、最大頻度となる一つの感情種類を特定することができない場合には、以下の処理を用いて文章の感情情報を特定することができる。
(8)文章中に出現する感情情報のうち、出現順が後ろの感情種類を文章の感情情報とする処理
(9)文章中の各感情情報のうち優先順位の高い感情種類を文章の感情情報とする処理
(10)当該文章の前に前文章が存在する場合には、その前文章の感情情報を当該文章の感情情報とする処理
また、文章中の各感情情報の中から、最大の感情レベル又は最大頻度となる一つの感情種類を特定することができない場合には、文章中の単語、文節、句読点間等の単位で区切り、各単位毎に個別の感情種類を付与する処理を行うこともできる。
ここでは上記(1)の処理を用いて上記実施例1の文章の感情情報を取得する実施例について説明する。実施例1の文章中には、「いいこと」という名詞の感情情報[喜1]、及び、「(´∀`)」という絵文字の感情情報[喜1]が存在する。したがって、最大の感情レベルを有する感情は[喜]であり、その感情レベルは[1]であるので、文章の感情情報として[喜1]を取得することができる。そして、次のS314「文章に感情情報なし又は[普通]?」の判断に進む。なお、S312の処理の詳細については、図4に示すフローチャートを用いて別途説明することとする。
S314にて情報処理手段980は、前述のS312の処理にて一つの感情種類を特定することができたか、又は取得した文章の感情情報が[普通]の感情を表す情報であったか否かの判断を行っている。もし、[普通]」以外の感情情報を取得している場合には、処理はS316「メールの感情情報を取得」に進み、S312にて取得した感情情報を受信メッセージ感情情報、返信メッセージ感情情報又は返信メッセージ文章毎感情情報に設定する。そして、次のS318「戻る」に進み、元の処理ルーチンに戻る。
また、S314にて一つの感情種類を特定することができなかったか、又は取得した文章の感情情報が[普通]の感情を表す情報である場合には、情報処理手段980が実行する処理はS320「段落先頭の文章か?」の判断に進む。
S320にて情報処理手段980は、当該解析中の文章が、段落の先頭の文章であるか否かの判断を行っている。もし、当該解析を行っている文章が段落先頭の文章である場合には、S322「文章の感情情報を[普通]に設定」の処理に進み、当該文章の感情情報として[普通]を取得する処理を行って、S316に進む。
一方、S320にて、当該解析を行っている文章が段落先頭の文章でないと判断した場合には、S324「前文章と同一の感情情報に設定」の処理に進み、前文章の感情情報を当該文章の感情情報として取得する処理を行って、S316に進む。
以上のようにして、受信メッセージ感情情報に基づいた音声合成を自動で行って、感情表現を伴う合成音声を用いて受信メールを読み上げることができる。
次に、S312「文章毎に感情情報を取得」の詳細な処理について、図4のフローチャートを用いて説明する。図4に示すフローチャートは、上記(1)の、「文章中の各感情情報のうち、最大の感情レベルを有する感情種類とその感情レベルとを文章の感情情報として取得する処理」のフローチャートである。
図3のS312に処理が進むと、情報処理手段980(受信メッセージ感情情報取得手段26、返信メッセージ感情情報取得手段30の機能を含む。)が実行する処理はS702「テキスト解析された各単語に感情レベルが付いた単語があるかチェック」の処理に進む。
S702にて情報処理手段980は、入力した電子メッセージ情報の文章の各単語について感情情報を関連付ける処理を行った結果、文章中に感情レベルが関連付けられている単語があるか否かのチェックを行って、次のS704「各感情情報で最も高い感情レベルがいくつかチェック」の処理に進む。S704にて情報処理手段は、各感情情報で最も高い感情レベルを取得して、次のS706「最も高い感情レベルが付いている感情情報を取得」にて、最も高い感情レベルが付されている感情情報を当該文章の感情情報として取得する処理を行う。文章の感情情報の取得処理が終了すると、S708「戻る」に進み、元の処理ルーチンに戻る。
次に、受信メール(受信メッセージ)に対する返信メール(返信メッセージ)を入力し、その返信メール(返信メッセージ)に自動で感情情報を関連付ける感情付加処理について説明する。
図5は、受信した電子メールの感情情報又は返信メールの感情情報に対応した返信メール用の送信感情情報を自動で生成して返信メールに関連付けて送信する処理のフローチャートである。
図5に示す実施形態では、利用者が返信メールを作成する前にS402「返信メールの感情モード設定」にて、予め返信メールに関連付ける感情情報の様式を定めるための「感情モード」の設定を行う。利用者が返信メールの感情モードを設定する旨の要求を、入力手段970を介して感情付加装置900に指示すると、感情付加装置900はS412「返信メールの感情モード設定」にて、表示手段972に感情モード設定画面を表示して、利用者による感情モードの設定を待つ処理を行う。
感情モードを設定する際に、表示手段972に表示される表示画面を、図6に示す。利用者は、図6に示す感情モード設定画面を見ながら、返信メッセージ(返信メール)に関連付ける送信感情情報の様式を指示する。
図6に示す実施形態では、従来の電子メッセージ情報のように返信メッセージに、何も感情情報を関連付けない「感情対応しない」とする従来のモードと、相手から受信した受信メッセージの感情に合わせた感情情報を返信メッセージに関連付けて送信する「第1感情モード」と、こちら側の返信メッセージの感情を優先した感情情報を返信メッセージに関連付けて送信する「第2感情モード」と、受信メッセージ及び返信メッセージの双方の感情を反映させた感情情報を返信メッセージに関連付けて送信する「第3感情モード」とを備えている。
更に、「第1感情モード」は、相手から受信した受信メッセージの感情を優先した感情情報を返信メッセージに関連付けて送信する「同調モード」と、相手から受信した受信メッセージの感情に対して和らげた感情情報を返信メッセージに関連付けて送信する「温和モード」とを備えている。
また、「第3感情モード」は、受信メッセージ感情情報及び返信メッセージ感情情報のうち、感情レベルが高い感情情報を返信メッセージに関連付けて送信する「感情レベル優先モード」と、受信メッセージ及び返信メッセージの双方の感情情報の内容に基づいて生成した感情情報を返信メッセージに関連付けて送信する「感情関係モード」とを備えている。
利用者が、表示手段972に表示されている所望の感情モードを選択して「決定」ボタンを選択すると、情報処理手段980は選択された感情モードのフラグをセットする。
次に、S404「返信メールを作成、送信指示」にて利用者は、受信メールに基づいて返信メールの文章を作成して入力手段970を介して入力する。そして、返信メールの送信を指示する。
感情付加装置900の情報処理手段980(返信メッセージ入力手段27の機能を含む。)は、S414「返信メールを入力」にて、入力手段970を介して返信メールの文章を入力して、メッセージ記憶手段20に記憶する処理を行う。
返信メールの入力処理が終了すると、情報処理手段980(返信メッセージ感情情報取得手段30の機能を含む。)が実行する処理はS416「メールの感情情報を取得」の処理に進み、予め単語毎に、喜び、楽しさ、悲しさ、怒り、普通、又は感情強調等の感情情報を関連付けた感情辞書22を参照して、返信メールの単語毎に感情情報を取得し、その感情情報に基づいて返信メッセージ感情情報を取得する処理を行う。S416の処理は、図3に示した処理と同一であるので、ここでの説明は省略する。返信メッセージ感情情報を取得する処理が終了すると、情報処理手段980が実行する処理は次のS418「返信メールの感情情報を取得したか?」の判断に進む。
S418にて情報処理手段980(感情付返信メッセージ生成手段32の機能を含む。)は、S418にて何らかの感情情報を取得したか否か、又は取得した感情情報が普通であるか否かの判断を行っている。もし、感情情報を取得していなかった場合又は取得した感情情報が普通である場合には、S432「受信メールの感情情報を付与」に進み、受信メールの感情情報に基づいた送信感情情報を取得する処理を行う。なお、S432の処理の詳細については、図7に示すフローチャートを用いて別途説明することとする。
S432にて送信感情情報の取得処理が終了すると、S434「メール送信」に進み、所定のアドレスに対して送信感情情報が関連付けられた返信メール(返信メッセージ)を送信し、その後S436「終了」に進み、返信メールに対する感情付加処理を終了する。
なお、S418にて、感情情報を取得した場合には、S420「CC:、BCC:受信者?」の判断に進む。S420にて情報処理手段980(感情付返信メッセージ生成手段32の機能を含む。)は、受信メールの宛て先がCC:受信者又はBCC:受信者であったか否かの判断を行っている。
もし受信メールの宛て先が、CC:受信者又はBCC:受信者であった場合には、相手の感情に合わせた返信メッセージ感情情報を送信感情情報として採用するために、S432に分岐して、受信メールの感情情報に基づいた送信感情情報を取得する処理を行う。
また、受信メールの宛て先が、CC:受信者又はBCC:受信者でなく、TO:受信者であった場合には、次のS422「相手と同じ感情か?」の判断に進む。
S422にて情報処理手段980(感情付返信メッセージ生成手段32の機能を含む。)は、受信メッセージ感情情報と返信メッセージ感情情報とが同一の感情情報であるか否かの判断を行っている。もし、受信メッセージ感情情報と返信メッセージ感情情報とが同一の感情情報である場合には、S432に分岐して、受信メールの感情情報に基づいた送信感情情報を取得する処理を行う。
また、もし受信メッセージ感情情報と返信メッセージ感情情報とが異なっている場合には、次のS424「相手の感情に合わせるモードか?」の処理に進む。
S424にて情報処理手段980(感情付返信メッセージ生成手段32の機能を含む。)は、感情モードが受信メールの感情を優先した感情情報を返信メール(返信メッセージ)に関連付けて送信する「第1感情モード」に設定されているか否かの判断を行っている。もし「第1感情モード」に設定されている場合には、S432に分岐し、「第1感情モード」に設定されていない場合には、次のS426「こちら側の感情を優先するモードか?」の処理に進む。
S426にて情報処理手段980(感情付返信メッセージ生成手段32の機能を含む。)は、感情モードが、こちら側の返信メッセージの感情を優先した感情情報を返信メッセージに関連付けて送信する「第2感情モード」に設定されているか否かの判断を行っている。もし、「第2感情モード」に設定されている場合には、S428「返信メッセージの感情情報を付与」に分岐して、返信メッセージ感情情報を送信感情情報として取得する処理を行った後にS434に進む。
一方、S426にて「第2感情モード」に設定されていないと判断した場合には、S430「双方の感情を反映して返信メールの感情情報を付与」の処理に進む。
S430にて情報処理手段980(感情付返信メッセージ生成手段32の機能を含む。)は、設定されている感情モードに応じて送信感情情報を取得する処理を行う。なお、S430の処理の詳細については、図9に示すフローチャートを用いて別途説明することとする。S430にて送信感情情報を取得する処理が終了すると、次のS434の処理に進む。
次に、S432「受信メールの感情情報を付与」の詳細な処理について、図7のフローチャートを用いて説明する。
図5のS432に処理が進むと、情報処理手段980(感情付返信メッセージ生成手段32の機能を含む。)が実行する処理はS502「温和モードが設定されているか?」の判断に進む。
S502の判断にて、感情モードが温和モードに設定されていないと判断した場合には、S504「受信メールに同調した感情情報を返信メールに付与」の処理に進む。また、もし感情モードが温和モードに設定されていると判断した場合には、S508「温和モードで感情情報を返信メールに付与」の処理に分岐する。
S504にて情報処理手段980は、感情モードを「同調モード」とし、受信メッセージ感情情報と送信感情情報とを関連付けた同調モード用感情情報記憶手段を参照して、受信メッセージ感情情報と関連する送信感情情報を取得して、返信メールと送信感情情報とを関連付けた感情付返信メッセージを生成する処理を行う。
図8に、受信メッセージ感情情報と送信感情情報とを関連付けた温和モード用感情情報記憶手段及び同調モード用感情情報記憶手段の実施形態を示す。
感情モードが「温和モード」に設定されていない場合には「同調モード」を採用して同調モード用感情情報記憶手段を参照する。そして図8に示すように、受信メッセージ感情情報が[喜]である場合には同一の感情情報[喜]を送信感情情報として取得し、受信メッセージ感情情報が[悲]である場合には同一の感情情報[悲]を送信感情情報として取得し、受信メッセージ感情情報が[怒]である場合には同一の感情情報[怒]を送信感情情報として取得する。S504にて送信感情情報の付与が終了すると、S506「戻る」に進み、元の処理ルーチンに戻る。
一方、感情モードが「温和モード」に設定されている場合には図8に示す温和モード用感情情報記憶手段を参照して、受信メッセージ感情情報が[喜]である場合には同一の感情情報[喜]を送信感情情報として取得し、受信メッセージ感情情報が[悲]又は[怒]である場合には、和らげた楽しい感情を表す[楽]を送信感情情報として取得することができる。S508にて送信感情情報の付与が終了すると、S506「戻る」に進み、元の処理ルーチンに戻る。
次に、S430「双方の感情情報を反映して返信メールの感情情報を付与」の詳細な処理について、図9のフローチャートを用いて説明する。
図2のS430に処理が進むと、情報処理手段980(感情付返信メッセージ生成手段32の機能を含む。)が実行する処理はS602「感情レベルの高いメールの感情情報を優先するモードか?」の処理に進む。
S602にて情報処理手段980は、感情モードが「感情レベル優先モード」に設定されているか否かの判断を行う。もし、「感情レベル優先モード」に設定されていると判断
した場合には、S604「受信メールと返信メールの感情レベルを比較」及びS606「感情レベルが同じか?」の処理に進み、もし「感情レベル優先モード」に設定されていない場合には、S612「感情関係モードで感情情報を返信メールに付与」の処理に分岐する。
S604にて情報処理手段は、受信メッセージ感情情報と返信メッセージ感情情報の感情レベルを比較して、両者の感情レベルが同じであるか否かの判断を行う。もし、両者の感情レベルが同じである場合には、S612の処理に分岐し、両者の感情レベルが異なる場合にはS608「相対的に感情レベルが高い感情情報を返信メールに付与」の処理に進む。
S608にて情報処理手段980は、受信メッセージ感情情報と返信メッセージ感情情報の感情情報のうち、感情レベルが高い値を示している感情情報を取得して、送信感情情報に設定する処理を行う。送信感情情報の設定処理が終了すると、S610「戻る」に進み、もとの処理ルーチンに戻る。
一方、S612にて情報処理手段は、感情モードが「感情レベル優先モード」に設定されていないことを受けて「感情関係モード」を採用し、感情関係記憶手段を参照して送信感情情報を取得する処理を行う。感情関係記憶手段は、受信メッセージ感情情報と返信メッセージ感情情報と送信感情情報とを関連付けたマトリクスである。
図10に、受信メッセージ感情情報と返信メッセージ感情情報と送信感情情報とを関連付けた感情関係記憶手段の実施形態を示す。
感情モードが「感情関係モード」に設定されているときには、例えば図10に示す感情情報記憶手段を参照して、受信メッセージ感情情報及び返信メッセージ感情情報に基づいて送信感情情報を決定する。
例えば、受信メッセージ感情情報が[喜]であって返信メッセージの感情情報が[悲]であった場合には、両者のメッセージの文章には相反する感情を含んでいることになるので、送信感情情報として両者の中間の感情情報[普通]を取得して返信メッセージ(返信メール)と関連付ける処理を行う。
また、受信メッセージ感情情報が[喜]であって返信メッセージ(返信メール)の感情情報が[怒]であった場合には、返信メッセージ(返信メール)の[怒]の感情情報を送信感情情報として取得する。以下同様に、受信メッセージ感情情報が[怒]であって返信メッセージ(返信メール)の感情情報が[喜]であった場合には中間の[普通]を送信感情情報として取得し、受信メッセージ感情情報が[怒]であって返信メッセージ(返信メール)の感情情報が[悲]であった場合には返信メッセージ(返信メール)の[悲]を送信感情情報として取得し、受信メッセージ感情情報が[悲]であって返信メッセージ(返信メール)の感情情報が[喜]であった場合には中間の[普通]を送信感情情報として取得し、受信メッセージ感情情報が[悲]であって返信メッセージ(返信メール)の感情情報が[怒]であった場合には受信メッセージ(返信メール)の[悲]の感情情報を送信感情情報として取得する処理を行う。
S612にて感情関係モードでの送信感情情報の付与が終了すると、S610の処理に進み、元の処理ルーチンに戻る。
このようにして、電子メッセージ情報(上記の実施例では電子メール。)を送信した相手の感情と返信メッセージ(上記の実施例では返信メール。)を作成したこちら側の感情とを取り入れた感情情報を決定して、感情情報が関連付けられた返信メッセージ(上記の実施例では返信メール)を送信することが可能となる。
次に、受信メール及び返信メールの例文と、その例文を単語毎に区切った状態と、参照する単語辞書及び感情辞書22の内容について、図11(a)及び図11(b)を用いて説明する。
図11(a)及び図11(b)は、感情を付与する文章例と、単語辞書を用いてその文章を区切った状態を示す図表である。
感情付加装置900が、入力した電子メール、ショートメッセージ、チャット、ブログ等の電子メッセージ情報の文章について、図3のS308「文章を単語毎に区切る」に示した処理を実行すると、図11(a)及び図11(b)に示す解析結果を得ることができる。そして、図3のS310「感情付与」の処理で単語辞書及び感情辞書22を参照して、感情情報が付与された文章の生成処理を行う。
図11(a)及び図11(b)に示す感情辞書22には、辞書見出しと、[楽]、[喜]、[悲]、[怒]又は[普通]等の感情種類と、その辞書見出しの感情の強さを表す[1]〜[5]の感情レベルとが関連付けられている。
例えば、図11(a)及び図11(b)に示す感情辞書22には、「いいこと」という辞書見出しの単語が登録されている。この単語は「喜び」を表現するものと定めることができるので、「喜び」を表現する単語であることを示す記号「喜」を感情種類として辞書見出しと関連付けて記憶している。また、単語「いいこと」は、その「喜び」の感情表現の中でも、感情のレベルが比較的低い表現と認められるため、感情レベルとして[1]を与え、[喜1]という感情情報を辞書見出しと関連付けて記憶している。
同様に、「(´∀`)」という絵文字には[喜1]という感情情報を、また「風邪を引く」という辞書見出しには悲しさを表す[悲2]という感情情報を、また「だるい」という辞書見出しには悲しさを表す[悲1]という感情情報を、また「足を踏まれる」という辞書見出しには怒りを表す[怒3]という感情情報を、また「遅れる」という辞書見出しには怒りを表す[怒2]という感情情報を、「(`Д´)/」という絵文字には[怒3]という感情情報を、それぞれ関連付けて記憶している。
次に、受信メール(受信メッセージの一形態)及び返信メール(返信メッセージの一形態)の文章と、その文章を用いて決定する送信感情情報の具体的実施例とを、図12(a)及び図12(b)を用いて説明する。
図12(a)に示す実施例2は、「今日ちょっといいことあってさ〜(´∀`)」という電子メッセージ情報を受信した場合の実施例である。この受信メールについて、(1)「文章中の各感情情報のうち、最大の感情レベルを有する感情種類とその感情レベルとを文章の感情情報として取得する処理」(図3に示したS312の処理。以下の実施例では、全てこの(1)の処理を用いて文章の感情情報を取得する実施形態で説明する。)を実行すると、最大の感情レベル[喜1]から、受信メッセージ感情情報として、感情種類[喜]とその感情レベル[1]を取得する。
この、「今日ちょっといいことあってさ〜(´∀`)」という受信メールに対して、利用者が「へ〜、そうなんだ、何があったの?」という返信メールを作成して入力した場合について説明する。
この返信メールを構成する各単語には、図11(a)に示す感情辞書を参照しても[楽]、[喜]、[悲]、又は[怒]等の感情情報が関連付けられていないので、[普通]の返信メッセージ感情情報を取得する(図3のS322の処理参照。)。
受信メッセージ感情情報が[喜1]であって、返信メッセージ感情情報が[普通]の場合には、設定されている感情モードに応じて以下の送信感情情報を取得することができる。
[感情モードが同調モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[喜]を取得する(図5のS418:No並びにS432の処理、及び図7のS502:No並びにS504の処理参照。)。
[感情モードが温和モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[喜]を取得する(図5のS418:No並びにS432の処理、及び図7のS502:Yes並びにS508の処理参照。)。
[感情モードがこちら側の感情を優先するモード(第2感情モード)に設定されている場合]
このモードに設定されている場合であっても、図5に示したS418:Noの処理にてS432に分岐するので、同調モード又は温和モードの設定に従った送信感情情報を取得する。
[感情モードが感情レベル優先モードに設定されている場合]
このモードに設定されている場合であっても、図5に示したS418:Noの処理にてS432に分岐するので、同調モード又は温和モードの設定に従った送信感情情報を取得する。
[感情モードが感情関係モードに設定されている場合]
このモードに設定されている場合であっても、図5に示したS418:Noの処理にてS432に分岐するので、同調モード又は温和モードの設定に従った送信感情情報を取得する。
次に、「今日ちょっといいことあってさ〜(´∀`)」という受信メールに対して、利用者が「いいなぁ、私は風邪引いちゃってなんかだるくて」という返信メールを作成して入力した場合について説明する。
この返信メールを構成する各単語には、図11(a)に示す感情辞書を参照して「風邪を引く」という単語について[悲2]の感情情報を、「だるい」という単語について[悲1]の感情情報を取得し(図3のS310の処理参照。)、感情種類が[悲]であって感情レベルが[2]の[悲2]の返信メッセージ感情情報を取得する。
受信メッセージ感情情報が[喜1]であって、返信メッセージ感情情報が[悲2]の場合には、設定されている感情モードに応じて以下の送信感情情報を取得することができる。
[感情モードが同調モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[喜]を取得する(図5のS418:Yes、S420:No、S422:No、S424:Yes、並びにS432の処理、及び図7のS502:No並びにS504の処理参照。)。
[感情モードが温和モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[喜]を取得する(図5のS418:Yes、S420:No、S422:No、S424:Yes、並びにS432の処理、及び、図7のS502:Yes並びにS508の処理参照。)。
[感情モードがこちら側の感情を優先するモード(第2感情モード)に設定されている場合]
この場合には、受信メッセージ感情情報の如何に関わらず送信感情情報として返信メッセージ感情情報の[悲]を取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:Yes並びにS428の処理参照。)。
[感情モードが感情レベル優先モードに設定されている場合]
この場合には、受信メッセージ感情情報[喜1]と返信メッセージ感情情報[悲2]との感情レベルを比較して、感情レベルが高い[悲]を送信感情情報として取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:No並びにS430、及び、図9のS602:Yes、S604、S606:No、並びにS608の処理参照。)。
[感情モードが感情関係モードに設定されている場合]
この場合には、図10に示した「感情関係マトリクス」より、受信メールの感情情報及び返信メッセージ感情情報に基づいて[普通]を取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:No並びにS430、及び図9に示すS602:No並びにS612の処理参照。)。
次に、「今日ちょっといいことあってさ〜(´∀`)」という受信メールに対して、利用者が「それより聞いてよ!電車で足踏まれたんだよ〜!」という返信メールを作成して入力した場合について説明する。
この返信メールを構成する各単語には、図11(a)に示す感情辞書を参照して「足を踏まれる」という単語について[怒3]の感情情報を取得し(図3のS310の処理参照。)、感情種類が[怒]であって感情レベルが[3]の[怒3]の返信メッセージ感情情報を取得する。
受信メッセージ感情情報が[喜1]であって、返信メッセージ感情情報が[怒3]の場合には、設定されている感情モードに応じて以下の送信感情情報を取得することができる。
[感情モードが同調モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[喜]を取得する(図5のS418:Yes、S420:No、S422:No、S424:Yes、並びにS432の処理、及び図7のS502:No並びにS504の処理参照。)。
[感情モードが温和モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[喜]を取得する(図5のS418:Yes、S420:No、S422:No、S424:Yes、並びにS432の処理、及び、図7のS502:Yes並びにS508の処理参照。)。
[感情モードがこちら側の感情を優先するモード(第2感情モード)に設定されている場合]
この場合には、受信メッセージ感情情報の如何に関わらず送信感情情報として返信メッセージ感情情報の[怒]を取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:Yes並びにS428の処理参照。)。
[感情モードが感情レベル優先モードに設定されている場合]
この場合には、受信メッセージ感情情報[喜1]と返信メッセージ感情情報[怒3]との感情レベルを比較して、感情レベルが高い[怒]を送信感情情報として取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:No並びにS430、及び、図9のS602:Yes、S604、S606:No、並びにS608の処理参照。)。
[感情モードが感情関係モードに設定されている場合]
この場合には、図10に示した「感情関係マトリクス」より、受信メッセージの感情情報及び返信メッセージ感情情報に基づいて[怒]を取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:No並びにS430、及び図9に示すS602:No並びにS612の処理参照。)。
次に、図12(a)に示す実施例3の文章について説明する。図12(a)に示す実施例3は、「待ち合わせに遅れ過ぎー!(`Д´)/」という電子メールを受信した場合の実施例である。この受信メールについて、(1)「文章中の各感情情報のうち、最大の感情レベルを有する感情種類とその感情レベルとを文章の感情情報として取得する処理」(図2に示したS312の処理。)を実行すると、図11(a)及び図11(b)に示す感情辞書を参照して「遅れる」という単語について[怒2]の感情情報を、「(`Д´)/」という絵文字について[怒3]の感情情報を取得し(図3のS310の処理参照。)、感情種類が[怒]であって感情レベルが[3]の[怒3]の受信メッセージ感情情報を取得する。
この、「待ち合わせに遅れ過ぎー!(`Д´)/」という受信メールに対して、利用者が「あともうちょっと待ってて〜」という返信メールを作成して入力した場合について説明する。
この返信メールを構成する各単語には、図11(a)に示す感情辞書を参照しても[楽]、[喜]、[悲]、又は[怒]等の感情情報が関連付けられていないので、[普通]の返信メッセージ感情情報を取得する(図3のS322の処理参照。)。
受信メッセージ感情情報が[怒3]であって、返信メッセージ感情情報が[普通]の場合には、設定されている感情モードに応じて以下の送信感情情報を取得することができる。
[感情モードが同調モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[怒]を取得する(図5のS418:No並びにS432の処理、及び図7のS502:No並びにS504の処理参照。)。
[感情モードが温和モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[楽]を取得する(図5のS418:No並びにS432の処理、及び図7のS502:Yes並びにS508の処理参照。)。
[感情モードがこちら側の感情を優先するモード(第2感情モード)に設定されている場合]
このモードに設定されている場合であっても、図5に示したS418:Noの処理にてS432に分岐するので、同調モード又は温和モードの設定に従った送信感情情報を取得する。
[感情モードが感情レベル優先モードに設定されている場合]
このモードに設定されている場合であっても、図5に示したS418:Noの処理にてS432に分岐するので、同調モード又は温和モードの設定に従った送信感情情報を取得する。
[感情モードが感情関係モードに設定されている場合]
このモードに設定されている場合であっても、図5に示したS418:Noの処理にてS432に分岐するので、同調モード又は温和モードの設定に従った送信感情情報を取得する。
次に、「待ち合わせに遅れ過ぎー!(`Д´)/」という受信メールに対して、利用者が「途中で買ったアイスが当たった!やったね〜!」という返信メールを作成して入力した場合について説明する。
この返信メールを構成する各単語には、図11(b)に示す感情辞書を参照して「当たる」という単語について[喜1]の感情情報を、「やったね」という単語について[喜2]の感情情報を取得し(図3のS310の処理参照。)、感情種類が[喜]であって感情レベルが[2]の[喜2]の返信メッセージ感情情報を取得する。
受信メッセージ感情情報が[怒3]であって、返信メッセージ感情情報が[喜2]の場合には、設定されている感情モードに応じて以下の送信感情情報を取得することができる。
[感情モードが同調モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[怒]を取得する(図5のS418:Yes、S420:No、S422:No、S424:Yes、並びにS432の処理、及び図7のS502:No並びにS504の処理参照。)。
[感情モードが温和モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[楽]を取得する(図5のS418:Yes、S420:No、S422:No、S424:Yes、並びにS432の処理、及び、図7のS502:Yes並びにS508の処理参照。)。
[感情モードがこちら側の感情を優先するモード(第2感情モード)に設定されている場合]
この場合には、受信メッセージ感情情報の如何に関わらず送信感情情報として返信メッセージ感情情報の[喜]を取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:Yes並びにS428の処理参照。)。
[感情モードが感情レベル優先モードに設定されている場合]
この場合には、受信メッセージ感情情報[怒3]と返信メッセージ感情情報[喜2]との感情レベルを比較して、感情レベルが高い[怒]を送信感情情報として取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:No並びにS430、及び、図9のS602:Yes、S604、S606:No、並びにS608の処理参照。)。
[感情モードが感情関係モードに設定されている場合]
この場合には、図10に示した「感情関係マトリクス」より、受信メールの感情情報及び返信メッセージ感情情報に基づいて[普通]を取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:No並びにS430、及び図9に示すS602:No並びにS612の処理参照。)。
次に、「待ち合わせに遅れ過ぎー!(`Д´)/」という受信メールに対して、利用者が「まだかかりそう、ごめんね。」という返信メールを作成して入力した場合について説明する。
この返信メールを構成する各単語には、図11(b)に示す感情辞書を参照して「ごめんなさい」という単語について[悲3]の感情情報を取得し(図3のS310の処理参照。)、感情種類が[悲]であって感情レベルが[3]の[悲3]の返信メッセージ感情情報を取得する。
受信メッセージ感情情報が[怒3]であって、返信メッセージ感情情報が[悲3]の場合には、設定されている感情モードに応じて以下の送信感情情報を取得することができる。
[感情モードが同調モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[怒]を取得する(図5のS418:Yes、S420:No、S422:No、S424:Yes、並びにS432の処理、及び図7のS502:No並びにS504の処理参照。)。
[感情モードが温和モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[楽]を取得する(図5のS418:Yes、S420:No、S422:No、S424:Yes、並びにS432の処理、及び、図7のS502:Yes並びにS508の処理参照。)。
[感情モードがこちら側の感情を優先するモード(第2感情モード)に設定されている場合]
この場合には、受信メッセージ感情情報の如何に関わらず送信感情情報として返信メッセージ感情情報の[悲]を取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:Yes並びにS428の処理参照。)。
[感情モードが感情レベル優先モードに設定されている場合]
この場合には、受信メッセージ感情情報[怒3]と返信メッセージ感情情報[悲3]との感情レベルを比較しても、両者の感情レベルはともに[3]なので、図9に示すS606の判断にてS612に分岐し、図10に示した「感情関係マトリクス」より、受信メールの感情情報及び返信メッセージ感情情報に基づいて[悲]を取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:No並びにS430、及び、図9のS602:Yes、S604、S606:Yes、並びにS612の処理参照。)。
[感情モードが感情関係モードに設定されている場合]
この場合には、図10に示した「感情関係マトリクス」より、受信メールの感情情報及び返信メッセージ感情情報に基づいて[悲]を取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:No並びにS430、及び図9に示すS602:No並びにS612の処理参照。)。
次に、図12(b)に示す実施例4の文章について説明する。図12(b)に示す実施例4は、「本当に飼い犬に手をかまれた〜!すっごくショック…。」という電子メッセージ情報を受信した場合の実施例である。この受信メールについて、(1)「文章中の各感情情報のうち、最大の感情レベルを有する感情種類とその感情レベルとを文章の感情情報として取得する処理」(図3に示したS312の処理。)を実行すると、図11(b)に示す感情辞書を参照して「咬まれる」という単語について[怒2]の感情情報を、「ショックだ」という単語について[悲4]の感情情報を取得し(図3のS310の処理参照。)、感情種類が[悲]であって感情レベルが[4]の[悲4]の受信メッセージ感情情報を取得する。
この、「本当に飼い犬に手をかまれた〜!すっごくショック…。」という受信メールに対して、利用者が「え〜っ、大丈夫なの〜?」という返信メールを作成して入力した場合について説明する。
この返信メールを構成する各単語には、図11(b)に示す感情辞書を参照しても[楽]、[喜]、[悲]、又は[怒]等の感情情報が関連付けられていないので、[普通]の返信メッセージ感情情報を取得する(図3のS322の処理参照。)。
受信メッセージ感情情報が[悲4]であって、返信メッセージ感情情報が[普通]の場合には、設定されている感情モードに応じて以下の送信感情情報を取得することができる。
[感情モードが同調モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[悲]を取得する(図5のS418:No並びにS432の処理、及び図7のS502:No並びにS504の処理参照。)。
[感情モードが温和モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[楽]を取得する(図5のS418:No並びにS432の処理、及び図7のS502:Yes並びにS508の処理参照。)。
[感情モードがこちら側の感情を優先するモード(第2感情モード)に設定されている場合]
このモードに設定されている場合であっても、図5に示したS418:Noの処理にてS432に分岐するので、同調モード又は温和モードの設定に従った送信感情情報を取得する。
[感情モードが感情レベル優先モードに設定されている場合]
このモードに設定されている場合であっても、図5に示したS418:Noの処理にてS432に分岐するので、同調モード又は温和モードの設定に従った送信感情情報を取得する。
[感情モードが感情関係モードに設定されている場合]
このモードに設定されている場合であっても、図5に示したS418:Noの処理にてS432に分岐するので、同調モード又は温和モードの設定に従った送信感情情報を取得する。
次に、「本当に飼い犬に手をかまれた〜!すっごくショック…。」という受信メールに対して、利用者が「なんか冗談みたいだね〜、ちょっと笑えた」という返信メールを作成して入力した場合について説明する。
この返信メールを構成する各単語には、図11(b)に示す感情辞書を参照して「笑える」という単語について[喜1]の感情情報を取得し(図3のS310の処理参照。)、感情種類が[喜]であって感情レベルが[1]の[喜1]の返信メッセージ感情情報を取得する。
受信メッセージ感情情報が[悲4]であって、返信メッセージ感情情報が[喜1]の場合には、設定されている感情モードに応じて以下の送信感情情報を取得することができる。
[感情モードが同調モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[悲]を取得する(図5のS418:Yes、S420:No、S422:No、S424:Yes、並びにS432の処理、及び図7のS502:No並びにS504の処理参照。)。
[感情モードが温和モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[楽]を取得する(図5のS418:Yes、S420:No、S422:No、S424:Yes、並びにS432の処理、及び、図7のS502:Yes並びにS508の処理参照。)。
[感情モードがこちら側の感情を優先するモード(第2感情モード)に設定されている場合]
この場合には、受信メッセージ感情情報の如何に関わらず送信感情情報として返信メッセージ感情情報の[喜]を取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:Yes並びにS428の処理参照。)。
[感情モードが感情レベル優先モードに設定されている場合]
この場合には、受信メッセージ感情情報[悲4]と返信メッセージ感情情報[喜1]との感情レベルを比較して、感情レベルが高い[悲]を送信感情情報として取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:No並びにS430、及び、図9のS602:Yes、S604、S606:No、並びにS608の処理参照。)。
[感情モードが感情関係モードに設定されている場合]
この場合には、図10に示した「感情関係マトリクス」より、受信メールの感情情報及び返信メッセージ感情情報に基づいて[普通]を取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:No並びにS430、及び図9に示すS602:No並びにS612の処理参照。)。
次に、「本当に飼い犬に手をかまれた〜!すっごくショック…。」という受信メールに対して、利用者が「あんなに可愛がってたのにひどい犬だねぇ(怒)」という返信メールを作成して入力した場合について説明する。
この返信メールを構成する各単語には、図11(b)に示す感情辞書を参照して「ひどい」という単語について[悲2]の感情情報と、「(怒)」という単語について[怒5]を取得し、(図3のS310の処理参照。)、感情種類が[怒]であって感情レベルが[5]の[怒5]の返信メッセージ感情情報を取得する。
受信メッセージ感情情報が[悲4]であって、返信メッセージ感情情報が[怒5]の場合には、設定されている感情モードに応じて以下の送信感情情報を取得することができる。
[感情モードが同調モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[悲]を取得する(図5のS418:Yes、S420:No、S422:No、S424:Yes、並びにS432の処理、及び図7のS502:No並びにS504の処理参照。)。
[感情モードが温和モードに設定されている場合]
この場合には、図8に示した「同調モード、温和モード対応表」より、返信メッセージ感情情報の如何に関わらず送信感情情報として[楽]を取得する(図5のS418:Yes、S420:No、S422:No、S424:Yes、並びにS432の処理、及び、図7のS502:Yes並びにS508の処理参照。)。
[感情モードがこちら側の感情を優先するモード(第2感情モード)に設定されている場合]
この場合には、受信メッセージ感情情報の如何に関わらず送信感情情報として返信メッセージ感情情報の[怒]を取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:Yes並びにS428の処理参照。)。
[感情モードが感情レベル優先モードに設定されている場合]
この場合には、受信メッセージ感情情報[悲4]と返信メッセージ感情情報[怒5]との感情レベルを比較して、感情レベルが高い[怒]を送信感情情報として取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:No並びにS430、及び、図9のS602:Yes、S604、S606:No、並びにS608の処理参照。)。
[感情モードが感情関係モードに設定されている場合]
この場合には、図10に示した「感情関係マトリクス」より、受信メールの感情情報及び返信メッセージ感情情報に基づいて[悲]を取得する(図5のS418:Yes、S420:No、S422:No、S424:No、S426:No並びにS430、及び図9に示すS602:No並びにS612の処理参照。)。
以上のようにして、利用者が設定した感情モードと、受信した電子メッセージ情報(上記の実施例では電子メール)の内容と、その受信した電子メッセージ情報に対応した返信メッセージ(上記の実施例では返信メール)の内容に応じて、返信メッセージ(上記の実施例では返信メール)を送信する際に関連付ける送信感情情報を決定することが可能となる。そして、この電子メッセージ情報(上記の実施例では電子メール)を受信した相手側の端末装置は、感情表現を伴う電子メッセージ情報(上記の実施例では電子メール)を自動で読み上げ、相手側の利用者は感情表現を伴う音声で電子メッセージ情報(上記の実施例では電子メール)を受聴することができる。
次に、情報処理手段980(返信メッセージ感情情報取得手段30及び受信メッセージ感情情報取得手段26の機能を含む。)が参照して感情情報を取得する感情辞書22の構成について説明する。
図13は、自立語の単語と感情情報とを関連付けた自立語の感情辞書22の構成を示す図表であり、図14は、付属語の単語と感情情報とを関連付けた付属語の感情辞書22の構成を示す図表である。
図13及び図14に示す例では、自立語の感情辞書と付属語の感情辞書とを分けた実施形態で説明しているが、文章中の自立語と文章中の付属語との間で優先順位を定めない場合には、自立語の感情辞書と付属語の感情辞書とを分けずに併合した一つの感情辞書を用いるようにしてもよい。
図13及び図14に示すように、感情辞書22は、文章を区切った各単語の感情情報等を検索する際の辞書見出しと、辞書見出しに対応する単語の感情種類及び単語の感情レベルとから構成される単語の感情情報と、文章の感情を強調する際に用いる感情強調情報と、単語を自動で読み上げる際に用いる単語の読みと、単語を時自動で読み上げる際に用いるアクセントの情報と、主な品詞とをそれぞれ関連付けて記憶している。
例えば図13に示す感情辞書22には、「あの野郎」という辞書見出しの単語が登録されている。この単語は「怒り」を表現するものと定めることができるので、「怒り」を表現する感情であることを示す記号[怒]を感情種類として辞書見出しと関連付けて記憶している。また、単語「あの野郎」は、その「怒り」の感情表現の中でも、感情のレベルが高い表現と認められるため、感情レベルとして「2」を与え、[怒2]という感情情報を辞書見出しと関連付けて記憶している。
また、「いちばん」という辞書見出しの単語の場合には、その単語に特段の感情が含まれるとは認められないので、特に感情種類は関連付けていない。しかし、この「いちばん」という副詞は、他の単語を強調する表現であると認められるので、対応する他の単語の感情レベルを2つ上げるための[+2]という感情強調情報を辞書見出しと関連付けて記憶している。この「いちばん」という単語の例では、対応する他の単語の感情レベルに「2」を加算する実施形態を用いているが、他の単語の感情レベルに乗算する値を用いて感情表現を強調するようにしてもよい。
例えば、「いちばん美しい」という文章があった場合に、「いちばん」という単語の感情強調情報[+2]と、「美し」という単語の感情種類と感情レベル[楽1](図13参照)とに基づいて、[楽3]の感情情報を取得することができる。
また、「いったい」という辞書見出しの単語の場合には、対応する単語に応じて感情強調情報を変更することが可能な構成としている。例えば、「いったい」に対応する単語として、後ろ3文節以内に「何、どこ、いくつ」の単語が存在する場合には、感情強調情報として[+2]を採用し、存在しない場合には[+1]を感情強調情報として採用する旨の指示を辞書見出しと関連付けて記憶している。
また、図14に示す付属語の感情辞書22には、「!」という辞書見出しの記号が登録されている。この記号は特定の感情を表現しているとは認められないので、感情種類は関連付けずに、文章全体の感情レベルを1つ上げるための[+1]という感情強調情報を辞書見出しと関連付けて記憶している。この「!」の記号は、文章の感情レベルに「1」を加算する実施形態を用いているが、文章の感情レベルに乗算する値を用いて感情表現を強調するようにしてもよい。
また、文章の語尾が、「ーい」という単語の場合には、その単語は「喜び」を表現する形容詞活用語尾と定めることができるので、「喜び」を表現する感情であることを示す記号[喜]を感情種類として辞書見出しと関連付けて記憶している。また、文章の語尾に「ーい」が用いられている場合には、「喜び」の感情表現の中でも、感情のレベルが低い表現と認められるため、感情レベルとして「1」を与え、[喜1]という感情情報を辞書見出しと関連付けて記憶している。
また、文章の語尾が、「い」という単語の場合、その形容詞活用語尾の単語に特段の感情が含まれるとは認められないので、感情情報として「普通」の感情を表す[普通]を辞書見出しと関連付けて記憶している。
また、文章の語尾が、「てるんだ」という複合動詞語尾の場合には、対応する単語に応じて強調情報を変更することが可能な構成としている。例えば、「てるんだ」に対応する単語として、前3文節以内に「何、どこ、いくつ」の単語が存在する場合には、感情情報として強めの「怒り」を表す[怒2]を採用し、存在しない場合には好意的又は喜びを表す[喜1]の感情情報を採用する旨の指示を辞書見出しと関連付けて記憶している。
例えば、「いったい何だと思ってるんだ」という文章があった場合には、「いったい」という単語について[*+2]の感情強調情報を採用し、「何」という単語の感情強調情報[+1]と、「てるんだ」という単語の[*怒2]の感情強調情報を採用して、[怒5]という感情情報を得ることができる。
また、図13及び図14に示すように、[喜]〜[普通]の各感情種類には、感情レベルが付加されている。図13及び図14に示す例では、感情レベル[0]が、その単語の表現する感情レベルが最も弱いレベルであることを表し、感情レベル[5]が、その単語の表現する感情レベルが最も強いレベルであることを表している。なお、単語の表現する感情が[普通]の場合には、その[普通]の感情レベルには差がないと認められるので、感情レベルは付与していない。
このようにして、文章中の各単語に感情情報を関連付けることが可能となる。
本発明の実施の形態に係る感情付加装置900の信号処理系ブロックの構成を示す図である。 受信した電子メール中の単語に感情情報を関連付け、その感情情報に基づいて表現された音声を自動で発生させる処理のフローチャートである。 メールの感情情報を取得する処理のフローチャートである。 文章中の各感情情報のうち最大の感情レベルを用いて文章感情情報を取得する処理のフローチャートである。 返信メール用の送信感情情報を生成して返信メールに関連付けて送信する処理のフローチャートである。 感情モードを設定する際の設定画面を示す図である。 同調モード又は温和モードに設定されている場合に送信感情情報を取得する処理のフローチャートである。 温和モード用感情情報記憶手段及び同調モード用感情情報記憶手段の実施形態を示図表である。 双方の感情情報を反映して返信メールの感情情報を付与する処理のフローチャートである。 受信メッセージ感情情報と返信メッセージ感情情報と送信感情情報とを関連付けた感情関係記憶手段の実施形態を示す図表である。 感情を付与する文章例と単語辞書を用いてその文章を区切った状態を示す図表である。 感情を付与する文章例と単語辞書を用いてその文章を区切った状態を示す図表である。 受信メール及び返信メールの文章と、その文章を用いて決定する送信感情情報の具体的実施例とを示す図表である。 受信メール及び返信メールの文章と、その文章を用いて決定する送信感情情報の具体的実施例とを示す図表である。 自立語の単語と感情情報とを関連付けた自立語の感情辞書22の構成を示す図表である。 付属語の単語と感情情報とを関連付けた付属語の感情辞書22の構成を示す図表である。
符号の説明
10 インターネット
20 メッセージ記憶手段
22 感情辞書
24 音響辞書
26 受信メッセージ感情情報取得手段
27 返信メッセージ入力手段
28 形態素解析手段
30 返信メッセージ感情情報取得手段
32 感情付返信メッセージ生成手段
900 感情付加装置
960 アンテナ
961 無線送受信手段
962 有線送受信手段
965 音声出力手段
966 出力音声処理手段
970 入力手段
971 入力インターフェース
972 表示手段
973 表示インターフェース
980 情報処理手段
981 RAM
983 ROM
984 記憶手段
990 タイマ
999 バス

Claims (15)

  1. 他の通信機器から受信した電子メッセージ情報に関連付けられている受信メッセージ感情情報を取得する受信メッセージ感情情報取得手段と、
    受信した電子メッセージ情報に対応する返信メッセージを入力する返信メッセージ入力手段と、
    前記返信メッセージの文書を単語毎に区切る形態素解析手段と、
    予め前記単語毎に感情情報を関連付けた感情辞書を参照して、前記返信メッセージの区切られた単語毎に感情情報を取得し、その感情情報に基づいて返信メッセージ感情情報を取得する返信メッセージ感情情報取得手段と、
    前記受信メッセージ感情情報又は前記返信メッセージ感情情報に基づいて送信感情情報を決定し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する感情付返信メッセージ生成手段と、
    を備えることを特徴とする感情付加装置。
  2. 前記送信感情情報を、前記受信メッセージ感情情報に応じた感情情報とする第1感情モードに設定する第1設定手段を備え、
    前記感情付返信メッセージ生成手段は、
    前記第1設定手段によって前記第1感情モードに設定されている場合には、前記受信メッセージ感情情報と前記送信感情情報とを関連付けた第1感情情報記憶手段を参照して、前記取得した受信メッセージ感情情報と関連する送信感情情報を取得し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する
    ことを特徴とする請求項1に記載の感情付加装置。
  3. 前記第1設定手段によって前記第1感情モードに設定されている場合において、前記送信感情情報を、前記受信メッセージ感情情報と同調した感情情報とする同調モードに設定する同調モード設定手段とを備え、
    前記感情付返信メッセージ生成手段は、
    前記同調モード設定手段によって前記同調モードに設定されている場合には、前記受信メッセージ感情情報と前記送信感情情報とを関連付けた同調モード用感情情報記憶手段を参照して、前記取得した受信メッセージ感情情報と関連する前記送信感情情報を取得し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する
    ことを特徴とする請求項2に記載の感情付加装置。
  4. 前記第1設定手段によって前記第1感情モードに設定されている場合において、前記送信感情情報を、前記受信メッセージ感情情報よりも和らげた感情情報とする温和モードに設定する温和モード設定手段を備え、
    前記感情付返信メッセージ生成手段は、
    前記温和モード設定手段によって前記温和モードに設定されている場合には、前記受信メッセージ感情情報と前記送信感情情報とを関連付けた温和モード用感情情報記憶手段を参照して、前記取得した受信メッセージ感情情報と関連する前記送信感情情報を取得し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する
    ことを特徴とする請求項2又は3に記載の感情付加装置。
  5. 前記返信メッセージ感情情報取得手段が取得した前記返信メッセージ感情情報を前記送信感情情報とする第2感情モードに設定する第2設定手段を備え、
    前記感情付返信メッセージ生成手段は、
    前記第2設定手段によって前記第2感情モードに設定されている場合には、前記返信メッセージ感情情報を前記送信感情情報として決定し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する
    ことを特徴とする請求項1〜4のいずれか1項に記載の感情付加装置。
  6. 前記送信感情情報を、前記受信メッセージ感情情報及び前記返信メッセージ感情情報に応じた感情情報とする第3感情モードに設定する第3設定手段を備え、
    前記感情付返信メッセージ生成手段は、
    前記第3設定手段によって前記第3感情モードに設定されている場合には、前記受信メッセージ感情情報と前記返信メッセージ感情情報と前記送信感情情報とを関連付けた第3感情情報記憶手段を参照して、前記取得した受信メッセージ感情情報及び前記返信メッセージ感情情報と関連する送信感情情報を取得し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する
    ことを特徴とする請求項1〜5のいずれか1項に記載の感情付加装置。
  7. 前記第3設定手段によって前記第3感情モードに設定されている場合において、前記受信メッセージ感情情報及び前記返信メッセージ感情情報の内、感情レベルの高い感情情報を前記送信感情情報とする感情レベル優先モードに設定する感情レベル優先モード設定手段を備え、
    前記感情付返信メッセージ生成手段は、
    前記感情レベル優先モード設定手段によって前記感情レベル優先モードに設定されている場合には、前記受信メッセージ感情情報及び前記返信メッセージ感情情報の内、感情レベルの高い感情情報を前記送信感情情報として取得し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する
    ことを特徴とする請求項6に記載の感情付加装置。
  8. 前記第3設定手段によって前記第3感情モードに設定されている場合において、前記受信メッセージ感情情報と前記返信メッセージ感情情報との所定の関係に対応する感情情報を前記送信感情情報とする感情関係モードに設定する感情関係モード設定手段とを備え、
    前記感情付返信メッセージ生成手段は、
    前記感情関係モード設定手段によって前記感情関係モードに設定されている場合には、前記受信メッセージ感情情報と前記返信メッセージ感情情報と前記送信感情情報とを関連付けた感情関係記憶手段を参照して、前記受信メッセージ感情情報及び前記返信メッセージ感情情報と所定の関係となる前記送信感情情報を取得し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する
    ことを特徴とする請求項6又は7に記載の感情付加装置。
  9. 前記返信メッセージ感情情報取得手段は、
    予め感情種類とその感情レベルとを関連付けた感情辞書を参照して、前記返信メッセージの単語毎に感情種類とその感情レベルとを取得し、当該取得した返信メッセージの各感情情報のうち、最大の感情レベルを有する感情情報を、返信メッセージ感情情報として取得する
    ことを特徴とする請求項1〜8のいずれか1項に記載の感情付加装置。
  10. 他の通信機器から受信した電子メッセージ情報を受信メッセージとして記憶するメッセージ記憶手段と、
    前記受信メッセージを読み出して、前記受信メッセージの文書を単語毎に区切る受信メッセージ形態素解析手段と、
    を備え、
    前記電子メッセージ情報に前記受信メッセージ感情情報が関連付けられていない場合には、前記受信メッセージ感情情報取得手段は、
    予め前記単語毎に感情情報を関連付けた感情辞書を参照して、前記受信メッセージの区切られた単語毎に感情情報を取得し、その感情情報に基づいて受信メッセージ感情情報を取得する
    ことを特徴とする請求項1〜9のいずれか1項に記載の感情付加装置。
  11. 前記返信メッセージ感情情報取得手段は、前記返信メッセージ感情情報として、文章毎に返信メッセージ文章毎感情情報を取得し、
    前記感情付返信メッセージ生成手段は、前記受信メッセージ感情情報及び前記返信メッセージ文章毎感情情報に基づいて送信文章感情情報を決定し、前記返信メッセージの各文章と前記送信文章感情情報とを関連付けた文章毎感情付返信メッセージを生成する、
    ことを特徴とする請求項1〜10のいずれかに1項に記載の感情付加装置。
  12. 前記感情付返信メッセージ生成手段は、
    前記受信した電子メッセージ情報がCC受信者(Carbon Copy受信者)宛又はBCC受信者(Blind Carbon Copy受信者)宛の電子メールである場合には、前記受信メッセージ感情情報を前記送信感情情報として決定し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成し、
    前記受信した電子メールがCC受信者宛又はBCC受信者宛の電子メールでない場合には、前記受信メッセージ感情情報又は前記返信メッセージ感情情報に基づいて前記送信感情情報を決定し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する
    ことを特徴とする請求項1〜11のいずれか1項に記載の感情付加装置。
  13. 前記電子メッセージ情報は電子メールであり、前記返信メッセージは、前記電子メールに対応する返信メールであることを特徴とする請求項1〜12のいずれか1項に記載の感情付加装置。
  14. 電子メッセージ情報に関連付けられている感情情報を取得する受信メッセージ感情情報取得手段と、返信メッセージを入力する返信メッセージ入力手段と、文書を単語毎に区切る形態素解析手段と、前記返信メッセージの感情情報を取得する返信メッセージ感情情報取得手段と、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する感情付返信メッセージ生成手段とを備える感情付加装置を用いた感情付加方法であって、
    前記受信メッセージ感情情報取得手段が、他の通信機器から受信した電子メッセージ情報に関連付けられている受信メッセージ感情情報を取得するステップと、
    前記返信メッセージ入力手段が、受信した電子メッセージ情報に対応する返信メッセージを入力するステップと、
    前記形態素解析手段が、前記返信メッセージの文書を単語毎に区切るステップと、
    前記返信メッセージ感情情報取得手段が、予め前記単語毎に感情情報を関連付けた感情辞書を参照して、前記返信メッセージの区切られた単語毎に感情情報を取得し、その感情情報に基づいて返信メッセージ感情情報を取得するステップと、
    前記感情付返信メッセージ生成手段が、前記受信メッセージ感情情報又は前記返信メッセージ感情情報に基づいて送信感情情報を決定し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成するステップと、
    を含むことを特徴とする感情付加方法。
  15. 電子メッセージ情報に関連付けられている感情情報を取得する受信メッセージ感情情報取得手段と、返信メッセージを入力する返信メッセージ入力手段と、文書を単語毎に区切る形態素解析手段と、前記返信メッセージの感情情報を取得する返信メッセージ感情情報取得手段と、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する感情付返信メッセージ生成手段と、前記受信メッセージ感情情報取得手段、前記返信メッセージ入力手段、前記形態素解析手段、前記返信メッセージ感情情報取得手段、及び前記感情付返信メッセージ生成手段を制御することが可能な情報処理手段とを備える感情付加装置の情報処理手段にて実行される感情付加プログラムであって、
    前記情報処理手段が、
    前記受信メッセージ感情情報取得手段に、他の通信機器から受信した電子メッセージ情報に関連付けられている受信メッセージ感情情報を取得する機能と、
    前記返信メッセージ入力手段から、受信した電子メッセージ情報に対応する返信メッセージを入力する機能と、
    前記形態素解析手段に、前記返信メッセージの文書を単語毎に区切る機能と、
    前記返信メッセージ感情情報取得手段に、予め前記単語毎に感情情報を関連付けた感情辞書を参照して、前記返信メッセージの区切られた単語毎に感情情報を取得し、その感情情報に基づいて返信メッセージ感情情報を取得する機能と、
    前記感情付返信メッセージ生成手段に、前記受信メッセージ感情情報又は前記返信メッセージ感情情報に基づいて送信感情情報を決定し、前記返信メッセージと前記送信感情情報とを関連付けた感情付返信メッセージを生成する機能と、
    を実現させることを特徴とする感情付加プログラム。
JP2006093559A 2006-03-30 2006-03-30 感情付加装置、感情付加方法及び感情付加プログラム Pending JP2007271655A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006093559A JP2007271655A (ja) 2006-03-30 2006-03-30 感情付加装置、感情付加方法及び感情付加プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006093559A JP2007271655A (ja) 2006-03-30 2006-03-30 感情付加装置、感情付加方法及び感情付加プログラム

Publications (1)

Publication Number Publication Date
JP2007271655A true JP2007271655A (ja) 2007-10-18

Family

ID=38674559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006093559A Pending JP2007271655A (ja) 2006-03-30 2006-03-30 感情付加装置、感情付加方法及び感情付加プログラム

Country Status (1)

Country Link
JP (1) JP2007271655A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009157660A (ja) * 2007-12-26 2009-07-16 Kyocera Corp 絵文字入力支援装置、絵文字入力支援方法、およびプログラム
JP2010508596A (ja) * 2006-11-01 2010-03-18 ポリディグム カンパニー リミテッド メッセージのアイコン組合せ方法
JP2012247557A (ja) * 2011-05-26 2012-12-13 Nippon Telegr & Teleph Corp <Ntt> 音声合成装置、その方法及びプログラム
WO2014013886A1 (ja) * 2012-07-17 2014-01-23 ソニー株式会社 情報処理装置、サーバ、情報処理方法、および情報処理システム
WO2016090762A1 (zh) * 2014-12-12 2016-06-16 中兴通讯股份有限公司 一种语音信号的处理方法、终端及计算机存储介质
JP2017152021A (ja) * 2017-04-13 2017-08-31 株式会社L is B メッセージシステム
JP2018055437A (ja) * 2016-09-29 2018-04-05 株式会社東芝 コミュニケーション装置、コミュニケーション方法、およびコミュニケーションプログラム
WO2018079332A1 (ja) * 2016-10-31 2018-05-03 ソニー株式会社 情報処理装置及び情報処理方法
JP2018534641A (ja) * 2016-07-07 2018-11-22 深▲せん▼狗尾草智能科技有限公司Shenzhen Gowild Robotics Co.,Ltd. ロボットの感情データ更新方法及びシステム
JP7501348B2 (ja) 2020-12-22 2024-06-18 株式会社Jvcケンウッド 情報出力装置および情報出力方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104778A (ja) * 1993-10-07 1995-04-21 Fuji Xerox Co Ltd 感情表出装置
JP2001034280A (ja) * 1999-07-21 2001-02-09 Matsushita Electric Ind Co Ltd 電子メール受信装置および電子メールシステム
JP2003202885A (ja) * 2001-12-28 2003-07-18 Canon Electronics Inc 情報処理装置及び方法
JP2004259238A (ja) * 2003-02-25 2004-09-16 Kazuhiko Tsuda 自然言語解析における感情理解システム
JP2005025642A (ja) * 2003-07-04 2005-01-27 Fuji Xerox Co Ltd メッセージ処理装置および方法
JP2005332266A (ja) * 2004-05-20 2005-12-02 Sony Corp 情報処理装置および方法、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104778A (ja) * 1993-10-07 1995-04-21 Fuji Xerox Co Ltd 感情表出装置
JP2001034280A (ja) * 1999-07-21 2001-02-09 Matsushita Electric Ind Co Ltd 電子メール受信装置および電子メールシステム
JP2003202885A (ja) * 2001-12-28 2003-07-18 Canon Electronics Inc 情報処理装置及び方法
JP2004259238A (ja) * 2003-02-25 2004-09-16 Kazuhiko Tsuda 自然言語解析における感情理解システム
JP2005025642A (ja) * 2003-07-04 2005-01-27 Fuji Xerox Co Ltd メッセージ処理装置および方法
JP2005332266A (ja) * 2004-05-20 2005-12-02 Sony Corp 情報処理装置および方法、プログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010508596A (ja) * 2006-11-01 2010-03-18 ポリディグム カンパニー リミテッド メッセージのアイコン組合せ方法
JP2009157660A (ja) * 2007-12-26 2009-07-16 Kyocera Corp 絵文字入力支援装置、絵文字入力支援方法、およびプログラム
JP2012247557A (ja) * 2011-05-26 2012-12-13 Nippon Telegr & Teleph Corp <Ntt> 音声合成装置、その方法及びプログラム
WO2014013886A1 (ja) * 2012-07-17 2014-01-23 ソニー株式会社 情報処理装置、サーバ、情報処理方法、および情報処理システム
CN104428759A (zh) * 2012-07-17 2015-03-18 索尼公司 信息处理装置、服务器、信息处理方法和信息处理系统
JPWO2014013886A1 (ja) * 2012-07-17 2016-06-30 ソニー株式会社 情報処理装置、サーバ、情報処理方法、および情報処理システム
WO2016090762A1 (zh) * 2014-12-12 2016-06-16 中兴通讯股份有限公司 一种语音信号的处理方法、终端及计算机存储介质
CN105741854A (zh) * 2014-12-12 2016-07-06 中兴通讯股份有限公司 一种语音信号的处理方法及终端
JP2018534641A (ja) * 2016-07-07 2018-11-22 深▲せん▼狗尾草智能科技有限公司Shenzhen Gowild Robotics Co.,Ltd. ロボットの感情データ更新方法及びシステム
JP2018055437A (ja) * 2016-09-29 2018-04-05 株式会社東芝 コミュニケーション装置、コミュニケーション方法、およびコミュニケーションプログラム
WO2018061862A1 (ja) * 2016-09-29 2018-04-05 株式会社東芝 コミュニケーション装置、コミュニケーション方法、および記憶媒体
CN109791525A (zh) * 2016-09-29 2019-05-21 株式会社东芝 交流装置、交流方法及存储介质
US11144713B2 (en) 2016-09-29 2021-10-12 Kabushiki Kaisha Toshiba Communication device generating a response message simulating a response by a target user
CN109791525B (zh) * 2016-09-29 2023-03-10 株式会社东芝 交流装置、交流方法及存储介质
WO2018079332A1 (ja) * 2016-10-31 2018-05-03 ソニー株式会社 情報処理装置及び情報処理方法
JP2017152021A (ja) * 2017-04-13 2017-08-31 株式会社L is B メッセージシステム
JP7501348B2 (ja) 2020-12-22 2024-06-18 株式会社Jvcケンウッド 情報出力装置および情報出力方法

Similar Documents

Publication Publication Date Title
JP2007271655A (ja) 感情付加装置、感情付加方法及び感情付加プログラム
US10720145B2 (en) Speech synthesis apparatus, speech synthesis method, speech synthesis program, portable information terminal, and speech synthesis system
KR101181785B1 (ko) 미디어 처리 서버 장치 및 미디어 처리 방법
JP3895766B2 (ja) 音声合成装置
US9799323B2 (en) System and method for low-latency web-based text-to-speech without plugins
JP4745036B2 (ja) 音声翻訳装置および音声翻訳方法
WO2009151509A2 (en) Multilingual asynchronous communications of speech messages recorded in digital media files
JP2007183421A (ja) 音声合成装置
WO2005093713A1 (ja) 音声合成装置
JP2007264284A (ja) 感情付加装置、感情付加方法及び感情付加プログラム
JP3270356B2 (ja) 発話文書作成装置,発話文書作成方法および発話文書作成手順をコンピュータに実行させるプログラムを格納したコンピュータ読み取り可能な記録媒体
JP3595041B2 (ja) 音声合成システムおよび音声合成方法
JP4298612B2 (ja) 音楽データ加工方法、音楽データ加工装置、音楽データ加工システム及びコンピュータプログラム
KR20050080671A (ko) 티티에스 시스템의 이모티콘 처리 방법
JP2005062420A (ja) コンテンツ生成システム、コンテンツ生成方法およびコンテンツ生成プログラム
JP2005128711A (ja) 感性情報推定方法および文字アニメーション作成方法、これらの方法を用いたプログラム、記憶媒体、感性情報推定装置、文字アニメーション作成装置
JP4841339B2 (ja) 韻律補正装置、音声合成装置、韻律補正方法、音声合成方法、韻律補正プログラム、および、音声合成プログラム
JP6289950B2 (ja) 読み上げ装置、読み上げ方法及びプログラム
JP3668583B2 (ja) 音声合成装置及びその方法
JP4056647B2 (ja) 波形接続型音声合成装置および方法
JP6993034B1 (ja) コンテンツ再生方法、及びコンテンツ再生システム
JP2004287756A (ja) 電子メール作成装置及び電子メール作成方法
Görmez et al. TTTS: Turkish text-to-speech system
Das et al. Twee: A Novel Text-To-Speech Engine
JP5136293B2 (ja) 音声合成装置、音声合成方法、およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110125