JP2004305330A

JP2004305330A - Mobile communication terminal device and audio information generating system

Info

Publication number: JP2004305330A
Application number: JP2003100630A
Authority: JP
Inventors: Yasuhiro Kumagai; 泰宏熊谷
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2003-04-03
Filing date: 2003-04-03
Publication date: 2004-11-04

Abstract

<P>PROBLEM TO BE SOLVED: To provide a mobile communication terminal device which can perform a communication to notify a counter part side of the variation of his mental state and the change of his physical state of a caller. <P>SOLUTION: The pulse of the caller is detected by using a pulse sensor 10, and a detected output signal is transmitted to a pulse sound generator 20. Then, the pulse sound generator 20 converts the detected output signal to a pseudo pulse sound signal for which a tone setting can be performed in the audio range in order to let the detected output signal pass through an audio communication path. Then, the pseudo pulse sound signal converted by the pulse sound generator 20 is transmitted to a communication terminal device on the counter part side while being superposed with a sound signal transmitted from a transmitter 40. In the communication terminal device on the counter part side, the signal passes as a pseudo pulse sound, and an excitement or a tensile feeling of the caller which is not expressed in voice, by an electronic mail or a picked-up image can be transmitted to the counter part side. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、移動体通信端末装置、通信端末装置に音声情報を出力する音声情報発生装置に関し、より詳細には、セルラー方式やＣＤＭＡ（ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）方式などによる情報通信を行うための携帯電話機やＰＨＳ（ＰｅｒｓｏｎａｌＨａｎｄｙｐｈｏｎｅＳｙｓｔｅｍ）方式によるＰＨＳ端末などの移動体通信端末装置、有線または無線での通信が可能な通信端末装置に音声情報を出力する音声情報発生装置に関する。
【０００２】
【従来の技術】
近年の移動体通信端末装置にはブラウザ機能やメール機能など様々な付加機能を搭載し、音声情報のみならず、文字情報や静止画像情報を送受信できる移動体通信端末装置がある。
【０００３】
一方、近年の情報通信技術の発達により、音声情報と動画情報とをリアルタイムで双方向に送受信可能なテレビ電話が開発されている。このテレビ電話には、マイク（音声入力部）とカメラ（画像入力部）とによりリアルタイムに入力した音声情報と画像情報とを相手側に送信し、相手側から送信される音声情報と画像情報とをスピーカ（音声出力部）とディスプレイ（画像表示部）とに出力する構成となっている。
【０００４】
また、本発明の先の出願となる技術文献として、発信者側の生体を検査して得られた検査情報に基づく診断情報を受信者側の端末に自動的に送信し、且つ、受信者側の端末から送信される受信者側の検査情報に基づく診断情報を受信し、該受信した診断情報を表示することで、発信者側に関する無意識の情報を双方向に送受信する発明がある（例えば、特許文献１参照）。
【０００５】
また、ジャケットを着用した者の心拍数、体温等を検出し、該検出した情報を音声信号に変換して送信することで、ジャケットを着用した本人の身体状態を通報する発明がある（例えば、特許文献２参照）。
【０００６】
【特許文献１】
特開２００２−２８２２１８号公報
【特許文献２】
特開２００１−２６２４０８号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の移動体通信端末装置では、通話機能と、ブラウザ機能やメール機能と、が別々に動作していたため、通話中は文字情報や画像情報を送受信することができず、使い勝手が悪いという問題点がある。
このため、通話中の相手側の状態を知りたい場合などに対応することができない。
【０００８】
また、テレビ電話では、音声情報と画像情報とを送受信可能となるため、相手側の状態を知りながら話したりすることは可能となるが、機能構成が複雑で高価になりやすい問題がある。
【０００９】
また、特許文献１においては、音声信号と、検査情報に基づく診断情報と、をマルチプレクスし、マルチプレクスされた音声信号並びに診断情報を受信者側の端末に送信し、受信者側の端末は、該受信した診断情報を表示部に表示するため、受信者側は、表示部に表示された診断情報を見なければ、発信者側に関する無意識の情報を把握することができない。
【００１０】
また、特許文献２においては、ジャケットを着用した者の心拍数、体温等から検出した情報を音声信号に変換して送信することで、ジャケットを着用した者の身体状態を通報することとしており、ジャケットを着用した本人の音声を同時に送信することは考慮していない。
【００１１】
本発明は上記事情に鑑みてなされたものであり、通話者の精神状態の変化や身体状態の変化を相手側に通じさせるコミュニケーションが可能な移動体通信端末装置、通信端末装置に音声情報を出力する音声情報発生装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
かかる目的を達成するために本発明は、以下のような特徴を有する。
請求項１記載の発明は、通話者の身体状態の変化を検出し、検出パルスを生成する身体状態検出手段と、身体状態検出手段により生成した検出パルスを、音声通話網を介して送信可能な疑似脈拍音信号に変換する疑似脈拍音信号変換手段と、疑似脈拍音信号変換手段により変換した疑似脈拍音信号を通話者の音声信号に重畳して送信する送信手段と、を有して構成されることを特徴とする。
【００１３】
請求項２記載の発明は、請求項１記載の移動体通信端末装置において、疑似脈拍音信号変換手段により変換した疑似脈拍音信号の増幅を調整する音量調整手段を有することを特徴とする。
【００１４】
請求項３記載の発明は、請求項１または２記載の移動体通信端末装置において、疑似脈拍音信号変換手段により変換した疑似脈拍音信号の音色を選択する脈拍音選択手段を有することを特徴とする。
【００１５】
請求項４記載の発明は、請求項３記載の移動体通信端末装置において、脈拍音選択手段により選択する疑似脈拍音信号の音色を格納する脈拍音色格納手段を有することを特徴とする。
【００１６】
請求項５記載の発明は、請求項１から３のいずれか１項に記載の移動体通信端末装置において、疑似脈拍音信号変換手段は、身体状態検出手段により生成した検出パルスの変化を誇張する検出パルス変化誇張手段を有することを特徴とする。
【００１７】
請求項６記載の発明は、請求項５記載の移動体通信端末装置において、検出パルス変化誇張手段を実行するか否かを設定する検出パルス変化誇張実行手段を有することを特徴とする。
【００１８】
請求項７記載の発明は、請求項５記載の移動体通信端末装置において、検出パルス変化誇張手段は、身体状態検出手段により生成した検出パルスの単位時間あたりのパルス数をカウントする検出パルスカウント手段と、検出パルスカウント手段によりカウントした単位時間あたりの正常値となるカウント値を格納する検出パルス格納手段と、を有し、検出パルス変化誇張手段は、検出パルス格納手段に格納した正常値となるカウント値と、検出パルスカウント手段によりカウントしたカウント値と、の値の変化を基に検出パルスの変化を誇張することを特徴とする。
【００１９】
請求項８記載の発明は、請求項７記載の移動体通信端末装置において、検出パルスの変化の誇張は、検出パルスカウント手段によりカウントしたカウント値から、検出パルス格納手段に格納したカウント値を減算する減算手段と、減算手段により減算された値に所定の倍率を乗算する乗算手段と、乗算手段により乗算された値を検出パルス格納手段に格納したカウント値に加算する加算手段と、加算手段により加算された値をパルス列に再生するパルス再生手段と、を有し、検出パルスの変化を誇張することを特徴とする。
【００２０】
請求項９記載の発明は、請求項７記載の移動体通信端末装置において、検出パルスの変化の誇張は、検出パルスカウント手段によりカウントしたカウント値から、検出パルス格納手段に格納したカウント値を減算する減算手段と、減算手段により減算された値に所定の倍率を乗算する乗算手段と、乗算手段により乗算された値を検出パルスカウント手段によりカウントしたカウント値に加算する加算手段と、加算手段により加算された値をパルス列に再生するパルス再生手段と、を有し、検出パルスの変化を誇張することを特徴とする。
【００２１】
請求項１０記載の発明は、請求項８または９記載の移動体通信端末装置において、乗算手段により乗算する所定の倍率を設定する倍率設定手段を有することを特徴とする。
【００２２】
請求項１１記載の発明は、通信端末装置間で通話を行う際に、通信端末装置に音声情報を出力する音声情報発生装置であって、通話者の身体状態の変化を検出し、検出パルスを生成する身体状態検出手段と、身体状態検出手段により生成した検出パルスを、音声通話網を介して送信可能な疑似脈拍音信号に変換する疑似脈拍音信号変換手段と、疑似脈拍音信号変換手段により変換した疑似脈拍音信号を通話者の音声信号に重畳する重畳手段と、重畳手段により重畳した音声信号を通信端末装置に出力する配線手段と、を有して構成されることを特徴とする。
【００２３】
請求項１２記載の発明は、請求項１１記載の音声情報発生装置において、疑似脈拍音信号変換手段により変換した疑似脈拍音信号の増幅を調整する音量調整手段を有することを特徴とする。
【００２４】
請求項１３記載の発明は、請求項１１または１２記載の音声情報発生装置において、疑似脈拍音信号変換手段により変換した疑似脈拍音信号の音色を選択する脈拍音選択手段を有することを特徴とする。
【００２５】
請求項１４記載の発明は、請求項１３記載の音声情報発生装置において、脈拍音選択手段により選択する疑似脈拍音信号の音色を格納する脈拍音色格納手段を有することを特徴とする。
【００２６】
請求項１５記載の発明は、請求項１１から１３のいずれか１項に記載の音声情報発生装置において、疑似脈拍音信号変換手段は、身体状態検出手段により生成した検出パルスの変化を誇張する検出パルス変化誇張手段を有することを特徴とする。
【００２７】
請求項１６記載の発明は、請求項１５記載の音声情報発生装置において、検出パルス変化誇張手段を実行するか否かを設定する検出パルス変化誇張実行手段を有することを特徴とする。
【００２８】
請求項１７記載の発明は、請求項１５記載の音声情報発生装置において、検出パルス変化誇張手段は、身体状態検出手段により生成した検出パルスの単位時間あたりのパルス数をカウントする検出パルスカウント手段と、検出パルスカウント手段によりカウントした単位時間あたりの正常値となるカウント値を格納する検出パルス格納手段と、を有し、検出パルス変化誇張手段は、検出パルス格納手段に格納した正常値となるカウント値と、検出パルスカウント手段によりカウントしたカウント値と、の値の変化を基に検出パルスの変化を誇張することを特徴とする。
【００２９】
請求項１８記載の発明は、請求項１７記載の音声情報発生装置において、検出パルスの変化の誇張は、検出パルスカウント手段によりカウントしたカウント値から、検出パルス格納手段に格納したカウント値を減算する減算手段と、減算手段により減算された値に所定の倍率を乗算する乗算手段と、乗算手段により乗算された値を検出パルス格納手段に格納したカウント値に加算する加算手段と、加算手段により加算された値をパルス列に再生するパルス再生手段と、を有し、検出パルスの変化を誇張することを特徴とする。
【００３０】
請求項１９記載の発明は、請求項１７記載の音声情報発生装置において、検出パルスの変化の誇張は、検出パルスカウント手段によりカウントしたカウント値から、検出パルス格納手段に格納したカウント値を減算する減算手段と、減算手段により減算された値に所定の倍率を乗算する乗算手段と、乗算手段により乗算された値を検出パルスカウント手段によりカウントしたカウント値に加算する加算手段と、加算手段により加算された値をパルス列に再生するパルス再生手段と、を有し、検出パルスの変化を誇張することを特徴とする。
【００３１】
請求項２０記載の発明は、請求項１８または１９記載の音声情報発生装置において、乗算手段により乗算する所定の倍率を設定する倍率設定手段を有することを特徴とする。
【００３２】
【発明の実施の形態】
（発明の特徴）
まず、図１を参照しながら、本発明にかかるコミュニケーションツールについて説明する。
本発明にかかるコミュニケーションツールは、脈拍を測定することで生成されるパルス信号を、音声通話網を介して相手側の通信端末装置に送信するために可聴周波数信号に変換し、該変換した可聴周波数信号を通話者の音声信号に重畳して相手側の通信端末装置に伝送するツールである。
このコミュニケーションツールにより、単に、音声情報やテキストや画像情報のみならず、通話者の精神状態の変化や身体状態の変化が相手側の通信端末装置に音声信号として送信されることとなり、メールの文章や顔画像情報からでは把握することが困難な通話者の興奮や緊張感が相手側に伝わることとなり、さらなる臨場感、あるいは相手側との一体感が得られるコミュニケーションが可能となる。
【００３３】
（第１の実施の形態）
まず、図１を参照しながら本発明にかかる第１の実施の形態について説明する。
第１の実施の形態における音声情報発生装置は、図１に示すように、人体の脈拍を測定し、脈拍パルスを生成する脈拍センサ１０と、脈拍センサ１０の出力信号をトリガ信号として、可聴周波数で音色設定可能な擬似的脈拍音信号を発生する脈拍音発生器２０と、脈拍音発生器２０の出力信号を調整する音量調整器３０と、音声信号を生成する送話器４０と、受話信号を受信する受話器５０と、送話器４０の出力信号と音量調整器３０の出力信号とを加算する加算器６０と、加算器６０の出力信号を移動体通信端末装置に出力し、移動体通信端末装置からの受話信号を受けて受話器５０へ送信するためのプラグ７０と、を有する。
【００３４】
次に、図２を参照しながら、本発明にかかる音声情報発生装置を用いたコミュニケーションツールの利用形態を説明する。
まず、通話者の耳たぶをクリップで挟んでとめる形態の脈拍センサ１０と、送話器４０と、受話器５０と、を有して構成されるヘッドセット８０を頭に装着する。ヘッドセット８０は、ケーブルを介してコントローラ１００に接続し、コントローラ１００を介して移動体通信端末２００のヘッドホンジャックにプラグ７０を挿入することで、本発明にかかる音声情報発生装置を用いたコミュニケーションツールが利用可能となる。なお、コントローラ１００は、脈拍音色選択つまみ２１と、脈拍音量調整つまみ３１と、基準脈拍読み込みボタン１８と、を有して構成される。なお、本発明にかかる音声情報発生装置は、移動体通信端末装置２００に入出力する音声信号を生成するが、相手側の通信端末装置への伝達は既存の音声通信手段を利用するため、使用にあたっては、移動体通信端末装置２００の具備するヘッドホンジャックに本ツールのプラグ７０を挿入することとする。
【００３５】
（第１の実施の形態における処理動作）
次に、図１を参照しながら、音声情報発生装置を用いた第１の実施の形態におけるコミュニケーションツールの処理動作について説明する。
まず、耳たぶをクリップで挟んで止める形態の脈拍センサ１０を用いて通話者の脈拍を検出し、電気信号パルスを出力する。脈拍センサ１０は、耳たぶ内の血管に流れる血流の変化を検出することで電気信号パルスを出力する。なお、脈拍センサ１０から電気信号パルスを出力する出力方法は公知の技術を用いて行うことが可能であり特に限定しない。また、脈拍センサ１０を用いて脈拍を検出する身体部分は特に限定せず、脈拍を検出する検出身体部分に応じて形成される形態の構成部分に脈拍センサ１０を搭載することで、脈拍を検出することとする。なお、脈拍センサ１０からは、図１の“ａ”で示した形のパルス信号が出力される。
【００３６】
脈拍音発生器２０は、脈拍センサ１０から入力された電気信号パルスがトリガされると、１回のトリガにつき１発の、可聴周波数で音色設定可能な擬似脈拍音信号を発生する。なお、擬似脈拍音信号は、図２に示すコントローラ１００のメモリに予め蓄積されているものとする。このように、脈拍センサ１０の出力パルス列の１パルスをトリガにして、可聴周波数で音色設定可能な１発の擬似脈拍音信号を発生させることで、音声通信網を介して擬似的な脈拍音信号を送信することが可能となる。また、擬似脈拍音信号は予め何種類か作っておき合成音としてメモリに蓄積しておくこととする。
【００３７】
この擬似脈拍音信号は、例えば「ドクン」といった信号音であり図１の“ｂ”で示す形態のアナログ信号となる。このアナログ信号は音量調整器３０により振幅が調整され図１の“ｃ”のような波形となる。音量調整は、図２に示す脈拍音量調整つまみ３１を利用者が操作することで行われる。このとき、通話者は受話器５０から聞こえる擬似脈拍音信号を、相手側の通信端末装置から発する音が聞こえやすくなるように、脈拍音量調整つまみ３１を操作して音量調整を行うこととする。
【００３８】
また、脈拍音色選択つまみ２１を用いて相手側の通信端末装置に送信する擬似脈拍音の種類を選択する。例えば、通話者側の擬似脈拍音と相手側の擬似脈拍音とを区別できるよう、周波数成分を高いものと低いものなどに選択するとともに、娯楽性を高めるために面白い音を選択する。これにより、例えば、脈拍センサ１０を付けた通話者側が男性、相手側が女性の場合には、通話者側は低い周波数成分を多く含む擬似脈拍音信号を選択し、相手側には高い周波数成分を多く含む擬似脈拍音信号を選択することが可能となる。
【００３９】
次に、音量調整器３０を通過した擬似脈拍音信号は、送話器４０から出力される音声信号と、加算器６０において加算され、プラグ７０を経由して接続された移動体通信端末装置２００（図２参照）に出力される。このように、擬似脈拍音信号を送話器４０で集音した音声信号と重ね合わせることにより、音声通信網を介して相手側の通信端末装置に伝送することが可能となる。また、移動体通信端末装置２００（図２参照）に受信された受話信号はプラグ７０を経由して受話器５０に入力され、音声に変換される。
【００４０】
なお、移動体通信端末装置２００（図２参照）に出力された擬似脈拍音信号は、音声信号と全く同じ扱いで相手側の通信端末装置に伝送される。また、移動体通信端末装置は、電話機などの音声通信手段を有する通信端末装置でも可能であり、特に限定しない。
【００４１】
このように、脈拍センサ１０を用いて通話者の脈拍を検出し、該検出した出力信号を脈拍音発生器２０に送信する。そして、脈拍音発生器２０は、音声通信路を通すために可聴周波数で音色設定可能な疑似脈拍音信号に変換する。これにより、「ドクン、ドクン」というような擬似的な脈拍音を電気的に発生させることが可能となる。そして、脈拍音発生器２０で変換された疑似脈拍音信号を送話器４０から送られてくる音声信号に重畳して相手側の通信端末装置に送信することで、通話中に、擬似的な脈拍音として流すことが可能となり、音声やメールや撮影画像には表現されない、通話者の興奮や緊張感を相手側に伝えることが可能となる。
【００４２】
例えば、通話時における通話者の精神状態の変化や身体状態の変化が相手側に伝わりやすくなり、大事なことを相手側に告白するとき、嘘をつくとき、急いで走ってきたときなどに、通話者の内面的な変化が通話者の意思に関わり無く相手側に伝わることとなり、非常に面白いコミュニケーションが可能となる。
【００４３】
また、相手側の通信端末装置に送信する音声信号に対して擬似脈拍音信号が大きすぎると通話の妨げになるため、音量調整器３０を用いて疑似脈拍音信号の振幅を調整することで、疑似脈拍音信号の音量調整を行うことが可能となり、相手側に対して最適な擬似脈拍音信号を送信することが可能となる。
【００４４】
（第２の実施の形態）
次に、図３を参照しながら、本発明にかかる第２の実施の形態について説明する。
第２の実施の形態における音声情報発生装置は、図３に示すように、人体の脈拍を測定し、脈拍パルスを生成する脈拍センサ１０と、脈拍センサ１０の出力信号のパルス数をカウントするカウンタ１１と、カウンタ１１の出力信号値を記憶する基準脈拍メモリ１３と、カウンタ１１の出力信号値を基準脈拍メモリ１３に伝えるか否かを決定するスイッチ１２と、カウンタ１１の出力信号値から基準脈拍メモリ１３の出力信号値を減算する減算器１４と、減算器１４の出力信号値に指定された倍率を乗ずる乗算器１５と、乗算器１５の出力信号値と基準脈拍メモリ１３の出力信号値とを加算する加算器１６と、加算器１６の出力信号値をパルス列に再生するパルス再生器１７と、パルス再生器１７の出力信号値をトリガ信号として、可聴周波数で音色設定が可能な擬似的脈拍音信号を発生する脈拍音発生器２０と、脈拍音発生器２０の出力信号の大きさを調整する音量調整器３０と、送話器４０と、受話器５０と、送話器４０の出力信号と音量調整器３０の出力信号とを加算する加算器６０と、加算器６０の出力信号を携帯電話機などの移動体通信端末装置に出力し、移動体通信端末装置からの受話信号を受けて該受話器５０へ送信するためのプラグ７０と、を有して構成される。
【００４５】
（第２の実施の形態における処理動作）
次に、図３を参照しながら、上記構成からなる音声情報発生装置を用いた第２の実施の形態におけるコミュニケーションツールの処理動作について説明する。
【００４６】
第１の実施の形態と同様に、まず、耳たぶにクリップで挟んで止める形態の脈拍センサ１０を用いて通話者の脈拍を検出し、該検出した脈拍のパルス列をカウンタ１１に出力する。カウンタ１１は、脈拍センサ１０から出力されたパルス列から単位時間あたりのパルス数をカウントする。なお、単位時間は１分間としてもよいし、より早く脈拍変化を相手側に伝えるためには１０秒間程度としてもよい。カウンタ１１でカウントされたカウント値は単位時間毎に更新される。
【００４７】
なお、通話者は、相手側とのコミュニケーションを行う前に、平常の脈拍数と思われるときの脈拍数を、脈拍センサ１０を用いて音声情報発生装置に記憶する。通話者が、図２に示される基準脈拍読み込みボタン１８を押下することでスイッチ１２が閉じ、単位時間内の脈拍数が基準脈拍メモリ１３に記憶される。基準脈拍メモリ１３は、再度、基準脈拍読み込みボタン１８が押下されるまで、基準脈拍メモリ１３に記憶した脈拍数を保持することとなる。
【００４８】
ここで説明の便のため、単位時間を１分間、基準脈拍メモリ１３に記憶した脈拍数を８０とする。まず、実際の相手側とのコミュニケーション時にカウンタ１１でカウントされたカウント値が８５とすると、減算器１４では、「カウンタ１１でカウントされたカウント値−基準脈拍メモリ１３に記憶された脈拍数」の減算を行う。この例では、カウンタ１１でカウントされたカウント値（８５）−基準脈拍メモリ１３に記憶された脈拍数（８０）＝＋５が、減算器１４から出力される。
【００４９】
減算器１４の出力値は乗算器１５によって所定の倍率を乗じられる。ここで所定の倍率は「×２」とする。この倍率は、任意の倍率を設定するための倍率設定手段を設け、利用者が任意に倍率を設定することも可能である。
この例では乗算器１５の出力値は、減算器１４の出力値（＋５）×倍率（２）＝＋１０となる。
【００５０】
乗算器１５の出力値は、加算器１６において基準脈拍メモリ１３の出力値と加算される。
この例では加算器１６の出力値は、乗算器１５の出力値（＋１０）＋基準脈拍メモリ１３に記憶された脈拍数（８０）＝９０となる。この値がパルス再生器１７に入力されると、パルス再生器１７は、この例では毎分９０個のパルス列を出力する。このパルス列は脈拍音発生器２０に入力される。以下の処理は、第１の実施の形態と同様な処理を行うこととなる。
【００５１】
このように、通話者の平常時の基準脈拍数を、脈拍センサ１０を用いて予め基準脈拍メモリ１３に記憶させ、実際の通話時に通話者が興奮したり緊張したりすることで脈拍センサ１０から検出される脈拍数が上がって来た場合、脈拍センサ１０から検出した通話時の脈拍数を、基準脈拍メモリ１３に記憶した基準脈拍数で減算し差分を出し、この差分を乗算器１５で増幅し、この増幅した数を、基準脈拍メモリ１３に記憶した基準脈拍数に足し合わせることで、実際の脈拍変化より大きな変化を作り出すことができる。これにより、脈拍の変化を誇張して伝えることとなり、通話時のコミュニケーションをさらに密接にすることが可能となる。
【００５２】
なお、上記処理動作において、図３に示すように、加算器１６において、乗算器１５の出力値と、基準脈拍メモリ１３の基準脈拍数と、を加算することとしたが、図４に示すように、加算器１６において、乗算器１５の出力値と、カウンタ１１でカウントされたカウント値と、を加算することも可能である。
【００５３】
（第３の実施の形態）
次に、第３の実施の形態について説明する。
第１と第２との実施の形態は、移動体通信端末装置に接続する音声情報発生装置を用いたコミュニケーションツールについて説明したが、第３の実施の形態は、第１、第２の実施の形態における音声情報発生装置を移動体通信端末装置に搭載した移動体通信端末装置を構成することとする。
【００５４】
第１の実施の形態におけるコミュニケーションを行う場合には、図５に示す構成を移動体通信端末装置内に構成することとし、加算器６０において、送話器４０から出力される音声信号と、音量調整器３０から出力された疑似脈拍音信号と、を重ね合わせた音声信号を送信器８０から送信することとする。
【００５５】
また、第２の実施の形態におけるコミュニケーションを行う場合には、図６、図７に示す構成を移動体通信端末装置に構成することとし、加算器６０において、送話器４０から出力される音声信号と、音量調整器３０から出力された疑似脈拍音信号と、を重ね合わせた音声信号を送信器８０から送信することとする。
【００５６】
例えば、送話器４０、受話器５０は移動体通信端末装置に内蔵する機能を使用し、脈拍センサ１０を移動体通信端末装置の受話器５０付近の耳が接触する部分に組込み、通話時に脈拍を検出するように構成することも可能である。また、コントローラ１００は、移動体通信端末装置に搭載されている操作ボタンを用いて操作を行うように構成する。このように、第１と、第２の実施の形態における音声情報発生装置を移動体通信端末装置に搭載することでも、コミュニケーションツールを実施することが可能となる。
【００５７】
なお、上述する実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。
例えば、上記実施の形態では、脈拍センサを用いて、通話者の脈拍を検出することで、通話者の精神状態の変化や身体状態の変化を検出することとしたが、通話者の精神状態の変化や身体状態の変化を検出することができる情報を検出できればよく、特に限定しない。例えば、通話者の体温や汗を検出するようにすることでも可能である。また、音声情報発生装置は、ブルートウース（Ｂｌｕｅｔｏｏｔｈ）と呼ばれる近距離無線技術により通信端末装置との間で情報通信が可能な装置に適用することも可能である。
【００５８】
【発明の効果】
以上の説明から明らかなように本発明は以下のような効果を奏する。
第１の効果は、通話時において、通話者の脈拍を擬似的な脈拍音として通話時のバックグランドとして流すことにより、通話者の声やメール文や画像に現れない興奮や緊張感を相手側に伝えることができるため、通話者の肉体的感覚もしくは感性に直接的に訴えるコミュニケーションを可能とし、これまでの音声および画像によるコミュニケーションに加え、さらに親密度、一体感をもったコミュニケーションが可能となる。
【００５９】
第２の効果は、擬似脈拍音の音色を各種設定可能にしたり、脈拍数の変化を誇張したりして相手側に伝えることで娯楽性を高めたコミュニケーションが可能となる。
【図面の簡単な説明】
【図１】第１の実施の形態におけるコミュニケーションツールの構成を示すブロック図である。
【図２】本発明にかかるコミュニケーションツールの利用形態を示す図である。
【図３】第２の実施の形態におけるコミュニケーションツールの第１の構成を示すブロック図である。
【図４】第２の実施の形態におけるコミュニケーションツールの第２の構成を示すブロック図である。
【図５】第１の実施の形態におけるコミュニケーションツールを移動体通信端末装置に搭載した構成を示すブロック図である。
【図６】第２の実施の形態におけるコミュニケーションツールを移動体通信端末装置に搭載した第１の構成を示すブロック図である。
【図７】第２の実施の形態におけるコミュニケーションツールを移動体通信端末装置に搭載した第２の構成を示すブロック図である。
【符号の説明】
１０脈拍センサ
１１カウンタ
１２スイッチ
１３基準脈拍メモリ
１４減算器
１５乗算器
１６加算器
１７パルス再生器
２０脈拍音発生器
３０音量調整器
４０送話器
５０受話器
６０加算器
７０プラグ
８０送信器[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a mobile communication terminal device and a voice information generating device that outputs voice information to the communication terminal device. More specifically, the present invention relates to a portable device for performing information communication by a cellular system, a CDMA (Code Division Multiple Access) system, or the like. The present invention relates to a mobile communication terminal device such as a telephone, a PHS (Personal Handyphone System) PHS terminal, and a voice information generating device that outputs voice information to a communication terminal device capable of wired or wireless communication.
[0002]
[Prior art]
2. Description of the Related Art In recent years, there are mobile communication terminal devices equipped with various additional functions such as a browser function and a mail function and capable of transmitting and receiving not only voice information but also character information and still image information.
[0003]
On the other hand, with the development of information communication technology in recent years, videophones capable of transmitting and receiving audio information and moving image information in real time in two directions have been developed. This videophone transmits, to a partner, voice information and image information input in real time by a microphone (voice input unit) and a camera (image input unit), and transmits voice information and image information transmitted from the partner. Is output to a speaker (audio output unit) and a display (image display unit).
[0004]
Further, as a technical document which is an earlier application of the present invention, diagnostic information based on test information obtained by examining a living body of a sender is automatically transmitted to a terminal of a receiver, and There is an invention that receives diagnostic information based on test information on a receiver side transmitted from a terminal of the receiver and displays the received diagnostic information, thereby transmitting and receiving unconscious information on the sender side in two directions (for example, Patent Document 1).
[0005]
Further, there is an invention that detects a heart rate, a body temperature, and the like of a person wearing a jacket, converts the detected information into an audio signal and transmits the signal, thereby reporting the physical condition of the person wearing the jacket (for example, Patent Document 2).
[0006]
[Patent Document 1]
JP-A-2002-282218
[Patent Document 2]
JP 2001-262408 A
[0007]
[Problems to be solved by the invention]
However, in the conventional mobile communication terminal device, since the call function, the browser function and the mail function operate separately, character information and image information cannot be transmitted and received during a call, which is inconvenient. There is a problem.
For this reason, it is not possible to cope with a case where it is desired to know the state of the other party during a call.
[0008]
In a videophone, since voice information and image information can be transmitted and received, it is possible to talk while knowing the state of the other party, but there is a problem that the functional configuration is complicated and the cost tends to be high.
[0009]
Further, in Patent Document 1, an audio signal and diagnostic information based on test information are multiplexed, and the multiplexed audio signal and diagnostic information are transmitted to a terminal on the receiver side. Since the received diagnostic information is displayed on the display unit, the receiver side cannot grasp unconscious information regarding the sender side without looking at the diagnostic information displayed on the display unit.
[0010]
Further, in Patent Document 2, by converting information detected from the heart rate, body temperature, and the like of the person wearing the jacket into an audio signal and transmitting the signal, the body condition of the person wearing the jacket is reported, It does not consider transmitting the voice of the person wearing the jacket at the same time.
[0011]
The present invention has been made in view of the above circumstances, and outputs voice information to a mobile communication terminal device and a communication terminal device capable of communication that allows the other party to communicate a change in the mental state and a change in the physical state of the caller. It is an object of the present invention to provide a voice information generating device that performs
[0012]
[Means for Solving the Problems]
In order to achieve such an object, the present invention has the following features.
According to the first aspect of the present invention, it is possible to detect a change in the physical condition of a caller and generate a detection pulse, and transmit the detection pulse generated by the physical condition detection device via a voice communication network. A pseudo pulse sound signal converting means for converting the pseudo pulse sound signal into a pseudo pulse sound signal, and a transmitting means for superimposing the pseudo pulse sound signal converted by the pseudo pulse sound signal converting means on the voice signal of the caller and transmitting the signal. It is characterized by that.
[0013]
According to a second aspect of the present invention, there is provided the mobile communication terminal device according to the first aspect, further comprising a volume adjusting means for adjusting the amplification of the pseudo pulse sound signal converted by the pseudo pulse sound signal converting means.
[0014]
According to a third aspect of the present invention, there is provided the mobile communication terminal device according to the first or second aspect, further comprising a pulse sound selecting means for selecting a tone color of the pseudo pulse sound signal converted by the pseudo pulse sound signal converting means. I do.
[0015]
According to a fourth aspect of the present invention, there is provided the mobile communication terminal device according to the third aspect, further comprising a pulse tone color storing means for storing a tone color of the pseudo pulse tone signal selected by the pulse tone selecting means.
[0016]
According to a fifth aspect of the present invention, in the mobile communication terminal device according to any one of the first to third aspects, the pseudo pulse sound signal conversion unit exaggerates a change in the detection pulse generated by the body state detection unit. It is characterized by having detection pulse change exaggeration means.
[0017]
According to a sixth aspect of the present invention, in the mobile communication terminal device of the fifth aspect, there is provided a detection pulse change exaggeration executing unit for setting whether or not to execute the detection pulse change exaggeration unit.
[0018]
According to a seventh aspect of the present invention, in the mobile communication terminal device according to the fifth aspect, the detection pulse change exaggeration means counts the number of pulses per unit time of the detection pulse generated by the body condition detection means. And a detection pulse storage means for storing a count value which becomes a normal value per unit time counted by the detection pulse count means, and the detection pulse change exaggeration means becomes a normal value stored in the detection pulse storage means. It is characterized in that the change of the detection pulse is exaggerated based on the change of the count value and the count value counted by the detection pulse counting means.
[0019]
According to an eighth aspect of the present invention, in the mobile communication terminal device according to the seventh aspect, the exaggeration of the change in the detection pulse is obtained by subtracting the count value stored in the detection pulse storage means from the count value counted by the detection pulse counting means. Subtracting means, multiplying means for multiplying the value subtracted by the subtracting means by a predetermined magnification, adding means for adding the value multiplied by the multiplying means to the count value stored in the detection pulse storing means, and adding means. And a pulse reproducing means for reproducing the added value into a pulse train, wherein a change in the detected pulse is exaggerated.
[0020]
According to a ninth aspect of the present invention, in the mobile communication terminal device according to the seventh aspect, the exaggeration of the change in the detection pulse is obtained by subtracting the count value stored in the detection pulse storage means from the count value counted by the detection pulse counting means. Subtracting means, multiplying means for multiplying the value subtracted by the subtracting means by a predetermined magnification, adding means for adding the value multiplied by the multiplying means to the count value counted by the detection pulse counting means, and adding means. And a pulse reproducing means for reproducing the added value into a pulse train, wherein a change in the detected pulse is exaggerated.
[0021]
According to a tenth aspect of the present invention, in the mobile communication terminal device of the eighth or ninth aspect, there is provided a magnification setting means for setting a predetermined magnification to be multiplied by the multiplication means.
[0022]
The invention according to claim 11 is a voice information generating device that outputs voice information to a communication terminal device when a communication is performed between the communication terminal devices, wherein the voice information generation device detects a change in the physical state of the caller and generates a detection pulse. The generated physical condition detecting means, the pseudo pulse sound signal converting means for converting the detection pulse generated by the physical state detecting means into a pseudo pulse sound signal that can be transmitted through a voice communication network, and the pseudo pulse sound signal converting means It is characterized by comprising superimposing means for superimposing the converted pseudo-pulse sound signal on the voice signal of the caller, and wiring means for outputting the voice signal superimposed by the superimposing means to the communication terminal device.
[0023]
According to a twelfth aspect of the present invention, in the audio information generating apparatus according to the eleventh aspect, there is provided a sound volume adjusting means for adjusting amplification of the pseudo pulse sound signal converted by the pseudo pulse sound signal converting means.
[0024]
According to a thirteenth aspect of the present invention, in the audio information generating apparatus according to the eleventh or twelfth aspect, there is provided a pulse sound selecting means for selecting a tone color of the pseudo pulse sound signal converted by the pseudo pulse sound signal converting means. .
[0025]
According to a fourteenth aspect of the present invention, in the audio information generating apparatus according to the thirteenth aspect, there is provided a pulse tone color storage unit for storing a tone color of the pseudo pulse tone signal selected by the pulse tone selection unit.
[0026]
According to a fifteenth aspect of the present invention, in the audio information generating device according to any one of the eleventh to thirteenth aspects, the pseudo pulse sound signal converting means exaggerates a change in the detection pulse generated by the body condition detecting means. It is characterized by having pulse change exaggeration means.
[0027]
According to a sixteenth aspect of the present invention, in the audio information generating apparatus according to the fifteenth aspect, there is provided a detection pulse change exaggeration executing means for setting whether to execute the detection pulse change exaggeration means.
[0028]
According to a seventeenth aspect of the present invention, in the audio information generating device according to the fifteenth aspect, the detection pulse change exaggeration means includes a detection pulse counting means for counting the number of pulses per unit time of the detection pulses generated by the body condition detection means. Detection pulse storage means for storing a count value which becomes a normal value per unit time counted by the detection pulse count means, and the detection pulse change exaggeration means counts to a normal value stored in the detection pulse storage means. It is characterized in that the change of the detection pulse is exaggerated based on the change of the value and the count value counted by the detection pulse counting means.
[0029]
According to an eighteenth aspect of the present invention, in the audio information generating device according to the seventeenth aspect, the exaggeration of the change in the detection pulse is obtained by subtracting the count value stored in the detection pulse storage means from the count value counted by the detection pulse counting means. Subtraction means, multiplication means for multiplying the value subtracted by the subtraction means by a predetermined magnification, addition means for adding the value multiplied by the multiplication means to the count value stored in the detection pulse storage means, and addition by the addition means Pulse reproducing means for reproducing the set value into a pulse train, and exaggerating a change in the detected pulse.
[0030]
According to a nineteenth aspect of the present invention, in the audio information generating device according to the seventeenth aspect, the exaggeration of the change in the detection pulse is obtained by subtracting the count value stored in the detection pulse storage means from the count value counted by the detection pulse counting means. Subtraction means, multiplication means for multiplying the value subtracted by the subtraction means by a predetermined magnification, addition means for adding the value multiplied by the multiplication means to the count value counted by the detection pulse counting means, and addition by the addition means Pulse reproducing means for reproducing the set value into a pulse train, and exaggerating a change in the detected pulse.
[0031]
According to a twentieth aspect of the present invention, in the audio information generating device according to the eighteenth or nineteenth aspect, there is provided a magnification information setting means for setting a predetermined magnification for multiplication by the multiplication means.
[0032]
BEST MODE FOR CARRYING OUT THE INVENTION
(Features of the invention)
First, a communication tool according to the present invention will be described with reference to FIG.
The communication tool according to the present invention converts a pulse signal generated by measuring a pulse into an audio frequency signal for transmission to a communication terminal device of the other party via a voice communication network, This is a tool that superimposes the signal on the voice signal of the caller and transmits the signal to the communication terminal device of the other party.
With this communication tool, not only voice information, text and image information, but also changes in the mental state and physical state of the caller are transmitted as voice signals to the other party's communication terminal device, and the text of the mail is sent. The excitement and tension of the caller, which is difficult to grasp from the face image information, is transmitted to the other party, and communication that provides a further sense of presence or a sense of unity with the other party is possible.
[0033]
(First Embodiment)
First, a first embodiment according to the present invention will be described with reference to FIG.
As shown in FIG. 1, the audio information generating apparatus according to the first embodiment measures a pulse of a human body, generates a pulse pulse, and uses an output signal of the pulse sensor 10 as a trigger signal to generate an audio signal. A pulse sound generator 20 for generating a pseudo pulse sound signal capable of setting a tone color, a volume controller 30 for adjusting an output signal of the pulse sound generator 20, a transmitter 40 for generating an audio signal, and a reception signal 50, an adder 60 that adds the output signal of the transmitter 40 and the output signal of the volume controller 30, and outputs the output signal of the adder 60 to the mobile communication terminal device to perform mobile communication. And a plug 70 for receiving a reception signal from the terminal device and transmitting the reception signal to the receiver 50.
[0034]
Next, a usage form of a communication tool using the voice information generating device according to the present invention will be described with reference to FIG.
First, a headset 80 including a pulse sensor 10, a transmitter 40, and a receiver 50, in which the earlobe of a caller is sandwiched between clips, is mounted on the head. The headset 80 is connected to the controller 100 via a cable, and the plug 70 is inserted into the headphone jack of the mobile communication terminal 200 via the controller 100, so that the communication tool using the audio information generating device according to the present invention is provided. Will be available. The controller 100 includes a pulse tone color selection knob 21, a pulse volume adjustment knob 31, and a reference pulse reading button 18. Note that the voice information generating device according to the present invention generates voice signals to be input / output to / from the mobile communication terminal device 200. However, the transmission to the communication terminal device of the other party uses existing voice communication means. In doing so, the plug 70 of the tool is inserted into a headphone jack of the mobile communication terminal device 200.
[0035]
(Processing Operation in First Embodiment)
Next, the processing operation of the communication tool according to the first embodiment using the voice information generating device will be described with reference to FIG.
First, the pulse of the talker is detected by using a pulse sensor 10 in which the earlobe is clipped and stopped, and an electric signal pulse is output. The pulse sensor 10 outputs an electric signal pulse by detecting a change in blood flow flowing through a blood vessel in the earlobe. The output method of outputting the electric signal pulse from the pulse sensor 10 can be performed using a known technique, and is not particularly limited. The body part for detecting a pulse using the pulse sensor 10 is not particularly limited, and the pulse is detected by mounting the pulse sensor 10 on a component formed in accordance with the detection body part for detecting the pulse. I decided to. The pulse sensor 10 outputs a pulse signal in the form indicated by "a" in FIG.
[0036]
When an electric signal pulse input from the pulse sensor 10 is triggered, the pulse sound generator 20 generates one simulated pulse sound signal which can be set at an audible frequency for each trigger. It is assumed that the pseudo pulse sound signal is stored in advance in the memory of the controller 100 shown in FIG. As described above, one pulse of the pulse train output from the pulse sensor 10 is used as a trigger to generate one pseudo pulse sound signal whose timbre can be set at an audible frequency, so that a pseudo pulse sound signal can be generated via a voice communication network. Can be transmitted. Also, several types of pseudo pulse sound signals are created in advance and stored in a memory as synthesized sounds.
[0037]
This simulated pulse sound signal is a signal sound such as, for example, “dunk” and is an analog signal having a form indicated by “b” in FIG. The amplitude of the analog signal is adjusted by the volume controller 30, and the analog signal has a waveform like "c" in FIG. The volume adjustment is performed by the user operating the pulse volume adjustment knob 31 shown in FIG. At this time, the caller operates the pulse volume adjustment knob 31 to adjust the volume of the pseudo pulse sound signal heard from the receiver 50 so that the sound emitted from the communication terminal device of the other party can be easily heard.
[0038]
Further, the type of the pseudo pulse sound to be transmitted to the communication terminal device of the other party is selected using the pulse sound color selection knob 21. For example, the frequency component is selected to be high or low so that the pseudo pulse sound of the caller and the pseudo pulse sound of the other party can be distinguished from each other, and an interesting sound is selected to enhance entertainment. Thus, for example, when the caller side equipped with the pulse sensor 10 is a male and the other party is a female, the talker side selects a pseudo pulse sound signal including many low frequency components, and the other party selects a high frequency component. It is possible to select a pseudo pulse sound signal including a large amount.
[0039]
Next, the pseudo pulse sound signal that has passed through the volume controller 30 is added to the audio signal output from the transmitter 40 in the adder 60, and the mobile communication terminal device 200 connected via the plug 70 (See FIG. 2). As described above, by superimposing the pseudo pulse sound signal on the sound signal collected by the transmitter 40, it is possible to transmit the pseudo pulse sound signal to the communication terminal device of the other party via the sound communication network. The reception signal received by the mobile communication terminal 200 (see FIG. 2) is input to the receiver 50 via the plug 70, and is converted into voice.
[0040]
The pseudo pulse sound signal output to the mobile communication terminal device 200 (see FIG. 2) is transmitted to the other communication terminal device in exactly the same manner as the audio signal. Further, the mobile communication terminal device can be a communication terminal device having voice communication means such as a telephone, and is not particularly limited.
[0041]
As described above, the pulse of the caller is detected by using the pulse sensor 10, and the detected output signal is transmitted to the pulse sound generator 20. Then, the pulse sound generator 20 converts the pulse sound signal into a pseudo pulse sound signal whose timbre can be set at an audible frequency in order to pass through a voice communication path. Accordingly, it is possible to electrically generate a pseudo pulse sound such as “dunk, dunk”. Then, the pseudo pulse sound signal converted by the pulse sound generator 20 is superimposed on the audio signal transmitted from the transmitter 40 and transmitted to the communication terminal device of the other party, so that a pseudo The sound can be played as a pulse sound, and the excitement or tension of the caller, which is not expressed in voice, mail, or captured image, can be transmitted to the other party.
[0042]
For example, when a change in the mental state or physical state of the caller during a call becomes easier to be transmitted to the other side, when confessing important things to the other side, when lying, when running in a hurry, etc. The internal change of the caller is transmitted to the other party irrespective of the caller's intention, and very interesting communication becomes possible.
[0043]
Also, if the pseudo pulse sound signal is too large relative to the audio signal transmitted to the communication terminal device of the other party, the call will be hindered. Therefore, by adjusting the amplitude of the pseudo pulse sound signal using the volume controller 30, The volume of the pseudo pulse sound signal can be adjusted, and an optimum pseudo pulse sound signal can be transmitted to the other party.
[0044]
(Second embodiment)
Next, a second embodiment according to the present invention will be described with reference to FIG.
As shown in FIG. 3, the voice information generating apparatus according to the second embodiment measures a pulse of a human body, generates a pulse pulse, and a counter that counts the number of pulses of an output signal of the pulse sensor 10. 11, a reference pulse memory 13 for storing the output signal value of the counter 11, a switch 12 for determining whether or not to transmit the output signal value of the counter 11 to the reference pulse memory 13, and a reference pulse A subtractor 14 for subtracting the output signal value of the memory 13; a multiplier 15 for multiplying the output signal value of the subtracter 14 by a designated magnification; an output signal value of the multiplier 15 and an output signal value of the reference pulse memory 13; , A pulse regenerator 17 for reproducing the output signal value of the adder 16 into a pulse train, and an audible frequency using the output signal value of the pulse regenerator 17 as a trigger signal. A pulse sound generator 20 for generating a pseudo pulse sound signal capable of setting a tone color, a volume controller 30 for adjusting the magnitude of an output signal of the pulse sound generator 20, a transmitter 40, and a receiver 50; An adder 60 that adds the output signal of the transmitter 40 and the output signal of the volume controller 30; and outputs the output signal of the adder 60 to a mobile communication terminal device such as a mobile phone. And a plug 70 for receiving the reception signal and transmitting the reception signal to the receiver 50.
[0045]
(Processing Operation in Second Embodiment)
Next, a processing operation of the communication tool according to the second embodiment using the audio information generating device having the above configuration will be described with reference to FIG.
[0046]
As in the first embodiment, first, the pulse of the talker is detected by using the pulse sensor 10 that is clipped and stopped on the earlobe, and a pulse train of the detected pulse is output to the counter 11. The counter 11 counts the number of pulses per unit time from the pulse train output from the pulse sensor 10. The unit time may be 1 minute, or may be about 10 seconds to transmit the pulse change to the other party earlier. The count value counted by the counter 11 is updated every unit time.
[0047]
Before communicating with the other party, the caller uses the pulse sensor 10 to store the pulse rate, which is considered to be a normal pulse rate, in the voice information generating device. When the caller presses the reference pulse reading button 18 shown in FIG. 2, the switch 12 is closed, and the pulse rate per unit time is stored in the reference pulse memory 13. The reference pulse memory 13 holds the pulse rate stored in the reference pulse memory 13 until the reference pulse read button 18 is pressed again.
[0048]
Here, for convenience of explanation, it is assumed that the unit time is one minute and the pulse rate stored in the reference pulse memory 13 is 80. First, assuming that the count value counted by the counter 11 at the time of actual communication with the other party is 85, the subtractor 14 calculates “count value counted by the counter 11−pulse rate stored in the reference pulse memory 13”. Perform subtraction. In this example, the count value (85) counted by the counter 11-the pulse rate (80) = +5 stored in the reference pulse memory 13 is output from the subtractor 14.
[0049]
The output value of the subtractor 14 is multiplied by a multiplier 15 by a multiplier. Here, the predetermined magnification is “× 2”. As the magnification, a magnification setting means for setting an arbitrary magnification is provided, and the user can arbitrarily set the magnification.
In this example, the output value of the multiplier 15 is (output value of the subtracter 14 (+5) × magnification (2) = + 10).
[0050]
The output value of the multiplier 15 is added to the output value of the reference pulse memory 13 in the adder 16.
In this example, the output value of the adder 16 is the output value of the multiplier 15 (+10) + the pulse rate (80) stored in the reference pulse memory 13 = 90. When this value is input to the pulse regenerator 17, the pulse regenerator 17 outputs 90 pulse trains per minute in this example. This pulse train is input to the pulse sound generator 20. The following processing performs the same processing as in the first embodiment.
[0051]
In this way, the normal pulse rate of the caller is stored in advance in the reference pulse memory 13 using the pulse sensor 10, and when the caller is excited or nervous during an actual call, the pulse sensor 10 outputs the pulse rate. When the detected pulse rate rises, the pulse rate at the time of the call detected by the pulse sensor 10 is subtracted by the reference pulse rate stored in the reference pulse memory 13 to obtain a difference, and the difference is amplified by the multiplier 15. Then, by adding the amplified number to the reference pulse rate stored in the reference pulse memory 13, a change larger than the actual pulse change can be created. As a result, the change in the pulse is conveyed in an exaggerated manner, and the communication during a call can be made even closer.
[0052]
In the above processing operation, as shown in FIG. 3, the adder 16 adds the output value of the multiplier 15 and the reference pulse rate of the reference pulse memory 13 as shown in FIG. In addition, the adder 16 can add the output value of the multiplier 15 and the count value counted by the counter 11.
[0053]
(Third embodiment)
Next, a third embodiment will be described.
In the first and second embodiments, the communication tool using the voice information generating device connected to the mobile communication terminal device has been described. However, in the third embodiment, the communication tools using the first and second embodiments are described. A mobile communication terminal device in which the audio information generating device according to the aspect is mounted on a mobile communication terminal device is configured.
[0054]
In the case of performing communication according to the first embodiment, the configuration shown in FIG. 5 is configured in the mobile communication terminal device. An audio signal obtained by superimposing the pseudo pulse sound signal output from the adjuster 30 and the pseudo pulse sound signal is transmitted from the transmitter 80.
[0055]
In the case of performing communication according to the second embodiment, the configuration shown in FIGS. 6 and 7 is configured in a mobile communication terminal device, and the audio output from the transmitter 40 in the adder 60. The transmitter 80 transmits an audio signal obtained by superimposing the signal and the pseudo pulse sound signal output from the volume controller 30.
[0056]
For example, the transmitter 40 and the receiver 50 use a function built into the mobile communication terminal device, and the pulse sensor 10 is incorporated in a portion of the mobile communication terminal device near the receiver 50 where the ear contacts, and a pulse is detected during a call. It is also possible to configure so that Further, the controller 100 is configured to perform an operation using an operation button mounted on the mobile communication terminal device. As described above, the communication tool can also be implemented by mounting the voice information generating device according to the first and second embodiments on a mobile communication terminal device.
[0057]
The above-described embodiment is a preferred embodiment of the present invention, and various modifications can be made without departing from the spirit of the present invention.
For example, in the above-described embodiment, the pulse sensor is used to detect a change in the mental state or the physical state of the caller by detecting the pulse of the caller. There is no particular limitation as long as information capable of detecting a change or a change in a body state can be detected. For example, it is possible to detect the body temperature and sweat of the caller. Also, the audio information generating device can be applied to a device capable of performing information communication with a communication terminal device by a short-range wireless technology called Bluetooth.
[0058]
【The invention's effect】
As is clear from the above description, the present invention has the following effects.
The first effect is that, when a call is made, the pulse of the caller is played as a background sound during the call as a pseudo pulse sound, so that the excitement or tension that does not appear in the caller's voice, e-mail text or image can be reduced. Communication that directly appeals to the caller's physical sensations or sensibilities.In addition to conventional voice and image communication, communication with intimacy and a sense of unity becomes possible. .
[0059]
The second effect is that it is possible to make various settings of the tone color of the simulated pulse sound, or to exaggerate the change in the pulse rate to inform the other party of the communication, thereby enabling communication with enhanced entertainment.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a communication tool according to a first embodiment.
FIG. 2 is a diagram showing a use form of a communication tool according to the present invention.
FIG. 3 is a block diagram illustrating a first configuration of a communication tool according to a second embodiment.
FIG. 4 is a block diagram showing a second configuration of the communication tool according to the second embodiment.
FIG. 5 is a block diagram showing a configuration in which a communication tool according to the first embodiment is mounted on a mobile communication terminal device.
FIG. 6 is a block diagram showing a first configuration in which a communication tool according to the second embodiment is mounted on a mobile communication terminal device.
FIG. 7 is a block diagram showing a second configuration in which the communication tool according to the second embodiment is mounted on a mobile communication terminal device.
[Explanation of symbols]
10 Pulse sensor
11 counter
12 switches
13 Reference pulse memory
14 Subtractor
15 Multiplier
16 adder
17 pulse regenerator
20 pulse sound generator
30 Volume control
40 transmitter
50 receiver
60 adder
70 plug
80 transmitter

Claims

Body condition detection means for detecting a change in the body condition of the caller and generating a detection pulse;
Pseudo pulse sound signal conversion means for converting the detection pulse generated by the body condition detection means into a pseudo pulse sound signal that can be transmitted via a voice communication network,
Transmission means for superimposing the pseudo pulse sound signal converted by the pseudo pulse sound signal conversion means on the voice signal of the caller and transmitting the signal,
A mobile communication terminal device comprising:

2. The mobile communication terminal device according to claim 1, further comprising a sound volume adjustment unit that adjusts amplification of the pseudo pulse sound signal converted by the pseudo pulse sound signal conversion unit.

3. The mobile communication terminal device according to claim 1, further comprising a pulse sound selecting unit for selecting a tone color of the pseudo pulse sound signal converted by the pseudo pulse sound signal converting unit.

4. The mobile communication terminal device according to claim 3, further comprising a pulse tone color storage unit that stores a tone color of the pseudo pulse tone signal selected by the pulse tone selection unit.

The pseudo pulse sound signal conversion means,
4. The mobile communication terminal device according to claim 1, further comprising a detection pulse change exaggeration unit that exaggerates a change in the detection pulse generated by the body state detection unit. 5.

6. The mobile communication terminal device according to claim 5, further comprising detection pulse change exaggeration executing means for setting whether to execute the detection pulse change exaggeration means.

The detection pulse change exaggeration means,
Detection pulse counting means for counting the number of pulses per unit time of the detection pulse generated by the body condition detection means,
Detection pulse storage means for storing a count value which becomes a normal value per unit time counted by the detection pulse counting means,
The detection pulse change exaggerating means, the detection pulse based on a change in the value of the count value becomes a normal value stored in the detection pulse storage means and the count value counted by the detection pulse counting means, 6. The mobile communication terminal device according to claim 5, wherein a change of the mobile communication terminal is exaggerated.

The exaggeration of the change in the detection pulse is:
Subtraction means for subtracting the count value stored in the detection pulse storage means from the count value counted by the detection pulse counting means,
Multiplying means for multiplying the value subtracted by the subtracting means by a predetermined magnification;
Addition means for adding the value multiplied by the multiplication means to the count value stored in the detection pulse storage means,
Pulse reproducing means for reproducing the value added by the adding means into a pulse train,
The mobile communication terminal device according to claim 7, further comprising: exaggerating a change in the detection pulse.

The exaggeration of the change in the detection pulse is:
Subtraction means for subtracting the count value stored in the detection pulse storage means from the count value counted by the detection pulse counting means,
Multiplying means for multiplying the value subtracted by the subtracting means by a predetermined magnification;
Adding means for adding the value multiplied by the multiplying means to the count value counted by the detection pulse counting means;
Pulse reproducing means for reproducing the value added by the adding means into a pulse train,
The mobile communication terminal device according to claim 7, further comprising: exaggerating a change in the detection pulse.

10. The mobile communication terminal device according to claim 8, further comprising a magnification setting unit configured to set a predetermined magnification to be multiplied by the multiplication unit.

A voice information generating device that outputs voice information to the communication terminal device when making a call between the communication terminal devices,
Body condition detection means for detecting a change in the body condition of the caller and generating a detection pulse;
Pseudo pulse sound signal conversion means for converting the detection pulse generated by the body condition detection means into a pseudo pulse sound signal that can be transmitted via a voice communication network,
Superimposing means for superimposing the pseudo pulse sound signal converted by the pseudo pulse sound signal converting means on the voice signal of the caller;
Wiring means for outputting the audio signal superimposed by the superimposing means to the communication terminal device;
An audio information generating device comprising:

12. The audio information generating apparatus according to claim 11, further comprising a sound volume adjusting means for adjusting the amplification of the pseudo pulse sound signal converted by the pseudo pulse sound signal converting means.

13. The voice information generating apparatus according to claim 11, further comprising a pulse sound selecting means for selecting a tone color of the pseudo pulse sound signal converted by the pseudo pulse sound signal converting means.

14. The voice information generating apparatus according to claim 13, further comprising a pulse timbre storage unit that stores a tone color of the pseudo pulse tone signal selected by the pulse tone selection unit.

The pseudo pulse sound signal conversion means,
14. The voice information generating apparatus according to claim 11, further comprising a detection pulse change exaggeration unit that exaggerates a change in the detection pulse generated by the body state detection unit.

16. The audio information generating apparatus according to claim 15, further comprising a detection pulse change exaggeration executing unit that sets whether to execute the detection pulse change exaggeration unit.

The detection pulse change exaggeration means,
Detection pulse counting means for counting the number of pulses per unit time of the detection pulse generated by the body condition detection means,
Detection pulse storage means for storing a count value which becomes a normal value per unit time counted by the detection pulse counting means,
The detection pulse change exaggerating means is configured to detect the detection pulse based on a change in a count value that is a normal value stored in the detection pulse storage means and a count value counted by the detection pulse counting means. 16. The audio information generating apparatus according to claim 15, wherein the change of the voice information is exaggerated.

The exaggeration of the change in the detection pulse is:
Subtraction means for subtracting the count value stored in the detection pulse storage means from the count value counted by the detection pulse counting means,
Multiplying means for multiplying the value subtracted by the subtracting means by a predetermined magnification;
Addition means for adding the value multiplied by the multiplication means to the count value stored in the detection pulse storage means,
Pulse reproducing means for reproducing the value added by the adding means into a pulse train,
18. The audio information generating apparatus according to claim 17, further comprising: exaggerating a change in the detection pulse.

The exaggeration of the change in the detection pulse is:
Subtraction means for subtracting the count value stored in the detection pulse storage means from the count value counted by the detection pulse counting means,
Multiplying means for multiplying the value subtracted by the subtracting means by a predetermined magnification;
Adding means for adding the value multiplied by the multiplying means to the count value counted by the detection pulse counting means;
Pulse reproducing means for reproducing the value added by the adding means into a pulse train,
18. The audio information generating apparatus according to claim 17, further comprising: exaggerating a change in the detection pulse.

20. The audio information generating apparatus according to claim 18, further comprising a magnification setting means for setting a predetermined magnification to be multiplied by said multiplication means.