以下の実施の形態における音ゲーム機及び携帯電話機は、人体カラーの数値的評価システム(以下、単に「評価システム」と略記する。)を用いることができる。例えば、評価システムは、音声情報、文章情報、オーラチェック情報などを電気信号に変換する入力部を有する。
本実施の形態に用いられる人体カラーは、例えば、人体と密接に結びついているベースカラーとしてのスタティクカラーと、何等かの事象(イベント)に応答して次の感情に移行する段階で発生するダイナミックカラーを含む、脳科学上の生体理論に基づくマインドカラーである。
入力部は、人体のエネルギー状態を示す各種情報を評価システムで演算処理できる電気信号に変換する手段であれば、キーボードや、マウスや、音声入力装置や、画像入力装置や、通信回線や、人体電流測定装置や、人体静電気測定装置や、赤外線測定装置などの手段を用いても構わない。
色辞書は、入力部から電気信号を受信し、生体理論又は音相理論の何れか一方、若しくは生体理論及び音相理論の双方に基づき複数のカラーに対応させて数値化し、色相演算部へ複数の色情報を送信する手段を用いることができる。
色相演算部は、複数の色情報12を相互に加算して、この色情報に対応する数値に基づく色相演算結果を演算出力する。例えば、黄色の二進数「101002」とオレンジ色の二進数「100301」とを加算して、2色の色情報に対応する数値としての十進数「2」で除算して色相演算結果を出力する手段を用いることができる。
色相演算部に接続された出力部は、色相演算結果に基づいて、人体のスタティクカラーとダイナミックカラーに対応する色相系情報を出力する。この色相系情報は、論理演算処理手段により人体の健康、感情、心理、知性、精神状態、欲求のなどの人体パラメータや、その他人間関係のなどを推論させることができる複数の色情報を対象とする。
評価システムは、例えば、言葉の表現と人体エネルギーからその人物の感情、心理、性格を数値的に判定することができ、個々人ごとに嗜好を推論して希望するであろう言葉、サービス、環境、商品などを提供して対応することができる。
ここで、生体理論とは、人体の体質から完成の方向性を予測する手段の構成要件の1つである。人間の心理、感情は、身体と密接に結びついているので、例えば、怒りっぽい人は、何等かの事象に対し怒りの感情を刺激するホルモンが最も素早く分泌される体質であるというマインドカラーを体系化した理論である。
また、怒りっぽい人の体質は、自然科学的に肝臓細胞の活性度が高く、お酒には強いが肝臓の障害を抱え易いことが生体理論で立証されている。同様に、肝臓は怒り、腎臓は恐れ、肺は悲しみ、脾臓は憂い、心臓は喜びを誘発する少なくとも5つの臓器を5つのカラーに対応させる生体理論の色辞書を構成することもできる。
言い換えると、恐れる人は腎臓の活性度が高く、悲しむ人は肺の活性度が高く、憂いの人は脾臓の活性度が高く、喜ぶ人は心臓の活性度が高く、これら感情を刺激するホルモンが最も素早く分泌される体質であることも生体理論で立証されている。
このようなホルモンを含む体内バランスは、例えば、掌や足裏のツボ温度、帯電する静電気、電流などを測定装置を用いて推測することができ、ツボを刺激して体内バランスを調整できることも生体理論で立証されている。
評価システムは、人体の感情や行動から現れる体内エネルギー状態を判定して生体理論に基づき人体のスタティクカラーとダイナミックカラーを解析することができる。例えば、携帯電話機のユーザが電子メールで頻繁に使用する単語や言い回しを入力してユーザのスタティクカラーとダイナミックカラーを解析することができる。
また、インターネット上のウエブページの検索傾向に基づいて、ユーザが興味をもつ品物やサービスや好みの店舗などの種類を特定し、ユーザのスタティクカラーとダイナミックカラーを解析することができる。
さらに、ユーザの日々の行動パターンや、一日の時間の過ごし方を特定し、ユーザのスタティクカラーとダイナミックカラーを解析することもでき、素早い行動やゆったりとした行動、品物、サービスの選択傾向からユーザ独自の性格を2つのマインドカラーにより推測定義することができる。
人間は、脳が事象を認識し次の感情に移行する段階で、怒り、悲しみ、憂い、喜び、の何れかが先に来るか、といった個体別の傾向をもっているので、評価システム1により体内エネルギー状態を生体理論で解析し色別に表現して人体の感情や体質を推測することができる。
マインドカラー白の人は、すべてのバランスがニュートラルなので、せせこましい怒りにかられたり、妬みや憂いに悩まされたり、恐れにおびえるここともなく、平常心を保ち易い。欲する食べ物や情報も、出来る限り刺激の少ないもの、素材のしっかりしたものを望むという性質である。
マインドカラー青がかかっている人は、冷静で慈悲深く、教育心に溢れている場合が多い。それは悲しみと母性を刺激するホルモンをだし易い体質に偏っているためである。
マインドカラー赤の人は、開拓精神と闘争心を持っている。これは、怒りと推進の感情を刺激するホルモンに依存しているからである。
上述したマインドカラーの人達は、自分の体質に合った食べ物や情報を欲しており、自分の体質が行き過ぎたときには、辛くても反対側の色に属する食べ物や情報を受け入れるように行動する場合が多い。
このような行動は、脳科学の分野でも、「心は、脳の中にある」というように、脳学者の主説となっている。このように人の性格を例えば12種類のカラーに分別し、それぞれの人物の性格に合った対応を人工知能などのシステムへ学習させることもできる。
数値的感性評価システム(以下、単に「感性評価システム」と略記する。)は、顧客製品のプラットホームに個別対応する意味ネットワークと特化プログラムとを融合させ、感性推論部、データベース、人工知能対話エンジンを備えるシステムを対象とする。
感性評価システムは、対話入力部からテキストによる文章を入力し、人工知能対話エンジンを介して入力した文章の言葉を意味分析部で意味分析する。意味分析部から意味分析した言葉を感情推論部により感情解析を実行するシステムを対象とする。
さらに、感性評価システムは、対話入力部からテキストによる文章を入力し、人工知能対話エンジンを介して入力した文章の言葉を意味分析部で、音相に基づく解析をして、意味分析部から意味分析した言葉を感情推論部により感情解析を実行するシステムを対象とすることも出来る。
また、感性評価システムは、生体理論に基づく色辞書と、音相理論に基づく音相辞書と、感性推論演算処理部とを備え、色辞書又は音相辞書に基づいて言葉の感性若しくは感情並びに心理状態を解析するシステムを対象とする。
感性推論演算処理部は、上述した怒り、悲しみ、憂い、喜びのような感情を表現する色情報としての動的な心理状態の解析結果を出力する。例えば、嬉しい色情報や悲しい色情報をデータベースに出力する手段を対象とする。
データベースは、例えば、約30万の言葉や定型文を記憶する1.4メガバイト程度のハードディスクドライブで構成できるが、30万の言葉を記憶できる手段であれば他の記憶装置を用いても構わない。
データベースは、動的な心理状態の解析結果に基づいて抽出した返信文章を人工知能対話エンジンを介して、対話出力部へ出力する。返信文章はテキストでも音声でも対応することができるが、本実施例ではテキストを用いた対話システムを対象とする。
テキストによる人工知能対話エンジンは、会話をしながら個人情報を収集し、会話に反映する、学習型対話形式の人工知能システムである。例えば、電子メールをテキストマイニング(形態素解析)処理を実行して、個々の言葉を音相辞書で音相解析し、文章から情緒を解析し、対話で対応することができる。
ここで、音相辞書は、所定の言語表現を構成する音声表現をその基本的な構成要素の一つである子音と母音の一方又は双方の組合わせによって表現される発音最小単位に分解し、言語表現を統計的手法によって分析することで得られる発音最小単位の有する1つまたは複数のイメージを音相理論に基づき数値化するイメージ評価に用いる辞書を用いることができる。
また、ユーザ自身の日々の行動や、人工知能対話エンジンからの質問への返答、アクセスしているウェブの傾向などを収集し、生体理論を利用する色辞書によりユーザの性格を分類し、会話の対応を変化させるシステム(例えば、マインドカラー分析システム)を提供することもできる。
さらに、音相解析とマインドカラ分析を系統立てて、基本意味ネットワークを構築することもでき、各種サービスや製品を提供する顧客のプラットホームへ個別対応する人体カラーの数値評価システムを応用する製品を提供することができる。
例えば、人体カラーの数値評価システムを携帯電話機、携帯情報端末(PDA)、デジタル家電などに搭載し、これら製品を使用するユーザの感情を汲み取ることで的確又は個別対応の会話を提供し、多様なユーザ感情を満足させることができる。
人体カラーの数値評価システムを実装した製品のターゲットユーザ層に合致する特化意味ネットワークをコンピュータサーバに構築することもでき、また製品のプラットホームに合わせた会話プログラムのカスタマイズを実施することもできる。要は、各プラットホームの企画に合致する特化プログラムを容易に提供することができる。
本実施例の生体理論を用いた人工知能対話を例示すると、「戦ってかつはたやすく勝ちを守るは難し」と入力された場合、文章から言葉を自動的に切出す。例えば、単語辞書を用いて文章から言葉を抽出し、各言葉に色を決定することができる。
入力された文章は、単語毎に括弧で括った色に該当する。例えば、「戦って(赤)かつ(赤)はたやすく(白)勝ち(赤白)を守る(緑)は難し(藍)」と対応付けされ、各色を数値演算してスタティクカラーとダイナミックカラーを決定することができる。
同様に、「小事にかかわって大事を忘れるなという文章を入力すると、「小事(青)にかかわって(緑)大事(藍)を忘れるな(白)」と各言葉に色が決定される。
また、生体理論を用いた人工知能対話では、人工知能の出力部から「今あなたは○○○な服がラツキです。」と表示させて、ユーザの体内エネルギー状態に合致した色又は色を想起させる柄の服をすすめる事ができる。
この場合、生体理論は、人体のスタティクカラーに基づき基本的な体質に合致する「○○○」部の色を決定し対応語を選択している。なお、「○○○」部を除く文章は定型文であり出力辞書に記憶されている。
さらに、ユーザから「今夜は(○○○な気分だから)○○○したいね。」という言葉が入力された場合は、生体理論を機能させて「今夜」から時間帯の色を解析し、「○○○」から行動の色を解析し、「したいね」から欲求の色を決定し、スタティクカラーとダイナミックカラーとを演算処理してから現時点のユーザの色を決定することができる。
勿論、定型文を辞書へ追加するほど、人工知能対話のバリエーションが増加し、ユーザの欲求をさらに満足させることができる。
人体カラーの数値評価システムを実装した製品の特化意味ネットワークは、マーケット別、ターゲットユーザ別、サービスモデル別、プラットホーム別に、意味ネットワークをカスタマイズしてコンピュータサーバに構築し、特化意味ネットワークの情報をコンピュータサーバ上のサービスモデルで解析する。
サービスモデルは、ナビゲーションモデルと、エンターテイメントモデルと、セルフミラーリングモデルをコンピュータサーバ上に備え、ナビゲーションモデルが、情報の検索機能やユーザと情報のマッチング機能を発揮する。
エンターテイメントモデルは、アミューズメント製品でゲームへの応用例としてバーチャルペットの性格や、キャラクターパラメータ(例えば、攻撃的か防御的かを定める)や、育成キャラクタや、話し相手などを仮想することができる。
セルフミラーリングモデルは、今まで気づかなかった自分(ユーザ)の性格、感情、嗜好が確認することができ、新たに発見した自分自身の性格、感情、嗜好に合致する育成キャラクタや、話し相手や、秘書などを推測することもできる。
本発明の実施の形態では、ナビゲーションモデルと、エンターテイメントモデルと、セルフミラーリングモデルの解析結果が重畳する育成キャラクタ、話し相手、秘書の各情報を手がかりにユーザ嗜好の品物やサービスを推測し、プラットホームへフィードバックすることができる。
プラットホームは、各種製品を含み、パーソナルコンピュータ、携帯情報端末(PDA)、携帯電話機、携帯ゲーム機、カーナビゲーションシステム、次世代情報端末、及び次世代家電製品が該当する。本実施例によりユーザの性格、感情、嗜好が確認することができるので、例えば、次世代家電製品ネットワーク用のオペレーションシステムの基本思想を提案(又は出力)することができる。
サービスモデルは、コンピュータサーバの編集部の機能により、テキストや画像情報の加工作業により提供情報をサービスモデルのコンピュータサーバへ発信する。
サービスモデルは、ユーザの嗜好を色辞書を通して汲み取りながら、人体カラーの評価システム付きの製品を改良し、マーケットに対してあらゆるデジタル環境へ提供する手段を対象とする。
カラーチャートから色情報を決定するフローでは、人体カラーの数値評価システムに用いる色辞書が1番から127番までのカラーコードを備えるカラーチャートの中から色情報を出力するように構成している。
カラーチャートは、コンピュータテーブルの中心にカラーコード64番の白色を配置し、テーブルの後方にカラーコード101番の赤色を配置し、テーブルの前方にカラーコード10番の青色を配置し、テーブルの前方と中心の間にカラーコード58番の緑色を配置する手段を対象とする。
青色のカラーコード10番の6辺に隣接する2番、3番、9番、11番、18番、19番を含む青グループには、青グループに属する8色のカラーコードが配置され、赤色のカラーコード101番の6辺に隣接する90番、91番、100番、102番、110番、111番を含む赤グループには、赤グループに属する9色のカラーコードが配置されている。
同様に、緑色のカラーコード58番の3辺に隣接する46番、59番、71番を含む緑グループには、緑グループに属する10色のカラーコードが配置され、白色のカラーコード64番の6辺に隣接する白系統のカラーコードも8色から12色の範囲で配置されている。
また、カラーチャートは、赤色から紫色まで識別できるカラーコードを有し、人体の動作と物、人体と性質から言葉の色を特定することができる。例えば、「言う」という言葉と、「与える」という言葉から黄色の色情報を出力するように構成する。なお、音相辞書でも同一の色情報を出力する場合もある。
カラーチャートは、人体の動作と物や人との関係から色を特定することもできる。例えば、物や人に始動を吹き込むような赤色で動作や人を励ます激しい色を出力し、創造性を惹起するオレンジ色で動作を継続、忍耐の色を出力し、快楽を与える放射させる黄色で人に言う(伝達)ような色を出力するように構成することができる。
同様に、物や人とのバランスから、人に重点させるような緑色で人に合う、集うような色を出力し、人に奉仕する、守るような青色で人を介護、優しい色を出力することができる。
さらに、カラーチャートは、人間の口や耳などの感触にかかわる動作を刺激する色情報を出力することもできる。例えば、人から一方的でない関係が生じる場合に第三者の発言を聞くような緑色を出力し、発言が一方的ではないが黄色ほど第三者に影響を及ぼさない青色を出力し、人への影響が強い黄色で言うという動作を促す色を出力する。
色辞書処理は、カラーチャートの中から最終的に8から12色のグループに言葉を分類する分類処理と、ユーザの嗜好(色情報)を反映して言葉辞書を更新する言葉更新処理と、人工知能対話エンジンに色情報を渡す色情報転送処理と、人工知能対話エンジンから対話を出力する対話出力処理をコンピュータ上で実行し、メインルーチンへ復帰するシステムを対象とする。
文章中の言葉と言葉との対応関係は、テキスト中に「あからさま」という言葉と「介護する」という言葉が含まれている場合に、色辞書から赤色と青色を抽出し、ユーザの興奮状態、肉体的、競争的、指揮者、勝利者、物事を成し遂げる勇気、意志力、性的、活気に満ちている、事業家などのカテゴリのパラメータを調整することができる。
色辞書は、色番号のカラーコードとテキスト文章の言葉とのコードマッチング処理を実行し、赤色に属する単語や定型文を出力することができ、第1の色情報の赤色と第2の色情報の青色基づき、色相演算結果部へ緑色の色情報を出力する。
色対応関係は、第1の色情報が赤色の場合、第2の色情報が赤では赤を、黄色ではオレンジ色、緑色では黄色、青色では緑色、藍色では藍色、紫色では紫色を出力する。
同様に、第1の色情報のオレンジ色と第2の色情報の黄色に基づき、オレンジ色の色情報を出力し、緑色では黄色、青色では緑色、藍色では藍色、紫色では赤紫色を出力する。
同様に、第1の色情報の黄色と第2の色情報の黄色に基づき、黄色の色情報を出力し、緑色では黄色、青色では深緑色、藍色では青色、紫色では赤紫色を出力する。
同様に、第1の色情報の緑色と第2の色情報の緑色に基づき、緑色、青色では深緑色、藍色では藍色、紫色では青紫色を出力する。
同様に、第1の色情報の青色と第2の色情報の青色に基づき、青色、藍色では藍色、紫色では青紫色を出力し、第1の色情報の藍色と第2の色情報の紫色に基づき、紫色を出力し、第1の色情報の紫色と第2の色情報の紫色に基づき、紫色を出力する。
また、ネガティブな人間の衝動や行動が自分とその周辺に悪影響を及ぼす言葉は、色辞書の黒からグレー色に該当し、苦しい(グレー)、殺す(黒)、欲(グレー)、忘れる(グレー)、放漫(グレー)などが存在し、人間の煩悩はグレーに該当する心理状態として処理する。
いろと音に関し、視角、聴覚、臭覚、触覚及び味覚を含む五感の情報によるユーザ心理状態を例えば、音声であれば、周波数帯を色の波長に割り振り、数値化して感情解析をする装置を例えば、黄色い声と分類されたら陽気だが、周波数が陽気過ぎる場合は気分が高揚し過ぎて興奮状態であると解析でき、この様な解決方法を提供できる装置をにも適用できる。
一方、ポジティブな人間の行動のスムーズさや、自然の美しさを示す言葉は、たやすい、素早い、夜明け、光、魅力、神などは白色を示す傾向がある。また、朝(白色)から深夜3時(紫色)まで、色分類は変動し、何時一番働くかにより、色分けが連動する。
もし、ユーザがデザイナーである場合は、深夜から明け方までの活動が紫白の色情報が色辞書から出力される場合がある。例えば、色辞書は、言葉から「戦って」を赤色、「赤はた易く」を白色、「勝ち」を赤白、「守」を緑、「緑」を難しい藍色に色分けする。
さらに、小さな事を青色、青色にかかわって緑色を大事の色としての藍色、藍色を忘れるなという白色、諺を色に分類して色言葉セラピを構成することもできる。
以下の実施の形態では、現時点のダイナミックカラーに対応して他の要素を参照することができる。例えば、曜日に関連して月曜日が白色、火曜日が赤色、水曜日が紫色、木曜日が水色、金曜日が緑色、土曜日が白色、日曜日が黄色の色情報を色辞書から出力することができる。
なお、意味の薄い漢字や意味からイメージが捕らえ難い言葉は、音相表から複数の色イメージを抽出し色を決定することもできるが、R色コードが238、G色コードが232、B色コードが117の複数の色コードから黄色を決定することもできる。
また、季節に適用した言葉も参照することもできる。例えば、春はパステルカラーとしての白色混じりの色情報を出力し、夏は青色でクール感覚を色情報を出力し、秋は暖色の色情報を出力し、冬は白色若しくは暖色の色情報を出力するように色辞書を構成することができる。
コンピュータ上で実行する人体カラーの数値評価システムは、入力部から「激しい」言葉又は行動を入力処理し、次ページのカラーチャートを基本にカラーチャート番号を決定する。
また、カラーチャート番号で指定する色をRGB情報のパラメータに分解して色辞書へ入力する。色辞書はRGB情報に基づき色情報を言葉辞書へ出力する。RGB情報に基づき言葉辞書をグループ化し、言葉辞書に対応する人体の身体面、感情面、職業などのパターンを推定処理することができる。
言葉辞書からユーザの選ぶ色、ユーザの使う色又は色の組合せでユーザの基本カラー(スタティクカラー)を元に解析処理をする。RGB言葉辞書のパターンに対応させたコメントをコメント辞書から取出し定型パターンの要素テキストのブランクへ挿入処理をする。
さらに、人体カラーの数値評価システムは、出力部を通してコメント付きの要素テキストを出力する。コメント付き要素テキストは、テキスト表示、ボイス表示、ミュージック表示、及びキャラクタ表示などの色を主張する言葉を返答し、言葉の性格から色を特定し、特定された色に対応する色系統のコメントを返答するという評価システムを提供することができる。
言葉評価システムは、例えば、言葉がキーボード入力を通して言葉入力処理され、色辞書により言葉に色付処理をする。
色付処理で選択した色情報を言葉辞書へ送信し、予め言葉辞書に登録した各色情報に対応する文章を色付処理へ返信する。例えば、色情報に対応する機嫌がよい文章や魅力的な文章を色付処理へ返信する。
また、言葉辞書は、色付け処理から送信された色情報を数値演算部に転送する。数値演算部は、例えば、黄色の色情報(101002)にオレンジ色の色情報(100301)を加算し、色情報の数(2個)で除算し回答の色情報をデータベースで構成する出力辞書へ出力する。
色付け処理から移行した文章色付つけ処理は、文章に含まれる重要ワード(言葉)に重み付けを施す。処理は、対応語選択処理に移行し、この重み付けされた文章に対応する文書の色情報を出力辞書へ転送する。
文章パターン単語埋め込み処理は、出力辞書に接続され、重み付けされた色の文章と、数値演算された言葉の色情報に基づいて、定型文章パターンのブランク領域に色情報に対応する言葉を埋め込み、完成した文章をテキスト又は音声などで表示する表示処理を実行する。
言葉評価システムは、言葉を生体理論を用いた色辞書で色分類し、人体の体内エネルギー状態を判定し、この体内エネルギー状態に対応(気が利く/励ます/落ち着かせる)する対応語を文章化して表示処理を遂行する。すなわち、体内エネルギー状態に対応する感情や心理状態を数値化して解析結果を出力するシステムを対象とする。
コンピュータは、人体の体内エネルギー状態を色辞書で色別に整理し、ユーザの動作を動きのベクトルにより捉えることができる。例えば、白から赤までの色は、始動、活性に現れる状態を示し、オレンジ色は、持続に現れる状態をしめす。
同様に、黄色は、やわらかい、喜びや発散や与えに現れる状態を示し、緑色は、満足や他のものとの関係のバランスに現れる状態を示し、青色は、保守や停滞、学ぶ、守るやさしさの状態を示し、藍色は、教え、施す、整然な状態を示し、紫色は、固い、老人、及ぶ、活動が終わる状態を示す。
また、複数の言葉を含む文章では、例えば、言い(黄)含める(緑)が緑よりの黄色を示し、言い(黄)始める(白赤)がパステルグリーンを示し、言い(黄)争う(赤)がオレンジ色を示し、言い(黄)合う(緑)が黄緑を示し、言い(黄)放つ(黄色)が黄色を示し、言い(黄色)及ぶ(紫)が紫色を示す。
同様に、言い(黄)終える(紫)が紫色を示し、デートという言葉は、わくわく(黄色)、人との関係(緑)を想起させ、黄緑を示し、恋と言う言葉は、愛の始動を意味し、喜びの白、赤、黄からパープルピンクを示す。
さらに、漢字の辺や作りの構成から色を決定することもできる。例えば、「食へん」は食欲を想起させ、オレンジ色を示す。「木へん」は植えるを想起させ、緑などを示す。
人体カラーの数値評価システムに用いるオーラ可視化システムは、入力部からインターフェースを通して電気信号を受信し画像処理した映像を表示するディスプレイを備え、表示しているオーラの色情報をインターフェースから分岐させて人体カラーの数値評価システムの色情報入力部に転送させるシステムを対象とする。
上述したオーラの色情報は、インターフェースから分岐させて受信するように構成したが、本発明の実施の形態では、この構成に限定されることはなく、例えば、入力部を人体カラーの数値評価システムに直接接続し、電気信号に変換させるシステムをも対象とする。
オーラ可視化システムは、入力部の表面に人物の手を載せて人物の生命データを測定することができる。人体のオーラチャクラ分析は以下の如く処理される。
オーラ可視化システムは、生体自己制御センサーによって人物の生命データを測定することができる。このデータは、特定の感情や気力の状態をリアルタイムで分析する。
このオーラチャクラフォトおよびレポートは、ユーザに正確なバイオデータを多彩で視覚的なグラフ形式で表現することができる。このバイオデータは教育やエンターテイメントに利用するように構成することもでき、人体の体内エネルギー状態の客観的な判断資料に用いることもできる。
人物の手は、小指を電極と略縦方向に並ぶ2つの電極へ、薬指を電極と略縦方向に並ぶ3つの電極へ、中指を電極と略縦方向に並ぶ3つの電極へ、人差し指を電極と略縦方向に並ぶ3つの電極へ、親指を入力部の右側面に設けられた電極と略縦方向に並ぶ2つの電極へ接触させて、体内の五臓六腑の状態を示す信号をインターフェースへ送信する。
ディスプレイに表示されているオーラカラーは、人体の心理状態、感情状態、性格、特徴および特性を反映させることができる。
濃い赤色は、物埋的、勤勉、力、現実的、活気がある、落着きがある、強さ、スタミナの活性度を示す。
赤色は、刺激、物理的、精力的、競争心の強さ、勝利的、自制心、性的な力、企業家の活性度を示し、オレンジ色は、生産的、物理的そして創造的な表現、冒険者、ビジネス、楽しみの活性度を示す。
濃い黄色は、分析的、知競人、志向性の詳細、論理的、構造を持つ、科学的の活性度を示す。黄色は、遊び好き、明るい、おおらか、創造的、知的、愉快、好奇心の強い、活発的の活性度を示す。緑色は、社交的、自然、気楽、調和、教師、話好き、理解が速いことの活性度を示す。
獲い緑色は、理解が速い、ゴール指向である、杜交的、官能的、話好き、まとめ役の活性度を示す。青色は親切、敏感、愛情に満ちている、手助けする、忠実、平和、サービス心、養育の活性度を示す。
藍色は、明瞭、平静、深い感情のこもった、愛情に満ちている、忠実、精神的価値観、芸術的の活性度を示す。すみれ色は、直感的、芸術的、官能的、理論派、先進的、夢想的、カリスマ的、革新的の活性度を示す。
薄紫色は、想健的、神秘的、幻想的、スフト、敏感、時々ボーットしているの活性度を示す。白色は、並外れている、彩質転換、想健的、平穏、より高い次元、霊感の強いことの活性度を示す。
ディスプレイのオーラ全体像を拡大表示した映像では、上述したオーラ可視化システムが人物の手から五臓六腑のエネルギー状態をカラー表示したが、オーラ全体像では不図示の撮像装置を用いて人物の上半身から放射されるオーラをカラー表示し、オーラの強さや人物のカラーを決定している。このオーラの大きさは人物とオーラ境界との距離で判断することができる。
オーラ全体像のオーラは、ディスプレイに表示されているオーラカラースペクトルのレベルゲージの矢印が示すオレンジ色であるスペクトルバーには下から白、青、緑、黄、オレンジ、赤の6色を順番にカラー表示している。
また、スペクトルバーは、上述した6色は勿論、各色間の中間色も表示し、人物の状態を表示している。人物は事象に対応して感情を変化させているので、オーラカラースペクトルのレベルゲージも感情の変化に応動して上下に移動する。
リアルタイムモニタは、棒グラフで表示し、現在の色がオーラカラースペクトルに対応させてオレンジに変化している。棒グラフの高さは、オーラ境界やオーラパワーに比例して上下に変化する。この棒グラフはレベル「80」を少し超えた高さである。
ディスプレイは、上段に位置する7個の棒グラフへ人物の少なくとも5臓器に対応するオーラパワーを色と大きさで表示している。上述した6色のオーラカラーの活性度を視覚的に表現している。
左端の棒グラフは赤をレベル「100」で表示し刺激の活性度が高く、右隣の棒グラフは赤をレベル「100」より低く表示し刺激の活性度が低い、さらに右隣の棒グラフは黄をレベル「100」で表示し遊び好きの活性度が高い、さらに右隣の棒グラフは緑をレベル「100」で表示し社交的の活性度が高いことを表示している。
同様に、棒グラフの右隣の棒グラフは青をレベル「100」で表示し親切の活性度が高い、さらに右隣の棒グラフは青をレベル「100」で表示し親切、敏感の活性度が高い、さらに右隣の棒グラフも青をレベル「100」で表示し親切、敏感の活性度が高い、さらに右隣の棒グラフは青をレベル「100」より低く表示し親切、敏感の活性度が少し低いことを各々表示している。
次に、図面を参照して、本発明の第1〜第6実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
また、以下に示す第1〜第6実施の形態は、この発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
(第1の実施の形態)
本発明の第1の実施の形態に係る音ゲーム機199は、図1に示すように、周囲音の音入力204する入力部200と、入力部200に接続され、周囲音を音響解析する音響解析部201と、音響解析部201に接続され、音響解析の結果をキャラクタへ変換するキャラクタ変換部202と、キャラクタ変換部202に接続され、キャラクタを表示部(図示する「MONSTER GET!」を表示する液晶ディスプレイ)へキャラクタ出力させる出力部203と、を備える。
また、音ゲーム機199は、音響解析部201が、図2に示すように、周囲音と異なるキャラクタに関連付けられる強化音(図示する「公園の噴水の音」や「台所の蛇口からの流水音」や「雨音」)を入力部200(図1参照)から入力させ、キャラクタ204aをパワーアップしたキャラクタ205aに変化させる。
さらに、音ゲーム機199は、音響解析部201が、図3に示すように、音響解析部201(図1参照)が、周囲音と異なるキャラクタに関連付けられるアイテム音(図示する「照明のスイッチ音」や「テレビのスイッチ音」や「パソコンの起動音」)を入力部200(図1参照)から入力させ、キャラクタ204aとアイテム音を合成させ、新たなキャラクタ音響解析結果をキャラクタ変換部202(図1参照)へ出力する。
また、図4に示すように、音ゲーム機199は、出力部203(図1参照)は、キャラクタをワイヤレス通信を通して、距離的に離間させた別の音ゲーム機199aへ伝送する。
図1及び図5の流れ図を参照して、本発明の第1の実施の形態に係る音ゲーム機199の動作シーケンスを説明する。但し、本発明は、図示するシーケンスに限定されるものではなく、各ステップを入れ替え同一の結果を得る別のシーケンスを用いることができる。
ゲーム機199は、ゲームスタートボタンの押下により、ステップ206(以下、ステップを単に「S」と略記する。)において、音ゲームをゲームスタートする。ゲームスタートには、音ゲームデータのロードS207及び新規ゲームの設定S215を画面とボタン選択操作により選択させることができる。
音ゲーム機199は、新規ゲームの設定S215が選択された場合、ユーザに対し、主人公選択S215において、男の子又は女の子主人公を選択させる。又、音ゲーム機199は、チュートリアルモードS216へ移行して、ボイスマスタの使い方をディスプレイ表示させる。
音ゲーム機199は、ユーザがボタン選択操作に応答し、音ゲームにおいて全ての悪の手下とイベントをクリアするまでゲームを遂行させるゲーム遂行S217を実行する。
ゲーム遂行S217では、音ゲーム中の町(情報集や、武器、防具、アイテムなどを購入する)の状況演出S220、フィールド(音ゲーム内でモンスターを集めたり戦ったりする)の状況演出S221、ダンジョン(モンスターを収集/敵とのバトル/謎解き/アイテム探し)の演出S222、を経由してバトル(例えば、最大「3」体のモンスターを配置しての団体戦)の状況演出S233を含ませることができる。
音ゲーム機199は、ゲーム遂行S217が完了した場合、ゲームクリア演出S218に移行し、全演出クリアしたユーザへを賞賛するスペシャル演出を実行する。
音ゲーム機199は、ロードS207が選択操作された場合には、音ゲーム機199内部又は外部からセーブされたゲームデータから再開するこもでき、通信S209へ分岐させ友達が操作する別の音ゲーム機199a(図4参照)と通信対戦S210を遂行することもできる。
音ゲーム機199は、サウンドモンスター交換S211へ移行し、友達が操作する別の音ゲーム機199aに記憶させたサウンドモンスターと音ゲーム機199に記憶したサウンドモンスターとを相互にワイヤレス通信としてのラジオ周波数通信回線を通じて交換することもできる。なお、ワイヤレス通信は、ラジオ周波数通信回線に代えて赤外線通信回線を用いることも出来る。
さらに、音ゲーム機199は、サウンドクリエーションS212へ移行し、図4に示すように踏切の警報音「カンカン」やペットの鳴き声「ニャー」のような周囲音を収集してサウンドクリエーションを実行することもできる。
この場合、実際の集音からサウンドモンスターを生成(S213)することもでき、アイテム合成S214において、実際の集音でアイテム合成(図3参照)を実行することもできる。
近年、日本人がゲームボーイアドバンス、ワンダースワンカラー、ネオジオポケットが輩出されている間に米国ではスーパークールな携帯ニューハードが既に生み出されている。 その名は「サイビコ(CYBIKO)というプロダクトである。
第1の実施の形態では、「サイビコ」テクノロジーを組み合わせ、音ゲーム機のボディを強烈なピンクのスケルトンで構成し、異国の香りを漂わせる色彩感覚。右の側面が波状のデザインを施すことができる。キーや画面が筐体に対してオフセットさせユーザに対してインパクトを与えることができる。
音ゲーム機には、筐体から突き出たアンテナが目を引き、音ゲーム機はワイヤレス通信としてのラジオ周波数通信回線に対応し、音ゲーム機同士の無線通信が行える(通信範囲は屋外で480メートルに及ぶ)。また、音ゲーム機は、別の音ゲーム機以外の携帯電話機とパケット通信を通じて通信することができる。なお、ワイヤレス通信は、ラジオ周波数通信回線に代えて赤外線通信回線を用いることも出来る。
音ゲーム機は、パソコンと同等のキーの数を有し、上下左右のキーの他にも、アルファベット「A」〜「Z」、数字「0」〜「9」、ESC、SELECT、DEL、INS、TAB、FN、SHIFT、BackSpace、その他、ありあらゆるボタンを装備することができる。ユーザは、音ゲーム機に指を当てると「5」〜「6」個一緒に押してしまうくらい小さいキーを備えるが、専用のスタイラスが付属し、このスタイラスはキーボード押し用に用意されている。
音ゲーム機は、デジタルサウンドで、3重和音くらいで鳴らせることができる。ACアダプタやパソコンとの通信ケーブルが標準で付属することもできる。バッテリはニッケル水素電池又はリチウムイオン電池を内臓し、ACアダプタに接続することで自動的に充電することができる。ACアダプタは120V入力でも良く、100V入力でも良い。
音ゲーム機は、電子メールにも対応している。つまり、携帯電話通信回線を通してパケット通信により複数の音ゲーム機同士で電子メールを送ることができる。
音ゲーム機は、バイブレータ機能を搭載し携帯電話機に組み込まれたバイブレータ同様の小型モータで、筐体を振動させ、この 振動している時は「ウォーン」という音を発することができる。
音ゲーム機は、本体下にゲームカートリッジを入れるスロットを備え、MP3プレイヤーとして楽曲を再生することもできる。
音ゲーム機は、カラー液晶ディスプレイを備え、256階調の色を同時発色されることがでくいる。
音ゲーム機は、ソフトウエア・開発ツールもダウンロードでき、インターネット網のサイトから開発ツールをダウンロードする。又、音ゲーム機は、音ゲームロードと称するソフトウエアをサイトからインストールし、音ゲーム機とパソコン間での通信ができる。特に、電子メールの送受信に至っては自動的に別の音ゲーム機にアクセスすることができる。 これによって、電子メールの受信をパソコンが行い、それからシリアルケーブルを通じて、音ゲーム機にメールを送信する。メールアドレスは「〜@otogame.com」のドメインを使用することができる。
本発明の第1の実施の形態では、図6に示すように、音ゲーム機を応用する心理解析システムを構築させることができる。
心理解析システムは、ユーザの問い合わせ情報に対するオペレータの回答情報を入力するオペレータ端末3と、第1の回線4aを通してユーザ端末2からユーザの問い合わせ情報を受信し、第2の回線4bを通してオペレータ端末3からオペレータの回答情報を受信し、ユーザ及びオペレータの心理状態を数値化して解析する心理解析装置1と、を備える。
第1の回線4aは、ユーザーデータ5を心理解析装置1へ伝送する。伝送されるユーザデータは、時間軸に並んだ数値データとして例示しているが、本発明はアナログ回線もデジタル回線も対応することができ、コーディングされた数値をグラフ7で表示することができる。
第2の回線4bは、オペレータデータ6を心理解析装置1へ伝送する。伝送されるオペレータデータは、時間軸に並んだ数値データとして例示しているが、本発明はアナログ回線もデジタル回線も対応することができ、コーディングされた数値をグラフ8で表示することができる。
心理解析装置1は、心理マーク9を生成しオペレータ端末3へ表示させることができる。心理マーク9は、1番のひょうきんマーク、2番のさわやかマーク、3番の平静マーク、4番の構えているマーク、5番の激怒マークを含むニコタマ君シリーズの中から心理解析結果に基づき選択される。
すなわち、心理解析装置1が生成する感情解析データは、電話ユーザ及びオペレータの喜び、怒り、悲しみ、落胆、及び興奮を含む感情を図形表示させることができる。
オペレータデータ6又はグラフ8は、オペレータのメンタルケア10に使用することもできるが、本発明はメンタルケアに限定するものではない。
心理解析装置1の原理は、音コンピュータによる心理解析に基づいて実施することができる。図示した心理解析装置1は、ワークステーション、パーソナルコンピュータを用いることもでき、オペレータ端末3に心理解析エンジンを搭載しても良い。
音コンピュータは、声に隠された情報を拾うために、例えば、フセイン元イラク大統領の音データ(例えば、声紋データ)を解析する。そして、ディスプレイ上へ縦軸に周波数、横軸に時間、色は青いほど、その周波数がもつ音が強く、黄色ほど周波数が弱いことを示すグラフを表示させる。
音コンピュータは、2003年3月20日にフセイン元イラク大統領の演説における「アメリカ」という台詞内の「アメリ」を音分折したグラフをディスプレイに出力する。又、2003年7月17日にテレビ局が放送した音声のみの声明の中にあった「アメリキアン」の「アメリ」を分析したグラフもディスプレイに出力する。
音データの中には10か所の一致点がある。他にも「イラク」、「ジハード」などの単語の一部で音の一致がある。
2003年3月20日に開戦したイラク戦争は、同年5月2日、ブッシュ大統領(アメリカ)によって戦闘終結が宣言された。しかし、8月13日現在、アメリカ軍が至上の目的としているフセイン元イラク大統鎮の身柄の確保は達成されていない。
フセイン元大統領は逃亡生活をつづけながら、さまざまな声明を発表しているとみられている。フセイン元大紡領には、多くの影武者がいるとされている。必然的に、発表される声明もフセイン元大統領本人によるものか、誰かがまねたものなのかが問題となる。
2003年7月17日、カタールのあるテレビ局がフセイン元大統領のメッセージを放送した。これは映像なしの音声だけのものである。この「声」ははたして本人のものなのか。音の研究で知られる民間の研究機関、日本音響研究所は、ただちにこの声を解析し、この声が3月20日(イラク戦争閉戦初日)のフセイン元大統領の声と同一であるとの判断をくだした。
日本音響研究所では、二つの音が同一であるか否かを判定するために、周波数の一致など通常30〜40項目のチェックを行う。その中で、16項目で一致をみた場合、それは同一人物の声であるとの判断がくだされる。
一卵性双生児(成入)の2人の声をくらべても、一致項目は8〜9項目。まったくの他人の声であれば、一致する項目は多くても2〜3項目である。「音にはその入独自の個性がでます。ですから、音はまねできるものではありません」と同研究所所長の鈴木松美博士は主張している。
音をつくる「三つの箱」そもそも「音」とは何か。せまい意味では声を周波数解祈してグラフにまとめたものをいうが、広い意味では声の特徴をさまざまな角度から分析し、そのデータを集めたものをいう。日本音響研究所であつかう「音」という言葉は、声の特徴をさまざまな角度から分析するものである。
発声は、まず肺が空気を押しだすことからはじまる。その空気は声帯を振動させる。声帯の振動によってつくられるのは、何の変哲もない「ブー」というような「音」の振動波である。この振動波には、「ア」「イ」「ウ」というような音の区別はない。
この振動波が、声帯から口に至るまでの「三つの箱」に響くことで振動が強くなり共鳴し、「声」となる。「三つの箱」とは、「嘔頭」、「口腔」、及び「鼻腔」から構成されている。咽頭は声帯から口腔、鼻腔にいたる連路であり、口腔は口の中の空間、鼻腔は鼻の中の空聞である。
言葉をつくるためには「三つの箱」の中で、口腔が重要なは働きをする。それは舌によって空聞の容積を変化させることができるからである。容積が変化すれば、音の響き方(例えば、共鳴のしかた)も変化する。ちなみに、声帯を振動させない言葉もあ言葉もあり、無声音という。英語の発音記号でいう「p」、「t」、「k」などが無声音に該当する。
これに対して、声帯を振動させる言葉を有声音という。その代表格が日本語の「ア」、「イ」、「ウ」、「工」、「オ」などの母音である。
3つの周波数の組み合わせが声を生むのであって、普通人間の口から発声された声の周波数には、3つの「フォルマント(共鳴周波数帯)」と称される帯が存在する。それは、共鳴によって音のエネルーが強まった帯であり、周波数の低い方から「第1フォルマント」、「第2フォルマント」、「第3フォルマント」と定義することができる。
各フォルマントには、音声によって一定の幅が存在する。例えば、「ア」とい音声の場合、第1フォルマントが600〜800Hz、第2フォルマントが1000〜1400Hz、第3フォルマントが2700〜3100Hzである。
研究所が受ける分析依頼の中には、「これは何を話しているのか」という録音テープが持ちこまれることもがある。多くは雑音などで、音声が聞き取り難いテープである。音声の解析には、フォルマントを使い、フォルマントの位置を分祈して、例えば第1フォルマントが700Hz、第2フォルマントが1100Hz、第3フォルマントが2900Hzに存在した場合、「ア」と話していると解析される。
逆に人間の声を使わずに、コンピューターを使てこの三つの周波数をもつ振動波を合成してみると、やはり「ア」という音が聞こえたと解析される。
クローン人間でも異なる音である。声をつくるフォルマントには、音毎に決まった幅があり、その中でどの値をとるかは人によって相違する。同じ「ア」という発音でも、Aという人の第1フォルマントは600Hz、Bという人の第1フォルマントは800Hzというように人によって周波数値は異なる。「ア」という音だけでも、第1、第2、第3フォルマントの組み合わせパターンは無数に存在する。
この差異を生む原因が、咽頭、口腔、鼻腔の「三つの箱」を構成するパーツの個人差かた生じている。口の容積、くちびるの厚さ、鼻の大きさなど、さまざまな要素がかかわってくる。鈴木博士は「声を出すパーツは変えることのできないその人の個性です。これが音のもととなります」と主張している。
さらには、音には話し手独自の「くせ」も関係する。抑揚などのくせは、人それぞれが育ってきた環境によってつくられる。例えば、(サイエンス・フイクションSF)などに登場するクローン人問は咽頭口腔、鼻腔のすべてのパーツの大きさや形が一致しているものだが、それでも育った環境が完全に一致しない限り、話し方のくせがことなり、同一の音は得られないと鈴木博士は主張している。
このように、いくら姿形が似ていても、声が似ているようでも、音分析を行えば、本人の声か他人の声かは音コンピュータで判明するのである。
日本では、裁判における証拠としても音が採用されている。音の証拠価値は指紋の次に高く、筆跡よりも上位である。音のみで有罪又は無罪が決定するケースもある。海外の事件では。1983年にフィリピンで起きたアキノ元上院議員暗殺事件の音鑑定を同研究所が行い、当時のフィリピン軍事政権の発表を覆した例がある。その結果フィリピン国内では軍事政権への不信感が高まり、後の民主化へと発展した。
図7は、同一人物(20代女性)の音データである。縦軸は波形(振幅)、横軸は時間をあらわしている。声は一連のの波形の繰り返しで表現されている。20代のときは、1週期目と2周期目で同一の波形をとっている。
図8は、同一人物(3O代女性)の音データである。同じ発声であっても1週期目と2週期目で波形を保てないポイント(図中の実線で囲ったボックス)が出現する点で20代女性の音データ(図7参照)と相違する。
図9は、同一人物(4O代女性)の音データである。同じ発声であっても1週期目と2週期目で波形を保てないポイント(図中の実線で囲ったボックス)が出現する点で20代の時の女性の音データと相違する。特に、波形が保てない傾向は40代のデータで強い。
音コンピュータでは、5センチきざみで身長を推定することができる。音にはさまざまな惰報が含まれる。声を聞いただけでは掴むことのできない情報も、音として分析することで多くのことがわかる。
音から読みとることのできる情報の一つとして発声者の身長が該当する。一搬に、身長の高い人は声が低く、身長の低い人は声が高い傾向がある。「ファントの法則」と称され、身長と声の高さ(声帯の振動数〕は反比例の関係にある。
身長の高い人は、体の各パーツも大きくなる。したがって、声帯も大きくなる。肺から送られる空気圧が同じでも、身長の高い人は身長の低い人ほど声帯が速く振動しない。これが低音に繋がっている。これは太鼓と同じ原理である。太鼓も大きい太鼓は低い音が出て、小さい太鼓は高い音が出る。
過去の多くの人の音データと比較することで、声さえあれば身長を推定することができる。その精度は、現在の技術をもってすれば、5センチメートルきざみで可能である。なお、身体の胸囲や胴囲などは身長ほど声の高低に影響を与えない。
音コンピュータは、5歳きざみでの年齢特定をする技術をも射程内に収めることができる。年齢も音からある程度推定できる。人間の声は、25歳を過ぎると「劣化」が始まる。例えば「アー」と長く伸ばして発音した場合、若い人の波形は、揺れが少ない、ところが歳をとるほどこの揺れは大きくなる傾向にある。
揺れは大きくなる原因は、筋肉の衰えにある。「アー」と一定の揺れで声を発するためには、肺から一定の圧カで空気を口腔へ送りつづけ、声帯の筋肉を一定に張り、口の形を一定に維持しなければならない。人間は歳をとるとその「一定」が困難となる。
特に、声帯を引張る筋肉は弱くて不安定なので、一定に保つにはそれだけ大きなエネルギ、が必要とされる。結果として、高齢になるほど波形に揺れがあらわれてくる。数年前に「現在の分祈技術では、だいたい10代単位で年齢を特定することが可能です。将釆的には、5歳きざみぐらいでなんとか特定できるようにしたいですね」と鈴木博士は主張していた。
さらに、高齢者の声はかすれることが多い。咽頭内の粘膜が咽頭内に凹凸ができるからである。肺から送られた空気がこの凹凸を通るとき、いくつかの渦ができる。この渦がかすれこ声の原因となる。
逆に、こういった揺れをつくる成分を除けば、音コンピューター上で高齢者が若いときの声を再現することもできる。言紋は体調判断もできる。発声者の体調も音にあらわれる情報の一つである。
先ず、咽頭に炎症が起きた場合、高齢者と同じ現象が起きる。つまり、炎症によって粘膜に凹凸が生じ、渦が発生して、かすれた声となる。また、体調が悪いと腹筋にカが入らなし、腹筋を使った発声には多くのエネルギーを使うため、体調を崩すとと腹筋に使うエネルギーの余裕がなくなる。その結果、腹筋を使わずに発声した場合、その声を周波数分析すると2000〜3000Hzの周波数成分が極端に弱くなる。
同研究所が分析した声の中で、体調の変化を表す音の好例として、国際テロ組織アルカイダの指導者ビンラディン氏の声データがある。
2001年9月11日のアメリカ同時多発テロ以来アメリカ軍などによる捜索が続けられているビンラディン氏の声明を音分析すると、2000〜3000Hzの周波数成分が弱いものがある。このことから、逃亡生活を続けていくうちにビンラディン氏は体調を崩していたのではないか、と同研究所は分折する。
音分析は、同じ音声を探すことか始まる。音はどのように分折されるのか、それはケース・バイ・ケースである。同研究所にある人物の音声が入ったテープの音鑑定依頼が来た場合、過去に録音された同じ人物の声とくらべ、その中から同じ単語を抽出することから始める。特に日本語ではない場合、同じ単語を探す処理に時聞がかかる。同じ単語がなければ、音鑑定の精度は格段に低下する場合がある。
そこで、個人のくせに着目して、同じ音声を探す。例えば、自己紹介をするときに、「えー、わたくしは」と名のる人の「えー」という癖を抽出する。音分析に必要な時問は1〜2秒もあれば十分であり、単語を抽出したら、ノイズの除去を行う。
また、音コンピュータは、録音した機器によって周波数の特性が異なっている。電話、放送波、録音テープでの直接録音、それぞれに固有の周波数特性がある。さまざまな補正処理をして、分析を実行する。
音コンピュータは、ビンラディン氏の体調不良を示唆する音データとして、2001年10月8日に放送された音声データと、2001年12月14日に取得した音声データを記憶している。縦軸に周波数、横軸に時間をとり、波形の色は青いほどその周波数をもつ音が強く、青色ほどその周波数をもつ音が弱いことを示している。
ほかの角度からの分析によって、両方ともビンラディン氏本人の音データであることは確認できるが、2001年12月14日に取得した音声データを解析すると2000Hz〜3000Hz付近の周波数が極端に弱い。体調を崩し、腹筋を使わずに発声すると2000Hz〜3000Hz付近の周波数が弱くなるからである。
鈴木博士が製作した初期の音声合成装置は、木製で中は空洞の構造であり、上の二つの丸い穴は鼻の穴を、その下の四角い穴は口をそれぞれ模している。箱の下から振動波を送り、両脇の拍子木を串し入れすることで言葉をつくりだすことができる。
音コンピュータでは、音声合成によってつくられた声のデータをディスプレイ上に波形として表示する。例えば、モナリザの音データ(縦軸は周波数、横軸は時間)を表示する。これは、ダビンチ作の絵画「モナリザ」からモナリザの頭骨を復元し、(私はモナリザと呼ばれているエリザベッタです)「SonoElizabetta Monnalisa」と発音させた音声データである。
又、音コンピュータは、トサカをもった白亜紀の恐竜パラサウロロフスの音データをも出力することができる。バラサウロロフスの場合は骨格によって2種類の声を合成する。低い声が雄の鳴き声、高い声が雌の鳴き声と考えられているが、現在、彼ら達は地球に生息していないので、確認することができない。
一方で「現場で録音されるテープには、バックノイズ(雑音)にも多くの情報が入っています」と鈴木博士は主張している。音コンピュータは、室内で録音されたテープの場合、バックノイズを分析し、反響音から床の材質や空調設備の有無や、録音した背景に絵画があることも判定することができる。音分析で同じ部屋の中に在室している人数まで把握できる。
音コンピュータは、分析に必要な時聞もさまざまで、早いものでは数時聞で分析結果を出力する。又、音声合成技術で宮沢賢治の声を復元することができる。現在、カーナビゲーションシステムや駅のアナウンスなどの主流は、録音合成技術によるものである。
これは、実際に人間の声を録音し、録音音声を繋ぎ合せて、台詞をつくる技術である。例えば、カーナビゲーションシステムなどでは全国の交差点名などをあらかじめ録音し、組み合わせることで台詞をつくっている。これはDVD−ROMやハードデイスクなどの大容量記録媒体の発達により可能になった技術である。しかし、前提条件として人間による声の録音が必要であるし、録音していない言棄はつくることができない。
咽頭、口腔、鼻腔の「三つの箱」を再現し、声帯の振動数と同じ振動波をつくり、録音音声にたよらない人工的な声をつくることができる。この点に着目した技術が、同研究所が開発した「声道シミュレーション」と称される音声合成技術である。
音声合成技術の原理は、単純である。声の通り道、つまり「声道」を構成する咽頭、口腔、鼻腔を模型で作成し、声帯を振動させたときと同じ周波数をもった振動波を咽頭の奥から送りこめばよい。
あとは、口腔の容積を変化させれば、声をつくることができる。もちろん、この場合、本人の話し方の「くせ」を入れることはできないが、いわゆる「ロボットが話しているような抑揚のない声」は音声合成理論を元にしてつくられる。
同研究所では、この音声合成技術を検証するために、当初、木の模型で声道を再現した。その結果、みごとに音声を再現できる。「木の模型でさえ、声をつくることができる。実は、声というのはたいしたメカニズムでつくられているわけではないな、とこのときに思いました。それならば、木の替わりに電気回路でこれをつくればもっと巧に声を合成できるのではないか、と考えまた」と鈴木博士は当時を振り返る。
電気回路で声を再現する際に必要なのは、「三つの箱」の骨格データである。骨格データさえあれ現存しない偉人や有名人の声も復元できる。過去の偉人や有名人の声を再現する場合は、まず銅像や写真から骨格データを算出する。
その骨格データをもとに、「三つの箱」を再現し、音コンピーターで合成すると良い。司研究所が再現した音声には、近年のものでは、映画俳優の石原裕次郎(1934〜1987)、詩人・童話作家の宮沢賢治(1896〜1933)などがあり、両者の声はそれぞれの家族も認める仕上がりである。他にも、レオナルド・ダ・ビンチ(1452〜1519)の絵画「モナリザ」から骨格を推測し、「モナリザ」のモデルといわれる女性の声を復元している。
音コンピュータは、恐竜の声のスタンダードをつくることができる。同研究所は、恐竜研究者フィリップ・カーリー士(カナダ、ロイヤルティレル博物館)やマーティイン・ロックレイ博士(アメリカ、コロラド大学)、松川正樹博士(東京学芸大学)などと協カして恐竜の声の再現をしている。
現在、映画なで耳にする恐竜の声のスタンダードは、同研究所の研究が、もとになっている。
対象が恐竜の場合、頭骨の化石をCTスキャンで分析するところから始まる。CTスキャンを行うことにより、頭骨における空洞の容積が算出できる。つまり、「三つの箱」のデータが手に入るのである。
鈴木博士は、恐竜研究者の指摘を参考に、恐竜は声帯をもっていなかったと仮定した。恐竜は声帯にかわるものとして咽頭の粘膜を振動させていたとの仮説をもとに、振動波を作りだし、音コンピューター上で恐竜の声を再現する。
同研究所が再現したのは、ティラノサウルス・レックスやステゴサウルス、パラサウロロフスなどの声である。とくにパラサウロロフスについて、鈴木博士は次のように語る。「恐竜研究者は以前から、特徴的なトサカをもったパラサウロロフスはホルンのような声であったのではないか、と仮説していました。この研究所で合成した声も、やはりホルンのような声となりました。恐竜研究者と音響研究者の見解が一致したわけです」。
音コンピュータは、音声認識技術の開発が次の課題である。同研究所では、音声以外にも音にまつわるあらゆる研究を行っている。近年では、JASRAC(日本音楽著作権協会)の依頼を受け、国際的な電子透かしの開発プロジェクトにたずさわり、透かし技術の審査を行った。電子透かしとは、音楽などのデジタルコンテンッのデータにコピーを防止する信号などを埋めこむ技術のことである。
鈴木博士に音響研究の今後の課題をうかがった。「今、1番望まれているのは、音声認識技術の開発です。コンピューターが人問と同じように、前後の文脈を判断しながら、的確に言葉を認識することのできる技術です。現在、観光案内などの限定された分野では使われていますが、汎用化はまだまだです」という回答である。
音分析にはじまった同研究所の活動は、機械に口をもたせた音声合成技術へとつながった。新たに音声認識技術が完成すれば、機械は耳をもつことになるだろう。そうすれば、人間と話すような感覚で機械と対話ができる日がくるかもしれない。「音」への挑戦をつづける同研究所の今後の研究が期待されている。
日本本音響研究所所長の鈴木松美博士は、「子供みたいな好奇心をいつまでも失わないことが大切です」と研究にのぞむ姿勢を語っている。
以下の実施の形態に用いるキャラクタ型会話システムは、コンピュータを用いてキャラクタ性のある会話をユーザと交わすシステムであって、例えば、人型ロボット、動物などペット型ロボット、その他任意の形態のロボットを対象とする。
(第2の実施の形態)
図10に示すように、本発明の第2の実施の形態に係る音ゲーム機を内蔵する感情データ提供装置としてのキャラクタ型会話システムは、多数の語彙を収めた意味ネットワークデータベース94と、自由文を生成するSDDモジュール97と、特定トピックを中心に会話を展開する定型トピックモジュール91と、SDDモジュール97と定型トピックモジュール91との間の談話的結束性を維持・管理しつつ、会話の連続展開を可能にする第1及び第2の連接モジュール93、99と、ユーザ情報管理モジュール89およびキャラクタ管理モジュール90とを備える。
キャラクタ型会話システムは、第1の継続チェック部92、第2の継続チェック部98、関連語・リンク語チェック部95、SDD関数チェック部96を有するキャラクタ型会話システムにより感情データを提供する。
意味ネットワークデータベース94には、約5000語の語彙が発音・文法情報とともに登録され、名詞テーブルおよび述語テーブルを備えている。名詞テーブルに設けられるフィールドカテゴリには、ターゲット名詞、リンク名詞、上位概念、下位概念、連想語彙、述語、品詞情報、属性情報、等が含まれる。また、述語テーブルに設けられるフィールドカテゴリには、ターゲット述語、述語名詞、反義述語、リンク名詞、品詞情報、属性情報、等が含まれる。
この意味ネットワークデータベース94は、複数のモジュールを実行するうえできわめて重要な役割を果たす。すなわち、話題の展開・復帰・発展および結束性のある文の生成を実現するには、特定の統語制約を課す必要があるが、意味ネットワークデータベース94自体が語彙間におけるある程度の結束性を保持しているため、このキャラクタ型会話システムの目的を実現するには最適の知識管理データベースである。
SDD(Speaker Driven Discourse)モジュール97は、このキャラクタ型会話システムが自律性を確保するため、自発的にさまざまな話題を提供するとともに、ユーザの対応に応じて自由文を生成する機能を実現するものであり、そのため、人間の行う談話活動の発展パターン情報が記憶され、談話内における状況に応じて最適なパターンを選択し、そのパターンをもとに会話展開を行う機能を有している。
すなわち、SDDモジュール97は、日本語の談話文法における各特徴を最大限に活用し、最小限の談話制約条件をもって自律的談話機能を実現している。日本語の談話文法では、既知情報を省略し、文中に表出させないという特徴的な制約がある。つまり、トピックと聞き手が一旦定まったら、聞き手の名称やトピックを表出させる必要はない。例えば、
A:昨日は(君は)(君の)会社へ行った?
B:(僕は)(僕の会社へ)行ったよ。
A:(君の仕事は)疲れた?
B:まあまあ。
A:残業は(したのかい)?
B:ない。
上述した会話から日本語談話文法では、一度「誰についての話題なのか」が決定すると、その後その人間を英語のように代名詞で明記する必要がない。また、トピックが一度決定すれば(例えば「会社」)、その他の情報(例えば「残業」)は可能な限りそのトピックフレーム(知識の枠組み)に照らして関係・真偽判断が行われる。
そのため、Aが「残業は?」と尋ねた時点で、Bは「自分が自分の会社で残業をしたかどうかをきいているはずだ」という判断の基に発話を行う。つまり、日本語には、トピックと参加者が決定し、一定の共有知識が成立した時点で、単語に現れない欠損情報部分は、それぞれの参加者が補って理解するというメカニズムが存在している。
SDDモジュール97は、基本的にこのメカニズムを応用して会話展開を行うものであり、談話進行プロセスのうち、新トピックと新参加者の認定が行われる新規展開部分と、既出情報に基づいて会話を継続させる部分とに分析し、新規展開と既出情報展開のそれぞれのプロセスで必要とされる条件をシステム(ロボット)に守らせることで、「近似値的」な自然な会話を実現する。つまり、各プロセスで最低必要とされる談話条件さえ守られていれば、あとはユーザが無意識に欠落情報や関係情報を補って理解しようとするというメカニズムを応用しているのである。
ところで、人間の談話は、必ずしも一定の動性(スピード)を保ちながら推移するわけではなく、特定トピックをめぐるやりとりにおいては、むしろ動性は下がり、情報領域が狭まって情報深度が深まる傾向がある。すなわち、文生成の動性と情報深度とは反比例の関係にある。
このうち動性をSDDモジュール97によって確保する一方で、情報深度を確保するために設けられているのが定型トピックモジュール91である。そのため、定型トピックモジュール91は、複数の(40を超す)個別トピックに対してさまざまな情報深度が設定され、各深度において複数の反応文が用意されている。そして、SDDモジュール97と定型トピックモジュール91とを組み合わせることで、相反する談話動性と情報深度とを同時に確保することを実現している。
第1及び第2の連接モジュール93、99では、会話の連続展開を可能にするため維持・管理する談話結束性は、領域の狭い順に、第一に同一文内における統語・意味論的結束性、第二にユーザ発話文とロボット応答文における結束性、第三に談話内におけるトピックと発話される各文の間の結束性、第四に既知ユーザ情報とロボットの現場発話との間の結束性、の4つのレベルに分類できる。
このうち、第一に同一文内における統語・意味論的結束性については、ロボットが自由生成する文形式が対象となる。このキャラクタ型会話システムでは、日本語構文の分析に基づき、SDDモジュール97に主述構文を中心とした文生成を行わせることで、統語的結束性を確保した。
これにより、意味ネットワークデータベース94上で結束性を保持しながら格納されている語彙同士を、その意味論的結束性を破壊することなく文に反映することができるようにしている。また、[+人間]という素性を主語名詞に要求する述語については、[+人間]のフラグをデータベース内に設けて、主述における共起関係の絞り込みを行なっている。
また、第二にユーザ発話文とロボット応答文における結束性については、ヘッジ管理によって実現している。すなわち、「ヘッジ」とは、実質的内容を伴った発話をする前にいわば「つなぎ」や「まくら言葉」として発話される行為で、談話結束性の維持に大きな役割を果たすものである。
すなわち、ユーザの応答文の直後に、ロボットを発話させるのではなく、ユーザの命題に対する態度を確認・共感・反論するフレーズを入れてから、その後に発話文を連続させることで、文同士の段差を埋め、結束性を確保する。
そのため、このキャラクタ型会話システムでは、SDDモジュール97内部、定型トピックモジュール91内部、第1及び第2の連接モジュール93、99内部、およびこれら相互間において、ユーザの反応に応じて適切な反応を返すヘッジ管理を行なっている。
また、第三に談話内におけるトピックと発話される各文の間の結束性については、トピック管理という概念によって実現している。すなわち、このキャラクタ型会話システムでは、先行するトピックがある場合、それを追い越す新情報語彙の出現に制限をかけるようになっている。
さらに、第四に既知ユーザ情報とロボットの現場発話との間の結束性については、ユーザが以前に発話した内容、発話態度、情報をログとして記憶・維持するユーザ情報学習機能と、ロボットが発話した情報を記憶・維持する生成文管理ログ機能とをもたせることで実現している。
すなわち、このキャラクタ型会話システムでは、ユーザ情報管理モジュール89がユーザ情報学習機能を有し、また、キャラクタ管理モジュール90が生成文管理ログ機能を有していて、それにより、過去の会話によってユーザとロボットとの間に成立した知識が、後出の会話に反映されるようになっている。
また、このキャラクタ型会話システムは、キャラクタの形成を行う2種類の機能を有していて、1つは、キーワードによってキックされる特定キャラクタの動的表出により行われ、もう1つは、蓄積されたユーザ反応の静的データに基づく特定キャラクタの表出により行われる。
特定キャラクタの動的表出は、ユーザが特定の言葉を発話するとそれがキーワードとなり、そのユーザ発話のタイプに対応するキャラクタがロボット発話内に実現される。例えば「ギャグ連発」や「ののしり返し」などが挙げられる。
特定キャラクタの表出は、ユーザ情報学習機能によって管理された知識が一定条件を満たした場合に、特定のキャラクタが一定の頻度をもって各所に表出される機能である。これは主にキャラクタモード管理機能によって行われる。
例えば、「オヤジ的語群」に該当する単語をユーザが多用すると、ロボットも高い頻度で「オヤジモード」に入りやすくなるものである。
一方、タイムコントロール機能によっても、動的なキャラクタの表出が行われる。例えば、起床時間などユーザが設定したタイムスケジュールを無視された場合には、特定の感情的色彩を伴った発話が選択される。
これらのキャラクタ性は、ロボットの顔面部分のディスプレイ上に表示される表情と同期がとられることで、ユーザに与える印象を強くする効果がある。キャラクタ型会話システムを、人型、ペット型など任意の形態のロボットとして構成する場合、ロボットの表情をユーザに表すためのLCD装置、および、ロボットの感情をユーザに表すためのLED装置を使用することが好ましい。
図10、図12及び図13を参照して、第2の実施の形態に係る音ゲーム機を内蔵する感情データ提供装置としてのロボット会話システムの動作を説明する。ロボット会話システムでは、第1発話ステップにおいて、まず、SDDモジュール97が、用意されている確認型文リスト、報告型文リスト、疑問型文リスト、発展型文リスト、転換型文リスト、状況設定型文リスト、の中から、第一に疑問型文リストを選択し、さらに文型「$ユーザ名$ニトッテN1(名詞)ッテドウイウモノカナ」を選択するように制御されている(ステップSR1)。
つぎに、SDDモジュール97が、ユーザ情報管理モジュール89から「鈴木」を引用して、「鈴木」を文型のユーザ名に埋め込み(ステップSR2)、また、意味ネットワークデータベース94から「酒」を引用して、「酒」を文型のN1(名詞)に埋め込み(ステップSR3)、それにより、「鈴木にとって酒ってどういうものかな?」という文を生成(ステップSR4)してロボットに発話させる。
このとき、SDDモジュール97は、要求情報タイプテーブルを参照(ステップSR5)することで、発話文が、Wh情報を埋める情報を要求するタイプの文であることを認識する。
SDDモジュール97は、第1発話に対し、ユーザが、例えば、「知らないなあ」と応じる(ステップSU1)と、上述した要求情報タイプ認識に基づいて、第2の連接モジュール99が、Wh情報ヒット語リストテーブルを参照し(ステップSR11)、ユーザ応答ヒット語をチェックし(ステップSR12)、ユーザ反応解釈テーブルを参照して(ステップSR13)、ユーザの第1発話「知らないなあ」は「理解不能」メッセージであるとして解釈する。そして、対応ヘッジをチェックし(ステップSR14)、第1ヘッジ発話として、例えば、「じゃあさ」というヘッジ出力をロボットに発話させる。
引き続き、SDDモジュール97が、第2ステップ接続テーブルを参照し(ステップSR21)、文型「V1(動詞)(ナ)ノッテ|V2(動詞)コトナノカナァ」を選択し、意味ネットワークデータベース94から、「酒」と意味的結束性を有する「飲む」、「楽しい」を引用して、V1、V2(動詞)にそれぞれ埋め込み(ステップSR22)、「飲むのって楽しいことなのかなぁ?」という文を生成(ステップSR23)してロボットに発話させる。
SDDモジュール97は、第2発話に対し、ユーザが、例えば、「ううん、まあ楽しいよ」と応じる(ステップSU11)場合は、継続チェック部が、関連語や関連トピックが定型トピックモジュール91に存在するか否かをチェックし(ステップSR31)、存在する場合は処理を継続フローへ分岐する。
一方、関連語や関連トピックが定型トピックモジュール91に存在しない場合は、意味ネットワークデータベース94を参照して(ステップSR32)、関連語や関連トピックが定型トピックモジュール91またはSDDモジュール97に存在するか否かをチェックする。
そして、関連語・リンク語チェック部95が、関連語リンクチェックを行い(ステップSR33)、関連語が存在する場合は、定型トピックモジュール91かSDDモジュール97の何れか一方へ処理を分岐させる。その際、関連語・リンク語チェック部95が第2発話ステップにおける発話文型と分岐先との整合性によって、第1又は第2の連接モジュール93、99をバイパスするか否かを決定する(ステップSR34)。
引き続き、SDD関数チェック部96がSDD関数チェックを行い(ステップSR35)、関連語や関連トピックが存在する場合は、定型トピックモジュール91かSDDモジュール97の何れか一方に処理を分岐させる(ステップSR36)。一方、関連語や関連トピックが存在しない場合は、ランダムに新しい話題をスタートさせる(ステップSR37)。
図14は、SDDモジュール97における第1及び第2の連接モジュール93、99の内容を示すテーブル、図15は、SDDモジュール97におけるヘッジ連接を示すテーブルであり、図中の符号Cは中立、Nは消極、Pは積極を意味する。
図15に示すように、パターン1〜パターン6は、確認型文リストや状況設定型文リストに対応する。すなわち、ロボットの第1発話が確認型文の場合はパターン1を見て、ロボットの第2発話になりうる文型パターン(数字だけを示す)を選択する。
同様に、ロボットの第1発話が報告型文の場合はパターン2を見て、また、ロボットの第1発話が疑問型文の場合はパターン3を見て、また、ロボットの第1発話が発展型文の場合はパターン4を見て、また、ロボットの第1発話が転換型文の場合はパターン5を見て、さらに、ロボットの第1発話が状況設定型文の場合はパターン6を見て、ロボットの第2発話になりうる文型パターン(数字だけを示す)をそれぞれ選択する。
第2の実施の形態に応用するキャラクタ型会話システムは、キャラクタ型会話ロボット、すなわち、音声認識、ワードスポット機能、人工知能、文章自動生成機能、単音認識、記憶機能を搭載した、言葉を覚えて自由なおしゃべりができるコミュニケーションロボット又はコミュニケーションアプリケーション手段として実施でき、コミュニケーションアプリケーション手段を搭載した情報家電(例えば、インターネット冷蔵庫やインターネット録画機)やインテリア等の多目的用途のコミュニケーションアプリケーションとなる。
例えば、ユーザがコミュニケーションロボットに対して「今日はいい天気だね。」と話しかけると、音声認識のワードスポット機能により、「今日」「いい」「天気」というキーとなる単語を認識する。その情報から、人工知能が関連語を探し出し、文章自動生成機能を使って返事を返す。
又、コミュニケーションアプリケーションを搭載したコミュニケーションロボットは、「昨日は雨だったよね。」「天気がいいと気分もいいね。」など、違和感のない会話の流れが完成する。ワードスポット機能は、1つの単語だけでなく、2つ以上の単語を認識単語として、人工知能が直前の会話からも関連語を拾い上げてくるため、同じ組み合わせで単語を認識しても、毎回違う返事を期待することができる。
さらに、各ユーザの固有の情報を語りかけることで、きちんと記憶してその後の会話に反映していくことができ、ユーザと生きた会話を実現することが可能である。例えば、人間と同様に記憶という能力をもち、記憶されたことを会話に反映させていくため、1年後になって、「去年はこんなことを話していたよ。」などと言い出すこともありうる。
コミュニケーションロボットは、記憶するのは言葉だけでなく、スケジュールを教え込むこともできるため、1日の流れ、1週間の流れ、または1年の流れで適切な会話をすることができる。例えば、「朝だよ、起きて。」とか、「今日はゴミを出す日だよ。」とか、「ハピーバースデー(ユーザ名)」と歌ってサービスを提供する。
また、1文字に対し2コマ以上のリップシンクロをすることで、会話の内容、言葉に合わせて豊かに変化しながら話し相手をしてくれる。
第2の実施の形態では、感情データ提供装置としてのコミュニケーションロボットは、ロムカセットによる拡張性や、シリアルポートを利用したパソコンや携帯電話機との接続により、さらに進化することが当業者において十分理解できるであろう。
さらに、感情データ提供装置としての人型ロボット、動物などペット型ロボット、その他任意の形態のロボットの他、例えば、パソコンや携帯情報端末をキャラクタ型会話システムとして対象とすることができ、さらには、携帯端末の応用例として2者以上の話者が会話している状況で、コミュニケーションアプリケーションによる心理を把握して介入させる例示としては、「ガミガミ上司」に怒られ電話を切った場合に、携帯端末が、さも人格を持ったように「頑張った」と喋ったり、喧嘩をしている二人の仲裁に入ることができ、恋人ビジネスの応援に介入することもできる。
本発明の第2の実施の形態に用いるキャラクタ型会話システムは、定型トピックモジュール91に予め決められた契機に応じて所定の広告シナリオを実行する広告シナリオサブモジュールが設けられている。
本発明の第2の実施の形態に係る感情データ提供装置として例示する広告シナリオサブモジュールは、図11に示すように、広告シナリオデータベース156と、ユーザ返事解釈テーブル157と、広告出現頻度パターンテーブル155と、広告実行トリガ発生部151と、広告シナリオ処理部150とを備えている。
広告実行トリガ発生部151は、システム起動から所定時間経過後の話題転換時にこれを契機として広告実行トリガを発生する第1トリガ発生部152と、起床プロセスなど所定のプロセス発生時にこれを契機として広告実行トリガを発生する第2トリガ発生部153と、広告出現頻度パターンテーブル155を参照してその広告出現頻度パターンに基づく広告出現状況を契機として広告実行トリガを発生する第3トリガ発生部154とを備えている。
広告シナリオ処理部150は、第1トリガ発生部152、第2トリガ発生部153または第3トリガ発生部154から広告実行トリガが発生するのに応じて、広告シナリオデータベース156に保存した広告シナリオを実行する。この広告シナリオは、所定の広告トピックの発話を含むロボットの発話と、ユーザの返事との一連のやりとりをシナリオ化したものであり、ユーザの返事によって会話の進行がどのように変化しても、自然な会話の流れの中でロボットが所定の広告トピックを含むメッセージを発話できるシステムを対象としている。
また、広告シナリオサブモジュールは、広告シナリオの実行の際にユーザの属性を参照するためのユーザ属性データベース158を備え、広告シナリオ処理部150が、広告シナリオの実行にともなうユーザの返事をユーザ返事解釈テーブル157と照合することで、所定の広告トピックに関するユーザの感情や心理状態を解析し取得することで、ユーザ情報をユーザ属性データベース158に保存する。
そして、広告シナリオサブモジュールは、広告シナリオの実行を通じて取得したユーザの情報(広告トピックに関するユーザの感情や心理状態、好み、嗜好、趣味など)はもとより、広告シナリオの実行を通じることなく事前に取得したユーザ情報を、ユーザ属性情報として、広告シナリオの実行に反映させることができる。
さらに、広告シナリオサブモジュールは、意味ネットワークデータベース94の名詞テーブルまたは述語テーブルに保存されている単語の中に、広告シナリオの実行に不適当な語彙が含まれている場合、広告シナリオの設定時に、意味ネットワークデータベース94の中の不適当な語彙の削除・修正を行う感情データ提供装置を提供する。
図11及び図16を参照して、本発明の第2の実施の形態に係る感情データ提供装置として例示する広告シナリオサブモジュールの動作を説明する。
会話ロボットは、システム起動(ステップS100)した後に、特定時間による割り込みが発生すると(ステップS105)、以下のような発話(すなわち、話題の転換時や特定プロセス発生時の強制的な発話)を行う。
(a)会話ロボットが起動してから所定時間経過後の話題転換時では、
R:「あ〜、なんだか話しすぎてのどがかわいちゃった、○○、コーラ飲もうよ。」
(b)会話ロボットが起床プロセス発生時では、
R:「おはよう、もう起きる時間だぞ、いつまでも寝ぼけてないで、コーラでも飲んですっきりしなよ。」
一方、会話ロボットは、定型/SDD分岐(ステップS101)を定型に進むと、まず、トピックTを決定する(ステップS111)。このようなトピックの決定は、会話ロボットがキャラクタ型会話システムの所定の処理の中で定型/SDD分岐(ステップS101)を定型に進んだとき行われるほか、ユーザによる話題の転換(ステップS110)によっても行われる。
つぎに、会話ロボットは、広告出現頻度パターンテーブル155を参照して(ステップS112)、広告実行トリガが発生すると、そのトピックT(例えば「飲み物」)で広告シナリオデータベース156を検索して(ステップS113)、トピックTから広告トピックA(例えば「コーラ」)の発話を引き出す所定の広告シナリオを決定する(ステップS114)。
そして、会話ロボットは、ユーザ属性が不要な場合(ステップS120の「NO」)、広告シナリオを実行するための以下の発話(すなわち、ユーザ主導またはランダムによる特定話題選択時のユーザ属性を反映させない会話)を行う(ステップS121)。
(c)会話ロボットが飲み物の話題選択時では、
R:「○○って、どんな飲み物が好きなのか?」
U:「コーラ」
R:「やっぱり、ボクも、コーラは大好き! あのシュワシュワ感がたまんないなっ」
U:「そうだね」R:「シュワシュワ、あ〜もうたまんないや、○○、コーラ買ってきてくれ」
(d)会話ロボットが飲み物の話題選択時では、
R:「○○って、どんな飲み物が好きなのか?」
U:「(コーラ以外)」
R:「へえ、そーなんだあ、ボクのお気に入りは、やっぱコーラだな、○○はコーラ好きなのか?」
U:「別に…」
R:「なんだよ〜、あのシュワシュワ、想像してたら今すぐ飲みたくなってきた、○○、コーラ買ってきてくれ」
このように、会話ロボットは、ユーザからどのような返事が返ってきた場合でも、自然に広告トピックA(例えば「コーラ」)を含む所定の広告メッセージ(例えば「コーラ買ってきてくれ」)を発話する方向に誘導することが可能である。
また、会話ロボットは、ユーザ属性が必要な場合(ステップS120の「YES」)は、ユーザ属性データベース158を参照して(ステップS131)、広告シナリオを実行するための以下の会話(すなわち、事前に取得済みのユーザ属性を反映させる会話)を行う(ステップS132)。
(e)ユーザがビール好きのユーザの場合では、
R:「確か、○○って、ビール好きだったよな?」
U:「そおだよ」
R:「最近飲みすぎなんだから、たまにはコーラでも飲んだ方がいいかもよ」
U:「なんで?」
R:「だって、シュワシュワしてるとこなんか似てるしさ、そおだ、○○、これからビール飲む代わりに、コーラ飲めばきっと健康にいいぞっ」
(f)ダイエット中のユーザの場合では、
R:「確か、○○って、ダイエット中だったよな?」
U:「そおだよ」
R:「やっぱ、甘い飲み物とかもひかえてたりするのか?」
U:「まあねえ」
R:「それなら、ダイエットコーラなら、大丈夫だよ、カロリー低いし」
U:「でも〜」
R:「ダイエットのために、無理しすぎるのもよくないんだぞ、ほら、ボクが大丈夫だって言ってるんだから、ダイエットコーラ飲みなよ」
(g)コーラ好きのユーザの場合では、
R:「確か、○○って、コーラ好きだったよな?」
U:「そおだよ」
R:「それなら、おまけのフィギュアとかも集めてるのか?」
U:「集めてるよ」
R:「一度、集めだすと、コンプリートするまでやめらんないしな」
U:「そおそお」
R:「うーん、フィギュアも集められるし、飲んでもおいしいし、まさに○○にとって、コーラは最高の飲み物ってわけだ!」
そして、会話ロボットは、上述した会話が終了すると、広告出現頻度パターンテーブル155を参照して(ステップS141)、広告実行トリガが発生する場合、すなわち、広告表現のため現状トピックを継続する場合は(ステップS142の「YES」)、ステップS114に戻り、現状トピックT(例えば「飲み物」)から広告トピックA(例えば「コーラ」)の発話を引き出す新たな広告シナリオを決定し、それを会話を実行する。
また、会話ロボットは、現状トピックを継続しない場合は(ステップS142の「NO」)、このトピック内ループを継続するか否かチェックし(ステップS143)、ループを継続する場合は(ステップS143の「YES」)、ステップS114に戻る一方、ループを終了する場合は(ステップS143の「NO」)、直前の話題の終了へ処理を分岐(ステップS103)させる。
また、意味ネットワークデータベース94の中に、広告シナリオの実行に不適当な語彙が含まれている場合の削除・修正はつぎのようにして行う。すなわち、システム(ロボット)がSDDモジュール97を用いて自動生成で発話しようとする場合、意味ネットワーク中には大まかに、名詞→その名詞に関連する述語(動詞、形容詞等)といったリンクが存在する。
例えば、会話ロボットは、「コーラ(ジュース)」という名詞に対し、「飲む」「甘い」「太る」という述語がリンクしていた場合、「コーラって太るよな」という文章を生成してしまう可能性がある。そこで、これを避けるために、広告主の意見を反映して、「太る」という述語リンクを削除し、「爽やか」などの述語を追加するのである。
さらに、会話ロボットの表情をユーザに表すための描画表示可能なLCD装置を利用することで、システムの発話内容にあわせて、企業ロゴ、商品イメージなどを、ロボットの表情の代わりに表示することもできる。
会話ロボットは、ユーザ情報取得方法を用いて、所定の広告トピックに関するユーザの感情、心理状態、好み、嗜好、趣味などさまざまな情報を取得することができ、これらはアンケート調査に役立てることができる。
会話ロボットがYES/NO形式によるユーザ情報取得処理を遂行する場合は、
R:「○○って、コーラは好きなのか?」
U:「うん」「はい」「好き」など……この場合はYESとして認識する。
U:「嫌い」「いーえ」「全然」など……この場合はNOとして認識する。
U:いずれにも該当しない返事の場合は、どちらでもないとして認識する(外すことも可能)。
又、会話ロボットが選択肢形式(複数回答不可)によるユーザ情報取得処理を遂行する場合は、R:「○○は、コカコーラ社の飲み物だと、コーラ、ファンタ、スプライト…の中で、どれが好きなのか?」、または、R:「○○は、コカコーラ社の飲み物だと、何が好き?」
U:「コーラ」「コカコーラ」など……この場合はコーラとして認識する。
U:「ファンタ」など……この場合はファンタとして認識する。
このように、選択肢をあらかじめ登録しておけば、ユーザの通常発話で回答を認識可能である。また、想定した選択肢にないユーザ返事の場合は、単音認識により文字列を入力する(文字によるアンケートの[その他欄]と同様)。
さらに、会話ロボットが選択肢形式(複数回答可/2つまで選択可能の場合)によるユーザ情報取得処理を遂行する場合は、
R:「○○は、なんでコーラが好きなのか?」
U:「おいしいし、爽やかだから」……この場合は、ワードスポットにより、「おいしい」「爽やか」として認識する。
U:「おいしいし…」……この場合は、まず「おいしい」と認識し、さらに、R:「おいしい以外の理由って、他にあるか?」
これに対し、回答がYESなら、さらに追加の理由を認識し、回答がNOなら、「おいしい」のみを回答とする。選択肢の扱い、想定した選択肢にないユーザ返事の場合の処理は、複数回答不可の場合と同様である。
ユーザの選択肢形式(複数回答可/3つ以上選択可能の場合)によるユーザ情報取得処理の場合は、
R:「○○の好きな俳優って誰なのか?とりあえず一人だけ教えてくれ」
U:「俳優A」
この場合は、「俳優A」を第一回答とし、さらに、R:「俳優A以外にも、好きな俳優っているのか?」
これに対し、YESなら、さらに追加の俳優を認識し、MAX値までループ。NOなら、「俳優A」のみを回答とする。選択肢の扱い、想定した選択肢にないユーザ返事の場合の処理は、複数回答不可の場合と同様である。
ユーザが自由回答形式の場合は、単音認識を利用し、一文字ずつ会話ロボットへ文字を入力し対応(最大20文字まで)することができる。
第2の実施の形態に係る感情データ提供装置として例示するキャラクタ型会話システムは、キャラクタ型会話ロボット、すなわち、音声認識、ワードスポット機能、人工知能、文章自動生成機能、単音認識、記憶機能を搭載した、言葉を覚えて自由なおしゃべりができるコミュニケーションロボットとして実用化することができる。
例えば、キャラクタ型会話ロボットは、ユーザの感情を解析し、「今日はいい天気だね。」と話しかけると、音声認識のワードスポット機能により、「今日」「いい」「天気」というキーとなる単語を認識する。その情報から、人工知能が関連語を探し出し、文章自動生成機能を使って返事を返す。「昨日は雨だったよね。」「天気がいいと気分もいいね。」など、違和感のない会話の流れができあがる。ワードスポット機能は、1つの単語だけでなく、2つ以上の単語を認識単語として、人工知能が直前の会話からも関連語を拾い上げてくるため、同じ組み合わせで単語を認識しても、毎回違う返事を期待することができる。
また、キャラクタ型会話ロボットは、ユーザの感情を解析し、1文字に対し2コマ以上のリップシンクロをすることで、会話の内容、言葉に合わせて豊かに変化しながら話し相手をしてくれる。
(第3の実施の形態)
本発明の第3の実施の形態に係る感情データ提供装置は、図17に示すように、視覚12、聴覚13、臭覚14、触覚15、及び味覚16を含む五感の情報によるユーザの心理状態を数値化して解析し、ユーザ情報管理モジュールに記憶したユーザ履歴情報に基づきユーザ11が心理的に落ち込んでいる数値を検知した場合は、文字又は絵若しくは音若しくは五感による励ましメッセージを出力すると共に、ユーザ11が心理的に高揚している場合は夢想起メッセージを出力する心理解析装置を備える。
なお、心理解析装置は、センサを用いて五感を検知し、五感の情報を入力すれば良く、励ましメッセージをアクチュエータを通じて五感によって出力しても良い。例えば、振動アクチュエータでユーザの触覚に対してアピールすることも出来る。
(第4の実施の形態)
本発明の第4の実施の形態に係る携帯電話機は、図18に示すように、視覚、聴覚、臭覚、触覚、及び味覚を含む五感の情報によるユーザの心理状態を数値化して解析し、ユーザ情報管理モジュールに記憶したユーザ履歴情報に基づきユーザが心理的に落ち込んでいる数値を検知した場合は、文字又は絵若しくは音による励ましメッセージを出力すると共に、ユーザが心理的に高揚している場合は夢想起メッセージやキャラクタを出力する心理解析装置を備える。
図18を参照して、携帯電話機の動作を説明する。なお、心理解析装置1(図6参照)は、システムオンチップ化され携帯電話機に搭載され、外部から観察することができない。
又、携帯電話機は、携帯電話回線に接続し、音声通話及びパケット通信を実行する携帯電話機であって、周囲音の音入力する入力部と、入力部に接続され、周囲音を音響解析する音響解析部と、音響解析部に接続され、音響解析の結果をキャラクタへ変換するキャラクタ変換部と、キャラクタ変換部に接続され、キャラクタを表示部へキャラクタ出力させる出力部と、を備える。
さらに、携帯電話機は、出力部を機能させ、キャラクタを携帯電話回線と異なるワイヤレス通信としてのラジオ周波数通信回線を通して、距離的に離間させた別携帯電話機へ伝送することができる。なお、ワイヤレス通信は、ラジオ周波数通信回線に代えて赤外線通信回線を用いることも出来る。
上司の携帯電話機は、ユーザの携帯電話機に発呼する発呼ステップS20によりユーザと上司との間で会話を開始させる。ユーザの携帯電話機は上司の「ガミガミ」ご指示を受信しユーザの心理状態が「ひぇ…・・」状態へ悪化する(ステップS21)。
ユーザの携帯電話機は、通信キャリア企業のサーバに対して契約電話番号に対応するアドレス帳にユーザの心理状態を送信し、「おだっち」キャラクタを自動設定するちょっと見機能ステップS22を実行する。心理状態の送信は、上司と会話しているときに実行しても良く、上司との通話が終了した段階で送信しても良い。
ユーザの知人の携帯電話機は、発呼前ステップS23によりユーザの携帯電話機に発呼する前に、ユーザの心理状態を見ることができる。すなわち、知人は、「電話かけよー」とする前に相手側であるユーザの心理状態をアドレス帳を通して確認することができる。
アドレス帳は、通信キャリア企業のサーバに設けても良く、アドレス帳更新プログラムにより通信キャリア企業のサーバから自動送信される情報に基づき知人の携帯電話機内部に設けても良い。
ユーザの心理分析と生態カラー分析を合致させ、ユーザの健康状態を引き出し、「肝臓が弱っているから人参を食べた方が良いよ」等の健康を維持させるメッセージもディスプレイに表示させることができる。
知人は、ユーザの心理状態をちょっと見機能ステップS22で確認してから、ユーザの心理状態を把握すると(ステップS24)。「あ…おだっちが!」立っている事象を配慮しながらユーザの携帯電話機へ電子メールで「大丈夫」の文字メッセージや癒し系の画像などの励ましメッセージを送信する(ステップS25)。
なお、励ましメッセージは、「喧嘩しないで」などの文字メッセージをユーザの携帯電話機が自動表示させても良い。要は、ユーザの心理状態を解析し感情を制御するプログラムを内蔵させれば良い。
ユーザは、励ましメッセージを受信又は表示させたユーザの携帯電話機により心理状態が安定し「あ…ありがとう」のような心理状態に移行することができるという利点がある。
図19を参照して、携帯電話機の他のシーケンス動作を説明する。ユーザの携帯電話機では、味方君プログラムが内蔵され、視覚、聴覚、臭覚、触覚、及び味覚を含む五感の情報によるユーザの心理状態を数値化して解析している。五感は圧力センサやCCDカメラや加速度センサにより検知することができる。
ステップS26では、ユーザが落ち込んでいる心理状態を示している。味方君プログラムはユーザの心理状態に応動し(ステップS27)、「大変!」状態のユーザに対して背中を押してくれる励ましメッセージをディスプレイに表示する(ステップS28)。例えば、「大きく変わるチャンスだよ!」のような文字メッセージを表示すると良い。
携帯電話機は、ユーザが心理的に高揚している場合は夢想起メッセージを出力する(ステップS29)。例えば、ユーザが「お金持ちになりたい!」心理状態を解析し(ステップS30)、夢想起メッセージとして「今日も豊かだよー!」のような文字メッセージをディスプレイに表示しても良く、「今日も豊かだよー!」に対応する映像をディスプレイに表示させると良い(ステップS31)。
(第5施の形態)
本発明の第5の形態に係る感情データ提供装置として例示するユーザ端末2は、図20に示すように、電話ユーザ11の音声アクセスに応答し、音声入力された音声データを電子メールでサーバ48へ自動送信する音声データ送信手段と、サーバ48から音声データを数値化して解析した感情解析データを受信する解析データ受信手段と、感情解析データをディスプレイに出力する出力手段と、を備える。
ユーザ端末2は、読み取った感情データをディスプレイへグラフィック又はテキスト表示することができる。
サーバ48は、大量の感情解析データに基づき、ユーザの声を分析し、ユーザの感情履歴と比較し、マッチング処理を遂行してマッチングした感情データを解析データとしてユーザ端末2(例えば、F型の携帯端末)に自動送信する感情解析エンジン50を有している。
又、サーバ48は、データベースサーバ49に接続し、ユーザの感情履歴を保存させることができる。ユーザ端末2、サーバ48、データベースサーバ49は、インターネット網により接続しデータの送受信を遂行する。
図21に示すように、電話用サーバ48aが、電話ユーザ11のユーザ端末2としての携帯電話機から携帯電話交換機を経由する発呼に自動応答し音声データを記憶装置に記憶し、記憶装置から音声データを読出して通信回線を通してアプリケーションサーバ48bへ転送し、アプリケーションサーバ48bが感情解析エンジン50に蓄積した感情解析データに基づき、音声データを分析及び比較し、合致する感情解析データを携帯電話交換機を通してユーザ端末2としての携帯電話機へ自動送信する電話ユーザ心理解析方法を提供することができる。
なお、データベースサーバ49は、図20に示した構成要素と同等の手段を用いることができるので、重複する説明を省略する。
図20、図21、及び図22を参照して、第5の実施の形態に係るユーザ心理解析方法を説明する。電話ユーザ11の音声をユーザ端末2としての携帯電話機に入力するマイク音声入力ステップS53と、マイク音声入力ステップS53で入力した音声をメモリに保存する保存ステップS54と、マイク音声入力で混入する雑音強度を監視し、音声が感情判定用データとして有効か否かを判定する有効判定ステップS55と、有効判定ステップS55で有効判定された音声を通信回線を通して電子メールの添付ファイルとしてサーバ48へ送信するメール送信ステップS56と、サーバ48が音声のピッチ、スピード、タイミングを含むパラメータを抽出し、感情解析エンジン50に予め蓄積した感情解析データに基づき、音声を分析及び比較し(ステップS57)、合致する感情解析データを通信回線を通してユーザ端末2としての携帯電話機へ送信するステップS59と、ユーザ端末2としての携帯電話機が感情解析データをレスポンス用データとしてディスプレイにグラフィック又はテキスト表示させる表示ステップS60と、を含む。なお、ステップS57では、感情解析データに基づき、音声に代えて電子メールの文章を音相に基き分析及び比較することもできることは勿論である。
ユーザ端末2は、電話ユーザ心理解析の事前設定としてプロファイル設定ステップS50を処理する。例えば、レスポンス内容、言い回し等の選択要因となるサーバ48に設けた人格プロファイルを設定させ、サーバ48がレスポンス選択ステップS58を実行する。
又、ユーザ端末2は、電話ユーザ11の操作によりアプリケーション起動のトリガー手段を特定音声コマンド又は感情起伏の発生若しくはキー操作などの中から何れか1つを選択し、ユーザ端末2としての携帯端末本体メモリに保存する。
さらに、ユーザ端末2は、電話ユーザ11の操作によりレスポンス起動トリガー設定ステップS52を処理する。レスポンスとしてディスプレイにテキスト情報を表示させるかビットマップ画像情報を表示させるか選択することができる。
出力履歴データベース(例えば、図20のデータベースサーバ49)は、出力履歴データベース処理ステップS61で電話ユーザ11の人格プロファイル、感情(又は状態)判定結果、過去データを参照し、レスポンスの種類や表現方法を決定するデータを蓄積する。
(第6の形態)
本発明の第6の形態に係る感情データ提供装置として例示する携帯電話機は、図23に示すように、携帯電話機がアプリケーションソフトウエア(例えば、見方君アプリ)のダウンロードサイトにアクセスするステップS67と、アプリケーションソフトウエア(例えば、見方君アプリ)をダウンロードするステップS68と、アプリケーションにユーザ設定をするステップS69と、を含む。
ステップS67では、携帯電話機のディスプレイにハイパー見方君のダウンロードの開始を促すダウンロード画面70aを表示し、ステップS68では、携帯電話機のディスプレイにハイパー見方君のダウンロード完了を報知するダウンロード完了画面70bを表示し、ステップS69では、事前登録画面70cを表示している。
事前登録画面70cでは、ニックネーム入力ボックスと、iアプリ自動、手動若しくは選択を入力するiアプリ入力ボックスと、レスポンス起動トリガーを設定する入力ボックスを表示し、各入力ボックスに電話ユーザが任意の情報をボタン操作で入力する。
図24を参照して、第6の形態に係る感情データ提供装置として例示する携帯電話機の動作を説明する。携帯電話機は、アプリケーションプログラムをダウンロードし事前登録処理を完了させた状態で、アプリケーションプログラム(見方君)を立ち上げる(ステップS71)。
次に、携帯電話機(例えば、ムービーカメラ付き)は、電話ユーザの音声を録音する録音ステップS72を実行し、携帯電話機が録音データを電子メールに添付しサーバ48(図20参照)へ自動送信する。
引き続き、サーバ48は、録音データを解析するステップS74を処理し、解析結果を携帯電話機へダウンロードさせ、解析結果をディスプレイへ画面表示させるステップS75を遂行する。
ステップS71では、携帯電話機のディスプレイにハイパー見方君のサービスメニュー76aを表示させ、ステップS72では、携帯電話機のディスプレイにハイパー見方君のご指示画面76bを表示させカウントダウン処理を遂行している。30秒以内にご指示の言葉を音声入力しステップS73で電子メールを送信する。
ステップS74では、感情解析中の画面76cをディスプレイに表示し、ステップS75では、解析結果画面76dをディスプレイに表示させている。例示の解析結果は、「前世は豚だったようです。あまり気を落とさないでね! 昔の話だから…」というメッセージを表示する場合がある。
さらに、ステップS75では、解析結果画面76dをディスプレイに表示させているが、解析結果画面76dへ相手側の状態(環境)に対応したマッチング・キャラクタを出力させても良い。例えば、、相手側が駅にいる状態を検知して「列車に乗り遅れないように喚起する」キャラクタを出力したり、相手側が酒場にいる状態を検知して「飲み過ぎないように喚起する」キャラクタを出力したり、相手側が港にいる状態を検知して「船に乗り遅れないように喚起する」キャラクタを出力するマッチング・キャラクタを選択して出力させることも出来る。
以上の説明の如く、本発明の第1〜第6の形態によれば、二者以上のマッチング処理により、例えば、複数のオペレータを配置するコールセンターにおけるユーザの心理状態解析や、二者以上の携帯電話機を同時に会話させ各電話ユーザの心理状態を解析する心理状態解析や、ユーザとオペレータとの間で問題が生じたときは別のオペレータに代わって対応する音ゲーム機若しくは携帯電話機を用いた問題可決手段を提供することができる。
また、音ゲーム機は、カラオケ装置本体若しくはマイクロホンに実装してユーザの感情を解析し、解析結果をカラオケ装置のディスプレイにキャラクタを出力させても良い。
さらに、音ゲーム機は、アーケードゲーム装置本体若しくはジョイスティクに実装してユーザの感情を解析し、解析結果をアーケードゲーム装置のディスプレイにキャラクタを出力させても良い。
さらにまた、音ゲーム機は、入力部から入力される複数の音源をメニュー表示させ、ユーザにメニュー選択を促し、1又は複数の音源からキャラクタを合成若しくは選択させることもできる。
またさらに、音ゲーム機は、別体の別音ゲーム機との相互通信を通してキャラクタを交換することもでき、ユーザに対してゲームの醍醐味を満喫させることもできる。
なお、本発明の実施例に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、本発明の実施例に記載されたものに限定されるものではない。
例えば、ユーザの視覚、聴覚、臭覚、触覚、及び味覚を含む五感の情報を入力し、ユーザの肉体、精神、感情を解析して、五感の情報で解析結果を出力する感情データ提供装置にも適用することができる。
また、感情データ提供装置をニューロチップ化して、食器のような日用雑貨に埋め込み「言葉」、「視覚」、「味覚」などの五感に訴える情報でユーザの満足度を向上させることもでき、音ゲーム装置に埋め込みプレーヤーの満足度も向上させることもできる。
さらに、音ゲーム機は、騒音の中でも正しく音を入力するように、密閉型の集音ボックスに配置させ、一人又は複数のユーザが雑音を遮音しながら、音入力を遂行させると良い。この場合、音ゲーム機は、ユーザが男性であるときに女性の声及び女性のシルエット表示でゲーム進行をガイドし、ゲームの臨場感を高めることが出来る。なお、ユーザが女性であるときは、男性の声及び男性のシルエット表示でゲーム進行をガイドさせることもできる。
さらにまた、カップルのゲーム演出では、男性ユーザと女性ユーザが交互に音声を入力することで、より臨場感を高めるゲーム演出を遂行させることができる。
またさらに、音ゲーム機は、複数の音入力を合成して、音入力から推測されるユーザの顔表示を合成し三次元的なディスプレイ表示を演出することもできる。例えば、女性ユーザの髪形を男性ユーザの顔に合成した場合、カップルが驚き、音ゲームを盛り上げることも出来る。
さらにまた、音ゲーム機は、男性ユーザの顔をした女性キャラクタが男性ユーザの体調や感情を気遣う演出も遂行することも出来る。例えば、女性ユーザにやきもちを焼かせるような演出も遂行することができる。音ゲーム機は、感情解析に基づき女性ユーザの理想の男性像を表示させたり、男性像からイメージする音声を出力することもできる。
音ゲーム機は、感情解析に基づいた解析結果をプリントアウトしユーザに提供することもできる。例えば、音ゲーム機を応用した占い演出において、複数の感情データ辞書に基づきユーザと「有名人との対比」、「どういう職業に多い声」、「或る時代に多い人類の声」のような多種多様な音データを解析することができ、複数の音分析モードにより、「音分析」のエンターテイメントという新しいジャンルの音ゲーム機を提供することもできる。
1…・心理解析装置、2…・ユーザ端末、3…・オペレータ端末、4a…・第1の回線、4b…・第2の回線、48…・サーバ、49…・データーベースサーバ、50…・感情解析エンジン、199…・音ゲーム機、200…・入力部、201…・音響解析部、202…・キャラクタ解析部、203…・出力部。