JP2001100888A

JP2001100888A - 情動入力装置及び方法、情動駆動型の情報処理システム、ならびに、プログラム記録媒体

Info

Publication number: JP2001100888A
Application number: JP27800299A
Authority: JP
Inventors: Masamichi Asukai; 正道飛鳥井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-09-30
Filing date: 1999-09-30
Publication date: 2001-04-13

Abstract

(57)【要約】【課題】興奮度や興味度などからなるユーザの無意識
的・非論理的な「情動」をコンピュータに対するユーザ
入力として扱う。【解決手段】ユーザの顔を赤外線カメラで撮像した顔
画像から顔領域を抽出する。この顔領域の輝度を基に顔
面皮膚温を測定し、ユーザの興奮度を求めることができ
る。また、抽出された顔領域の大きさに基づいて、ユー
ザがどれだけ対象物に近づいたかが判り、ユーザの興味
度を求めることができる。顔画像から判明したユーザの
興奮度と興味度に従ってユーザの無意識的・非論理的な
意図を特定して、これをコンピュータ・システムに対す
るユーザ・コマンドとして用いることにより、ユーザに
拘束感を与えない、ごく自然なユーザ入力を実現するこ
とができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータなど
の対話型の情報処理システムに対するユーザ入力の形態
及び該ユーザ入力に応答した情報処理システムの駆動に
係り、特に、キーボードやマウス入力のような意識的又
は論理的ではないユーザ入力の形態、及び、無意識的・
非論理的なユーザ入力に応答して対話的に駆動する情報
処理システムに関する。

【０００２】更に詳しくは、本発明は、興奮度や興味度
などからなるユーザの無意識的・非論理的な「情動」を
情報処理システムに対するユーザ入力として扱う対話型
入力方式、及び、かかる情動の入力により対話的に駆動
する情報処理システムに関する。

【０００３】

【従来の技術】昨今の技術革新に伴い、メインフレー
ム、スーパーコンピュータ、ワークステーション、ある
いはパーソナル・コンピュータなど、性能、仕様、価格
などが相違する様々なコンピュータ・システムが開発・
市販され、広汎に普及している。

【０００４】これらコンピュータ・システムは、一般
に、ユーザ入力コマンドに応答して駆動する。また、処
理結果をディスプレイ・スクリーン上に表示することに
よって、インタラクティブ、すなわち対話的な処理環境
を提供している。

【０００５】コンピュータ・システムに対するユーザ入
力は、キーボードを介したキャラクタ入力や、マウスや
タッチパネルなどを介した座標指示入力という形式で行
うのが一般的である。特に、最近では、ＧＵＩ（Ｇｒａ
ｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）環境が
提供されており、ユーザは、ディスプレイ・スクリーン
上のプログラム、データ、フォルダ、デバイスなどを象
徴する表示オブジェクトすなわち「アイコン」に対して
マウスやタッチパネルで直接操作を印加する（例えば、
クリックやドラッグ・アンド・ドロップ）ことで、直感
的なコマンド入力を行うことができる。

【０００６】さらに、音声入力や手書き文字入力をサポ
ートするシステムも出現してきており、もはやユーザ
は、特定のコマンドの名称やコマンド操作方法等を特に
習得していなくもコンピュータを充分に操作することが
できる。

【０００７】また、ユーザ入力装置は、バリエーション
が豊富になってきた。しかしながら、これらのほとんど
は、旧来のキーボードやマウスによる入力方式を基調と
したもので、ユーザ入力は意識的・論理的であることを
前提としていた。言い換えれば、コンピュータとの間で
対話動作を実現するためには、ユーザは、コンピュータ
に対する指示すなわちコマンドを論理的に意識しなけれ
ばならない。また、ユーザは、コンピュータ側からのイ
ンタラクション（例えば、ディスプレイ・スクリーンの
表示）に対して緻密に且つ素早く反応する必要もある。

【０００８】他方、ユーザの情緒・情動のような無意識
的・非論理的なものは、コンピュータに対するユーザ入
力として扱うのは今までは不向きとされていた。これ
は、コンピュータは本来デジタイズされた論理的データ
のみを扱うのに対して、情緒・情動なるものは無意識ゆ
え従来のユーザ入力装置では扱うことができないこと
や、非論理的であり計測や解釈が困難であるという理由
にも依拠する。

【０００９】しかしながら、両手がふさがるような作業
環境、ＧＵＩさえ習得していないユーザ、あるいはエン
ターティメント性の指向が高い使用態様などでは、ユー
ザの無意識的・非論理的な情動をユーザ入力として処理
し、且つ、コンピュータ・システムは情動入力によって
適正に駆動することが好ましいであろう。

【００１０】また、社会構造が複雑化した環境下では、
現代人は、時分を争う業務遂行を強いられ、常に様々な
ストレスにさらされている。このようなストレスを癒す
ヒーリングやリラクゼーションの効果があるデジタル・
コンテンツの潜在的な需要・商品価値は非常に大きいと
予想される。このようなデジタル・コンテンツにおいて
は、ユーザは、従来のゲーム機に対するような緻密で素
早くインタラクションを行う必要はなく、疎でゆったり
とした、無意識で非論理的なインタラクションで充分で
ある。ある意味においては、後者のインタラクションの
方が、ユーザの潜在意識を忠実に抽出若しくは再現する
ものであり、好ましくさえある。

【００１１】平凡社の哲学辞典によると、「感情」（ａ
ｆｆｅｃｔｉｏｎ，ｆｅｅｌｉｎｇ）と「情緒」若し
くは「情動」（ｅｍｏｔｉｏｎ）には次のような相違が
ある。すなわち、前者の感情は、狭義の感情（快、不
快）と、広義の情緒である情動、気分（ｍｏｏｄ）、情
操（ｓｅｎｔｉｍｅｎｔ）、激情（ｐａｓｓｉｏｎ）と
で構成される。これに対し、後者の情緒若しくは情動
は、外部刺激に対して強い身体的表出を伴なう感情を意
味し、快・不快、怒り、恐れ、悲しみ、哀れみなど、所
謂「喜怒哀楽」を基本構造とするものである。

【００１２】また、情動を基本的感情のように離散的範
疇により捉える方式と、情動空間のように連続次元によ
り捉える方式とがある。後者の場合、覚醒状態（ａｒｏ
ｕｓａｌ）の高低や、誘発性（ｖａｌｅｎｃｅ）の正負
などを次元として用いることができる。本発明者は、覚
醒状態を「興奮」の度合いと解釈することとした。ま
た、誘発性を「興味」の度合いと解釈することとした。
このような解釈によれば、情動を、興奮度と興味度を座
標軸とする「情動空間」として捉えることができる。

【００１３】本発明者は、コンピュータを始めとする情
報処理システム、あるいはその他の電気・電子機器に対
する無意識で非論理的なコマンド入力の形態として、ユ
ーザの情動空間を利用することが有用であると思料して
いる。但し、情動空間をコンピュータ・システムに対す
る入力に活用するためには、情動空間を被検対象である
ユーザから効率的且つ正確に抽出して、デジタイズする
必要がある。

【００１４】人間は情動の変化に応答した生理現象を生
ずる。したがって、体温や発汗、心拍数、呼吸数、脳波
などの身体的変化を基にして情動を計測することが考え
られる。情動の主な認識方法としては、カメラによる顔
の表情から認識する方法と、バイオ・センサからの生理
信号によって認識する方法とが挙げられよう。

【００１５】前者のカメラで撮像した顔の表情から情動
を認識する方法は、Ｐ．Ｅｋｍａｎ氏らのＦＡＣＳ（”
ＦａｃｉａｌＡｃｔｉｏｎＣｏｄｉｎｇＳｙｓｔ
ｅｍ”，Ｐ．ＥｋｍａｎａｎｄＷ．Ｆｒｉｅ
ｓｅｎ，ＣｏｎｓｕｌｔｉｎｇＰｓｙｃｈｏｌｏｇ
ｉｓｔｓＰｒｅｓｓ，１９７７）による表情筋の動
きを基礎としているものが多い。この方法によれば、明
確な表情に対しては認識率が高いという利点がある。

【００１６】しかしながら、該方法によると、高解像度
のカメラが必要で、情動入力装置を小型化するのが困難
である。例えば屋外などのモバイル環境での利用には不
向きである。また、画像処理を伴うため計算量が大き
く、照明条件の変化に弱いのが欠点である。また、人間
の表情は本来的にはコミュニケーションの道具としての
色彩が強いため、所謂「ポーカーフェイス」のように嘘
をつく、すなわちシステムに誤入力する可能性が高い。
また、顔の表情は社会的・文化的な影響を強く受けるの
で、異なる社会的・文化的環境間では、同じ顔の表情で
あっても一義的に解釈することはできない。

【００１７】なお、照明条件の変化に対応するために、
赤外線カメラを用いた表情認識の研究も行われている
（例えば、「赤外線画像を用いた人間情報解析」（吉冨
康成著、システム／制御／情報、Ｖｏｌ．４２Ｎｏ．
１０、１９８８）など）。

【００１８】また、後者の生理信号によって認識する方
法の例としては、ＭＩＴ（マサチューセッツ工科大学）
メディア・ラボラトリのＲ．Ｐｉｃａｒｄ氏らが提案す
るものが挙げられる（”ＡｆｆｅｃｔｉｖｅＣｏｍｐ
ｕｔｉｎｇ”，Ｒ．Ｐｉｃａｒｄ，ＭＩＴＰｒ
ｅｓｓ，１９９７［ｈｔｔｐ：／／ｗｗｗ．ｍｅｄｉ
ａ．ｍｉｔ．ｅｄｕ／ａｆｆｅｃｔ／］）。これは、バ
イオ・センサなどを含む情動入力装置を小型・軽量化し
て、あたかも洋服のように人体に装着可能（すなわちウ
ェアラブル）に構成することも可能である［ｈｔｔｐ：
／／ｗｗｗ．ｍｅｄｉａ．ｍｉｔ．ｅｄｕ／ｗｅａｒａ
ｂｌｅｓ／］。「ウェアラブルＰＣ」とも呼ばれる。こ
の方法による場合、計算量が少なくて済み、且つ、入力
するユーザが嘘をつけない（すなわち誤入力がない）こ
とが利点である。

【００１９】しかしながら、該方法は未だ研究途上であ
り、本出願時においては、認識率（すなわちユーザ入力
の成功率）はコンピュータへのユーザ入力に活用できる
ほど充分には高くない。また、ユーザはバイオ・センサ
を身に着けなければならず、情動入力のために一定の違
和感や拘束感を伴なう。

【００２０】なお、バイオ・センサとしては、Ｔｈｏｕ
ｇｈｔＴｅｃｈｎｏｌｏｇｙ社［ｈｔｔｐ：／／ｗｗ
ｗ．ｔｈｏｕｇｈｔｔｅｃｈｎｏｌｏｇｙ．ｃｏｍ／］
の”ＰｒｏＣｏｍｐ＋”が市販されている。該センサ
は、脳波センサ、温度センサ、皮膚抵抗センサ、脈波セ
ンサ、呼吸センサ、心電センサ、筋電センサなどの多数
のセンサがコンパクトにまとめられた製品である。

【００２１】

【発明が解決しようとする課題】本発明の目的は、キー
ボードやマウス入力のような意識的又は論理的ではない
ユーザ入力の形態、及び、無意識的・非論理的なユーザ
入力に応答して駆動する対話型の情報処理システムを提
供することにある。

【００２２】本発明の更なる目的は、興奮度や興味度な
どからなるユーザの無意識的・非論理的な「情動」をコ
ンピュータに対するユーザ入力として扱う方式、及び、
かかる情動の入力により駆動する対話型の情報処理シス
テムを提供することにある。

【００２３】

【課題を解決するための手段】本発明は、上記課題を参
酌してなされたものであり、その第１の側面は、ユーザ
の情動を入力する情動入力装置又は方法であって、ユー
ザの顔付近を撮像した顔画像を入力する画像入力手段又
はステップと、前記画像入力手段から入力された顔画像
を基にユーザの情動を抽出する情動抽出手段又はステッ
プと、を具備することを特徴とする情動入力装置又は方
法である。撮像画像を基に、言い換えれば非接触の検出
装置により情動入力を行うので、ユーザに余計な拘束
感、ストレス、違和感を与えなくて済む。

【００２４】本発明の第１の側面に係る情動入力装置又
は方法において、前記画像入力手段又はステップに入力
される顔画像は赤外線画像であり、また、前記情動抽出
手段又はステップは、さらに入力された赤外線画像から
顔領域を抽出する顔領域抽出手段又はステップと、抽出
された顔領域における輝度を基にユーザが示す興奮度を
計算する興奮度計算手段又はステップとを含んでいても
よい。顔領域の輝度により顔面皮膚温が判り、この結果
興奮度を算出することができる。

【００２５】また、該情動入力装置又は方法において、
前記情動抽出手段又はステップは、さらに、入力された
顔画像から顔領域を抽出する顔領域抽出手段又はステッ
プと、抽出された顔領域の大きさに基づいてユーザが示
す興味度を計算する興味度計算手段又はステップとを含
んでもよい。ヒトは興味を惹かれた物に対して接近し、
逆に興味のない又は嫌いな物からは遠ざかるという心理
学的な力学的構成概念がある。顔領域の大きさは対象物
に対する接近の度合いすなわち興味度の指標となる。

【００２６】また、該情動入力装置又は方法において、
前記画像入力手段又はステップに入力される顔画像は赤
外線画像であり、前記情動抽出手段又はステップは、さ
らに、入力された赤外線画像から顔領域を抽出する顔領
域抽出手段又はステップと、抽出された顔領域における
輝度を基にユーザが示す興奮度を計算する興奮度計算手
段又はステップと、抽出された顔領域の大きさに基づい
てユーザが示す興味度を計算する興味度計算手段又はス
テップと、を含んでいてもよい。すなわち、該情動入力
装置により、興奮度と興味度の双方を算出し、ユーザの
情動空間を検知することができる。

【００２７】また、該情動入力装置又は方法は、さら
に、ユーザの顔画像を基に抽出された情動信号を情動駆
動型の機器に対して出力する出力手段又はステップを具
備していてもよい。

【００２８】ここで言う情動駆動型の機器は、ユーザか
らのコマンド入力に応答するコンピュータ・システムの
他に、テレビジョン、ビデオデッキ、電話機、冷蔵庫、
エアコンなど、ユーザの情動又は情動の変化に応答して
駆動するタイプの機器であれば何でもよい。例えば、テ
レビにおける選局、ビデオデッキにおける記録・再生操
作、インターネット閲覧装置（ＷＷＷ（ＷｏｒｌｄＷ
ｉｄｅＷｅｂ）ブラウザを起動中のコンピュータの
他、インターネットＴＶやインターネット冷蔵庫、イン
ターネット家庭用ゲーム機などのインターネット家電を
含む）におけるリンク探索作業、２次元又は３次元コン
ピュータ・グラフィックスにおけるコンテンツ生成など
において、情動入力を利用した対話的な処理が可能とな
る。

【００２９】情動入力は、無意識的且つ非論理的なユー
ザ入力であり、言い換えればユーザに拘束感やストレ
ス、違和感を与えない自然なコマンド入力操作を実現す
ることができる。

【００３０】また、本発明の第２の側面は、ユーザの情
動を入力する情動入力装置であって、赤外線画像を撮像
する撮像手段と、前記撮像手段によって撮像されたユー
ザの顔付近を撮像した顔画像を基にユーザの情動を抽出
する情動抽出手段と、を具備することを特徴とする情動
入力装置である。

【００３１】本発明の第２の側面に係る情動入力装置に
おいて、前記情動抽出手段は、さらに、入力された赤外
線画像から顔領域を抽出する顔領域抽出手段と、抽出さ
れた顔領域における輝度を基にユーザが示す興奮度を計
算する興奮度計算手段と、を含んでいてもよい。

【００３２】また、本発明の第２の側面に係る情動入力
装置において、前記情動抽出手段は、さらに、入力され
た赤外線画像から顔領域を抽出する顔領域抽出手段と、
抽出された顔領域の大きさに基づいてユーザが示す興味
度を計算する興味度計算手段と、を含んでいてもよい。

【００３３】また、本発明の第２の側面に係る情動入力
装置において、前記情動抽出手段は、さらに、入力され
た赤外線画像から顔領域を抽出する顔領域抽出手段と、
抽出された顔領域における輝度を基にユーザが示す興奮
度を計算する興奮度計算手段と、抽出された顔領域の大
きさに基づいてユーザが示す興味度を計算する興味度計
算手段と、を含んでいてもよい。

【００３４】また、本発明の第２の側面に係る情動入力
装置は、さらに、ユーザの顔画像を基に抽出された情動
信号を情動駆動型の機器に対して出力する出力手段を具
備していてもよい。

【００３５】また、本発明の第３の側面は、情動入力に
応答して駆動するタイプの情報処理システムであって、
興奮度と興味度からなる情動を入力する情動入力手段
と、情動若しくは情動の変化と処理内容との関連規則を
記憶する関連性記憶部と、入力された情動若しくは情動
の変化と関連付けられた処理内容を実行する処理部と、
前記処理部の処理結果を出力する出力部と、を具備する
ことを特徴とする情動駆動型の情報処理システムであ
る。

【００３６】本発明の第３の側面に係る情報処理システ
ムにおいて、前記出力部はテキスト・静止画、映像の表
示、音声出力のうち少なくとも１つの出力形式を有して
いてもよい。

【００３７】また、本発明の第３の側面に係る情報処理
システムにおいて、前記出力部は蓄積された映像を所定
位置から再生可能な映像再生装置であり、前記関連性記
憶部は情動若しくは情動の変化と映像再生位置との関連
規則を格納していてもよい。

【００３８】また、本発明の第３の側面に係る情報処理
システムにおいて、前記出力部はテレビ受信機であり、
前記関連性規則は情動若しくは情動の変化と前記テレビ
受信機の選局操作との関連規則を格納していてもよい。

【００３９】また、本発明の第３の側面に係る情報処理
システムにおいて、前記出力部は広域ネットワーク上の
情報空間を探索して取得したページを表示するブラウザ
であり、前記関連性記憶部は情動若しくは情動の変化と
探索先のアドレスとの関連規則を格納していてもよい。

【００４０】また、本発明の第３の側面に係る情報処理
システムにおいて、前記出力部は２以上の描画オブジェ
クトを画像合成若しく画像変形するコンピュータ・グラ
フィックス描画装置であり、前記関連性記憶部は情動若
しくは情動の変化と合成若しくは変形時における各描画
オブジェクトの寄与率との関連規則を格納していてもよ
い。

【００４１】また、本発明の第４の側面は、ユーザの情
動を入力する処理をコンピュータ・システム上で実行す
るためのコンピュータ・プログラムを有形的且つコンピ
ュータ可読な形式で記録するプログラム記録媒体であっ
て、前記コンピュータ・プログラムは、ユーザの顔付近
を撮像した顔画像を入力する画像入力ステップと、前記
画像入力手段から入力された顔画像を基にユーザの情動
を抽出する情動抽出ステップと、を特徴とするプログラ
ム記録媒体である。

【００４２】本発明の第４の側面に係るプログラム記憶
媒体において、前記画像入力ステップに入力される顔画
像は赤外線画像であり、前記情動抽出ステップは、さら
に、入力された赤外線画像から顔領域を抽出する顔領域
抽出ステップと、抽出された顔領域における輝度を基に
ユーザが示す興奮度を計算する興奮度計算ステップと、
抽出された顔領域の大きさに基づいてユーザが示す興味
度を計算する興味度計算ステップと、を具備していても
よい。

【００４３】また、本発明の第５の側面は、情動入力に
応答した処理をコンピュータ・システム上で実行するた
めの処理プログラムを有形的且つコンピュータ可読な形
式で記録するプログラム記録媒体であって、前記コンピ
ュータ・プログラムは、情動若しくは情動の変化と処理
内容との関連規則を記憶する関連規則データベースと、
入力された情動若しくは情動の変化と関連付けられた処
理内容を実行する処理モジュールと、前記処理部の処理
結果を出力する処理モジュールと、を具備することを特
徴とするプログラム記録媒体である。

【００４４】

【作用】本発明は、情報処理システムに対するユーザの
無意識的で非論理的な入力を可能にするためのものであ
る。すなわち、快・不快、怒り、恐れ、悲しみ、憐れみ
などのヒトの基本的感情からなる「情動」（ｅｍｏｔｉ
ｏｎ）を、デジタイズしてコンピュータに対するユーザ
入力として扱うものである。

【００４５】さらに、本発明では、ヒトのすなわちユー
ザの情動空間を「興奮度」と「興味度」の２次元で表現
することとした。ここで言う「興奮度」とは覚醒状態
（ａｒｏｕｓａｌ）の度合いに相当し、また、「興味
度」とは誘発性（ｖａｌｅｎｃｅ）の度合いを意味す
る。但し、本発明の要旨は情動空間を興奮度と興味度に
よって定義することのみには限定されない。他の情緒的
・情動的な要素を情動空間の次元として組み込んでもよ
く、あるいは興奮度や興味度と置き換えてもよい。

【００４６】本発明では、興奮度と興味度の２軸からな
る情動空間をユーザの身体（特にユーザの「顔」を指
す）から入力して、コンピュータ・データとしてデジタ
イズして取り込むことができる。

【００４７】より具体的に言えば、ユーザの顔を赤外線
カメラで撮像した顔画像から顔領域を抽出する。カメラ
による情動測定は、非接触であり、ユーザに対して余計
な拘束感や違和感、ストレスを与えなくて済む。

【００４８】この顔領域の輝度を基に顔面皮膚温を測定
することができる。情動の変化により、顔面の血管が膨
張又は収縮して血流量が変化し、この結果顔色が変化す
るとともに顔面皮膚温が変化する、ということが既に知
られている（後述）。したがって、測定された顔面皮膚
温を基に、ユーザの興奮度を求めることができる。

【００４９】また、抽出された顔領域の大きさに基づい
て、ユーザがどれだけ対象物に近づいたかが判る。心理
学における力学的構成によれば、興味を惹かれた物に対
しては顔や身体が自然と近づき、逆に興味のない（若し
くは嫌いな）物からは遠ざかる傾向があることが判って
いる（後述）。したがって、測定された顔領域の大きさ
を基に、ユーザの興味度を求めることができる。

【００５０】興奮度と興味度の組み合わせによってユー
ザの情動空間を表現できることは既に述べた通りであ
る。興奮度と興味度の組み合わせとユーザの意図とは所
定の相関関係を有することが多い。したがって、顔画像
から判明したユーザの興奮度と興味度に従ってユーザの
無意識的・非論理的な意図を特定して、これをコンピュ
ータ・システムなどの他の機器に対するユーザ・コマン
ドとして用いることができる。このようにすれば、ユー
ザに拘束感や違和感、ストレスを与えない、ごく自然な
ユーザ入力を実現することができる。

【００５１】本発明によれば、低解像度のカメラであっ
ても、拘束感なく、照明条件に影響されず、低計算コス
トで、コンピュータ・システムに対する情動入力を簡便
に実現することができる。

【００５２】また、本発明に係る情動入力を採用するこ
とにより、キーボード入力やマウス入力のような意識的
又は論理的ではないユーザ入力の形態、すなわち、興奮
度や興味度などからなるユーザの無意識的・非論理的な
「情動」をコンピュータに対するユーザ入力として扱
い、コンピュータ・システムその他の機器を駆動するこ
とができる。

【００５３】例えば、テレビにおける選局、ビデオデッ
キにおける記録・再生操作、インターネット閲覧装置
（ＷＷＷブラウザを起動中のコンピュータの他、インタ
ーネットＴＶやインターネット冷蔵庫、インターネット
家庭用ゲーム機などのインターネット家電を含む）にお
けるリンク探索作業、２次元又は３次元コンピュータ・
グラフィックスにおけるコンテンツ生成などにおいて、
情動入力を利用した対話的な処理が可能となる。

【００５４】このように無意識的・非論理的なユーザ入
力は、ユーザに負担や拘束感を課するものではなく、言
い換えれば「ストレス」を招来しない。

【００５５】社会構造が複雑化した環境下では、現代人
は、時分を争う業務遂行を強いられ、常に様々なストレ
スにさらされている。このようなストレスを癒すヒーリ
ングやリラクゼーションの効果があるデジタル・コンテ
ンツの潜在的な需要・商品価値は非常に大きいと予想さ
れる。このようなデジタル・コンテンツにおいては、ユ
ーザは、従来のゲーム機に対するような緻密で素早くイ
ンタラクションを行うは必要なく、疎でゆったりとし
た、無意識で非論理的なインタラクションで充分であ
る。ある意味においては、後者のインタラクションの方
が、ユーザの潜在意識を忠実に抽出若しくは再現するも
のであり、好ましくさえある。

【００５６】本発明の第４及び第５の各側面に係るプロ
グラム記録媒体は、例えば、様々なプログラム・コード
を実行可能な汎用コンピュータ・システムに対して、コ
ンピュータ・プログラムを有形的且つコンピュータ可読
な形式で提供する媒体である。記録媒体は、ＣＤ（Ｃｏ
ｍｐａｃｔＤｉｓｃ）やＦＤ（ＦｌｏｐｐｙＤｉｓ
ｃ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌｄｉｓ
ｃ）などの着脱自在で可搬性の記憶媒体であってもよ
い。

【００５７】このようなプログラム記録媒体は、コンピ
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
記録媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、本発明の第４及び第５の各側
面に係るプログラム記録媒体を介して所定のコンピュー
タ・プログラムをコンピュータ・システムにインストー
ルすることによって、コンピュータ・システム上では協
働的作用が発揮され、本発明の第１及び第３の各側面と
同様の作用効果を得ることができる。

【００５８】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００５９】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施例を詳解する。

【００６０】図１には、本発明の実現、すなわち情動入
力に対しインタラクティブに動作するコンピュータ・シ
ステム１００のハードウェア構成を模式的に示してい
る。コンピュータ・システム１００の一例は、ＯＡＤＧ
（ＰＣＯｐｅｎＡｒｃｈｉｔｅｃｔｕｒｅＤｅｖ
ｅｌｏｐｅｒ’ｓＧｒｏｕｐ）仕様に準拠した、米Ｉ
ＢＭ社のＰＣ／ＡＴ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔ
ｅｒ／ＡｄｖａｎｃｅｄＴｅｃｈｎｏｌｏｇｙ）互換機
又はその後継機である。以下、各部について説明する。

【００６１】プロセッサ１０１は、コンピュータ・シス
テム１００全体の動作を統括的に制御するメイン・コン
トローラであり、オペレーティング・システム（ＯＳ）
の制御下で、各種のアプリケーション・プログラムを実
行する。ここで言うアプリケーションには、例えば、情
動入力装置１０（後述）から入力された情動空間に基づ
いて「インタラクション」すなわちシステム１００の駆
動を制御するソフトウエア・プログラムが含まれる。こ
の種のアプリケーションは、ＧＵＩ（Ｇｒａｐｈｉｃａ
ｌＵｓｅｒＩｎｔｅｒｆａｃｅ）に取って代わるユ
ーザ・インターフェースでもあり得る。

【００６２】ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭ
ｅｍｏｒｙ）１０２は、プロセッサ１０１が実行プログ
ラム・コードをロードしたり、作業データを一時格納す
るために使用される、書き込み可能なメモリである。Ｒ
ＡＭ１０２は、通常、複数個のＤＲＡＭ（Ｄｙｎａｍｉ
ｃＲＡＭ）チップで構成される。また、ＲＯＭ（Ｒｅ
ａｄＯｎｌｙＭｅｍｏｒｙ）１０３は、製造時に格
納データが恒久的に書き込まれる読み出し専用の不揮発
メモリである。ＲＯＭ１０３上には、例えば、システム
１００の電源投入時に実行する自己診断テスト（ＰＯＳ
Ｔ：ＰｏｗｅｒＯｎＳｅｌｆＴｅｓｔ）プログラム
や、ハードウェア入出力操作を実行するためのコード群
（ＢＩＯＳ：ＢａｓｉｃＩｎｐｕｔ／Ｏｕｔｐｕｔ
Ｓｙｓｔｅｍ）が格納されている。

【００６３】入力部１０４は、ユーザからのコマンド入
力などを受容する装置である。キャラクタ・ベースでコ
マンド入力を行うキーボードや、座標指示形式でコマン
ド入力を行うマウスやタッチパネルなどの装置がこれに
含まれる。但し、情動入力装置１０（後述）を経由した
ユーザ入力のみでユーザとコンピュータ・システム１０
０との必要充分なコミュニケーション及びインタラクシ
ョンが実現される場合、入力部１０４は、コンピュータ
・システム１００にとって必須のハードウェア構成要素
ではない。

【００６４】表示部１０５は、処理画像やコマンド入力
のためのメニューなど、作業画面をユーザに提示するた
めの装置であり、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴ
ｕｂｅ：陰極線管）ディスプレイやＬＣＤ（Ｌｉｑｕｉ
ｄＣｒｙｓｔａｌＤｉｓｐｌａｙ：液晶表示ディス
プレイ）がこれに該当する。

【００６５】表示部１０５を介した画面出力は、情動入
力に応答したコンピュータ・システム１００のリアクシ
ョンを表現するための、コンピュータ・システム１００
に必須のハードウェア構成要素である。表示部１０５
は、ＶＧＡ（ＶｉｄｅｏＧｒａｐｈｉｃｓＡｒｒａ
ｙ）以上の描画能力（例えば、ＳＶＧＡ（ＳｕｐｅｒＶ
ｉｄｅｏＧｒａｐｈｉｃｓＡｒｒａｙ）やＸＧＡ
（ｅＸｔｅｎｄｅｄＧｒａｐｈｉｃｓＡｒｒａ
ｙ））を有することが好ましい。

【００６６】但し、表示部１０５による視覚的なリアク
ション以外に、サウンド・ボード及びスピーカ（いずれ
も図示しない）を用いて音声によるリアクションを提供
してもよい。

【００６７】外部記憶装置１０６は、例えば、ハード・
ディスク・ドライブ（ＨＤＤ）のような、比較的大容量
で再書き込み可能且つ不揮発の記憶装置であり、データ
・ファイルを蓄積したり、プログラム・ファイルをシス
テム１００にインストールするために使用される。プロ
グラム・ファイルの例は、情動空間に基づいて「インタ
ラクション」すなわちコンピュータ・システム１００の
情動駆動を制御するソフトウエア・プログラムである。
また、データ・ファイルの例は、入力された情動空間と
システムのリアクションとの関連規則を記述したデータ
ベース（後述）である。

【００６８】メディア・ドライブ１０７は、カートリッ
ジ式の記録メディアを装填して、該記録メディア表面上
の担持データを読み書きするための装置である。ここで
言う記録メディアとして、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐ
ｔｉｃａｌｄｉｓｃ）、ＣＤ−ＲＯＭ、ＤＶＤ（Ｄｉ
ｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）あるいは
メモリ・スティックなどの、コンピュータ・システム１
００に対して着脱自在で可搬型の記録メディアが挙げら
れる。本実施例に係る情動駆動を実現するソフトウェア
・プログラムや、情動空間とコンピュータ・システム１
００のリアクションとの関連規則を記述したデータベー
ス（後述）は、これら可搬型記録メディアを媒介として
複数のコンピュータ・システム間を移動したり、メディ
ア・ドライブ１０７によって外部記憶装置１０６にイン
ストールすることができる。

【００６９】ネットワーク・インターフェース１０８
は、コンピュータ・システム１００を所定の通信プロト
コル（例えば、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏ
ｎＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎ
ｅｔＰｒｏｔｏｃｏｌ）プロトコル）に従ってネット
ワーク接続するための装置である。ネットワーク上に
は、他の複数のコンピュータ・システム（以下では、
「リモート・システム」とも呼ぶ：図示しない）が存在
する。本実施例のコンピュータ・システム１００は、本
実施例に係る情動駆動を実現するソフトウェア・プログ
ラムや、情動空間とコンピュータ・システム１００のリ
アクションとの関連規則を記述したデータベース（後
述）を、ネットワーク経由でリモート・システムから受
信することができる。あるいは、情動入力装置１０によ
って入力された情動空間を、特定若しくは不特定のコン
ピュータ・システムに対してネットワーク経由でディス
トリビュートすることもできる。

【００７０】情動入力装置１０は、興奮度と興味度の２
軸からなる情動空間を、ユーザの身体（本実施例では特
にユーザの「顔」を指す）から入力して、コンピュータ
・データとしてシステム１００に取り込むための装置で
ある。ここで言う「興奮度」とは覚醒状態の度合いに相
当し、また、「興味度」とは誘発性の度合いを意味す
る。但し、本発明の要旨は情動空間を興奮度と興味度に
よって定義することのみには限定されない。他の要素を
情動空間の次元として組み込んでもよく、あるいは興奮
度や興味度と置き換えてもよい。

【００７１】情動入力装置１０は、例えばアダプタ・カ
ードの形式で実装され、システム１００を構成するマザ
ーボード上のバス・コネクタに装着されてもよい。ある
いは、ＲＳ２３２ＣやＵＳＢ（ＵｎｉｖｅｒｓａｌＳ
ｅｒｉａｌＢｕｓ）、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ
ｏｆＥｌｅｃｔｒｉｃａｌａｎｄＥｌｅｃｔｒ
ｏｎｉｃｓＥｎｇｉｎｅｅｒｓ：米国電気電子技術者
協会）１３９４などのシリアル入出力インターフェース
経由で、あるいはＰＣカードの形態でカード・スロット
経由で、コンピュータ・システム１００に接続される。
但し、該情動入力装置１０の内部構成については後に詳
解する。

【００７２】なお、コンピュータ・システム１００を構
成するためには、図１に示した以外にも多くのハードウ
ェア・コンポーネントが必要である。但し、これらは当
業者には周知であり、また、本発明の要旨を構成するも
のではないので、本明細書中では省略している。また、
図面の錯綜を回避するため、図中の各ハードウェア・ブ
ロック間の接続も抽象化して図示している点を了承され
たい。（例えば、プロセッサ１０１の実体であるＣＰＵ
（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）
は、一般には、各周辺機器を自己の外部ピンにローカル
接続せず、バスを介してＩ／Ｏ接続する。）

【００７３】図２には、情動入力装置１０の構成を模式
的に図解している。同図に示すように、本実施例に係る
情動入力装置１０は、赤外線カメラ１１と、カメラの撮
像画像から情動空間を抽出する情動抽出部１５とで構成
される。また、情動抽出部１５は、顔領域抽出部１２
と、興奮度度計算部１３、興味度計算部１４とで構成さ
れる。

【００７４】赤外線カメラ１１は、情報抽出部１５若し
くはコンピュータ・システム１００に対して挿抜可能に
ケーブル接続されていてもよい。また、情動抽出部１５
は、例えば、「アダプタ・カード」と呼ばれるような印
刷回線基板の形式で実装され、コンピュータ・システム
１００を構成する「マザーボード」上のバス・コネクタ
に装着して用いることができる。あるいは、入力画像を
処理する所定のプログラムをプロセッサ１０１が実行す
ることによって情報抽出部１５を体現することもでき
る。以下、情動入力部１０の各構成要素について説明す
る。

【００７５】赤外線カメラ１１は、撮像対象から放射さ
れる赤外線を撮るための装置であり、一定時間毎に撮像
した赤外線画像を情動抽出部１５に転送するようになっ
ている。本実施例では、撮像対象は特にユーザの顔を意
味する。カメラによる測定は非接触であり、ユーザに対
して余計な拘束感や違和感、ストレスを与えなくて済
む。

【００７６】通常のカメラでは、光信号を電気信号に光
電変換するＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅ
ｖｉｃｅ：電荷結合素子）が用いられていることが多
い。ＣＣＤは赤外線を感知する感度を持つタイプの製品
が多い。したがって、通常のＣＣＤカメラのレンズに赤
外線透過型のフィルタを装備するだけでも赤外線カメラ
１１として適用することが可能である。

【００７７】赤外線カメラ１１で撮像した赤外線画像
は、図３に示すように、画素毎に赤外線の輝度が記録さ
れたものとなる。赤外線を使用する利点として、照明条
件の変化による影響を無視できる点や、照明光がほとん
どない暗い場所でも充分な撮像画像を得ることができる
点などが挙げられる。

【００７８】顔領域抽出部１２は、赤外線カメラ１１が
撮像した赤外線画像の中から顔領域を抽出して、興奮度
計算部１３と興味度計算部１４の各々に供給するように
なっている。

【００７９】図４には、顔領域抽出部１２において実行
される顔領域抽出処理の手順をフローチャートの形式で
示している。図３に示したような赤外線画像から顔領域
を抽出するには、まず２値画像処理を行い、画像の輝度
を所定の閾値で２値化して（ステップＳ１）、次いで、
メディアン・フィルタや膨張・縮退処理のような平滑化
処理を行うことで画像のノイズを除去する（ステップＳ
２）。この結果、図１２に示すような顔領域の抽出画像
が得られる（ステップＳ３）。

【００８０】なお、２値画像処理や平滑化処理は、画像
処理の技術分野においては一般的な手法である。例えば
「Ｃ言語で学ぶ実践画像処理」（オーム社，１９９２）
のような文献を参照されたい。

【００８１】興奮度計算部１３は、顔領域抽出部１２に
より抽出された抽出画像と元の赤外線画像に基づいて、
興奮度を計算する機能モジュールである。ここで計測さ
れる興奮度は、被検対象であるユーザの覚醒状態の度合
いを指示する値である。

【００８２】情動の変化によって顔面の血管が拡張又は
収縮して血流量が変化し、その結果、顔色が変化すると
ともに顔面皮膚温が上昇又は下降するという生理現象が
既に知られている（例えば、「情動変化に伴なう顔色と
顔面皮膚温の分析とその顔色合成」（ヒューマンインタ
フェース学会研究報告集，Ｖｏｌ．１Ｎｏ．１）のよ
うな文献を参照のこと）。

【００８３】体温としては、変動の少ない核心部の核心
温、外気温の変化を強く受ける殻部の殻部温がある。皮
膚温の１つである顔面皮膚温は、殻部温の代表的なもの
である。

【００８４】皮膚温は、身体部位によっても特性が異な
り、顔面皮膚温など頭部の皮膚温は四肢の皮膚温に比べ
て外気温の影響を受け難い（例えば、「自律機能生理
学」（佐藤昭夫・佐藤優子・五嶋摩理著、金芳堂，１９
９５）のような文献を参照のこと）。したがって、比較
的短い時間間隔で考えれば、顔面皮膚温は情動の変化の
指標として非常に有効と言える。また、前述した覚醒状
態の指標として用いることも可能である。

【００８５】但し、情動が変化してから顔面の血管が拡
張又は収縮して血流量が変化して、顔面皮膚温が変化す
るまでの応答速度が遅く、数秒の遅延時間が生じる点に
は注意を要する。

【００８６】熱力学の分野でよく知られている「Ｓｔｅ
ｆａｎ−Ｂｏｌｔｚｍａｎｎの法則」は、温度Ｔ（Ｋ）
と放射発散度Ｗ（Ｗ／ｃｍ²）の間に以下の関係式が成
立することを規定するものである。

【００８７】

【数１】

【００８８】上式において、σはＳｔｅｆａｎ−Ｂｏｌ
ｔｚｍａｎｎの定数（５．６７０５×１０^-12２Ｗ／ｃ
ｍ²Ｋ⁴）である。また、εは放射率であるが、人間の皮
膚ではおよそ１とすることができる（例えば「赤外線画
像を用いた人間情報解析」（吉冨康成著，システム／制
御／情報，Ｖｏｌ．４２Ｎｏ．１０，１９８８）のよ
うな文献を参照のこと）。

【００８９】本実施例では、興奮度の指標値を得る簡便
な方法として、顔面皮膚温を正確に測定する代わりに、
赤外線画像の輝度を用いて、例えば顔領域抽出部１２に
より抽出された抽出画像の顔領域に対応する赤外線画像
領域内の輝度の平均値を興奮度として用いることとし
た。

【００９０】すなわち、本実施例では、抽出画像の顔領
域をＤとし、該領域Ｄに属する画素の個数をｍとし、赤
外線画像内のある画素［ｉ，ｊ］における輝度をＩ
［ｉ，ｊ］とすると、興奮度ａは以下の計算式で算出さ
れる。

【００９１】

【数２】

【００９２】但し、上述のように顔面皮膚温（すなわち
絶対的な温度）を基にした興奮度の指標値は、個人差や
外気温の影響等の相対的な要因を考慮したものではな
い。このため、［数２］で求めた興奮度の指標値を何ら
かの方法で正規化する必要がある。

【００９３】ある特定のユーザについて顔面皮膚温を測
定して、通常の平均値と標準偏差が判れば正規化するこ
とも可能である。本実施例では、比較的短い時間間隔で
ユーザの情動の変化を知るために、常に最近のｎ個の抽
出画像及び赤外線画像から興奮度の平均値と標準偏差を
求めておき、これらの値に基づいて興奮度を正規化する
ようにしている。

【００９４】ｋ番目の抽出画像と赤外線画像から計算さ
れた興奮度をａ（ｋ）、最近ｎ個の興奮度の平均値をμ
（ｋ）、標準偏差をσ（ｋ）とすると、各々は以下の各
式で表される。

【００９５】

【数３】

【００９６】したがって、正規化された興奮度Ａ（ｋ）
は以下の式により計算することができる。

【００９７】

【数４】

【００９８】また、興味度計算部１４は、顔領域抽出部
１２により抽出された抽出画像から興味度を計算する機
能モジュールである。

【００９９】前述した誘発性（ｖａｌｅｎｃｅ）は、レ
ヴィンの心理学における力学的構成概念の１つである。
この力学的構成によれば、人間は、ある対象又は活動が
個体を引きつける（又は遠ざける）傾向があるとき、そ
の対象又はその活動は正（又は負）の誘発性を持つと規
定されている。したがって、非常に大雑把に判断すれ
ば、ユーザは、興味のある物に対しては近づいて覗き込
むようにして観察するし、興味のない若しくは嫌いな物
に対してはむしろ身を引いて遠くからしか眺めようとし
ない。すなわち、ユーザが対象物に対してどの程度顔を
近づけたかを興味度の指標とすることができよう。

【０１００】本実施例では、このような興味度を計算す
るより簡便な方法として、顔領域抽出部１１により抽出
された抽出画像の顔領域に属する画素の個数の平方根を
興味度として用いることとした。

【０１０１】抽出画像の顔領域をＤとし、該領域に属す
る画素の個数をｍとすると、興味度ｖは以下の式で計算
することができる。

【０１０２】

【数５】

【０１０３】興奮度の計算の場合と同様に、興味度の絶
対値は個体差などの相対的な要因を考慮したものではな
く、正規化処理が必要である。本実施例では、常に最近
のｎ個の抽出画像から計算されたｎ個の興味度の平均値
と標準偏差を求めて、これらの値に基づいて興味度を正
規化する。

【０１０４】ｋ番目の抽出画像から計算された興味度を
ｖ（ｋ）とし、最近ｎ個の興味度の平均値をμ（ｋ）、
標準偏差をσ（ｋ）とすると、各々は以下の各式で表さ
れる。

【０１０５】

【数６】

【０１０６】したがって、正規化された興味度Ｖ（ｋ）
は以下の式により計算することができる。

【０１０７】

【数７】

【０１０８】情動抽出部１５において算出された興奮度
Ａ（ｋ）及び興味度Ｖ（ｋ）は、観察されたユーザの情
動空間を規定するものである。情動抽出部１５は、これ
らの算出結果をデジタイズして、接続ケーブルなどを介
してコンピュータ・システム１００に転送する。

【０１０９】他方、コンピュータ・システム１００上で
は、入力された情動をユーザ入力コマンドの一種とし
て、すなわち情動に基づいて駆動し、ディスプレイ・ス
クリーン上に情動に呼応した表示オブジェクトを描画し
て、対話的な環境を提供することができる。あるいは、
コンピュータ・システム１００上では、ＷＷＷ（Ｗｏｒ
ｌｄＷｉｄｅＷｅｂ）ブラウザが起動しており、イ
ンターネット上にＷＷＷ資源空間を探索中であれば、情
動若しくは情動の変化に基づいてリンク探索作業を展開
することができる。あるいは、ユーザの情動に呼応した
仮想生物のリアクションやアニメーションを自動生成し
て描画するなどの対話型出力を行うことができる。ある
いは、コンピュータ・システム１００上では２次元又は
３次元のコンピュータ・グラフィックス処理を起動し、
特に、２以上の描画オブジェクト同士を画像合成や画像
変形（例えば”Ｍｏｒｐｈｉｎｇ”）を実行中であれ
ば、情動若しくは情動の変化に基づいて合成や変形処理
における各描画オブジェクトの寄与率を動的に変化させ
ることができる。

【０１１０】既に述べたように、本実施例では、赤外線
カメラ１１で撮像した顔画像から情動を抽出するように
なっている。この赤外線カメラ１１は、効率よく且つユ
ーザに拘束感を与えることなくユーザの顔画像を捕捉で
きる位置に設置することが好ましい。

【０１１１】図５には、赤外線カメラ１１をコンピュー
タ・システム１００に一体的に装備した例を図解してい
る。同図に示す例では、コンピュータ・システム１００
は、いわゆる「クラム・シェル」構造のノートブックＰ
Ｃ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）であり、
キーボード・ユニットを上面に配したＰＣ本体の略後縁
端に、液晶表示ディスプレイ（ＬｉｑｕｉｄＣｒｙｓ
ｔａｌＤｉｓｐｌａｙ：ＬＣＤ）を収容した蓋体が回
動自在に軸支されている。赤外線カメラ１１は、蓋体の
先端略中央に配設されている。また、情動抽出部１５
（図５中では図示しない）は、例えば、専用プレーナ・
カードやＰＣカードの形式でコンピュータ・システム１
００に提供される。

【０１１２】図５に示すように、蓋体を開くと、ディス
プレイ・スクリーン上に描画された仮想生物等のリアク
ションを観察するユーザの姿を、赤外線カメラ１１が好
適に捕捉することができる。

【０１１３】例えばソニー株式会社が市販するノートブ
ックＰＣ”ＶＡＩＯＣ１”は、ＣＣＤカメラが蓋体側
に標準装備されている。

【０１１４】また、図６には、情報処理システムの１つ
であるテレビ受信機（セットトップボックス：ＳＴＢ）
に赤外線カメラ１１が一体的に取り付けられている例を
示している。セットトップボックスは、通常、テレビの
筐体上に設置されるので、赤外線カメラ１１はテレビ番
組を視聴するユーザの姿を好適に捕捉することができ
る。セットトップボックスは、情動信号を処理して、処
理結果に基づいたテレビの選局動作を行うことができ
る。

【０１１５】図７には、コンピュータ・システム１００
における情動駆動を実現するための機能ブロック図を示
している。これらの機能ブロック構成は、実際には、所
定のプログラム・コードを実行するプロセッサ１０１と
他のハードウェア構成要素との協働的作用により体現さ
れる。以下、各ブロックについて説明する。

【０１１６】情動抽出部１５で抽出された情動の興奮度
成分と興味度成分とが、表示内容制御部２１に送られ
る。

【０１１７】表示部２２は、表示内容制御部２１の制御
に従って、画面上の表示内容を変化させる。

【０１１８】関連性記憶部２３は、情動抽出部１５で抽
出された情動と表示部２２に表示される表示内容とを関
連付けて記憶している。

【０１１９】表示内容制御部２１は、情動抽出部１５で
抽出された情動と関連性記憶部２３に記憶された関連性
とを参照して、表示内容を決定して表示部２２に送るよ
うになっている。

【０１２０】また、表示部２２が上記の表示内容を表示
している間は、情動抽出部１５で抽出された情動をこの
表示内容に関連付けて関連性記憶部２３に保管してもよ
い。

【０１２１】以下に、情動駆動の例を示しておく。

【０１２２】（１）映像再生装置を情動駆動する。表示
部２２が映像再生装置であるとき、表示内容制御部２１
から送られる映像再生位置に従って映像を表示すること
ができる。この場合の情報駆動の処理手順を、図８にフ
ローチャートの形式で示している。

【０１２３】ここで言う「映像再生装置」とは、ビデオ
再生装置やＬＤ（レーザ・ディスク）再生装置、ＤＶＤ
（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）再
生装置、あるいはハード・ディスク上に記録された映像
信号を再生するコンピュータ・システム等に相当する。
また、「映像再生位置」とは、例えば、映像の開始フレ
ーム番号と終了フレーム番号、又は、映像に付加された
映像番号等に相当する。

【０１２４】この例では、関連性記憶部２３には、例え
ば以下の［表１］に示すような、映像再生位置の開始フ
レーム番号及び終了フレーム番号と、情動の興奮度及び
興味度との関連性を規定したテーブルが格納されてい
る。

【０１２５】

【表１】

【０１２６】これらの興奮度や興味度は、例えば、前回
に同じ映像を見たときの興奮度と興味度である。初めて
見る映像の場合には、デフォルト値、例えば、一般的な
人が感じるであろう興奮度と興味度が記入されている。

【０１２７】情動入力装置１０から現在の興奮度と興味
度からなる情動（Ａ，Ｖ）が入力されると（ステップＳ
１１）、表示内容制御部２１は、例えば、それぞれの値
を反転させた情動（−Ａ，−Ｖ）を用いて、関連性記憶
部２３に記憶されたそれぞれの情動（Ａ_i，Ｖ_i）との距
離の２乗（（Ａ_i＋Ａ）²＋（Ｖ_i＋Ｖ）²）を求め、距離
の２乗が最も小さくなるような映像位置を検索して、表
示部２２に送る（ステップＳ１２）。

【０１２８】例えば、興奮度と興味度がともに低く元気
がないときには、これらを反転させた興味度と興奮度が
ともに高い元気が出る映像が再生される（ステップＳ１
３）。

【０１２９】表示内容制御部２１は、映像再生中の情動
の平均値を計算して、関連性記憶部２３中の対応する映
像再生位置の情動を更新する（ステップＳ１４）。

【０１３０】関連性記憶部２３に記憶されている情動を
（Ａ（ｋ−１），Ｖ（ｋ−１））とし、計算された情動
の平均値を（Ａ（ｋ），Ｖ（ｋ））とすると、新たに記
憶される情動は、例えば、（（０．３×Ａ（ｋ−１）＋
０．７×Ａ（ｋ）），（０．３×Ｖ（ｋ−１）＋０．７
×Ｖ（ｋ）））のように過去の情動の影響が少なくなる
ような重み付けをする（ステップＳ１４）。

【０１３１】但し、映像を見て情動が変化してから、顔
面の血管が膨張又は収縮して血流量が変化し、顔面皮膚
温が変化するまでには数秒の遅れが生ずるので、映像再
生を開始してから最初の数秒間は、ステップＳ１４にお
ける興奮度の平均値計算には使わないようにする。

【０１３２】なお、関連性記憶部２３の情動として、映
像を見ているときの情動の平均値ではなく、［表２］に
示すように一定時間毎の情動をそのまま記憶して、表示
内容制御部２１では情動入力装置１０からの情動の変化
と関連性記憶部２３に記憶された情動の変化とから表示
内容を決定するようにしてもよい。

【０１３３】

【表２】

【０１３４】また、情動に応じて表示される映像は、上
述したように画面全体に表示されるだけでなく、コマー
シャル映像のように主となる映像の合間に表示された
り、主となる映像の画面の片隅に表示されるものであっ
てもよい。

【０１３５】（２）テレビ受信機を情動駆動する。表示
部２２がテレビ受信機であるとき、表示内容制御部２１
から送られてくるチャンネル番号に従って選局してテレ
ビ映像を表示することができる。この場合の情報駆動の
処理手順を、図９にフローチャートの形式で示してい
る。

【０１３６】この場合、関連性記憶部２３には、例えば
［表３］に示すような、チャンネルと、情動の興奮度と
興味度との対応関係を記述したテーブルが格納されてい
る。

【０１３７】

【表３】

【０１３８】これらの興奮度と興味度は、例えば、前回
に同じチャンネル（若しくは同じ放送番組）を見たとき
の興奮度と興味度である。初めてチャンネルを見るとき
には、デフォルト値、例えば、一般的な人が感じるであ
ろう興奮度と興味度が記入されている。

【０１３９】情動入力装置１０から現在の興奮度と興味
度からなる情動（Ａ，Ｖ）が入力されると（ステップＳ
２１）、表示内容制御部２１は、例えば、それぞれの値
を反転させた情動（−Ａ，−Ｖ）を用いて、関連性記憶
部２３に記憶されたそれぞれの情動（Ａ_i，Ｖ_i）との距
離の２乗（（Ａ_i＋Ａ）²＋（Ｖ_i＋Ｖ）² ）を求め、距離
の２乗が最も小さくなるようなチャンネル番号を検索し
て、表示部２２に送る（ステップＳ２２）。

【０１４０】例えば、興奮度と興味度がともに低く元気
がないときには、これらを反転させた興味度と興奮度が
ともに高い元気が出るチャンネル（放送番組）が表示さ
れる（ステップＳ２３）。

【０１４１】表示内容制御部２１は、チャンネル表示中
の情動の平均値を計算して、関連性記憶部２３中の対応
するチャンネルの情動を更新する（ステップＳ２４）。

【０１４２】関連性記憶部２３に記憶されている情動を
（Ａ（ｋ−１），Ｖ（ｋ−１））とし、計算された情動
の平均値を（Ａ（ｋ），Ｖ（ｋ））とすると、新たに記
憶される情動は、例えば、（（０．３×Ａ（ｋ−１）＋
０．７×Ａ（ｋ）），（０．３×Ｖ（ｋ−１）＋０．７
×Ｖ（ｋ）））のように過去の情動の影響が少なくなる
ような重み付けをする（ステップＳ２４）。

【０１４３】但し、映像を見て情動が変化してから、顔
面の血管が膨張又は収縮して血流量が変化し、顔面皮膚
温が変化するまでには数秒の遅れが生ずるので、チャン
ネルの表示を開始してから最初の数秒間は、ステップＳ
２４における興奮度の平均値計算には使わないようにす
る。

【０１４４】また、情動に応じて表示されるチャンネル
は、上述したように画面全体に表示されるだけでなく、
コマーシャル映像のように主となるチャンネルの合間に
表示されたり、主となるチャンネルの画面の片隅に表示
されるものであってもよい。

【０１４５】（３）インターネット上の探索作業を情動
駆動する。情動入力装置１０を接続するコンピュータ・
システム１００上でＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ
ＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）情報空間をリン
ク探索するためのＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅ
ｂ）ブラウザであり、したがって、表示部２２がＷＷＷ
ブラウザ画面である場合には、表示内容制御部２１から
送られてくるＨＴＴＰアドレスすなわちＵＲＬ（Ｕｎｉ
ｆｏｒｍＲｅｓｏｕｒｃｅＬｏｃａｔｏｒ）に従っ
てダウンロードされたＷＷＷページ画面を表示すること
ができる（ＷＷＷブラウザはＨＴＴＰ情報空間上でのリ
ンク探索作業を代行するユーザ・エージェントである
（周知））。この場合の情報駆動の処理手順を、図１０
にフローチャートの形式で示している。

【０１４６】この場合、関連性記憶部２３には、例えば
［表４］に示すような、ＵＲＬと、情動の興奮度と興味
度との対応関係を記述したテーブルが格納されている。

【０１４７】

【表４】

【０１４８】これらの興奮度と興味度は、例えば、前回
に同じＵＲＬのＷＷＷページを閲覧したときの興奮度と
興味度である。初めてＷＷＷページを見るときには、デ
フォルト値、例えば、一般的な人が感じるであろう興奮
度と興味度が記入されている。

【０１４９】情動入力装置１０から現在の興奮度と興味
度からなる情動（Ａ，Ｖ）が入力されると（ステップＳ
３１）、表示内容制御部２１は、例えば、それぞれの値
を反転させた情動（−Ａ，−Ｖ）を用いて、関連性記憶
部２３に記憶されたそれぞれの情動（Ａ_i，Ｖ_i）との距
離の２乗（（Ａ_i＋Ａ）²＋（Ｖ_i＋Ｖ）²）を求め、距離
の２乗が最も小さくなるようなＵＲＬを検索して、表示
部２２に送る（ステップＳ３２）。

【０１５０】例えば、興奮度と興味度がともに低く元気
がないときには、これらを反転させた興味度と興奮度が
ともに高い元気が出るＵＲＬに係るＷＷＷページが表示
される（ステップＳ３３）。

【０１５１】表示内容制御部２１は、ＷＷＷページ表示
中の情動の平均値を計算して、関連性記憶部２３中の対
応するＵＲＬの情動を更新する（ステップＳ３４）。

【０１５２】関連性記憶部２３に記憶されている情動を
（Ａ（ｋ−１），Ｖ（ｋ−１））とし、計算された情動
の平均値を（Ａ（ｋ），Ｖ（ｋ））とすると、新たに記
憶される情動は、例えば、（（０．３×Ａ（ｋ−１）＋
０．７×Ａ（ｋ）），（０．３×Ｖ（ｋ−１）＋０．７
×Ｖ（ｋ）））のように過去の情動の影響が少なくなる
ような重み付けをする（ステップＳ３４）。

【０１５３】但し、映像を見て情動が変化してから、顔
面の血管が膨張又は収縮して血流量が変化し、顔面皮膚
温が変化するまでには数秒の遅れが生ずるので、ＷＷＷ
ページの表示を開始してから最初の数秒間は、ステップ
Ｓ３５における興奮度の平均値計算には使わないように
する。

【０１５４】また、情動に応じて表示されるＷＷＷペー
ジは、上述したように画面全体に表示されるだけでな
く、コマーシャル映像のように主となるチャンネルの合
間に表示されたり、主となるＷＷＷページの画面の片隅
に表示されるものであってもよい。

【０１５５】（４）コンピュータ・グラフィックス描画
を情動駆動情動入力装置１０を接続するコンピュータ・システム１
００上で２次元又は３次元のコンピュータ・グラフィッ
クス（ＣＧ）処理を行っている場合には、表示部２２
は、２次元又は３次元コンピュータ・グラフィックスの
モデルやアニメーションを保持し、表示内容保持部２１
から送られてくるモデルやアニメーションの同さを制御
するデータに従ってＣＧ画像を表示することができる。
この場合の情報駆動の処理手順を、図１１にフローチャ
ートの形式で示している。

【０１５６】この場合、関連性記憶部２３には、例えば
［表５］に示すような、アニメーション寄与率と、情動
の興奮度と興味度との対応関係を記述したテーブルが格
納されている。

【０１５７】

【表５】

【０１５８】これらの興奮度と興味度は、例えば、前回
に同じＣＧ画像を見たときの興奮度と興味度である。初
めてＣＧ画像を見るときには、デフォルト値、例えば、
一般的な人が感じるであろう興奮度と興味度が記入され
ている。

【０１５９】情動入力装置１０から現在の興奮度と興味
度からなる情動（Ａ，Ｖ）が入力されると（ステップＳ
４１）、表示内容制御部２１は、例えば、それぞれの値
を反転させた情動（−Ａ，−Ｖ）を用いて、関連性記憶
部２３に記憶されたそれぞれの情動（Ａ_i，Ｖ_i）との距
離の２乗（（Ａ_i＋Ａ）²＋（Ｖ_i＋Ｖ）² ）を求め、距離
の２乗が最も小さくなるようなアニメーション寄与率を
検索して、表示部２２に送る（ステップＳ４２）。

【０１６０】例えば、興奮度と興味度がともに低く元気
がないときには、これらを反転させた興味度と興奮度が
ともに高い元気が出るＣＧ画像ページが表示される（ス
テップＳ４３）。

【０１６１】より具体的には、モデルとして魚を用い
て、アニメーションとして魚が元気に泳いでいるアニメ
ーションと静かに泳いでいるアニメーションを定義す
る。情動との表示内容の関連性を規定した関連性記憶部
２３に、興奮度と興味度がより低く元気がないときに
は、より魚が元気に泳いでいるアニメーションが高い寄
与率で合成されたＣＧ映像が表示される。かかる映像を
見たユーザは鼓舞され元気づくような効果が期待され
る。

【０１６２】表示内容制御部２１は、ＣＧ映像表示中の
情動の平均値を計算して、関連性記憶部２３中の対応す
るアニメーション寄与率の情動を更新する（ステップＳ
４４）。

【０１６３】関連性記憶部２３に記憶されている情動を
（Ａ（ｋ−１），Ｖ（ｋ−１））とし、計算された情動
の平均値を（Ａ（ｋ），Ｖ（ｋ））とすると、新たに記
憶される情動は、例えば、（（０．３×Ａ（ｋ−１）＋
０．７×Ａ（ｋ）），（０．３×Ｖ（ｋ−１）＋０．７
×Ｖ（ｋ）））のように過去の情動の影響が少なくなる
ような重み付けをする（ステップＳ４４）。

【０１６４】但し、映像を見て情動が変化してから、顔
面の血管が膨張又は収縮して血流量が変化し、顔面皮膚
温が変化するまでには数秒の遅れが生ずるので、ＣＧ映
像の表示を開始してから最初の数秒間は、ステップＳ４
４における興奮度の平均値計算には使わないようにす
る。

【０１６５】また、情動に応じて表示されるＣＧ映像
は、上述したように画面全体に表示されるだけでなく、
コマーシャル映像のように主となるチャンネルの合間に
表示されたり、主となるＣＧ映像の画面の片隅に表示さ
れるものであってもよい。

【０１６６】［追補］以上、特定の実施例を参照しなが
ら、本発明について詳解してきた。しかしながら、本発
明の要旨を逸脱しない範囲で当業者が該実施例の修正や
代用を成し得ることは自明である。

【０１６７】例えば本発明で言う情報処理システムは、
ワークステーションやパーソナル・コンピュータ等のコ
ンピュータ・システムに特に限定されない。ユーザ入力
を処理して、処理結果に基づいて出力制御するタイプの
機器であれば、情報処理以外の電気・電子機器、例えば
家電製品（テレビジョンやビデオデッキ、冷蔵庫、エア
・コンディショナなど）であってもよい。

【０１６８】また、本発明の要旨は情動空間を興奮度と
興味度によって定義することのみには限定されない。他
の情緒的・情動的な要素を情動空間の次元として組み込
んでもよく、あるいは興奮度や興味度と置き換えてもよ
い。

【０１６９】要するに、例示という形態で本発明を開示
してきたのであり、限定的に解釈されるべきではない。
本発明の要旨を判断するためには、冒頭に記載した特許
請求の範囲の欄を参酌すべきである。

【０１７０】

【発明の効果】以上詳記したように、本発明によれば、
キーボードやマウス入力のような意識的又は論理的では
ないユーザ入力の形態、すなわち、無意識的・非論理的
なユーザ入力に応答して駆動する対話型の情報処理シス
テムを提供することができる。

【０１７１】また、本発明によれば、興奮度や興味度な
どからなるユーザの無意識的・非論理的な「情動」をデ
ジタイズしてコンピュータに対するユーザ入力として扱
う方式、及び、かかる情動の入力により駆動する対話型
の情報処理システムを提供することができる。

【０１７２】本発明を用いることにより、低解像度のカ
メラであっても、拘束感なく、照明条件に影響されず、
低計算コストで、コンピュータ・システムに対する情動
入力を簡便に実現することができる。例えば、テレビに
おける選局、ビデオデッキにおける記録・再生操作、イ
ンターネット閲覧装置（ＷＷＷ（ＷｏｒｌｄＷｉｄｅ
Ｗｅｂ）ブラウザを起動中のコンピュータの他、イン
ターネットＴＶやインターネット冷蔵庫、インターネッ
ト家庭用ゲーム機などのインターネット家電を含む）に
おけるリンク探索作業、２次元又は３次元コンピュータ
・グラフィックスにおけるコンテンツ生成などにおい
て、情動入力を利用した対話的な処理が可能となる。

【０１７３】社会構造が複雑化した環境下では、現代人
は、時分を争う業務遂行を強いられ、常に様々なストレ
スにさらされている。このようなストレスを癒すヒーリ
ングやリラクゼーションの効果があるデジタル・コンテ
ンツの潜在的な需要・商品価値は非常に大きいと予想さ
れる。このようなデジタル・コンテンツにおいては、ユ
ーザは、従来のゲーム機に対するような緻密で素早くイ
ンタラクションを行うは必要はなく、疎でゆったりとし
た、無意識で非論理的なインタラクションで充分であ
る。

【０１７４】ある意味においては、後者の無意識で非論
理的なインタラクションの方が、ユーザの潜在意識を忠
実に抽出若しくは再現するものであり、好ましくさえあ
る。

【図面の簡単な説明】

【図１】本発明を実現するのに適した典型的なパーソナ
ル・コンピュータ（ＰＣ）１００のハードウェア構成を
模式的に示した図である。

【図２】情動入力装置１０の構成を模式的に示した図で
ある。

【図３】赤外線カメラ１１による撮像画像を模式的に示
した図である。

【図４】顔領域抽出部１２において実行される顔領域抽
出処理の手順を示したフローチャートである。

【図５】赤外線カメラ１１をノートブックＰＣに一体的
に取り付けた例を示した図である。

【図６】赤外線カメラ１１をテレビ受信機に一体的に取
り付けた例を示した図である。

【図７】コンピュータ・システム１００における情動駆
動を実現するための機能ブロック構成を示した図であ
る。

【図８】映像再生装置を情動駆動する処理手順を示した
フローチャートである。

【図９】インターネット上の探索作業を情動駆動する処
理手順を示したフローチャートである。

【図１０】インターネット上の探索作業を情動駆動する
処理手順を示したフローチャートである。

【図１１】コンピュータ・グラフィックス描画を情動駆
動する処理手順を示したフローチャートである。

【図１２】赤外線カメラ１１による顔画像から顔領域を
抽出した画像を模式的に示した図である。

【符号の説明】

１０…情動入力装置，１１…赤外線カメラ１２…顔領域抽出部，１３…興奮度計算部１４…興味度計算部，１５…情動抽出部２１…表示内容制御部，２２…表示部２３…関連性記憶部１００…コンピュータ・システム１０１…プロセッサ１０２…ＲＡＭ，１０３…ＲＯＭ１０４…入力部，１０５…表示部１０６…外部記憶装置１０７…メディア・ドライブ１０８…ネットワーク・インターフェース

Claims

【特許請求の範囲】

【請求項１】ユーザの情動を入力する情動入力装置であ
って、ユーザの顔付近を撮像した顔画像を入力する画像入力手
段と、前記画像入力手段から入力された顔画像を基にユーザの
情動を抽出する情動抽出手段と、を具備することを特徴
とする情動入力装置。
【請求項２】前記画像入力手段に入力される顔画像は赤
外線画像であり、前記情動抽出手段は、さらに、入力された赤外線画像から顔領域を抽出する顔領域抽出
手段と、抽出された顔領域における輝度を基にユーザが示す興奮
度を計算する興奮度計算手段と、を含むことを特徴とす
る請求項１に記載の情動入力装置。
【請求項３】前記情動抽出手段は、さらに、入力された顔画像から顔領域を抽出する顔領域抽出手段
と、抽出された顔領域の大きさに基づいてユーザが示す興味
度を計算する興味度計算手段と、を含むことを特徴とす
る請求項１に記載の情動入力装置。
【請求項４】前記画像入力手段に入力される顔画像は赤
外線画像であり、前記情動抽出手段は、さらに、入力された赤外線画像から顔領域を抽出する顔領域抽出
手段と、抽出された顔領域における輝度を基にユーザが示す興奮
度を計算する興奮度計算手段と、抽出された顔領域の大きさに基づいてユーザが示す興味
度を計算する興味度計算手段と、を含むことを特徴とす
る請求項１に記載の情動入力装置。
【請求項５】さらに、ユーザの顔画像を基に抽出された
情動信号を情動駆動型の機器に対して出力する出力手段
を具備することを特徴とする請求項１に記載の情動入力
装置。
【請求項６】ユーザの情動を入力する情動入力装置であ
って、赤外線画像を撮像する撮像手段と、前記撮像手段によって撮像されたユーザの顔付近を撮像
した顔画像を基にユーザの情動を抽出する情動抽出手段
と、を具備することを特徴とする情動入力装置。
【請求項７】前記情動抽出手段は、さらに、入力された赤外線画像から顔領域を抽出する顔領域抽出
手段と、抽出された顔領域における輝度を基にユーザが示す興奮
度を計算する興奮度計算手段と、を含むことを特徴とす
る請求項６に記載の情動入力装置。
【請求項８】前記情動抽出手段は、さらに、入力された赤外線画像から顔領域を抽出する顔領域抽出
手段と、抽出された顔領域の大きさに基づいてユーザが示す興味
度を計算する興味度計算手段と、を含むことを特徴とす
る請求項６に記載の情動入力装置。
【請求項９】前記情動抽出手段は、さらに、入力された赤外線画像から顔領域を抽出する顔領域抽出
手段と、抽出された顔領域における輝度を基にユーザが示す興奮
度を計算する興奮度計算手段と、抽出された顔領域の大きさに基づいてユーザが示す興味
度を計算する興味度計算手段と、を含むことを特徴とす
る請求項６に記載の情動入力装置。
【請求項１０】さらに、ユーザの顔画像を基に抽出され
た情動信号を情動駆動型の機器に対して出力する出力手
段を具備することを特徴とする請求項６に記載の情動入
力装置。
【請求項１１】ユーザの情動を入力する情動入力方法で
あって、ユーザの顔付近を撮像した顔画像を入力する画像入力ス
テップと、前記画像入力ステップから入力された顔画像を基にユー
ザの情動を抽出する情動抽出ステップと、を具備するこ
とを特徴とする情動入力方法。
【請求項１２】前記画像入力ステップで入力される顔画
像は赤外線画像であり、前記情動抽出ステップは、さらに、入力された赤外線画像から顔領域を抽出する顔領域抽出
ステップと、抽出された顔領域における輝度を基にユーザが示す興奮
度を計算する興奮度計算ステップと、を含むことを特徴
とする請求項１１に記載の情動入力方法。
【請求項１３】前記情動抽出ステップは、さらに、入力された顔画像から顔領域を抽出する顔領域抽出ステ
ップと、抽出された顔領域の大きさに基づいてユーザが示す興味
度を計算する興味度計算ステップと、を含むことを特徴
とする請求項１１に記載の情動入力方法。
【請求項１４】前記画像入力ステップに入力される顔画
像は赤外線画像であり、前記情動抽出ステップは、さらに、入力された赤外線画像から顔領域を抽出する顔領域抽出
ステップと、抽出された顔領域における輝度を基にユーザが示す興奮
度を計算する興奮度計算ステップと、抽出された顔領域の大きさに基づいてユーザが示す興味
度を計算する興味度計算ステップと、を含むことを特徴
とする請求項１１に記載の情動入力方法。
【請求項１５】さらに、ユーザの顔画像を基に抽出され
た情動信号を情動駆動型の機器に対して出力する出力ス
テップを具備することを特徴とする請求項１１に記載の
情動入力方法。
【請求項１６】情動入力に応答して駆動するタイプの情
報処理システムであって、興奮度と興味度からなる情動を入力する情動入力手段
と、情動若しくは情動の変化と処理内容との関連規則を記憶
する関連性記憶部と、入力された情動若しくは情動の変化と関連付けられた処
理内容を実行する処理部と、前記処理部の処理結果を出力する出力部と、を具備することを特徴とする情動駆動型の情報処理シス
テム。
【請求項１７】前記出力部はテキスト・静止画、映像の
表示、音声出力のうち少なくとも１つの出力形式を有す
ることを特徴とする請求項１６に記載の情報処理システ
ム。
【請求項１８】前記出力部は蓄積された映像を所定位置
から再生可能な映像再生装置であり、前記関連性記憶部
は情動若しくは情動の変化と前記映像再生位置との関連
規則を格納することを特徴とする請求項１６に記載の情
報処理システム。
【請求項１９】前記出力部はテレビ受信機であり、前記
関連性規則は情動若しくは情動の変化と前記テレビ受信
機の選局操作との関連規則を格納することを特徴とする
請求項１６に記載の情報処理システム。
【請求項２０】前記出力部は広域ネットワーク上の情報
空間をリンク探索して取得したページを表示するブラウ
ザであり、前記関連性記憶部は情動若しくは情動の変化
とリンク探索先のアドレスとの関連規則を格納すること
を特徴とする請求項１６に記載の情報処理システム。
【請求項２１】前記出力部は２以上の描画オブジェクト
を画像合成若しく画像変形するコンピュータ・グラフィ
ックス描画装置であり、前記関連性記憶部は情動若しく
は情動の変化と合成若しくは変形時における各描画オブ
ジェクトの寄与率との関連規則を格納することを特徴と
する請求項１６に記載の情報処理システム。
【請求項２２】ユーザの情動を入力する処理をコンピュ
ータ・システム上で実行するためのコンピュータ・プロ
グラムを有形的且つコンピュータ可読な形式で記録する
プログラム記録媒体であって、前記コンピュータ・プロ
グラムは、ユーザの顔付近を撮像した顔画像を入力する画像入力ス
テップと、前記画像入力手段から入力された顔画像を基にユーザの
情動を抽出する情動抽出ステップと、を特徴とするプロ
グラム記録媒体。
【請求項２３】前記画像入力ステップに入力される顔画
像は赤外線画像であり、前記情動抽出ステップは、さらに、入力された赤外線画像から顔領域を抽出する顔領域抽出
ステップと、抽出された顔領域における輝度を基にユーザが示す興奮
度を計算する興奮度計算ステップと、抽出された顔領域の大きさに基づいてユーザが示す興味
度を計算する興味度計算ステップと、を具備することを
特徴とする請求項２２に記載のプログラム記録媒体。
【請求項２４】情動入力に応答した処理をコンピュータ
・システム上で実行するための処理プログラムを有形的
且つコンピュータ可読な形式で記録するプログラム記録
媒体であって、前記コンピュータ・プログラムは、情動若しくは情動の変化と処理内容との関連規則を記憶
する関連規則データベースと、入力された情動若しくは情動の変化と関連付けられた処
理内容を実行する処理モジュールと、前記処理部の処理結果を出力する処理モジュールと、を
具備することを特徴とするプログラム記録媒体。