JP2001195595A - 感性表現システム - Google Patents

感性表現システム

Info

Publication number
JP2001195595A
JP2001195595A JP2000306079A JP2000306079A JP2001195595A JP 2001195595 A JP2001195595 A JP 2001195595A JP 2000306079 A JP2000306079 A JP 2000306079A JP 2000306079 A JP2000306079 A JP 2000306079A JP 2001195595 A JP2001195595 A JP 2001195595A
Authority
JP
Japan
Prior art keywords
sensitivity
expression
subject
expression system
music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000306079A
Other languages
English (en)
Other versions
JP3403378B2 (ja
Inventor
Yuichi Iwadate
祐一 岩舘
Ryotaro Suzuki
良太郎 鈴木
Masayuki Inoue
正之 井上
Uuntakku Uu
ウーンタック ウー
Shanpuu Bernard
シャンプー ベルナルド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Media Integration and Communication Research Laboratories
Original Assignee
ATR Media Integration and Communication Research Laboratories
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Media Integration and Communication Research Laboratories filed Critical ATR Media Integration and Communication Research Laboratories
Priority to JP2000306079A priority Critical patent/JP3403378B2/ja
Publication of JP2001195595A publication Critical patent/JP2001195595A/ja
Application granted granted Critical
Publication of JP3403378B2 publication Critical patent/JP3403378B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【構成】 コンピュータは、カメラから出力された撮影
画像信号に基づいて被験者の姿勢を推定し、同じ姿勢を
とるアバタをモニタの仮想空間内に表示するとともに所
定の音楽をスピーカから出力する。コンピュータはま
た、被験者の身体表現の物理量に基づいて時性,力性,
空間性を0.1秒毎に求め、被験者の感性を時性,力
性,空間性の3つのパラメータに基づいて2小節毎に推
定する。ここで、感性は、予め分類された7つの項目の
中から選択される。アバタの背景画像および音楽は、選
択された感性に応じて変化する。 【効果】

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、人間の身体表現の物
理量に基づいて分類された人間の感性に応じて、映像と
音楽を用いたマルチメディア表現を変化させることによ
って、感性を表現する、新規な感性表現システムに関す
る。
【0002】
【従来の技術】従来のこの種の感性表現装置では、カメ
ラによって撮影された人物(被験者)のポーズや特定の
動きを画像処理によって識別し、その識別結果に基づい
てマルチメディア表現していた。
【0003】
【発明が解決しようとする課題】しかし、従来技術は身
体の物理的な動きからマルチメディア表現を制御してい
るに過ぎず、人間の感性を表現することはできなかっ
た。
【0004】それゆえに、この発明の主たる目的は、身
体の物理的な動きによる制御ではなく、感性を自由に表
現することができる、感性表現システムを提供すること
である。
【0005】
【課題を解決するための手段】この発明は、人間の身体
表現の物理量に基づいて人間の感性を推定する推定手
段、および推定手段によって推定された感性に応じてマ
ルチメディア表現を変化させる変化手段を備え、推定手
段は時性、力性および空間性をパラメータとして感性を
推定する、感性表現システムである。
【0006】
【作用】まず、人間の身体表現の物理量に基づいて時
性、力性および空間性が求められ、この3つの特性をパ
ラメータとして感性が推定される。マルチメディア表現
は、推定された感性に応じて変化する。
【0007】時性および力性は、好ましくは人間の特定
部位の時間的変化に関連し、その特定部位としては、重
心であることが好ましい。
【0008】空間性は、好ましくは身体の空間的広がり
に関連し、この空間的広がりは、所定方向から見た人間
の身体像がその身体像に外接する矩形に対して占める割
合から求められる。
【0009】また、マルチメディア表現は、好ましくは
映像と音楽とによる表現である。
【0010】
【発明の効果】この発明によれば、時性、力性および空
間性をパラメータとして感性を推定し、推定した感性に
応じてマルチメディア表現を変化させるようにしたた
め、人間の感性を映像と音楽のマルチメディアによって
自由に表現することができる。
【0011】この発明の上述の目的,その他の目的,特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。
【0012】
【実施例】図1を参照して、この実施例の感性表現シス
テム10は、被験者Hを撮影するカメラ12を含む。カ
メラ12は被験者Hの全身をたとえば1/30秒のフレ
ームレートで撮影し、撮影画像信号をコンピュータ14
に与える。コンピュータ14は、カメラ12から入力さ
れた撮影画像信号に基づいて被験者Hの姿勢を推定し、
同じ姿勢をとるキャラクタ(アバタ)をモニタ18に表
示する。コンピュータ14はまた、撮影画像信号をたと
えば10フレーム/秒、具体的には0.1秒毎にサンプ
リングし、サンプリングした撮影画像信号に基づいて被
験者Hの感性を推定する。そして、推定された感性に対
応する背景映像および音楽をモニタ18およびスピーカ
20から出力する。
【0013】被験者Hの感性を推定するとき、コンピュ
ータ14はまず、被験者Hの身体表現の物理量に基づい
て時性,力性および空間性の3つのパラメータを求め
る。ここで時性とは、被験者Hの身体の運動、リズムに
関連するパラメータを意味し、力性は身体動作の加速度
に関連するパラメータで、空間性は身体の空間的な広が
りに関連するパラメータである。図2を参照して、時性
は、被験者Hのシルエット画像の重心座標(Xc,Y
c)の1次微分によって求められ、力性は、シルエット
画像の重心座標(Xc,Yc)の2次微分によって求め
られる。また、空間性は、被験者Hのシルエット画像が
そのシルエット画像に外接する矩形(幅Xs、高さYs
の矩形)に占める割合から求められる。
【0014】こうして3つのパラメータが得られると、
コンピュータ14は、パラメータ毎に加重平均を行な
う。2小節に相当する期間が経過するか、あるいは被験
者Hが特定の動作をすると、コンピュータ14はその時
点の加重平均値に統計解析を施し、被験者Hの感性を推
定する。統計解析にはニューラルネットワーク、あるい
は重回帰分析が適用され、感性は、予め準備された“Na
tural”,“Happy”,“Dynamic”,“Flowing”,“Sh
arp”,“Lonely”,“Solemn”の7つのカテゴリの中
から選択される。コンピュータ14は、推定された感性
に対応する背景画像データおよび音楽データをデータベ
ース16から読出し、モニタ18およびスピーカ20の
各々から出力する。
【0015】ニューラルネットワークによる統計解析で
は、感性を推定するためのベースとなる教師データが必
要となる。この教師データは、各々の感性を表現するダ
ンスをカメラ12の前で被験者Hに一定時間踊らせ、カ
メラ12から出力された撮影画像信号に基づいて各パラ
メータの加重平均値を2小節毎に算出し、そして算出さ
れた加重平均値をパラメータ毎に分類することで求めら
れる。つまり、求められた加重平均値のパラメータ毎の
集合が、対応する感性の教師データとなる。この教師デ
ータをニューラルネットワークに学習させることによ
り、被験者Hが自由にダンスを踊ったときに得られた加
重平均値から7種類の感性を推定することができる。
【0016】重回帰分析による統計解析でも教師データ
が必要となるが、ここでいう教師データは、次のように
して求められる。加重平均値のパラメータ毎の集合を7
種類の感性について求める点は上述と同じであるが、こ
れに加えて、7種類の感性を表現したダンス映像を数十
名の被験者に見せて各々のダンス映像が示す感性を答え
させ、各ダンス映像に対する投票率を求める。投票率を
示す数値は、いずれのダンス映像についても7つ算出さ
れる。加重平均値のパラメータ毎の集合と7つの投票率
とが、各々の感性に対応する教師データとなる。教師デ
ータが得られると、各々の加重平均値を説明変数とし、
投票率を目的変数として、各々の感性に対応する係数値
を求める。求められた各々の感性の係数値は、被験者H
が自由にダンスを踊ったときに得られた加重平均値と重
み付け線形和を施され、これによって各々の感性に対す
る推定投票率が求まる。このうち、最も推定投票率の高
い感性が推定感性となる。
【0017】コンピュータ14は、具体的には図3に示
すフロー図を処理する。まずステップS1でカメラ12
から撮影画像信号を取り込み、ステップS3でこの撮影
画像信号に基づいて被験者Hの姿勢を推定する。ステッ
プS5では、推定された姿勢に応じて、モニタ18に表
示されたアバタの姿勢を制御する。この結果、仮想空間
内のアバタが、被験者Hと同じ動きをとる。
【0018】コンピュータ14は続いて、ステップS7
で0.1秒の時間が経過したかどうか判断する。ここで
NOであれば、ステップS1に戻り上述の処理を繰り返
すが、YESであれば、ステップS9以降の処理を行な
う。ステップS9では数1を演算し、撮影画像信号に基
づいて時性,力性および空間性の3つのパラメータを算
出する。
【0019】
【数1】T=(dXc/dt,dYc/dt) P=(d2Xc/dt2,d2Yc/dt2) A=Hs/(Xs×Ys) T;時性 P;力性 A;空間性 Hs;被験者Hのシルエット画像の面積 時性は、重心座標を1次微分することによって、つまり
0.1秒前の重心座標と現時点の重心座標の差分を0.
1秒で割り算することによって、求められる。空間性
は、重心座標を2次微分することによって、つまり前回
の1次微分値と今回の1次微分値との差分を0.1秒で
割り算することによって、求められる。力性は、被験者
Hのシルエット画像の面積をこのシルエット画像に外接
する矩形の面積で割り算することによって求められる。
なお、シルエット画像は、ステップS3の処理の途中で
得られる。
【0020】コンピュータ14は続いて、ステップS1
1で数2を演算し、パラメータ毎の加重平均値を求め
る。
【0021】
【数2】TAV(n)=αT(n)+(1−α)TAV(n-1)AV(n)=αP(n)+(1−α)PAV(n-1)AV(n)=αA(n)+(1−α)AAV(n-1)AV(n);今回求められた時性の加重平均値 T(n);今回求められた時性 TAV(n-1);前回求められた時性の加重平均値 PAV(n);今回求められた力性の加重平均値 P(n);今回求められた力性 PAV(n-1);前回求められた力性の加重平均値 AAV(n);今回求められた空間性の加重平均値 A(n);今回求められた空間性 AAV(n-1);前回求められた空間性の加重平均値 α;定数(0<α<1) コンピュータ14はその後ステップS13に進み、予め
定められた一定期間、たとえば2小節に相当する期間が
経過したか、あるいは被験者Hが特定の姿勢をとったか
を判断する。そして、2小節に相当する期間が未だ経過
せず、被験者Hが特定の姿勢も取らなければ、ステップ
S1に戻る。これに対して、2小節に相当する期間が経
過するか、被験者Hが特定の姿勢をとると、ステップS
15に進む。ステップS15では、加重平均値TAV,P
AVおよびAAVに基づいて被験者Hの感性を推定する。こ
のとき、ニューラルネットワーク処理または重回帰分析
を各加重平均値TAV,PAVおよびAAVに施すことによっ
て、“Natural”,“Happy”,“Dynamic”,“Flowin
g”,“Sharp”,“Lonely”,“Solemn”のいずれか1
つの感性を推定する。感性が推定されるとステップS1
7に進み、推定された感性に対応する背景画像および音
楽をデータベース16から読み出す。背景画像はモニタ
18に表示され、音楽はスピーカ20から出力される。
コンピュータ14はその後、ステップS19で加重平均
値TAV,PAVおよびAAVを初期化し、ステップS1に戻
る。
【0022】この実施例によれば、カメラから出力され
た撮影画像信号に基づいて被験者の姿勢が推定され、同
じ姿勢をとるアバタがモニタの仮想空間内に表示され
る。また、時性,力性,空間性の3つの特性が被験者の
身体表現の物理量に基づいて0.1秒毎に求められ、時
性,力性,空間性をパラメータとして被験者の感性が2
小節毎に推定される。
【0023】ここで、時性および力性は人間の特定部位
(重心座標)の時間的変化に関連し、空間性は身体の空
間的広がりに関連する。さらに、被験者の感性は、予め
分類された7つの項目(カテゴリ)から選択される。ア
バタの背景画像および音楽は、選択された感性に応じて
変化する。つまり、感性に応じて変化する背景画像の前
でアバタが動き、感性に応じて変化する音楽がスピーカ
から出力される。
【0024】具体的なマルチメディア表現について説明
する。たとえば推定された感性が“Happy”であったと
すると、モニタ18には画像、図1に例示の模様の場
合、6角形の模様がピンク色に輝きながらリズミカルに
順番に大きくなっていき、それと同時にスピーカ20か
ら明るいにぎやかな音楽が発生される。また、感性が
“Lonely”と推定された場合には、モニタ18上でダー
クブルーの6角形の模様がゆっくり小さくなっていくと
同時に、スピーカ20から短調の寂しげな音楽が流れて
くる。勿論、6角形の模様に限らず、華やかな花模様を
あしらったり、白と黒の縦縞をゆっくり風にそよがせて
寂しさを表現するようにしてもよい。
【0025】このように、時性,力性および空間性をパ
ラメータとして感性を推定し、推定された感性に応じて
マルチメディア表現を変化させるようにしたため、被験
者の感性をマルチメディアによって自由に表現すること
ができる。
【0026】したがって、この発明は、ディスコやカラ
オケルームなどで踊っている人や歌っている人の身体の
表現、即ち感性に合致した背景画像を表現させるとか、
ダンスや舞踊の振り付けのトレーニングなどへの応用が
考えられる。さらに、上記の説明では、身体の動きによ
って7つの感性を推定していたが、身体の動きをトラッ
キングし、たとえば“あやしげ”な感性を推定し、防犯
に役立てることも可能となる。
【図面の簡単な説明】
【図1】この発明の一実施例を示す図解図である。
【図2】図1実施例の動作の一部を示す図解図である。
【図3】図1実施例の動作の一部を示すフロー図であ
る。
【符号の説明】
10…感性表現システム 12…カメラ 14…コンピュータ 16…データベース 18…モニタ 20…スピーカ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 13/00 G06T 13/00 C 15/70 15/70 B (72)発明者 鈴木 良太郎 京都府相楽郡精華町光台二丁目2番地2 株式会社エイ・ティ・アール知能映像通信 研究所内 (72)発明者 井上 正之 京都府相楽郡精華町光台二丁目2番地2 株式会社エイ・ティ・アール知能映像通信 研究所内 (72)発明者 ウー ウーンタック 京都府相楽郡精華町光台二丁目2番地2 株式会社エイ・ティ・アール知能映像通信 研究所内 (72)発明者 ベルナルド シャンプー 京都府相楽郡精華町光台二丁目2番地2 株式会社エイ・ティ・アール知能映像通信 研究所内

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】人間の身体表現の物理量に基づいて前記人
    間の感性を推定する推定手段、および前記推定手段によ
    って推定された前記感性に応じてマルチメディア表現を
    変化させる変化手段を備え、 前記推定手段は時性、力性および空間性をパラメータと
    して前記感性を推定する、感性表現システム。
  2. 【請求項2】前記時性および前記力性は前記人間の特定
    部位の時間的変化に関連する、請求項1記載の感性表現
    システム。
  3. 【請求項3】前記特定部位は重心である、請求項2記載
    の感性表現システム。
  4. 【請求項4】前記空間性は前記人間の身体の空間的広が
    りに関連する、請求項2または3記載の感性表現システ
    ム。
  5. 【請求項5】前記空間的広がりは所定方向から見た前記
    人間の身体像がその身体像に外接する矩形に対して占め
    る割合から求められる、請求項4記載の感性表現システ
    ム。
  6. 【請求項6】前記マルチメディア表現は映像と音楽とに
    よる表現である、請求項1ないし5のいずれかに記載の
    感性表現システム。
JP2000306079A 1999-10-29 2000-10-05 感性表現システム Expired - Fee Related JP3403378B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000306079A JP3403378B2 (ja) 1999-10-29 2000-10-05 感性表現システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-308098 1999-10-29
JP30809899 1999-10-29
JP2000306079A JP3403378B2 (ja) 1999-10-29 2000-10-05 感性表現システム

Publications (2)

Publication Number Publication Date
JP2001195595A true JP2001195595A (ja) 2001-07-19
JP3403378B2 JP3403378B2 (ja) 2003-05-06

Family

ID=26565410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000306079A Expired - Fee Related JP3403378B2 (ja) 1999-10-29 2000-10-05 感性表現システム

Country Status (1)

Country Link
JP (1) JP3403378B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013103151A1 (ja) * 2012-01-04 2013-07-11 株式会社ニコン 電子機器、情報生成方法、及び位置推定方法
JP7452591B1 (ja) 2022-08-31 2024-03-19 大日本印刷株式会社 画像生成システム及び画像生成方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7291256B2 (en) 2002-09-12 2007-11-06 Lifescan, Inc. Mediator stabilized reagent compositions and methods for their use in electrochemical analyte detection assays

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013103151A1 (ja) * 2012-01-04 2013-07-11 株式会社ニコン 電子機器、情報生成方法、及び位置推定方法
JP7452591B1 (ja) 2022-08-31 2024-03-19 大日本印刷株式会社 画像生成システム及び画像生成方法

Also Published As

Publication number Publication date
JP3403378B2 (ja) 2003-05-06

Similar Documents

Publication Publication Date Title
JP6888096B2 (ja) ロボット、サーバおよびヒューマン・マシン・インタラクション方法
CN106648120B (zh) 基于虚拟现实和体感技术的火灾逃生训练系统
JP6561996B2 (ja) 情報処理装置、制御方法、および記憶媒体
US6141434A (en) Technique for processing images
CN109523010A (zh) 信息处理装置、人工智能选择方法以及记录介质
JP4704174B2 (ja) 状態識別装置、プログラムおよび方法
JP2007102344A (ja) 自動評価装置、プログラムおよび方法
JP2006293979A (ja) コンテンツ提供システム
JP7204283B2 (ja) 雰囲気推測装置およびコンテンツの提示方法
US11819996B2 (en) Expression feedback method and smart robot
Masmoudi et al. Meltdowncrisis: Dataset of autistic children during meltdown crisis
JP2001195595A (ja) 感性表現システム
CN108320021A (zh) 机器人动作与表情确定方法、展示合成方法、装置
CN111736700A (zh) 基于数字人的车舱交互方法、装置及车辆
Ozturk et al. Real-time tracking of humans and visualization of their future footsteps in public indoor environments: An intelligent interactive system for public entertainment
Kinoshita et al. Development of Kansei estimation models for the sense of presence in audio-visual content
JP7469467B2 (ja) デジタルヒューマンに基づく車室インタラクション方法、装置及び車両
JP2001128134A (ja) プレゼンテーション装置
JP2004280673A (ja) 情報提供装置
WO2020217727A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7189434B2 (ja) 空間制御システム
CN110009560B (zh) 图像处理装置
DE19653682A1 (de) Systemsteuerung
JP3403393B2 (ja) 感性表現システムおよびその感性表現方法
WO2022102550A1 (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030212

LAPS Cancellation because of no payment of annual fees