JP2017121373A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Abstract

【課題】効果的にユーザの情動を推定することができる情報処理装置、情報処理方法、及び、プログラムを提供する。
【解決手段】ユーザの情動を推定する情報処理装置１００は、取得部と、開始点検出部１１１と、終了点検出部１１２と、情動推定部と、を備える。取得部は、ユーザの心拍数及び呼吸数を取得する。開始点検出部１１１は、心拍数及び呼吸数に基づいて、ユーザの情動の開始点を検出する。終了点検出部は、心拍数及び呼吸数に基づいて、ユーザの情動の終了点を検出する。情動推定部は、開始点と終了点との間に生じた情動を推定する。
【選択図】図１

Description

本発明の実施形態は、ユーザの情動を推定する情報処理装置、情報処理方法、及び、プログラムに関する。

従来、コンテンツの鑑賞又はデスクワークなどの種々の行為によって生じるユーザの情動（たとえば、笑いなど）を推定する技術がある。そのような技術には、カメラでユーザの顔を撮影し、ユーザの表情（たとえば、笑顔又は不安顔）の継続時間を測定するものがある。また、そのような技術には、マイクでユーザの声を計測し、ユーザの音声から所定の声（たとえば、笑い声又は叫び声）を抽出し、所定の声の継続時間を測定するものがある。

小西嘉典、外３名、「リアルタイム笑顔度推定」、情報処理学会インタラクション2008予稿集、2008. 入江豪、日高浩太、宮下直也、佐藤隆、谷口行信、「個人撮影映像を対象とした映像速覧のための"笑い"シーン検出法」、映像情報メディア学会誌Vol. 62 (2008)、No. 2、pp.227-233、2008．

しかしながら、ユーザの顔を撮影して情動を推定する技術は、ユーザが頭を動かした場合、又は、ユーザ周辺の照明が暗い場合などに、正しく表情を認識できない恐れがある。また、上記の技術は、ユーザの「作り笑い」などを誤認識する恐れもある。

また、マイクでユーザの声を計測して情動を推定する技術は、笑い声を出さない笑い又は泣き声を我慢した悲しみなどを正しく認識できない恐れがある。

上記の課題を解決するために、効果的にユーザの情動を推定することができる情報処理装置、情報処理方法、及び、プログラムを提供する。

実施形態によれば、ユーザの情動を推定する情報処理装置は、取得部と、開始点検出部と、終了点検出部と、情動推定部と、を備える。取得部は、前記ユーザの心拍数及び呼吸数を取得する。開始点検出部は、前記心拍数及び呼吸数に基づいて、前記ユーザの情動の開始点を検出する。終了点検出部は、前記心拍数及び呼吸数に基づいて、前記ユーザの情動の終了点を検出する。情動推定部は、前記開始点と前記終了点との間に生じた情動を推定する。

実施形態によれば、情報処理装置は、心拍数及び呼吸数の変化に基づいて、行為によって生じるユーザの情動の開始点及び終了点を推定することができる。情報処理装置は、開始点及び終了点の間の心拍及び呼吸に基づいて情動を推定する。従って、情報処理装置は、ユーザの表情が認識することができない場合又はユーザの情動が声に表れない場合であっても、ユーザの情動を推定することができる。したがって、情報処理装置は、効果的にユーザの情動を推定することができる。

図１は、第１実施形態に係る情報処理装置の構成例を示すブロック図である。 図２は、第１実施形態に係る変化開始点検出部の動作例を説明するためのフローチャートである。 図３は、第１実施形態に係る変化終了点検出部の動作例を説明するためのフローチャートである。 図４は、第１実施形態に係る情動変化量算出部の動作例を説明するためのフローチャートである。 図５は、第２実施形態に係る情報処理装置の構成例を示すブロック図である。 図６は、第３実施形態に係る情報処理装置の構成例を示すブロック図である。 図７は、第４実施形態に係る情報処理装置の構成例を示すブロック図である。

以下、実施形態について、図面を参照して説明する。
（第１実施形態）
実施形態に係る情報処理装置は、ユーザの心拍数及び呼吸数に基づいてユーザの情動を推定する。情報処理装置は、ユーザの所定の部位に取り付けられたセンサなどを用いてユーザの心拍数及び呼吸数を所定の期間継続して計測する。情報処理装置は、継続して測定された複数個の心拍数及び呼吸数に基づいてユーザの情動を推定する。たとえば、情報処理装置は、ユーザが所定の行為を行っている間の情動を推定する。たとえば、所定の行為は、所定のコンテンツの鑑賞又はデスクワークなどである。なお、情報処理装置が情動を推定するユーザの行為は、特定の行為に限定されるものではない。

また、情動は、身体的表出を伴う感情の動きである。たとえば、情動は、笑い、怒り、恐れ、喜び又は悲しみなどである。

図１は、第１実施形態に係る情報処理装置１００の構成例を示すブロック図である。
図１が示すように、情報処理装置１００は、データ入力部１０１、処理部１０２、設定入力部１０３及び結果出力部１０４などを備える。

データ入力部１０１（取得部）は、ユーザの心拍数及び呼吸数を取得する。たとえば、データ入力部１０１は、ユーザの心拍数及び呼吸数を測定するセンサに接続し、センサからユーザの心拍数及び呼吸数を取得する。データ入力部１０１は、時系列で心拍数及び呼吸数を取得する。たとえば、データ入力部１０１は、所定の間隔で心拍数及び呼吸数を取得する。

また、データ入力部１０１は、心拍数及び呼吸数を測定した時刻を示すタイムスタンプを取得する。たとえば、データ入力部１０１は、心拍数及び呼吸数を測定する度に、タイムスタンプとして時刻を取得する。

データ入力部１０１は、時系列での複数の心拍数（心拍数ベクトルＨｒ）、時系列での複数の呼吸数（呼吸数ベクトルＲｓ）及び、各心拍数及び呼吸数のタイムスタンプ（タイムスタンプベクトルＴｓ）を処理部１０２に出力する。

なお、データ入力部１０１は、ユーザの心拍数及び呼吸数を測定するセンサを含む構成であってもよい。また、データ入力部１０１は、不揮発性メモリなどから心拍数及び呼吸数を取得してもよい。

設定入力部１０３は、処理部１０２が情動を推定するために必要なパラメータを取得する。たとえば、設定入力部１０３は、オペレータが手動で入力するパラメータを取得する。たとえば、設定入力部１０３は、操作を入力する操作部と接続し、操作部からパラメータの入力を受け付けてもよい。また、設定入力部１０３は、操作部を備える構成であってもよい。また、設定入力部１０３は、スマートフォンのアプリケーションなどであってもよい。また、設定入力部１０３は、ＰＣなどであってもよい。

設定入力部１０３は、の変化開始点検出部１１１、変化終了点検出部１１２及び情動変化量算出部１１３など、処理部２０２の各部にパラメータを供給する。

処理部１０２は、データ入力部１０１からの心拍数ベクトルＨｒ、呼吸数ベクトルＲｓ及びタイムスタンプベクトルＴｓに基づいてユーザの情動を推定する。

たとえば、処理部１０２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＮＶＭ及びインターフェースなどから構成される。

たとえば、処理部１０２が実現する機能は、ＣＰＵがプログラムを実行することで実現される。即ち、プログラムは、情報処理装置１００の少なくとも一部分として動作するコンピュータに用いられる。

処理部１０２は、変化開始点検出部１１１、変化終了点検出部１１２及び情動変化量算出部１１３などを備える。
変化開始点検出部１１１は、心拍数ベクトルＨｒ及び呼吸数ベクトルＲｓなどに基づいて情動が開始する時点（変化開始点Ｔｓｃ）を検出する。

たとえば、変化開始点検出部１１１は、以下のように開始点を検出する。
まず、変化開始点検出部１１１は、設定入力部１０３から窓幅ｗ、心拍数閾値ｄＨｒ及び呼吸数閾値ｄＲｓを取得する。

変化開始点検出部１１１は、心拍数及び呼吸数の変化量がそれぞれ心拍数閾値ｄＨｒ及び呼吸数閾値ｄＲｓを超えた場合に、変化開始点Ｔｓｃを検出する。即ち、変化開始点検出部１１１は、所定の時点での心拍数（心拍数ベクトルＨｒ［ｉ］）と窓幅ｗ前の心拍数（心拍数ベクトルＨｒ［ｉ−ｗ］）との差（心拍変化量ΔＨｒ）が心拍数閾値ｄＨｒを超え、かつ、所定の時点での呼吸数（呼吸数ベクトルＲｓ［ｉ］）と窓幅ｗ前の呼吸数（呼吸数ベクトルＲｓ［ｉ−ｗ］）との差（呼吸変化量ΔＲｓ）が呼吸数閾値ｄＲｓを超えた場合に、ｉを変化開始点Ｔｓｃとする。

また、変化開始点検出部１１１は、変化開始点の直前の心拍数及び呼吸数をそれぞれ基準心拍数Ｈｒｃ及び基準呼吸数Ｒｓｃとして取得する。即ち、変化開始点検出部１１１は、心拍数ベクトルＨｒ［Ｔｓｃ−１］を基準心拍数Ｈｒｃとし、呼吸数ベクトルＲｓ［Ｔｓｃ−１］を基準呼吸数Ｒｓｃとする。

変化開始点検出部１１１は、変化開始点Ｔｓｃ、基準心拍数Ｈｒｃ及び基準呼吸数Ｒｓｃを出力する。

なお、変化開始点検出部１１１は、検出開始点ｓから変化開始点Ｔｓｃを検出する。検出開始点ｓは、タイムスタンプベクトルＴｓにおいて、検出を開始する時刻に対応する引数である。たとえば、検出開始点ｓは、直前で推定された情動が終了する時点の直後の時点であってもよい。また、変化開始点検出部１１１は、設定入力部１０３から検出開始点ｓを取得してもよい。また、変化開始点検出部１１１は、最初の推定を行う場合には、検出開始点ｓを「１」としてもよい。

変化終了点検出部１１２は、心拍数ベクトルＨｒ、呼吸数ベクトルＲｓ、変化開始点Ｔｓｃ、基準心拍数Ｈｒｃ、基準呼吸数Ｒｓｃ、心拍数閾値係数αＨｒ及び呼吸数閾値係数αＲｓなどに基づいて情動が終了する時点（変化終了点Ｔｓｇ）を検出する。

変化終了点検出部１１２は、呼吸数が基準呼吸数Ｒｓｃに戻り、心拍数が基準心拍数Ｈｒｃに戻る時点を変化終了点Ｔｓｇと検出する。たとえば、変化終了点検出部１１２は、
呼吸数と基準呼吸数Ｒｓｃとの差が所定の閾値を下回った場合に呼吸数が戻ったと判定する。同様に、変化終了点検出部１１２は、心拍数と基準心拍数Ｈｒｃとの差が所定の閾値を下回った場合に心拍数が戻ったと判定する。

変化終了点検出部１１２は、たとえば、以下のように変化終了点Ｔｓｇを検出する。ここでは、情動が生じてから終了するまでの間に、心拍数は、上昇してから下降し、呼吸数は、低下してから上昇するものとする。

まず、変化終了点検出部１１２は、設定入力部１０３から心拍数閾値係数αＨｒ及び呼吸数閾値係数αＲｓを取得する。心拍数閾値係数αＨｒ及び呼吸数閾値係数αＲｓは、それぞれ心拍数及び呼吸数が戻ったと判定するための係数である。

たとえば、心拍数閾値係数αＨｒが１．１であり基準心拍数Ｈｒｃが６０である場合、変化終了点検出部１１２は、心拍数が基準心拍数Ｈｒｃと心拍数閾値係数αＨｒとの積（６６（６０×１．１））を下回れば、心拍数が基準心拍数Ｈｒｃに戻ったと判定する。同様に、呼吸数閾値係数αＲｓが０．９であり基準呼吸数Ｒｓｃが２０である場合、変化終了点検出部１１２は、呼吸数が基準呼吸数Ｒｓｃと呼吸数閾値係数αＲｓとの積（１８（１０×０．９））を上回れば、呼吸数が基準呼吸数Ｒｓｃに戻ったと判定する。

変化終了点検出部１１２は、所定の時点での呼吸数（呼吸数ベクトルＲｓ［ｉ］）と、基準呼吸数Ｒｓｃと呼吸数閾値係数αＲｓとの積（終了判定呼吸数Ｒｓｅ）とを比較する。

呼吸数が終了判定呼吸数Ｒｓｅを上回る時点以降において、変化終了点検出部１１２は、所定の時点での心拍数（心拍数ベクトルＨｒ［ｉ］）と、基準心拍数Ｈｒｃと心拍数閾値係数αＨｒとの積（終了判定心拍数Ｈｒｅ）とを比較する。

変化終了点検出部１１２は、心拍数ベクトルＨｒ［ｉ］が終了判定心拍数Ｈｒｅを下回る時点を変化終了点Ｔｓｇと検出する。即ち、変化終了点検出部１１２は、心拍数ベクトルＨｒ［ｉ］が終了判定心拍数Ｈｒｅを下回った場合に、ｉを変化終了点Ｔｓｇとする。

また、変化終了点検出部１１２は、心拍数ベクトルＨｒから変化開始点Ｔｓｃから変化終了点Ｔｓｇまでの要素（心拍数ベクトルＨｒ’）を抽出する。即ち、変化終了点検出部１１２は、心拍数ベクトルＨｒ［Ｔｓｃ］から心拍数ベクトルＨｒ［Ｔｓｇ］まで抽出する。同様に、変化終了点検出部１１２は、呼吸数ベクトルＲｒから変化開始点Ｔｓｃから変化終了点Ｔｓｇまでの要素（呼吸数ベクトルＲｒ’）を抽出する。即ち、変化終了点検出部１１２は、呼吸数ベクトルＲｒ［Ｔｓｃ］から呼吸数ベクトルＲｒ［Ｔｓｇ］まで抽出する。

変化終了点検出部１１２は、心拍数ベクトルＨｒ’、呼吸数ベクトルＲｓ’、変化開始点Ｔｓｃ、変化終了点Ｔｓｇ、基準心拍数Ｈｒｃ及び次回の検出開始点ｓ（変化終了点Ｔｓｇ＋１）を出力する。

情動変化量算出部１１３（情動推定部）は、心拍数ベクトルＨｒ’及び基準心拍数Ｈｒｃなどに基づいて、ユーザの情動（推定量ｄｉｆＨｒ）を推定する。
たとえば、情動変化量算出部１１３は、以下のように、推定量ｄｉｆＨｒを推定する。

まず、情動変化量算出部１１３は、心拍数ベクトルＨｒ’の各要素について基準心拍数Ｈｒｃとの差分を算出する。情動変化量算出部１１３は、算出された各差分の総和を算出して、推定量ｄｉｆＨｒを取得する。

情動変化量算出部１１３は、変化開始点Ｔｓｃ、変化終了点Ｔｓｇ及び推定量ｄｉｆＨｒを結果出力部１０４に出力する。

なお、情動変化量算出部１１３は、同様に、呼吸数ベクトルＲｓ’を用いて推定量ｄｉｆＲｓを算出してもよい。たとえば、情動変化量算出部１１３は、呼吸数ベクトルＲｒ’の各要素について基準呼吸数Ｒｓｃとの差分を算出する。情動変化量算出部１１３は、算出された各差分の総和を算出して、推定量ｄｉｆＲｓを取得する。情動変化量算出部１１３は、情動として推定量ｄｉｆＲｓを出力してもよい。

結果出力部１０４は、処理部１０２の推定結果（たとえば、変化開始点Ｔｓｃ、変化終了点Ｔｓｇ及び推定量ｄｉｆＨｒ）を出力する。たとえば、結果出力部１０４は、表示部などと接続し、表示部に推定結果を表示させる。また、結果出力部１０４は、不揮発性メモリなどと接続し、不揮発性メモリに推定結果を格納する。なお、結果出力部１０４は、表示部又は不揮発性メモリを備える構成であってもよい。

次に、処理部１０２の動作例について説明する。
まず、処理部１０２の変化開始点検出部１１１の動作例について説明する。

図２は、変化開始点検出部１１１の動作例について説明するためのフローチャートである。

まず、変化開始点検出部１１１は、データ入力部１０１から心拍数ベクトルＨｒ及び呼吸数ベクトルＲｓを取得し、設定入力部１０３から窓幅ｗ、心拍数閾値ｄＨｒ及び呼吸数閾値ｄＲｓを取得し、設定入力部１０３又は変化終了点検出部１１２から検出開始点ｓを取得する（Ｓ１１）
心拍数ベクトルＨｒ、呼吸数ベクトルＲｓ、窓幅ｗ、心拍数閾値ｄＨｒ及び呼吸数閾値ｄＲｓ及び検出開始点ｓを取得すると、変化開始点検出部１１１は、カウンタｉに検出開始点ｓを代入する（Ｓ１２）。

カウンタｉに検出開始点ｓを代入すると、変化開始点検出部１１１は、カウンタｉが長さＬ以下であるか判定する（Ｓ１３）。ここで、長さＬは、心拍数ベクトルＨｒ又は呼吸数ベクトルＲｓの要素の個数である。

カウンタｉが長さＬ以下であると判定すると（Ｓ１３、ＹＥＳ）、変化開始点検出部１１１は、心拍変化量ΔＨｒ及び呼吸変化量ΔＲｓを算出する（Ｓ１４）。心拍変化量ΔＨｒ及び呼吸変化量ΔＲｓを算出すると、変化開始点検出部１１１は、心拍変化量ΔＨｒ＞心拍数閾値ｄＨｒであり、かつ、呼吸変化量ΔＲｓ＞呼吸数閾値ｄＲｓであるか判定する（Ｓ１５）。

心拍変化量ΔＨｒ＞心拍数閾値ｄＨｒであり、かつ、呼吸変化量ΔＲｓ＞呼吸数閾値ｄＲｓでないと判定すると（Ｓ１５、ＮＯ）、変化開始点検出部１１１は、カウンタｉに１を加算する（Ｓ１６）。カウンタｉに１を加算すると、変化開始点検出部１１１は、Ｓ１４に戻る。

心拍変化量ΔＨｒ＞心拍数閾値ｄＨｒであり、かつ、呼吸変化量ΔＲｓ＞呼吸数閾値ｄＲｓであると判定すると（Ｓ１５、ＹＥＳ）、変化開始点検出部１１１は、変化開始点Ｔｓｃ＝ｉ、基準心拍数Ｈｒｃ＝心拍数ベクトルＨｒ［ｉ−１］及び基準呼吸数Ｒｓｃ＝呼吸数ベクトルＲｓ［ｉ−１］とする（Ｓ１７）。

カウンタｉが長さＬ以下でないと判定すると（Ｓ１３、ＮＯ）、変化開始点検出部１１１は、変化開始点Ｔｓｃ＝０、基準心拍数Ｈｒｃ＝０及び基準呼吸数Ｒｓｃ＝０とする（Ｓ１８）
Ｓ１７又はＳ１８の後に、変化開始点検出部１１１は、変化開始点Ｔｓｃ、基準心拍数Ｈｒｃ及び基準呼吸数Ｒｓを出力する（Ｓ１９）。変化開始点Ｔｓｃ、基準心拍数Ｈｒｃ及び基準呼吸数Ｒｓを出力すると、変化開始点検出部１１１は、動作を終了する。

次に、処理部１０２の変化終了点検出部１１２の動作例について説明する。

図３は、変化終了点検出部１１２の動作例について説明するためのフローチャートである。ここでは、変化終了点検出部１１２は、初期状態として、算出開始点ｓ’＝０とする。算出開始点ｓ’は、心拍数が戻ったかの判定を開始する時点である。

まず、変化終了点検出部１１２は、データ入力部１０１から心拍数ベクトルＨｒ及び呼吸数ベクトルＲｓを取得し、設定入力部１０３から心拍数閾値係数αＨｒ及び呼吸数閾値係数αＲｓを取得し、変化開始点検出部１１１から変化開始点Ｔｓｃ、基準心拍数Ｈｒｃ、及び、基準呼吸数Ｒｓｃを取得する（Ｓ２１）。

心拍数ベクトルＨｒ、呼吸数ベクトルＲｓ、心拍数閾値係数αＨｒ、呼吸数閾値係数αＲｓ、変化開始点Ｔｓｃ、基準心拍数Ｈｒｃ、及び、基準呼吸数Ｒｓｃを取得すると、変化終了点検出部１１２は、カウンタｉに変化開始点Ｔｓｃ＋１を代入する（Ｓ２２）。

カウンタｉに変化開始点Ｔｓｃ＋１を代入すると、変化終了点検出部１１２は、算出開始点ｓ’＝０であるか判定する（Ｓ２３）。算出開始点ｓ’＝０であると判定すると（Ｓ２３、ＹＥＳ）、変化終了点検出部１１２は、呼吸数ベクトルＲｓ［ｉ］＞呼吸数閾値係数αＲｓ×基準呼吸数Ｒｓｃであるか判定する（Ｓ２４）。

呼吸数ベクトルＲｓ［ｉ］＞呼吸数閾値係数αＲｓ×基準呼吸数Ｒｓｃであると判定すると（Ｓ２４、ＹＥＳ）、変化終了点検出部１１２は、算出開始点ｓ’にカウンタｉを代入する（Ｓ２５）。

算出開始点ｓ’にカウンタｉを代入すると、変化終了点検出部１１２は、カウンタｉが長さＬ以下であるか判定する（Ｓ２６）。カウンタｉが長さＬ以下であると判定すると（Ｓ２６、ＹＥＳ）、変化終了点検出部１１２は、カウンタｉに１を加算する（Ｓ２７）。カウンタｉに１を加算すると、変化開始点検出部１１１は、Ｓ２３に戻る。
カウンタｉが長さＬ以下でないと判定すると（Ｓ２６、ＮＯ）、変化終了点検出部１１２は、変化終了点Ｔｓｇ＝０及び次の検出開始点ｓ＝Ｌとする（Ｓ２８）。

呼吸数ベクトルＲｓ［ｉ］＞呼吸数閾値係数αＲｓ×基準呼吸数Ｒｓｃでないと判定すると（Ｓ２４、ＮＯ）、変化終了点検出部１１２は、Ｓ２７に進む。

算出開始点ｓ’＝０でないと判定すると（Ｓ２３、ＮＯ）、変化終了点検出部１１２は、心拍数ベクトルＨｒ［ｉ］＞心拍数閾値係数αＨｒ×基準心拍数Ｈｒｃであるか判定する（Ｓ２９）。

心拍数ベクトルＨｒ［ｉ］＞心拍数閾値係数αＨｒ×基準心拍数Ｈｒｃであると判定すると（Ｓ２９、ＹＥＳ）、変化終了点検出部１１２は、変化終了点Ｔｓｇ＝ｉ及び次の検出開始点ｓ＝ｉ＋１とする（Ｓ３０）。

心拍数ベクトルＨｒ［ｉ］＞心拍数閾値係数αＨｒ×基準心拍数Ｈｒｃでないと判定すると（Ｓ２９、ＮＯ）、変化終了点検出部１１２は、Ｓ２７に戻る。

変化終了点Ｔｓｇ＝０及び次の検出開始点ｓ＝Ｌとした場合（Ｓ２８）、又は、変化終了点Ｔｓｇ＝ｉ及び次の検出開始点ｓ＝ｉ＋１とした場合（Ｓ３０）、変化終了点検出部１１２は、心拍数ベクトルＨｒ’及び呼吸数ベクトルＲｓ’を抽出する（Ｓ３１）。

心拍数ベクトルＨｒ’及び呼吸数ベクトルＲｓ’を抽出すると、変化終了点検出部１１２は、変化終了点Ｔｓｇ、心拍数ベクトルＨｒ’、呼吸数ベクトルＲｓ’及び次の検出開始点ｓを出力する（Ｓ３２）。

変化終了点Ｔｓｇ、心拍数ベクトルＨｒ’、呼吸数ベクトルＲｓ’及び次の検出開始点ｓを出力すると、変化終了点検出部１１２は、動作を終了する。

次に、処理部１０２の情動変化量算出部１１３の動作例について説明する。

図４は、情動変化量算出部１１３の動作例について説明するためのフローチャートである。

まず、情動変化量算出部１１３は、変化終了点検出部１１２から心拍数ベクトルＨｒ’及び基準心拍数Ｈｒｃを取得する（Ｓ４１）。心拍数ベクトルＨｒ’及び基準心拍数Ｈｒｃを取得すると、情動変化量算出部１１３は、心拍数ベクトルＨｒ’及び基準心拍数Ｈｒｃに基づいて推定量ｄｉｆＨｒを算出する（Ｓ４２）。

推定量ｄｉｆＨｒを算出すると、情動変化量算出部１１３は、推定量ｄｉｆＨｒを出力する（Ｓ４３）。推定量ｄｉｆＨｒを出力すると、情動変化量算出部１１３は、動作を終了する。

結果出力部１０４は、処理部１０２から変化開始点Ｔｓｃ、変化終了点Ｔｓｇ及び推定量ｄｉｆＨｒを取得する。結果出力部１０４は、変化開始点Ｔｓｃ、変化終了点Ｔｓｇ及び推定量ｄｉｆＨｒを表示部などに表示又は不揮発性メモリなどに格納する。

なお、処理部１０２は、情動の推定の終了後に、検出開始点ｓ＜Ｌであれば、再度、上記の推定動作を行ってもよい。また、処理部１０２は、検出開始点ｓ＝Ｌであれば、最後のデータまで情動の推定を完了したものとして、動作を終了してもよい。

以上のように構成された情報処理装置は、ユーザの心拍数及び呼吸数に基づいて情動の変化開始点及び変化終了点を特定することができる。また、情報処理装置は、変化開始点と変化終了点との間の心拍数又は呼吸数からユーザの情動を推定することができる。従って、情報処理装置は、ユーザの表情又は声を用いることなく、ユーザの情動を推定することができる。
（第２実施形態）
次に、第２実施形態について説明する。
第２実施形態に係る情報処理装置は、情動として笑い量Ｌａを推定する点で第１実施形態に係る情報処理装置と異なる。従って、その他の構成については、同一の符号を付して詳細な説明を省略する。

第２実施形態に係る情報処理装置は、ユーザの笑い量Ｌａを推定する。たとえば、情報処理装置は、劇場などにおいてコメディーショーなどを鑑賞するユーザの心拍数及び呼吸数を取得し、当該ユーザの笑い量Ｌａを推定する。また、情報処理装置は、ユーザごとにＩＤを付与し、ユーザごとの笑い量Ｌａを推定してもよい。

図５は、第２実施形態に係る情報処理装置２００の構成例を示すブロック図である。
図５が示すように、情報処理装置２００は、データ入力部１０１、処理部２０２、設定入力部１０３、推定結果保存部２０４及び推定結果出力部２０５などを備える。

処理部２０２は、変化開始点検出部１１１、変化終了点検出部１１２及び情動変化量算出部２１３を備える。情動変化量算出部２１３は、笑い量算出部２１４などを備える。
データ入力部１０１、設定入力部１０３、変化開始点検出部１１１及び変化終了点検出部１１２は、第１実施形態のそれらと同様であるので説明を省略する。

オペレータは、ユーザの年齢層などを考慮して、窓幅ｗ、心拍数閾値ｄＨｒ及び呼吸数閾値ｄＲｓを設定入力部１０３に入力する。たとえば、若いユーザほど心拍数などの変化が早いため、ユーザに２０代が多ければ、オペレータは、窓幅ｗ＝１、心拍数閾値ｄＨｒ＝１．０及び呼吸数閾値ｄＲｓ＝１．０を入力する。

笑い量算出部２１４は、ユーザの情動として、変化開始点Ｔｓｃと変化終了点Ｔｓｇとの間に生じた笑い量Ｌａを推定する。たとえば、笑い量算出部２１４は、情動変化量算出部１１３と同様に推定量ｄｉｆＨｒを算出し、算出された推定量ｄｉｆＨｒを笑い量Ｌａとする。

また、笑い量算出部２１４は、推定量ｄｉｆＲｓを笑い量Ｌａとしてもよい。また、笑い量算出部２１４は、心拍数ベクトルＨｒ’及び呼吸数ベクトルＲｓ’に基づいて笑い量Ｌａを推定してもよい。笑い量算出部２１４が笑い量Ｌａを推定する方法は、特定の方法に限定されるものではない。

笑い量算出部２１４は、推定された笑い量Ｌａを出力する。

推定結果保存部２０４は、笑い量算出部２１４が推定した笑い量Ｌａを取得する。推定結果保存部２０４は、取得された笑い量Ｌａを不揮発性メモリなどに格納する。また、推定結果保存部２０４は、各ユーザのＩＤと笑い量Ｌａとを対応付けて不揮発性メモリなどに格納してもよい。
なお、推定結果保存部２０４は、不揮発性メモリを備える構成であってもよい。

推定結果出力部２０５は、笑い量算出部２１４が推定した笑い量Ｌａを取得する。推定結果出力部２０５は、取得された笑い量Ｌａを表示部などに表示する。

以上のように構成された情報処理装置は、変化開始点と変化終了点との間の心拍数又は呼吸数からユーザの情動として笑い量を推定することができる。
（第３実施形態）
次に、第３実施形態について説明する。
第３実施形態に係る情報処理装置は、笑い量Ｌａをユーザの表情及び声で補正する点で第２実施形態に係る情報処理装置と異なる。従って、その他の構成については、同一の符号を付して詳細な説明を省略する。

図６は、第３実施形態に係る情報処理装置３００の構成例を示すブロック図である。
図６が示すように、情報処理装置３００は、データ入力部１０１、処理部３０２、設定入力部１０３、推定結果保存部２０４、推定結果出力部２０５、カメラ３０６、笑顔度推定部３０７、マイク３０８及び笑い声推定部３０９などを備える。

処理部３０２は、変化開始点検出部１１１、変化終了点検出部１１２及び情動変化量算出部３などを備える。情動変化量算出部３１３は、笑い量算出部２１４及び笑い量補正部３１５などを備える。
データ入力部１０１、設定入力部１０３、変化開始点検出部１１１、変化終了点検出部１１２、推定結果保存部２０４、推定結果出力部２０５及び笑い量算出部２１４は、第２実施形態のそれらと同様であるので説明を省略する。

カメラ３０６は、ユーザの表情を撮影する。たとえば、カメラ３０６は、ユーザの正面又は斜め上方など、ユーザの顔を撮影することができる位置に設置される。たとえば、カメラ３０６は、ＣＣＤカメラなどである。カメラ３０６は、撮影された画像を笑顔度推定部３０７に出力する。カメラ３０６は、随時ユーザの表情を撮影し、撮影された画像を笑顔度推定部３０７に出力する。

笑顔度推定部３０７は、カメラ３０６が撮影した画像に基づいてユーザの笑顔度ｌａｕｇｈを推定する。笑顔度推定部３０７は、種々の手法を用いて画像からユーザの笑顔度ｌａｕｇｈを推定する。笑顔度推定部３０７が笑顔度ｌａｕｇｈを推定する方法は、特定の方法に限定されるものではない。

笑顔度推定部３０７は、０−１００％の値で笑顔度ｌａｕｇｈを推定する。
笑顔度推定部３０７は、推定された笑顔度ｌａｕｇｈを笑い量補正部３１５に出力する。

マイク３０８は、ユーザの声を計測する。たとえば、マイク３０８は、ユーザの胸元又は正面など、ユーザの声を計測することができる位置に設置される。マイク３０８は、計測された声を笑い声推定部３０９に出力する。マイク３０８は、随時ユーザの声を測定し、測定された声を笑い声推定部３０９に出力する。

笑い声推定部３０９は、マイク３０８が計測した声に基づいて、ユーザの笑い声の大きさｖｏｉｃｅを推定する。
たとえば、笑い声推定部３０９は、マイク３０８が計測した声から笑い声を抽出する。笑い声推定部３０９は、抽出された笑い声の大きさを推定する。

笑い声推定部３０９は、推定された笑い声の大きさｖｏｉｃｅを笑い量補正部３１５に出力する。

笑い量補正部３１５は、笑顔度推定部３０７が推定した笑顔度ｌａｕｇｈ及び笑い声推定部が推定した笑い声の大きさｖｏｉｃｅに基づいて、笑い量Ｌａを補正する。
たとえば、笑い量補正部３１５は、以下のように笑い量Ｌａを補正する。
まず、笑い量補正部３１５は、変化開始点Ｔｓｃと変化終了点Ｔｓｇとの間に生じた笑顔度ｌａｕｇｈ及び笑い声の大きさｖｏｉｃｅを抽出する。笑い量補正部３１５は、以下の式に従って抽出した笑顔度ｌａｕｇｈ及び笑い声の大きさｖｏｉｃｅから補正された笑い量Ｌａ’（補正笑い量Ｌａ’）を算出する。

Ｌａ’＝ｌａｕｇｈ×Ｌａ＋ｖｏｉｃｅ
ここで、笑顔度ｌａｕｇｈは、０から１００％を０から１の値に変換したものとする。

なお、笑い量補正部３１５は、変化開始点Ｔｓｃと変化終了点Ｔｓｇとの間に生じた笑顔度ｌａｕｇｈ及び笑い声の大きさｖｏｉｃｅの平均値を用いて笑い量Ｌａを補正してもよい。また、笑い量補正部３１５は、変化開始点Ｔｓｃと変化終了点Ｔｓｇとの間に生じた笑顔度ｌａｕｇｈ及び笑い声の大きさｖｏｉｃｅの最大値を用いて笑い量Ｌａを補正してもよい。

笑い量補正部３１５が笑い量Ｌａを補正する方法は、特定の方法に限定されるものではない。

笑い量補正部３１５は、補正笑い量Ｌａ’を推定結果保存部２０４に出力する。

以上のように構成された情報処理装置は、笑顔度及び笑い声の大きさに基づいて笑い量を補正することができる。その結果、情報処理装置は、より精度の高い笑い量の推定を実現することができる。

また、情報処理装置は、笑い量に笑顔度を積算して笑い量を補正する。その結果、情報処理装置は、ユーザが笑っていないが笑い量を大きく推定した場合に、笑い量を小さく補正し誤検出を軽減することができる。

また、情報処理装置は、笑い量に笑い声の大きさを加算して笑い量を補正する。その結果、情報処理装置は、声に出た笑いを笑い量に反映させることができる。
（第４実施形態）
次に、第４実施形態について説明する。
第４実施形態に係る情報処理装置は、笑い量Ｌａに応じて舞台演出制御装置を動作させる点で第２実施形態に係る情報処理装置と異なる。従って、その他の構成については、同一の符号を付して詳細な説明を省略する。

図７は、第４実施形態に係る情報処理装置４００の構成例を示すブロック図である。
図７が示すように、情報処理装置４００は、データ入力部１０１、処理部２０２、設定入力部１０３及び舞台演出制御装置４１０などを備える。

処理部２０２は、変化開始点検出部１１１、変化終了点検出部１１２及び情動変化量算出部２１３などを備える。情動変化量算出部２１３は、笑い量算出部２１４などを備える。
データ入力部１０１、設定入力部１０３、変化開始点検出部１１１、変化終了点検出部１１２及び笑い量算出部２１４は、第２実施形態のそれらと同様であるので説明を省略する。

舞台演出制御装置４１０（舞台演出制御部）は、笑い量算出部２１４が推定した笑い量Ｌａに基づいて舞台装置を制御する。
ここでは、笑い量算出部２１４は、舞台を観覧する複数のユーザの笑い量Ｌａを推定するものとする。

たとえば、舞台演出制御装置４１０は、舞台の照明を制御する。
舞台演出制御装置４１０は、笑い量Ｌａに基づいて舞台の照明を制御する。たとえば、舞台演出制御装置４１０は、直近１分間に笑ったユーザの割合に応じて照明を制御する。たとえば、舞台演出制御装置４１０は、所定の閾値を超える笑い量Ｌａのユーザを笑ったユーザと判定してもよい。

たとえば、舞台演出制御装置４１０は、笑ったユーザの割合が２５％未満であれば照明を消し、２５〜５０％未満であれば２００Ｌｘで照明を点灯させ、５０〜８０％未満であれば５００Ｌｘで照明を点灯させ、８０％以上であれば１０００Ｌｘで照明を点灯させる。

たとえば、舞台演出制御装置４１０は、１分ごとに笑ったユーザの割合を算出し、照明を制御する。

なお、舞台演出制御装置４１０は、音響、照明の色、又は、座席の振動などを制御してもよい。舞台演出制御装置４１０が制御する装置は、特定の構成に限定されるものではない。

以上のように構成された情報処理装置は、推定された笑い量に基づいて舞台演出制御装置を動作させる。その結果、情報処理装置は、笑い量に基づいて舞台演出を制御することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、各実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。

１００、２００、３００及び４００…情報処理装置、１０１…データ入力部、１０２、２０２及び３０２…処理部、１０３…設定入力部、１０４…結果出力部、１１１…変化開始点検出部、１１２…変化終了点検出部、１１３、２１３及び３１３…情動変化量算出部、２０４…推定結果保存部、２０５…推定結果出力部、２１４…笑い量算出部、３０６…カメラ、３０７…笑顔度推定部、３０８…マイク、３０９…笑い声推定部、３１５…笑い量補正部。

Claims (8)

1. ユーザの情動を推定する情報処理装置であって、
   前記ユーザの心拍数及び呼吸数を取得する取得部と、
   前記心拍数及び呼吸数に基づいて、前記ユーザの情動の開始点を検出する開始点検出部と、
   前記心拍数及び呼吸数に基づいて、前記ユーザの情動の終了点を検出する終了点検出部と、
   前記開始点と前記終了点との間に生じた情動を推定する情動推定部と、
   を備える情報処理装置。
2. 前記開始点検出部は、前記心拍数及び前記呼吸数の変化量がそれぞれ心拍数閾値及び呼吸数閾値を超えた時点を前記開始点として検出し、前記開始点より前の心拍数を基準心拍数として出力し、前記開始点より前の呼吸数を基準呼吸数として出力し、
   前記終了点検出部は、心拍数が前記基準心拍数に戻り、呼吸数が前記基準呼吸数に戻った時点を前記終了点として検出する、
   前記請求項１に記載の情報処理装置。
3. 前記情動推定部は、前記開始点と前記終了点との間における、基準心拍数と心拍数との差の総和又は基準呼吸数と呼吸数との差の総和に基づいて情動を推定する、
   前記請求項１又は２に記載の情報処理装置。
4. 前記情動推定部は、情動として笑い量を推定する、
   前記請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記ユーザの笑顔度を推定する笑顔度推定部と、
   前記ユーザの笑い声の大きさを推定する笑い声推定部と、
   を備え、
   前記情動推定部は、前記笑顔度及び前記笑い声の大きさに基づいて前記笑い量を補正する、
   前記請求項４に記載の情報処理装置。
6. 前記情動に基づいて舞台演出を制御する舞台演出制御部を備える、
   前記請求項１乃至５の何れか１項に記載の情報処理装置。
7. ユーザの情動を推定する情報処理方法であって、
   前記ユーザの心拍数及び呼吸数を取得し、
   前記心拍数及び呼吸数に基づいて、前記ユーザの情動の開始点を検出し、
   前記心拍数及び呼吸数に基づいて、前記ユーザの情動の終了点を検出しと、
   前記開始点と前記終了点との間に生じた情動を推定する、
   情報処理方法。
8. 請求項１乃至６の何れか１項に記載の情報処理装置の一部分として動作するコンピュータに用いられるプログラムであって、
   前記コンピュータを、
   取得部と、開始点検出部と、終了点検出部と、情動推定部と、
   として機能させるためのプログラム。