JP2010210730A

JP2010210730A - 乳幼児の感情診断装置及び方法

Info

Publication number: JP2010210730A
Application number: JP2009054487A
Authority: JP
Inventors: Chikahiro Araki; 睦大荒木; Hideji Taniguchi; 秀次谷口; Mikio Mori; 幹男森; Yasuhiro Ogoshi; 康宏小越; Shinichiro Hashimukai; 晋一郎橋向
Original assignee: University of Fukui NUC
Current assignee: University of Fukui NUC
Priority date: 2009-03-09
Filing date: 2009-03-09
Publication date: 2010-09-24
Anticipated expiration: 2029-03-09
Also published as: JP5278952B2

Abstract

【課題】本発明は、乳幼児の感情と母親の感情との間の相互作用を分析して感情診断を行う乳幼児の感情診断装置及び方法を提供することを目的とするものである。
【解決手段】乳児Ｂの音声を入力する気導マイク１及び母親Ｍの音声を入力する骨導マイク２から音声取得部１０を介して音声データを音響処理部１２に送信して音声データのピッチ周期が算出される。本体部２０では、乳児Ｂ及び母親Ｍの感情評価データとしてピッチ周期のゆらぎ成分を算出して評価を行う感情評価部２１、算出された乳児Ｂ及び母親Ｍの感情評価データに基づいて乳児Ｂの感情の原因分析及び推論を行う感情診断部２２、及び、乳児Ｂの感情診断結果に基づいて母親に対する育児支援を行う育児支援部２３を備えている。
【選択図】図１

Description

本発明は、乳幼児及び母親のそれぞれの音声分析に基づいて乳幼児及び母親のそれぞれの感情を判定し、乳幼児の感情と母親の感情との間の相互作用を分析して感情診断を行う乳幼児の感情診断装置及び方法に関する。

赤ちゃんのように感情を言葉で表現できない乳幼児は、泣き声、表情及び動作によりその感情を発露するのが一般的である。しかしながら、母親等の育児に携わる者には乳幼児の感情をうまく把握できない場合があり、乳幼児に対する適切な対応をとれないといった課題がある。

こうした課題に対しては、乳幼児の泣き声等の音声を分析し、分析したパターンを空腹、退屈、不快、眠気、ストレスといった感情別の標準パターンとのマッチング処理により乳幼児の感情を判定することが行われている。

例えば、特許文献１では、マイクロフォンで赤ちゃんの声をサンプリングし、音声分析して基準音声パターンとマッチング処理することで赤ちゃんの感情を判定し、判定した感情が予め設定された緩和すべき感情に該当する場合には、スピーカから所定の音パターンで音出力したり、電動玩具をリモコン操作して所定の動作パターンで駆動させたり、ライトをリモコン操作して所定の点灯パターンで点灯させるといった感情緩和動作を行う点が記載されている。また、特許文献２では、状況解析部において乳児の画像、音声、生体情報に基づいて乳児の心理状態を推定し、推定した心理状態に基づいて原因推定部において過去の食事やおむつ交換の状況データ等に基づいてその原因を推定する点が記載されている。

特開２００５−１８５６３０号公報特開２００６−１２７０５７号公報

上述した先行文献では、乳幼児の音声を分析してその感情を判定しているが、現実には乳幼児の感情の原因には様々な要因が絡んでおり、統計的に泣き声及び感情の相関関係を分析しても、判定された感情の原因を特定することは難しいのが現状である。特許文献２では、予め特定された複数の原因（食事、おむつ交換、体調等）について該当するか否か分析して心理状態が生じた原因を推定しているが、乳幼児が泣く場合には周囲の環境や体調といった原因が複数重なり合っており、特定の原因に絞り込むのは現実的ではない。

乳幼児の感情の原因を分析する場合、周囲の環境においてで最も重要な要因の１つに母親の存在が挙げられる。一般に、乳幼児は母親の育児により成長していくため、母親との関係が乳幼児にとって重要であると考えられるが、先行文献では、母親との関係については考慮されていない。

そこで、本発明は、乳幼児にとって重要な存在である母親との関係に着目し、乳幼児の感情と母親の感情との間の相互作用を分析して感情診断を行う乳幼児の感情診断装置及び方法を提供することを目的とするものである。

本発明に係る乳幼児の感情診断装置は、乳幼児及び母親のそれぞれの音声を取得する音声取得手段と、取得された乳幼児及び母親の音声データに基づいてそれぞれの感情評価データを算出する感情評価手段と、算出された乳幼児及び母親の感情評価データに基づいて乳幼児の感情診断を行う感情診断手段とを備えていることを特徴とする。さらに、前記感情評価手段は、音声データのピッチ周期及び／又は振幅に基づいて感情評価データを算出することを特徴とする。さらに、前記感情診断手段は、乳幼児及び母親に関する感情評価データの時系列データにおける相関関係に基づいて原因分析を行うことを特徴とする。

本発明に係る乳幼児の感情診断方法は、乳幼児及び母親のそれぞれの音声を取得し、取得された乳幼児及び母親の音声データに基づいてそれぞれの感情評価データを算出し、算出された乳幼児及び母親の感情評価データに基づいて乳幼児の感情診断を行うことを特徴とする。さらに、音声データのピッチ周期及び／又は振幅に基づいて感情評価データを算出することを特徴とする。さらに、乳幼児及び母親に関する感情評価データの時系列データにおける相関関係に基づいて原因分析を行うことを特徴とする。

乳幼児が母親を認識し得る環境において、乳幼児及び母親のそれぞれの音声に基づいて両者の感情評価データを算出して感情評価を行うことで、母親の感情が与える影響を考慮して乳幼児の感情を診断することができ、より精度の高い感情診断を行うことが可能となる。

また、こうした乳幼児の感情に関する診断結果から乳幼児と母親との間の実際の感情の相互作用が具体化され、母親に対して育児行為における感情表現が乳幼児にどのように影響を与えるのか指摘することで育児の実態に即した的確な支援を行うことができる。

そして、音声データのピッチ周期及び／又は振幅に基づいて感情評価データを算出することで感情診断の精度を高めることができる。ここで、ピッチ周期とは、音声データの波形において繰り返し現れる波形の周期で、声帯の振動周期に対応した一定の周期を意味する。また、振幅とは音圧を意味し、通常音声データの波形では音圧である縦軸方向の大きさで表す。

本発明に係る実施形態に関する概略構成図である。取得した乳児の音声の音声波形の一例を示すグラフである。図２に示す音声データのピッチ周期を時系列で示すグラフである。図３に示すピッチ周期のゆらぎ成分を時系列で示すグラフである。乳児及び母親のゆらぎ成分の時間的推移を模式的に示すグラフである。図３に示すピッチ周期に基づいて２質量振動モデルにより音声合成した音声波形に関するグラフである。本体部における感情診断に関する処理フローである。

以下、本発明に係る実施形態について詳しく説明する。なお、以下に説明する実施形態は、本発明を実施するにあたって好ましい具体例であるから、技術的に種々の限定がなされているが、本発明は、以下の説明において特に本発明を限定する旨明記されていない限り、これらの形態に限定されるものではない。

図１は、本発明に係る実施形態に関する概略構成図である。乳児Ｂが母親Ｍを認識し得る環境（例えば、家庭内）において、乳児Ｂには、音声を入力する気導マイク１が取り付けられ、母親には、音声を入力する骨導マイク２が取り付けられている。母親に骨導マイクを取り付けることで、母親の音声を入力する際にノイズを減らすことができ、また、骨導マイクを頭部に取り付ければ、母親が家事等の動作を行う場合にも邪魔になることがなく、普段通りの状態にすることができる。

気導マイク１から入力された乳児Ｂの音声は音声取得部１０に送信されて音声ＤＢ１１に記憶される。そして、乳児Ｂの音声は、音声取得部１０から音響処理部１２に送信されて、乳児Ｂの音声からピッチ周期を算出する処理が行われる。ピッチ周期は、所定の時間区間毎に音声データをサンプリングし、自己相関関数等の公知の手法でサンプリング区間毎のピッチ周期を算出する。こうして算出されたピッチ周期は、時系列に関連付けられて処理ＤＢ１３に記憶される。

図２は、取得した乳児Ｂの音声の音声波形の一例を示すグラフである。縦軸に振幅をとり、横軸に時間をとっている。図３は、図２に示す音声波形を２４ミリ秒毎にサンプリングしてピッチ周期を算出した結果を時系列で示したグラフである。縦軸にピッチ周期（このグラフでは周波数で表記）をとり、横軸に時間をとっている。

骨導マイク２から入力された母親Ｍの音声についても、乳児Ｂの場合と同様に音声取得部１０に送信されて音声ＤＢ１１に記憶され、音響処理部１２においてピッチ周期が算出されて処理ＤＢ１３にピッチ周期を時系列に配列して記憶される。

本体部２０では、乳児Ｂ及び母親Ｍの感情評価データとしてピッチ周期のゆらぎ成分を算出して評価を行う感情評価部２１、算出された乳児Ｂ及び母親Ｍの感情評価データに基づいて乳児Ｂの感情の原因分析及び推論を行う感情診断部２２、及び、乳児Ｂの感情診断結果に基づいて母親に対する育児支援を行う育児支援部２３を備えている。また、本体部２０には、メモリ２４が接続されており、メモリ２４には、感情評価データを時系列で記憶する評価ＤＢ２５、乳児の感情に関する原因分析結果や診断結果を記憶するとともに様々な事例に関する診断知識を記憶する診断ＤＢ２６、及び、診断結果に対応する育児支援メッセージ等を記憶する支援ＤＢ２７が記憶されている。

本体部２０には、画像表示部３０及び音声出力部３１が取り付けられており、画像表示部３０は、音声データや分析データ等を表示し、音声出力部３１は、後述する合成音声等を出力する。

本体部２０は、公知のコンピュータシステムを用いて構成することができる。感情評価部２１、感情診断部２２及び育児支援部２３で行われる処理は、メモリ２４に記憶されたプログラムを読み出してＣＰＵ等の処理装置により処理されるようになっている。そして、画像表示部３０及び音声出力部３１としては、コンピュータシステムに接続される公知の液晶パネルディスプレイ及びスピーカで構成することができる。

感情評価部２１は、感情評価データとして用いるピッチ周期のゆらぎ成分ＰＰＱ１を以下の式により算出する。この評価式により、ピッチ周期の平均値に対してどの程度ピッチ周期が変動しているのかがわかる。ここで、Ｎはピッチ周期を算出したサンプリング数、ｐ_iは各サンプリング区間において算出されたピッチ周期である。

図４は、図３に示すピッチ周期に基づいて算出したゆらぎ成分を時系列で示したグラフである。縦軸にゆらぎ成分をとり、横軸に時間をとっている。このグラフをみると、ゆらぎ成分は、所定の基準値に対して振動するように変動することがわかる。

本発明者らは、こうしたゆらぎ成分の変動は、乳児の喜び及び悲しみといった感情と相関関係があることを実証している（C.Araki et.al. "An experimental system to analyze or synthesize baby's emotional voice using the varidation of pitch frequencies", ISUC.2008, 2008.12, IEEE参照）。そこで、感情評価部２１では、乳児Ｂ及び母親Ｍの音声のピッチ周期のゆらぎ成分を算出して、両者の感情の変化を定量化する。定量化された評価データを時系列に関連付けて評価ＤＢ２５に記憶する。

算出されたゆらぎ成分の定量化の手法としては、例えば、ピッチ周期のゆらぎ成分の変動幅を１００として、閾値を４５に設定する。なお、閾値は、収集したデータを統計的に分析して決定すればよい。そして、４５より小さいときは感情が「悲しみ」の状態にあると判定され、４５より大きいときは「喜び」の状態にあると判定される。また、１００に近いほど「喜び」の状態が強く、０に近いほど「悲しみ」の状態が強いと判定される。

感情診断部２２は、感情評価部２１においてゆらぎ成分に基づいて評価された乳幼児Ｂ及び母親Ｍの感情の推移から乳幼児Ｂの感情を診断する。乳幼児の感情診断を行う場合、感情評価データの時間的な推移をみて、母親Ｍの感情との間の相関関係に着目して感情診断を行う。

例えば、乳児Ｂが「喜び」又は「悲しみ」のどちらの状態にあるか判定し、判定された状態が「悲しみ」の状態であると判定された場合に、それより前の所定時間内（例えば、１分〜１０分以内）に、母親Ｍが「悲しみ」の状態と判定される場合がないか調査する。乳児Ｂの「悲しみ」の状態が、それ以前の母親Ｍの「悲しみ」の状態と強い相関関係がある場合には、乳児Ｂの「悲しみ」の状態の原因が、母親の感情との間の相互作用の影響によるものと分析される。乳児Ｂが「喜び」の状態にあると判定された場合でも、同様に母親Ｍの「喜び」の状態との相関関係が調査されて、母親との間の相互作用の影響の度合いが分析される。

図５は、乳児Ｂ及び母親Ｍのゆらぎ成分に関する時間的推移を模式的に示すグラフである。この例では、閾値を４５に設定して、４５以下では「悲しみ」の状態と判定し、４５を超えると「喜び」の状態と判定する。乳児Ｂの感情（点線で表示）は、時刻ｔ₁から時刻ｔ₂までは「悲しみ」の状態となっており、その後時刻ｔ₃から時刻ｔ₄までは「喜び」の状態となっている。これに対して、母親Ｍの感情（実線で表示）は、乳児Ｂの感情が発露する直前に同様の感情状態となっており、両者の間に強い相関関係があることがわかる。したがって、母親の感情の起伏が乳児の感情に強く影響を及ぼしていることが伺われ、母親の感情が乳児の感情の主な原因の１つになっていると分析される。そして、母親の感情の起伏の大きさ、感情変動の時間間隔、日常的な感情変動の傾向といった要因と乳児の感情との相関関係が分析されて、乳児の感情の原因分析が行われる。

また、乳児Ｂが空腹時やおしめの交換時における「悲しみ」の状態では、母親Ｍが「喜び」の状態でも乳児の感情との間では相関関係が小さくなるが、こうした母親Ｍと乳児Ｂとの間の状況と感情の相互作用との間の関連については、両者の状況を録画しておき、録画した状況と対比させて乳児の感情の原因分析を行うことで、さらに精度の高い原因分析を行うことができる。

以上のような乳児の感情に関する原因分析結果は診断ＤＢ２６に蓄積される。また、診断ＤＢ２６には、過去の事例に関する原因分析及び診断結果に基づく診断知識が記憶されており、こうした診断知識を利用して乳児の感情の原因分析に基づいて推論が行われる。

例えば、母親が「何か嫌なことがあって、悲しい思いを持ち続けていた」ならば、乳児は「母親とのコミュニケーションによりその思いを感じとって、悲しみをいだくようになる」、逆に、母親が「とてもうれしい気分で、にこにこ顔で、乳児をかわいいと思っている」ならば、乳児も「うれしい気分になる」といったように、乳児は、母親の「悲しみ」に対しては「悲しみ」で、母親の「喜び」に対しては「喜び」で返すという規則を仮説として立て、こうした仮説に基づいて乳児の感情について推論し、診断を行う。

そして、診断ＤＢ２６には、様々な事例において乳児及び母親の感情の相互作用がどのように行われたか分析してパターン化し、様々な事例に関する感情パターンを蓄積しておく。例えば、母親の精神状態が悪化した状態（もう死んでしまいたい、この子は可愛くない、いらない子だ−等）である場合の感情パターン、又は、精神状態が良好な状態（この子のためならどんなことでもしてあげたい−等）である場合の感情パターンといった様々な感情パターンを定量化してデータベース化しておく。

そして、診断する事例と感情パターンとの間の類似関係をマッチング分析することで、より具体化した精度の高い診断を行うことが可能となる。

育児支援部２３は、感情診断部２２における乳児の感情に関する診断結果に基づいて母親に対する育児支援情報を作成して画像表示部３０に表示する。例えば、母子の関係について良好な状態であると診断された場合には、母親に対するメッセージとして「今の調子で赤ちゃんに接してください」と表示する。逆に、乳児の感情が「悲しみ」の状態と判定されて母子の関係が悪化していると診断された場合は、母親に対するメッセージとして「お母さんの感情の状態はあまりよくありませんよ。もっと落ち着いて赤ちゃんに接してください。もっと明るくなるように、楽しいことを思い出したり、イメージしてください。」と表示する。

このように診断結果に対応したメッセージをパターン化して支援ＤＢ２７に予め記憶しておき、診断結果に応じて該当するメッセージを読み出して表示する。

音声合成部１４は、音響処理部１２において算出されたピッチ周期に基づいて音声を合成する。合成された音声は合成音声ＤＢ１５に記憶される。

ピッチ周期から音声を合成する技術に関して、本発明者らは、声帯の２質量振動モデルを用いて実際の感情を反映した音声合成が可能であることを実証している（上記の本発明者らの論文参照）。使用する声帯の振動モデルは、１質量振動モデルを用いてもよい。特に、乳児の場合には１質量振動モデルを用いた方が実際の音声に近い合成音声を得ることができる。図６は、図３に示すピッチ周期に基づいて２質量振動モデルにより音声合成した音声波形に関するグラフである。

音声合成部１４において合成された音声データは、本体部２０に送信されて音声取得部１０からの実際の音声データと比較されて合成音声が実際の音声にどの程度近づいているか感情評価部２１で検証される。また、育児支援部２３では、乳児の「喜び」及び「悲しみ」の状態における合成音声を音声出力部３１から出力して母親に乳児の感情に対応した声を聞かせたり、「悲しみ」の状態の乳児に対して母親の「喜び」の状態の合成音声を聞かせる、といったように育児支援に用いることもできる。

図７は、本体部２０における感情診断に関する処理フローである。まず、音響処理部１２から入力される乳児及び母親のピッチ周期の時系列データに基づいてピッチ周期のゆらぎ成分を上述のように算出してゆらぎ成分の時系列データを得る（Ｓ１００）。ゆらぎ成分の時系列データに基づいて乳児及び母親が「喜び」の状態又は「悲しみ」の状態であるか所定の閾値を基準に判定し、判定された両者の感情の時間的な推移からその相関関係を分析する（Ｓ１０１）。

両者の感情の相関関係に基づいて乳児の感情の原因分析を行い、推論により母子関係の診断を行う（Ｓ１０２）。そして、診断結果に対応した育児支援メッセージを選択して読み出し（Ｓ１０３）、読み出された育児支援メッセージを表示部に表示する（Ｓ１０４）。

１気導マイク
２骨導マイク
10 音声取得部
11 音声ＤＢ
12 音響処理部
13 処理ＤＢ
14 音声合成部
15 合成音声ＤＢ
20 本体部
21 感情評価部
22 感情診断部
23 育児支援部
24 メモリ
25 評価ＤＢ
26 診断ＤＢ
27 支援ＤＢ
30 表示部
31 音声出力部

Claims

乳幼児及び母親のそれぞれの音声を取得する音声取得手段と、取得された乳幼児及び母親の音声データに基づいてそれぞれの感情評価データを算出する感情評価手段と、算出された乳幼児及び母親の感情評価データに基づいて乳幼児の感情診断を行う感情診断手段とを備えていることを特徴とする乳幼児の感情診断装置。
前記感情評価手段は、音声データのピッチ周期及び／又は振幅に基づいて感情評価データを算出することを特徴とする請求項１に記載の感情診断装置。
前記感情診断手段は、乳幼児及び母親に関する感情評価データの時系列データにおける相関関係に基づいて原因分析を行うことを特徴とする請求項１又は２に記載の感情診断装置。
乳幼児及び母親のそれぞれの音声を取得し、取得された乳幼児及び母親の音声データに基づいてそれぞれの感情評価データを算出し、算出された乳幼児及び母親の感情評価データに基づいて乳幼児の感情診断を行うことを特徴とする乳幼児の感情診断方法。
音声データのピッチ周期及び／又は振幅に基づいて感情評価データを算出することを特徴とする請求項４に記載の感情診断方法。
乳幼児及び母親に関する感情評価データの時系列データにおける相関関係に基づいて原因分析を行うことを特徴とする請求項４又は５に記載の感情診断方法。
コンピュータを、請求項１から３のいずれかに記載の感情評価手段及び感情診断手段として機能させるためのプログラム。