JP2005318973A - 生体センサ装置、コンテンツ再生方法およびコンテンツ再生装置 - Google Patents

Abstract

【課題】コンテンツ鑑賞者の心理状態に応じてコンテンツ再生状態を制御でき、コンテンツ鑑賞者の心理状態に最適なようにコンテンツを再生できるようにする。
【解決手段】生体センサ装置１０は、人の顔の上部の正面部から側面部にかけて装着されるセンサ取り付け体に、筋電センサ１３、温度センサ１４，１５、振動センサ１６など、異なる種類の生体状況を測定する複数の生体センサを取り付けたものとする。各種生体センサの出力の各種生体情報によって、ＣＰＵ２１は、生体センサ装置１０を装着したコンテンツ鑑賞者の心理状態を判断し、鑑賞者が心地よく感じていると判断した場合には、コンテンツをそのときの状態のまま再生し、鑑賞者が心地よく感じていないと判断した場合には、画像のコントラストや明るさを下げ、音楽のリズムや音量を抑制するなど、コンテンツ再生状態を鑑賞者が心地よく感じられる方向に変える。
【選択図】図２

Description

この発明は、人の生体状況（生体としての状態）を測定して生体情報を取得する生体センサ装置、および映像や音響などのコンテンツを再生する方法および装置に関する。

ウェアラブルコンピューティングの普及に伴って、人の身体に装着される各種の物にセンサを取り付けて人の生体状況を測定し、その測定結果から人の疲労度やリラックス状態などを判断することが考えられている。

例えば、特許文献１（特開平６−５１９０２号公報：情報処理方法）には、ＯＡ機器を操作する者が装着する眼鏡に発光素子および受光素子を取り付け、操作者が表示装置の画面を追っているときには、発光素子からの光が瞳に投射されることにより、受光素子で検出される反射光が減少し、操作者の視線が表示装置の画面から外れたときには、発光素子からの光が瞳から外れることにより、受光素子で検出される反射光が増加することを利用して、操作者の疲労度を推定し、疲労度が高くなったと判断した場合には、画面上に「少し休みましょう」などのメッセージを表示し、または操作者が好む画像を表示することが示されている。

また、特許文献２（特開平１０−７６０１２号公報：リラックス指導装置およびバイオフィードバック指導装置）の段落０１４０および図４３には、利用者（自律訓練法のリラックス訓練を行う者や、バイオフィードバック法の治療を受ける者）が装着する眼鏡のフレームに脈波センサを取り付けて利用者の脈拍を測定し、その測定値の時間的推移から、利用者がリラックス状態に向かっているか否かを判断して、リラックス状態に向かっている場合には、その旨を、眼鏡のフレームに取り付けた液晶パネルからの光を眼鏡のレンズに投射することによって利用者に告知することが示されている。
特開平６−５１９０２号公報 特開平１０−７６０１２号公報

しかしながら、上述した特許文献１に示された装置および方法は、光センサ（発光素子および受光素子）によって人の視線（瞳）の位置を検出するので、人の疲労度は推定できても、例えば、映像や音響などのコンテンツを鑑賞（視聴）している者が、どのような心理状態にあるかを推定し、判断することは困難であり、コンテンツ再生などの娯楽的な分野に利用することは難しい。

また、特許文献２に示された装置および方法も、脈波センサによって利用者の脈拍を測定することはできるが、それから、例えば、映像や音響などのコンテンツを鑑賞している者が、どのような心理状態にあるかを推定し、判断することは困難であり、コンテンツ再生などの娯楽的な分野に利用することは難しい。

そこで、この発明は、生体センサ装置としては、コンテンツ鑑賞者などの心理状態を判断することができるようにしたものであり、コンテンツ再生方法としては、再生中のコンテンツを鑑賞する者の心理状態に応じてコンテンツ再生状態を制御することができ、コンテンツ鑑賞者の心理状態に最適なようにコンテンツを再生することができるようにしたものである。

この発明の生体センサ装置は、
人の顔の上部の正面部から側面部にかけて装着されるセンサ取り付け体と、
このセンサ取り付け体に取り付けられた、人の異なる種類の生体状況を測定する複数の生体センサと、
を備えるものである。

この発明のコンテンツ再生方法は、
コンテンツ鑑賞者の顔の上部の正面部から側面部にかけて装着されたセンサ取り付け体に取り付けられた複数の生体センサによって取得された、前記コンテンツ鑑賞者の異なる種類の複数の生体情報を解析して、前記コンテンツ鑑賞者の心理状態を判断する判断工程と、
この判断工程での判断結果に応じて、コンテンツ再生状態を制御する制御工程と、
を備えるものである。

上記の構成の、この発明の生体センサ装置では、人の各種の生体状況を検出しやすい、顔の上部の正面部から側面部にかけて装着されるセンサ取り付け体に、筋電センサと温度センサ、温度センサと振動センサ、振動センサと血流センサなど、異なる種類の生体状況を測定する複数の生体センサが取り付けられるので、その複数の生体センサによって取得された異なる種類の複数の生体情報を解析し、分析することによって、コンテンツ鑑賞者などの心理状態を推定し、判断することができる。

また、上記の構成の、この発明のコンテンツ再生方法では、この生体センサ装置を利用することによって、コンテンツ鑑賞者の心理状態を判断することができ、その判断結果に応じて、コンテンツ再生速度や、画像のコントラスト、画像の明るさ、画像の色、音楽のリズム、音声の周波数特性、音声の出力音量などの、コンテンツ再生状態を制御することができ、コンテンツ鑑賞者の心理状態に最適なようにコンテンツを再生することができる。

以上のように、この発明によれば、生体センサ装置としては、コンテンツ鑑賞者などの心理状態を判断することができ、コンテンツ再生方法としては、再生中のコンテンツを鑑賞する者の心理状態に応じてコンテンツ再生状態を制御することができ、コンテンツ鑑賞者の心理状態に最適なようにコンテンツを再生することができる。

〔生体センサ装置の一例：図１〕
図１は、この発明の生体センサ装置の一例を示し、眼鏡フレーム状のセンサ取り付け体に複数の生体センサが取り付けられたものである。

具体的に、この例の生体センサ装置１０のセンサ取り付け体１１は、正面部１１ｃおよび左右のつる部１１ａ，１１ｂによって構成され、正面部１１ｃの上枠部に、一対の筋電センサ１３ａ，１３ｂが取り付けられ、正面部１１ｃの中央部に、一対の温度センサ１４ａ，１４ｂ、振動センサ１６、および角度センサ１７が取り付けられ、つる部１１ａ，１１ｂに、別の一対の温度センサ１５ａ，１５ｂが取り付けられ、つる部１１ａの先端部に、血流センサ１８が取り付けられ、つる部１１ｂの先端部に、脈波センサ１９が取り付けられる。

筋電センサ１３ａ，１３ｂは、歪みセンサまたは圧電センサからなり、被測定者の眉の部分の筋電位を測定するものである。人は、喜んでいるときには、筋電位が低く、悲しんでいるとき、怒っているとき、恐れているときには、筋電位が高くなる。したがって、筋電センサ１３ａ，１３ｂの測定値によって、被測定者の表情を推定することができる。

温度センサ１４ａ，１４ｂは、被測定者の鼻梁部の温度を測定するものであり、温度センサ１５ａ，１５ｂは、被測定者のこめかみ部の温度を測定するものである。人が不快に感じているときには、鼻梁部の温度が低下するので、温度センサ１４ａ，１４ｂの測定値と温度センサ１５ａ，１５ｂの測定値との差分（絶対値）によって、被測定者の快・不快の感情を推定することができ、差分が小さいときには、快適に感じていると判断し、差分が大きいときには、不快に感じていると判断することができる。

振動センサ１６は、被測定者が瞬きをしたときの眉間部の振動を測定して、被測定者の瞬きを検出するものであり、角度センサ１７は、被測定者が身体全体や顔を左右に動かしたことを検出するものである。被測定者が集中しているときには、瞬きや体動が少なく、集中していないときには、瞬きや体動が多くなるので、振動センサ１６または角度センサ１７の測定値によって、被測定者の集中度を推定することができる。

血流センサ１８は、被測定者の一方の耳部での血流量を測定するものであり、脈波センサ１９は、被測定者の他方の耳部での脈拍を測定するものである。人が快適に感じているときには、抹消の血流量が増加し、脈拍が低下し、不快に感じているときには、抹消の血流量が減少し、脈拍が上昇するので、血流センサ１８または脈波センサ１９の測定値の変化から、被測定者の快・不快の感情を推定することができる。

図２は、このような生体センサ装置を利用する、この発明のコンテンツ再生装置の一例を示し、コンテンツとして映像および音響を再生する場合である。

この例のコンテンツ再生装置２０は、ＣＰＵ２１を備え、そのバス２２に、ＣＰＵ２１が実行するプログラムや必要な固定データなどが書き込まれたＲＯＭ２３、プログラムやデータが展開されるＲＡＭ２４、キー操作部２６、および液晶表示部２７が接続される。

ユーザ（コンテンツ鑑賞者）は、あらかじめ、キー操作部２６での選択操作によって、コンテンツ再生装置２０での再生モードを、上述した生体センサ装置１０の利用によってコンテンツ再生状態が制御される再生制御モードと、コンテンツ再生状態が制御されずに一定のコンテンツ再生状態に保持される再生非制御モードとのいずれに切り替えることができる。液晶表示部２７は、コンテンツ再生装置２０の操作状況や動作状態を表示するものである。

さらに、バス２２には、映像処理部３１を介して、映像表示部３２が接続されるとともに、音声処理部３４を介して、マイクロフォン３５、スピーカ３６、およびヘッドフォンなどが接続される外部出力端子３７が接続される。

また、バス２２には、インターフェース４１を介して、メモリカードや光ディスクなどの外部記憶装置４２が接続され、通信インターフェース４４を介して、通信ケーブル４５が接続されるとともに、送受信部４７を介して、アンテナ４８が接続される。

外部記憶装置４２には、再生される映像および音響のデータが記録されている。また、再生される映像および音響のデータは、外部機器から通信ケーブル４５を介してコンテンツ再生装置２０内に取り込まれるとともに、放送信号などとしてアンテナ４８によってコンテンツ再生装置２０で受信される。

そして、この例では、上述した生体センサ装置１０の筋電センサ１３、温度センサ１４、温度センサ１５、振動センサ１６、角度センサ１７、血流センサ１８および脈波センサ１９が、それぞれＡＤコンバータ５３，５４，５５，５６，５７，５８および５９を介して、バス２２に接続される。

筋電センサ１３は、筋電センサ１３ａおよび１３ｂからなり、ＡＤコンバータ５３も、それぞれ筋電センサ１３ａ，１３ｂの出力のアナログ信号をデジタルデータに変換する２個のＡＤコンバータからなる。温度センサ１４および１５についても、同様である。

そして、この例では、外部記憶装置４２に記録されていて外部記憶装置４２から読み出された、または外部機器から通信ケーブル４５を介してコンテンツ再生装置２０内に取り込まれた、または放送信号などとしてアンテナ４８によってコンテンツ再生装置２０で受信された映像および音響のデータによって、コンテンツ再生装置２０で映像および音響が再生される際、ＣＰＵ２１は、上記の再生制御モードが選択されている場合には、後述の再生処理ルーチンに従って、生体センサ装置１０のそれぞれの生体センサの出力の生体情報を解析し、総合的に評価して、生体センサ装置１０を装着して映像および音響を鑑賞している者（ユーザ）の心理状態を判断し、その判断結果に応じて、映像および音響の再生状態を制御する。

具体的に、上述したように、筋電センサ１３（筋電センサ１３ａまたは１３ｂ）の測定値によって、鑑賞者の表情を推定し、温度センサ１４（温度センサ１４ａまたは１４ｂ）の測定値と温度センサ１５（温度センサ１５ａまたは１５ｂ）の測定値との差分によって、鑑賞者の快・不快の感情を推定し、振動センサ１６または角度センサ１７の測定値によって、鑑賞者の集中度を推定し、血流センサ１８または脈波センサ１９の測定値の変化から、被測定者の快・不快の感情を推定し、これら推定結果を、あらかじめ定められた判断基準と比較して、最終的に、鑑賞者が心地よく感じているか否かを判断する。

端的に、鑑賞者が喜んでいると推定され、快適に感じていると推定され、かつ集中していると推定される場合には、鑑賞者は心地よく感じていると判断し、逆に、鑑賞者が悲しんでいる、怒っている、または恐れていると推定され、不快に感じていると推定され、かつ集中していない（散漫になっている）と推定される場合には、鑑賞者は心地よく感じていないと判断する。中間的な場合には、上記の判断基準に従って判断する。

そして、鑑賞者が心地よく感じていると判断した場合には、映像および音響を、そのときの状態のまま再生し、逆に鑑賞者が心地よく感じていないと判断した場合には、映像および音響の再生状態を、鑑賞者への刺激を抑制し、鑑賞者が心地よく感じられる方向に変化させる。

後者の場合、具体的には、映像および音響の再生速度を下げ、画像のコントラストまたは明るさを低下させ、画像の色相を落ち着く色相に変え、画像の彩度を下げ、音楽のリズムを抑制し、音楽などの音声の周波数特性を、中域は上げ、低域および高域は下げるように変更し、または音楽などの音声の出力音量を下げる。

図３に、ＣＰＵ２１が行う、このような再生制御モードでの再生処理の一例を示す。この例の再生処理ルーチン６０では、鑑賞者が生体センサ装置１０を装着してコンテンツの再生を開始させると、まずステップ６１で、生体センサ装置１０の各種生体センサによって、鑑賞者の各種生体情報を取得し、次にステップ６２に進んで、その各種生体情報によって、鑑賞者の心理状態を分析し、次にステップ６３に進んで、その分析結果から、鑑賞者が心地よく感じているか否かを判断する。

そして、鑑賞者が心地よく感じていると判断した場合には、ステップ６３からステップ６４に進んで、映像および音響を、そのときの状態のまま再生した上で、ステップ６１に戻り、逆に鑑賞者が心地よく感じていないと判断した場合には、ステップ６３からステップ６５に進んで、映像および音響の再生状態を、上述したように変更した上で、ステップ６１に戻る。

この方法を繰り返し行うことによって、鑑賞者は常に心地よく感じられる状態で映像および音響を鑑賞することができる。

図４の例に示すように、コンテンツ再生システムを、映像音響再生装置７５、および、この映像音響再生装置７５で再生された映像および音響を視聴するためのヘッドマウントディスプレイ７１によって構成し、そのヘッドマウントディスプレイ７１の各部に各種の生体センサを取り付けて、ヘッドマウントディスプレイ７１を生体センサ装置とすることもできる。これによれば、鑑賞者は、ヘッドマウントディスプレイ７１とは別に、図１に示したような生体センサ装置１０を装着する必要がない。

生体センサ装置は、眼鏡フレーム状ではなく、図５に生体センサ装置８１として示すように、各種の生体センサをヘッドバンドに取り付けて、ヘッドバンド型として構成してもよい。

また、図６の例に示すように、コンテンツ再生システムを、上述した生体センサ装置１０、リモコン送信器９３が付属する映像再生装置９１、および音響再生装置９５によって構成し、生体センサ装置１０と映像再生装置９１および音響再生装置９５とを、ケーブル９２および９６によって、または無線通信によって、接続してもよい。

以上の例は、コンテンツとして映像および音響を再生する場合であるが、画像（映像）のような視覚的に感知できる情報のみを再生し、または音響（音楽などの音声）のような聴覚的に感知できる情報のみを再生する場合にも、この発明を適用することができる。

また、センサ取り付け体に取り付けて、人の生体状況を測定する生体センサとしては、上述した筋電センサ、温度センサ、瞬目（瞬き）測定用の振動センサ、体動測定用の角度センサ、血流センサ、脈波センサに限らず、顔の上部の正面部から側面部にかけての部分で人の生体状況を測定できるものであれば、皮膚発汗、皮膚抵抗、ＭＶ（マイクロバイブレーション）などを測定するセンサでもよい。

この発明の生体センサ装置の一例を示す図である。 この発明のコンテンツ再生装置の一例を示す図である。 コンテンツ再生装置の制御手段が行う再生処理ルーチンの一例を示す図である。 この発明のコンテンツ再生システムの他の例を示す図である。 この発明の生体センサ装置の他の例を示す図である。 この発明のコンテンツ再生システムの他の例を示す図である。

符号の説明

主要部については図中に全て記述したので、ここでは省略する。

Claims (7)

1. 人の顔の上部の正面部から側面部にかけて装着されるセンサ取り付け体と、
   このセンサ取り付け体に取り付けられた、人の異なる種類の生体状況を測定する複数の生体センサと、
   を備える生体センサ装置。
2. 請求項１の生体センサ装置において、
   前記センサ取り付け体は、眼鏡フレーム状とされた生体センサ装置。
3. コンテンツ鑑賞者の顔の上部の正面部から側面部にかけて装着されたセンサ取り付け体に取り付けられた複数の生体センサによって取得された、前記コンテンツ鑑賞者の異なる種類の複数の生体情報を解析して、前記コンテンツ鑑賞者の心理状態を判断する判断工程と、
   この判断工程での判断結果に応じて、コンテンツ再生状態を制御する制御工程と、
   を備えるコンテンツ再生方法。
4. 請求項３のコンテンツ再生方法において、
   前記制御工程では、コンテンツ再生状態として、コンテンツ再生速度、画像のコントラスト、画像の明るさ、画像の色、音楽のリズム、音声の周波数特性、または音声の出力音量を制御するコンテンツ再生方法。
5. コンテンツデータを、記録媒体から読み出し、または装置外部から受信して、コンテンツを再生するコンテンツ再生手段と、
   このコンテンツ再生手段によって再生中のコンテンツを鑑賞する者の顔の上部の正面部から側面部にかけて装着されたセンサ取り付け体に取り付けられた複数の生体センサによって取得された、前記コンテンツ鑑賞者の異なる種類の複数の生体情報を解析して、前記コンテンツ鑑賞者の心理状態を判断する判断手段と、
   この判断手段の判断結果に応じて、前記コンテンツ再生手段によるコンテンツ再生状態を制御する制御手段と、
   を備えるコンテンツ再生装置。
6. 請求項５のコンテンツ再生装置において、
   前記制御手段は、コンテンツ再生状態として、コンテンツ再生速度、画像のコントラスト、画像の明るさ、画像の色、音楽のリズム、音声の周波数特性、または音声の出力音量を制御するコンテンツ再生装置。
7. 請求項５または６のコンテンツ再生装置において、
   前記制御手段によるコンテンツ再生状態の制御のオンまたはオフを切り替え選択するモード設定手段を備えるコンテンツ再生装置。

Images