JP2005034484A - 音響再生装置、映像再生装置、及び映像音声再生方法 - Google Patents

Abstract

【課題】 ユーザの妨げにならないような映像、音声を提供する。
【解決手段】 音響制御システム１は、生体情報を取得する生体センサ２０と、音響を出力する音響機器１０とから構成されている。音響機器１０の判断部１７は、生体センサ２０が取得した生体情報を基にユーザの状態を判断し、音響を変化させる。例えば、判断部１７は、体動、脈拍などの生体情報を基にユーザが音楽に集中しているか否かを判断し、ユーザが音楽に集中していない場合には、音楽のボーカルパートを消去したり、音量を低減させたりする。
【選択図】図５

Description

本発明は、音声再生装置、映像再生装置、及び映像音声再生方法に関する。特に、ユーザの生体情報に基づいて再生信号処理を施す再生装置、再生方法に関する。

人間は、緊張したときに心拍数が上昇し、落ち着いたときに心拍数が安定する。心拍数は、心臓の収縮リズムであり、人間の状態を示すパラメータである。心拍数の他にも呼吸数や脳波など人間の状態を示すデータは複数存在する。これらのデータは生体データ呼ばれ、人間の状態を定量的に示すパラメータとして医療やサービスの分野で活用されている。

生体情報の活用例として、例えば、室内に生体センサを取り付け、居住者に適した音楽を提供する音響装置（例えば、特許文献１参照。）、皮膚インピーダンスを基に車の運転手の緊張度を計測し、運転手に注意を促す監視装置（例えば、特許文献２参照。）、ユーザの心拍数に応じて、ユーザの運動量を算出し、トレーニングマシンの負荷を変化させる健康管理システム、ユーザの心拍数に応じて、エアーコンディショナーや照明を制御し、映画鑑賞に臨場感を持たせる娯楽システム（例えば、特許文献３参照。）がある。

特開平１１−２４４３８３号公報 特開平９−４８５４５号公報 特開２００２−３０１０５０号公報

上述したように、生体情報を基に動作を決定する装置は従来も存在する。これは、生体情報が人間の状態を直接的かつ客観的に表現するデータであるためである。本願発明は、上述した装置と同様、生体情報をパラメータとし、テレビ、ＰＣ、ビデオなどの映像機器及びステレオ、ラジオなどの音響機器の動作を制御するものである。

テレビや音楽は、ユーザが特に集中して視聴する場合とそうでない場合がある。例えば、テレビをつけた状態で読書をしたり、食事をしたり、会話をするとき、人間は、テレビの内容よりもむしろその他の動作に集中している。このような場合、テレビの音声や画面が他の動作の妨げになるときがある。

本願発明は、上述の課題を解決するため、ユーザの妨げにならないような音響や映像を再生する音響再生装置、映像再生装置及び映像音声再生方法を提供することを目的とずる。

本発明に係る音響再生装置では、生体情報検出手段はユーザの生体情報を検出し、判断手段は生体情報を基にユーザの再生音声への集中度を判断する。音響処理手段は、その再生音声への集中度に応じて再生音声への処理を施す。

本発明に係る映像再生装置では、生体情報検出手段がユーザの生体情報を検出し、判断手段は生体情報を基にユーザの再生映像への集中度を判断する。映像処理手段は、その再生映像への集中度に応じて再生映像への処理を施す。

本発明に係る映像音声再生方法では、ユーザの生体情報を検出し、生体情報を基にユーザの映像及び／又は音声への集中度を判断し、この判断結果に応じて映像及び／又は音声への処理を施す。

本発明によれば、ユーザの生体情報を基に、ユーザの状態を判断し、ユーザの状態に適した音楽及び／又は映像を再生するため、ユーザが快適に音楽及び／映像を視聴することができる。

生体情報は、ユーザが意識的に入力する情報ではなく、無意識のうちに更新される情報であるため、情報を設定する煩わしさを感じることがない。

さらに、ユーザが音楽に集中していないときには、音楽のボーカルパートや音量が減少するため、音楽以外のことに集中することができる。同様に、ユーザが映像に集中していないときには、映像の輝度を低減させるため、映像のために気が散ってしまうことがない。

以下、図面を参照して本発明を適用した音響制御システム１について説明する。音響制御システム１は、ユーザの生体情報を測定し、生体情報を基に音響を変化させる。音響制御システム１は、図１に示すようにユーザの生体情報を測定する生体センサ２０と、生体情報に応じた音楽を発する音響機器１０とから構成され、生体センサ２０と音響機器１０とは通信可能な状態で接続されている。

音響機器１０は、図２に示すようにこの音響機器の動作を制御するプログラムや設定情報などを記録するＲＯＭ１１、一時記録手段であるＲＡＭ１２、キー入力デバイス１３、生体センサ２０と情報の送受信を行う通信インターフェース１４、図示しない記録媒体に記録された音響データやラジオ局から送信される電波を音声電流に変換する音響再生部１５と、音声電流を音に変換して放出するスピーカ１６と、生体情報を基にユーザの状態を判断し音響の変化を決定する判断部１７と、音響再生部の出力を変化させる音響変化部１８と、各ブロックを制御するＣＰＵ１９とを備える。

生体センサ２０は、ユーザの生体情報を測定する。生体情報とは、心拍数、脳波、体動（人体の動き）などを定量的に示した情報である。図３は、生体センサの例を示している。生体センサ２０には、例えば、血流計１０１、脳波計１０２、眼球運動センサ１０３、心電計１０４、振動ジャイロ１０５、加速度センサ１０６、筋音計１０７、皮膚温度センサ１０８、体動加速度センサ１０９、皮膚導電率センサ１１０、足圧センサ１１１、脈拍計１１２などがある。血流計１０１は、人体に赤外線を放射し、その赤外光の反射により脳内血流量や血中酸素の濃度を測定する。脳波計１０２は、脳内を流れる電流を基にα波やβ波などの脳波を測定する。眼球運動センサ１０３は、頭部に取り付けられ頭部電圧を基に眼球の振動周波数成分を測定する。あるいはビデオカメラでユーザの眼球の動きを検出してもよい。心電計１０４は、心筋が発信する電流を基に心拍数を計測する。振動ジャイロ１０５は、角速度を基に胸部運動や呼吸数を測定する。筋音計１０７は、人体の筋収縮時に発生する体表面微細振動を計測し、疲労との関連があるとされる筋音を測定する。皮膚温度センサ１０８は、体温を計測する。皮膚導電率センサ１１０は、皮膚電気抵抗を基に発汗量を測定する。足圧センサ１１１は、人間の移動距離や動作を検出する。

生体センサ２０は、リストバンドや指輪のように身に付けるようにしたものや携帯電話に内蔵し通話中やメール作成中に生体情報を測定するものがある。生体センサ２０は、無線通信部１１３を備え、測定した生体情報を音響機器１０に送信する。

また、ソファやベッドには、図１に示すようにクッションやマットレスなどの弾性体２１と、弾性体２１の下側に設けられた音センサ２２とからなる生体センサ２０が取り付けられる。音センサ２２は、ソファに着座した人体やベッドに横たわった人体の音を検出する。音センサの検出信号は、人体の心拍数、呼吸、体動などが重複された音信号である。生体センサ２０は、音センサ２２の検出信号のうち、心拍数や呼吸を示すパターンの信号を抽出する。この音センサ２２に替えて圧力センサを用いても同様に生体情報が検出される。また、生体センサ２０は、検出信号のレベルが大きく変動している部分から寝返りやゆれなどの体動を検出する。

判断部１７は、入力した生体情報を基にユーザの状態を判断する。例えば、判断部１７は、心拍数、呼吸、体動を基にユーザが音楽に集中しているか否かを判断する。音楽に合わせた規則的なゆれは、人間が音楽に集中していることを示す。音楽に集中しているときは、呼吸や脈拍も音楽と同期する。判断部１７は、再生している音楽のリズムやテンポと、人間の呼吸、脈拍、ゆれを比較し、音楽への集中度を判断する。

また、人間は、リラックスした状態で音楽を観賞することもある。この場合、体動が少なくなり、呼吸や脈拍が安定する。判断部１７は、体動、呼吸、脈拍の変動を監視し、体動、呼吸、脈拍が大きく変動しない場合には、人間が音楽に集中していると判断する。

判断部１７は、ユーザが音楽に集中していないと判断すると、音楽からボーカルパートを自動的に取り除く。これは、音楽が読書、会話、睡眠などユーザの動作を妨げないようにするためである。

音響変化部１８は、判断部１７からの命令に従い音楽を変化させる。音響変化部１８は、音楽再生部１５とスピーカ１６との間に設けられ、音楽再生部１５から出力される音声信号を変化させる。音響変化部１８は、音楽からボーカルパートを消去する回路、音楽のリズムやテンポを変化させる回路、ボリュームを漸減させる回路などの複数の回路から構成される。

ここで、音響変化部に存在する回路の一例としてボーカルキャンセル回路３０を示す。図４は、ボーカルキャンセル回路３０の構成を示している。ボーカルキャンセル回路３０は、ボーカル信号が含まれる３００Ｈｚから４、５ｋＨｚの信号を除去する。ボイスキャンセル回路３０には、音楽再生部１５からＲとＬとの２チャンネルの音楽信号を入力する。ＨＰＦ（ハイパスフィルタ）３１Ｌ，３１Ｒは音楽信号の高域部分の伴奏信号を抽出し、ＬＰＦ（ローパスフィルタ）３２Ｌ、３２Ｒは音楽信号の低域部分の伴奏信号を抽出する。差分回路３３Ｌ、３３ＲはＲとＬの差分信号を出力する。これらの差分信号には、ボーカル信号がキャンセルされて主として中域以上の伴奏信号が含まれている。ＨＰＦ３１Ｌ、３１Ｒから出力された高域部分の伴奏信号、ＬＰＦ３２Ｌ、３２Ｒから出力された低域部分の伴奏信号、差分回路３３Ｌ、３３Ｒから出力された伴奏信号は加算器３４Ｌ、３５Ｌ、３４Ｒ、３５Ｒで加算され、全帯域をカバーする伴奏信号が生成される。

このような音響制御システム１は、図５に示す順序で動作する。まず、生体センサ２０は、ユーザの生体情報を測定し、音響機器１０に送信する（ステップＳ１１）。音響機器１０は、生体情報を受信すると、生体情報を判断部１７に出力する。判断部１７は、ユーザの呼吸、体動、脈拍と、音楽のリズムやテンポとを比較し、ユーザの呼吸、体動、脈拍が音楽のリズムやテンポと同期しているときには、ユーザが音楽に集中していると判断する。また、判断部１７は、呼吸、体動、脈拍の変化を監視し、これらの生体情報が大きく変動しない場合には、人間が音楽に集中していると判断する（ステップＳ１２）。

判断部１７は、ステップＳ１２において、ユーザが音楽に集中していると判断すると（ステップＳ１３；ＹＥＳ）、音楽を変化させることなく、そのまま音楽の再生を継続する（ステップＳ１４）。一方、判断部１７は、ステップＳ１２において、ユーザが音楽に集中していないと判断すると、音響変化部１８にボーカルパートの消去を指示する（ステップＳ１５）。

生体センサ２０は、音楽を変化した後も生体情報を測定する（ステップＳ１６）。判断部１７は、生体情報を基にユーザが音楽に集中しているか否かを判断し（ステップＳ１７）、ユーザが音楽に集中していない場合（ステップＳ１８、ＹＥＳ）、ボーカルパートを消去した再生を継続する（ステップＳ１９）。一方、判断部１７は、ステップＳ１７において、ユーザが音楽に集中していると判断した場合（ステップＳ１８；ＮＯ）、音響変化部１８に命令を出力し、ボーカルパートの消去を解除する（ステップＳ２０）。ボーカルパートの消去を解除した後も、生体センサは生体情報を測定する（ステップＳ１１）。

また、判断部１７は、以下のような方法を用いてユーザが音楽に集中しているか否かを判断する。例えば、人間は眠りに入るときに体温が低下する。判断部は、人間の体温、時刻などを基にユーザが眠りに入ったか否かを判断し音楽を変化する。

また、人間は集中したときに指先の温度が上昇する。これにより、判断部１７は、ユーザが音楽以外のものに集中しているか否かを判断し、音楽を変化させることができる。

なお、上述の実施例においては、再生される音楽への集中度が低いときに、その音楽のボーカルパートを低減させるようにしたが、これに限らず、例えば音量を下げたり、刺激的になりやすい高音域成分を減衰させたりするなどしてもよいし、これらを組み合わせるようにしてもよい。

本発明は、音楽だけでなく映像制御システム２に適用することもできる。映像制御システム２は、ユーザが映像に集中しているか否かを判断し、映像の表示形態を変化させる。ユーザの集中度は、以下のように判断する。図６は、映像の集中度の測定方法を示している。ここで、生体センサ２０は、映像機器（テレビ）４０の上に載置されたビデオカメラである。ここで、映像機器４０は、図２に示す音響機器１０と略同じ構成であるため、詳しい内部説明を省略する。ビデオカメラ２０は、ユーザの顔を撮影し、映像機器４０に出力する。映像機器４０の判断部１７は、入力した映像を基にユーザのまばたきの回数や開眼時間を測定する。映像に集中しているとき、人間はまばたきの回数が少なくなる。また、映像に集中しておらず意識が低下したときには、１回のまばたきに要する時間（閉眼時間）が長くなる。さらに、ユーザは他のことに集中しているとき、ユーザの視線は画面以外の方向を向いている。

判断部１７は、ユーザが映像機器４０に表示される映像に集中していないと判断すると、映像変化部４２に映像の変化を指示する。映像変化部４２は映像再生部４１と表示部４３との間に設けられ、映像再生部４１が出力する映像信号を変化させる。

判断部１７は、ユーザが映像に集中していないと判断すると、映像再生部４１に映像の輝度の低減を指示する。輝度を変化する回路は、例えば受像管のカソードの直流的なバイアスを変化させる回路であってもよいし、映像信号中の輝度成分を減衰させる信号処理回路であってもよい。もちろん、セピア調の映像に変化させてもよい。

以上説明したように、本発明を適用した音響制御システム１及び映像制御システム２は、生体情報を基に対象としている音楽若しくは映像にユーザが集中しているか否かを判断し、ユーザの集中度に応じて音楽や映像を変化させる。このため、ユーザが他のことに集中したり、会話を始めたり、眠くなるなどの状態に移行したとき、移行した状態を妨げない程度にＢＧＭ（Back Ground Music）、ＢＧＶ（Back Ground Video）として再生することができる。

なお、本発明は、上記実施の形態に制限されるものではなく、生体情報を基にユーザの状態を判断し、音楽や映像を変化させるという本発明の要旨を含むものであれば、本発明に含まれるものとする。

例えば、近年、生体情報を基にユーザの状態を判断する方法が考え出されているが、今後考え出される判断方法を用いて音楽及び映像を変化してもよい。

また、上記実施の形態では、映像のみを制御する映像制御システム２と、音楽のみを制御する音響制御システム１とを区分したが、映像と音声の両方を制御するシステムとしてもよい。さらに、生体情報及び生体情報の測定方法は、上述したものに限定されるわけではない。また、音響変化部１８は音楽再生部１５とスピーカ１６との間に、映像変化部４２は映像再生部４１と表示部４３との間に、設けられるとしたが、音楽再生部１５と映像再生部４１のそれぞれの前段に設けてもよいことは勿論である。

音響制御システムの構成を示す図である。 音響機器の内部構成を示すブロック図である。 生体センサを示す図である。 ボーカルキャンセル回路の構成を示す図である。 音楽制御システムの動作を示す流れ図である。 映像制御システムの構成を示す図である。

符号の説明

１ 音響制御システム、２ 映像制御システム、１０ 音響機器、１４ 通信インターフェース、１５ 音響再生部、１６ スピーカ、１７ 判断部、１８ 音響変化部、２０ 生体センサ、２１ 弾性体、２２ 音センサ、３０ ボーカルキャンセル回路、４０ 映像機器、４１ 映像再生部、４２ 映像変化部、４３ 表示部、１０１ 血流計、１０２ 脳波計、１０３ 眼球運動センサ、１０４ 心電計、１０５ 振動ジャイロ、１０６ 加速度センサ、１０７ 筋音計、１０８ 皮膚温度センサ、１０９ 皮膚導電率センサ、１１１ 足圧センサ、１１２ 脈拍計

Claims (13)

1. 使用者の生体情報を検出する生体情報検出手段と、
   音響を再生する音響再生手段と、
   上記生体情報を基に上記使用者の上記音響再生手段により再生される音響に対する集中度を判断する判断手段と、
   上記判断手段で判断された集中度に応じて上記音響再生手段で再生される音響に所定の処理を施す音響処理手段と
   を備える音響再生装置。
2. 上記音響処理手段は、上記判断手段で判断された集中度が所定の閾値より小さいとき、上記音響のボーカル成分を減衰することを特徴とする請求項１記載の音響再生装置。
3. 上記音響処理手段は、上記判断手段で判断された集中度が所定の閾値より小さいとき、上記音響の音量を減少させることを特徴とする請求項１記載の音響再生装置。
4. 上記音響処理手段は、上記判断手段で判断された集中度が所定の閾値より小さいとき、上記音響の高音域成分を減少させることを特徴とする請求項１記載の音響再生装置。
5. 上記生体情報検出手段は、検出した生体情報を無線通信で送信する通信手段を備え、
   上記判断手段は、上記通信手段により伝送された生体情報を受信する受信手段を備えることを特徴とする請求項１記載の音響再生装置。
6. 使用者の生体情報を検出する生体情報検出手段と、
   映像を再生する映像再生手段と、
   上記生体情報を基に上記使用者の上記映像再生手段により再生される映像に対する集中度を判断する判断手段と、
   上記判断手段で判断された集中度に応じて上記映像再生手段で再生される映像に所定の処理を施す映像処理手段と
   を備える映像再生装置。
7. 上記映像処理手段は、上記判断手段で判断された集中度が所定の閾値より小さいとき、上記映像の輝度を低減させることを特徴とする請求項６記載の映像再生装置。
8. 上記生体情報検出手段は、検出した生体情報を無線通信で伝送する通信手段を備え、
   上記判断手段は、上記通信手段により伝送される生体情報を受信する受信手段を備えることを特徴とする請求項６記載の映像再生装置。
9. 映像及び／又は音声を再生する映像音声再生工程と、
   使用者の生体情報を検出する生体情報検出工程と、
   上記生体情報を基に上記使用者の上記映像及び／又は音声に対する集中度を判断する判断工程と、
   上記集中度に応じて映像及び／又は音声の出力信号に所定の処理を施す出力信号処理工程と
   を有することを特徴とする映像音声再生方法。
10. 上記使用者の集中度に応じて上記出力信号に対する処理を解除させる処理解除工程を有することを特徴とする請求項９記載の映像音声再生方法。
11. 上記出力信号処理工程では、上記判断工程で判断された集中度が所定の閾値より小さいとき、音声信号のボーカル成分を減衰することを特徴とする請求項９記載の映像音声再生方法。
12. 上記出力信号処理工程では、上記判断工程で判断された集中度が所定の閾値より小さいとき、音声信号の音量を減衰させることを特徴とする請求項９記載の映像音声再生方法。
13. 上記出力信号処理工程では、上記判断工程で判断された集中度が所定の閾値より小さいとき、映像信号の輝度を低減させることを特徴とする請求項９記載の映像音声再生方法。
    

Images