JP2011048023A - 体感振動生成装置および体感振動生成方法 - Google Patents

Abstract

【課題】原音となる楽曲の音声信号と関連がある振動であり、ユーザにとって快適な振動を得ることができる体感振動生成装置を提供する。
【解決手段】原音となる楽曲の音声信号に基づいて体感振動信号を生成する体感振動信号生成装置１は、音声信号を解析して少なくとも原音の拍及び拍の長さを検出する音声信号解析部１２と、検出された原音の各拍の長さと、予め設定された体感振動信号の長さの最大値Ｃmaxおよび最小値Ｃminと、に基づいて、検出された原音の拍の長さが予め設定された体感振動信号の長さの最大値Ｃmaxより長い場合は拍を分割し、最小値Ｃminより短い場合は拍を削除して体感振動信号を生成する体感振動信号生成部１３（１３Ａ）と、を備える。
【選択図】図２

Description

本発明は、体感振動生成装置および体感振動生成方法に関する。

音と同時に音楽の主として低音成分をトランスデューサ（電気−機械振動変換器）によって体感振動を生成する体感振動生成装置があり、このような体感振動生成装置を、椅子、ベッド、クッションなどに組み込んだ体感音響機器がある。体感音響機器の例としては、例えば、特許文献１に開示された振動音楽用装置がある。図１は、特許文献１に開示された振動音楽用装置の構成を示すブロック図である。図１おいて、音源１２１からの出力Ｌ，Ｒは、それぞれボリュウムを介して音声用増幅器１２２，１２４によって増幅され、スピーカ１２３，１２５から２０Ｈｚ〜２０ＫＨｚの音声出力が得られる。又、同時に上記音源１２１からの出力Ｌ，Ｒはミキサ１２６に入力され、ローパスフィルタ１２７により低域成分のみ取出してボリュウムを介して増幅器１２８に入力し、その出力を電気―機械振動変換器１２９に入力して、１６Ｈｚ〜１５０Ｈｚの体感振動を得る。電気―機械振動変換器１２９の振動伝達部を身体に接触させることにより、１６Ｈｚ〜１５０Ｈｚ（音域としてはＣ０〜Ｄ３付近）の振動を音楽に応じて感じることができ、同時にスピーカ１２３，１２５からの音声出力を聞くことになる。

特開２００１−８６５８０号公報

しかしながら、従来の体感振動生成装置を用いた体感音響機器においては、音声信号に十分な低域成分が無い場合、トランスデューサが十分に振動せず、体感振動の観点からは物足りない振動しか得られなかった。また、強い低域成分がある場合は、トランスデューサの振動が大きくなり、人体に感じられる振動として強すぎる振動となる虞がある。また、音楽のテンポが速すぎる場合、或いは遅すぎる場合には、ユーザにとって快適な振動とならないという問題があった。

本発明が解決しようとする課題としては、入力された楽曲の音声信号と関連がある振動であり、ユーザにとって快適な振動を得ることができる体感振動生成装置を提供することが一例として挙げられる。

請求項１記載の体感振動生成装置は、原音となる楽曲の音声信号に基づいて体感振動信号を生成する体感振動信号生成装置であって、
前記音声信号を解析して少なくとも前記原音の拍及び拍の長さを検出する音声信号解析手段と、
検出された前記原音の各拍の長さと、予め設定された体感振動信号の長さの最大値および最小値と、に基づいて体感振動信号を生成する体感振動信号生成手段と、
を備えることを特徴とする。

請求項３記載の体感振動生成装置は、原音となる楽曲の音声信号に基づいて体感振動信号を生成する体感振動生成装置であって、
前記音声信号を解析して少なくとも前記原音の拍及び拍の長さを検出する音声信号解析手段と、
１以上の小節単位の振動パターンを記憶する振動パターン記憶手段と、
検出された前記原音の各拍のタイミングおよび前記振動パターンに基づいて体感振動信号を生成する体感振動信号生成手段と、
を備えたことを特徴とする。

請求項７記載の体感振動生成方法は、原音となる楽曲の音声信号を解析して少なくとも前記原音の拍及び拍の長さを検出する音声信号解析ステップと、
前記音声信号解析ステップより検出された前記原音の各拍の長さと、予め設定された体感振動信号の長さの最大値および最小値とに基づき、検出された前記原音の拍の長さが前記予め設定された体感振動信号の長さの最大値より長い場合は拍を分割し、前記予め設定された体感振動信号の長さの最小値より短い場合は拍を削除して体感振動信号を生成する体感振動信号生成ステップと、
を含むことを特徴とする。

請求項８記載の体感振動生成方法は、原音となる楽曲の音声信号を解析して少なくとも前記原音の拍及び拍の長さと１小節の長さを検出する音声信号解析ステップと、
前記音声信号解析ステップより検出された前記原音の各拍の長さと、予め設定された体感振動信号長さの最大値および最小値と、に基づいて拍を設定するステップと、
予め記憶されている振動パターンの１小節の長さを、前記音声信号解析ステップにより検出された前記楽曲の１小節の長さと同じにするステップと、
前記振動パターンを前記設定した各拍に割り当てて体感振動信号を生成するステップと、
を含むことを特徴とする。

特許文献１に開示された従来の振動音楽用装置の概略構成を示すブロック図である。 本発明の実施形態１及び２に係る体感振動生成装置の概略構成を示すブロック図である。 本発明の実施形態１に係る体感振動生成装置の体感振動信号生成部の構成を示すブロック図である。 本発明の実施形態１に係る体感振動生成装置の体感振動生成方法を示すフローチャートである。 本発明の実施形態１に係る体感振動生成装置の体感振動生成方法を原音の具体例の楽譜を用いて説明する図である。 本発明の実施形態１に係る体感振動生成装置の体感振動生成方法を原音の他の具体例の楽譜を用いて説明する図である。 本発明の実施形態２に係る体感振動生成装置の体感振動信号生成部の構成を示すブロック図である。 本発明の実施形態２に係る体感振動生成装置の体感振動生成方法を示すフローチャートである。 本発明の実施形態２に係る体感振動生成装置の体感振動生成方法を原音の具体例の楽譜を用いて説明する図である。 本発明の実施形態２に係る体感振動生成装置の体感振動生成方法を原音の他の具体例の楽譜を用いて説明する図である。 本発明の実施形態２に係る体感振動生成装置の変形例1の概略構成を示すブロック図である。 本発明の実施形態２に係る体感振動生成装置の変形例２の概略構成を示すブロック図である。

以下、図面を参照しながら、本発明の実施形態に係る体感振動生成装置について詳細に説明する。図２は、本発明の実施形態１及び実施形態２に係る体感振動生成装置の概略構成を示すブロック図である。

図２に示す体感振動生成装置１の概略構成は、本発明の実施形態１と実施形態２とで共通の構成であり、まず図２を用いて体感振動生成装置１の概略構成について説明する。
図２に示すように、本発明の実施形態１及び実施形態２に係る体感振動生成装置１は、音声信号入力部１０、ミキサ１１、音声信号解析部（音声信号解析手段）１２、体感振動信号生成部（体感振動信号生成手段）１３（１３Ａまたは１３Ｂ）、遅延調整部１４Ｌ，１４Ｒ、増幅部１５Ｌ，１５Ｒ、スピーカ１６Ｌ，１６Ｒ、ローパスフィルタ１７、増幅器１８、トランスデューサ１９を備えている。

図２において、音声信号入力部１０は、例えばＣＤプレーヤ等から出力された音声信号（オーディオ信号）の入力部であり、ミキサ１１は、入力された音声信号がステレオの音声信号である場合、L（左）チャンネルの信号とR（右）チャンネルの信号とを混合する部分である。なお、音声信号入力部１０から入力する音声信号は、モノラルの音声信号であってもよく、その場合はミキサ１１等を省略できる。あるいは、5.1チャンネルなどのマルチチャンネルの音声信号にも応用可能である。

音声信号入力部１０から入力する音声信号は、アナログ音声信号を標本化（サンプリング）・量子化したデジタル音声信号（ＰＣＭ信号等）、或いはアナログ音声信号どちらでも可能である。
デジタル音声信号の場合は、ミキサ１１、音声信号解析部１２、体感振動信号生成部１３（１３Ａまたは１３Ｂ）、遅延調整部１４Ｌ，１４Ｒ等は、デジタル回路やＣＰＵ（図示せず）によるソフトウェア処理で構成し、図示しないＤ／Ａ変換器により、アナログ信号に変換してスピーカ１６Ｌ，１６Ｒ、トランスデューサ１９を駆動する。
また、音声信号入力部１０から入力する音声信号がアナログ音声信号の場合は、図示しないＡ／Ｄ変換器によってデジタル音声信号に変換し、上記のように処理してもよい。
なお、アナログ音声信号の場合は、ミキサ１１、音声信号解析部１２、体感振動信号生成部１３（１３Ａまたは１３Ｂ）、遅延調整部１４Ｌ，１４Ｒ等を、適宜アナログ回路で構成してもよい。

音声信号解析部１２は、音声信号入力部１０から入力された音声信号における楽曲のテンポ（速さ）、拍子数、小節の切れ目、音の大きさを解析する。
このような解析方法としては、例えば以下の公報に開示されている公知の解析方法を用いることができる。特開２００８−２７５９７５号公報には、入力された音声信号の波形を所定の時間間隔でＦＦＴ演算し、求められたパワースペクトルから各音階音のパワーを求め、この各音階音のパワーの所定の時間毎の増分値を算出し、これを全音階音で合計して所定の時間毎の全体の音の変化度合いを求め、この所定の時間毎の全体の音の変化度合いのピークからリズム情報、すなわちリズム抽出パラメータを生成し、このリズム抽出パラメータと、予め用意し記憶されているリズム抽出パラメータ（リズムパターン）とのマッチングを取る方法が開示されており、この方法により、入力された楽曲の音声信号から拍（ビート）の間隔、各拍（ビート）、拍子及び小節線位置等を検出できる。
また、特開２００７−３３８５１号公報には、入力された楽曲の音声信号のパワースペクトルが大きく変化する部分を検出し、変化する部分に時間同期する検出出力信号を出力して拍（ビート）を抽出する方法が開示されている。
また、後藤 真孝，村岡 洋一：“音楽音響信号を対象としたビートトラッキングシステム 小節線の検出と打楽器音の有無に応じた音楽的知識の選択”，情報処理学会 音楽情報科学研究会 研究報告 97-MUS-21-8, Vol.97, No.67, July 1997.では、Ａ／D変換された音響信号に対して周波数解析を行い、ビート予測を行い、ビート情報を出力する方法が開示されている。

体感振動信号生成部１３（１３Ａまたは１３Ｂ）は、体感振動信号を生成する部分であり、詳細は後述する。

遅延調整部１４Ｌ，１４Ｒは、音声信号解析部１２、体感振動信号生成部１３の処理により発生した遅延を音声信号入力部１０から入力された音声信号と比較して、音声信号の遅延調整を行う。

増幅部１５Ｌ，１５Ｒは、ステレオの音声信号を増幅する。スピーカ１６Ｌ，１６Ｒは増幅された音声信号を音声に変換して出力する。

ローパスフィルタ１７は、体感振動信号の周波数の低域のみ通過させるフィルタである。増幅器１８は、体感振動信号を増幅する。トランスデューサ１９は体感振動信号を機械振動に変換する。

（実施形態１）
次に、本発明の実施形態１に係る体感振動生成装置及び体感振動生成方法について詳細に説明する。図３は、本発明の実施形態１に係る体感振動生成装置の体感振動信号生成部の構成を示すブロック図である。図４は、本発明の実施形態１に係る体感振動生成装置の体感振動生成方法を示すフローチャートである。

本発明の実施形態１に係る体感振動生成装置は、図２の体感振動信号生成部１３を、図３のブロック図で示す体感振動信号生成部１３Ａの構成としたものである。図３に示すように、実施形態１における体感振動信号生成部１３Ａは、ローパスフィルタ３３、信号生成部３４などで構成される。

次に、図２〜図４を参照して実施形態１における体感振動生成方法の手順について説明する。
音楽再生装置などの楽曲の演奏（再生）が開始されると、音声信号入力部１０から音声信号解析部１２に体感振動信号の原音となる楽曲の音声信号が入力され、音声信号解析部１２はこの音声信号を解析し、まず１小節分の原音の解析情報（曲のテンポ、拍子数、小節の切れ目、音の大きさ等）を取得し（ステップＳ１）、信号生成部３４に送信する。そして、拍の番号Ｎを１とする（Ｎ＝１）（ステップＳ２）。信号生成部３４は、上記解析情報から得られた１小節中のＮ番目の拍の長さ（時間）をＵとする（ステップＳ３）。

次に、Ｕが予め設定された体感振動信号の長さの最大値Ｃmaxより長いか否かを判定する（ステップＳ４）。この判定の結果、ＵがＣmaxより長い（Ｕ＞Ｃmax）場合（ステップＳ４：Ｙｅｓ）、Ｕ／ＩがＣmax以下（Ｕ／Ｉ≦Ｃmax）となるＩ（ただし、Ｉは２以上の整数）を求める（ステップＳ５）。そして、生成する体感振動信号は拍数Ｉとし、かつ各拍の長さをＵ／Ｉに設定した体感振動信号を生成する（ステップＳ６）。即ち、原音の拍が最大値Ｃmaxより長い場合は、上記の如く２以上の整数倍の拍数Ｉに分割する。

一方、ＵがＣmax以下であれば（ステップＳ４：Ｎｏ）、Ｕが予め設定された体感振動信号の長さの最小値Ｃminより短いか否かを判定し（ステップＳ７）。この判定の結果、ＵがＣmin以上であれば（ステップＳ７：Ｎｏ）、１拍の長さをＵの長さに設定した体感振動信号を生成する（ステップＳ８）。

あるいは、ＵがＣminより短い場合は（ステップＳ７：Ｙｅｓ）、Ｕ×ＪがＣmin以上となるＪ（ただし、Ｊは２以上の整数）を求める（ステップＳ９）。次にＮ＝Ｎ＋１とし（ステップＳ１０）、Ｕ×Ｊの長さの中にＮ＋１番目の原音の拍が存在するか否かを判定し（ステップＳ１１）。Ｎ＋１番目の原音の拍が存在する場合は、原音のＮ＋１番目の拍を削除し（ステップＳ１２）、さらに、ステップＳ１０〜Ｓ１２の手順を繰り返して、Ｕ×Ｊの長さの中に存在する拍を全て削除する。このようにして、Ｕ×Ｊの長さの中に存在する拍を全て削除したら（ステップＳ７：Ｎｏ）、１拍の長さをＵ×Ｊの長さに設定した体感振動信号を生成する（ステップＳ１３）。

以上のフローによって、生成する体感振動信号の拍の数及び長さの設定は、原音の音楽のテンポが速すぎる場合は原音の拍を適宜削除し、遅すぎる場合は原音の拍を分割した拍として設定する。ここでは、人体に感じられる適度な振動の長さの最大値をＣmaxとし、最小値をＣminとする。これにより、生成される体感振動信号の１拍は、人体に感じられる振動として適度な長さの振動となる。例えば、Ｃmaxを１６００ms、Ｃminを４００msとすれば、体感振動信号の１拍は、４００ms〜１６００msの間のいずれかの長さの振動となり、人体に感じられる振動として適度な長さの振動となる。実際に人体に感じられる振動として適度な長さの振動を求める方法としては、例えば、人間がリラックスしているときの心拍の間隔などから求める方法や、人間に心地良さやの和みを与えるとされる所謂１／ｆゆらぎを考慮して振動の長さを求める方法などが考えられる。

以上のようにして、ステップＳ６、ステップＳ８、ステップＳ１３にて体感振動信号の拍の数および長さを設定した後、信号生成部３４は、体感振動信号の拍の設定された位置に原音の拍が存在するか否かを判定する（ステップＳ１４）。判定の結果、原音の拍が存在する場合（ステップＳ１４：Ｙｅｓ）は、原音の振動レベルＰorgが振動レベルの最大値Ｐmaxより大きいか否かを判定し（ステップＳ１５）、原音の振動レベルがＰmaxより大きい場合（ステップＳ１５：Ｙｅｓ）、振動レベルＶをＰmaxとし（Ｖ＝Ｐmax）（ステップＳ１６）、振動レベルＶがＰmax以上にならないように規制する。

一方、原音の振動レベルＰorgがＰmax以下の場合（ステップＳ１５：Ｎｏ）、振動レベルＶを原音の振動レベルＰorgとする（Ｖ＝Ｐorg）（ステップＳ１７）。
また、ステップＳ１４において、体感振動信号の拍の存在する位置に原音の拍が存在しない場合（ステップＳ１４：Ｎｏ）、振動レベルＶを振動レベルの最小値Ｐminとする（ステップＳ１８）。

ここでは、人体に感じられる適度な振動レベルの最大値をＰmaxとし、最小値をＰminとする。以上のステップＳ１４〜Ｓ１８のフローによって、人体に感じられる振動として適度な振動レベルの体感振動信号を生成する。ここで例えば、人体に感じられる振動として適度な振動レベルの範囲を１０レベル〜３０レベルと仮定する（ここでの振動レベルの単位は任意であるが、例えば音圧レベルに比例した値の単位である）。そして、Ｐmaxを３０レベル、Ｐminを１０レベルとすれば、振動レベルは、この１０レベル〜３０レベルのいずれかの振動レベルの体感振動となる。即ち、原音の振動レベルが小さすぎて、トランスデューサ１９が十分に振動しなかったり、また、原音の振動レベルが大きすぎて、トランスデューサ１９の振動が人体に感じられる振動としては強すぎる振動となってしまったりするおそれが無い。

そして、Ｎが１小節中の最後の拍であるか否かを判定し（ステップＳ１９）、Ｎが１小節中の最後の拍でない場合（ステップＳ１９：Ｎｏ）は、Ｎ＝Ｎ＋１として（ステップＳ２０）、次の拍に対して、上記ステップＳ３〜Ｓ１９の手順を繰り返す。一方、Ｎが１小節中の最後の拍である場合（ステップＳ１９：Ｙｅｓ）、原音の楽曲の演奏が終了したか否かを判定し（ステップＳ２１）、終了していなければ（ステップＳ２１：Ｎｏ）次の小節に対し、原音の楽曲の演奏が終了する（ステップＳ２１：Ｙｅｓ）まで、上記ステップＳ１〜Ｓ２０の手順を繰り返す。

次に、体感振動信号生成部１３Ａは、以上のようにして生成した体感振動信号をローパスフィルタ１７へ出力する。また、体感振動信号生成部１３Ａは、原音と体感振動との同期を取るための同期信号を遅延調整部１４Ｌ，１４Ｒへ出力する。

そして、体感振動信号は、ローパスフィルタ１７から増幅器１８を経て増幅され、トランスデューサ１９によって機械振動に変換される。

一方、原音の音声信号は、遅延調整部１４Ｌ，１４Ｒによって体感振動信号と同期するように、遅延調整され、増幅部１５Ｌ，１５Ｒにより増幅されて、スピーカ１６Ｌ，１６Ｒから音声が出力される。

さらに、体感振動信号生成部１３Ａによる体感振動信号生成の具体例として原音となる楽曲の一部の楽譜例を示して説明する。例えば、図５の楽譜に示されるような楽曲では、図中の五線譜で示された音声信号を音声信号解析部１２が解析した解析情報として曲のテンポ、拍子数、小節の切れ目、音の大きさ等などを得る。解析情報として得られた１小節の長さ及び上記の手順で得られた体感振動信号の拍の数及び長さ、各拍に対する原音の有無は、図中の中段に示すようになる。

１小節目では、原音は１拍（全音符）であり拍の長さは６０００msであるが、上記の手順により、体感振動信号の拍の数は４であり、各拍の長さは１５００msとなる。上記各拍のうち原音がある拍は○印が付けてある。これにより、１小節目で生成される体感振動信号は図中下段のようになり、この楽曲の各原音の振動レベルは２０レベルであるとすると、原音がある拍は原音の２０レベルが体感振動信号の振動レベルとなり、原音がない拍はＰminの１０レベルとなる。

また、２小節目では、原音の前半は８分音符が４つ続くので、各音の長さは７５０msであり、上記の手順で得られた１拍の長さは７５０msとなる。また、原音の後半は２分音符なので、音の長さは３０００msであり、上記の手順で得られた１拍の長さは、３０００ms／２＝１５００msとなる。これにより、２小節目で生成される体感振動信号は図中下段のように前半は原音と同じ４拍、後半は原音が分割されて２拍となる。また、原音がある拍は原音の２０レベルが体感振動信号の振動レベルとなり、原音がない拍はＰminの１０レベルとなる。なお、３小節目以降も同様の手順で体感振動信号が生成される。

次に、別の具体例を挙げて説明する。例えば、図６の楽譜に示されるような楽曲では、１小節の長さが２０００msであり、原音は１６分音符（１２５ms）が連続しているので１６拍である。よって、上記手順により、体感振動信号の１拍の長さは、１２５ms×４＝５００msとなる。これにより、生成される体感振動信号は図中下段のように１小節は原音の拍が削除されて４拍となる。また、体感振動信号の各拍に原音があるが、この楽曲の各原音は３０レベル以上あるとすると体感振動信号の振動レベルは最大値Ｐmaxで規制され、原音がある部分の体感振動信号のレベルは３０レベルとなる。

（実施形態２）
次に、本発明の実施形態２に係る体感振動生成装置及び体感振動生成方法について詳細に説明する。図７は、本発明の実施形態２に係る体感振動生成装置の体感振動信号生成部の構成を示すブロック図である。図８は、本発明の実施形態２に係る体感振動生成装置の体感振動生成方法を示すフローチャートである。

実施形態２は、図２の体感振動信号生成部１３を、図７のブロック図で示す体感振動信号生成部１３Ｂの構成としたものである。図７に示すように、実施形態２に係る体感振動信号生成部１３Ｂは、振動パターン記憶部３１、演算部３２、ローパスフィルタ３３、信号生成部３４などで構成される。

振動パターン記憶部３１は、１以上の小節単位でリズムパターンを規定した振動パターンが予め記憶されている。体感振動信号生成部１３Ｂでは、音声信号解析部１２で解析された原音の（楽曲の）解析情報（曲のテンポ、拍子数、小節の切れ目、音の大きさ等）と、振動パターン記憶部３１に予め記憶された振動パターンとを演算部３２に入力して、振動信号の１小節の長さを調整し、原音があった拍となかった拍に応じて振動レベル（振動の強度）を変化させ、かつ快適に感じられる振動レベルに調整する。

次に、図２，図７及び図８を参照して実施形態２における体感振動生成方法の手順について説明する。
音楽再生装置などの楽曲の演奏（再生）が開始されると、音声信号入力部１０から楽曲の音声信号が入力され、振動パターン記憶部３１に記憶された振動パターンを読み出して（ステップＳ３１）、演算部３２に入力する。一方、音声信号解析部１２は音声信号入力部１０から入力された原音となる楽曲の音声信号を解析し、まず１小節分の原音の解析情報（曲のテンポ、拍子数、小節の切れ目、音の大きさ等）を取得し（ステップＳ３２）、演算部３２に送信する。そして、拍の番号Ｎを１とする（Ｎ＝１）（ステップＳ３３）。演算部３２は、上記解析情報から得られた１小節中のＮ番目の拍の長さ（時間）をＵとする（ステップＳ３４）。

次に、Ｕが予め設定された体感振動信号の長さの最大値Ｃmaxより長いか否かを判定する（ステップＳ３５）、この判定の結果、ＵがＣmaxより長い（Ｕ＞Ｃmax）場合（ステップＳ３５：Ｙｅｓ）、Ｕ／ＩがＣmax以下（Ｕ／Ｉ≦Ｃmax）となるＩ（ただし、Ｉは２以上の整数）を求める（ステップＳ３６）。そして、Ｕ／Ｉの長さを１拍とする長さに設定する（ステップＳ３７）。即ち、原音の拍が最大値Ｃmaxより長い場合は、上記の如く２以上の整数倍の拍数Ｉに分割する。

一方、ＵがＣmax以下であれば（ステップＳ３５：Ｎｏ）、Ｕが予め設定された体感振動信号の長さの最小値Ｃminより短いか否かを判定し（ステップＳ３８）。この判定の結果、ＵがＣmin以上であれば（ステップＳ３８：Ｎｏ）、Ｕの長さを１拍の長さと設定する（ステップＳ３９）。

あるいは、ＵがＣminより短い場合は（ステップＳ３８：Ｙｅｓ）、Ｕ×ＪがＣmin以上となるＪ（ただし、Ｊは２以上の整数）を求める（ステップＳ４０）。次にＮ＝Ｎ＋１とし（ステップＳ４１）、Ｕ×Ｊの長さの中にＮ＋１番目の原音の拍が存在するか否かを判定し（ステップＳ４２）。Ｎ＋１番目の原音の拍が存在する場合は、原音のＮ＋１番目の拍を削除し（ステップＳ４３）、さらに、ステップＳ４１〜Ｓ４３の手順を繰り返して、Ｕ×Ｊの長さの中に存在する拍を全て削除する。このようにして、Ｕ×Ｊの長さの中に存在する拍を全て削除したら（ステップＳ４２：Ｎｏ）、Ｕ×Ｊの長さを１拍と設定する（ステップＳ４４）。

演算部３２は、上記解析情報から原音の１小節の長さ（時間）を抽出し、振動パターンの１小節の長さ（時間）を原音の１小節の長さ（時間）と同じにし（ステップＳ４５）、信号生成部３４に送られる。信号生成部３４に送られた振動パターンは、上記ステップＳ３２〜Ｓ４４にて設定された各拍に割り当てられる（ステップＳ４６）。

以上のフローによって、生成される体感振動信号の１拍は、人体に感じられる振動として適度な長さの振動となる。例えば、Ｃmaxを１６００ms、Ｃminを４００msとすれば、体感振動信号の１拍は、４００ms〜１６００msの間のいずれかの長さの振動となり、人体に感じられる振動として長さの振動となる。実際に人体に感じられる振動として適度な長さの振動を求める方法としては、例えば、人間がリラックスしているときの心拍の間隔などから求める方法、人間に心地良さやの和みを与えるとされる所謂１／ｆゆらぎを考慮して振動の長さを求める方法などが考えられる。

以上のようにして、振動パターンの各拍の位置を設定した後、信号生成部３４は、振動パターンの各拍の存在する位置に原音の拍が存在するか否かを判定する（ステップＳ４７）。判定の結果、原音の拍が存在する場合（ステップＳ４７：Ｙｅｓ）は、原音の振動レベルＰorgが振動レベルの最大値Ｐmaxより大きいか否かを判定し（ステップＳ４８）、原音のレベルがＰmaxより大きい場合（ステップＳ４８：Ｙｅｓ）、振動レベルＶをＰmaxとし（Ｖ＝Ｐmax）（ステップＳ４９）、振動レベルＶがＰmax以上にならないように規制する。

一方、原音のレベルＰorgがＰmax以下の場合（ステップＳ４８：Ｎｏ）、振動レベルＶを原音の振動レベルＰorgとする（Ｖ＝Ｐorg）（ステップＳ５０）。

また、ステップＳ４７において、振動信号の存在する位置に原音の拍が存在しない場合（ステップＳ４７：Ｎｏ）、振動レベルＶを振動レベルの最小値Ｐminとする（ステップＳ５１）。

ここでは、人体に感じられる適度な振動レベルの最大値をＰmaxとし、最小値をＰminとする。以上のステップＳ４７〜Ｓ５１のフローによって、人体に感じられる振動として適度な振動レベルの体感振動信号を得る。ここで例えば、人体に感じられる振動として適度な振動レベルの範囲を１０レベル〜３０レベルと仮定する（ここでの振動レベルの単位は任意であるが、例えば音圧レベルに比例した値の単位である）。そして、Ｐmaxを３０レベル、Ｐminを１０レベルとすれば、振動レベルは、この１０レベル〜３０レベルのいずれかの振動レベルの体感振動となる。即ち、原音の振動レベルが小さすぎて、トランスデューサ１９が十分に振動しなかったり、また、原音の振動レベルが大きすぎて、トランスデューサ１９の振動が人体に感じられる振動としては強すぎる振動となってしまったりするおそれが無い。

なお、振動パターン記憶部３１に記憶された振動パターンの各拍のそれぞれにＰmin以上Ｐmax以下の任意の振動レベルを設定しておき、振動信号の存在する位置に原音の拍が存在しない場合は、この設定した振動レベルとするようにしてもよい。

そして、Ｎが１小節中の最後の拍であるか否かを判定し（ステップＳ５２）、Ｎが１小節中の最後の拍でない場合（ステップＳ５２：Ｎｏ）は、Ｎ＝Ｎ＋１として（ステップＳ５３）、次の拍に対して、上記ステップＳ３４〜Ｓ５２の手順を繰り返す。一方、Ｎが１小節中の最後の拍である場合（ステップＳ５２：Ｙｅｓ）、原音の楽曲の演奏が終了したか否かを判定し（ステップＳ５４）、終了していなければ（ステップＳ５４：Ｎｏ）次の小節に対し、原音の楽曲の演奏が終了する（ステップＳ５４：Ｙｅｓ）まで、上記ステップＳ３１〜Ｓ５４の手順を繰り返す。

次に、体感振動信号生成部１３Ｂは、以上のようにして生成した体感振動信号をローパスフィルタ１７へ出力する。また、体感振動信号生成部１３Ｂは、原音と体感振動との同期を取るための同期信号を遅延調整部１４Ｌ，１４Ｒへ出力する。

そして、体感振動信号は、ローパスフィルタ１７、増幅器１８を経て体感振動信号が増幅され、トランスデューサ１９によって機械振動に変換される。

一方、原音の音声信号は、遅延調整部１４Ｌ，１４Ｒによって体感振動信号と同期するように、遅延調整され、増幅部１５Ｌ，１５Ｒによって増幅されて、スピーカ１６Ｌ，１６Ｒから音声が出力される。

さらに、体感振動信号生成部１３Ｂによる体感振動信号生成の具体例として楽曲の一部の楽譜例を示して説明する。例えば、図９の楽譜に示されるような楽曲では、図中の五線譜で示された原音の音声信号を音声信号解析部１２が解析した解析情報として曲のテンポ、拍子数、小節の切れ目、音の大きさ等などを得る。解析情報として得られた１小節の長さ及び上記のステップＳ２２〜Ｓ２８のフローで得られた分割した部分の長さ（単位長）、各分割した部分に対する原音の有無は、図中の中段に示すようになる。

１小節目では、原音は全音符であり音の長さは６０００msであるが、上記のステップＳ２２〜Ｓ２８のフローにより、各分割した部分の長さ（単位長）は６０００ms／２／２＝１５００msとなる。また、ステップＳ２９により、振動パターン記憶部３１から読み出した振動パターンの１小節の長さ（時間）は６０００msに調整される。

そして、１小節の長さが６０００msに調整された振動パターンがステップＳ３０により、上記分割した各部分（拍）に割り当てられる。
これにより、１拍目で４分音符の体感振動信号を生成し、２拍目の前半は８分休符、後半は８分音符の体感振動信号を生成し、３拍目で４分音符の体感振動信号を生成する。

また、２小節目では、原音の前半は８分音符が４つ続くので、各音の長さは７５０msであり、上記のステップＳ２２〜Ｓ２８のフローで得られた分割した部分の長さ（単位長）は７５０msとなる。また、原音の後半は２分音符なので、音の長さは３０００msであり、上記のステップＳ２２〜Ｓ２８のフローで得られた分割した部分の長さ（単位長）は、３０００ms／２＝１５００msとなる。

そして、１小節目と同様に、２小節目の振動パターンがステップＳ３０により、上記分割した各部分（拍）に割り当てられる。これにより、１拍目及び２拍目で８分音符の体感振動信号を生成し、３拍目は８分休符、４拍目は８分音符の体感振動信号を生成し、５拍目は４分音符の体感振動信号を生成する。

上記振動パターンの各拍のうち原音がある部分は○印が付けてある。これにより、この楽曲の各原音のレベルは１５レベルであるとすると、原音がある部分は原音の１５レベルが振動信号のレベルとなり、原音がない部分の振動信号はＰminの１０レベルとなる。なお、３小節目以降も同様の手順で振動信号が生成される。

次に、別の具体例を挙げて説明する。例えば、図１０の楽譜に示されるような楽曲では、１小節の長さが２０００msであり、原音は１６分音符（１２５ms）が連続している。よって、上記のステップＳ２２〜Ｓ２８のフローにより、１２５ms×２×２＝５００msとなるので、分割した部分の長さ（単位長）は５００msとなる。

また、ステップＳ２９により、振動パターン記憶部３１から読み出した振動パターンの１小節の長さ（時間）は２０００msに調整される。そして、１小節の長さが２０００msに調整された振動パターンがステップＳ３０により、上記分割した各部分（拍）に割り当てられる。これにより、１拍目で４分音符の体感振動信号を生成し、２拍目の前半は８分休符、後半は８分音符の体感振動信号を生成し、３拍目で４分音符の体感振動信号を生成する。

また、２小節目も１小節目と同様に、原音は１６分音符（１２５ms）が連続している。よって、分割した部分の長さ（単位長）は５００msとなる。そして、２小節目の振動パターンが上記分割した各部分（拍）に割り当てられる。これにより、１拍目で８分音符２つの体感振動信号を生成し、２拍目の前半は８分休符、後半は８分音符の体感振動信号を生成し、３拍目で４分音符の体感振動信号を生成する。

上記振動パターンの各拍のうち原音がある部分は○印が付けてある。これにより、この楽曲の各原音のレベルは２０レベルであるとすると、原音がある部分は原音の２０レベルが振動信号のレベルとなる。この楽曲は１６分音符が連続しており、振動パターンの全ての拍に原音があるので、振動信号のレベルは全て２０レベルとなる。なお、３小節目以降も同様の手順で振動信号が生成される。

（変形例１）
また、上記実施形態１または実施形態２は、図１１のように生体情報取得部４０を備えていてもよい。生体情報（例えば、脳波を測定した情報など）をフィードバックして体感振動生成のパラメータなどに使用してもよい。例えば、このパラメータに基づいて、Ｃmax及び／又はＣminの値を変えたり、Ｐmax及び／又はＰminの値を変えたりする。あるいは、振動パターン記憶部３１に複数の振動パターンを記憶させておき、取得した生体情報のパラメータに基づいて振動パターンを変えるようにしてもよい。

（変形例２）
また、本実施形態１または実施形態２は、図１２のようにユーザ設定部５０を備えていてもよい。ユーザ設定部５０に予めユーザの設定情報（例えば、睡眠導入時などのナイトモード、起床時のアクティブモードなどユーザの好みを反映したモード設定情報）を設定しておき、体感振動生成のパラメータなどに使用してもよい。例えば、モードを切り換えることによって、Ｃmax及び／又はＣminの値を変えたり、Ｐmax及び／又はＰminの値を変えたりする。あるいは、振動パターン記憶部３１に複数の振動パターンを記憶させておき、モードを切り換えることによって、振動パターンを変えるようにしてもよい。

以上、説明したように、本発明における実施形態１の体感振動生成装置は、原音となる楽曲の音声信号を解析して少なくとも原音の拍及び拍の長さを検出する音声信号解析部１２（音声信号解析手段）と、検出された原音の各拍の長さと、予め設定された体感振動信号の長さの最大値Ｃmaxおよび最小値Ｃminと、に基づいて体感振動信号を生成する体感振動信号生成部１３Ａ（体感振動信号生成手段）と、を備える。
また、本発明における実施形態２の体感振動生成装置は、原音となる楽曲の音声信号を解析して少なくとも原音の拍及び拍の長さを検出する音声信号解析部１２（音声信号解析手段）と、１以上の小節単位の振動パターンを記憶する振動パターン記憶部３１（振動パターン記憶手段）と、検出された原音の各拍のタイミングおよび振動パターンに基づいて体感振動信号を生成する体感振動信号生成部１３Ｂ（体感振動信号生成手段）と、を備える。

上記本発明における実施形態１または実施形態２によれば、音声信号入力部１０から入力された音声信号の原音から大きくはずれることのない、原音と関連がある振動であり、ユーザにとって快適な振動を得ることができる。

１ 体感振動生成装置
１０ 音声信号入力部
１１ ミキサ
１２ 音声信号解析部
１３、１３Ａ、１３Ｂ 体感振動信号生成部
１４Ｌ，１４Ｒ 遅延調整部
１５Ｌ，１５Ｒ 増幅器
１６Ｌ，１６Ｒ スピーカ
１７ ローパスフィルタ
１８ 増幅器
１９ トランスデューサ
３１ 振動パターン記憶部
３２ 演算部
３３ ローパスフィルタ
３４ 信号生成部
４０ 生体情報取得部
５０ ユーザ設定部

Claims (10)

1. 原音となる楽曲の音声信号に基づいて体感振動信号を生成する体感振動信号生成装置であって、
   前記音声信号を解析して少なくとも前記原音の拍及び拍の長さを検出する音声信号解析手段と、
   検出された前記原音の各拍の長さと、予め設定された体感振動信号の長さの最大値および最小値と、に基づいて体感振動信号を生成する体感振動信号生成手段と、
   を備えることを特徴とする体感振動生成装置。
2. 前記体感振動信号生成手段は、検出された前記原音の拍の長さが前記予め設定された体感振動信号の長さの最大値より長い場合は拍を分割し、前記予め設定された体感振動信号の長さの最小値より短い場合は拍を削除して前記体感振動信号を生成することを特徴とする請求項１に記載の体感振動生成装置。
3. 原音となる楽曲の音声信号に基づいて体感振動信号を生成する体感振動生成装置であって、
   前記音声信号を解析して少なくとも前記原音の拍及び拍の長さを検出する音声信号解析手段と、
   １以上の小節単位の振動パターンを記憶する振動パターン記憶手段と、
   検出された前記原音の各拍のタイミングおよび前記振動パターンに基づいて体感振動信号を生成する体感振動信号生成手段と、
   を備えたことを特徴とする体感振動生成装置。
4. 前記体感振動信号生成手段は、前記体感振動信号の存在する位置に前記原音の拍が存在するか否かに基づいて前記体感振動信号の振動レベルを設定することを特徴とする請求項２又は３に記載の体感振動生成装置。
5. 前記体感振動信号生成手段は、人体に感じられる振動として適度な強さの振動レベルの範囲内に前記体感振動信号の振動レベルを設定することを特徴とする請求項１〜４のいずれか１項に記載の体感振動生成装置。
6. 前記楽曲の音声信号と当該音声信号に対して遅延が生じた前記体感振動信号とのタイミングを調整する遅延調整手段を備えることを特徴とする請求項１〜５のいずれか１項に記載の体感振動生成装置。
7. 原音となる楽曲の音声信号を解析して少なくとも前記原音の拍及び拍の長さを検出する音声信号解析ステップと、
   前記音声信号解析ステップより検出された前記原音の各拍の長さと、予め設定された体感振動信号の長さの最大値および最小値とに基づき、検出された前記原音の拍の長さが前記予め設定された体感振動信号の長さの最大値より長い場合は拍を分割し、前記予め設定された体感振動信号の長さの最小値より短い場合は拍を削除して体感振動信号を生成する体感振動信号生成ステップと、
   を含むことを特徴とする体感振動生成方法。
8. 原音となる楽曲の音声信号を解析して少なくとも前記原音の拍及び拍の長さと１小節の長さを検出する音声信号解析ステップと、
   前記音声信号解析ステップより検出された前記原音の各拍の長さと、予め設定された体感振動信号長さの最大値および最小値と、に基づいて拍を設定するステップと、
   予め記憶されている振動パターンの１小節の長さを、前記音声信号解析ステップにより検出された前記楽曲の１小節の長さと同じにするステップと、
   前記振動パターンを前記設定した各拍に割り当てて体感振動信号を生成するステップと、
   を含むことを特徴とする体感振動生成方法。
9. 前記体感振動信号の存在する位置に前記原音の拍が存在するか否かを判定するステップと、
   前記体感振動信号の存在する位置に前記原音の拍が存在しない場合は、前記体感振動信号の振動レベルを振動レベルの最小値とするステップと、
   を含むことを特徴とする請求項７または８に記載の体感振動生成方法。
10. 前記体感振動信号の存在する位置に前記原音の拍が存在する場合は、前記原音の振動レベルが予め設定された振動レベルの最大値より大きいか否かを判定し、原音の振動レベルが前記最大値より大きい場合は、前記体感振動信号の振動レベルを前記最大値に規制するステップを含むことを特徴とする請求項９に記載の体感振動生成方法。

Images