JP2010230770A - 楽曲再生装置および楽曲再生方法 - Google Patents

Abstract

【課題】 緩急のある運動であってもその拍に追従する楽曲データを生成し人の所望する拍で快適な運動を遂行させる。
【解決手段】 本発明の楽曲再生装置１００は、楽曲データの拍を検出し、その拍の位置を示す第１拍情報を生成する第１拍生成部１３２と、楽曲データを拍毎に分離する楽曲分離部１３４と、人の動きを検出する動きセンサと、検出された動きに対応した拍の位置を示す第２拍情報を生成する第２拍生成部１３８と、第２拍情報が示す拍の位置に基づいて第１拍情報が示す拍の位置を変更した変更第１拍情報を生成する第１拍変更部１４０と、変更第１拍情報が示す拍の位置に合わせて分離された楽曲データを伸縮する楽曲伸縮部１４２と、伸縮された楽曲データを再配置する楽曲再配置部１４４と、を備えることを特徴とする。
【選択図】 図１

Description

本発明は、ダンスやジョギングといったリズミカルな運動に楽曲を適合させ、運動を促進する楽曲再生装置および楽曲再生方法に関する。

人は、ダンスやジョギングといった運動を通じて、健康維持やダイエットを遂行する。このような運動はある程度継続的に行われるのが望ましいが、ダンスやジョギングといった運動は動作が単調になり易く、人は、その運動に飽きてしまうことがあった。そこで、人の運動意欲を高めるべく、リズミカルな楽曲に合わせてダンスやジョギングといった運動が遂行されるようになった。

しかし、運動能力には個人差があり、また、人が意図的に緩急のある運動を望む場合もあることから、任意の楽曲による所定リズムに合わせた運動が個人にとって必ずしも最適な運動になるとは限らない。そこで、人のリズミカルな動作を検出して、その動作に同期した音を発し、また、そのリズム速度が所定の速度に達すると、同速度の音楽を再生する玩具が知られている（例えば、特許文献１）。

また、複数の楽曲データのテンポを予め抽出しておき、その複数の楽曲データの中から、人の運動テンポに合致する楽曲を選択する装置も開示されている（例えば、特許文献２）。

さらに、運動センサで検出した運動テンポを補正し、その補正したテンポと、ＭＩＤＩ（Musical Instrument Digital Interface）データのような音楽データのテンポとの位相差を検出して音符毎または小節毎に再生を補正する技術も公開されている（特許文献３）。

特開平７−１０４６９１号公報 特開２００７−２９２８４７号公報 特開２００１−２９９９８０号公報

しかし、特許文献１に記載された技術では、検出した人の動作に同期した音が発せられるものの、その音は断片的な拍子に留まり、その単調さから人を飽きさせてしまうおそれがある。また、特許文献２に記載された技術では、ある程度多くの楽曲を登録しなければ効果がなく、人の運動テンポに合致する楽曲が登録されていない場合に対応できなくなるといった問題があった。さらに、特許文献３に記載された技術は、ＭＩＤＩデータのような拍の時間的位置が予め把握されている音楽データを用いることはできるものの、拍の時間的位置が不明な楽曲には対応できなかった。

また、上述した従来技術では、ダンスやジョギングのように緩急のある運動、即ち、拍の間隔が変化する運動に対して楽曲データが追従することができず、人が望んでいるペース配分を却って阻害しかねなかった。

本発明は、このような課題に鑑み、緩急のある運動であってもその拍に追従する楽曲データを生成し、人の所望する拍で快適な運動を遂行することが可能な楽曲再生装置および楽曲再生方法を提供することを目的としている。

上記課題を解決するために、本発明の楽曲再生装置は、任意の楽曲データの拍を検出し、その拍の位置を示す第１拍情報を生成する第１拍生成部と、第１拍情報に基づいて楽曲データを拍毎に分離する楽曲分離部と、人の動きを検出する動きセンサと、検出された動きに対応した拍の位置を示す第２拍情報を生成する第２拍生成部と、第２拍情報が示す拍の位置に基づいて第１拍情報が示す拍の位置を変更した変更第１拍情報を生成する第１拍変更部と、変更第１拍情報が示す拍の位置に合わせて分離された楽曲データを伸縮する楽曲伸縮部と、伸縮された楽曲データを変更第１拍情報が示す拍の位置に再配置する楽曲再配置部と、を備えることを特徴とする。

本発明では、人の動き（節目）に対応した拍のみならず、楽曲データの拍も検出しているので、その楽曲データの種類やテンポの安定性および拍情報の有無を問わず、人は所望する楽曲データの下で快適な運動を遂行できる。また、人の動きに対応した拍に基づいて楽曲データの拍の位置を随時変更することで、人が緩急のある運動を遂行した場合であってもその動きに楽曲データを追従させることができ、人は自身が主体となって自分のペースを維持し無理せず安全かつ快適な運動を遂行することが可能となる。

第１拍生成部は、楽曲データの音圧が突出する第１特異点を複数抽出し、複数の第１特異点同士で形成される周期のうち最も頻度の高い周期に相当する拍に基づいて第１拍情報を生成してもよい。

楽曲データの音圧（または振幅）が突出する第１特異点はリズムを刻む拍として受け入れやすい妥当な点である。本発明では、かかる第１特異点のうち、周期性を有しかつその周期が安定している（第１特異点同士で形成される周期の頻度が高い）拍を第１拍情報とすることで、人は、楽曲の心地よい安定したリズムを通じて快適な運動を遂行することが可能となる。

第１拍生成部は、直前の所定期間内における楽曲データの最大音圧の所定率以下の音圧を、第１特異点として考慮しなくてもよい。

楽曲データには上述した第１特異点以外に雑音や高調波等様々な音圧も含まれる。しかし、運動中に聴く楽曲ではペースメーカとしての高い音圧による拍が重要であり、最大音圧の所定率以下の音圧は却ってリズミカルな拍を乱すこととなる。本発明では、このような相対的に低い音圧を考慮しないことで、安定した拍の抽出精度を高め、ブレの無いより快適なリズムを形成することが可能となる。

第１拍生成部は、楽曲データの低域周波数成分の音圧に１以上の重み付けを行ってから第１特異点を複数抽出してもよい。

楽曲データには幅広い周波数成分の音圧が含まれる。しかし、音圧の低域周波数成分には十分な延びとパワーがあり、ダイナミックなリズム感が表現できるのでペースメーカとしては低域周波数成分の音圧が適している。従って、本発明では、このような低域周波数成分の音圧に重み付けを行い抽出し易くすることで、低域周波数成分の音圧のリズムが安定した楽曲データを形成することができる。

第１拍生成部は、抽出した複数の第１特異点の音圧を一旦等しくし、複数の第１特異点のうち低域周波数成分の第１特異点に１以上の重み付けを行って第１拍情報を生成してもよい。

楽曲データの最大音圧の所定率以下の音圧を排除した後、残っているすべての第１特異点は拍を形成する候補としてとらえることができる。しかし、本来同一の周波数として認識すべき音圧もその振幅が相異すると周期性を判断する際の相関が高くならず周期的な拍と判断されない。ここでは、このような残った第１特異点の音圧を一旦等しくして周期以外の振幅情報等を排除し、その後で低域周波数成分の音圧のみ重み付けを行っている。かかる構成により、第１拍生成部は、周期情報と低域周波数成分とがバランスよく考慮された第１拍情報を生成することができる。

第１拍生成部は、第１特異点の抽出毎、または所定時間毎に第１拍情報を生成し直してもよい。本発明では、楽曲データの拍の変化を第１特異点の抽出毎または所定時間毎に把握し、その時々における最適な第１拍情報を生成することで、楽曲データの拍が不安定であっても、人の動きへの追従性を向上することが可能となる。

動きセンサは加速度を検出する加速度センサであり、第２拍生成部は、加速度センサの検出値が極値となる第２特異点を複数抽出し、複数の第２特異点同士で形成される周期のうち最も頻度の高い周期に相当する拍に基づいて第２拍情報を生成してもよい。

人の動き、特にステップにおける着地時には速度が急激に変化し、加速度は極値をとる。本発明では、運動におけるリズムとして適当なステップを第２拍情報とすることで、人が緩急のある運動を遂行した場合であってもそのステップに対応した拍に楽曲データを追従させることができ、人は安全かつ快適な運動を遂行することが可能となる。

第２拍生成部は、直前の所定期間内における加速度センサの最大検出値の所定率以下の検出値を、第２特異点として考慮しなくてもよい。

楽曲データを追従させる対象は、人の比較的大きな動きであり、加速度センサの最大検出値の所定率以下の検出値（絶対値）は却ってリズミカルな拍を乱すこととなる。本発明では、このような相対的に低い加速度値を考慮しないことで、人の大きな動きの抽出精度を高め、ブレの無いより快適なリズムを形成することが可能となる。

第２拍生成部は、重力の反対方向の検出値に１以上の重み付けを行ってから第２特異点を複数抽出してもよい。

上述したステップにおける着地時の加速度は重力の反対方向の成分として検出される。本発明は、このような重力の反対方向の成分に重み付けを行い抽出し易くすることで、ステップに適切に対応した第１拍情報を形成することが可能となる。

第２拍生成部は、抽出した複数の第２特異点の検出値を一旦等しくし、複数の第２特異点のうち重力の反対方向の第２特異点に１以上の重み付けを行って第２拍情報を生成してもよい。

人の動きの加速度センサの最大検出値の所定率以下の検出値を排除した後、残っているすべての第２特異点は、拍を形成する候補としてとらえることができる。しかし、本来同一の周波数として認識すべき検出値もその振幅が相異すると周期性を判断する際の相関が高くならず周期的な拍と判断されない。ここでは、このような残った第２特異点の検出値を一旦等しくして周期以外の振幅情報等を排除し、その後で重力の反対方向に相当する検出値のみ重み付けを行っている。かかる構成により、第２拍生成部は、周期情報と低域周波数成分とがバランスよく考慮された第２拍情報を生成することができる。

第２拍生成部は、第２特異点の抽出毎、または所定時間毎に第２拍情報を生成し直してもよい。人の運動能力には個人差があり、また、人が緩急のある運動を望む場合もある。本発明では、このような動き（拍）の変化を第２特異点の抽出毎または所定時間毎に把握し、その時々における最適な第２拍情報を生成することで、人は、自分のペースを維持し無理せず安全かつ快適な運動を遂行することが可能となる。

第１拍変更部は、第１拍情報の拍と第２拍情報の拍とを周期化し、周期化した第１拍情報の拍を、周期化した第２拍情報の拍に変位させてもよい。

かかる第１拍情報の拍を第２拍情報の拍に変位させる構成により、変動する第２拍情報に第１拍情報を迅速かつ適切に追従させることが可能となり、人は、自分のペースを維持した快適な運動を遂行することができる。

第１拍変更部は、第１拍情報の拍から第２拍情報の拍への変位比率を、第１拍情報の拍の周期と第２拍情報の拍の周期との比率から決定してもよい。

第１拍情報の拍の周期と第２拍情報の拍の周期との比率が整数倍になると、拍を整数個おきに変位させた方が、原曲の速度に近い場合がある。本発明では、第１拍情報の拍の周期と第２拍情報の拍の周期との比率に応じて第１拍情報の拍から第２拍情報の拍への変位比率を決定しているので、原曲の速度を大凡維持することができ、人は快適な運動を遂行することが可能となる。

上記課題を解決するために、本発明の楽曲再生方法は、任意の楽曲データの拍を検出し、その拍の位置を示す第１拍情報を生成し、第１拍情報に基づいて楽曲データを拍毎に分離し、人の動きを検出して、検出された動きに対応した拍の位置を示す第２拍情報を生成し、第２拍情報が示す拍の位置に基づいて第１拍情報が示す拍の位置を変更した変更第１拍情報を生成し、変更第１拍情報が示す拍の位置に合わせて分離された楽曲データを伸縮し、伸縮された楽曲データを変更第１拍情報が示す拍の位置に再配置することを特徴とする。

上述した、楽曲再生装置の技術的思想に基づく構成要素やその説明は、当該楽曲再生方法にも適用可能である。

本発明の楽曲再生装置は、ダンスやジョギングといった緩急のある運動であってもその拍に追従する楽曲データを生成し、人の所望する拍で快適な運動を遂行することが可能となる。

本実施形態にかかる楽曲再生装置の電気的な構成を示した機能ブロック図である。 第１特異点抽出部によって抽出された第１特異点のシフトレジスタへの保持状態を示した説明図である。 第１拍生成部による拍の検出を説明するための説明図である。 第１拍情報を説明するための説明図である。 低域周波数成分の音圧に重み付けを行った場合を説明するための説明図である。 第１特異点を一旦等しくして低域周波数成分の音圧に重み付けを行った場合を説明するための説明図である。 楽曲分離部による楽曲データの分離を説明するための説明図である。 第１拍変更部による変更第１拍情報の生成を説明するための説明図である。 第１拍変更部による変更第１拍情報の生成を説明するための説明図である。 第１拍変更部による変更第１拍情報の生成を説明するための説明図である。 変位比率を説明するための説明図である。 楽曲伸縮部による分離した楽曲データの伸縮を示した説明図である。 楽曲再配置部による伸縮した楽曲データの再配置を説明するための説明図である。 本実施形態にかかる楽曲再生方法の具体的な処理を示したフローチャートである。 本実施形態にかかる楽曲再生方法の具体的な処理を示したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

本実施形態では、ジョギングのように大凡一定の間隔で動く運動だけでなく、ダンスのような緩急のある動きに対してもその人の動き（リズム）を検出すると共に、楽曲データからもリズムを検出して、ダンスやジョギングといった運動に楽曲を適合させ、運動を促進することを目的としている。以下、かかる目的を達成すべく楽曲データを再生可能な楽曲再生装置１００を説明し、その後、楽曲再生方法の一連の動作を述べる。

（楽曲再生装置１００）
図１は、本実施形態にかかる楽曲再生装置１００の電気的な構成を示した機能ブロック図である。楽曲再生装置１００は、加速度センサ１１０と、楽曲データ取得部１１２と、記憶部１１４と、シフトレジスタ１１６と、楽曲出力部１１８と、中央制御部１２０とを含んで構成され、人が着用している衣服や手足首等に装着することができる。

加速度センサ１１０は、人の動きを検出する動きセンサとして機能し、検出軸方向への人の加速度を検出する。ここでは、加速度センサ１１０の検出値の代わりに、速度センサの微分値や位置センサの２回微分値を用いることもできる。かかる加速度センサ１１０は、重力方向の検出値の振動に基づいて歩数計として用いることもできる。

また、後述するように、本実施形態では、重力の反対方向の加速度を特定しなくてはならないので、加速度センサ１１０の少なくとも１つの検出軸が重力方向となるように、楽曲再生装置１００を人に装着させることが望ましい。加速度センサ１１０は、重力を検出できる場合、電力が供給されている間、検出値を平均化しその平均検出値を重力方向の検出値（１Ｇ）と見なして、重力の反対方向の検出値を特定することができる。さらに、加速度センサ１１０は、検出した検出値が重力の反対方向を示しているときにそのことを示す識別子を検出値に関連付ける。

加速度センサ１１０はＸＹＺの３軸で構成することもできるが、１軸のみで構成することもできる。この場合、その１軸を重力方向に合わせることで、人の動きを検出するのに必要な重力の反対方向の加速度を確実に検出すると共に、水平方向の不要な加速度を排除することが可能となる。

楽曲データ取得部１１２は、ＣＤ（Compact Disk）プレーヤ、カセットプレーヤやその他の記憶媒体から楽曲データを取得し記憶部１１４に記憶する。かかる楽曲データとしては、ＭＰ３（MPeg audio layer 3）、ＡＡＣ（Advanced Audio Coding）、ＷＭＡ（Windows（登録商標） Media Audio）、ＡＴＲＡＣ（Adaptive TRansform Acoustic Coding）等の技術を用いて音声圧縮されたデータを用いることができる。

記憶部１１４は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、１または複数の楽曲データや、後述する中央制御部１２０が用いるプログラムを記憶する。

シフトレジスタ１１６は、ＲＡＭで構成され、楽曲データの音圧の第１特異点（音圧が突出する点）および加速度センサ１１０の検出値の第２特異点（極値）を所定期間分一時的に保持する。そして、楽曲データの音圧や加速度センサ１１０の検出値が新たにシフトレジスタ１１６に入力されると最古の値を削除する、所謂ＦＩＦＯ（First-In First-Out）として機能する。かかる構成により、直前の所定期間内の第１特異点または第２特異点を容易に抽出することができる。

楽曲出力部１１８は、記憶部１１４に記憶された楽曲データ、または本実施形態により生成された楽曲データを楽曲信号に変換しスピーカ１２２またはヘッドフォン１２４に出力させる。

中央制御部１２０は、中央処理装置（ＣＰＵ）を含む半導体集積回路で構成され、記憶部１１４やその他の回路と協働して楽曲再生装置１００全体を管理および制御する。また、中央制御部１２０は、第１特異点抽出部１３０、第１拍生成部１３２、楽曲分離部１３４、第２特異点抽出部１３６、第２拍生成部１３８、第１拍変更部１４０、楽曲伸縮部１４２、楽曲再配置部１４４として機能する。

第１特異点抽出部１３０は、記憶部１１４に記憶された楽曲データを時系列に読み出し、その楽曲データの音圧が突出した点を第１特異点として、その時間情報と音圧をシフトレジスタ１１６に保持する。このとき、第１特異点抽出部１３０は、第１特異点となる音圧が低域周波数成分にあたる場合、その旨を示す識別子を第１特異点に関連付ける。

楽曲データの音圧（または振幅）が突出する第１特異点はリズムを刻む拍として受け入れやすい妥当な点である。本実施形態では、かかる第１特異点のうち、周期性を有しかつその周期が安定している、第１特異点同士で形成される周期の頻度が高い拍を第１拍情報とすることで、人は、楽曲の心地よい安定したリズムを通じて快適な運動を遂行することが可能となる。また、ここでは、第１特異点の導出に楽曲データの音圧を用いているが、楽曲データの振幅の二乗値や、所定区間における振幅の二乗の積分値を用いることもできる。

図２は、第１特異点抽出部１３０によって抽出された第１特異点のシフトレジスタ１１６への保持状態を示した説明図である。図２では、横軸が時間、縦軸が音圧の絶対値を示す。第１特異点抽出部１３０は、順次楽曲データを読み出す。図２（ａ）はこのようにして読み出された楽曲データを示している。特異点抽出部１３０は、今回読み出した音圧列１６８の突出点１７０を抽出し、その突出点１７０の音圧が、図２（ｂ）に示すようなシフトレジスタ１１６に既に保持されている第１特異点の最大値（直前の所定期間内における楽曲データの最大音圧）１７２の所定率、例えば５０％（図２中破線で示す）より大きいか否かを判定する。突出点が所定率以下であった場合、第１特異点抽出部１３０は、突出点を第１特異点として考慮しない。即ち、所定率以下の音圧はシフトレジスタ１１６には残されない。こうしてシフトレジスタ１１６には図２（ｂ）に黒丸で示したような所定率より大きな音圧の突出点１７４のみが第１特異点として所定期間分保持される。

このように所定率以下の音圧を考慮しないのは、運動中に聴く楽曲ではペースメーカとしての高い音圧による拍が重要であり、最大音圧の所定率以下の音圧は却ってリズミカルな拍を乱すこととなるからである。第１特異点抽出部１３０では、このような相対的に低い音圧を考慮しないことで、安定した拍の抽出精度を高め、ブレの無いより快適なリズムを形成することが可能となる。

第１拍生成部１３２は、シフトレジスタ１１６に保持された所定数の第１特異点の周期性を判断、ここでは、複数の第１特異点同士で形成される周期のうち最も頻度の高い周期を導出して、その周期に相当する（一致する）楽曲データ（原曲）の拍を検出し、その拍の位置を示す第１拍情報を生成する。かかる「拍」は、等しい間隔で打たれる基本的なリズムの一つ一つの時間単位を示す。また、所定数は、後述する自己相関やフーリエ変換を実行するために十分な数であるが、その周期性に応じて必要なサンプル数も変化する。

図３は、第１拍生成部１３２による拍の検出を説明するための説明図である。第１拍生成部１３２は、シフトレジスタ１１６に第１特異点が新たに保持されるか、または所定時間毎に、図２（ｂ）に示されたシフトレジスタ１１６に保持された所定数（所定期間分）の第１特異点の自己相関またはフーリエ変換を通じて、最も頻度の高い周期を導出する。このように、楽曲データの拍の変化を第１特異点の抽出毎または所定時間毎に把握し、その時々における最適な第１拍情報を生成することで、楽曲データの拍が不安定であっても、人の動きへの追従性を向上することが可能となる。

そして、周期が導出されたら、第１拍生成部１３２は、前回拍とされた第１特異点１８０から導出された周期１８２またはその整数倍離れた時点１８４に拍が存在するかどうか判断する。かかる判断を、自己相関を用いて行う場合、例えば相関値が０．６（０．６〜０．８から任意に設定）〜１．０のときに拍とすることとする。

例えば図３においては、新たに抽出された第１特異点１８６は導出された周期１８２との相関値が低い、即ち時点１８４と離れているので拍とはならず、次の第１特異点１８８は相関値が高い、即ち時点１８４に近いので拍となる。本実施形態では、このように相関が高い第１特異点（例えば、１８０、１８８）のみが拍とされる（図３中白丸で示す。）。拍の導出は、上述したように第１特異点の抽出毎、または所定時間毎に行われるので、検出された拍同士は、ある程度周期性を有するが等間隔になるとは限らない。また、導出した周期との相関値が高くなる第１特異点がない場合、時点１９０のように拍がない部分も生じる。

第１拍生成部１３２は、このようにして検出された拍の位置をリスト化し、第１拍情報を生成する。

図４は、第１拍情報を説明するための説明図である。ここでは、第１拍生成部１３２によって導出された、図３において白丸で示された拍が時系列に並べられ、拍毎に、拍位置情報と時間情報とが関連付けられている。ここでは、ＢＰＭ（Beats Per Minute）が１２０程度のテンポになっているので、１拍の差分が約０．５秒となる。また、３拍目および７拍目に相当する拍が存在しなかったので、図４の第１拍情報では３拍目と７拍目に対応するレコードが無く、拍が不連続になっている。

また、第１拍生成部１３２は、楽曲データの低域周波数成分の音圧に１以上の重み付けを行ってから第１特異点を複数抽出してもよい。

図５は、低域周波数成分の音圧に重み付けを行った場合を説明するための説明図である。例えば、第１特異点抽出部１３０が第１特異点を抽出する時点でその音圧が低域周波数成分にあたると判断した場合、即ち、音圧が低域周波数成分である旨の識別子が第１特異点に関連付けられている場合、図５に示したように、その第１特異点１９２のみ、例えば１．２倍といった重み付けを行う。

楽曲データには幅広い周波数成分の音圧が含まれる。しかし、音圧の低域周波数成分には十分な延びとパワーがあり、ダイナミックなリズム感が表現できるのでペースメーカとしては低域周波数成分の音圧が適している。従って、本実施形態では、このような低域周波数成分の音圧からなる第１特異点に重み付けを行い抽出し易くすることで、低域周波数成分の音圧のリズムが安定した楽曲データを形成することができる。

また、第１拍生成部１３２は、上述した楽曲データの低域周波数成分の音圧に直接重み付けを行う代わりに、抽出した複数の第１特異点の音圧を一旦等しくし、複数の第１特異点のうち低域周波数成分の第１特異点に１以上の重み付けを行って第１拍情報を生成してもよい。

図６は、第１特異点を一旦等しくして低域周波数成分の音圧に重み付けを行った場合を説明するための説明図である。図６では、横軸が時間、縦軸が重み付けを示す。楽曲データの最大音圧の所定率以下の音圧を排除した後、残っているすべての第１特異点は、拍を形成する候補としてとらえることができる。しかし、本来同一の周波数として認識すべき音圧もその振幅が相異すると周期性を判断する際の相関が高くならず周期的な拍と判断されない。そこで、第１特異点抽出部１３０が第１特異点を抽出すると、その音圧の値を図６（ａ）に示すように、すべて等しい所定値、例えば１．０でシフトレジスタ１１６に保持する。こうして、第１特異点から振幅情報を排除し、周期にのみ着目することができる。

そして、第１拍生成部１３２は、その第１特異点の音圧が低域周波数成分にあたる場合にのみ重み付け（例えば１．２倍）を行う。従って、重み付けを行った後のシフトレジスタ１１６への保持状態は図６（ｂ）のようになる。

図６（ｂ）のように低域周波数成分のみ重み付けされた状態で並置された第１特異点同士の自己相関をとると、例えば図６（ｃ）に示したように隣接する低域周波数成分の第１特異点と重なるところで相関値が高くなるので低域周波数成分の音圧が拍として認識され易くなる。

かかる、第１特異点の音圧を一旦等しくして周期以外の振幅情報等を排除し、その後で低域周波数成分の音圧のみ重み付けを行う構成により、第１拍生成部１３２は、周期情報と低域周波数成分とがバランスよく考慮された第１拍情報を生成することができる。

楽曲分離部１３４は、第１拍生成部１３２が生成した第１拍情報に基づいて楽曲データを拍毎に分離する。

図７は、楽曲分離部１３４による楽曲データの分離を説明するための説明図である。楽曲分離部１３４は、原曲となる楽曲データ１９４と第１拍生成部１３２が生成した第１拍情報が示す拍１９６との時間軸を合わせ、拍１９６の位置で楽曲データ１９４を分離する。上述したように拍１９６は等間隔になるとは限らないので、分離された楽曲データの時間長も等しくなるとは限らない。

第２特異点抽出部１３６は、加速度センサ１１０に検出された検出値を取得し、その検出値の微分値の符号が反転する点である極値（極大値および極小値）を第２特異点として、その時間情報と検出値をシフトレジスタ１１６に保持する。本実施形態では、かかる第２特異点のうち、周期性を有しかつその周期が安定している、第２特異点同士で形成される周期の頻度が高い拍を第２拍情報とすることで、人は、快適な運動を遂行することが可能となる。また、第２特異点抽出部１３６によって抽出された第２特異点のシフトレジスタ１１６への保持状態は、第１特異点抽出部１３０の説明で用いた図２（ｂ）と同様になるので、ここではその詳細な説明を省略する。

このとき、第２特異点抽出部１３６は、シフトレジスタ１１６に既に保持されている第２特異点の最大値（直前の所定期間内における加速度センサの最大検出値）の所定率、例えば５０％以下の検出値を、第２特異点として考慮しない。これは、楽曲データを追従させる対象は、人の比較的大きな動きであり、加速度センサ１１０の最大検出値の所定率以下の検出値（絶対値）は却ってリズミカルな拍を乱すこととなるからである。ここでは、このような相対的に低い加速度値を考慮しないことで、人の大きな動きの抽出精度を高め、ブレの無いより快適なリズムを形成することが可能となる。

第２拍生成部１３８は、シフトレジスタ１１６に保持された所定数の第２特異点の周期性を判断、ここでは、複数の第２特異点同士で形成される周期（グルーブ）のうち最も頻度の高い周期を導出して、その周期に相当する（一致する）拍を検出し、その拍の位置を示す第１拍情報を生成する。

人の動き、特にステップ（歩調、足取り）における着地時には速度が急激に変化し、加速度は極値をとる。第２拍生成部１３８では、運動におけるリズムとして適当なステップを第２拍情報とすることで、人が緩急のある運動を遂行した場合であってもそのステップに対応した拍に楽曲データを追従させることができ、人は安全かつ快適な運動を遂行することが可能となる。

かかる第２拍生成部１３８の第２拍情報の生成は、その対象となる第２特異点が楽曲データの音圧ではなく、加速度センサ１１０の検出値というだけで、他の処理は第１拍生成部１３２と等しいのでここではその詳細な説明を省略する。

また、第２拍生成部１３８は、図５を用いて説明した第１拍生成部１３２同様、重力の反対方向の検出値に１以上の重み付けを行ってから第２特異点を複数抽出する。このとき、第２特異点抽出部１３６が第２特異点を抽出する時点でその検出値が重力の反対方向の検出値にあたる場合、即ち、加速度センサ１１０によって検出値に重力の反対方向の成分である旨の識別子が関連付けられている場合、その第２特異点のみ例えば、１．２倍といった重み付けを行ってシフトレジスタ１１６への保持することとなり、第２拍生成部１３８は、そのように重み付けられた第２特異点を抽出する。

上述したステップにおける着地時の加速度は重力の反対方向の成分として検出される。本実施形態では、このような重力の反対方向の成分に重み付けを行い抽出し易くすることで、ステップに適切に対応した第１拍情報を生成することが可能となる。

また、第２拍生成部１３８は、重力の反対方向の検出値に直接重み付けを行う代わりに、図６を用いて説明した第１拍生成部１３２同様、抽出した複数の第２特異点の検出値を一旦等しくし、複数の第２特異点のうち重力の反対方向の第２特異点に１以上の重み付けを行って第２拍情報を生成してもよい。

人の動きの加速度センサ１１０の最大検出値の所定率以下の検出値を排除した後、残っているすべての第２特異点は、拍を形成する候補としてとらえることができる。しかし、本来同一の周波数として認識すべき検出値もその振幅が相異すると周期性を判断する際の相関が高くならず周期的な拍と判断されない。ここでは、このような残った第２特異点の検出値を一旦等しくして周期以外の振幅情報等を排除し、その後で重力の反対方向に相当する検出値のみ重み付けを行っている。かかる構成により、第２拍生成部１３８は、周期情報と低域周波数成分とがバランスよく考慮された第２拍情報を生成することができる。

第１拍変更部１４０は、第２拍生成部１３８が生成した第２拍情報が示す拍の位置に基づいて、第１拍生成部１３２が生成した第１拍情報が示す拍の位置を変更した変更第１拍情報を生成する。具体的に、第１拍変更部１４０は、第１拍情報の拍と第２拍情報の拍とを周期化し、周期化した第１拍情報の拍を、周期化した第２拍情報の拍に変位（転位）させる。

図８、９、１０は、第１拍変更部１４０による変更第１拍情報の生成を説明するための説明図である。まず、第１拍変更部１４０は、第１拍情報が示す拍を周期化する。第１拍生成部１３２によって生成された第１拍情報は、図４に示したように、拍に相当する第１特異点が無く、３拍目や７拍目のように拍が欠落している場合がある。そこで、第１拍変更部１４０は、図８のように、欠落している拍の位置を推測し、第１仮想拍１９８を生成する。こうして第１拍情報が周期化される。かかる第１仮想拍１９８は、前後の拍の間隔を等分した時点としてもよいし、前拍の周期を単純に第１仮想拍１９８の周期として配置してもよい。

続いて、第１拍変更部１４０は、第２拍情報が示す拍を周期化する。例えば、第２拍情報が図９（ａ）に示すように拍が並置されているとすると、第１拍変更部１４０は、第１拍情報のとき同様、図９（ｂ）のように、欠落している拍の位置を推測し、第２仮想拍２００を生成する。こうして第２拍情報が周期化される。

最後に、第１拍変更部１４０は、図１０（ａ）のように、周期化した第２拍情報の拍の位置に、周期化した第１拍情報の拍を変位比率１：１で変位させ、図１０（ｂ）のように、第１仮想拍１９８を排除する。こうして変更第１拍情報が形成される。

かかる第１拍情報の拍を第２拍情報の拍に変位させる構成により、変動する第２拍情報に第１拍情報を迅速かつ適切に追従させることが可能となり、人は、自分のペースを維持した快適な運動を遂行することができる。

また、ここでは、変位比率を１：１としたが、第１拍情報の拍の周期と第２拍情報の拍の周期との比率に基づいて、第１拍変更部１４０は、第１拍情報の拍から第２拍情報の拍への変位比率を決定してもよい。

図１１は、変位比率を説明するための説明図である。第１拍情報の拍の周期と第２拍情報の拍の周期との比率が整数倍になると、拍を整数個おきに変位させた方が、原曲の速度に近い場合がある。例えば、図１１に示すように、第１拍情報の拍の周期と第２拍情報の拍の周期の比率が２：１となった場合にまで、変位比率１：１で変位させると、楽曲データの速度が単純に２倍になり、原曲の速度との隔たりが大きくなり人に違和感を与えてしまうことになる。

ここでは、第１拍情報の拍の周期と第２拍情報の拍の周期との比率（図１１では２：１）に応じて第１拍情報の拍から第２拍情報の拍への変位比率を１：２、即ち、周期化された第２拍情報の２拍毎に周期化された第１拍情報を変位させている。こうして、原曲の速度を大凡維持することができ、人は快適な運動を遂行することが可能となる。また、変位比率が２：１と逆になった場合には、第２拍情報が示す拍同士の中間に新たに拍を生成し、第１拍情報を変位させる。

このような変位比率は、第１拍情報の拍の周期と第２拍情報の拍の周期との比率を四捨五入することで決定することができる。例えば、周期の比率が１．２：１の場合、変位比率を１：１とすべきであり、１．８：１の場合、変位比率を１：２にすべきである。しかし、変位比率をダイナミックに変更すると楽曲の速度が不本意に変更されるため却って人に違和感を与えかねない。従って、変位比率を判断するのに十分な時間分の周期を比較し、一度決定された変位比率は相当の周期比率の変動がない限り変更しないとしてもよい。また、変位比率を変更する場合であっても、その変更スレショルドにヒステリシスを設け、煩雑な変更を回避することができる。

楽曲伸縮部１４２は、第１拍変更部１４０が生成した変更第１拍情報が示す拍の位置に合わせて楽曲分離部１３４が分離した楽曲データを伸縮する。

図１２は、楽曲伸縮部１４２による分離した楽曲データの伸縮を示した説明図である。図７のように分離した楽曲データを図１０（ｂ）に示した変更第１拍情報が示す拍の位置に合わせるべく時間方向に伸縮する。このとき、拍の長さを変えても音声の高さを変えないようにタイムストレッチ技術やその他様々な既存の技術を用いることができる。上述したように変位比率は、ほぼ一定に推移するが、楽曲データを分離する時点における第１拍情報の拍の間隔や変更第１拍情報の拍の間隔は等間隔とは限らないので、伸縮の比率は、それぞれ微妙に異なることとなる。

一方、第１拍情報や第２拍情報の拍の周期を拍の所定倍以上長い任意の時間毎にのみ更新することとすれば、楽曲伸縮部１４２の伸縮比率は任意の時間毎に同じになるので、任意の時間毎の楽曲データを纏めて伸縮することもできる。

楽曲再配置部１４４は、楽曲伸縮部１４２が伸縮した楽曲データを、変更第１拍情報が示す拍の位置に再配置する。

図１３は、楽曲再配置部１４４による伸縮した楽曲データの再配置を説明するための説明図である。ここでは、図１０（ｂ）に示した変更第１拍情報が示す拍に、その拍に対応して伸縮した楽曲データを配置し、楽曲データを連続させる。かかる楽曲データの連続点でノイズが生じないよう、楽曲再配置部１４４は、クロスフェードしながら再配置する。

以上、説明した楽曲再生装置１００により、人の動き（節目）に対応した拍のみならず、楽曲データの拍も検出しているので、その楽曲データの種類やテンポの安定性および拍情報の有無を問わず、人は所望する楽曲データの下で快適な運動を遂行できる。また、人の動きに対応した拍に基づいて楽曲データの拍の位置を随時変更することで、人が緩急のある運動を遂行した場合であってもその動きに楽曲データを追従させることができ、人は自身が主体となって自分のペースを維持し無理せず安全かつ快適な運動を遂行することが可能となる。

（楽曲再生方法）
続いて、上述した楽曲再生装置１００を用いた楽曲再生方法について説明する。図１４、図１５は、本実施形態にかかる楽曲再生方法の具体的な処理を示したフローチャートである。特に図１４は、第１拍情報の生成処理と楽曲データの分離処理を、図１５は、最終的な楽曲データの生成処理を示している。

図１４のフローチャートを参照すると、まず、第１特異点抽出部１３０は、記憶部１１４に記憶された楽曲データを時系列に読み出し、その音圧が突出した点を第１特異点とし、低域周波数成分以外の第１特異点の音圧をすべて等しい所定値（１．０）で、低域周波数成分の第１特異点の音圧を所定値にさらに重み付けした値（１．２）でシフトレジスタ１１６に保持する（Ｓ３００）。第１拍生成部１３２は、このようにシフトレジスタ１１６に保持された所定数の第１特異点同士で形成される周期のうち最も頻度の高い周期を導出して（Ｓ３０２）、その周期に相当する楽曲データの拍を検出する（Ｓ３０４）。

そして、楽曲データすべてについて拍の検出が完了したか判定され（Ｓ３０６）、完了していない場合（Ｓ３０６のＮＯ）、第１特異点の抽出処理（Ｓ３００）から繰り返す。完了していれば（Ｓ３０６のＹＥＳ）、検出した拍の位置を示す第１拍情報を生成する（Ｓ３０８）。続いて、楽曲分離部１３４は、第１拍生成部１３２が生成した第１拍情報に基づいて楽曲データを拍毎に分離する（Ｓ３１０）。

図１５のフローチャートでは、人が当該楽曲再生装置１００の再生が開始されると（Ｓ３５０のＹＥＳ）、第２特異点抽出部１３６は、加速度センサ１１０に検出された検出値を取得し、その検出値の極値を第２特異点とし、その検出値をすべて等しい所定値で、重力の反対方向の検出値を所定値にさらに重み付けした値でシフトレジスタ１１６に保持する（Ｓ３５２）。

第２拍生成部１３８は、シフトレジスタ１１６に保持された所定数の第２特異点同士で形成される周期のうち最も頻度の高い周期を導出して（Ｓ３５４）、その周期に相当する拍を検出し（Ｓ３５６）、その都度、拍の位置を示す第２拍情報を生成する（Ｓ３５８）。

続いて、第１拍変更部１４０は、第２拍生成部１３８が生成した第２拍情報が示す拍の位置に基づいて、図１２において第１拍生成部１３２が生成した第１拍情報が示す拍の位置を変更した変更第１拍情報を生成する（Ｓ３６０）。具体的に、第１拍変更部１４０は、第１拍情報の拍と第２拍情報の拍とを周期化し、周期化した第１拍情報の拍を、周期化した第２拍情報の拍に変位させる。

そして、楽曲伸縮部１４２は、第１拍変更部１４０が生成した変更第１拍情報が示す拍の位置に合わせて楽曲分離部１３４が分離した楽曲データを伸縮し（Ｓ３６２）、楽曲再配置部１４４は、楽曲伸縮部１４２が伸縮した楽曲データを、変更第１拍情報が示す拍の位置に再配置する（Ｓ３６４）。最後に、楽曲出力部１１８は、再配置された楽曲データを楽曲信号に変換しスピーカ１２２またはヘッドフォン１２４に出力させる（Ｓ３６６）。こうした第２特異点抽出ステップ（Ｓ３５２）からの一連の動作を繰り返す。

かかる楽曲再生方法によっても、ダンスやジョギングといった緩急のある運動であってもその拍に追従する楽曲データを生成し、人の所望する拍で快適な運動を遂行することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の楽曲再生方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、ダンスやジョギングといったリズミカルな運動に楽曲を適合させ、運動を促進する楽曲再生装置および楽曲再生方法に利用することができる。

１００ …楽曲再生装置
１１０ …加速度センサ（動きセンサ）
１３２ …第１拍生成部
１３４ …楽曲分離部
１３８ …第２拍生成部
１４０ …第１拍変更部
１４２ …楽曲伸縮部
１４４ …楽曲再配置部

Claims (14)

1. 任意の楽曲データの拍を検出し、その拍の位置を示す第１拍情報を生成する第１拍生成部と、
   前記第１拍情報に基づいて前記楽曲データを拍毎に分離する楽曲分離部と、
   人の動きを検出する動きセンサと、
   検出された動きに対応した拍の位置を示す第２拍情報を生成する第２拍生成部と、
   前記第２拍情報が示す拍の位置に基づいて前記第１拍情報が示す拍の位置を変更した変更第１拍情報を生成する第１拍変更部と、
   前記変更第１拍情報が示す拍の位置に合わせて前記分離された楽曲データを伸縮する楽曲伸縮部と、
   前記伸縮された楽曲データを前記変更第１拍情報が示す拍の位置に再配置する楽曲再配置部と、
   を備えることを特徴とする楽曲再生装置。
2. 前記第１拍生成部は、前記楽曲データの音圧が突出する第１特異点を複数抽出し、前記複数の第１特異点同士で形成される周期のうち最も頻度の高い周期に相当する拍に基づいて第１拍情報を生成することを特徴とする請求項１に記載の楽曲再生装置。
3. 前記第１拍生成部は、直前の所定期間内における前記楽曲データの最大音圧の所定率以下の音圧を、第１特異点として考慮しないことを特徴とする請求項２に記載の楽曲再生装置。
4. 前記第１拍生成部は、前記楽曲データの低域周波数成分の音圧に１以上の重み付けを行ってから第１特異点を複数抽出することを特徴とする請求項２または３に記載の楽曲再生装置。
5. 前記第１拍生成部は、抽出した複数の第１特異点の音圧を一旦等しくし、前記複数の第１特異点のうち低域周波数成分の第１特異点に１以上の重み付けを行って第１拍情報を生成することを特徴とする請求項２または３に記載の楽曲再生装置。
6. 前記第１拍生成部は、前記第１特異点の抽出毎、または所定時間毎に第１拍情報を生成し直すことを特徴とする請求項２から５のいずれか１項に記載の楽曲再生装置。
7. 前記動きセンサは加速度を検出する加速度センサであり、
   前記第２拍生成部は、前記加速度センサの検出値が極値となる第２特異点を複数抽出し、前記複数の第２特異点同士で形成される周期のうち最も頻度の高い周期に相当する拍に基づいて第２拍情報を生成することを特徴とする請求項１から６のいずれか１項に記載の楽曲再生装置。
8. 前記第２拍生成部は、直前の所定期間内における前記加速度センサの最大検出値の所定率以下の検出値を、第２特異点として考慮しないことを特徴とする請求項７に記載の楽曲再生装置。
9. 前記第２拍生成部は、重力の反対方向の検出値に１以上の重み付けを行ってから第２特異点を複数抽出することを特徴とする請求項７または８に記載の楽曲再生装置。
10. 前記第２拍生成部は、抽出した複数の第２特異点の検出値を一旦等しくし、前記複数の第２特異点のうち重力の反対方向の第２特異点に１以上の重み付けを行って第２拍情報を生成することを特徴とする請求項７または８に記載の楽曲再生装置。
11. 前記第２拍生成部は、前記第２特異点の抽出毎、または所定時間毎に第２拍情報を生成し直すことを特徴とする請求項７から１０のいずれか１項に記載の楽曲再生装置。
12. 前記第１拍変更部は、前記第１拍情報の拍と第２拍情報の拍とを周期化し、前記周期化した第１拍情報の拍を、前記周期化した第２拍情報の拍に変位させることを特徴とする請求項１から１１のいずれか１項に記載の楽曲再生装置。
13. 前記第１拍変更部は、前記第１拍情報の拍から第２拍情報の拍への変位比率を、前記第１拍情報の拍の周期と前記第２拍情報の拍の周期との比率から決定することを特徴とする請求項１２に記載の楽曲再生装置。
14. 任意の楽曲データの拍を検出し、その拍の位置を示す第１拍情報を生成し、
    前記第１拍情報に基づいて前記楽曲データを拍毎に分離し、
    人の動きを検出して、検出された動きに対応した拍の位置を示す第２拍情報を生成し、
    前記第２拍情報が示す拍の位置に基づいて前記第１拍情報が示す拍の位置を変更した変更第１拍情報を生成し、
    前記変更第１拍情報が示す拍の位置に合わせて前記分離された楽曲データを伸縮し、
    前記伸縮された楽曲データを前記変更第１拍情報が示す拍の位置に再配置することを特徴とする楽曲再生方法。

Images