JP2023022265A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Abstract

【課題】ユーザの動きのリズムを適切に認識する。【解決手段】情報処理装置は、少なくともユーザの体幹上の１カ所を含む１以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識するモーションリズム認識部を備える。本技術は、例えば、パフォーマンスの演出を行う演出システムに適用できる。【選択図】図４

Description

本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、ユーザの動きのリズムを認識する場合に用いて好適な情報処理装置、情報処理方法、及び、プログラムに関する。

従来、複数のユーザにそれぞれ装着したセンサからの運動情報に基づいて、各ユーザの運動リズムを推定し、各ユーザの運動リズムと基本となる運動リズムとの間の相違度や、ユーザ間の運動リズムの相違度を計算し、その結果をユーザにフィードバックするシステムが提案されている。また、運動リズムとして、テンポ（例えば１分あたりのビート数：ＢＰＭ）を利用することが提案されている（例えば、特許文献１参照）。

特開２０１１－８７７９４号公報

しかしながら、ユーザの動きのリズムは、通常は音楽のビートのような単調なものではなく、より複雑である。従って、単位時間あたりのビート数では、ユーザの動きのリズムを適切に表せない場合がある。

本技術は、このような状況に鑑みてなされたものであり、ユーザの動きのリズムを適切に認識できるようにするものである。

本技術の一側面のプログラムは、コンピュータを、ユーザの少なくとも１以上の検出位置に装着されたセンサ装置により検出された前記検出位置のセンサデータに基づいて、前記ユーザのモーションを解析するモーション解析部と、前記モーション解析部により得られるモーションリズムを含むモーション解析結果に基づいて、前記ユーザの画像の表示を制御する表示制御部ととして機能させる。

本技術の一側面の情報処理装置は、ユーザの少なくとも１以上の検出位置に装着されたセンサ装置において検出された前記検出位置のセンサデータに基づいて、前記ユーザのモーションを解析するモーション解析部と、前記モーション解析部により得られるモーションリズムを含むモーション解析結果に基づいて、前記ユーザの画像の表示を制御する表示制御部とを備える。

本技術の一側面の情報処理方法は、情報処理装置が、ユーザの少なくとも１以上の検出位置に装着されたセンサ装置において検出された前記検出位置のセンサデータに基づいて、前記ユーザのモーションを解析し、モーションリズムを含むモーション解析結果に基づいて、前記ユーザの画像の表示を制御する。

本技術の一側面においては、ユーザの少なくとも１以上の検出位置に装着されたセンサ装置において検出された前記検出位置のセンサデータに基づいて、前記ユーザのモーションが解析され、モーションリズムを含むモーション解析結果に基づいて、前記ユーザの画像の表示が制御される。

本技術の一側面によれば、ユーザの動きのリズムを適切に認識することができる。また、本技術の一側面によれば、ユーザの動きのリズムを適切に利用することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

本技術を適用した演出システムのハードウエアの構成例を示すブロック図である。 ウエアラブルセンサの装着位置の例を示す図である。 ウエアラブルセンサの装着位置の例を示す図である。 本技術を適用した演出システムの機能の構成例を示すブロック図である。 ウエアラブルセンサの構成例を示すブロック図である。 ウエアラブルセンサが備えるセンサの仕様例を示す表である。 ウエアラブルセンサの処理を説明するためのフローチャートである。 通信パケットのフォーマットの例を示す図である。 動き検出データの構成例を示す表である。 モーション解析処理を説明するためのフローチャートである。 音楽のビートとモーションリズムの違いを説明するための図である。 モーションリズム認識モデルの生成方法の例を説明するための図である。 ダンスの技の例を示す図である。 ダンスの技の例を示す図である。 モーション認識モデルの生成方法の例を説明するための図である。 モーションの種類を通知するタイミングの例を示す図である。 演出制御処理を説明するためのフローチャートである。 演出方法の具体例を示す表である。 本技術を適用したシンク評価システムの機能の構成例を示すブロック図である。 シンク評価処理を説明するためのフローチャートである。 シンク度の検出方法の第１の例を説明するための図である。 シンク度の検出方法の第２の例を説明するための図である。 シンク度の検出方法の第２の例を説明するための図である。 本技術を適用した撮影システムの第１の実施の形態のハードウエアの構成例を示すブロック図である。 本技術を適用した撮影システムの第１の実施の形態の機能の構成例を示すブロック図である。 撮影制御処理を説明するためのフローチャートである。 表示制御処理を説明するためのフローチャートである。 表示画面の第１の例を示す図である。 表示画面の第２の例を示す図である。 表示画面の第３の例を示す図である。 本技術を適用した撮影システムの第２の実施の形態の機能の構成例を示すブロック図である。 撮影制御処理を説明するためのフローチャートである。 表示制御処理を説明するためのフローチャートである。 表示画面の第４の例を示す図である。 表示画面の第５の例を示す図である。 表示画面の第６の例を示す図である。 本技術を適用した楽曲推薦システムの一実施の形態を示すブロック図である。 楽曲推薦処理を説明するためのフローチャートである。 コンピュータの構成例を示す図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（演出システム）
２．第２の実施の形態（シンク評価システム）
３．第３の実施の形態（撮影システム）
４．第４の実施の形態（撮影システム）
５．第５の実施の形態（楽曲推薦システム）
６．変形例
７．その他

＜＜１．第１の実施の形態＞＞
まず、図１乃至図１８を参照して、本技術の第１の実施の形態について説明する。

＜演出システムのハードウエア構成例＞
図１は、本技術を適用した演出システム１００のハードウエアの構成例を示している。

演出システム１００は、ユーザのモーション解析を行い、解析結果に基づいて、ユーザのパフォーマンスの演出を行うシステムである。

なお、演出対象となるパフォーマンスの種類は、特に限定されない。例えば、演劇、音楽、舞踏等のパフォーマンスが演出対象となる。

演出システム１００は、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５、解析用計算機１０２、制御用計算機１０３、及び、演出機器１０４を備える。

なお、以下、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５を個々に区別する必要がない場合、単にウエアラブルセンサ１０１と称する。

各ウエアラブルセンサ１０１は、ユーザの互いに異なる位置（以下、検出ポイント又は検出位置と称する）に装着され、各検出ポイントの動きを検出するセンサ装置である。各ウエアラブルセンサ１０１は、各検出ポイントの動きの検出結果を示す動き検出データを含む通信パケットを解析用計算機１０２に送信する。

解析用計算機１０２は、各ウエアラブルセンサ１０１からの動き検出データに基づいて、ユーザのモーション解析を行う。解析用計算機１０２は、ユーザのモーション解析の結果を示すデータを制御用計算機１０３に送信する。

制御用計算機１０３は、ユーザのモーション解析の結果に基づいて、演出機器１０４によるユーザのパフォーマンスの演出を制御する。例えば、制御用計算機１０３は、演出機器１０４による演出を制御するための演出制御データを生成し、演出機器１０４に送信する。

演出機器１０４は、演出制御データに基づいて、ユーザのパフォーマンスの演出を行う。

なお、各ウエアラブルセンサ１０１と解析用計算機１０２との間の通信には、例えば、任意の方式の低遅延の近距離無線通信が採用される。近距離無線通信を採用することにより、ウエアラブルセンサ１０１の消費電力を削減するとともに、ウエアラブルセンサ１０１を小型化することが可能になる。

解析用計算機１０２と制御用計算機１０３との間の通信には、例えば、任意の方式の無線通信又は有線通信が採用される。

制御用計算機１０３と演出機器１０４との間の通信には、例えば、任意の方式の無線通信又は有線通信が採用される。

また、例えば、解析用計算機１０２と制御用計算機１０３とを１つのデバイスにより構成するようにしてもよい。

＜各ウエアラブルセンサ１０１の装着位置の例＞
図２及び図３は、各ウエアラブルセンサ１０１の装着位置（検出ポイント）の例を模式的に示している。

図２は、ウエアラブルセンサ１０１の最小構成の例を示している。具体的には、図２は、ウエアラブルセンサ１０１が１つのみユーザに装着される場合の例を示している。

後述するモーション解析において、ユーザの頭や腰等の体幹の動きを検出することで、解析精度が向上するという実験結果が出ている。従って、ウエアラブルセンサ１０１を１つのみユーザに装着する場合、ユーザの体幹上にウエアラブルセンサ１０１を装着することが望ましい。

例えば、図２のＡでは、ウエアラブルセンサ１０１－１が、ユーザの頭部に装着されており、ユーザの頭部の動きを検出する。図２のＢでは、ウエアラブルセンサ１０１－６が、ユーザの腰に装着されており、ユーザの腰の動きを検出する。すなわち、ウエアラブルセンサ１０１－１又はウエアラブルセンサ１０１－６により、ユーザの体幹の動き、重心、姿勢等が検出される。

例えば、ダンスでは、基本的に体幹の上下運動によりリズムがとられることが多い。従って、例えば、モーション解析において後述するモーションリズムの認識のみを行う場合、図２のＡ又はＢに示されるように、ユーザの体幹上の１カ所のみにウエアラブルセンサ１０１を装着するだけでもよい。

図３は、ユーザの体全体の動きを捉えるために、体幹に加えて手足にウエアラブルセンサ１０１を装着した例を示している。なお、必ずしもユーザの手足の全てにウエアラブルセンサ１０１を装着する必要はなく、例えば、手だけ又は足だけに装着するようにしてもよい。

図３のＡでは、図２のＡと比較して、ユーザの両手首及び両足首にウエアラブルセンサ１０１－２乃至ウエアラブルセンサ１０１－５が追加で装着されている。

ウエアラブルセンサ１０１－２は、ユーザの左手首に装着され、左手首の動きを検出する。ウエアラブルセンサ１０１－３は、ユーザの右手首に装着され、右手首の動きを検出する。すなわち、ウエアラブルセンサ１０１－２及びウエアラブルセンサ１０１－３により、ユーザの両手の動きや手首のスナップ等が検出される。

ウエアラブルセンサ１０１－４は、ユーザの左足首に装着され、左足首の動きを検出する。ウエアラブルセンサ１０１－５は、ユーザの右足首に装着され、右足首の動きを検出する。すなわち、ウエアラブルセンサ１０１－４及びウエアラブルセンサ１０１－５により、ユーザの両足の動きやステップ等が検出される。

そして、ユーザの体幹、両手、及び、両足の相互の動きの連動性に基づいて、ユーザのモーション解析が行われる。

図３のＢでは、図２のＢと比較して、ユーザの両足首にウエアラブルセンサ１０１－４及びウエアラブルセンサ１０１－５が追加で装着されている。すなわち、ウエアラブルセンサ１０１－４及びウエアラブルセンサ１０１－５により、ユーザの両足の動きやステップ等が検出される。

そして、ユーザの体幹及び両足の相互の動きの連動性に基づいて、ユーザのモーション解析が行われる。

なお、図２及び図３のウエアラブルセンサ１０１の装着数及び装着位置は、その一例であり、モーション解析の用途や精度等により適宜変更される。

例えば、ユーザの体幹上として背中にウエアラブルセンサ１０１を装着するようにしてもよい。また、ユーザの体幹上の２カ所以上にウエアラブルセンサ１０１を装着するようにしてもよい。

なお、一般的に、ウエアラブルセンサ１０１の装着数が多くなるほど、モーション解析の精度が向上する一方、ユーザに与える負荷が大きくなる。一方、ウエアラブルセンサ１０１の装着数が少なくなるほど、ユーザに与える負荷が小さくなる一方、モーション解析の精度が低下する。

なお、肘や膝といった中間関節だけでリズムをとるケースはあまりないと想定される。従って、最大でも腰、頭、両手、両足の６か所、必要であれば追加で指にウエアラブルセンサ１０１を装着すれば十分だと考えられる。

また、ウエアラブルセンサ１０１の装着方法は、特に限定されない。例えば、バンド、ベルト、サポータ、テープ、クリップ等が用いられる。なお、各検出ポイントの動きを高精度に検出できるように、ユーザの動きを阻害したり、ユーザに不快感を与えたりしない程度に、できる限り各ウエアラブルセンサ１０１の装着位置が動かないようにすることが望ましい。

なお、以下、図１及び図３のＡに示されるように、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５をユーザの頭部、両手、及び、両足に装着した場合を例に挙げて説明する。

＜演出システムの機能の構成例＞
図４は、演出システム１００の機能の構成例を示している。

演出システム１００は、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５、通信部１５１、センサ同期部１５２、モーション解析部１５３、演出制御部１５４、照明機器１５５、映像機器１５６、及び、音響機器１５７を備える。

通信部１５１は、各ウエアラブルセンサ１０１から通信パケットを受信し、センサ同期部１５２に供給する。

センサ同期部１５２は、各ウエアラブルセンサ１０１からの通信パケットに含まれる動き検出データの同期を取ることにより、各検出ポイントの動き検出データの時間差を吸収する。センサ同期部１５２は、同期を取った後の各動き検出データをモーション解析部１５３に供給する。

モーション解析部１５３は、例えば、図１の解析用計算機１０２により実現され、ユーザのモーション解析を行う。モーション解析部１５３は、モーションリズム認識部１６１、モーションＢＰＭ（Beats Per Minute）認識部１６２、及び、モーション認識部１６３を備える。

モーションリズム認識部１６１は、各ウエアラブルセンサ１０１からの動き検出データに基づいて、ユーザの動きのリズムを示すモーションリズムの認識処理を行う。モーションリズム認識部１６１は、ユーザのモーションリズムの認識結果を示すデータを演出制御部１５４に供給する。

モーションＢＰＭ認識部１６２は、各ウエアラブルセンサ１０１からの動き検出データに基づいて、ユーザの動きの基本周波数を示すモーションＢＰＭの認識処理を行う。モーションＢＰＭ認識部１６２は、ユーザのモーションＢＰＭの認識結果を示すデータを演出制御部１５４に供給する。

モーション認識部１６３は、各ウエアラブルセンサ１０１からの動き検出データに基づいて、ユーザのモーションの認識処理を行う。モーション認識部１６３は、ユーザのモーションの認識結果を示すデータを演出制御部１５４に供給する。

演出制御部１５４は、例えば、図１の制御用計算機１０３により実現され、照明機器１５５、映像機器１５６、及び、音響機器１５７によるユーザのパフォーマンスの演出の制御を行う。演出制御部１５４は、照明制御部１７１、映像制御部１７２、及び、音響制御部１７３を備える。

照明制御部１７１は、ユーザのモーションリズム、モーションＢＰＭ、及び、モーション等に基づいて、照明機器１５５による演出を制御するための照明演出制御データを生成し、照明機器１５５に送信する。

映像制御部１７２は、ユーザのモーションリズム、モーションＢＰＭ、及び、モーション等に基づいて、映像機器１５６による演出を制御するための映像演出制御データを生成し、映像機器１５６に送信する。

音響制御部１７３は、ユーザのモーションリズム、モーションＢＰＭ、及び、モーション等に基づいて、音響機器１５７による演出を制御するための音響演出制御データを生成し、音響機器１５７に送信する。

照明機器１５５は、例えば、各種のライトや光源等により構成される。照明機器１５５は、照明演出制御データに基づいて、照明制御部１７１の制御の下に、各種の光を出力することにより、照明演出を行う。

映像機器１５６は、例えば、プロジェクタやモニタ等により構成される。映像機器１５６は、映像演出制御データに基づいて、映像制御部１７２の制御の下に、各種の映像を出力することにより、映像演出を行う。

音響機器１５７は、例えばミキサーやスピーカ等により構成される。音響機器１５７は、音響演出制御データに基づいて、音響制御部１７３の制御の下に、各種の音を出力することにより、音響演出を行う。

＜ウエアラブルセンサ１０１の構成例＞
図５は、図１のウエアラブルセンサ１０１の構成例を示している。また、図６は、ウエアラブルセンサ１０１の各センサの仕様の例を示している。

ウエアラブルセンサ１０１は、ＨＤＲ（High Dynamic Range）加速度センサ２０１、ＬＤＲ（Low Dynamic Range）加速度センサ２０２、ＨＤＲ（High Dynamic Range）ジャイロセンサ２０３、ＬＤＲ（Low Dynamic Range）ジャイロセンサ２０４、地磁気センサ２０５、歪みセンサ２０６、気圧センサ２０７、時刻情報取得部２０８、センサデータ取得部２０９、マージ処理部２１０、姿勢検出部２１１、補正部２１２、バッファ２１３、パケット生成部２１４、送信制御部２１５、及び、送信部２１６を備える。

ＨＤＲ加速度センサ２０１は、ウエアラブルセンサ１０１が装着されている位置（検出ポイント）のピッチ軸（ｘ軸）、ロール軸（ｙ軸）、及び、ヨー軸（ｚ軸）の３軸方向の加速度の検出を行う。例えば、ＨＤＲ加速度センサ２０１は、１０２４Ｈｚのサンプリング周波数で検出ポイントの加速度をサンプリングし、１６ビット×３軸のセンサデータ（以下、ＨＤＲ加速度データと称する）を出力する。

ＬＤＲ加速度センサ２０２は、検出ポイントのピッチ軸、ロール軸、及び、ヨー軸の３軸方向の加速度の検出を行う。例えば、ＬＤＲ加速度センサ２０２は、１０２４Ｈｚのサンプリング周波数で検出ポイントの加速度をサンプリングし、１６ビット×３軸のセンサデータ（以下、ＬＤＲ加速度データと称する）を出力する。

なお、ＨＤＲ加速度センサ２０１の方がＬＤＲ加速度センサ２０２より検出可能な加速度のダイナミックレンジが広い。例えば、ＨＤＲ加速度センサ２０１は±３２Ｇ、ＬＤＲ加速度センサ２０２は±１６Ｇでセンサデータを出力する。

ＨＤＲジャイロセンサ２０３は、検出ポイントのピッチ軸回り、ロール軸回り、及び、ヨー軸回りの３軸回りの角速度の検出を行う。例えば、ＨＤＲジャイロセンサ２０３は、１０２４Ｈｚのサンプリング周波数で検出ポイントの角速度をサンプリングし、１６ビット×３軸のセンサデータ（以下、ＨＤＲ角速度データと称する）を出力する。

ＬＤＲジャイロセンサ２０４は、検出ポイントのピッチ軸回り、ロール軸回り、及び、ヨー軸回りの３軸回りの角速度の検出を行う。例えば、ＬＤＲジャイロセンサ２０４は、１０２４Ｈｚのサンプリング周波数で検出ポイントの角速度をサンプリングし、１６ビット×３軸のセンサデータ（以下、ＬＤＲ角速度データと称する）を出力する。

なお、ＨＤＲジャイロセンサ２０３の方がＬＤＲジャイロセンサ２０４より検出可能な角速度のダイナミックレンジが広い。例えば、ＨＤＲジャイロセンサ２０３は±４０００ｄｐｓ、ＬＤＲジャイロセンサ２０４は±２０００ｄｐｓでセンサデータを出力する。

地磁気センサ２０５は、検出ポイント周辺のピッチ軸、ロール軸、及び、ヨー軸の３軸方向の地磁気の検出を行う。例えば、地磁気センサ２０５は、１２８Ｈｚのサンプリング周波数で検出ポイント周辺の地磁気をサンプリングし、１６ビット×３軸のセンサデータ（以下、地磁気データと称する）を出力する。

歪みセンサ２０６は、検出ポイントのピッチ軸及びロール軸の２軸方向の歪み（例えば、検出ポイントの伸縮等）を検出する。例えば、歪みセンサ２０６は、２５６Ｈｚのサンプリング周波数で検出ポイントの歪みをサンプリングし、１６ビット×２軸のセンサデータ（以下、歪みデータと称する）を出力する。

気圧センサ２０７は、検出ポイント周辺の気圧を検出する。例えば、検出ポイント周辺の気圧に基づいて、検出ポイントの高さ方向の位置が検出される。例えば、気圧センサ２０７は、１２８Ｈｚのサンプリング周波数で検出ポイント周辺の気圧をサンプリングし、２４ビットのセンサデータ（以下、気圧データと称する）を出力する。

時刻情報取得部２０８は、例えば時計等により構成され、現在時刻を示す時刻情報を取得し、センサデータ取得部２０９に供給する。

センサデータ取得部２０９は、ＨＤＲ加速度センサ２０１、ＬＤＲ加速度センサ２０２、ＨＤＲジャイロセンサ２０３、及び、ＬＤＲジャイロセンサ２０４からそれぞれＨＤＲ加速度データ、ＬＤＲ加速度データ、ＨＤＲ角速度データ、及び、ＬＤＲ角速度データを取得し、取得したデータに取得した時刻を付加してマージ処理部２１０に供給する。また、センサデータ取得部２０９は、地磁気センサ２０５から地磁気データを取得し、取得したデータに取得した時刻を付加して姿勢検出部２１１に供給する。さらに、センサデータ取得部２０９は、歪みセンサ２０６及び気圧センサ２０７からそれぞれ歪みデータ及び気圧データを取得し、取得したデータに取得した時刻を付加して補正部２１２に供給する。

マージ処理部２１０は、ＨＤＲ加速度データとＬＤＲ加速度データのマージ処理、及び、ＨＤＲ角速度データとＬＤＲ角速度データのマージ処理を行う。マージ処理部２１０は、マージ後の加速度データ及び角速度データを姿勢検出部２１１及びバッファ２１３に供給する。

姿勢検出部２１１は、加速度データ、角速度データ、及び、地磁気データに基づいて、検出ポイントの姿勢の検出を行う。検出ポイントの姿勢は、例えば、オイラー角により表される。姿勢検出部２１１は、計算結果を示すデータ（以下、姿勢データと称する）をバッファ２１３に供給する。

補正部２１２は、歪みデータ及び気圧データの補正を行い、補正後の歪みデータ及び気圧データをバッファ２１３に供給する。

バッファ２１３は、姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データを一時的に蓄積する。

パケット生成部２１４は、バッファ２１３に蓄積されている姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データを含む動き検出データを送信するための通信パケットを生成し、送信制御部２１５に供給する。

送信制御部２１５は、送信部２１６による通信パケットの送信を制御する。

送信部２１６は、所定の方式の無線通信により通信パケットを通信部１５１に送信する。

なお、図示を省略しているが、ウエアラブルセンサ１０１の各部は、例えば、バッテリにより駆動される。

＜演出システムの処理＞
次に、図７乃至図１８を参照して、演出システム１００の処理について説明する。

＜ウエアラブルセンサ１０１の処理＞
まず、図７のフローチャートを参照して、ウエアラブルセンサ１０１の処理について説明する。

この処理は、例えば、ウエアラブルセンサ１０１の電源がオンされたとき開始され、オフされたとき終了する。

ステップＳ１において、センサデータ取得部２０９は、センサデータの取得を開始する。

具体的には、センサデータ取得部２０９は、ＨＤＲ加速度センサ２０１、ＬＤＲ加速度センサ２０２、ＨＤＲジャイロセンサ２０３、及び、ＬＤＲジャイロセンサ２０４からそれぞれＨＤＲ加速度データ、ＬＤＲ加速度データ、ＨＤＲ角速度データ、及び、ＬＤＲ角速度データを取得し、取得したデータに取得した時刻を付加してマージ処理部２１０に供給する処理を開始する。また、センサデータ取得部２０９は、地磁気センサ２０５から地磁気データを取得し、取得したデータに取得した時刻を付加して姿勢検出部２１１に供給する処理を開始する。さらに、センサデータ取得部２０９は、歪みセンサ２０６及び気圧センサ２０７からそれぞれ歪みデータ及び気圧データを取得し、取得したデータに取得した時刻を付加して補正部２１２に供給する処理を開始する。

ステップＳ２において、マージ処理部２１０は、加速度データ及び角速度データのマージ処理を開始する。

具体的には、マージ処理部２１０は、ＨＤＲ加速度データとＬＤＲ加速度データをマージし（合成し）、マージ後の加速度データをバッファ２１３に供給し、蓄積させる処理を開始する。

なお、マージ後の加速度データのうち、ＬＤＲ加速度データのダイナミックレンジの範囲内のデータには、ＬＤＲ加速度データに基づくデータが使用され、それ以外の範囲のデータには、ＨＤＲ加速度データに基づくデータが使用される。これにより、マージ後の加速度データにおいて、ＬＤＲ加速度データのダイナミックレンジの範囲内の加速度の検出精度が向上する。

また、マージ処理部２１０は、ＨＤＲ角速度データとＬＤＲ角速度データをマージし（合成し）、マージ後の角速度データをバッファ２１３に供給し、蓄積させる処理を開始する。

なお、マージ後の角速度データのうち、ＬＤＲ角速度データのダイナミックレンジの範囲内のデータには、ＬＤＲ角速度データに基づくデータが使用され、それ以外の範囲のデータには、ＨＤＲ角速度データに基づくデータが使用される。これにより、マージ後の角速度データにおいて、ＬＤＲ角速度データのダイナミックレンジの範囲内の角速度の検出精度が向上する。

ステップＳ３において、姿勢検出部２１１は、姿勢の検出を開始する。具体的には、姿勢検出部２１１は、加速度データ、角速度データ、及び、地磁気データに基づいて、検出ポイントの姿勢を示すピッチ軸回り、ロール軸回り、及び、ヨー軸回りの３軸回りのオイラー角を検出する処理を開始する。また、姿勢検出部２１１は、検出結果を示す姿勢データをバッファ２１３に供給し、蓄積させる処理を開始する。

ステップＳ４において、補正部２１２は、歪みデータ及び気圧データの補正を開始する。例えば、補正部２１２は、歪みデータ及び気圧データのノイズ除去、データサイズの変換等の処理を開始する。また、補正部２１２は、補正後の歪みデータ及び気圧データをバッファ２１３に供給し、蓄積させる処理を開始する。

ステップＳ５において、パケット生成部２１４は、通信パケットを送信するタイミングであるか否かを判定する。この判定処理は、通信パケットを送信するタイミングであると判定されるまで繰り返し実行され、通信パケットを送信するタイミングであると判定された場合、処理はステップＳ６に進む。

なお、例えば、通信パケットは、所定の間隔で送信される。例えば、通信パケットは、１２８Ｈｚの送信頻度で（すなわち、１秒間に１２８回）送信される。この場合、通信パケットに含まれる動き検出データのサンプリング周波数は１２８Ｈｚとなる。

ステップＳ６において、パケット生成部２１４は、通信パケットを生成する。例えば、パケット生成部２１４は、最新の姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データをバッファ２１３から読み出す。また、パケット生成部２１４は、現在時刻を示す時刻情報を時刻情報取得部１３８から取得する。そして、パケット生成部２１４は、バッファ２１３から読み出した姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データを含む通信パケットを生成する。

図８は、パケット生成部２１４により生成される通信パケットのフォーマットの例を示している。通信パケットは、ヘッダ、タイムスタンプ、及び、動き検出データを含む。

タイムスタンプには、例えば、センサデータを取得した時刻が設定される。なお、センサデータを取得した時刻には、例えば、通信パケット内の動き検出データに用いられた各センサデータの取得時刻のうち、最も早い時刻が設定される。また、例えば、動き検出データに含まれる各データの取得タイミングが異なる場合、データ毎にタイムスタンプ（センサデータを取得した時刻）を通信パケットに格納するようにしてもよい。この場合、通信パケットのフォーマットは、例えば、ヘッダ、タイムスタンプ１、動き検出データに含まれるデータ１（例えば、姿勢データ）、タイムスタンプ２、動き検出データに含まれるデータ２（例えば、加速度データ）、・・・のようになる。

動き検出データには、バッファ２１３から読み出された姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データが含まれる。なお、動き検出データは、例えば、所定の方式により暗号化される。

図９は、動き検出データに含まれる各データの仕様例を示している。

姿勢データのサイズは、例えば、１６ビット×３軸とされる。通信パケットの送信頻度が１２８Ｈｚの場合、姿勢データのサンプリング周波数は１２８Ｈｚとなり、ビットレートは６，１４４ｂｐｓ（bit per second）となる。

加速度データのサイズは、例えば、２０ビット×３軸とされる。通信パケットの送信頻度が１２８Ｈｚの場合、加速度データのサンプリング周波数は１２８Ｈｚとなり、ビットレートは７，６８０ｂｐｓとなる。

角速度データのサイズは、例えば、２０ビット×３軸とされる。通信パケットの送信頻度が１２８Ｈｚの場合、角速度データのサンプリング周波数は１２８Ｈｚとなり、ビットレートは７，６８０ｂｐｓとなる。

歪みデータのサイズは、例えば、１６ビット×２軸とされる。通信パケットの送信頻度が１２８Ｈｚの場合、歪みデータのサンプリング周波数は１２８Ｈｚとなり、ビットレートは４，０９６ｂｐｓとなる。

気圧データのサイズは、例えば、２４ビットとされる。通信パケットの送信頻度が１２８Ｈｚの場合、気圧データのサンプリング周波数は１２８Ｈｚとなり、ビットレートは２，０４８ｂｐｓとなる。

パケット生成部２１４は、通信パケットを送信制御部２１５に供給する。また、パケット生成部２１４は、通信パケットにより送信する各データ、及び、それより古いデータをバッファ２１３から削除する。

ステップＳ７において、送信部２１６は、送信制御部２１５の制御の下に、通信パケットを通信部１５１に送信する。

その後、処理はステップＳ５に戻り、ステップＳ５以降の処理が実行される。

＜モーション解析処理＞
次に、図１０のフローチャートを参照して、図７のウエアラブルセンサ１０１の処理に対応してモーション解析部１５３により実行されるモーション解析処理について説明する。

この処理は、例えば、解析用計算機１０２の電源がオンされたとき開始され、オフされたとき終了する。

ステップＳ３１において、モーション解析部１５３は、モーション解析を開始する。

具体的には、モーションリズム認識部１６１は、例えば、事前の学習処理により得られたモーションリズム認識用モデルを用いて、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から供給される動き検出データに基づいて、ユーザのモーションリズムの認識処理を開始する。

例えば、モーションリズム認識部１６１は、ユーザがモーションリズム（動きのリズム）をとったタイミングを検出する処理を開始する。

なお、図１１は、音楽のビートとモーションリズムの違いを簡単に示している。上のグラフは音楽のビートの例を示し、下のグラフはモーションリズムの例を示している。

音楽のビートは、同じ楽曲内ではほとんど変化せず、略一定の間隔で規則的に刻まれる。これに対して、モーションリズムは、音楽のビートと同期する（音楽のビートにのる）ことも多いが、ビートとは異なるタイミングであって、楽曲からは分からない任意のタイミングでとられることも多い。

例えば、モーションリズムは、ユーザの動きのアクセントにより表される。また、ユーザの動きのアクセントは、例えば、ユーザの動きの向き、スピード、及び、パターンの変化により表される。例えば、ダンスにおいてモーションリズムをとる動きの例として、以下が挙げられる。

・体幹を上下させたり、左右に揺らしたりする。
・一時静止してポーズをとる。
・首、手、又は、足の運動方向を素早く切り替える。
・ターンする。
・手を周期的に動かす。
・ステップを踏む。
・ヘッドバンギングを行う。
・指を鳴らす。
・指でカウントをとる。
・急な動きをとる。

上記の動きにおいて、向き、スピード、又は、パターンが変化するタイミング、例えば、ユーザが動きを止めたり、動きの向きを変えたり、又は、動き出したりするタイミングが、ユーザがモーションリズムをとるタイミングとなる。

ただし、ユーザの動きの向き、スピード、及び、パターンが変化する全てのタイミングで、ユーザがモーションリズムをとっているとは限らない。例えば、ヘッドバンギングでは、頭が上下に揺らされるが、頭を上及び下で止める両方のタイミングで、モーションリズムがとられる場合もあるし、いずれか一方のタイミングでのみ、モーションリズムがとられる場合もある。

また、例えば、モーションリズム認識部１６１は、ユーザがモーションリズムをとった間隔（モーションリズムの発火間隔）の移動平均の算出を開始する。

さらに、例えば、モーションリズム認識部１６１は、ユーザのモーションリズムの強さ（ユーザの動きのリズムの強さ）を示すリズム度を検出し、検出したリズム度を示すリズム度データを演出制御部１５４に供給する処理を開始する。リズム度は、例えば、ユーザの動きのアクセントの強さにより表される。

ここで、図１２を参照して、モーションリズム認識モデルの生成方法の例について説明する。

例えば、各ウエアラブルセンサ１０１を装着したユーザが、クリック音に合わせてリズムをとりながら踊る。すなわち、ユーザは踊りながら、クリック音が鳴動するタイミングでリズムをとる。クリック音の間隔は、一定でもよいし、一定でなくてもよい。そして、そのクリック音が正解データとしてディープニューラルネットワークに入力される。すなわち、クリック音が鳴動したタイミングが、ユーザがモーションリズムをとったタイミングを示す正解データとして、ディープニューラルネットに与えられる。

一方、各ウエアラブルセンサ１０１の加速度データ（図内のＡｃｃ）のノルム及び角速度データ（図内のＧｙｒｏ）のノルムが、所定のサンプル（例えば、ｘサンプル）幅のフレームを時間軸方向にシフトしながら、フレーム単位で抽出される。そして、抽出されたフレーム内の各ウエアラブルセンサ１０１の加速度データのノルム及び角速度データのノルムの同期がとられ、同期後のデータがディープニューラルネットワークに入力される。

ここで、ノルムとは、加速度データ又は角速度データのベクトルの大きさのことである。

そして、ディープニューラルネットワークを用いた学習処理により、ユーザのモーションリズムを認識するためのモーションリズム認識モデルが生成される。

なお、この例では、モーションリズム認識モデルが、モーションリズムがとられた否かを示す１又は０の離散値を出力する例を示しているが、リズム度（連続値）を出力するようにしてもよい。また、例えば、モーションリズム認識モデルが、認識結果の信頼度も出力するようにしてもよい。

モーションＢＰＭ認識部１６２は、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から供給される動き検出データに基づいて、ユーザのモーションＢＰＭの認識処理を開始する。

ここで、モーションＢＰＭは、例えば、ユーザの動きの基本周波数により表される。例えば、加速度データ又は角速度データの基本周波数がモーションＢＰＭとして検出される。例えば、ユーザが体の上下運動で一定周期のリズムをとっている場合、この一回の上下運動がモーションＢＰＭの一拍に対応する。

従って、モーションリズムは、不規則に観測されるユーザの運動を表し、モーションＢＰＭは、長期的にユーザの動きを観測したときの周期的運動を表す。

なお、一般的なＢＰＭは楽曲により決まる。一方、ユーザが楽曲に合わせて踊る場合、楽曲のＢＰＭを２倍、１／２倍等に自分で変化させて、その速度に合わせて踊る場合がある。そのため、同じ楽曲でも、ユーザの動きが速くなったり、遅くなったりする。従って、モーションＢＰＭは、楽曲のＢＰＭとは必ずしも一致せず、同じ楽曲内でも変化する場合がある。

モーション認識部１６３は、例えば、事前の学習処理により得られたモーション認識用モデルを用いて、通信部１５１及びセンサ同期部１５２を介して、各ウエアラブルセンサ１０１から供給される動き検出データに基づいて、ユーザのモーションの認識処理を開始する。

ここで、本技術におけるモーションの定義について説明する。なお、この第１の実施の形態では、ユーザのパフォーマンスの演出を行う例を示しているが、本技術におけるモーションはパフォーマンス関連に限定されるものではない。

具体的には、モーションとは、例えば、所定の分類に基づく、ユーザ（人）の行動を構成する動きの単位のことである。従って、モーションは、行動よりも短時間のユーザの動きとなる。また、モーションは、ユーザの全身の動きであってもよいし、ユーザの体の一部の動きであってもよい。

一方、行動とは、所定の分類に基づく、一連のモーションの集合体であり、複数のモーションの組み合わせからなる。例えば、所定の目的を達成するための一連のモーションの集合体が行動となる。

なお、本技術において、行動及びモーションの分類は、任意に設定したり変更したりすることが可能である。例えば、ダンス、アイススケート、ラグビー、トライアスロン、水泳、登山等のスポーツの種目に基づいて、モーションを認識する対象となる行動が分類される。この場合、例えば、体操総合のように複数の種目を組み合わせたスポーツを、１つの行動とみなすことも可能である。

また、例えば、通勤、運転、仕事、勉強、育児、睡眠、料理、食べる、ＴＶを観る、歌う、演奏する、撮影する等の日常生活の行動に基づいて、モーションを認識する対象となる行動が分類される。

一方、例えば、ダンスという行動に対して、スライド、ジャーク、ビズマーキー等のダンスの技に基づいて、認識対象となるモーションが分類される。或いは、ダンスという行動に対して、回転、跳躍、ステップ、横揺れ、縦揺れ等のダンスの動きに基づいて、認識対象となるモーションが分類される。なお、ダンスの技及び動きの両方に基づいて、認識対象となるモーションが分類されてもよい。

例えば、フィギュアスケートという行動に対して、アクセル、ルッツ、サルコウ等のフィギュアスケートの技に基づいて、認識対象となるモーションが分類される。或いは、フィギュアスケートという行動に対して、滑る、回転する、跳ぶ、ステップする等のフィギュアスケートの動きに基づいて、認識対象となるモーションが分類される。なお、フィギュアスケートの技及び動きの両方に基づいて、認識対象となるモーションが分類されてもよい。

例えば、ラグビーという行動に対して、スクラム、トライ、ラン、パス、タックル等のラグビー特有の動きに基づいて、認識対象となるモーションが分類される。或いは、例えば、ラグビーという行動に対して、走る、跳ぶ、投げる、捕る、ぶつかる等の一般的な動きに基づいて、認識対象となるモーションが分類される。なお、ラグビー特有の動き及び一般的な動きの両方に基づいて、認識対象となるモーションが分類されてもよい。

例えば、水泳という行動に対して、クロール、平泳ぎ、バタフライ、背泳ぎ等の水泳の泳法に基づいて、認識対象となるモーションが分類される。或いは、例えば、水泳という行動に対して、飛び込み、ターン、息継ぎ、キック等の水泳の動きに基づいて、認識対象となるモーションが分類される。なお、水泳の泳法及び動きの両方に基づいて、認識対象となるモーションが分類されてもよい。

例えば、トライアスロンという行動に対して、スイミング、サイクリング、ランニングのトライアスロンの種目に基づいて、認識対象となるモーションが分類される。

例えば、体操総合という行動に対して、あん馬、床、吊り輪等の体操の種目に基づいて、認識対象となるモーションが分類される。

例えば、通勤という行動に対して、歩く、休む、電車に乗る、階段を登る等の通勤時の動きに基づいて、認識対象となるモーションが分類される。

例えば、運転という行動に対して、アクセル、ブレーキ、ギア変更、後方確認等の運転時の動きに基づいて、認識対象となるモーションが分類される。

例えば、仕事という行動に対して、話す、聞く、書く、電話、ＰＣを使う、打合せ等の仕事時の動きに基づいて、認識対象となるモーションが分類される。

なお、同じユーザの動きが、分類の違いにより、行動にもモーションにもなり得る。例えば、トライアスロンの各種目（スイミング、サイクリング、ランニング）は、それぞれ単独でモーションを認識する対象となる行動にもなり得る。すなわち、スイミング、サイクリング、又は、ランニングが行動に分類され、各行動に対してモーションの認識処理が行われる場合がある。

また、ユーザの全身のモーションだけでなく、例えば、足のモーション、手のモーション等、ユーザの部位毎のモーションを認識対象としてもよい。

なお、モーション認識部１６３は、基本的には、ユーザのモーションの種類（例えば、モーションの意味情報）までを認識し、各モーションの詳細な動きの認識は行わない。

例えば、ユーザがダンスを行っている場合、図１３及び図１４に示されるように、ポップコーン、スライド、ラコステ、バートシンプソン、フォーシング、ブルックリン、ジャーク、ビズマーキー、ワーム、フロントグルーブ、ジャンプ等のダンスの個々の技の種類が認識される。一方、個々の技における動きの違いまでは認識されない。すなわち、ユーザが同じダンスの技を手足の動きやリズムを変えて行っても、同じダンスの技として認識され、それ以上の違いは認識されない。

このように、所定の分類に基づくユーザのモーションの種類までの認識に限定することにより、ウエアラブルセンサ１０１の装着数を少なくすることができる。その結果、ＣＧ（Computer Graphics）等で用いられる従来のモーションキャプチャシステムと比較して、ユーザの負担を軽減することができる。例えば、ユーザは、ウエアラブルセンサ１０１を装着しても、動きがほとんど制約されずに、ほぼ普段通りの動きをすることが可能になる。

なお、必要に応じて、各モーションの詳細な動きまで認識するようにしてもよい。

ここで、図１５を参照して、モーション認識モデルの生成方法の例について説明する。

例えば、各ウエアラブルセンサ１０１を装着したユーザが、認識対象となる様々なモーションを行う。そして、ユーザが行ったモーションの種類（モーションクラス）が、正解データとしてディープニューラルネットワークに与えられる。

一方、ユーザが各モーションを行ったときの各ウエアラブルセンサ１０１の加速度データ（図内のＡｃｃ）のノルム及び角速度データ（図内のＧｙｒｏ）のノルムが、所定のサンプル（例えば、ｘサンプル）幅のフレームを時間軸方向にシフトしながら、フレーム単位で抽出される。そして、抽出されたフレーム内の加速度データのノルム及び角速度データのノルムの同期がとられ、同期後のデータがディープニューラルネットワークに入力される。

そして、ディープニューラルネットワークを用いた学習処理により、ユーザのモーションを認識するためのモーション認識モデルが生成される。

図１０に戻り、ステップＳ３２において、モーションリズム認識部１６１は、モーションリズムがとられたか否かを判定する。モーションリズムがとられたと判定された場合、処理はステップＳ３３に進む。

ステップＳ３３において、モーションリズム認識部１６１は、リズムタイミングを通知する。すなわち、モーションリズム認識部１６１は、ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータを演出制御部１５４に供給する。

ステップＳ３４において、モーションリズム認識部１６１は、モーションリズムが変化したか否かを判定する。例えば、モーションリズム認識部１６１は、ユーザがモーションリズムをとった間隔の移動平均が所定の閾値以上変化した場合、モーションリズムが変化したと判定し、処理はステップＳ３５に進む。

なお、最初のステップＳ３４の処理では、必ずモーションリズムが変化したと判定され、処理はステップＳ３５に進む。

ステップＳ３５において、モーションリズム認識部１６１は、リズム変化タイミングを通知する。すなわち、モーションリズム認識部１６１は、モーションリズムが変化したタイミングを示すリズム変化タイミングデータを演出制御部１５４に供給する。

その後、処理はステップＳ３６に進む。

一方、ステップＳ３４において、例えば、モーションリズム認識部１６１は、モーションリズムをとった間隔の移動平均が所定の閾値以上変化していない場合、モーションリズムが変化していないと判定し、ステップＳ３５の処理はスキップされ、処理はステップＳ３６に進む。

また、ステップＳ３２において、モーションリズムがとられていないと判定された場合、ステップＳ３３乃至ステップＳ３５の処理はスキップされ、処理はステップＳ３６に進む。

ステップＳ３６において、モーションＢＰＭ認識部１６２は、モーションＢＰＭが変化したか否かを判定する。例えば、モーションＢＰＭ認識部１６２は、モーションＢＰＭの変化量が所定の閾値以上である場合、モーションＢＰＭが変化したと判定し、処理はステップＳ３７に進む。

なお、最初のステップＳ３６の処理では、必ずモーションＢＰＭが変化したと判定され、処理はステップＳ３７に進む。

ステップＳ３７において、モーションＢＰＭ認識部１６２は、モーションＢＰＭを通知する。すなわち、モーションＢＰＭ認識部１６２は、検出したモーションＢＰＭを示すモーションＢＰＭデータを演出制御部１５４に供給する。

その後、処理はステップＳ３８に進む。

一方、ステップＳ３６において、例えば、モーションＢＰＭ認識部１６２は、モーションＢＰＭの変化量が所定の閾値未満である場合、モーションＢＰＭが変化していないと判定し、ステップＳ３７の処理はスキップされ、処理はステップＳ３８に進む。

ステップＳ３８において、モーション認識部１６３は、モーションを検出したか否かを判定する。モーションを検出したと判定された場合、処理はステップＳ３９に進む。

ステップＳ３９において、モーション認識部１６３は、モーションの種類を通知する。すなわち、モーション認識部１６３は、検出したモーションの種類を示すモーションデータを演出制御部１５４に供給する。

なお、モーションの種類を通知するタイミングは、例えば、モーションが完了したタイミングとされる。例えば、図１６に示されるように、ユーザがジャンプした場合、ユーザが着地後に立ち上がった時点で、モーションの種類が通知される。

その後、処理はステップＳ３２に戻り、ステップＳ３２以降の処理が実行される。

一方、ステップＳ３８において、モーションを検出していないと判定された場合、処理はステップＳ３２に戻り、ステップＳ３２以降の処理が実行される。

＜演出制御処理＞
次に、図１７のフローチャートを参照して、図１０のモーション解析処理に対応して演出制御部１５４により実行される演出制御処理について説明する。

この処理は、例えば、制御用計算機１０３の電源がオンされたとき開始され、オフされたとき終了する。

ステップＳ６１において、演出制御部１５４は、モーション解析結果を取得する。具体的には、演出制御部１５４は、リズム度データ、リズムタイミングデータ、リズム変化タイミングデータ、モーションＢＰＭデータ、又は、モーションデータをモーション解析部１５３から取得する。

ステップＳ６２において、演出制御部１５４は、モーション解析結果に基づいて、演出制御を行う。

ここで、図１８を参照して、演出方法の具体例について説明する。

まず、ユーザがモーションリズムをとったタイミングにおける演出方法の例について説明する。

例えば、照明制御部１７１は、照明機器１５５を強めに光らせる。このとき、照明制御部１７１は、リズム度に基づいて光量を調整するようにしてもよい。

例えば、照明制御部１７１は、照明機器１５５の照明方向を変化させる。例えば、照明制御部１７１は、照明機器１５５の照明方向を左右や上下等に振らせる。このとき、照明制御部１７１は、リズム度に基づいて照明方向を変化させる速度を調整するようにしてもよい。

例えば、映像制御部１７２は、映像機器１５６から出力される映像に対してエフェクトをかける。このとき、映像制御部１７２は、リズム度に基づいてエフェクトの種類や強さを調整するようにしてもよい。

例えば、音響制御部１７３は、音響機器１５７により効果音を鳴動させる。このとき、音響制御部１７３は、リズム度に基づいて効果音の種類や強さを調整するようにしてもよい。

次に、ユーザのモーションリズムが変化するタイミングにおける演出方法の例について説明する。

例えば、照明制御部１７１は、照明機器１５５のカラーテーマを変えたり、発光パターンを切り替えたりする。

例えば、映像制御部１７２は、映像機器１５６から出力される映像のカラーテーマを変えたり、映像を切り替えたり、映像のカットチェンジを行ったりする。

例えば、音響制御部１７３は、音響機器１５７から出力されるＢＧＭ（Back Ground Music）を切り替える。また、例えば、音響制御部１７３は、音響機器１５７から出力されるビートパターンを切り替える。さらに、例えば、音響制御部１７３は、音響機器１５７により効果音を鳴動させる。

次に、ユーザのモーションＢＰＭによる演出方法の例について説明する。

例えば、照明制御部１７１は、モーションＢＰＭに基づいて、照明機器１５５から出力される光の定期的な明滅のタイミングを調整する。例えば、照明制御部１７１は、照明機器１５５から出力される光の定期的なタイミングをモーションＢＰＭに合わせる。

例えば、映像制御部１７２は、モーションＢＰＭに基づいて、映像機器１５６から出力されるアバターのアニメーションの速度を調整する。例えば、映像制御部１７２は、アバターのアニメーションの速度をモーションＢＰＭに合わせる。

例えば、音響制御部１７３は、音響機器１５７からモーションＢＰＭと同じＢＰＭのビートパターンを出力させる。また、例えば、音響制御部１７３は、音響機器１５７から出力される楽曲のＢＰＭを調整する。例えば、音響制御部１７３は、楽曲のＢＰＭをモーションＢＰＭに合わせる。

次に、ユーザのモーションによる演出方法の例について説明する。

例えば、照明制御部１７１は、モーションが行われたタイミングで照明機器１５５を派手に光らせる。このとき、照明制御部１７１は、モーションの種類や強さに基づいて、光の色や強さを調整するようにしてもよい。

例えば、照明制御部１７１は、モーションが行われたタイミングで照明機器１５５のカラーテーマを変える。このとき、照明制御部１７１は、モーションの種類や強さに基づいて、カラーテーマを選択するようにしてもよい。

例えば、照明制御部１７１は、モーションが行われたタイミングで照明機器１５５の発光パターンを切り替える。このとき、照明制御部１７１は、モーションの種類や強さに基づいて、発光パターンを選択するようにしてもよい。

例えば、映像制御部１７２は、モーションが行われたタイミングで映像機器１５６から出力される映像に対してエフェクトをかける。このとき、映像制御部１７２は、モーションの種類や強さに基づいて、エフェクトの種類や強さを調整するようにしてもよい。

例えば、映像制御部１７２は、モーションが行われたタイミングで、映像機器１５６から出力されるアバターにモーションと関連性のあるアニメーションを割り当てる。例えば、映像制御部１７２は、アバターにユーザと同じモーションをさせる。

例えば、映像制御部１７２は、モーションが行われたタイミングで、映像機器１５６からモーションと関連性のあるパーティクル表現を出力させる。

例えば、映像制御部１７２は、モーションが行われたタイミングで、映像機器１５６から出力される映像のカットチェンジを行う。

例えば、音響制御部１７３は、音響機器１５７により効果音を鳴動させる。このとき、音響制御部１７３は、モーションの種類や強さに基づいて効果音の種類や強さを調整するようにしてもよい。

図１７に戻り、その後、処理はステップＳ６１に戻り、ステップＳ６１以降の処理が実行される。

以上のようにして、ユーザのパフォーマンス中に、ユーザのモーションリズム、リズム度、モーションＢＰＭ、又は、モーションに合わせて効果的な演出を行うことができる。また、例えば、音楽を流さずにユーザがパフォーマンスを行う場合にも、ユーザの動きのみに基づいて、効果的な演出を行うことができる。

＜第１の実施の形態の変形例＞
以上の説明では、１人のユーザによるパフォーマンスの演出を行う例を示したが、本技術は、複数のユーザによるパフォーマンスの演出を行う場合にも適用できる。

この場合、例えば、各ユーザに対して、図４のウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５、通信部１５１、及び、センサ同期部１５２が設けられる。なお、通信部１５１及びセンサ同期部１５２は、複数のユーザ間で共有することも可能である。そして、例えば、各ユーザのモーションリズム、リズム度、モーションＢＰＭ、又は、モーションに基づいて、上述した方法により演出制御が行われる。

また、モーションリズム認識部１６１は、モーションリズムを長期的に観測することにより、繰り返し出現するモーションリズムのパターンを認識するようにしてもよい。そして、モーションリズムのパターンを用いて、演出制御が行われるようにしてもよい。

さらに、例えば、モーションリズム認識モデル及びモーション認識モデルに、生の加速度データや角速度データを入力する代わりに、加速度データや角速度データを人体の骨格情報に変換して入力するようにしてもよい。ここで、骨格情報とは、例えば、人体の各関節の位置や姿勢により表される。

また、例えば、機械学習を用いずにモーションリズム認識部１６１を構築することも可能である。

例えば、モーションリズム認識部１６１が、加速度データのノルムが所定の閾値を超えた場合に、ユーザがモーションリズムをとっていると認識するようにしてもよい。また、例えば、モーションリズム認識部１６１が、加速度データのノルムが極小になるタイミングを検出し、そのタイミングでユーザがモーションリズムをとっていると認識するようにしてもよい。加速度データのノルムが極小になるタイミングとして、例えば、ユーザの動きが静止しているタイミングが想定される。

なお、この機械学習を用いない例において、ユーザが複数のウエアラブルセンサ１０１を装着している場合、例えば、各ウエアラブルセンサ１０１の加速度データの平均値又は最大値等が用いられる。

また、本技術において、パフォーマンスの演出は、必ずしもパフォーマンスが行われているステージや客席に対して行われるとは限らない。例えば、各観客がＡＲ（Augmented Reality）を用いた眼鏡型のウエアラブルデバイスを介してパフォーマンスを見ている場合、各観客のウエアラブルデバイスの映像や音声を制御することにより演出が行われるようにしてもよい。

＜＜２．第２の実施の形態＞＞
次に、図１９乃至図２３を参照して、本技術の第２の実施の形態について説明する。

＜シンク評価システム３００の機能の構成例＞
図１９は、本技術を適用したシンク評価システム３００の機能の構成例を示している。なお、図中、図４と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。

シンク評価システム３００は、複数のユーザの動きのリズムの一致度を示すシンク度を評価するシステムである。換言すれば、シンク評価システム３００は、複数のユーザの間の動きのリズムの一致度（同期レベル）を評価するシステムである。

シンク評価システム３００は、モーション解析処理部３０１－１乃至モーション解析処理部３０１－ｎ、シンク度検出部３０２、及び、提示機器３０３を備える。

モーション解析処理部３０１－１乃至モーション解析処理部３０１－ｎは、シンク評価の対象となる各ユーザに対してそれぞれ設けられる。

なお、以下、モーション解析処理部３０１－１乃至モーション解析処理部３０１－ｎを個々に区別する必要がない場合、単にモーション解析処理部３０１と称する。

各モーション解析処理部３０１は、それぞれウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５、通信部１５１、センサ同期部１５２、及び、モーションリズム認識部１６１を備える。

モーションリズム認識部１６１は、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から取得した動き検出データに基づいて、ユーザのモーションリズムの認識処理を行う。モーションリズム認識部１６１は、ユーザのモーションリズムの認識結果を示すデータをシンク度検出部３０２に供給する。

シンク度検出部３０２は、ユーザ間のモーションリズムのシンク度を検出する。シンク度検出部３０２は、検出したシンク度を示すデータを提示機器３０３に供給する。

提示機器３０３は、映像、音、光、振動等によりユーザ間のモーションリズムのシンク度の提示を行う。

なお、通信部１５１、センサ同期部１５２、及び、モーションリズム認識部１６１は、必ずしもモーション解析処理部３０１毎に設ける必要はなく、複数のモーション解析処理部３０１間で共有するようにしてもよい。

＜シンク評価処理＞
次に、図２０のフローチャートを参照して、シンク評価システム３００により実行されるシンク評価処理について説明する。

この処理は、例えば、シンク評価システム３００に処理の開始の指令が入力されたとき開始され、処理の終了の指令が入力されたとき終了する。

ステップＳ１０１において、各モーション解析処理部３０１は、各ユーザのモーションリズムを認識する。具体的には、各モーションリズム認識部１６１は、上述した図１０のステップＳ３１と同様の処理により、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から供給される動き検出データに基づいて、各ユーザのモーションリズムの認識処理を行う。そして、各モーションリズム認識部１６１は、各ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータ及びリズム度を示すリズム度データをシンク度検出部３０２に供給する。

ステップＳ１０２において、シンク度検出部３０２は、シンク度を検出する。

ここで、図２１乃至図２３を参照して、シンク度の検出方法の例について説明する。

まず、図２１を参照して、ユーザＡとユーザＢがモーションリズムをとったタイミングの相関関係に基づいて、２人のユーザ間のシンク度を検出する例について説明する。

例えば、シンク度検出部３０２は、ユーザＡがモーションリズムをとったタイミング、及び、ユーザＢがモーションリズムをとったタイミングを古いものから順に時系列に並べる。例えば、下記のRhythm_Aは、ユーザＡがモーションリズムをとった時刻を時系列に並べた行列であり、Rhythm_Bは、ユーザＢがモーションリズムをとった時刻を時系列に並べた行列である。

Rhythm_A＝［0.342, 0.628, 1.391,・・・］
Rhythm_B＝［0.322, 0.839, 1.458,・・・］

次に、シンク度検出部３０２は、Rhythm_Aの各要素とRhythm_Bの各要素のうち、時刻が近いもの同士をペアリングする。これにより、（rhythm_a, rhythm_b）のペアからなる配列Rhythm_Pairが得られる。なお、rhythm_aはRhythm_Aの要素を示し、rhythm_bはRhythm_Bの要素を示している。

図２１は、配列Rhythm_Pairを構成する各ペアをグラフにプロットしたものである。横軸は、ユーザＡがモーションリズムをとった時刻を示し、縦軸は、ユーザＢがモーションリズムをとった時刻を示している。

次に、シンク度検出部３０２は、配列Rhythm_Pairのrhythm_aとrhythm_bとの間の相関係数を計算する。そして、シンク度検出部３０２は、計算した相関係数を、ユーザＡとユーザＢの間のリズムタイミングのシンク度として用いる。

なお、ユーザが３人以上の場合においても、各ユーザ間の相関係数に基づいて、全ユーザ間のシンク度を検出することが可能である。例えば、２人ずつの各ユーザ間の相関係数を計算し、計算した相関係数の平均値を全ユーザ間のシンク度として検出することが可能である。

次に、図２２及び図２３を参照して、ユーザＡとユーザＢのリズム度に基づいて、シンク度を検出する例について説明する。

図２２は、ユーザＡとユーザＢのリズム度の例を示すグラフである。横軸は時間を示し、縦軸はリズム度を示している。また、実線のグラフはユーザＡのリズム度を示し、点線のグラフはユーザＢのリズム度を示している。

そして、シンク度検出部３０２は、次式（１）により、ユーザＡとユーザＢのリズム度の相互相関を計算する。

なお、式（１）のｆはユーザＡのリズム度を示す関数を示し、ｇはユーザＢのリズム度を示す関数を示している。また、ｍはシフト量を示している。

図２３は、ユーザＡとユーザＢのリズム度の相互相関の例を示している。横軸はシフト量ｍを示し、縦軸は相互相関を示している。

例えば、シンク度検出部３０２は、ユーザＡとユーザＢのリズム度の相互相関の最大値を、ユーザＡとユーザＢのモーションリズムのシンク度として求める。例えば、図２３の例では、点線の丸で囲まれた部分の相互相関のピーク値が、ユーザＡとユーザＢのモーションリズムのシンク度とされる。

また、例えば、シンク度検出部３０２は、ユーザＡとユーザＢのリズム度の相互相関が最大となるときのシフト量ｍを、ユーザＡとユーザＢの間のモーションリズムのズレとして検出することが可能である。

なお、ユーザが３人以上の場合においても、各ユーザ間の相互相関に基づいて、全ユーザ間のシンク度を検出することが可能である。例えば、２人ずつの各ユーザ間の相互相関を計算し、計算した相互相関の平均値を全ユーザ間のシンク度として検出することが可能である。

シンク度検出部３０２は、検出したシンク度を示すシンク度データを提示機器３０３に供給する。

ステップＳ１０３において、提示機器３０３は、シンク度の提示を行う。

なお、シンク度の提示方法には、任意の方法を用いることができる。例えば、提示機器３０３は、映像や音声により、具体的なシンク度の数値を提示する。また、例えば、提示機器３０３は、効果音の種類、音量、若しくは、スピード、光の強さ若しくは色、又は、振動の強さ又は速さにより、シンク度を提示する。

その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。

以上のようにして、複数のユーザ間のモーションリズムのシンク度を正確かつ容易に検出することができる。

また、例えば、各ユーザに対してリアルタイムにシンク度を提示することにより、各ユーザがシンク度を高めるように、ダンス等のパフォーマンスを改善することができる。

＜第２の実施の形態の変形例＞
例えば、各ユーザの部位（例えば、頭、手、足、腰等）毎にモーションリズムを認識し、複数のユーザの部位間のモーションリズムのシンク度を検出するようにしてもよい。

また、例えば、上述した第１の実施の形態において、各ユーザが参加するパフォーマンスの演出制御にシンク度を用いるようにしてもよい。ここで、各ユーザが参加するパフォーマンスには、各ユーザがパフォーマとして参加する場合と、各ユーザが観客として参加する場合がある。

各ユーザがパフォーマとしてパフォーマンスに参加する場合、例えば、各パフォーマのシンク度が所定の閾値を超えた場合、又は、所定の時間内にシンク度が基準値を超えた回数（発火頻度）が所定の閾値を超えた場合、各種の演出が行われる。

一方、各ユーザが観客としてパフォーマンスに参加する場合、例えば、各観客にウエアラブルセンサ１０１が装着される。そして、例えば、各観客のモーションリズムのシンク度が所定の閾値を超えた場合、又は、所定の時間内にシンク度の発火頻度が所定の閾値を超えた場合、各種の演出が行われる。

また、例えば、各ユーザが参加するパフォーマンスの演出制御に、シンク度の代わりに、或いは、シンク度に加えて、各ユーザのリズム度を用いるようにしてもよい。

各ユーザがパフォーマとしてパフォーマンスに参加する場合、例えば、各パフォーマのリズム度の総和が所定の閾値を超えた場合、又は、所定の時間内に各パフォーマのリズム度の総和が所定の基準値を超えた回数（発火頻度）が所定の閾値を超えた場合、各種の演出が行われる。

一方、各ユーザが観客としてパフォーマンスに参加する場合、例えば、各観客のリズム度の総和が所定の閾値を超えた場合、又は、所定の時間内に各観客のリズム度の発火頻度が所定の閾値を超えた場合、各種の演出が行われる。

なお、観客のシンク度やリズム度に基づいてパフォーマンスの演出を行うことにより、会場の一体感や盛り上がりを演出に反映することができる。その結果、さらに会場の一体感や盛り上がりを高めることができる。

＜＜３．第３の実施の形態＞＞
次に、図２４乃至図３０を参照して、本技術の第３の実施の形態について説明する。

＜撮影システム４００のハードウエアの構成例＞
図２４は、本技術を適用した撮影システム４００のハードウエアの構成例を示している。なお、図中、図１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。

撮影システム４００は、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５、計算機４０１、表示機器４０２、及び、撮影部４０３を備える。

各ウエアラブルセンサ１０１は、動き検出データを含む通信パケットを計算機４０１に送信する。

計算機４０１は、動き検出データに基づいて、撮影部４０３によるユーザの撮影を制御し、撮影の結果得られた画像を受信する。また、計算機４０１は、撮影されたユーザの画像の表示機器４０２による表示を制御する。

表示機器４０２は、例えば、プロジェクタ、モニタ等を備え、計算機４０１の制御の下に、画像の表示を行う。

撮影部４０３は、１以上のカメラを備える。撮影部４０３は、計算機４０１の制御の下に、ユーザの撮影を行い、撮影の結果得られた画像を計算機４０１に送信する。

なお、各ウエアラブルセンサ１０１と計算機４０１との間の通信には、例えば、任意の方式の低遅延の近距離無線通信が採用される。近距離無線通信を採用することにより、ウエアラブルセンサ１０１の消費電力を削減するとともに、ウエアラブルセンサ１０１を小型化することが可能になる。

計算機４０１と撮影部４０３との間の通信には、例えば、任意の方式の無線通信が採用される。

なお、例えば、計算機４０１と表示機器４０２を１つのデバイスにより構成したり、計算機４０１と撮影部４０３を１つのデバイスにより構成したりしてもよい。また、例えば、計算機４０１、表示機器４０２、及び、撮影部４０３を１つのデバイスにより構成してもよい。

＜撮影システム４００の機能の構成例＞
図２５は、撮影システム４００の機能の構成例を示している。

なお、図中、図１９及び図２４と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。

撮影システム４００は、モーション解析処理部３０１、表示機器４０２、撮影部４０３、撮影制御部４５１、記憶部４５２、及び、表示制御部４５３を備える。モーション解析処理部３０１は、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５、通信部１５１、センサ同期部１５２、及び、モーションリズム認識部１６１を備える。

モーションリズム認識部１６１は、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から取得した動き検出データに基づいて、ユーザのモーションリズムの認識処理を行う。モーションリズム認識部１６１は、ユーザのモーションリズムの認識結果を示すデータを撮影制御部４５１に供給するとともに、記憶部４５２に記憶させる。

撮影制御部４５１は、撮影部４０３の撮影の制御を行う。例えば、撮影制御部４５１は、ユーザのモーションリズムの認識結果に基づいて、撮影部４０３の撮影タイミングを制御する。

撮影部４０３は、撮影の結果得られた画像を記憶部４５２に記憶させる。

表示制御部４５３は、ユーザのモーションリズムの認識結果に基づいて、記憶部４５２に記憶されている画像の表示機器４０２による表示を制御する。

＜撮影システム４００の処理＞
次に、図２６乃至図３０を参照して、撮影システム４００の処理について説明する。

＜撮影制御処理＞
まず、図２６のフローチャートを参照して、撮影システム４００により実行される撮影制御処理について説明する。

この処理は、例えば、撮影システム４００に撮影の開始の指令が入力されたとき開始される。

ステップＳ２０１において、モーションリズム認識部１６１は、モーションリズムの認識及び記録を開始する。具体的には、モーションリズム認識部１６１は、上述した図１０のステップＳ３１と同様の処理により、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から供給される動き検出データに基づいて、ユーザのモーションリズムの認識処理を開始する。また、モーションリズム認識部１６１は、ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータ及びリズム度を示すリズム度データを記憶部４５２に供給し、記憶させる処理を開始する。

ステップＳ２０２において、図１０のステップＳ３２の処理と同様に、モーションリズムがとられたか否かが判定される。モーションリズムがとられたと判定された場合、処理はステップＳ２０３に進む。

ステップＳ２０３において、撮影システム４００は、撮影を行う。具体的には、モーションリズム認識部１６１は、ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータを撮影制御部４５１に供給する。

撮影部４０３は、撮影制御部４５１の制御の下に、ユーザがモーションリズムをとったタイミングに同期して、ユーザの撮影を行い、撮影の結果得られた画像を記憶部４５２に記憶させる。

ステップＳ２０４において、撮影システム４００は、撮影を終了するか否かを判定する。撮影を終了しないと判定された場合、処理はステップＳ２０２に戻る。

その後、ステップＳ２０４において、撮影を終了すると判定されるまで、ステップＳ２０２乃至ステップＳ２０４の処理が繰り返し実行される。

一方、ステップＳ２０４において、撮影システム４００は、例えば、撮影の終了の指令が入力された場合、撮影を終了すると判定し、撮影制御処理は終了する。

＜表示制御処理＞
次に、図２７のフローチャートを参照して、撮影システム４００により実行される表示制御処理について説明する。

この処理は、例えば、撮影システム４００に画像の表示の指令が入力されたとき開始される。

ステップＳ２３１において、表示制御部４５３は、リズムタイミングに基づいて、表示レイアウトを設定する。

なお、表示レイアウトの具体例については、図２８乃至図３０を参照して後述する。

ステップＳ２３２において、表示制御部４５３は、リズム度に基づいて画像を加工するか否かを判定する。例えば、表示制御部４５３は、リズム度に基づいて画像を加工する設定がオンにされている場合、リズム度に基づいて画像を加工すると判定し、処理はステップＳ２３３に進む。

ステップＳ２３３において、表示制御部４５３は、各画像のエフェクト強度を計算する。具体的には、表示制御部４５３は、記憶部４５２に記憶されているリズム度データに基づいて、各画像の撮影時のユーザのリズム度を検出し、検出したリズム度に基づいて、各画像に適用するエフェクトの強度を計算する。例えば、エフェクト強度は、リズム度に所定の定数を乗じた値に設定される。

ステップＳ２３４において、表示制御部４５３は、計算したエフェクト強度に基づいて、記憶部４５２に記憶されている各画像にエフェクトをかける。

その後、処理はステップＳ２３５に進む。

一方、ステップＳ２３２において、例えば、表示制御部４５３は、リズム度に基づいて画像を加工する設定がオフにされている場合、リズム度に基づいて画像を加工しないと判定し、ステップＳ２３３及びステップＳ２３４の処理はスキップされ、処理はステップＳ２３５に進む。

ステップＳ２３５において、表示機器４０２は、表示制御部４５３の制御の下に、画像を表示する。

その後、表示制御処理は終了する。

ここで、図２８乃至図３０を参照して、この処理で表示機器４０２に表示される表示画面の例について説明する。

図２８は、リズム度に基づいて画像を加工しない場合の表示画面の例を示している。

図２８の表示画面は、画面の上方の画像表示部５０１と、画面の下方の操作部５０２に大きく分かれる。

画像表示部５０１には、ユーザがモーションリズムをとったときの画像（以下、リズムタイミング画像と称する）が、時系列に並べて表示される。この例では、リズムタイミング画像Ｐ１乃至リズムタイミング画像Ｐ４が、左から右に撮影時刻順に並べて表示されている。また、各リズムタイミング画像の間隔は、実際にユーザがモーションリズムをとった時刻の間隔に基づいて調整される。

例えば、リズムタイミング画像Ｐ１乃至リズムタイミング画像Ｐ４のうちいずれかが選択された場合、選択されたリズムタイミング画像が拡大され鮮明に表示される。このとき、例えば、選択されたリズムタイミング画像を保存したり、共有したりできるようにしてもよい。

操作部５０２には、シークバー５１１、スライダ５１２、再生ボタン５１３、早戻しボタン５１４、及び、早送りボタン５１５が表示されている。

スライダ５１２の幅は、画像表示部５０１に表示されるリズムタイミング画像の時間的な範囲の目安を示している。スライダ５１２の中央の円は、画像表示部５０１の略中央に表示されるリズムタイミング画像の撮影時刻の目安を示している。そして、スライダ５１２が、時間軸を示すシークバー５１１上を左又は右にスライドされることにより、画像表示部５０１に表示されるリズムタイミング画像の時間的な範囲が調整される。スライダ５１２が左にスライドされると、画像表示部５０１に表示されるリズムタイミング画像の時間的な範囲が戻る。一方、スライダ５１２が右にスライドされると、画像表示部５０１に表示されるリズムタイミング画像の時間的な範囲が進む。

再生ボタン５１３が押下されると、リズムタイミング画像の自動再生が開始される。例えば、撮影時刻がスライダ５１２の中央の円の部分に対応する時刻付近のリズムタイミング画像のみが表示画面内に大きく表示される。そして、表示画面内に表示されるリズムタイミング画像が、所定の間隔で時系列に従って１コマずつ自動的に進められる。このとき、早戻しボタン５１４が押下されると、画像表示部５０１に表示されるリズムタイミング画像が早戻しされる。一方、早送りボタン５１５が押下されると、画像表示部５０１に表示されるリズムタイミング画像が早送りされる。

なお、再生ボタン５１３が押下された場合、図２８のレイアウトのまま、画像表示部５０１に表示されるリズムタイミング画像を左方向（時間が進む方向）にスクロールさせるようにしてもよい。

また、例えば、表示画面に対してピンチ操作が行われることにより、表示されている画像が拡大又は縮小されるようにしてもよい。

図２９は、リズム度に基づいて画像を加工する場合の表示画面の例を示している。なお、図中、図２８と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。

図２９の表示画面は、図２８の表示画面と同様に、画像表示部５０１と操作部５０２に分かれる。操作部５０２は、図２８の表示画面の操作部５０２と同様の構成である。一方、画像表示部５０１に表示されるリズムタイミング画像にエフェクトがかけられている点が異なっている。

具体的には、この例では、リズムタイミング画像Ｐ１１乃至リズムタイミング画像Ｐ１４が画像表示部５０１に表示されている。

例えば、リズムタイミング画像Ｐ１２のように、リズム度に基づいて画像サイズが変化する。例えば、リズムタイミング画像の撮影時のユーザのリズム度が大きいほど、画像サイズが大きくなり、リズム度が小さいほど、画像サイズが小さくなる。

例えば、リズムタイミング画像Ｐ１３のように、リズム度に基づいて、画像が振り子のように左右にスイングする。例えば、リズムタイミング画像の撮影時のユーザのリズム度が大きいほど、画像の振れ幅が大きくなり、リズム度が小さいほど、画像の振れ幅が小さくなる。

例えば、リズムタイミング画像Ｐ１４のように、リズム度に基づいて、画像の周囲にパーティクルが表示される。例えば、リズムタイミング画像の撮影時のユーザのリズム度が大きいほど、パーティクルの数が多くなったり、パーティクルが明るくなったりする。一方、リズムタイミング画像の撮影時のユーザのリズム度が小さいほど、パーティクルの数が少なくなったり、パーティクルが暗くなったりする。

なお、以上の説明では、ユーザがモーションリズムをとったときに撮影する例を示したが、例えば、ユーザを常時撮影し、後でリズムタイミング及びリズム度に基づいて、撮影した画像（動画）を加工して表示するようにしてもよい。

この場合、例えば、図２８又は図２９の表示画面において、リズムタイミング画像Ｐ１乃至リズムタイミング画像Ｐ１４のいずれかのリズムタイミング画像が選択された場合、選択されたリズムタイミング画像を基準とする所定の時間内の動画が再生されるようにしてもよい。また、例えば、各リズムタイミング画像付近の動画を時系列に連続して再生（ダイジェスト再生）できるようにしてもよい。

また、例えば、図３０の表示画面のように、ピックアップ表示と動画表示が切り替えられるようにしてよい。

具体的には、図３０の表示画面の上端には、ピックアップ表示タブ５３１及び動画表示タブ５３２が表示されている。この例では、動画表示タブ５３２が選択されている場合の例が示されている。なお、ピックアップ表示タブ５３１が選択されている場合、例えば、上述した図２８又は図２９の表示画面が、ピックアップ表示タブ５３１及び動画表示タブ５３２の下方に表示される。

動画表示タブ５３２が選択されている場合、ピックアップ表示タブ５３１及び動画表示タブ５３２の下方に、撮影したユーザの動画が表示される。また、動画に重畳して、操作部５３３が表示される。

操作部５３３には、シークバー５４１、スライダ５４２、モーションボタン５４３－１乃至モーションボタン５４３－３、再生ボタン５４４、早戻しボタン５４５、早送りボタン５４６、早戻しボタン５４７、早送りボタン５４８、早戻しボタン５４９、及び、早送りボタン５５０が表示されている。

シークバー５４１及びスライダ５４２は、図２８及び図２９のシークバー５１１及びスライダ５１２と同様のものである。スライダ５４２がシークバー５４１上を左にスライドされると、動画の時間軸方向の再生位置が戻る。一方、スライダ５４２がシークバー５４１上を右にスライドされると、動画の時間軸方向の再生位置が進む。

モーションボタン５４３－１乃至モーションボタン５４３－３は、検出されたモーションの時間的な位置を示している。なお、実際には、検出されたモーションの種類がモーションボタン５４３－１乃至モーションボタン５４３－３内に表示される。そして、モーションボタン５４３－１乃至モーションボタン５４３－３のうちのいずれかが選択されると、選択されたモーションの部分から動画の再生が開始される。

なお、例えば、選択したモーションの部分の動画をリピート再生する機能を設けるようにしてもよい。

再生ボタン５４４が押下されると、動画の再生が開始される。

早戻しボタン５４５が押下されると、動画の再生位置が１つ前のリズムタイミングに戻される。一方、早送りボタン５４６が押下されると、動画の再生位置が１つ後のリズムタイミングに進められる。

早戻しボタン５４７が押下されると、動画の再生位置が１つ前のモーションの先頭に戻される。一方、早送りボタン５４８が押下されると、動画の再生位置が１つ後のモーションの先頭に進められる。

早戻しボタン５４９が押下されると、動画の再生位置が１つ前のチャプタの先頭に戻される。一方、早送りボタン５５０が押下されると、動画の再生位置が１つ後のチャプタの先頭に進められる。

なお、チャプタは、例えば、ユーザのリズムパターンが略一定の区間、又は、ユーザのモーションＢＰＭが略一定の区間毎に区切られる。

以上のようにして、ユーザがモーションリズムをとったタイミングの画像を簡単に撮影し、表示することができる。

また、ユーザがモーションリズムをとるときは、例えば、静止したり、ポーズを決めていたりすることが多い。従って、ユーザがモーションリズムをとったときに撮影することにより、ユーザが動いていても、ユーザの見栄えのよい画像をぶれずに撮影することができる。

＜第３の実施の形態の変形例＞
例えば、第１の実施の形態に、第３の実施の形態を適用することにより、ユーザがパフォーマンスを行っている最中に、ユーザがモーションリズムをとるごとにユーザを撮影することができる。そして、例えば、撮影した一連の画像をアルバムにまとめて、ユーザに配信することができる。

＜＜４．第４の実施の形態＞＞
次に、図３１乃至図３６を参照して、本技術の第４の実施の形態について説明する。

＜撮影システム６００の機能の構成例＞
図３１は、本技術を適用した撮影システム６００の機能の構成例を示している。なお、図中、図１９及び図２５と対応する部分には同じ符号を付してあり、その説明は適宜省略する。

撮影システム６００は、モーション解析処理部３０１－１乃至モーション解析処理部３０１－ｎ、シンク度検出部３０２、表示機器４０２、撮影部４０３、記憶部４５２、シンク度ピーク検出部６０１、撮影制御部６０２、及び、表示制御部６０３を備える。

各モーション解析処理部３０１のモーションリズム認識部１６１は、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から取得した動き検出データに基づいて、各ユーザのモーションリズムの認識処理を行う。モーションリズム認識部１６１は、ユーザのモーションリズムの認識結果を示すデータをシンク度検出部３０２及び撮影制御部６０２に供給する。

シンク度ピーク検出部６０１は、シンク度検出部３０２により検出されるユーザ間のモーションのシンク度のピークを検出する。シンク度ピーク検出部６０１は、シンク度のピークの検出結果を示すデータを撮影制御部６０２に供給する。また、シンク度ピーク検出部６０１は、シンク度及びシンク度のピークの検出結果を示すデータを記憶部４５２に記憶させる。

撮影制御部６０２は、撮影部４０３の撮影の制御を行う。例えば、撮影制御部６０２は、各モーションリズム認識部１６１により認識された各ユーザのモーションリズムの認識結果に基づいて、撮影部４０３の撮影タイミングを制御する。また、例えば、撮影制御部６０２は、シンク度ピーク検出部６０１により検出されたユーザ間のモーションリズムのシンク度のピークに基づいて、撮影部４０３の撮影タイミングを制御する。

表示制御部６０３は、各ユーザのモーションリズムの認識結果、及び、ユーザ間のモーションリズムのシンク度のピークに基づいて、記憶部４５２に記憶されている画像の表示機器４０２による表示を制御する。

＜撮影システム６００の処理＞
次に、図３２乃至図３６を参照して、撮影システム６００の処理について説明する。

＜撮影制御処理＞
まず、図３２のフローチャートを参照して、撮影システム６００により実行される撮影制御処理について説明する。

この処理は、例えば、撮影システム６００に撮影の開始の指令が入力されたとき開始される。

ステップＳ３０１において、各モーション解析処理部３０１のモーションリズム認識部１６１は、モーションリズムの認識及び記録を開始する。具体的には、各モーションリズム認識部１６１は、上述した図１０のステップＳ３１と同様の処理により、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から供給される動き検出データに基づいて、各ユーザのモーションリズムの認識処理を開始する。また、各モーションリズム認識部１６１は、各ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータ及びリズム度を示すリズム度データを記憶部４５２に供給し、記憶させる処理を開始する。

ステップＳ３０２において、撮影システム６００は、シンク度の検出及び記録を開始する。具体的には、シンク度検出部３０２は、図２０のステップＳ１０２と同様の処理により、各ユーザ間のモーションリズムのシンク度を検出する処理を開始する。また、シンク度検出部３０２は、検出したシンク度を示すシンク度データをシンク度ピーク検出部６０１に供給する処理を開始する。

シンク度ピーク検出部６０１は、シンク度のピークの検出処理を開始する。また、シンク度ピーク検出部６０１は、シンク度データにシンク度のピークの検出結果を付加して記憶部４５２に記憶させる処理を開始する。

ステップＳ３０３において、シンク度ピーク検出部６０１は、シンク度のピークを検出したか否かを判定する。シンク度のピークを検出していないと判定された場合、処理はステップＳ３０４に進む。

ステップＳ３０４において、各モーションリズム認識部１６１は、モーションリズムがとられたか否かを判定する。いずれか１つ以上のモーションリズム認識部１６１が、モーションリズムがとられたと判定した場合、処理はステップＳ３０５に進む。

一方、ステップＳ３０３において、シンク度のピークを検出したと判定された場合、ステップＳ３０４の処理はスキップされ、処理はステップＳ３０５に進む。

ステップＳ３０５において、撮影システム６００は、撮影を行う。

具体的には、各モーションリズム認識部１６１は、モーションリズムがとられたことを検出した場合、ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータを撮影制御部６０２に供給する。また、シンク度ピーク検出部６０１は、シンク度のピークを検出した場合、シンク度のピークを検出したことを示すシンク度ピーク検出データを撮影制御部６０２に通知する。

撮影部４０３は、撮影制御部６０２の制御の下に、１以上のユーザがモーションリズムをとったタイミング、又は、各ユーザ間のモーションリズムのシンク度がピークになったタイミングに同期して、ユーザの撮影を行い、撮影の結果得られた画像を記憶部４５２に記憶させる。

なお、撮影部４０３は、全てのユーザを一度に撮影するようにしてもよいし、各ユーザを個別に撮影するようにしてもよい。後者の場合、例えば、モーションリズムをとったユーザのみ撮影するようにしてもよいし、モーションリズムをとっていないユーザも撮影するようにしてもよい。また、後者の場合、ユーザを１人ずつ撮影するようにしてもよいし、ユーザを１人以上の複数のグループに分けて、グループ毎に撮影するようにしてもよい。

その後、処理はステップＳ３０６に進む。

一方、ステップＳ３０４において、いずれのモーションリズム認識部１６１も、モーションリズムがとられていないと判定した場合、ステップＳ３０５の処理はスキップされ、処理はステップＳ３０６に進む。すなわち、シンク度のピークが検出されておらず、かつ、いずれのユーザもモーションリズムをとっていない場合、撮影は行われない。

ステップＳ３０６において、図２６のステップＳ２０４の処理と同様に、撮影を終了するか否かが判定される。撮影を終了しないと判定された場合、処理はステップＳ３０３に戻る。

その後、ステップＳ３０６において、撮影を終了すると判定されるまで、ステップＳ３０３乃至ステップＳ３０６の処理が繰り返し実行される。

一方、ステップＳ３０６において、撮影を終了すると判定された場合、撮影制御処理は終了する。

＜表示制御処理＞
次に、図３３のフローチャートを参照して、撮影システム６００により実行される表示制御処理について説明する。

この処理は、例えば、撮影システム６００に画像の表示の指令が入力されたとき開始される。

ステップＳ３３１において、表示制御部６０３は、シンク度に基づいて表示レイアウトを設定するか否かを判定する。例えば、表示制御部６０３は、シンク度に基づいて表示レイアウトを設定する設定がオンにされている場合、シンク度に基づいて表示レイアウトを設定すると判定し、処理はステップＳ３３２に進む。

ステップＳ３３２において、表示制御部６０３は、シンク度及びリズムタイミングに基づいて、表示レイアウトを設定する。

なお、表示レイアウトの具体例については、図３５及び図３６を参照して後述する。

その後、処理はステップＳ３３４に進む。

一方、ステップＳ３３１において、例えば、表示制御部６０３は、シンク度に基づいて表示レイアウトを設定する設定がオフにされている場合、シンク度に基づいて表示レイアウトを設定しないと判定し、処理はステップＳ３３３に進む。

ステップＳ３３３において、表示制御部６０３は、リズムタイミングに基づいて、表示レイアウトを設定する。すなわち、ステップＳ３３２の処理と異なり、表示レイアウトの設定にリズムタイミングだけが用いられ、シンク度は用いられない。

なお、表示レイアウトの具体例については、図３４を参照して後述する。

その後、処理はステップＳ３３４に進む。

ステップＳ３３４乃至ステップＳ３３６において、図２７のステップＳ２３２乃至ステップＳ２３４と同様の処理が実行される。

ステップＳ３３７において、表示機器４０２は、表示制御部６０３の制御の下に、画像を表示する。

その後、表示制御処理は終了する。

ここで、図３４及び図３６を参照して、この処理で表示機器４０２に表示される表示画面の例について説明する。なお、図中、図２８及び図２９と対応する部分には同じ符号を付してあり、その説明は適宜省略する。

図３４は、シンク度を用いずに、リズムタイミングのみに基づいて画像を表示する場合の例を示している。

図３４の表示画面は、図２８及び図２９の表示画面と同様に、画面の上方の画像表示部５０１と、画面の下方の操作部５０２に大きく分かれている。操作部５０２の構成は、図２８及び図２９の表示画面と同様である。

一方、画像表示部５０１には、ユーザＡ及びユーザＢの２人のユーザのリズムタイミング画像が上下に並べて表示されている。各ユーザのリズムタイミング画像の表示レイアウトは、図２８の表示画面と同様である。すなわち、ユーザＡのリズムタイミング画像Ｐａ１乃至リズムタイミング画像Ｐａ４が、時系列に並べて表示されている。また、ユーザＢのリズムタイミング画像Ｐｂ１乃至リズムタイミング画像Ｐｂ３が、時系列に並べて表示されている。

上下に並んでいるリズムタイミング画像Ｐａ１とリズムタイミング画像Ｐｂ１、及び、リズムタイミング画像Ｐａ３とリズムタイミング画像Ｐｂ２は、ほぼ同時刻に撮影された画像である。これにより、ユーザＡとユーザＢが、モーションリズムをとったタイミングがほぼ一致していたことが分かる。

一方、リズムタイミング画像Ｐａ２は、ユーザＢがモーションリズムをとっていないときにユーザＡがモーションリズムをとったタイミングで撮影された画像である。

また、リズムタイミング画像Ｐａ４とリズムタイミング画像Ｐｂ３の時間方向の位置が微妙にずれている。これにより、ユーザＡとユーザＢがモーションリズムをとったタイミングにズレがあったことが分かる。

なお、画像Ｐａ１乃至画像Ｐｂ３には、各ユーザを個別に撮影した画像を用いてもよいし、ユーザＡ及びユーザＢを一緒に撮影した画像から各ユーザを抽出した画像を用いてもよい。

図３４の例では、各ユーザ間の動きのリズム（モーションリズム）を容易に比較することができる。従って、例えば、複数のユーザのうちの１人を手本となるユーザとすることにより、他のユーザは手本となる動きと自分の動きとを容易に比較することができ、特に、動きのリズムの違いを正確に認識することができる。その結果、各ユーザは、例えば、どうすれば自分の動きを手本に合わすことができるかを容易に認識し、自分の動きを改善することができる。

図３５は、シンク度及びリズムタイミングに基づいて画像を表示する場合の例を示している。

図３５の表示画面は、図３４の表示画面と同様に、画面の上方の画像表示部５０１と、画面の下方の操作部５０２に大きく分かれている。操作部５０２の構成は、図３４の表示画面と同様である。

一方、画像表示部５０１には、ユーザＡとユーザＢの動きのシンク度がピークになったときのユーザＡ及びユーザＢのリズムタイミング画像のみが抽出されて表示されている。

すなわち、ユーザＡのリズムタイミング画像Ｐａ１１乃至リズムタイミング画像Ｐａ１４が、時系列に並べて表示されている。また、ユーザＢのリズムタイミング画像Ｐｂ１１乃至リズムタイミング画像Ｐｂ１４が、時系列に並べて表示されている。

上下に並んでいるリズムタイミング画像Ｐａ１１とリズムタイミング画像Ｐｂ１１、リズムタイミング画像Ｐａ１２とリズムタイミング画像Ｐｂ１２、リズムタイミング画像Ｐａ１３とリズムタイミング画像Ｐｂ１３、及び、リズムタイミング画像Ｐａ１４とリズムタイミング画像Ｐｂ１４の各ペアは、それぞれシンク度がピークとなったときに同じタイミングで撮影された画像である。

なお、画像Ｐａ１１乃至画像Ｐｂ１４には、各ユーザを個別に撮影した画像を用いてもよいし、ユーザＡ及びユーザＢを一緒に撮影した画像から各ユーザを抽出した画像を用いてもよい。

図３６は、シンク度及びリズムタイミングに基づいて画像を表示する場合の他の例を示している。

図３６の表示画面は、図３４及び図３５の表示画面と同様に、画面の上方の画像表示部５０１と、画面の下方の操作部５０２に大きく分かれている。操作部５０２の構成は、図３４及び図３５の表示画面と同様である。

一方、画像表示部５０１には、図３５の表示画面と同様に、ユーザＡ乃至ユーザＣの動きのシンク度がピークになったときのユーザＡ乃至ユーザＣのリズムタイミング画像のみが抽出されて表示されている。

ただし、この表示画面では、図３５の表示画面と異なり、シンク度がピークになったときに撮影されたユーザＡ乃至ユーザＣの画像が１つにまとめて表示されている。すなわち、画像Ｐ２１及び画像Ｐ２２は、それぞれシンク度がピークになったときに撮影されたユーザＡ乃至ユーザＣの画像が１つの画像内に含まれている。

なお、画像Ｐ２１及び画像Ｐ２２には、ユーザＡ乃至ユーザＣを一緒に撮影した画像を用いてもよいし、各ユーザをシンク度がピークになったときに個別に撮影した画像を合成した画像を用いてもよい。

図３５及び図３６の例では、各ユーザ間のシンク度が高い瞬間、例えば、各ユーザの動きがぴったり一致して決まっている瞬間の画像を簡単に抽出して表示することができる。

なお、図３４乃至図３６の表示画面において、図２９の表示画面と同様に、リズム度に基づいて各画像にエフェクトをかけるようにしてもよい。

また、例えば、各ユーザを常時撮影し、後でリズムタイミング、リズム度、及び、シンク度に基づいて、撮影した画像（動画）を加工して表示するようにしてもよい。

＜＜５．第５の実施の形態＞＞
次に、図３７及び図３８を参照して、本技術の第５の実施の形態について説明する。

＜楽曲推薦システム７００の機能の構成例＞
図３７は、本技術を適用した楽曲推薦システム７００の機能の構成例を示している。なお、図中、図４と対応する部分には同じ符号を付してあり、その説明は適宜省略する。

楽曲推薦システム７００は、モーション解析処理部７０１、楽曲ＤＢ（データベース）７０２、楽曲解析部７０３、楽曲リズムＤＢ（データベース）７０４、比較部７０５、及び、推薦部７０６を備える。

モーション解析処理部７０１は、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５、通信部１５１、センサ同期部１５２、モーションリズム認識部１６１、及び、モーションＢＰＭ認識部１６２を備える。

モーションリズム認識部１６１は、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１供給される動き検出データに基づいて、ユーザのモーションリズムの認識処理を行う。モーションリズム認識部１６１は、ユーザのモーションリズムの認識結果を示すデータを比較部７０５に供給する。

モーションＢＰＭ認識部１６２は、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１供給される動き検出データに基づいてユーザのモーションＢＰＭの認識処理を行う。モーションＢＰＭ認識部１６２は、ユーザのモーションＢＰＭの認識結果を示すデータを比較部７０５に供給する。

楽曲ＤＢ７０２には、各楽曲の再生に用いる楽曲データが登録されている。

楽曲解析部７０３は、楽曲ＤＢ７０２に登録されている楽曲データの解析処理を行う。楽曲解析部７０３は、ビート検出部７１１、音源分離部７１２、及び、楽器別リズム認識部７１３を備える。

ビート検出部７１１は、楽曲ＤＢ７０２に登録されている各楽曲データに基づいて、各楽曲のビートを検出する。ビート検出部７１１は、検出した各楽曲のビートを示すデータを楽曲リズムＤＢ７０４に登録する。

音源分離部７１２は、楽曲ＤＢ７０２に登録されている各楽曲データを音源毎（すなわち、楽器毎）に分離し、分離後の楽器毎の音響データを楽器別リズム認識部７１３に供給する。

楽器別リズム認識部７１３は、各楽曲の楽器毎の音響データに基づいて、各楽曲の楽器毎のリズムの認識処理を行う。例えば、楽器別リズム認識部７１３は、各楽器の音量等に基づいて、各楽器のリズムがとられたタイミング、及び、各楽器のリズムの強さを示すリズム度を認識する。楽器別リズム認識部７１３は、認識した各楽曲の楽器毎のリズム及びリズム度を示すデータを楽曲リズムＤＢ７０４に登録する。

楽曲リズムＤＢ７０４は、各楽曲のビート、並びに、楽器毎のリズム及びリズム度を示すデータが登録されている。

比較部７０５は、ユーザの動きのリズムと楽曲リズムＤＢ７０４に登録されている各楽曲のリズムとを比較し、比較結果を示すデータを推薦部７０６に供給する。

推薦部７０６は、ユーザの動きのリズムと各楽曲のリズムとを比較した結果に基づいて、ユーザに推薦する楽曲を選択し、推薦する楽曲を示すデータを出力する。

＜楽曲推薦処理＞
次に、図３８のフローチャートを参照して、楽曲推薦システム７００により実行される楽曲推薦処理について説明する。

ステップＳ４０１において、モーション解析処理部７０１は、ユーザのモーションリズム及びモーションＢＰＭを認識する。

具体的には、モーションリズム認識部１６１は、上述した図１０のステップＳ３１と同様の処理により、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から供給される動き検出データに基づいて、各ユーザのモーションリズムの認識処理を行う。そして、モーションリズム認識部１６１は、ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータ及びリズム度を示すリズム度データを比較部７０５に供給する。

モーションＢＰＭ認識部１６２は、上述した図１０のステップＳ３１と同様の処理により、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１供給される動き検出データに基づいてユーザのモーションＢＰＭの認識処理を行う。モーションＢＰＭ認識部１６２は、検出したモーションＢＰＭを示すモーションＢＰＭデータを比較部７０５に供給する。

ステップＳ４０２において、比較部７０５は、ユーザの動きに合う楽曲を検索する。

例えば、比較部７０５は、楽曲リズムＤＢに登録されている楽曲の中から、ユーザのモーションＢＰＭとの差が所定の範囲内のＢＰＭを持つ楽曲を抽出する。

次に、比較部７０５は、抽出した楽曲の各楽器のリズムとユーザのモーションリズムとのマッチング度を検出する。なお、各楽器のリズムとモーションリズムとのマッチング度は、上述したユーザ間のモーションリズムのシンク度と同様の計算方法により検出することが可能である。例えば、各楽器のリズムをとったタイミングとユーザがモーションリズムをとったタイミングとの相関係数をマッチング度とすることができる。また、例えば、各楽器のリズム度とユーザのリズム度との相互相関をマッチング度とすることができる。

比較部７０５は、抽出した各楽曲のマッチング度を示すデータを推薦部７０６に供給する。

ステップＳ４０３において、推薦部７０６は、楽曲を推薦する。

具体的には、推薦部７０６は、各楽曲のマッチング度に基づいて、ユーザの動きに合う楽曲を抽出する。例えば、推薦部７０６は、少なくとも１つの楽器のマッチング度が所定の閾値以上である楽曲を抽出する。或いは、例えば、推薦部７０６は、楽曲毎にマッチング度の最大値を求め、マッチング度の最大値が上位の所定の数の楽曲を抽出する。また、例えば、推薦部７０６は、楽曲毎に全ての楽器のマッチング度の平均値を計算し、マッチング度の平均値が所定の閾値以上である楽曲を抽出する。或いは、例えば、推薦部７０６は、マッチング度の平均値が上位の所定の数の楽曲を抽出する。

そして、推薦部７０６は、抽出した楽曲を示すデータを後段の装置に出力する。

後段の装置は、例えば、推薦された楽曲に関する情報を提示したり、推薦された楽曲を再生したりする。

その後、楽曲推薦処理は終了する。

以上のようにして、ユーザの動きに合う楽曲を適切に推薦することができる。例えば、ユーザのモーションリズムと一致又は類似するリズムを持つ楽曲を推薦することができる。これにより、例えば、ユーザがＢＧＭなしでダンスを始めた場合、そのダンスに合う楽曲を検索し、ＢＧＭとして流すことができる。

＜第５の実施の形態の変形例＞
以上の説明では、ユーザのモーションＢＰＭと一致又は類似するＢＰＭをもつ楽曲の中から推薦する楽曲を選択する例を示したが、ＢＰＭを用いずに、楽器毎のリズムだけを用いて、推薦する楽曲を選択するようにしてもよい。

また、例えば、各楽曲のＢＰＭをユーザのモーションＢＰＭに合わせた後、ユーザのモーションリズムと楽器毎のリズムとを比較した結果に基づいて、推薦する楽曲を選択するようにしてもよい。この場合、例えば、推薦する楽曲のＢＰＭをユーザのモーションＢＰＭに合わせた状態で、楽曲が再生される。

＜＜６．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。

上述した各装置やシステムの機能の分担はその一例であり、適宜変更することが可能である。

例えば、モーションリズム認識部１６１、モーションＢＰＭ認識部１６２、及び、モーション認識部１６３の全部又は一部を、ウエアラブルセンサ１０１に設けるようにしてもよい。

また、以上の説明では、人のモーション解析を行う場合に本技術を適用する例を示したが、人以外のオブジェクトのモーション解析を行う場合にも本技術を適用することが可能である。対象となるオブジェクトは、動物等の生物、又は、ロボット等の無生物のいずれであってもよい。また、認識対象が無生物である場合、ロボット等のように自律的或いはユーザ操作により動く無生物、又は、海の浮き等の波や風等の外部からの力により動く無生物のいずれであってもよい。

＜＜７．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。

バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。

入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。

以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ１０００では、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

（１）
少なくともユーザの体幹上の１カ所を含む１以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識するモーションリズム認識部を
備える情報処理装置。
（２）
前記モーションリズムは、前記ユーザの動きのアクセントにより表される
前記（１）に記載の情報処理装置。
（３）
前記動きのアクセントは、前記ユーザの動きの向き、スピード、及び、パターンの変化により表される
前記（２）に記載の情報処理装置。
（４）
前記モーションリズムに基づいて、前記ユーザのパフォーマンスの演出を制御する演出制御部を
さらに備える前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記検出データに基づいて、前記ユーザの動きの基本周波数であるモーションＢＰＭを認識するモーションＢＰＭ認識部を
さらに備え、
前記演出制御部は、さらに前記モーションＢＰＭに基づいて、前記演出を制御する
前記（４）に記載の情報処理装置。
（６）
前記検出データに基づいて、前記ユーザの行動を構成する動きの単位であるモーションを認識するモーション認識部を
さらに備え、
前記演出制御部は、さらに認識された前記モーションに基づいて、前記演出を制御する
前記（４）又は（５）に記載の情報処理装置。
（７）
前記モーションリズム認識部は、複数のユーザの前記モーションリズムを認識し、
各前記ユーザ間の前記モーションリズムの一致度を示すシンク度を検出するシンク度検出部を
さらに備える前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記シンク度に基づいて、前記複数のユーザが参加するパフォーマンスの演出を制御する演出制御部を
さらに備える前記（７）に記載の情報処理装置。
（９）
前記モーションリズム認識部は、各前記ユーザの前記モーションリズムの強さを示すリズム度を検出し、
前記シンク度検出部は、各前記ユーザのリズム度に基づいて、前記シンク度を検出する
前記（７）又は（８）に記載の情報処理装置。
（１０）
前記シンク度に基づいて、各前記ユーザの撮影を制御する撮影制御部と、
前記シンク度に基づいて、各前記ユーザの画像の表示を制御する表示制御部と
のうち少なくとも１つをさらに備える前記（７）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記モーションリズムに基づいて、前記ユーザの撮影を制御する撮影制御部と、
前記モーションリズムに基づいて、前記ユーザの画像の表示を制御する表示制御部と
のうち少なくとも１つをさらに備える前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１２）
前記モーションリズム認識部は、前記モーションリズムの強さを示すリズム度を検出し、
前記表示制御部は、さらに前記リズム度に基づいて、前記ユーザの画像の表示を制御する
前記（１１）に記載の情報処理装置。
（１３）
前記モーションリズムと楽曲のリズムとを比較した結果に基づいて、推薦する楽曲を選択する推薦部を
さらに備える前記（１）乃至（４）及び（７）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記検出データに基づいて、前記ユーザの動きの基本周波数であるモーションＢＰＭを認識するモーションＢＰＭ認識部を
さらに備え、
前記推薦部は、さらに前記モーションＢＰＭと楽曲のＢＰＭとを比較した結果に基づいて、推薦する楽曲を選択する
前記（１３）に記載の情報処理装置。
（１５）
前記モーションリズム認識部は、前記モーションリズムの強さを示すリズム度を検出する
前記（１）乃至（８）及び（１０）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
前記モーションリズム認識部は、複数のユーザの前記リズム度を検出し、
前記複数のユーザの前記リズム度に基づいて、前記複数のユーザが参加するパフォーマンスの演出を制御する演出制御部を
さらに備える前記（１５）に記載の情報処理装置。
（１７）
前記検出データに基づいて、前記ユーザの動きの基本周波数であるモーションＢＰＭを認識するモーションＢＰＭ認識部を
さらに備える前記（１）乃至（４）、（７）乃至（１３）、（１５）及び（１６）のいずれかに記載の情報処理装置。
（１８）
前記検出位置は、前記ユーザの両手及び両足のうちの少なくとも１カ所をさらに含む
前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
情報処理装置が、
少なくともユーザの体幹上の１カ所を含む１以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識する
情報処理方法。
（２０）
少なくともユーザの体幹上の１カ所を含む１以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識する
処理をコンピュータに実行させるためのプログラム。

１００ 演出システム， １０１－１乃至１０１－６ ウエアラブルセンサ， １０２ 解析用計算機， １０３ 制御用計算機， １０４ 演出機器， １５１ 通信部, １５３ モーション解析部， １５４ 演出制御部， １５５ 照明機器， １５６ 映像機器， １５７ 音響機器， １６１ モーションリズム認識部， １６２ モーションＢＰＭ認識部， １６３ モーション認識部， １７１ 照明制御部， １７２ 映像制御部， １７３ 音響制御部， ３００ シンク評価システム， ３０１－１乃至３０１－ｎ モーション解析処理部， ３０２ シンク度検出部， ３０３ 提示機器， ４００ 撮影システム， ４０１ 計算機， ４０２ 表示機器， ４０３ 撮影部， ４５１ 撮影制御部， ４５３ 表示制御部， ６００ 撮影システム， ６０１ シンク度ピーク検出部， ６０２ 撮影制御部， ６０３ 表示制御部， ７００ 楽曲推薦システム， ７０１ モーション解析処理部， ７０３ 楽曲解析部， ７０４ 比較部， ７０５ 推薦部， ７１１ ビート検出部， ７１２ 音源分離部， ７１３ 楽器別リズム認識部

Claims (17)

1. コンピュータを、
   ユーザの少なくとも１以上の検出位置に装着されたセンサ装置により検出された前記検出位置のセンサデータに基づいて、前記ユーザのモーションを解析するモーション解析部と、
   前記モーション解析部により得られるモーションリズムを含むモーション解析結果に基づいて、前記ユーザの画像の表示を制御する表示制御部と
   として機能させるためのプログラム。
2. 前記モーションは、前記ユーザの全身の動き又は前記ユーザの体の一部の動きである
   請求項１に記載のプログラム。
3. 前記モーション解析部は、ディープニューラルネットワークを用いた学習によって得られる認識モデルを用いて、前記ユーザのモーションを認識する
   請求項１に記載のプログラム。
4. 前記モーション解析部は、前記認識モデルを用いて、認識結果の信頼度も出力する
   請求項３に記載のプログラム。
5. 前記モーション解析部は、前記モーションの、リズムの強さ、リズムのタイミング、及び、リズムの変化のうち少なくとも１つを認識する
   請求項１に記載のプログラム。
6. 前記表示制御部は、前記モーション解析結果に基づいて、前記画像に対してエフェクトをかける
   請求項１に記載のプログラム。
7. 前記表示制御部は、前記モーション解析結果に含まれる前記モーションのリズム、種類、及び、強さのうち少なくとも１つに応じて、前記エフェクトの種類及び強さのうち少なくとも１つを調整する
   請求項６に記載のプログラム。
8. 前記表示制御部は、前記モーション解析結果に基づいて、前記ユーザに対応するアバターに前記モーションと関連性のあるアニメーションを割り当てる
   請求項１に記載のプログラム。
9. 前記表示制御部は、前記モーション解析結果に基づいて、前記ユーザに対応するアバターに前記モーションをさせる
   請求項１に記載のプログラム。
10. 前記モーション解析部は、複数のユーザの前記センサデータに基づいて、前記複数のユーザのモーションを解析し、
    前記コンピュータを、
    前記複数のユーザのモーションリズムのシンク度を検出するシンク検出部として
    さらに機能させるための請求項１に記載のプログラム。
11. 前記モーション解析部は、前記モーションのリズム度を検出し、
    前記表示制御部は、前記リズム度に応じて、前記画像を加工する
    請求項１に記載のプログラム。
12. 前記センサ装置は、モーションセンサ装置である
    請求項１に記載のプログラム。
13. 前記モーションセンサ装置は、加速度センサ、ジャイロセンサ、地磁気センサ、歪みセンサ、及び、気圧センサのうち少なくとも１つを備える
    請求項１２に記載のプログラム。
14. 前記ユーザの画像は、撮影部において撮影された前記ユーザの画像である
    請求項１に記載のプログラム。
15. 前記コンピュータを、
    前記モーション解析結果に基づいて、前記撮影部の撮影タイミングを制御する撮影制御部として
    さらに機能させるための請求項１４に記載のプログラム。
16. ユーザの少なくとも１以上の検出位置に装着されたセンサ装置において検出された前記検出位置のセンサデータに基づいて、前記ユーザのモーションを解析するモーション解析部と、
    前記モーション解析部により得られるモーションリズムを含むモーション解析結果に基づいて、前記ユーザの画像の表示を制御する表示制御部と
    を備える情報処理装置。
17. 情報処理装置が、
    ユーザの少なくとも１以上の検出位置に装着されたセンサ装置において検出された前記検出位置のセンサデータに基づいて、前記ユーザのモーションを解析し、
    モーションリズムを含むモーション解析結果に基づいて、前記ユーザの画像の表示を制御する
    情報処理方法。

Images