JP2015171473A - 動作報知システム - Google Patents

Abstract

【課題】一般的な映像ＤＶＤ等の再生装置やテレビモニターを用いた場合でも、ユーザへの報知を可能とする。【解決手段】ＤＶＤ等に音響透かしとして記録されたモーションＩＤとタイミング情報とを音響透かしデコード部４０でデコードする。動作判定部２０はユーザの身体に取り付けたホスト１００及び第１スレーブ１１０ａ等のモーションセンサー１０，１１１の検知結果と、モーションライブラリ７０の情報とに基づいてモーションＩＤを判定する。モーションライブラリ７０には、動作の内容を示す情報が、動作が行われる複数の部位に割り当られ一つの組として記憶され、モーションＩＤは各組と一対一に関係付けられて記憶される。タイミング動作判定部５０は、デコード後のタイミング情報が示すタイミングで、デコード後のモーションＩＤと判定結果のモーションＩＤとの合致を判定する。フィードバック生成部６０は判定結果に基づいて音等を発生させる。【選択図】図１

Description

この発明は、動作の内容や動作のタイミングに関する判定を行い、判定の結果に応じて報知を行う動作報知システムに関する。

フィットネス系のゲーム、あるいは、ダンス系ゲームにおいては、ユーザがゲームの画面に合わせて動くと、ユーザの動きを検出してフィードバックをかけ、画面から「ＯＫ」などの映像を音声と共に報知するシステムが開発されている。このようなシステムでは、センサーとしてカメラを備え、カメラによりユーザの動きを画像解析したり、あるいは、専用の台等にセンサーを備えておき、センサーのオン・オフによりユーザの動きを解析していた（例えば、特許文献１）。

特開２００１−１７８９６５号公報

しかしながら、特許文献１のシステムにおいては、専用のゲーム装置が必要であり、一般的な映像ＤＶＤ再生装置やテレビモニターを用いてユーザへの報知を行うことはできなかった。

また、従来のシステムでは、手本となる動作とユーザの動作との比較は、手本となる動作ごとに個別に行われていたため、例えば、上半身のトレーニングの映像を下半身のトレーニング用に流用する等の汎用的な使い方はできなかった。

本発明は、上述した事情に鑑みてなされたものであり、一般的な映像ＤＶＤ等の再生装置やテレビモニターを用いた場合でも、ユーザへの報知を行うことができる動作報知システムを提供することを解決課題とする。また、手本となる動作のコンテンツによることなく汎用的な使用が可能な動作報知システムを提供することを解決課題とする。

上述した課題を解決するため、本発明の動作報知システムは、動作の内容を示す情報（例えば図３に示す動作の内容を示す情報）と、当該情報を識別する識別情報（例えばモーションＩＤ）とが記憶されたモーションライブラリ（例えばモーションライブラリ７０）と、基準となる動作の内容を特定する情報（例えばモーションＩＤ）と当該動作のタイミングを示すタイミング情報とを入力して登録する登録部（例えばタイミング動作判定部５０）と、前記登録したタイミング情報が示すタイミングに到達したと判断した場合に、少なくとも前記モーションライブラリに記憶されたいずれかの情報と、前記登録した基準となる動作の内容を特定する情報とを参照して、動作に関する判定を行うタイミング動作判定部（例えばタイミング動作判定部５０）と、前記判定の結果に基づいて報知を行う報知部（例えばフィードバック生成部）とを備え、前記モーションライブラリには、全体的な動作を構成する所定時間ごとの動作の内容を示す情報が、動作が行われる複数の部位の少なくとも一つの部位の動作の内容を含む一つの組として関係付けられて記憶されており、前記識別番号は、当該組のそれぞれと一対一に関係付けられて記憶されていることを特徴とする。

この発明によれば、登録部は、基準となる動作の内容を特定する情報と当該動作のタイミングを示すタイミング情報とを入力して登録する。これらの情報は、例えば、音響透かしとしてＤＶＤ等の映像音声媒体を再生することにより得られる。タイミング動作判定部は、登録部に登録したタイミング情報が示すタイミングに到達したと判断した場合に、少なくともモーションライブラリに記憶されたいずれかの情報と、登録部に登録した基準となる動作の内容を特定する情報とを参照して、動作に関する判定を行う。前記モーションライブラリには、全体的な動作を構成する所定時間ごとの動作の内容を示す情報が、動作が行われる複数の部位の少なくとも一つの部位の動作の内容を含む一つの組として関係付けられて記憶されており、前記識別番号は、当該組のそれぞれと一対一に関係付けられて記憶されている。したがって、例えばセンサーを用いて前記部位の動きを検出し、モーションライブラリに記憶された動作の内容の中から、当該検出した部位の動きと一致または類似する動作の内容を特定することにより、当該動作の内容と関係付けられた識別番号が判明する。この識別番号と、登録部に登録した基準となる動作の内容を特定する情報とを比較することにより、動作に関する判定、例えば、正しい動作が行われたか否かが判定される。そして、報知部は前記判定の結果に基づいて報知を行う。したがって、例えば、一般的なＤＶＤ等の映像音声媒体に前記基準となる動作の内容を特定する情報が埋め込まれていた場合には、当該映像音声媒体の再生装置やテレビモニターを用いて、使用者に対して基準となる動作に関する情報を報知できる。例えば、報知する手段として振動等を採用することにより、映像音声媒体を視聴しただけでは分りにくい基準となる動作に関する情報を使用者に振動等により報知できる。

本発明の第１実施形態に係る動作報知システムを示すブロック図である。 モーションセンサーを示すブロック図である。 モーションライブラリに記憶されるモーション情報の一例を示す図である。 個人データライブラリに記憶される個人データの一例を示す図である。 音響透かしデコード部の動作を示すフローチャートである。 動作判定部の動作を示すフローチャートである。 タイミング動作判定部の動作を示すフローチャートである。 本発明の第２実施形態に係る動作報知システムを示すブロック図である。 本発明の第３実施形態に係る動作報知システムを示すブロック図である。 本発明の第４実施形態に係る動作報知システムを示すブロック図である。 本発明の第５実施形態に係る動作報知システムを示すブロック図である。 本発明の第６実施形態に係る動作報知システムを示すブロック図である。

＜第１実施形態＞
以下、本発明の実施形態について図面を参照しつつ説明する。図１は第１実施形態に係る動作報知システム１を示すブロック図である。動作報知システム１は、一例として、１台のホスト１００と、第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃの３台のスレーブとから構成されている。なお、動作報知システム１はこのような構成に限定されるものではなく、１台のホスト１００のみで構成されていても良いし、スレーブの台数も任意に設定することができる。本実施形態では、例えば、ホスト１００をユーザの右手、第１スレーブ１１０ａをユーザの左手、第２スレーブ１１０ｂをユーザの右足、第３スレーブ１１０ｃをユーザの左足に装着して使用する。

ホスト１００は、モーションセンサー１０と、動作判定部２０と、受信部３０と、音響透かしデコード部４０と、タイミング動作判定部５０と、フィードバック生成部６０と、モーションライブラリ７０と、個人データライブラリ８０と、設定部９０とを備えている。

モーションセンサー１０は、図２に示すように、地磁気センサー１１、加速度センサー１２、ジャイロセンサー１３等の異なる種類の複数のセンサーの出力を、結果統合部１４により統合し、その検知結果を出力する。即ち、モーションセンサー１０は、ユーザの動作を検知するモーションセンサーとして機能する。結果統合部１４は、例えば、ＤＳＰ等から構成される。モーションセンサー１０から出力される検知結果は、動作判定部２０に入力される。

モーションセンサー１０は、第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃにも備えられている。第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃのそれぞれは、ホスト１００に備えられたモーションセンサー１０と同様の構成のモーションセンサー１１１と、送信部１１２とを備える。送信部１１２は、例えば、ＣＰＵ等により構成される。第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃのモーションセンサー１１１から出力されるそれぞれの検知結果は、第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃの送信部１１２によってそれぞれホスト１００へ送信される。

第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃとホスト１００は、有線または無線により接続されており、第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃから送信されたそれぞれの検知結果は、ホスト１００の受信部３０にて受信される。受信部３０は、例えば、ＣＰＵ等により構成される。受信部３０は、受信したそれぞれの検知結果を、動作判定部２０に出力する。

動作判定部２０は、例えば、ＣＰＵ等により構成され、モーションセンサー１０、及び受信部３０から出力される各モーションセンサーの結果と、モーションライブラリ７０に記憶されているモーション情報と、個人データライブラリ８０に記憶されている個人データとに基づいて、いずれかのモーションＩＤを特定して出力する。即ち、動作判定部２０は、モーションセンサーによる検知結果とモーションライブラリに記憶された動作の内容を示す情報とから、モーションライブラリに記憶された識別情報を判定する動作判定部として機能する。

モーションライブラリ７０は、図３に示すようなモーション情報から構成され、例えば、半導体メモリまたはメモリカード等に記憶される。モーション情報は、ホスト１００のモーションセンサー１０の検知結果と、第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃのそれぞれのモーションセンサー１１１の検知結果との組み合わせに対して、モーションＩＤが一対一に割り当てられている。例えば、ホスト１００のモーションセンサー１０の検知結果が「左横移動」、第１スレーブ１１０ａのモーションセンサー１１１の検知結果が「右横移動」で、第２スレーブ１１０ｂと第３スレーブ１１０ｃのモーションセンサー１１１の検知結果が「移動なし」の場合には、モーションＩＤとして「ＩＤ１」が割り当てられている。モーションセンサー１０とモーションセンサー１１１の検知結果は、移動の仕方として記憶されているだけでなく、例えば、「ＩＤ５」のモーションＩＤの場合のように、「回転」という移動の仕方と、「ＩＤ１」のモーションＩＤとの組み合わせとして記憶されている。つまり、ホスト１００のモーションセンサー１０の検知結果が、「ＩＤ１」のモーションＩＤに対応する「左横移動」で、かつ、「回転」であり、第１スレーブ１１０ａのモーションセンサー１１１の検知結果が、「ＩＤ１」のモーションＩＤに対応する「右横移動」で、かつ、「回転」であり、第２スレーブ１１０ｂと第３スレーブ１１０ｃのモーションセンサー１１１の検知結果が「移動なし」の場合には、モーションＩＤとして「ＩＤ５」が割り当てられている。モーションライブラリ７０に記憶されるモーションＩＤの数及びその内容は、固定されている訳ではなく、適宜変更可能である。以上のように、モーションライブラリ７０は、動作の内容を示す情報と、この情報を識別する識別情報とが記憶されたモーションライブラリとして機能する。また、モーションライブラリ７０には、全体的な動作を構成する所定時間ごとの動作の内容を示す情報（「左横移動」等）が、動作が行われる複数の部位（右手、左手等）のうちの少なくとも一つに割り当られて一つの組として関係付けられて記憶されており、前記識別番号（モーションＩＤ）は、当該組のそれぞれと一対一に関係付けられて記憶されている。

個人データライブラリ８０は、図４に示すような個人データから構成され、例えば、半導体メモリまたはメモリカード等に記憶される。個人データは、例えば、性別、年齢、身長、体重等の情報から構成されている。個人データの項目の数及びその内容は、固定されている訳ではなく、適宜変更可能である。以上のように、個人データライブラリ８０は、個人データを記憶する個人データライブラリとして機能する。

設定部９０は、例えば、ＣＰＵ等から構成されており、モーションライブラリ７０及び個人データライブラリ８０と接続されている。設定部９０には、パーソナルコンピュータ等の外部入力機器２００が接続されており、外部入力機器２００によって入力されたライブラリデータをモーションライブラリ７０及び個人データライブラリ８０に反映させる。つまり、設定部９０は、外部入力機器２００によってモーション情報が入力された場合には、当該モーション情報をモーションライブラリ７０に反映させる。また、設定部９０は、外部入力機器２００によって個人データが入力された場合には、当該個人データを個人データライブラリ８０に反映させる。なお、設定部９０をタッチパネル等で構成した場合には、外部入力機器２００を省略することも可能である。

音響透かしデコード部４０は、例えば、ＤＳＰ等から構成され、音声データに重畳された非可聴帯域の音響透かしをデコードする。音響透かしデコード部４０には、マイク２０１が接続されており、マイク２０１で集音したＤＶＤ等の映像媒体の再生音を入力するようになっている。ＤＶＤ等の映像媒体の例としては、例えば、フィットネス系のＤＶＤ等、ダンス系のＤＶＤ等、スポーツや音楽の教則用のＤＶＤ等が挙げられる。

ＤＶＤ等の映像媒体には、音響透かしの技術を用いて、本来記録されるべきコンテンツの音に、符号変換された情報符号が重畳されている。重畳される情報符号としては、例えば、正解の動きの情報としてのモーションＩＤを符号変換した情報符号と、正解の動きのタイミング情報を符号変換した情報符号とが含まれる。但し、重畳される情報符号は、これらの情報符号に限定されるものではなく、適宜変更及び追加することが可能である。以上のように、透かし情報には、基準となる動作の内容を特定する情報と動作のタイミングを示すタイミング情報とが含まれる。

ＤＶＤ等の映像媒体に記憶される音響透かしについて更に説明する。符号変換された情報符号は変調されて音声信号（変調信号）として生成される。変調方式としては、例えば、Ｍ系列などの疑似ノイズ信号を情報符号で位相変調するスペクトラム拡散変調、情報符号でキャリア信号をＦＳＫ変調またはＡＭ変調する方式等種々の方式を用いることができる。

前記コンテンツの音と前記変調信号は加算合成され、合成音としてＤＶＤ等の映像媒体に記録される。変調方式、キャリア周波数等を適当に選択することにより、変調信号の周波数帯域を高音域に配置することができ、周波数スペクトルが前記コンテンツの音と重なりあわないようにすることが可能である。前記コンテンツの音を可聴帯域配置し変調信号を非可聴帯域に配置してこれらの占有周波数帯域を分離することにより、変調信号による情報伝達の信頼度を向上することができる。特に、ノイズに弱い変調方式を用いた場合にはこのようにすることが好ましい。

なお、前記コンテンツの音が、楽音でなくノイズの一種と考えられるような音である場合には、前記コンテンツの音の周波数帯域と変調信号の周波数帯域とを重なり合わせるようにしてもよい。ノイズの一種と考えられるような音の場合には、変調信号が重なり合っていても聴取者に殊更に不快感を与えることはないためである。

音響透かしデコード部４０には、マイク２０１で収音された前記コンテンツの音と前記変調信号を含む音が入力される。入力された音は、ＡＤ変換されデジタル信号に変換された後、復調部に入力される。復調部では、例えば、Ｍ系列などの疑似ノイズ信号を情報符号で位相変調するスペクトラム拡散変調、情報符号でキャリア信号をＦＳＫ変調またはＡＭ変調する方式等種々の変調方法に対応した復調方法で、復調が行われる。具体的な変調方法、復調方法は、例えば特開２０１１−０３７３５０号公報に開示されている方法を用いればよいため、詳しい説明は省略する。復調部からは、復調された情報符号が出力される。このようにして、本来記録されるべきコンテンツの音に重畳されＤＶＤ等の映像媒体に記憶された情報符号が取得できる。本実施形態の場合、情報符号には、モーションＩＤに対応した情報符号とタイミング情報に対応した情報符号が含まれる。

タイミング動作判定部５０は、例えば、ＣＰＵ等から構成される。タイミング動作判定部５０は、音響透かしデコード部４０から出力されるモーションＩＤ及びタイミング情報をメモリ等に登録し、モーションＩＤ及びタイミング情報と、動作判定部２０から所定のタイミングで出力されるモーションＩＤとに基づいて、ユーザの動作が正解の動作かどうか、また、その動作が適正なタイミングで行われたかどうかを判定し、その結果を出力する。即ち、タイミング動作判定部５０は、基準となる動作の内容を特定する情報と動作のタイミングを示すタイミング情報とを登録する登録部として機能する。また、タイミング動作判定部５０は、登録したタイミング情報が示すタイミングに到達したか否かを同期情報（タイミング情報）に基づいて判断し、到達したと判断した場合に、少なくともモーションライブラリに記憶されたいずれかの情報（モーションＩＤ）と、登録した基準となる動作の内容を特定する情報とを参照して、動作に関する判定を行うタイミング動作判定部として機能する。さらに、タイミング動作判定部５０は、登録したタイミング情報が示すタイミングに到達したか否かを同期情報（タイミング情報）に基づいて判断し、到達したと判断した場合に、判定された前記識別情報（モーションＩＤ）と、登録した基準となる動作の内容を特定する情報とを参照して、基準となる動作と検知結果としての使用者の動作との関係について判定を行うタイミング動作判定部として機能する。

フィードバック生成部６０は、例えば、ＣＰＵ等から構成される。フィードバック生成部６０は、タイミング動作判定部５０から出力される判定結果をフィードバックする情報に変換する。例えば、「ＯＫ」等の音声を返す場合には、フィードバック生成部６０を音声再生部や音声合成部で構成すればよい。また、フィードバックを光で返す場合には、フィードバック生成部６０をＬＥＤコントローラで構成すればよい。フィードバックを振動で返す場合には、フィードバック生成部６０を振動部で構成すればよい。また、フィードバックとして、ログを残す場合には、フィードバック生成部６０を記録部と送信部とで構成すればよい。以上のようにフィードバック生成部６０は、判定の結果に基づいて報知を行う報知部として機能する。
また、以上のように、ホスト１００は、少なくとも、デコード部と、登録部と、モーションライブラリと、動作判定部と、タイミング動作判定部と、報知部とを備えるホストとして機能する。更に、第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃは、少なくともモーションセンサーを備えるスレーブとして機能する。

次に、図５乃至図７を参照して、本実施形態の動作報知システム１の動作について説明する。まず、音響透かしデコード部４０においては、図５に示すように、透かし情報タイマーの割り込みが所定期間ごとに発生するように構成されている。音響透かしデコード部４０は、透かし情報タイマーの割り込みが発生するごとに、入力した音に透かし情報（変調信号）が重畳されているかどうかの判定を行う（ステップＳ１０）。判定の方法は、例えば、変調信号が非可聴帯域配置されている場合には、この非可聴帯域に信号が存在するかどうかを判定するようにすればよい。音響透かしデコード部４０は、透かし情報が重畳されていない場合には（ステップＳ１０；ＮＯ）、処理を終了する。一方、音響透かしデコード部４０は、透かし情報が重畳されている場合には（ステップＳ１０；ＹＥＳ）、上述した方法により透かし情報のデコードを行い（ステップＳ１１）、デコードの結果として得られたタイミング情報とモーションＩＤを出力する（ステップＳ１２）。音響透かしデコード部４０から出力されたタイミング情報とモーションＩＤは、タイミング動作判定部５０によって、図示しないメモリに登録される。なお、ＤＶＤ等の映像媒体に記録されたタイミング情報と、動作判定部２０からのモーションＩＤの出力タイミングとの同期を取るためには、例えば、ＤＶＤ等の映像媒体の再生開始を示すタイミング情報を音響透かしとしてＤＶＤ等の映像媒体に記録しておき、音響透かしデコード部４０から出力される当該再生開始を示すタイミング情報をタイミング動作判定部５０において入力した際に、タイミング動作判定部５０がタイミング動作判定部５０の内部の同期クロックをスタートさせる。そして、動作判定部２０から出力されるモーションＩＤを入力した際に、同期クロックで計測したタイミングを当該モーションＩＤと共にメモリに記憶させるようにすればよい。

以上のような音響透かしデコード部４０及びタイミング動作判定部５０の動作と並行して、動作判定部２０においては、動きタイマーの割込みが所定周期で発生するように構成されている。図６に示すように、動作判定部２０は、動きタイマーの割込みが発生すると、モーションセンサーの出力があるかどうかを判定する（ステップＳ２０）。この場合のモーションセンサーには、ホスト１００に備えられているモーションセンサー１０と、各スレーブのモーションセンサー１１１の双方が含まれる。動作判定部２０は、モーションセンサーの出力がない場合には（ステップＳ２０；ＮＯ）、処理を終了する。一方、モーションセンサーの出力がある場合には（ステップＳ２０；ＹＥＳ）、モーションライブラリ７０のモーション情報と、個人データライブラリ８０の個人データとを参照して、当該モーションセンサーから出力された検知結果を解析する（ステップＳ２１）。具体的には、動作判定部２０は、検知結果が示す動作の内容が、モーションライブラリ７０のモーション情報として記憶されたどのモーションＩＤに対応する内容であるかを判定する。この判定の際、動作判定部２０は、個人データライブラリ８０の個人データを参照して、適宜、判定基準の補正を行う。例えば、あるモーションＩＤに対応する動作の内容が、「３０ｃｍジャンプする」のような内容であり、実際の検知結果が３０ｃｍに満たない場合でも、個人データの年齢、身長等を参照して、判定基準の補正を行う。即ち、動作判定部２０は、判定を行う際に、個人データライブラリに記憶された個人データを参照して判定の基準を補正する動作判定部として機能する。動作判定部２０は、以上のように解析が終了すると、その結果としてのモーションＩＤを出力する（ステップＳ２２）。タイミング動作判定部５０は、動作判定部２０からのモーションＩＤを入力すると、上述した同期クロックを参照して、入力したタイミング情報と共にモーションＩＤをメモリに記憶させる。

以上のような動作判定部２０及びタイミング動作判定部５０の動作と並行して、タイミング動作判定部５０においては、タイミングチェックタイマーの割込みが所定周期で発生するように構成されている。図７に示すように、タイミング動作判定部５０は、タイミングチェックタイマーの割込みが発生すると、音響透かしデコード部４０から出力され、メモリに登録しておいたタイミングになったかどうかを、上述した同期クロックを参照して判定する（ステップＳ３０）。タイミング動作判定部５０は、まだ登録しておいたタイミングになっていない場合には（ステップＳ３０；ＮＯ）、処理を終了する。一方、タイミング動作判定部５０は、登録しておいたタイミングになった場合には（ステップＳ３０；ＹＥＳ）、登録しておいたデコード結果のモーションＩＤ（音響すかしデコード部４０から入力したモーションＩＤ）と、解析結果のモーションＩＤ（動作判定部２０から入力したモーションＩＤ）が一致するかどうかを判定する（ステップＳ３１）。また、タイミング動作判定部５０は、デコード結果のモーションＩＤと共に登録しておいたタイミング情報と、記憶させておいた解析結果のモーションＩＤの入力タイミングとを比較して、解析結果のモーションＩＤの入力タイミングが、登録しておいたタイミング情報とどの程度ずれているかを判定する（ステップＳ３２）。そして、タイミング動作判定部５０は、モーションＩＤの判定結果とタイミングの判定結果とをフィードバック生成部６０に出力する（ステップＳ３３）。例えば、モーションＩＤが一致し、タイミングのずれが少ない場合にはレベル１、モーションＩＤが一致し、タイミングのずれが大きい場合にはレベル２、モーションＩＤが一致していない場合にはレベル３のように、判定結果を段階に分けて出力するようにしてもよい。フィードバック生成部６０は、この判定結果を入力して、レベル１の場合には「ＶＥＲＹ ＧＯＯＤ」、レベル２の場合には「ＧＯＯＤ」、レベル３の場合には「ＮＧ」のようなフィードバックを音や光等の信号として出力する。

なお、上述した説明においては、動作判定部２０での解析結果のモーションＩＤをタイミング動作判定部５０に入力したタイミングと、デコード結果のモーションＩＤと共に登録しておいたタイミング情報と比較判定する（ステップＳ３２）例について説明したが、本発明はこのような例に限定されるものではない。例えば、ステップＳ３２の処理を省略し、モーションＩＤの一致のみの判定（ステップＳ３１）を行って、判定結果を出力するようにしてもよい。

以上説明したように、本実施形態によれば、フィットネスのＤＶＤ等の映像音声媒体に、正しい動きを示すモーションＩＤとタイミング情報を音響透かしにより記録しておき、当該映像音声媒体の再生音から音響透かしの情報をデコードし、ユーザの身体に取り付けたホストと各スレーブのモーションセンサーの検知結果をモーションライブラリに基づいてモーションＩＤとして解析し、デコードしたモーションＩＤと解析したモーションＩＤとの一致判定の結果についてフィードバックを与えるようにしたので、通常のＤＶＤ等の映像音声媒体の再生機器を用いて、より効果的で一方的ではないシステムを提供することができる。

また、本実施形態においては、モーションライブラリ７０に記憶させる情報を、外部入力機器２００により更新あるいは差替え可能としたので、例えば、ＤＶＤ等の映像音声媒体に記録するコンテンツや、ホスト１００や各スレーブ１１０ａ〜１１０ｃの取り付け位置を変更した場合でも、モーションライブラリ７０に記憶させる情報の更新により容易に対応することが可能となる。さらに、上半身トレーニング用のコンテンツを、下半身トレーニング用として使用する場合等、特定のコンテンツの用途を変更する場合でも、モーションライブラリ７０に記憶させる情報の変更のみで、容易に対応することが可能となる。すなわち、ＤＶＤ上のコンテンツに記憶されたモーションＩＤはそのままで、モーションライブラリ７０に記憶されているモーションＩＤに対応している上半身トレーニング用の情報を、下半身トレーニング用の情報に変更すればよい。このようにすれば、ＤＶＤで再生するコンテンツは同じだが、下半身トレーニング用のコンテンツとしても使用できる。また、モーションライブラリ７０の更新をユーザに開放することも可能であり、この場合にはユーザが自由に好みのライブラリを作成することができる。また、インターネット配信等によりモーションライブラリを共有することも可能である。

＜第２実施形態＞
次に、本発明の第２実施形態について図８を参照して説明する。第１実施形態においては、ホスト１００をユーザの身体に取り付ける例について説明したが、本実施形態は、ホスト１００はユーザの身体に取り付けず、第１スレーブ１１０ａ、第２スレーブ１１０ｂ、第３スレーブ１１０ｃをユーザの身体に取り付ける例である。

図８に本実施形態の動作報知システム１ａを示す。本実施形態においては、図８に示すように、ホスト１００にはモーションセンサーは備えられていない。スレーブの数を適宜変更可能なところは第１実施形態と同様である。本実施形態のように構成した場合でも、ユーザの身体に取り付けた各スレーブのモーションセンサーの検知結果をモーションライブラリに基づいてモーションＩＤとして解析し、デコードしたモーションＩＤと解析したモーションＩＤとの一致判定の結果についてフィードバックを与えることができるので、通常のＤＶＤ等の映像音声媒体の再生機器を用いて、より効果的で一方的ではないシステムを提供することができる。

＜第３実施形態＞
次に、本発明の第３実施形態について図９を参照して説明する。上述した各実施形態においては、モーションライブラリ７０に予めモーション情報を記録しておいた例について説明したが、本実施形態は、ＤＶＤ等の映像音声媒体に音響透かしとしてモーション情報を記録しておき、ＤＶＤ等の映像音声媒体の再生音をデコードして、モーション情報をモーションライブラリ７０に記憶させる例である。

図９に本実施形態の動作報知システム１ｂを示す。図９に示すように、本実施形態においては、音響透かしデコード部４０によってモーションライブラリ７０へのアクセスが可能に構成されている。モーションライブラリ７０に記憶させるモーション情報（具体的には図３に示す情報、すなわち、モーションＩＤと基準となる動作の内容を特定する情報。）は、例えば、本編が始まる前のタイトルの部分に音響透かしとして重畳させておく。ＤＶＤ等の映像音声媒体の再生が開始され、タイトルの部分が再生されると、音響透かしデコード部４０は音響透かしとして重畳されているモーション情報をデコードし、モーションライブラリ７０に記憶させる。これ以降は、第１実施形態と同様に、モーションＩＤとタイミング情報をデコードしてタイミング動作判定部５０に出力する。また、動作判定部２０はモーションライブラリ７０のモーション情報を参照してモーションＩＤを出力する。

本実施形態によれば、モーション情報についてもＤＶＤ等の映像音声媒体に音響透かしとして記録するようにしたので、モーションライブラリ７０を手動で更新又は変更する必要がなく、利便性を高めることができる。なお、本実施形態においても、第２実施形態のようにホスト１００からモーションセンサー１０を取り除いてもよい。

＜第４実施形態＞
次に、本発明の第４実施形態について図１０を参照して説明する。上述した各実施形態においては、解析結果のモーションＩＤとデコード結果のモーションＩＤとの一致判定の結果、更にはタイミングの判定結果をフィードバックする例について説明したが、本実施形態は、解析結果のモーションＩＤについても出力する。

図１０に本実施形態の動作報知システム１ｃを示す。図１０に示すように、本実施形態においては、動作判定部２０の出力がハードディスクドライブ等の外部出力機器２０２に入力されるように構成されている。本実施形態は、動作判定部２０から解析結果のモーションＩＤが出力されると、当該モーションＩＤは、タイミング動作判定部５０と外部出力機器２０２の双方に入力される。外部出力機器２０２は入力したモーションＩＤをタイミング動作判定部５０が出力する時間情報と共に記憶するように構成されている。したがって、本実施形態によれば、ユーザの動作に対するフィードバックが可能なだけでなく、ユーザの動作をログとして蓄積することができる。したがって、ログを解析することにより、ユーザの動作が正解の動作とどのように違ったのかを確認することができる。また、モーションＩＤを外部に出力することにより、ユーザの動作に応じて情報を出力するモーションインターフェースとしても使用することが可能になる。なお、本実施形態においても、第２実施形態のようにホスト１００からモーションセンサー１０を取り除いてもよい。また、第３実施形態のようにモーションライブラリを映像音響媒体の音響透かしで設定してもよい。さらに、第２、第３実施形態のように、ホスト１００からモーションセンサー１０を取り除いて、モーションライブラリを映像音響媒体の音響透かしで設定してもよい。

＜第５実施形態＞
次に、本発明の第５実施形態について図１１を参照して説明する。上述した各実施形態においては、手本となる映像等の動作及び音は、ＤＶＤ等の映像音声媒体に記録される例について説明したが、本実施形態においては、ホスト１００内に手本となるモーションＩＤとタイミング情報を出力する出力部を備える例である。

図１１に本実施形態の動作報知システム１ｄを示す。図１１に示すように、ホスト１００には、手本となるモーションＩＤとタイミング情報を出力するモーションＩＤ出力部３００が備えられている。モーションＩＤ出力部３００は、単にモーションＩＤとタイミング情報だけを出力するのではなく、例えば、テンポを示す音や光を出力するように構成してもよい。このように構成すれば、ＤＶＤ等の映像音声媒体の再生音を収音することなく、動作報知システム１ｄのみで、手本となる音や光に対するユーザの反応をフィードバックすることができる。なお、本実施形態においても、第２実施形態のようにホスト１００からモーションセンサー１０を取り除いてもよい。また、モーションＩＤ出力部３００と外部入力機器２００または別の外部入力機器とを接続可能に構成し、モーションＩＤ出力部３００に記憶されているモーションＩＤとタイミング情報を書き換えるようにしてもよい。

＜第６実施形態＞
次に、本発明の第６実施形態について図１２を参照して説明する。上述した各実施形態においては、モーションセンサーを用いてユーザの動作を解析する例について説明したが、本実施形態では、モーションセンサーを使用せず、手本となる動きを報知情報生成部によりユーザに知らせる例である。

図１２に本実施形態の動作報知システム１ｅを示す。図１２に示すように、本実施形態の動作報知システム１ｅは、複数の受信装置１２０を備えている。受信装置１２０は、音響透かしデコード部４０と、タイミング動作判定部５１と、報知情報生成部６１と、モーションライブラリ７０と、装置位置入力部４００とを備えている。

装置位置入力部４００は、受信装置１２０をユーザの身体のどの部分に装着したのかを入力する機能を有する。本実施形態においては、例えば、受信装置１２０をユーザの両手両足に取り付け、ユーザが装置位置入力部４００を用いて、受信装置１２０を取り付けた位置を、「右手」、「左手」、「右足」、「左足」のように入力する。装置位置入力部４００は、スイッチ、あるいはタッチパネル等で実現することができる。

音響透かしデコード部４０は、上述した各実施形態のホスト１００における音響透かしデコード部４０と同様に、ＤＶＤ等の映像音声媒体の再生音に含まれる音響透かしをデコードし、モーションＩＤとタイミング情報を出力する。

タイミング動作判定部５１は、上述した各実施形態のホスト１００におけるタイミング動作判定部５０と同様に、音響透かしデコード部４０から出力されるモーションＩＤとタイミング情報を登録する機能を有する。しかし、各実施形態のホスト１００におけるタイミング動作判定部５０のように、解析結果のモーションＩＤとの比較判定は行わない。本実施形態のタイミング動作判定部５１は、モーションライブラリ７０のモーション情報を参照し、登録したタイミングになった時に、登録したモーションＩＤの動作の内容を読み取り、その内容が、装置位置入力部４００によって入力された位置の動作に該当する場合には、フィードバックの生成指示信号を報知情報生成部６１に出力する。例えば、あるモーションＩＤの動作の内容が「右手を右側に移動させる」という内容を含み、装置位置入力部４００によって入力された位置が「右手」であった場合には、フィードバック信号の生成指示信号を報知情報生成部６１に出力する。

報知情報生成部６１は、上述した各実施形態のホスト１００におけるフィードバック生成部６０と同様の構成である。即ち、タイミング動作判定部５１から出力される生成指示信号に応じて、例えば振動を発生させることによりユーザに対して動作に関する報知を行う。但し、報知情報生成部６１は、音声再生部や音声合成部、ＬＥＤコントローラ、あるいは記録部と送信部で構成してもよい。

以上のような本実施形態の動作報知システム１ｅの受信装置１２０をユーザの両手両足に装着し、例えばフィットネス系のＤＶＤ等の映像音声媒体を再生すると、音響透かしとして記録されたモーションＩＤとタイミング情報がデコードされ、当該タイミング情報が示すタイミングにおいて、動かすべき位置の受信装置１２０が振動する。したがって、ユーザは、両手両足のうちのいずれかを、どのタイミングで動かすのかを知ることができる。このように、本実施形態によれば、ＤＶＤ等の映像音声媒体を視聴しただけでは分り難い動きの場合でも、的確にユーザに対して動かす箇所とタイミングを知らせることができる。

なお、受信装置１２０は常に複数台を使用する必要はなく、１台のみを使用してもよい。また、１台の受信装置１２０をホストとして使用すると共に、他の受信装置１２０をスレーブとして使用し、ホストからスレーブに対して通信によりフィードバックの生成指示信号を送信するようにしてもよい。また、第３実施形態のように、モーションライブラリ７０を音響透かしにより書き換えられるように構成してもよい。

＜変形例＞
本発明は、上述した実施形態に限定されるものではなく、以下に述べる各種の変形が可能である。また、各変形例と上述した実施形態は適宜組み合わせることができる。

（１）上述した各実施形態においては、音響透かしを用いてモーションＩＤやタイミング情報、あるいはモーション情報を、本来のコンテンツの音声に重畳する例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、映像透かしを用いることができる。映像透かしとしては、例えば、視聴者が気付かない程度の濃淡の差を映像に表すような方式が挙げられる。映像透かしを採用する場合には、音響透かしデコード部の代わりに、再生映像から映像透かしをデコードする映像透かしデコード部を備える必要がある。

（２）上述した各実施形態においては、音響透かしを用いて、モーションＩＤやタイミング情報を、本来のコンテンツの音声に重畳する例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、正解のタイミング情報と正解のモーションＩＤについてはホスト１００や受信装置１２０に記憶させておき、音響透かし等を用いて適宜同期タイミングのみをＤＶＤ等の映像音声媒体の再生音または再生映像に含ませるようにしてもよい。

（３）上述した各実施形態においては、ＤＶＤ等の映像音声媒体の映像を伴う再生音に、モーションＩＤやタイミング情報を含ませる例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、例えばラジオ体操のように音声または音楽だけのコンテンツにモーションＩＤやタイミング情報を含ませるようにしてもよい。あるいは、音声を伴わない映像のみのコンテンツにモーションＩＤやタイミング情報を含ませるようにしてもよい。また、音響透かしを埋め込んだ非可聴音を映像のみのコンテンツと一緒に再生してもよい。

（４）上述した各実施形態においては、フィードバックとして、音や光の他、振動を用いる例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、タイミングと動作の正確さ、あるいは動作の大きさ等に応じて、何等かの特典を与えるようなフィードバックを採用してもよい。

（５）上述した各実施形態においては、デコード結果のモーションＩＤと、解析結果のモーションＩＤとを比較することにより、正しい動きが出来ているかどうかを判定する例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、「右の腰を上げる」などのコマンド的な情報をＤＶＤ等の映像音声媒体に音響透かしや映像透かしで記録しておき、解析結果のモーションＩＤ又はモーションＩＤの組み合わせにより、前記コマンド的な情報が示す動きに合致しているかどうかを判定するようにしてもよい。この場合には、前記コマンド的な情報と前記モーションＩＤとの関係を予めタイミング動作判定部５０に記憶させておけばよい。

（６）上述した各実施形態においては、音響透かしデコード部４０に情報を入力する手段として、マイクを用いた例について説明したが、本発明はこのような例に限定されるものではない。例えば、映像透かしを用いる場合には、カメラや光センサーを用いてもよい。

（７）上述した各実施形態においては、モーションセンサーをホストやスレーブの内部に備える例について説明したが、本発明はこのような例に限定されるものではない。例えば、外付けのモーションセンサーを、ホストやスレーブに取り付けるようにしてもよい。

（８）上述した各実施形態においては、フィードバックとして、ホストやスレーブから音や光を出力したり、あるいは受信装置を振動させる例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、ホストやスレーブ、あるいは受信装置に、スピーカやライト等の外部機器を接続してフィードバックの出力を行うようにしてもよい。

１，１ａ，１ｂ，１ｃ，１ｄ，１ｅ…動作報知システム、１０，１１１…モーションセンサー、２０…動作判定部、３０…受信部、４０…音響透かしデコード部、５０，５１…タイミング動作判定部、６０…フィードバック生成部、７０…モーションライブラリ、８０…個人データライブラリ、９０…設定部、１００…ホスト、１１０ａ，１１０ｂ，１１０ｃ…スレーブ、１１２…送信部、１２０…受信装置、２００…外部入力機器、２０１…マイク、２０２…外部出力機器、３００…モーションＩＤ出力部、４００…装置位置入力部。

Claims (4)

1. 動作の内容を示す情報と、当該情報を識別する識別情報とが記憶されたモーションライブラリと、
   基準となる動作の内容を特定する情報と当該動作のタイミングを示すタイミング情報とを入力して登録する登録部と、
   前記登録したタイミング情報が示すタイミングに到達したと判断した場合に、少なくとも前記モーションライブラリに記憶されたいずれかの情報と、前記登録した基準となる動作の内容を特定する情報とを参照して、動作に関する判定を行うタイミング動作判定部と、
   前記判定の結果に基づいて報知を行う報知部と、を備え、
   前記モーションライブラリには、
   全体的な動作を構成する所定時間ごとの動作の内容を示す情報が、動作が行われる複数の部位の少なくとも一つの部位の動作の内容を含む一つの組として関係付けられて記憶されており、前記識別番号は、当該組のそれぞれと一対一に関係付けられて記憶されている、
   ことを特徴とする動作報知システム。
2. 使用者の動作を検知するモーションセンサーと、
   前記モーションセンサーによる検知結果と前記モーションライブラリに記憶された前記動作の内容を示す情報とから、前記モーションライブラリに記憶された前記識別情報を判定する動作判定部と、をさらに備え、
   前記タイミング動作判定部は、
   前記登録したタイミング情報が示すタイミングに到達したと判断した場合に、前記判定された前記識別情報と、前記登録した基準となる動作の内容を特定する情報とを参照して、前記基準となる動作と前記検知結果としての使用者の動作との関係について判定を行う、
   ことを特徴とする請求項１に記載の動作報知システム。
3. 個人データを記憶する個人データライブラリをさらに備え、
   前記動作判定部は、前記判定を行う際に、個人データライブラリに記憶された個人データを参照して判定の基準を補正する、
   ことを特徴とする請求項２に記載の動作報知システム。
4. 前記モーションライブラリまたは前記個人データライブラリを更新あるいは差替えを行う設定部をさらに備える、
   ことを特徴とする請求項１乃至請求項３のいずれか一項に記載の動作報知システム。
   

Images