JP2018085574A - 画像処理装置、解析システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】対象者の動きをユーザがより効率的に把握可能な表示を行うこと。【解決手段】解析システムＳは、センサユニット１と、撮影装置２と、処理装置３とを備える。処理装置３は、画像取得部３５７と、センサ情報取得部３５６と、解析処理部３５８と、画像生成部３５９と、簡易表示生成部３６０とを備える。画像取得部３５７は、対象者が撮影された画像を取得する。センサ情報取得部３５６は、対象者の動きをセンサによって計測した計測結果を取得する。画像生成部３５９は、画像取得部３５７によって取得された画像を出力部３１９に表示させる。簡易表示生成部３６０は、画像生成部３５９による表示が行われることに先行して、センサ情報取得部３５６によって取得された計測結果に基づいて、対象者の動きに関する情報を出力部３１９に表示させる。【選択図】図９

Description

本発明は、画像処理装置、解析システム、画像処理方法及びプログラムに関する。

従来、ゴルフスイングを映像によって解析する様々な手法が開発されている。
例えば、特許文献１では、腰部に取り付けられた加速度センサにより得られた計測データを対応する動画と共に再生することでスイング動作評価を行うことが提案されている。
ところが、特許文献１に記載された技術は、実験室のような大掛かりな設備が必要であり、一般ユーザが気軽に活用することは困難である。
一方、近年、コンシューマー用の高速デジタルカメラ、スマートフォン、モーションセンサといった端末が容易に入手可能となっており、一般のユーザがこれらの端末を練習場に持ち込み、各端末の機能を組み合わせて用いることにより、気軽にゴルフスイングを解析することも可能になっている。

特開２００９−０５０７２１号公報

しかしながら、コンシューマー用の高速デジタルカメラ、スマートフォン、モーションセンサ等の端末を組み合わせて用いる場合、例えば、それぞれの端末によって情報を取得することは可能であるものの、取得した情報から解析結果を提示する機能が十分なものでないといった課題があった。そのため、スイング等の動作を行った後、ユーザが動作内容を把握するまでに無用な時間や手間を要し、効率的な表示ができるものではなかった。

本発明は、このような状況に鑑みてなされたものであり、対象者の動きをユーザがより効率的に把握可能な表示を行うことを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
対象者が撮影された画像を取得する画像取得手段と、
前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得手段と、
前記画像取得手段によって取得された前記画像を表示手段に表示させる第１表示制御手段と、
前記第１表示制御手段による表示が行われることに先行して、前記計測結果取得手段によって取得された前記計測結果に基づいて、前記対象者の動きに関する情報を前記表示手段に表示させる第２表示制御手段と、
を備えることを特徴とする。

本発明によれば、対象者の動きをユーザがより効率的に把握可能な表示を行うことができる。

本発明の一実施形態に係る解析システムの構成を示すシステム構成図である。 解析システムの使用形態例を示す模式図である。 センサユニットのハードウェアの構成を示すブロック図である。 撮影装置のハードウェア構成を示すブロック図である。 処理装置のハードウェア構成を示すブロック図である。 センサユニットの機能的構成のうち、情報検出処理を実行するための機能的構成を示す機能ブロック図である。 センサユニットの装着状態を示す模式図である。 センサユニットによって検出される情報の例を示す模式図である。 撮影装置の機能的構成のうち、撮影処理を実行するための機能的構成を示す機能ブロック図である。 処理装置の機能的構成のうち、解析結果表示処理を実行するための機能的構成を示す機能ブロック図である。 リアルタイムモードにおける表示例を示す模式図である。 ワンショットモードにおける表示例を示す模式図である。 ゴルフのスイングにおける特徴的なポイントの簡易表示画像の表示例を示す模式図である。 センサユニットが実行する情報検出処理の流れを説明するフローチャートである。 撮影装置が実行する撮影処理の流れを説明するフローチャートである。 処理装置が実行する解析結果表示処理の流れを説明するフローチャートである。 ワンショットモードにおける各装置間の処理のタイミングを概略的に示す模式図である。 ＢＯＸアニメーションの表示形態例を示す模式図である。

以下、本発明の実施形態について、図面を用いて説明する。

［システム構成］
図１は、本発明の一実施形態に係る解析システムＳの構成を示すシステム構成図である。また、図２は、解析システムＳの使用形態例を示す模式図である。
図１及び図２に示すように、解析システムＳは、センサユニット１と、撮影装置２と、処理装置３と、を含んで構成される。また、処理装置３とセンサユニット１及び撮影装置２とはＢｌｕｅｔｏｏｔｈ ｌｏｗ ｅｎｅｒｇｙ／Ｂｌｕｅｔｏｏｔｈ ＬＥ（商標）（以下、「ＢＬＥ」と称する。）によって通信可能に構成され、撮影装置２とセンサユニット１及び処理装置３とは、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）によって通信可能に構成される。
センサユニット１は、計測対象に装着され、計測対象の動きをセンシングしてセンサ情報を処理装置３に送信する。本実施形態においては、ゴルフのスイングの動作をする者（以下、「計測対象者Ｐ」と称する。）の腰等にセンサユニット１を装着し、当該動作をセンシングする。

撮影装置２は、計測対象を撮影し、計測対象の動きを表す動画のデータを処理装置３に送信する。本実施形態においては、撮影装置２は、ゴルフのスイングの動作をする計測対象者Ｐの動画を撮影する。

処理装置３は、計測対象に装着したセンサユニット１から取得したセンサ情報を解析し、解析結果（本実施形態においては、計測対象の姿勢変化や移動の状態）を、センサ情報が取得された計測対象の動きを表す動画と併せて表示する。本実施形態においては、処理装置３は、計測対象の解析結果を、計測対象の３次元的な動きを模式的に示す箱型のオブジェクト（計測対象の３次元的な動きを示す指標）によってアニメーション表示する。また、処理装置３は、計測対象の解析結果が表示されるまでの間に、センサ情報に基づいて、計測対象の動きを概略的に表す画像を表示する。

［ハードウェア構成］
図３は、センサユニット１のハードウェアの構成を示すブロック図である。
センサユニット１は、計測対象の動きを検出する各種センサを備えた装置として構成される。
図３に示すように、センサユニット１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３と、バス１１４と、入出力インターフェース１１５と、センサ部１１６と、入力部１１７と、出力部１１８と、記憶部１１９と、通信部１２０と、を備えている。なお、センサユニット１は、半導体メモリ等よりなるリムーバブルメディアを装着可能な構成としてもよい。

ＣＰＵ１１１は、ＲＯＭ１１２に記録されているプログラム、または、記憶部１１９からＲＡＭ１１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１１３には、ＣＰＵ１１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１１、ＲＯＭ１１２及びＲＡＭ１１３は、バス１１４を介して相互に接続されている。このバス１１４にはまた、入出力インターフェース１１５も接続されている。入出力インターフェース１１５には、センサ部１１６、入力部１１７、出力部１１８、記憶部１１９及び通信部１２０が接続されている。

センサ部１１６は、３軸方向の加速度を測定する３軸加速度センサと、３軸方向の角速度を測定する３軸角速度センサと、３軸方向の地磁気を測定する３軸地磁気センサとを備えている。センサ部１１６は、予め設定されたサンプリング周期（例えば、０．００１秒）毎に、３軸加速度センサ、３軸角速度センサ及び３軸地磁気センサによって３軸方向の加速度、角速度及び地磁気を測定する。センサ部１１６によって測定された加速度及び角速度のデータは、測定時刻のデータと対応付けて、記憶部１１９に記憶あるいは処理装置３に送信される。

入力部１１７は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１１８は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する。
記憶部１１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。
通信部１２０は、端末間の直接的な無線通信によって他の装置との間で行う通信を制御する。本実施形態において、通信部１２０は、ＢＬＥ（登録商標）によって処理装置３と通信したり、Ｗｉ−Ｆｉによって撮影装置２と通信したりする。

図４は、撮影装置２のハードウェア構成を示すブロック図である。
撮影装置２は、画像の撮影機能を備え、例えば、デジタルカメラによって構成される。本実施形態において、撮影装置２は、ディスプレイと分離して撮影機能がユニット化された装置として構成される。
図４に示すように、撮影装置２は、ＣＰＵ２１１と、ＲＯＭ２１２と、ＲＡＭ２１３と、バス２１４と、入出力インターフェース２１５と、撮像部２１６と、入力部２１７と、出力部２１８と、記憶部２１９と、通信部２２０と、ドライブ２２１と、を備えている。
これらのうち、撮像部２１６、通信部２２０及びドライブ２２１以外の構成は、図３において対応する各部分と同様である。

撮像部２１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部２１６の出力信号として出力される。
このような撮像部２１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ２１１等に適宜供給される。

通信部２２０は、端末間の直接的な無線通信によって他の装置との間で行う通信を制御する。本実施形態において、通信部２２０は、ＢＬＥ（登録商標）によって処理装置３と通信したり、Ｗｉ−Ｆｉによって撮影装置２及び処理装置３と通信したりする。
ドライブ２２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア２３１が適宜装着される。ドライブ２２１によってリムーバブルメディア２３１から読み出されたプログラムは、必要に応じて記憶部２１９にインストールされる。また、リムーバブルメディア２３１は、記憶部２１９に記憶されている画像のデータ等の各種データも、記憶部２１９と同様に記憶することができる。

図５は、処理装置３のハードウェア構成を示すブロック図である。
処理装置３は、情報表示機能を備えた情報処理装置であり、例えば、スマートフォンとして構成される。

図５に示すように、処理装置３は、ＣＰＵ３１１と、ＲＯＭ３１２と、ＲＡＭ３１３と、バス３１４と、入出力インターフェース３１５と、撮像部３１６と、センサ部３１７と、入力部３１８と、出力部３１９と、記憶部３２０と、通信部３２１と、ドライブ３２２と、を備えている。なお、ドライブ３２２には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３３１が適宜装着される。
これらのうち、入力部３１８、出力部３１９及び通信部３２１以外の構成は、図３及び図４において対応する各部分と同様である。

入力部３１８は、各種釦やタッチパネル等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部３１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
通信部３２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。また、通信部３２１は、端末間の直接的な無線通信によって他の装置との間で行う通信を制御する。本実施形態において、通信部３２１は、ＢＬＥ（登録商標）によってセンサユニット１及び撮影装置２と通信したり、Ｗｉ−Ｆｉによって撮影装置２と通信したりする。

［機能的構成］
図６は、センサユニット１の機能的構成のうち、情報検出処理を実行するための機能的構成を示す機能ブロック図である。
情報検出処理とは、解析システムＳが計測対象の動きを解析する際に、計測対象に装着されたセンサユニット１が計測対象の動きをセンシングする一連の処理である。
情報検出処理が実行される場合、図６に示すように、ＣＰＵ１１１において、第１通信制御部１５１と、第２通信制御部１５２と、キャリブレーション実行部１５３と、モード設定部１５４と、同期制御部１５５と、検出処理部１５６と、センサ情報送信制御部１５７とが機能する。
また、記憶部１１９の一領域には、センサ情報記憶部１７１が設定される。

第１通信制御部１５１は、センサユニット１のＢＬＥによる通信を制御し、他の装置とのペアリング処理やデータの送受信処理を実行する。
第２通信制御部１５２は、センサユニット１のＷｉ−Ｆｉによる通信を制御し、他の装置とのデータの送受信処理を実行する。

キャリブレーション実行部１５３は、処理装置３からの指示に応じて、基準となる状態におけるセンサ情報を取得し、取得結果を基準値とするキャリブレーションを実行する。本実施形態においては、キャリブレーション実行部１５３は、センサユニット１が計測対象者Ｐの腰に装着され、ゴルフのスイングを行うための位置にアドレスした姿勢を取った状態を基準とし、この状態で取得されたセンサ情報が基準値とされる。

図７Ａは、センサユニット１の装着状態を示す模式図、図７Ｂはセンサユニット１によって検出される情報の例を示す模式図である。
キャリブレーションが行われる場合、図７Ａに示すように、例えば、センサユニット１がベルト等によって計測対象者Ｐの腰に装着され、計測対象者Ｐがゴルフのスイングを行うための位置で、ボールに向かいアドレスした姿勢で所定時間（例えば２秒）静止する。このとき、図７Ｂに示すように、センサユニット１は、３軸加速度センサによって検出される重力方向及び３軸地磁気センサによって検出される方位を基準として、センサ情報（身体の前後方向の傾斜角度、左右方向の傾斜角度及び鉛直軸周りの回転角度）を取得し、取得された各センサ情報をアドレス時の基準値とする。そして、以降、計測対象者Ｐがスイングを行う際に、センサユニット１において検出される各センサ情報が、所定時間（例えば２秒）以上、アドレス時の基準値に対し、各センサ情報について設定された閾値の範囲内となっている場合に、アドレスの状態であると検出される。
なお、図７Ｂに示す情報の他、センサユニット１は、３軸加速度センサを備えているため、センサユニット１の移動（平行移動等）についても検出可能であり、３軸地磁気センサを備えているため、センサユニット１が向いている方位についても検出可能である。

モード設定部１５４は、処理装置３からの指示に応じて、動作のモードを複数用意されたモードのいずれかに設定する。本実施形態において、解析システムＳでは、計測対象者Ｐのライブビュー画像と併せて、センサユニット１によって取得したセンサ情報から生成されたアニメーションを表示するリアルタイムモードと、計測対象者Ｐのゴルフのスイングの動画に、そのスイングにおいてセンサユニット１によって取得したセンサ情報から生成されたアニメーションを合成して表示するワンショットモードとが用意されている。

同期制御部１５５は、ワンショットモードに設定された後に、Ｗｉ−Ｆｉによる通信を介して、センサユニット１及び撮影装置２における基準時刻の同期を行う。センサユニット１及び撮影装置２は、例えば、ＳＮＴＰ（Ｓｉｍｐｌｅ Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）によって基準時刻の同期を行うことができる。

検出処理部１５６は、センサユニット１がリアルタイムモードに設定されている場合及びワンショットモードに設定されている場合に、各種センサ情報を逐次取得し、取得したセンサ情報を、取得された時刻と対応付けてセンサ情報記憶部１７１に記憶する。なお、センサ情報記憶部１７１に記憶されたセンサ情報は、取得された時刻から所定時間が経過した場合に順次破棄することとしてもよい。ただし、ワンショットモードにおいて、ゴルフのスイングのアドレスからスイング終了までに取得されたセンサ情報は、少なくとも処理装置３への送信が完了した後に破棄される。
また、検出処理部１５６は、ワンショットモードにおいて取得したセンサ情報に基づいて、ゴルフのスイングにおける所定の特徴的なポイントのタイミングを検出する。例えば、検出処理部１５６は、ワンショットモードにおいて取得したセンサ情報の波形を解析し、ゴルフのスイングにおけるアドレス、トップ、ダウンスイング、インパクト、フォローの各ポイントのタイミングを検出する。

また、検出処理部１５６は、ワンショットモードにおいてアドレスのタイミングを検出した場合及びフォローのタイミングを検出した場合、アドレスのタイミングが検出されたことを示す信号（以下、「アドレス検出信号」と称する。）及びフォローのタイミングが検出されたことを示す信号（以下、「フォロー検出信号」と称する。）を、ＢＬＥによって処理装置３に逐次送信する。

さらに、検出処理部１５６は、ゴルフのスイングの開始から終了まで（以下、適宜「ワンショット」と称する。）の範囲を検出する。本実施形態において、検出処理部１５６は、計測対象者Ｐのゴルフのスイングにおけるアドレスからフォローまでのタイミングをワンショットの範囲として検出する。そして、検出処理部１５６は、検出したワンショットの範囲を示す信号（以下、「ワンショット範囲検出信号」と称する。）を、ＢＬＥによって処理装置３に送信する。

センサ情報送信制御部１５７は、検出処理部１５６によって取得されたセンサ情報を処理装置３に送信する制御を行う。本実施形態において、検出処理部１５６では、例えば、１０００サンプル／秒程度でセンサ情報を取得することができる。そして、センサ情報送信制御部１５７は、検出処理部１５６によって取得されたセンサ情報を、リアルタイムモードにおいては低いサンプリングレート（例えば、３０サンプル／秒程度）に変換して処理装置３に送信し、ワンショットモードにおいては高いサンプリングレート（例えば、２４０サンプル／秒程度）に変換して処理装置３に送信する。なお、ワンショットモードでは、ワンショットの範囲のセンサ情報が処理装置３に送信される。本実施形態において、センサ情報送信制御部１５７は、計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイント（アドレス、トップ、ダウンスイング、インパクト、フォロー）のセンサ情報を、ワンショットの範囲のセンサ情報に先行して処理装置３に送信する。このように、所定の特徴的なポイントのセンサ情報を先行して処理装置３に送信することで、処理装置３において、より早いタイミングで簡易表示画像の表示を行うことが可能となる。

また、センサ情報送信制御部１５７は、ワンショットモードにおいてセンサ情報を処理装置３に送信する場合、検出処理部１５６によって検出されたアドレス、トップ、ダウンスイング、インパクト、フォローの各ポイントのタイミングを、併せて処理装置３に送信する。
なお、本実施形態において、検出処理部１５６で取得されたセンサ情報は、各種センサの出力信号をそれぞれフィルタリングすることにより、ノイズの影響を抑制した波形に変換され、センサ情報送信制御部１５７は、処理結果のセンサ情報が表す波形から取得されるセンサ情報を処理装置３に送信する。
これにより、ノイズの影響によってばらつきが大きいセンサ情報よりも信頼度が高い情報を参照して、計測対象者Ｐの動きを解析することができる。

次に、撮影装置２の機能的構成について説明する。
図８は、撮影装置２の機能的構成のうち、撮影処理を実行するための機能的構成を示す機能ブロック図である。
撮影処理とは、解析システムＳが計測対象の動きを解析する際に、センサユニット１によるセンサ情報の取得と同期して、計測対象の動き表す動画を撮影する一連の処理である。
撮影処理が実行される場合、図８に示すように、ＣＰＵ２１１において、第１通信制御部２５１と、第２通信制御部２５２と、撮影制御部２５３と、同期制御部２５４と、動画送信制御部２５５とが機能する。
また、記憶部２１９の一領域には、動画データ記憶部２７１が設定される。

第１通信制御部２５１は、撮影装置２のＢＬＥによる通信を制御し、他の装置とのペアリング処理やデータの送受信処理を実行する。
第２通信制御部２５２は、撮影装置２のＷｉ−Ｆｉによる通信を制御し、他の装置とのデータの送受信処理を実行する。本実施形態において、Ｗｉ−Ｆｉによる通信が行われる場合、撮影装置２がアクセスポイント（ＡＰ）となり、他の装置がステーション（ＳＴ）となる。

撮影制御部２５３は、処理装置３からリアルタイムモードへの移行が指示された場合に、撮像部２１６を制御して、ライブビュー画像の撮影速度として予め設定された撮影速度（例えば、３０ｆｐｓ）でライブビュー画像を撮影する。また、撮影制御部２５３は、処理装置３から記録用の動画の撮影が指示された場合に、撮像部２１６を制御して、記録用の動画の撮影速度として予め設定された撮影速度（例えば、２４０ｆｐｓ）で記録用の動画を撮影する。なお、撮影された記録用の動画は、動画データ記憶部２７１に記憶される。

同期制御部２５４は、ワンショットモードに設定された後に、Ｗｉ−Ｆｉによる通信を介して、センサユニット１及び撮影装置２における基準時刻の同期を行う。
動画送信制御部２５５は、撮影制御部２５３の制御によって撮影されたライブビュー画像または記録用の動画を処理装置３に送信する。具体的には、動画送信制御部２５５は、リアルタイムモードにおいて、処理装置３からライブビュー画像の撮影指示が行われた場合、撮影されたライブビュー画像を逐次処理装置３に送信する。また、動画送信制御部２５５は、ワンショットモードにおいて、処理装置３から記録用の動画の撮影指示が行われた場合、処理装置３から通知された記録用の動画の開始から終了までの範囲（即ち、ワンショットの範囲）を切り出して、処理装置３に送信する。

次に、処理装置３の機能的構成について説明する。
図９は、処理装置３の機能的構成のうち、解析結果表示処理を実行するための機能的構成を示す機能ブロック図である。
解析結果表示処理とは、撮影装置２によって撮影された動画に対応する時刻にセンサユニット１によって検出されたセンサ情報を解析して、計測対象者Ｐの身体の３次元的な動きを模したアニメーションを生成し、撮影装置２によって撮影された動画に合成して表示する一連の処理である。
解析結果表示処理が実行される場合、図９に示すように、ＣＰＵ３１１において、第１通信制御部３５１と、第２通信制御部３５２と、キャリブレーション管理部３５３と、モード制御部３５４と、ワンショット撮影管理部３５５と、センサ情報取得部３５６と、画像取得部３５７と、解析処理部３５８と、画像生成部３５９と、簡易表示生成部３６０と、書き出し処理部３６１とが機能する。
また、記憶部３２０の一領域には、動画データ記憶部３７１と、センサ情報記憶部３７２と、合成画像記憶部３７３とが設定される。

第１通信制御部３５１は、処理装置３のＢＬＥによる通信を制御し、他の装置とのペアリング処理やデータの送受信処理を実行する。本実施形態において、ＢＬＥによる通信が行われる場合、処理装置３がマスタとなり、他の装置がスレーブとなる。
第２通信制御部３５２は、のＷｉ−Ｆｉによる通信を制御し、他の装置とのデータの送受信処理を実行する。

キャリブレーション管理部３５３は、センサユニット１に対し、キャリブレーションの実行を指示する。本実施形態において、センサユニット１におけるキャリブレーションは、センサユニット１の起動後、リアルタイムモードあるいはワンショットモードに移行する前に、一度実行される。

モード制御部３５４は、リアルタイムモードに移行するための操作が行われた場合に、ＢＬＥによって、センサユニット１及び撮影装置２に対し、リアルタイムモードへの移行を指示する。また、モード制御部３５４は、ワンショットモードに移行するための操作が行われた場合に、センサユニット１に対し、ワンショットモードへの移行を指示する。

ワンショット撮影管理部３５５は、リアルタイムモードにおいて、ワンショットの範囲の動画の撮影を管理する。具体的には、ワンショット撮影管理部３５５は、センサユニット１からアドレス検出信号を受信した場合、撮影装置２に対し、記録用の動画の撮影を指示する。また、ワンショット撮影管理部３５５は、センサユニット１からフォロー検出信号を受信した場合、撮影装置２に対し、記録用の動画の撮影の終了を指示する。さらに、ワンショット撮影管理部３５５は、センサユニット１からワンショット範囲検出信号を受信した場合、撮影装置２に対し、撮影された動画から切り出すワンショットの範囲を通知する。また、ワンショット撮影管理部３５５は、ワンショットモードにおいて、センサユニット１からセンサ情報の取得が完了した後、撮影装置２に動画の送信を指示する。

センサ情報取得部３５６は、リアルタイムモードにおいて、ライブビュー画像の撮影速度（例えば、３０ｆｐｓ）に対応する周期（低いサンプリングレート）のセンサ情報を、ＢＬＥによってセンサユニット１から逐次取得する。また、センサ情報取得部３５６は、ワンショットモードにおいて、記録用の動画の撮影速度（例えば、２４０ｆｐｓ）に対応する周期（高いサンプリングレート）のワンショットの範囲のセンサ情報を、ＢＬＥによってセンサユニット１から取得する。また、本実施形態において、センサ情報取得部３５６は、ワンショットモードにおいて、ワンショットの範囲のセンサ情報を取得するのに先行して、計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイント（アドレス、トップ、ダウンスイング、インパクト、フォロー）のセンサ情報を、ＢＬＥによってセンサユニット１から取得する。

画像取得部３５７は、リアルタイムモードにおいて、撮影装置２から送信されるライブビュー画像を、Ｗｉ−Ｆｉによって逐次取得する。また、画像取得部３５７は、ワンショットモードにおいて、撮影装置２において記録用の動画が撮影され、ワンショットの範囲が切り出された後に、その切り出された動画を、Ｗｉ−Ｆｉによってまとめて取得する。

解析処理部３５８は、センサユニット１から取得した各種センサ情報を解析し、計測対象者Ｐの身体の３次元的な動きを模した箱型のオブジェクトによって表されるアニメーション（以下、適宜「ＢＯＸアニメーション」と称する。）の時間的な変化を表すデータを生成する。本実施形態において、解析処理部３５８は、リアルタイムモードにおいては、ライブビュー画像の撮影速度に対応する周期のセンサ情報から、ＢＯＸアニメーションの時間的な変化を表すデータを生成する。また、解析処理部３５８は、ワンショットモードにおいては、記録用の動画の撮影速度に対応する周期のセンサ情報から、ＢＯＸアニメーションの時間的な変化を表すデータを生成する。

画像生成部３５９は、リアルタイムモードにおいて取得されるライブビュー画像に、解析処理部３５８によって生成されたＢＯＸアニメーションを併せて表示する。
図１０は、リアルタイムモードにおける表示例を示す模式図である。
図１０に示すように、リアルタイムモードにおいて、画像生成部３５９は、例えば、計測対象者Ｐを中央に表示すると共に、計測対象者Ｐの画像の周囲における予め設定された所定位置にＢＯＸアニメーションＡｎを表示する。なお、計測対象者Ｐの画像の周囲であって、計測対象者Ｐにおいてセンサユニット１が装着された身体の位置に近い位置に、ＢＯＸアニメーションＡｎを表示することとしてもよい。さらに、画像生成部３５９は、ＢＯＸアニメーションＡｎに対応するセンサ情報の数値を画像内の所定位置（ここでは左下）に表示する。具体的には、図１０に示す例では、身体の前後方向の傾斜角度として「前傾：２１度」、鉛直軸周りの回転角度として「回転：１５度」、左右方向の傾斜角度として「水平：７度」が表示されている。

また、画像生成部３５９は、ワンショットモードにおいて取得される記録用の動画に、解析処理部３５８によって生成されたＢＯＸアニメーションを合成して表示する。以下、このように画像生成部３５９によって表示される画像を、適宜「解析結果動画」と称する。
図１１は、ワンショットモードにおける表示例を示す模式図である。
図１１に示すように、ワンショットモードにおいて、画像生成部３５９は、例えば、計測対象者Ｐの動画像に、ＢＯＸアニメーションＡｎを透過させて重畳することにより、解析結果動画を表示する。また、本実施形態において、ＢＯＸアニメーションＡｎには、センサユニット１の軸（ここでは上下方向及び左右方向）を示す直線が併せて表示される。センサユニット１の軸は、センサユニット１の動きと共に移動する。また、本実施形態において、ワンショットモードにおける表示例では、表示画面に固定された軸（即ち、絶対座標を表す軸）が併せて表示されている。
なお、ＢＯＸアニメーションの時間的な変化は、撮影された計測対象者Ｐの動画のタイミングと対応付けて表示される。

ワンショットモードにおけるセンサ情報及び計測対象者Ｐの動画をこのように表示することで、ＢＯＸアニメーションによって、計測対象者Ｐの身体の動きの傾向をわかり易く示すことができると共に、ＢＯＸアニメーションには表れ難い身体の状態をセンサ情報によって明確に示すことが可能となる。また、センサユニット１の軸と表示画面に固定された軸とが併せて表示されることで、計測対象者Ｐの平行移動等も表示することができ、計測対象者Ｐの身体の動きがより把握し易いものとなる。

簡易表示生成部３６０は、ワンショットモードにおいて、ワンショットの範囲のセンサ情報に先行して取得した計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイント（アドレス、トップ、ダウンスイング、インパクト、フォロー）のデータを参照し、予め用意されている各特徴的なポイントに対応するスイングの画像に、それぞれのセンサ情報の数値を併せて順に表示する。なお、以下、簡易表示生成部３６０によって表示される一連の画像を、適宜「簡易表示画像」と称する。

ここで、ワンショットモードにおいて、センサユニット１がセンサ情報を取得すると共に、撮影装置２が動画の撮影を行った場合、処理装置３では、初めに、センサ情報取得部３５６によってセンサユニット１からセンサ情報を取得する。次いで、画像取得部３５７によって、撮影装置２から記録用の動画のデータを取得する。このとき、画像取得部３５７は撮影装置２から記録用の動画のデータを取得するためには、データ量が比較的大きいことから、一定の時間を要することとなる。そこで、本実施形態においては、画像取得部３５７が撮影装置２から記録用の動画のデータの取得を開始した後、簡易表示生成部３６０が簡易表示画像の表示を行う。そして、簡易表示生成部３６０は、画像取得部３５７が撮影装置２から記録用の動画のデータの取得を完了した後、画像生成部３５９が記録用の動画にＢＯＸアニメーションを合成して表示するまでの間、簡易表示画像の表示を継続する。

図１２は、ゴルフのスイングにおける特徴的なポイントの簡易表示画像の表示例を示す模式図である。
図１２に示すように、簡易表示生成部３６０は、ゴルフのスイングにおけるアドレス、トップ、ダウンスイング、インパクト、フォローの各特徴的なポイントを示す予め用意された画像に対し、計測対象者Ｐのスイングにおいて、対応する特徴的なポイントのセンサ情報の数値を併せて表示する。
なお、簡易表示生成部３６０が簡易表示画像を表示する場合、各特徴的なポイントの簡易表示画像を所定時間ずつ順次表示し、フォローの簡易表示画像まで表示された後は、トップの簡易表示画像に戻って、循環的に各簡易表示画像を表示することが可能である。
簡易表示画像を表示することにより、一定の意義を有する計測対象者Ｐの動きに関する情報を先行して提示することができる。
また、図１２においてはアドレス時点での計測対象者Ｐの身体の前後方向及び左右方向の傾斜角度を０として表示を行ってもよく、アドレス時点からの計測対象者の身体の回転角度及び各種傾斜角度の変化量を表示させるように構成してもよい。

書き出し処理部３６１は、画像生成部３５９によって表示された解析結果動画を、所定の保存形式（ＭＰＥＧ等）のデータとして、記憶部３２０またはリムーバブルメディア３３１に書き出す。なお、書き出し処理部３６１は、解析結果動画の保存を指示する操作が行われた場合に、解析結果動画の書き出しを実行する。

［動作］
次に、解析システムＳの動作を説明する。
図１３は、センサユニット１が実行する情報検出処理の流れを説明するフローチャートである。
情報検出処理は、センサユニット１の起動と共に開始される。

ステップＳ１において、第１通信制御部１５１は、ＢＬＥによってスレーブとして処理装置３と接続する。
ステップＳ２において、キャリブレーション実行部１５３は、処理装置３からの指示に応じて、基準となる状態におけるセンサ情報を取得し、取得結果を基準値とするキャリブレーションを実行する。

ステップＳ３において、キャリブレーション実行部１５３は、キャリブレーションが完了したことをＢＬＥによって処理装置３に通知する。
ステップＳ４において、モード設定部１５４は、処理装置３からの指示に応じて、リアルタイムモードに設定する。
ステップＳ５において、検出処理部１５６は、各種センサ情報を逐次取得し、取得したセンサ情報を、取得された時刻と対応付けてセンサ情報記憶部１７１に記憶する処理を開始する。

ステップＳ６において、センサ情報送信制御部１５７は、検出処理部１５６によって取得されたセンサ情報を、低いサンプリングレート（例えば、３０サンプル／秒程度）に変換して処理装置３に逐次送信する。
ステップＳ７において、モード設定部１５４は、処理装置３からの指示に応じて、ワンショットモードに設定する。

ステップＳ８において、第２通信制御部１５２は、Ｗｉ−Ｆｉによってステーションとして撮影装置２と接続する。
ステップＳ９において、同期制御部１５５は、Ｗｉ−Ｆｉによる通信を介して、センサユニット１及び撮影装置２における基準時刻の同期を行う。

ステップＳ１０において、検出処理部１５６は、取得したセンサ情報の波形を解析し、ゴルフのスイングにおけるアドレスのポイントのタイミングを検出して、アドレス検出信号をＢＬＥによって処理装置３に送信する。

ステップＳ１１において、検出処理部１５６は、取得したセンサ情報の波形を解析し、ゴルフのスイングにおけるフォローのポイントのタイミングを検出して、フォロー検出信号をＢＬＥによって処理装置３に送信する。

ステップＳ１２において、検出処理部１５６は、計測対象者Ｐのゴルフのスイングにおけるアドレスからフォローまでのタイミングをワンショットの範囲として検出し、ワンショット範囲検出信号を処理装置３に送信する。
ステップＳ１３において、検出処理部１５６は、取得したセンサ情報の波形を解析し、ゴルフのスイングにおけるトップ、ダウンスイング、インパクトの各ポイントのタイミングを逐次検出する。

ステップＳ１４において、センサ情報送信制御部１５７は、計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイント（アドレス、トップ、ダウンスイング、インパクト、フォロー）のセンサ情報を、ＢＬＥによって処理装置３に送信する。このように、所定の特徴的なポイントのセンサ情報を先行して処理装置３に送信することで、処理装置３において、より早いタイミングで簡易表示画像の表示を行うことが可能となる。なお、ステップＳ１３及びステップＳ１４の処理をステップＳ１２よりも先に実行することとしてもよい。

ステップＳ１５において、センサ情報送信制御部１５７は、ワンショットの範囲のセンサ情報を、高いサンプリングレート（例えば、２４０サンプル／秒程度）に変換してＢＬＥによって処理装置３に送信する。なお、ワンショットの範囲のセンサ情報を処理装置３に送信する場合、ステップＳ１４において既に送信した特徴的なポイントのセンサ情報を除いて送信することとしてもよい。この場合、同一のセンサ情報が重複して送信されることを抑制できるため、より効率的にセンサ情報を送信することができる。
ステップＳ１５の後、情報検出処理は終了する。

次に、撮影装置２が実行する撮影処理について説明する。
図１４は、撮影装置２が実行する撮影処理の流れを説明するフローチャートである。
撮影処理は、入力部２１７を介して撮影処理の開始を指示する操作が行われることにより開始される。

ステップＳ２１において、第１通信制御部２５１は、ＢＬＥによってスレーブとして処理装置３と接続する。
ステップＳ２２において、第２通信制御部２５２は、Ｗｉ−Ｆｉによってアクセスポイントとして処理装置３と接続する。

ステップＳ２３において、撮影制御部２５３は、処理装置３からリアルタイムモードへの移行が指示されることに応じて、撮像部２１６を制御して、ライブビュー画像の撮影速度として予め設定された撮影速度（例えば、３０ｆｐｓ）でライブビュー画像を撮影する処理を開始する。
ステップＳ２４において、動画送信制御部２５５は、撮影されたライブビュー画像を処理装置３に逐次送信する。

ステップＳ２５において、第２通信制御部２５２は、Ｗｉ−Ｆｉによってアクセスポイントとしてセンサユニット１と接続する。
ステップＳ２６において、同期制御部２５４は、Ｗｉ−Ｆｉによる通信を介して、センサユニット１及び撮影装置２における基準時刻の同期を行う。

ステップＳ２７において、撮影制御部２５３は、処理装置３から記録用の動画の撮影が指示されることに応じて、撮像部２１６を制御して、記録用の動画の撮影速度として予め設定された撮影速度（例えば、２４０ｆｐｓ）で記録用の動画を撮影する処理を開始する。
ステップＳ２８において、撮影制御部２５３は、処理装置３から記録用の動画の撮影の終了が指示されることに応じて、撮像部２１６を制御して、記録用の動画の撮影を終了する。

ステップＳ２９において、動画送信制御部２５６は、処理装置３からワンショットの範囲が通知されることに応じて、記録用の動画のワンショットの範囲を切り出す。
ステップＳ３０において、動画送信制御部２５６は、処理装置３から動画の送信が指示されることに応じて、ワンショットの範囲が切り出された動画を処理装置３に送信する処理を開始する。
ステップＳ３１において、動画送信制御部２５６は、ステップＳ３０において開始した動画の送信を完了する。
ステップＳ３１の後、撮影処理は終了する。

次に、処理装置３が実行する解析結果表示処理について説明する。
図１５は、処理装置３が実行する解析結果表示処理の流れを説明するフローチャートである。
解析結果表示処理は、入力部３１８を介して解析結果表示処理の開始を指示する操作が行われることにより開始される。

ステップＳ４１において、第１通信制御部３５１は、ＢＬＥによってマスタとしてセンサユニット１及び撮影装置２と接続する。
ステップＳ４２において、第２通信制御部３５２は、Ｗｉ−Ｆｉによってステーションとして撮影装置２と接続する。
ステップＳ４３において、キャリブレーション管理部３５３は、センサユニット１に対し、キャリブレーションの実行を指示する。

ステップＳ４４において、キャリブレーション管理部３５３は、センサユニット１からキャリブレーションの実行が完了したことの通知をＢＬＥによって受信する。
ステップＳ４５において、モード制御部３５４は、リアルタイムモードに移行するための操作（リモート撮影の指示）の入力を受け付ける。
ステップＳ４６において、モード制御部３５４は、ＢＬＥによって、センサユニット１及び撮影装置２に対し、リアルタイムモードへの移行を指示する。

ステップＳ４７において、センサ情報取得部３５６は、ライブビュー画像の撮影速度（例えば、３０ｆｐｓ）に対応する周期（低いサンプリングレート）のセンサ情報を、ＢＬＥによってセンサユニット１から取得する。また、画像取得部３５７は、撮影装置２から送信されるライブビュー画像を、Ｗｉ−Ｆｉによって逐次取得する。

ステップＳ４８において、解析処理部３５８は、センサユニット１から取得したライブビュー画像の撮影速度に対応する周期のセンサ情報から、ＢＯＸアニメーションの時間的な変化を表すデータを逐次生成すると共に、画像生成部３５９は、取得されたライブビュー画像に、解析処理部３５８によって生成されたＢＯＸアニメーションを併せて逐次表示する。

ステップＳ４９において、モード制御部３５４は、ワンショットモードに移行するための操作の入力を受け付ける。
ステップＳ５０において、モード制御部３５４は、ＢＬＥによって、センサユニット１に対し、ワンショットモードへの移行を指示する。このとき、モード制御部３５４は、センサユニット１に撮影装置２のＳＳＩＤ（Ｓｅｒｖｉｃｅ Ｓｅｔ ＩＤｅｎｔｉｆｉｅｒ）を併せて送信する。

ステップＳ５１において、ワンショット撮影管理部３５５は、センサユニット１からアドレス検出信号を受信することに応じて、撮影装置２に対し、記録用の動画の撮影を指示する。
ステップＳ５２において、ワンショット撮影管理部３５５は、センサユニット１からフォロー検出信号を受信することに応じて、撮影装置２に対し、記録用の動画の撮影の終了を指示する

ステップＳ５３において、ワンショット撮影管理部３５５は、センサユニット１からワンショット範囲検出信号を受信することに応じて、撮影装置２に対し、撮影された動画から切り出すワンショットの範囲を通知する。

ステップＳ５４において、センサ情報取得部３５６は、計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイント（アドレス、トップ、ダウンスイング、インパクト、フォロー）のセンサ情報を、ＢＬＥによってセンサユニット１から受信する。

ステップＳ５５において、計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイント（アドレス、トップ、ダウンスイング、インパクト、フォロー）のデータを参照し、予め用意されている各特徴的なポイントに対応するスイングの画像に、それぞれのセンサ情報の数値を併せて順に表示する。これにより、簡易表示画像が表示される。

ステップＳ５６において、センサ情報取得部３５６は、記録用の動画の撮影速度（例えば、２４０ｆｐｓ）に対応する周期（高いサンプリングレート）のセンサ情報を、ＢＬＥによってセンサユニット１から取得する。

ステップＳ５７において、ワンショット撮影管理部３５５は、撮影装置２から動画を受信する。

ステップＳ５８において、ワンショット撮影管理部３５５は、撮影装置２から動画の受信が完了したか否かの判定を行う。
撮影装置２から動画の受信が完了していない場合、ステップＳ５８においてＮＯと判定されて、処理はステップＳ５７に移行する。
一方、撮影装置２から動画の受信が完了した場合、ステップＳ５８においてＹＥＳと判定されて、処理はステップＳ５９に移行する。

ステップＳ５９において、解析処理部３５８は、センサユニット１から取得した記録用の動画の撮影速度に対応する周期のセンサ情報から、ＢＯＸアニメーションの時間的な変化を表すデータを生成する。

ステップＳ６０において、画像生成部３５９は、取得された記録用の動画に、解析処理部３５８によって生成されたＢＯＸアニメーションを合成して表示する。これにより、解析結果動画が表示される。

ステップＳ６１において、書き出し処理部３６１は、解析結果動画の保存を指示する操作が行われたか否かの判定を行う。
解析結果動画の保存を指示する操作が行われていない場合、ステップＳ６１においてＮＯと判定されて、解析結果表示処理は終了となる。
一方、解析結果動画の保存を指示する操作が行われた場合、ステップＳ６１においてＹＥＳと判定されて、処理はステップＳ６２に移行する。

ステップＳ６２において、書き出し処理部３６１は、画像生成部３５９によって表示された解析結果動画を、所定の保存形式（ＭＰＥＧ等）のデータとして、記憶部３２０またはリムーバブルメディア３３１に書き出す。
ステップＳ６２の後、解析結果表示処理は終了となる。

このような処理により、解析システムＳにおいては、計測対象者Ｐの身体の動きを計測して得られたセンサ情報と、計測対象者Ｐの動きを撮影した動画とを時刻を同期させて取得することができる。そして、センサ情報に基づいて、計測対象者Ｐの身体の３次元的な動きを模したＢＯＸアニメーションを生成し、撮影装置２によって撮影された動画に合成することにより、解析結果動画を表示することができる。
解析結果動画では、計測対象者Ｐ自身の動画と、計測対象者Ｐの３次元的な動きをわかり易く表すＢＯＸアニメーションと、計測対象者Ｐの身体の動きを計測して得られたセンサ情報とが時刻を同期させて表示される。
そのため、計測対象者Ｐの動きを撮影した動画のみからでは把握し難い情報を、ＢＯＸアニメーションによって直感的かつ容易に把握可能になると共に、時刻を同期させて表示されるセンサ情報によって、より詳細な動きの特徴を明確に把握することが可能となる。また、ＢＯＸアニメーションの時間的な変化はセンサ情報と対応付けられているため、ＢＯＸアニメーションを参照することによっても、正確な解析結果を把握することが可能となる。

また、解析システムＳでは、ワンショットモードにおいて、解析結果動画が表示されることに先行して、計測対象者Ｐの動きに関する所定の情報を表示することにより、無用な待機時間が生じることを抑制している。
図１６は、ワンショットモードにおける各装置間の処理のタイミングを概略的に示す模式図である。
図１６に示すように、ワンショットモードにおいて、処理装置３は、解析結果動画を表示するためにセンサ情報及び動画を取得する場合、まず、計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイントのセンサ情報を取得する（図１５のステップＳ５４）そして、計測対象者Ｐの動きに関する情報を簡易表示画像として表示しながら（図１５のステップＳ５５）、ワンショットの範囲のセンサ情報を取得し（ステップＳ５６）、続いて、動画のデータを受信する（図１５のステップＳ５７）。そして、動画データの受信が完了し（図５のステップＳ５８：ＹＥＳ）、ＢＯＸアニメーションが生成され（図５のステップＳ５９）、解析結果動画の表示が可能となるまでの間（図５のステップＳ６０）、簡易表示画像を継続して表示する。
そのため、処理装置３が動画のデータを取得する時間を単に待つよりも、一定の意義を有する計測対象者Ｐの動きに関する情報を先行して表示できるため、ユーザは対象者の動きをより効率的に把握可能となる。
また、計測対象者Ｐの動きに関する情報を先行して提示することで、解析結果動画の生成に必要な最低限の時間に対して、提示した情報がユーザに閲覧される時間帯を付加的に創出することができる。そのため、解析結果動画の生成に費やす時間をより長く確保することが可能となり、より効果的な解析結果動画を提示することも可能となる。

また、解析システムＳにおいては、ワンショットモードにおいて、計測対象者Ｐのアドレスが自動的に検出され、記録用の動画を撮影することができる。
したがって、計測対象者Ｐは、アドレスしてスイングする、という動作を繰り返すことにより、記録用の動画を簡単な動作によって逐次撮影することができる。

［変形例１］
上述の実施形態において、ＢＯＸアニメーションの表示形態は、計測対象者Ｐの身体の３次元的な動きを模したものであれば、種々の変形を行うことが可能である。
図１７は、ＢＯＸアニメーションＡｎの表示形態例を示す模式図である。
図１７に示す例では、ＢＯＸアニメーションＡｎの視点として、正面視、上面視、左側面視等、複数の視点を選択可能になっており、図１７に示す例では、選択可能な視点のＢＯＸアニメーションＡｎが画面上部に小サイズで表示されている。
また、ＢＯＸアニメーションＡｎの表示色は、計測対象者Ｐの身体の３次元的な動きがよりわかり易い色に選択することができる。
図１７に示す例では、各視点のＢＯＸアニメーションＡｎの表示色がそれぞれ異なる色に設定されている。
なお、ＢＯＸアニメーションを計測対象者Ｐの動画に重畳表示する際に、背景の色を検出し、背景の色と同化し難い所定色（例えば、補色系の色等）を選択することとしてもよい。

［変形例２］
上述の実施形態において、リアルタイムモードにおける表示例として、計測対象者Ｐを中央に表示すると共に、計測対象者Ｐの画像の周囲における予め設定された所定位置にＢＯＸアニメーションＡｎを表示する場合について説明した。これに対し、リアルタイムモードにおいても、図１１に示すワンショットモードの表示例のように、計測対象者Ｐの動画像に、ＢＯＸアニメーションＡｎを透過させて重畳することとしてもよい。
また、反対に、ワンショットモードにおいても、図１０に示すリアルタイムモードの表示例のように、計測対象者Ｐを中央に表示すると共に、計測対象者Ｐの画像の周囲における予め設定された所定位置にＢＯＸアニメーションＡｎを表示してもよい。

［変形例３］
上述の実施形態において、１つのセンサユニット１を計測対象者Ｐの腰等に装着してセンサ情報を取得するものとして説明したが、これに限られない。即ち、複数のセンサユニット１を計測対象者Ｐの肩と腰等、複数の身体部位に装着し、これらの身体部位それぞれの動きを表すＢＯＸアニメーションを表示することとしてもよい。
この場合、計測対象者Ｐの身体部位毎の動きの相違（例えば、肩と腰の捩れ等）も表示することができ、より効果的に計測結果を提示することが可能となる。
また、センサユニット１を装着する身体部位は、腰の他、肩、首、腕、大腿部、頭部等とすることができる。

［変形例４］
上述の実施形態において、ワンショットモードにおける表示例では、計測対象者Ｐの動きの連続的な動画が表示される。これに対し、計測対象者Ｐの動きの間欠的な動画を表示することが可能である。
この場合、解析結果動画を生成するための処理負荷が低下し、より早期に解析結果動画を提示することが可能となる。

［変形例５］
上述の実施形態において、ＢＯＸアニメーションを計測対象者Ｐの動画像に透過させて重畳させる場合、その透過度は、目的に応じて種々異なる値を設定することができる。例えば、計測対象者Ｐが行うべき動きのガイドとして、人型のオブジェクトを表示する場合、計測対象者Ｐの身体と人型のオブジェクトとの重なりが大きいときは、ＢＯＸアニメーションの透過度を上げ（即ち、薄く表示し）、計測対象者Ｐの身体と人型のオブジェクトとの重なりが小さいときは、ＢＯＸアニメーションの透過度を下げる（即ち、濃く表示する）ことが可能である。
これにより、計測対象者Ｐの動きのガイドを表示する際に、ＢＯＸアニメーションをより効果的な形態で表示することができる。

［変形例６］
上述の実施形態において、撮影装置２によってセンサユニット１を装着した計測対象者Ｐを撮影することにより、センサユニット１の装着位置を自動的に判別することができる。
この場合、リアルタイムモードにおける表示例等で、計測対象者Ｐにおいてセンサユニット１が装着された身体の位置に近い位置に、ＢＯＸアニメーションを表示する際に、ＢＯＸアニメーションの表示位置を自動的に決定することが可能となる。

以上のように構成される解析システムＳは、センサユニット１と、撮影装置２と、処理装置３とを備える。センサユニット１は、対象者に装着され、対象者の動きをセンサによって計測する検出処理部１５６を備える。撮影装置２は、対象者の画像を撮影する撮影制御部２５３を備える。処理装置３は、画像取得部３５７と、センサ情報取得部３５６と、解析処理部３５８と、画像生成部３５９と、簡易表示生成部３６０とを備える。
画像取得部３５７は、対象者が撮影された画像を取得する。
センサ情報取得部３５６は、対象者の動きをセンサによって計測した計測結果を取得する。
画像生成部３５９は、画像取得部３５７によって取得された画像を出力部３１９に表示させる。
簡易表示生成部３６０は、画像生成部３５９による表示が行われることに先行して、センサ情報取得部３５６によって取得された計測結果に基づいて、対象者の動きに関する情報を出力部３１９に表示させる。
これにより、画像生成部３５９によって解析結果が表示されるまでの時間を単に待つよりも、一定の意義を有する対象者の動きに関する情報を先行して表示できるため、ユーザは対象者の動きをより効率的に把握可能となる。
したがって、本発明によれば、対象者の動きをユーザがより効率的に把握可能な表示を行うことができる。

画像生成部３５９は、画像取得部３５７によって取得された画像と、計測結果とを共に出力部３１９に表示させる。
したがって、対象者の動きを表す動画と、その動画における動きを行っている際のセンサによる計測結果とを併せて表示することができるため、より効果的な形態で情報を表示することができる。

センサ情報取得部３５６による計測結果得処理は、画像取得部３５７による画像の取得処理よりも処理時間が短い。
したがって、より早期に取得可能な計測結果を用いて、取得処理に長い時間を要する画像が取得されるまでの間に、有用な情報を表示することが可能となる。

センサ情報取得部３５６は、対象者に装着されたセンサによって計測される角速度または加速度の少なくともいずれかの情報を計測結果として取得する。
これにより、より正確な計測結果を取得することができる。

画像取得部３５７は、対象者を撮影する撮影装置によって撮影された画像を取得する。
これにより、より適切な対象者の画像を撮影することができる。

画像生成部３５９は、対象者の画像に指標を重ねて表示する。
これにより、対象者の動きと指標の変化とを容易に把握することが可能となる。

センサ情報取得部３５６は、画像取得部３５７が画像を取得することに先立って計測結果を取得する。
簡易表示生成部３６０は、画像取得部３５７が画像を取得している間に、対象者の動きに関する情報を出力部３１９に表示させる。
これにより、画像取得部３５７によって画像が取得されている間の時間を有効に活用することができる。

簡易表示生成部３６０は、センサ情報取得部３５６によって取得された計測結果において、特徴的なポイントの計測結果と、当該特徴的なポイントを表す画像とを出力部３１９に表示させる。
これにより、対象者の動きの特徴を早期に把握することが可能となる。

簡易表示生成部３６０は、センサ情報取得部３５６によって取得された計測結果において、時系列における複数の特徴的なポイントについて、特徴的なポイントの計測結果及び特徴的なポイントを表す画像を順に出力部３１９に表示させる。
これにより、対象者の動き全体の概要を早期に把握することが可能となる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態において、処理装置３が簡易表示画像を表示する場合、撮影装置２からの動画の取得及び解析結果動画の生成全体に要する時間を推測し、推測した時間を簡易表示画像の数で分割した時間ずつ、簡易表示画像を順に表示してもよい。これにより、簡易表示画像の表示内容と解析結果動画の表示開始タイミングとの整合を取りつつ、よりわかり易い形態で解析結果を表示することができる。

また、上述の実施形態において、解析システムＳをセンサユニット１、撮影装置２及び処理装置３の３つの装置によって構成するものとしたが、これに限られない。例えば、センサユニット１と処理装置３との機能を兼ね備えたスマートフォン等によって、センサユニット１と処理装置３とを一体化した装置として解析システムＳを構成してもよい。

また、上述の実施形態において、ＢＯＸアニメーションの時間的変化を表示する場合、センサユニット１によって取得されたセンサ情報を基に、加速度の変化等、動きの特徴を色分けあるいは指標を表示する等の表示形態により、識別して表示することとしてもよい。例えば、基準よりも大きい加速度で身体が動いている場合、計測対象者Ｐの身体を赤色に着色したりすることが可能である。

上述の実施形態において、リアルタイムモードにおける表示例等のように、計測対象者Ｐの画像の周囲における予め設定された所定位置にＢＯＸアニメーションを表示する場合、計測対象者Ｐにおいてセンサユニット１が装着された身体の位置を引き出し線やマーカーで識別して示すこととしてもよい。また、計測対象者Ｐにおいてセンサユニット１が装着された身体の位置に、ＢＯＸアニメーションを重ねて表示することとしてもよい。

上述の実施形態において、計測対象者Ｐがスイングを行ったか否かについて、センサ情報により詳細な条件を設定して判定することができる。例えば、鉛直軸周りの回転角度が第１の角度以上、テイクバック方向に回転した場合にトップと判定し、トップから鉛直軸周りに第１の角速度以上で回転した場合にダウンスイングと判定し、鉛直軸周りの回転角度が第２の角度以上、フォロー方向に回転した場合にフォローと判定し、これら全ての条件を充足した場合に、スイングが行われたものと判定することができる。なお、これらの判定条件が充足される時間にもさらに条件を設定してもよい。例えば、各条件が２秒以内に順次充足されること等を条件に設定することができる。

上述の実施形態において、センサ情報に基づいて、ゴルフのスイングにおける所定の特徴的なポイントのタイミングを検出する場合、時系列のデータを時間順に解析して特徴的なポイントを判別することや、特徴的なポイントとして明らかに判別可能なタイミングから時系列を遡って解析して、他の特徴的なポイントを判別することが可能である。
これにより、ゴルフのスイングにおける所定の特徴的なポイントのタイミングをより確実に検出することができる。

上述の実施形態において、簡易表示生成部３６０が簡易表示画像を表示する場合、解析処理部３５８によるＢＯＸアニメーションのデータの生成及び画像生成部３５９による解析結果動画の表示に関する処理をキャンセルさせるキャンセルボタンを表示することとしてもよい。
これにより、簡易表示画像を確認することによって、解析結果動画の生成が不要であると判断された場合に、無用な処理が行われることを抑制することができる。

上述の実施形態において、ワンショットモードで取得したワンショットの範囲のセンサ情報をセンサユニット１から処理装置３に送信する場合、図１３のステップＳ１４において、計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイントのセンサ情報を先行して送信することなく、図１３のステップＳ１５において、ワンショットの範囲のセンサ情報全体を処理装置３に送信することとしてもよい。この場合、センサ情報の送信に要する時間を全体として短縮することができる。

上述の実施形態においては、検出処理部１５６は、ワンショットモードにおいて取得されたセンサ情報に基づいて、ゴルフのスイングにおける所定の特徴的なポイントのタイミングを検出する。例えば、検出処理部１５６は、ワンショットモードにおいて取得したセンサ情報の波形を解析し、波形の変化量が少ない状態から波形が変化し始めたタイミングをアドレスのタイミングとして検出してもよく、一度スイングの範囲を検出し、ダウンスイングのタイミングを検出した後に、該ダウンスイングのタイミングから所定時間遡った時点をアドレスの時点として再設定して、ワンショットの範囲を決めるように構成してもよい。

上述の実施形態において、ゴルフのスイングを行う計測対象者Ｐにセンサユニット１を装着し、ゴルフのスイングの解析に解析システムＳを用いる場合について説明したが、これに限られない。即ち、本発明に係る解析システムＳは、野球、テニス、陸上競技等、被写体となるプレーヤーを画角の固定的な位置に撮影可能な各種スポーツ等に用いることができる。例えば、野球の打席でスイングする打者、マウンドで投球するピッチャー、テニスのサーバー、並走するカメラで撮影される短距離走者等を対象として、本発明に係る解析システムＳを用いることができる。

また、上述の実施形態では、本発明が適用される処理装置３は、スマートフォンを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図６、８、９の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が解析システムＳに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図６、８、９の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図４、５のリムーバブルメディア２３１、３３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア２３１、３３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図３〜５のＲＯＭ１１２、２１２、３１２や、図３〜５の記憶部１１９、２１９、３２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
対象者が撮影された画像を取得する画像取得手段と、
前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得手段と、
前記画像取得手段によって取得された前記画像を表示手段に表示させる第１表示制御手段と、
前記第１表示制御手段による表示が行われることに先行して、前記計測結果取得手段によって取得された前記計測結果に基づいて、前記対象者の動きに関する情報を前記表示手段に表示させる第２表示制御手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記第１表示制御手段は、前記画像取得手段によって取得された前記画像と、前記計測結果とを共に前記表示手段に表示させることを特徴とする付記１に記載の画像処理装置。
［付記３］
前記計測結果取得手段による計測結果得処理は、前記画像取得手段による前記画像の取得処理よりも処理時間が短いことを特徴とする付記１または２に記載の画像処理装置。
［付記４］
前記計測結果取得手段は、前記対象者に装着されたセンサによって計測される角速度または加速度の少なくともいずれかの情報を前記計測結果として取得することを特徴とする付記１から３のいずれか１つに記載の画像処理装置。
［付記５］
前記画像取得手段は、前記対象者を撮影する撮影装置によって撮影された前記画像を取得することを特徴とする付記１から４のいずれか１つに記載の画像処理装置。
［付記６］
前記計測結果取得手段は、前記画像取得手段が前記画像を取得することに先立って前記計測結果を取得し、
前記第２表示制御手段は、前記画像取得手段が前記画像を取得している間に、前記対象者の動きに関する情報を前記表示手段に表示させることを特徴とする付記１から５のいずれか１つに記載の画像処理装置。
［付記７］
前記第２表示制御手段は、前記計測結果取得手段によって取得された前記計測結果において、特徴的なポイントの前記計測結果と、当該特徴的なポイントを表す画像とを前記表示手段に表示させることを特徴とする付記１から６のいずれか１つに記載の画像処理装置。
［付記８］
前記第２表示制御手段は、前記計測結果取得手段によって取得された前記計測結果において、時系列における複数の前記特徴的なポイントについて、前記特徴的なポイントの前記計測結果及び前記特徴的なポイントを表す画像を順に前記表示手段に表示させることを特徴とする付記７に記載の画像処理装置。
［付記９］
対象者の画像を撮影する撮影手段を備える撮影装置と、
前記対象者に装着され、前記対象者の動きをセンサによって計測する計測手段を備える検出装置と、
前記撮影装置から、前記対象者が撮影された画像を取得する画像取得手段と、
前記検出装置から、前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得手段と、
前記画像取得手段によって取得された前記画像を表示手段に表示させる第１表示制御手段と、
前記第１表示制御手段による表示が行われることに先行して、前記計測結果取得手段によって取得された前記計測結果に基づいて、前記対象者の動きに関する情報を前記表示手段に表示させる第２表示制御手段と、を備える画像処理装置と、
を含むことを特徴とする解析システム。
［付記１０］
画像処理装置が実行する画像処理方法であって、
対象者が撮影された画像を取得する画像取得ステップと、
前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得ステップと、
前記画像取得ステップによって取得された前記画像を表示手段に表示させる第１表示制御ステップと、
前記第１表示制御ステップによる表示が行われることに先行して、前記計測結果取得ステップにおいて取得された前記計測結果に基づいて、前記対象者の動きに関する情報を前記表示手段に表示させる第２表示制御ステップと、
を含むことを特徴とする画像処理方法。
［付記１１］
画像処理装置を制御するコンピュータに、
対象者が撮影された画像を取得する画像取得機能と、
前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得機能と、
前記画像取得機能によって取得された前記画像を表示手段に表示させる第１表示制御機能と、
前記第１表示制御機能による表示が行われることに先行して、前記計測結果取得機能によって取得された前記計測結果に基づいて、前記対象者の動きに関する情報を前記表示手段に表示させる第２表示制御機能と、
を実現させることを特徴とするプログラム。

Ｓ 解析システム，１・・・センサユニット，２・・・撮影装置，３・・・処理装置，１１１、２１１、３１１・・・ＣＰＵ，１１２、２１２、３１２・・・ＲＯＭ，１１３、２１３、３１３・・・ＲＡＭ，１１４、２１４、３１４・・・バス，１１５、２１５、３１５・・・入出力インターフェース，１１６、３１７・・・センサ部，１１７、２１７、３１８・・・入力部，１１８、２１８、３１９・・・出力部，１１９、２１９、３２０・・・記憶部，１２０、２２０、３２１・・・通信部，１２１、３２２・・・ドライブ，２１６、３１６・・・撮像部，２３１、３３１・・・リムーバブルメディア，１５１、２５１、３５１・・・第１通信制御部，１５２、２５２、３５２・・・第２通信制御部，１５３・・・キャリブレーション実行部，１５４・・・モード設定部，１５５、２５４・・・同期制御部，１５６・・・検出処理部，１７１、３７２・・・センサ情報記憶部，２５３・・・撮影制御部，２５５・・・動画送信制御部，２７１、３７１・・・動画データ記憶部，３５３・・・キャリブレーション管理部，３５４・・・モード制御部，３５５・・・ワンショット撮影管理部，３５６・・・センサ情報取得部，３５７・・・画像取得部，３５８・・・解析処理部，３５９・・・画像生成部，３６０・・・簡易表示生成部，３６１・・・書き出し処理部，３７３・・・合成画像記憶部

Claims (11)

1. 対象者が撮影された画像を取得する画像取得手段と、
   前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得手段と、
   前記画像取得手段によって取得された前記画像を表示手段に表示させる第１表示制御手段と、
   前記第１表示制御手段による表示が行われることに先行して、前記計測結果取得手段によって取得された前記計測結果に基づいて、前記対象者の動きに関する情報を前記表示手段に表示させる第２表示制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第１表示制御手段は、前記画像取得手段によって取得された前記画像と、前記計測結果とを共に前記表示手段に表示させることを特徴とする請求項１に記載の画像処理装置。
3. 前記計測結果取得手段による計測結果得処理は、前記画像取得手段による前記画像の取得処理よりも処理時間が短いことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記計測結果取得手段は、前記対象者に装着されたセンサによって計測される角速度または加速度の少なくともいずれかの情報を前記計測結果として取得することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記画像取得手段は、前記対象者を撮影する撮影装置によって撮影された前記画像を取得することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記計測結果取得手段は、前記画像取得手段が前記画像を取得することに先立って前記計測結果を取得し、
   前記第２表示制御手段は、前記画像取得手段が前記画像を取得している間に、前記対象者の動きに関する情報を前記表示手段に表示させることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記第２表示制御手段は、前記計測結果取得手段によって取得された前記計測結果において、特徴的なポイントの前記計測結果と、当該特徴的なポイントを表す画像とを前記表示手段に表示させることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記第２表示制御手段は、前記計測結果取得手段によって取得された前記計測結果において、時系列における複数の前記特徴的なポイントについて、前記特徴的なポイントの前記計測結果及び前記特徴的なポイントを表す画像を順に前記表示手段に表示させることを特徴とする請求項７に記載の画像処理装置。
9. 対象者の画像を撮影する撮影手段を備える撮影装置と、
   前記対象者に装着され、前記対象者の動きをセンサによって計測する計測手段を備える検出装置と、
   前記撮影装置から、前記対象者が撮影された画像を取得する画像取得手段と、
   前記検出装置から、前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得手段と、
   前記画像取得手段によって取得された前記画像を表示手段に表示させる第１表示制御手段と、
   前記第１表示制御手段による表示が行われることに先行して、前記計測結果取得手段によって取得された前記計測結果に基づいて、前記対象者の動きに関する情報を前記表示手段に表示させる第２表示制御手段と、を備える画像処理装置と、
   を含むことを特徴とする解析システム。
10. 画像処理装置が実行する画像処理方法であって、
    対象者が撮影された画像を取得する画像取得ステップと、
    前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得ステップと、
    前記画像取得ステップによって取得された前記画像を表示手段に表示させる第１表示制御ステップと、
    前記第１表示制御ステップによる表示が行われることに先行して、前記計測結果取得ステップにおいて取得された前記計測結果に基づいて、前記対象者の動きに関する情報を前記表示手段に表示させる第２表示制御ステップと、
    を含むことを特徴とする画像処理方法。
11. 画像処理装置を制御するコンピュータに、
    対象者が撮影された画像を取得する画像取得機能と、
    前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得機能と、
    前記画像取得機能によって取得された前記画像を表示手段に表示させる第１表示制御機能と、
    前記第１表示制御機能による表示が行われることに先行して、前記計測結果取得機能によって取得された前記計測結果に基づいて、前記対象者の動きに関する情報を前記表示手段に表示させる第２表示制御機能と、
    を実現させることを特徴とするプログラム。

Images