JP2018026131A - 動作解析装置 - Google Patents

Abstract

【課題】簡易かつ高精度に物体の動作を解析することができる動作解析装置を提供する。【解決手段】動作解析システム１００において、物体の動作を解析するための動作解析装置１は、取得部と、導出部とを備える。取得部は、物体の動作を距離画像センサ２により撮影した深度画像を取得する。導出部は、物体の動作を定量的に表す動作値を出力とするニューラルネットワークに、取得部により取得された深度画像を入力することにより、動作値を導出する。【選択図】図２

Description

本発明は、物体の動作を解析するための動作解析装置、方法及びプログラム、並びに物体の動作を解析するためのモデルを構築するモデル構築装置、方法及びプログラムに関し、特に、ゴルフスイングを解析するのに適した装置、方法及びプログラムに関する。

従来より、ゴルフスイングをカメラで撮影し、このときの画像に基づいてゴルフスイングを解析する装置が公知である（特許文献１，２等）。解析の結果は、ゴルファーに適したゴルフクラブのフィッティングや、ゴルファーのフォームの改善、ゴルフ用品の開発等、様々な用途で利用される。以上のようなゴルフスイングの解析においては、しばしば、画像に写るゴルフクラブのグリップやヘッド、ゴルファーの関節等、注目部位の三次元計測が行われる。特許文献１，２は、複数台のカメラにより複数の方向からゴルフスイングを撮影し、三角測量法やＤＬＴ法等に基づいて注目部位の三次元計測を行うことを開示している。

また、近年では、二次元カメラに加え、距離画像センサを備えたｋｉｎｅｃｔ（登録商標）と呼ばれる三次元計測が可能なデバイスが普及しており、同装置を用いた人物の動作解析の研究が盛んである（例えば、特許文献３，４等）。

特開２０１３−２１５３４９号公報 特開２００４−３１３４７９号公報 特開２０１５−１０６２８１号公報 特開２０１６−７５６９３号公報

しかしながら、特許文献１，２のようなカメラの構成は、設備を大型化させ得る。一方、特許文献３，４のような、距離画像センサからの深度画像に基づく動作の解析技術については、未だ発展段階であり、解析の精度のさらなる向上が望まれる。

本発明は、簡易かつ高精度に物体の動作を解析することができる動作解析装置、方法及びプログラム、並びに物体の動作を解析するためのモデルを構築するモデル構築装置、方法及びプログラムを提供することを目的とする。

第１観点に係る動作解析装置は、物体の動作を解析するための動作解析装置であって、取得部と、導出部とを備える。前記取得部は、前記物体の動作を距離画像センサにより撮影した深度画像を取得する。前記導出部は、前記物体の動作を定量的に表す動作値を出力とするニューラルネットワークに、前記取得部により取得された前記深度画像を入力することにより、前記動作値を導出する。

第２観点に係る動作解析装置は、第１観点に係る動作解析装置であって、前記深度画像は、ゴルフスイングを撮影した画像である。

第３観点に係る動作解析装置は、第２観点に係る動作解析装置であって、前記動作値は、ゴルファーの腰の回転角度である。

第４観点に係る動作解析装置は、第３観点に係る動作解析装置であって、前記取得部は、前記距離画像センサにより計測された人体の骨組みを表すスケルトンデータをさらに取得する。前記導出部は、前記スケルトンデータに基づいて、前記深度画像から前記腰の近傍の腰領域を抽出した後、前記腰領域の画像を前記ニューラルネットワークに入力する。

第５観点に係る動作解析装置は、第３観点又は第４観点に係る動作解析装置であって、前記ニューラルネットワークは、前記深度画像から前記ゴルファーの腕を表す腕領域を無効化するドロップアウト層を有する。

第６観点に係る動作解析装置は、第２観点に係る動作解析装置であって、前記動作値は、ゴルファーの体重移動を表す値である。

第７観点に係る動作解析装置は、第６観点に係る動作解析装置であって、前記取得部は、前記距離画像センサにより計測された人体の骨組みを表すスケルトンデータをさらに取得する。前記導出部は、前記スケルトンデータに基づいて、前記深度画像から前記ゴルファーの近傍のゴルファー領域を抽出した後、前記ゴルファー領域の画像を前記ニューラルネットワークに入力する。

第８観点に係る動作解析装置は、第２観点に係る動作解析装置であって、前記動作値は、ゴルファーの肩の回転角度である。

第９観点に係る動作解析装置は、第８観点に係る動作解析装置であって、前記取得部は、前記距離画像センサにより計測された人体の骨組みを表すスケルトンデータをさらに取得する。前記導出部は、前記スケルトンデータに基づいて、前記深度画像から前記肩の近傍の肩領域を抽出した後、前記肩領域の画像を前記ニューラルネットワークに入力する。

第１０観点に係る動作解析装置は、第１観点から第９観点のいずれかに係る動作解析装置であって、前記ニューラルネットワークは、畳み込み層を有する。

第１１観点に係る動作解析装置は、第１観点から第１０観点のいずれかに係る動作解析装置であって、前記取得部は、時系列の前記深度画像を取得する。前記導出部は、前記ニューラルネットワークに前記時系列の深度画像を入力することにより、時系列の前記動作値を導出する。

第１２観点に係る動作解析装置は、第１観点、第２観点、第１０観点及び第１１観点のいずれかに係る動作解析装置であって、前記取得部は、前記距離画像センサにより計測された人体の骨組みを表すスケルトンデータをさらに取得する。前記導出部は、前記スケルトンデータに基づいて、前記深度画像から前記物体の注目部位の近傍の注目領域を抽出した後、前記注目領域の画像を前記ニューラルネットワークに入力する。

第１３観点に係る動作解析装置は、第１観点、第２観点及び第１０観点〜第１２観点のいずれかに係る動作解析装置であって、前記ニューラルネットワークは、前記深度画像から前記物体の注目していない部位を表す非注目領域を無効化するドロップアウト層を有する。

第１４観点に係るモデル構築装置は、物体の動作を解析するためのモデルを構築するモデル構築装置であって、第１取得部と、第２取得部と、学習部とを備える。前記第１取得部は、前記物体の動作を距離画像センサにより撮影した多数の深度画像を取得する。前記第２取得部は、前記多数の深度画像にそれぞれ対応する、前記物体の動作を定量的に表す多数の動作値を取得する。前記学習部は、前記第１取得部により取得された前記多数の深度画像に基づいて、前記第２取得部により取得された前記多数の動作値を教師信号として、前記深度画像を入力とし、前記動作値を出力とするニューラルネットワークを学習する。

第１５観点に係るモデル構築装置は、第１４観点に係るモデル構築装置であって、前記第２取得部は、前記物体に取り付けられた角速度センサの出力値から前記物体の回転角度を表す前記多数の動作値を取得する。

第１６観点に係るモデル構築装置は、第１４観点に係るモデル構築装置であって、前記第２取得部は、前記物体が乗る床反力計の出力値から前記物体の重心の位置を表す前記多数の動作値を取得する。

第１７観点に係る動作解析システムは、物体の動作を解析するための動作解析システムであって、距離画像センサと、動作解析装置とを備える。前記距離画像センサは、前記物体の動作を捉えた深度画像を撮影する。前記動作解析装置は、前記物体の動作を定量的に表す動作値を出力とするニューラルネットワークに、前記距離画像センサにより撮影された前記深度画像を入力することにより、前記動作値を導出する。

第１８観点に係る動作解析方法は、物体の動作を解析するための動作解析方法であって、以下のステップを含む。
（１）距離画像センサにより前記物体の動作を捉えた深度画像を撮影するステップ。
（２）前記物体の動作を定量的に表す動作値を出力とするニューラルネットワークに、前記距離画像センサにより撮影された前記深度画像を入力することにより、前記動作値を導出するステップ。

第１９観点に係る動作解析プログラムは、物体の動作を解析するための動作解析プログラムであって、以下のステップをコンピュータに実行させる。
（１）前記物体の動作を距離画像センサにより撮影した深度画像を取得するステップ。
（２）前記物体の動作を定量的に表す動作値を出力とするニューラルネットワークに、前記取得された深度画像を入力することにより、前記動作値を導出するステップ。

第１観点によれば、物体の動作を距離画像センサにより撮影した深度画像が取得され、当該深度画像がニューラルネットワークに入力され、当該ニューラルネットワークの出力として物体の動作を定量的に表す動作値が導出される。つまり、ニューラルネットワークにより、深度画像から直接的に、物体の動作を定量的に評価することができる。以上より、簡易かつ高精度に物体の動作を解析することができる。

本発明の第１実施形態に係る動作解析装置を含む動作解析システムの全体構成を示す図。 第１実施形態に係る動作解析システムの機能ブロック図。 腰の回転角度を導出するためのニューラルネットワークのモデル構成を示す図。 第１実施形態に係るニューラルネットワークに基づく動作解析処理の流れを示すフローチャート。 正規化された深度画像の例を示す図。 スケルトンデータの例を示す図。 時系列の腰領域の画像の例を示す図。 腕領域が除去された時系列の腰領域の画像の例を示す図。 ニューラルネットワークに基づく腰の回転角度の推定値のグラフ。 腰の回転角度を導出するためのニューラルネットワークの学習処理の流れを示すフローチャート。 本発明の第２実施形態に係る動作解析装置を含む動作解析システムの全体構成を示す図。 第２実施形態に係る動作解析システムの機能ブロック図。 身体の重心移動量を導出するためのニューラルネットワークのモデル構成を示す図。 肩の回転角度を導出するためのニューラルネットワークのモデル構成を示す図。 第２実施形態に係るニューラルネットワークに基づく動作解析処理の流れを示すフローチャート。 図５の深度画像に対応する人物領域画像を示す図。 図５の深度画像から図１６Ａの人物領域画像を用いて作成された切り取り画像を示す図。 鳩尾を基準とするゴルファー領域の設定方法の例を説明する図。 ニューラルネットワークに基づく身体のＸ方向の重心移動量の推定値のグラフ。 ニューラルネットワークに基づく身体のＹ方向の重心移動量の推定値のグラフ。 図１８Ａ及び図１８Ｂの推定値に基づく平面視における身体の重心の軌跡のグラフ。 肩中央を基準とする肩領域の設定方法の例を説明する図。 ニューラルネットワークに基づく肩の回転角度の推定値のグラフ。 身体の重心移動量を導出するためのニューラルネットワークの学習処理の流れを示すフローチャート。 肩の回転角度を導出するためのニューラルネットワークの学習処理の流れを示すフローチャート。

以下、図面を参照しつつ、本発明の幾つかの実施形態に係る動作解析装置、方法及びプログラム、並びにモデル構築装置、方法及びプログラムについて説明する。以下の実施形態は、ゴルフスイングを解析する場面を例に説明される。

＜１．第１実施形態＞
＜１−１．動作解析システムの概要＞
図１及び図２に、本実施形態に係る動作解析装置１を含む動作解析システム１００の全体構成図を示す。動作解析システム１００は、ゴルファー７によるゴルフクラブ５のスイング動作を動画として撮影し、当該動画に基づいてスイング動作を解析するためのシステムである。以上の撮影は、距離画像センサ２により行われる。動作解析装置１は、距離画像センサ２とともに動作解析システム１００を構成し、距離画像センサ２により取得される深度画像を含む画像データを解析することにより、スイング動作を解析する。動作解析装置１による解析の結果は、ゴルファー７に適したゴルフクラブ５のフィッティングや、ゴルファー７のフォームの改善、ゴルフ用品の開発等、様々な用途で利用される。

スイング動作の解析は、深度画像を入力とするニューラルネットワーク８（図３参照）に基づいて行われる。ニューラルネットワーク８は、スイング動作を解析するためのモデルであり、スイング動作を定量的に表す動作値を出力する。ニューラルネットワーク８は、事前学習により構築される。以下、動作解析システム１００の各部の詳細について述べた後、ニューラルネットワーク８のモデル構成、ニューラルネットワーク８に基づく動作解析方法、及びニューラルネットワーク８の学習方法について順に説明する。

＜１−２．各部の詳細＞
＜１−２−１．距離画像センサ＞
距離画像センサ２は、ゴルファー７がゴルフクラブ５を試打する様子を二次元画像として撮影するとともに、被写体までの距離を測定する測距機能を有する三次元計測カメラである。従って、距離画像センサ２は、二次元画像とともに、深度画像を出力することができる。なお、ここでいう二次元画像とは、撮影空間の像をカメラの光軸に直交する平面内へ投影した画像である。また、深度画像とは、カメラの光軸方向の被写体の奥行きのデータ（深度データ）を、二次元画像と略同じ撮像範囲内の画素に割り当てた画像である。

本実施形態で使用される距離画像センサ２は、二次元画像を赤外線画像（以下、ＩＲ画像という）として撮影する。また、深度画像は、赤外線を用いたタイムオブフライト方式やドットパターン投影方式等の方法により得られる。従って、図１に示すように、距離画像センサ２は、赤外線を前方に向けて発光するＩＲ発光部２１と、ＩＲ発光部２１から照射され、被写体に反射して戻ってきた赤外線を受光するＩＲ受光部２２とを有する。ＩＲ受光部２２は、光学系及び撮像素子等を有するカメラである。ドットパターン投影方式では、ＩＲ発光部２１から照射された赤外線のドットパターンをＩＲ受光部２２で読み取り、距離画像センサ２内部での画像処理によりドットパターンを検出し、これに基づいて奥行きが計算される。本実施形態では、ＩＲ発光部２１及びＩＲ受光部２２は、同じ筐体２０内に収容され、筐体２０の前方に配置されている。本実施形態では、距離画像センサ２は、ゴルファー７を正面側から撮影すべく、ゴルファー７の前方に設置され、ＩＲ発光部２１及びＩＲ受光部２２がゴルファー７に向けられている。

距離画像センサ２には、距離画像センサ２の動作全体を制御するＣＰＵ２３の他、撮影された画像データを少なくとも一時的に記憶するメモリ２４が内蔵されている。距離画像センサ２の動作を制御する制御プログラムは、メモリ２４内に格納されている。また、距離画像センサ２には、通信部２５も内蔵されており、通信部２５は、撮影された画像データを有線又は無線の通信線１７を介して、動作解析装置１等の外部のデバイスへと出力することができる。本実施形態では、ＣＰＵ２３及びメモリ２４も、ＩＲ発光部２１及びＩＲ受光部２２とともに、筐体２０内に収納されている。なお、動作解析装置１への画像データの受け渡しは、必ずしも通信部２５を介して行う必要はない。例えば、メモリ２４が着脱式であれば、これを筐体２０内から取り外し、動作解析装置１のリーダー（後述する通信部１５に対応）に挿入する等して、動作解析装置１で画像データを読み出すことができる。

＜１−２−２．動作解析装置＞
図２を参照しつつ、動作解析装置１の構成について説明する。動作解析装置１は、ハードウェアとしては汎用のコンピュータであり、例えば、デスクトップ型コンピュータ、ノート型コンピュータ、タブレットコンピュータ、スマートフォンとして実現される。動作解析装置１は、ＣＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータで読み取り可能な記録媒体３０から、或いはインターネット等のネットワークを介して、動作解析プログラム３を汎用のコンピュータにインストールすることにより製造される。動作解析プログラム３は、距離画像センサ２から送られてくる画像データに基づいてゴルフスイングを解析するためのソフトウェアであり、動作解析装置１に後述する動作を実行させる。

動作解析装置１は、表示部１１、入力部１２、記憶部１３、制御部１４及び通信部１５を備える。これらの部１１〜１５は、互いにバス線１６を介して接続されており、相互に通信可能である。表示部１１は、液晶ディスプレイ等で構成することができ、ゴルフスイングの解析の結果等をユーザに対し表示する。なお、ここでいうユーザとは、ゴルファー７自身やそのインストラクター、ゴルフ用品の開発者等、ゴルフスイングの解析の結果を必要とする者の総称である。入力部１２は、マウス、キーボード、タッチパネル等で構成することができ、動作解析装置１に対するユーザからの操作を受け付ける。

記憶部１３は、ハードディスク等で構成することができる。記憶部１３内には、動作解析プログラム３が格納されている他、距離画像センサ２から送られてくる画像データが保存される。また、記憶部１３内には、後述する学習処理で学習され、後述する動作解析処理で使用されるニューラルネットワーク８を定義する情報が格納される。制御部１４は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成することができる。制御部１４は、記憶部１３内の動作解析プログラム３を読み出して実行することにより、仮想的に第１取得部１４ａ、第２取得部１４ｂ、導出部１４ｃ、学習部１４ｄ及び表示制御部１４ｅとして動作する。各部１４ａ〜１４ｅの動作の詳細については、後述する。通信部１５は、距離画像センサ２等の外部のデバイスから通信線１７を介してデータを受信する通信インターフェースとして機能する。

＜１−３．ニューラルネットワークのモデル構成＞
次に、図３を参照しつつ、後述する動作解析処理の中で使用されるニューラルネットワーク８のモデル構成について説明する。ニューラルネットワーク８は、上述したとおり、深度画像を入力とし、スイング動作を定量的に表す動作値を出力とするネットワークである。本実施形態では、ニューラルネットワーク８により、スイング動作中のゴルファー７の腰の回転動作が定量的に解析され、より具体的には、腰の回転角度が定量的に導出される。

図３に示すとおり、本実施形態に係るニューラルネットワーク８は、畳み込みニューラルネットワークであり、識別部８１と、識別部８１の入力側に接続される特徴抽出部８２とを有する。識別部８１は、多層パーセプトロンである。特徴抽出部８２は、第１中間層８３及び第２中間層８４を有する多層構造に形成されており、深度画像の特徴量を抽出する。第１中間層８３は、畳み込み層８３Ａ、プーリング層８３Ｂ及び正規化層８３Ｃを有し、同様に、第２中間層８４も、畳み込み層８４Ａ、プーリング層８４Ｂ及び正規化層８４Ｃを有する。従って、ニューラルネットワーク８では、複数の中間層８３，８４を通過することにより、畳み込み、プーリング及び正規化の処理が複数回繰り返される。

また、本実施形態に係るニューラルネットワーク８は、特徴抽出部８２の入力側にドロップアウト層８５を有する。一般的なドロップアウト層とは、多層ネットワークのユニットを確率的に選別し、学習した層であり、選別されたユニット以外を無効化、すなわち、存在しないかのように扱う。これにより、学習時にネットワークの自由度を強制的に小さくし、過学習を回避することができる。一方、本実施形態に係るドロップアウト層８５は、解析の対象となる入力画像において、解析の妨げとなる領域を除去する層である。ニューラルネットワーク８の入力は、深度画像である。本実施形態では、ドロップアウト層８５に入力される深度画像においては、後述するとおり、予め解析の妨げとなると分かっている背景及び腕の領域に対応する画素の画素値が所定の画素値（本実施形態では、「０」）に設定されている。そして、ドロップアウト層８５は、入力される深度画像（図３の例では、６４×３２ピクセル）の所定の画素値「０」の画素のユニットを無効化するような層であり、出力画像（図３の例では、６４×３２ピクセル）を出力する。つまり、ドロップアウト層８５は、無効化されるユニットを確率的に選別するのではなく、予め解析の妨げとなると分かっている領域を選別して無効化する。具体的には、ドロップアウト層８５は、「０」以外の部分を使って重みを決定し、「０」が含まれていたフィルタ応答値の重みを嵩上げして補償する層である。

その後、ドロップアウト層８５からの出力画像に対し、多数の重みフィルタＧ₁，Ｇ₂，・・・，Ｇ_Nによる畳み込み処理が実行される（Ｎは、２以上の整数。図３の例では、Ｎ＝１６）。その結果、Ｎ枚の特徴マップＡ₁，Ａ₂，・・・，Ａ_Nが生成される。特徴マップＡ₁，Ａ₂，・・・，Ａ_Nは、畳み込み層８３Ａを構成するＮ個のユニットにそれぞれ入力される。具体的には、入力画像と重みフィルタＧ_nとの内積がラスタスキャンで繰り返し計算され、入力画像に重みフィルタＧ_nが畳み込まれてゆくことにより、特徴マップＡ_nが算出される（ｎ＝１，２，・・・，Ｎ）。図３の例では、重みフィルタＧ_nが５×５ピクセルであり、特徴マップＡ_nのサイズは、６０×２８ピクセルとなる。

重みフィルタＧ₁，Ｇ₂，・・・，Ｇ_Nは、フィルタカーネルとも呼ばれ、深度画像に比べて微細な画像（又は値の配列）であり、各々、入力画像に含まれる一定のパターン（特徴）を検出し、強調するためのフィルタである。特徴マップＡ_nは、重みフィルタＧ_nの特徴に反応し、入力画像において重みフィルタＧ_nの特徴が強調された画像（又は値の配列）である。ここで、入力画像のサイズをＨ１×Ｈ２ピクセルとし、入力画像の画素をインデックス（ｉ，ｊ）で表し（ｉ＝０，１，・・・，Ｈ１−１，ｊ＝０，１，・・・，Ｈ２−１）、入力画像の画素（ｉ，ｊ）の画素値をｘ_i,jと表す。また、重みフィルタＧ_nのサイズをＨ×Ｈピクセルとし、重みフィルタＧ_nの画素をインデックス（ｐ，ｑ）で表し（ｐ＝０，１，・・・，Ｈ−１，ｑ＝０，１，・・・，Ｈ−１）、重みフィルタＧ_nの画素（ｐ，ｑ）の画素値をｈ_p,qと表す。このとき、入力画像の画素（ｉ，ｊ）に畳み込まれた、特徴マップＡ_nの画素値ｔ_i,jは、以下のように算出することができる。

次に、特徴マップＡ₁，Ａ₂，・・・，Ａ_Nの各々に対しプーリング処理が実行され、その結果、Ｎ枚の特徴マップＢ₁，Ｂ₂，・・・，Ｂ_Nが生成される。特徴マップＢ₁，Ｂ₂，・・・，Ｂ_Nは、プーリング層８３Ｂを構成するＮ個のユニットにそれぞれ入力される。プーリング処理とは、特徴マップＡ_nに含まれる小領域を代表する応答値を出力することにより、特徴マップＡ_nを新たな特徴マップＢ_nに変換する処理である。このプーリング処理により、特徴マップＡ_nのサイズを縮小することができる。また、プーリング処理では、入力画像Ａ_nの小領域に含まれる多数の画素値が応答値に集約されるため、出力画像Ｂ_nにおいて位置感度が若干低下する。そのため、検出しようとする特徴の位置が深度画像において若干変化したとしても、当該変化を吸収することができ、プーリング処理後の出力画像Ｂ_nを一定に近づけることができる。

より具体的には、プーリング処理では、入力画像Ａ_nが小領域に分割され、各小領域に含まれる画素値に基づいて応答値となる１つの画素値が決定される。図３の例では、特徴マップＡ_nが２×２ピクセルの小領域に分割され、１／２のサイズに縮小される。従って、特徴マップＢ_nのサイズは、図３の例では、３０×１４ピクセルとなる。応答値の決定方法は様々考えられ、例えば、小領域内の画素値の平均値を応答値とすることもできるし（平均プーリング）、最大値を応答値とすることもできる（最大プーリング）。また、Ｌｐプーリングと呼ばれる方法のように、小領域内の大きな画素値の影響を大きくし、小さな画素値の影響もある程度残すように応答値を決定することもできる。

続いて、特徴マップＢ₁，Ｂ₂，・・・，Ｂ_Nの各々が正規化され、その結果、Ｎ枚の特徴マップＣ₁，Ｃ₂，・・・，Ｃ_Nが生成される。特徴マップＣ₁，Ｃ₂，・・・，Ｃ_Nは、正規化層８３Ｃを構成するＮ個のユニットにそれぞれ入力される。ここでいう正規化とは、局所コントラスト正規化であり、本実施形態では、減算正規化が実行される。この正規化により、入力画像Ｂ_n上において周辺部の画素値に対して変化の大きな画素値が検出され、出力画像Ｃ_n上において当該画素値が強調される。

以上より、第１中間層８３での処理が終了し、第２中間層８４での処理に移行し、２回目の畳み込み処理が実行される。２回目の畳み込み処理では、第１中間層８３から出力されるＮ枚の特徴マップＣ₁，Ｃ₂，・・・，Ｃ_Nの中から、所定枚数の、本実施形態では４枚の特徴マップをランダムに選択して１組とし、このような組をＭ組作成する（図３の例では、Ｍ＝２５６）。また、多数の重みフィルタＬ₁，Ｌ₂，・・・，Ｌ_Rを新たに用意し（Ｒは、２以上の整数。本実施形態では、Ｒ＝１６）、これらの重みフィルタＬ₁，Ｌ₂，・・・，Ｌ_Rの中から、特徴マップの１つの組に含まれる特徴マップの枚数と同数の、すなわち、本実施形態では４枚の重みフィルタをランダムに選択して１組とし、このような組をＭ組作成する。こうして選択された特徴マップの組に対し、重みフィルタの組を１対１で対応させ、畳み込みを行う。より具体的には、ある組に含まれる４枚の特徴マップと、当該組に対応する組に含まれる４枚の重みフィルタを１対１で対応させ、この対応関係に従って、畳み込みを行う。本実施形態では、ここでの重みフィルタＬ_rは、５×５ピクセルである（ｒ＝１，２，・・・，Ｒ）。なお、畳み込みの方法は、第１中間層８３での処理と同じである。そして、重みフィルタＬ_rが畳み込まれた特徴マップが組毎に平均され、その結果、Ｍ枚の特徴マップＤ₁，Ｄ₂，・・・，Ｄ_Mが生成される。特徴マップＤ₁，Ｄ₂，・・・，Ｄ_Mは、畳み込み層８４Ａを構成するＭ個のユニットにそれぞれ入力される。特徴マップＤ_mのサイズ（ｍ＝１，２，・・・，Ｍ）は、図３の例では、２６×１０ピクセルとなる。

その後、特徴マップＤ₁，Ｄ₂，・・・，Ｄ_Mの各々に対し、第１中間層８３での処理と同様のプーリング処理が実行され、その結果、Ｍ枚の特徴マップＥ₁，Ｅ₂，・・・，Ｅ_Mが生成される。特徴マップＥ₁，Ｅ₂，・・・，Ｅ_Mは、プーリング層８４Ｂを構成するＭ個のユニットにそれぞれ入力される。続いて、特徴マップＥ₁，Ｅ₂，・・・，Ｅ_Mの各々に対し、第１中間層８３での処理と同様の正規化が実行され、その結果、Ｍ枚の特徴マップＦ₁，Ｆ₂，・・・，Ｆ_Mが生成される。特徴マップＦ₁，Ｆ₂，・・・，Ｆ_Mは、正規化層８４Ｃを構成するＭ個のユニットにそれぞれ入力される。特徴マップＥ_m，Ｆ_mのサイズは、図３の例では、１３×５ピクセルとなる。特徴マップＦ₁，Ｆ₂，・・・，Ｆ_Mは、特徴抽出部８２の最終的な出力画像となり、識別部８１に入力される。

識別部８１は、入力層８６、中間層８７及び出力層８８を有し、これらの層８６〜８８は、全結合層を構成している。出力画像Ｆ₁，Ｆ₂，・・・，Ｆ_Mに含まれる全ての画素値Ｕ₁，Ｕ₂，・・・，Ｕ_I1は、入力層８６を構成するＩ１個の入力ユニットにそれぞれ入力される。図３の例では、Ｉ１＝１３×５（ピクセル数）×２５６（画像の枚数）＝１６６４０である。

中間層８７は、Ｉ２個の中間ユニットから構成され、図３の例では、Ｉ２＝１０００に設定されている。ｉ番目の中間ユニットには、入力ユニットに含まれる値Ｕ₁，Ｕ₂，・・・，Ｕ_I1に基づいて算出される値Ｖ_iが入力される（ｉ＝１，２，・・・，Ｉ２）。Ｖ_iは、以下の式に従って、算出される。なお、下式中のu_i,1，u_i,2，・・・，u_i,I1は、重み係数であり、b_iは、バイアスである。

出力層８８は、Ｉ３個の出力ユニットから構成され、本実施形態では、Ｉ３＝１である。出力ユニットには、中間ユニットに含まれる値Ｖ₁，Ｖ₂，・・・，Ｖ_I2に基づいて算出される値Ｗ₁が入力され、本実施形態では、ゴルファー７の腰の回転角度を定量的に表す動作値Ｗ₁が入力される。Ｗ₁は、以下の式に従って、算出される。なお、下式中のv₁，v₂，・・・，v_I2は、重み係数であり、bは、バイアスである。

＜１−４．ニューラルネットワークに基づく動作解析処理＞
以下、図４を参照しつつ、ゴルフスイングの動作解析処理について説明する。既に述べたとおり、本実施形態では、ニューラルネットワーク８に基づいて、スイング動作中のゴルファー７の腰の回転角度を定量的に表す動作値Ｗ₁が導出される。なお、解析の対象となる画像データは、動画である。従って、以下、ＩＲ画像及び深度画像を、それぞれＩＲフレーム、深度フレームということがあり、単にフレームということもある。

動作解析処理を実行するための準備として、まず、ゴルファー７にゴルフクラブ５を試打させ、その様子を距離画像センサ２により動画として撮影する。距離画像センサ２により撮影された時系列のＩＲフレーム及び深度フレームは、距離画像センサ２から動作解析装置１に送られる。動作解析装置１側では、第１取得部１４ａが、距離画像センサ２からの時系列のＩＲフレーム及び深度フレームを取得し、記憶部１３内に格納する（ステップＳ１）。

また、ステップＳ１では、距離画像センサ２によりゴルファー７の身体の骨組みを表す時系列のスケルトンデータが計測され、このスケルトンデータが距離画像センサ２から動作解析装置１に送られる。スケルトンデータとは、人体の主要な関節の位置（三次元座標）を表すデータであり、深度フレームから導出可能である。距離画像センサの１つであるＫｉｎｅｃｔ（登録商標）は、深度フレームからスケルトンデータを導出し、これを深度フレームとともに出力する機能を有している。第１取得部１４ａは、距離画像センサ２からの時系列のスケルトンデータについても取得し、記憶部１３内に格納する。なお、スケルトンデータが出力されないような距離画像センサ２が使用される場合には、第１取得部１４ａが、深度フレームからこれを取得するようにしてもよい。具体的には、第１取得部１４ａは、記憶部１３内に格納されているスイング動作中の時系列の深度フレームを読み出し、これらのフレームに基づいて、スイング動作中の各タイミングでのスケルトンデータを取得する。Ｋｉｎｅｃｔ（登録商標）には、深度画像からスケルトンデータを導出するためのライブラリが提供されており、このとき、これを使用してスケルトンデータを取得することができる。

続いて、導出部１４ｃは、スイング動作中の各タイミングでの深度フレームを正規化する（ステップＳ２）。ここでいう正規化とは、ゴルファー７を含む被写体の深度に合わせて、深度フレームの階調のスケール変換を行う処理である。具体的には、導出部１４ｃは、記憶部１３内に格納されているスイング動作中の時系列の深度フレームを読み出す。このとき、深度フレームの画素値である深度データは、距離画像センサ２の規格に従う階調を有しており、本実施形態では、１画素に１６ビットが割り当てられており、各画素は、０〜６５５３５の画素値をとる。また、距離画像センサ２の奥行き方向の撮像範囲も、距離画像センサ２の規格により定められている。一方で、ゴルファー７の腰の回転角度を推定するために、ゴルファー７以外の深度データは特に必要とされない。そのため、深度フレームの中からゴルファー７を捉えた領域（以下、人物領域という）に含まれる画素値が０〜６５５３５の範囲内の値をとるように、深度フレームの階調をスケール変換する。

距離画像センサ２の設置位置及びゴルファー７の立ち位置は、固定されている。従って、人物領域において深度データが取り得る値の範囲（以下、人物深度範囲という）が、予め設定されている。本実施形態では、導出部１４ｃは、深度フレーム内の各画素の画素値（深度データ）を下式に従って、スケール変換する。ただし、人物深度範囲をｍｉｎ_z〜ｍａｘ_zとし、右辺のｚを深度フレーム内の各画素の画素値とする。左辺のｚは、変換後の画素値である。

以上のスケール変換は、深度フレームから人物深度範囲内の画素値を有する領域を抽出する処理である。図５は、以上のスケール変換後のある特定のタイミングでの深度フレームである。同図から分かるように、スケール変換後の深度フレーム内では、主としてゴルファー７以外を捉えた領域、すなわち、背景領域には、画素値「０」（黒色）が与えられる。その結果、以上のスケール変換により、人物領域が抽出される。なお、図６は、図５のタイミングに対応する、Ｋｉｎｅｃｔ（登録商標）により計測されたスケルトンデータを示している。

続いて、導出部１４ｃは、ステップＳ１で取得されたスケルトンデータに基づいて、ステップＳ２で正規化された深度フレームから、スイング動作中の各タイミングでのゴルファー７の腰の近傍の領域（以下、腰領域）を抽出する（ステップＳ３）。具体的には、導出部１４ｃは、スケルトンデータから、深度フレーム内での腰の座標を取得する。そして、深度フレームから、この腰の座標を基準とする所定のサイズの領域を、腰領域として切り出す。図７は、図５のような深度フレームから切り出されたスイング動作中の時系列の腰領域の画像を示している。この例では、図５の画像は、５１２×２１４ピクセルであり、図７の画像は、腰を中心又は略中心とする１２８×６４ピクセルの画像である。

注目される腰の動きと、肩や足、腕等の他の部位の動きとは独立的である。従って、人体全体が写っている画像に基づいてニューラルネットワークを学習すると、腰の見え方に対応した特徴の検出の精度が低下する虞がある。また、画像のサイズが大き過ぎると、ニューラルネットワークによる解析が困難になり得る。ステップＳ３は、ニューラルネットワークに基づいて腰の動作の特徴を精度よく検出できるように、解析の対象となる深度フレームから、腰領域を抽出している。

続いて、導出部１４ｃは、ステップＳ１で取得されたスケルトンデータに基づいて、ステップＳ３で取得された腰領域の画像から、スイング動作中の各タイミングでのゴルファー７の腕を表す領域（以下、腕領域）を除去する（ステップＳ４）。具体的には、導出部１４ｃは、腰領域の画像から腕領域を抽出し、腕領域に含まれる画素の画素値を所定の画素値（本実施形態では、０）に設定する。腕領域の抽出は、スケルトンデータに含まれる３つの関節（本実施形態では、左肩、右肩及び左手の手首）の三次元座標に基づいて行われる。より具体的には、導出部１４ｃは、これらの３つの関節の三次元座標を通る平面Ｋを導出し、腰領域の画像内の任意の点（画素）から平面Ｋまでの垂線距離ｄを導出する。なお、任意の点（画素）の三次元座標は、深度画像である腰領域の画像から取得される。また、平面Ｋ及び垂線距離ｄは、幾何学計算により算出することができる。次に、導出部１４ｃは、垂線距離ｄが所定の範囲内に含まれるか否かを判定し、所定の範囲内に含まれる場合には、当該垂線距離ｄに対応する点（画素）を腕領域に含まれるものと判定し、所定の範囲外である場合には、腕領域に含まれないものと判定する。図８は、図７のスイング動作中の時系列の腰領域の画像から、腕領域を除去した画像を示している。同図では、腕領域の画素の画素値が「０」（黒色）に変換されている。

ステップＳ４は、後述するステップＳ５でニューラルネットワーク８に画像が入力されたときに、ドロップアウト層８５において腕領域が無効化されるようにするための処理である。すなわち、ステップＳ４は、ニューラルネットワーク８に基づく解析の対象となる深度フレームから、解析の妨げとなる領域を除去するステップである。なお、本実施形態では、ステップＳ２においても、解析の妨げとなる領域、すなわち、背景領域が除去されている。

続くステップＳ５では、導出部１４ｃは、ステップＳ４で取得されたスイング動作中の時系列の腰領域の画像を、順次、ニューラルネットワーク８に入力する。これにより、ニューラルネットワーク８の出力ユニットからは、順次、スイング動作を定量的に表す動作値Ｗ₁、本実施形態では、ゴルファー７の腰の回転角度Ｗ₁が出力される。ただし、本実施形態では、ステップＳ４までで取得された１２８×６４ピクセルの画像は、６４×３２ピクセルのサイズまで圧縮された後、ニューラルネットワーク８へ入力される。

続いて、導出部１４ｃは、ステップＳ５で導出された回転角度Ｗ₁の時系列データの平滑化及び補間を行う（ステップＳ６）。図９は、５点の移動平均により平滑化し、３３ｍｓ間隔のデータを１ｍｓ間隔のデータに変換するスプライン補間を行った例を示している。これにより、平滑化及び補間された滑らかな回転角度Ｗ₁の時系列データが取得される。

その後、表示制御部１４ｅは、ステップＳ６で導出されたスイング動作中の時系列の回転角度Ｗ₁及びその時系列変化、並びに図９に示すようなこれらのグラフを表示部１１上に表示させる（ステップＳ７）。これにより、ユーザは、ゴルファー７の腰の回転の動作を把握することができる。

＜１−５．ニューラルネットワークの学習方法＞
次に、図１０を参照しつつ、ニューラルネットワーク８の学習方法について説明する。以下では、ニューラルネットワーク８を構築するための学習用データセットについて説明した後、当該データセットに基づく学習処理の流れについて説明する。

＜１−５−１．学習用データセット＞
学習用データセットは、距離画像センサ２により撮影される深度フレーム及びスケルトンデータと、当該深度フレーム及びスケルトンデータの撮影のタイミングでのゴルファー７の腰の回転角度（真値）との対のデータであり、このような学習用データセットが多数収集される。学習用データセットに含まれる回転角度（真値）は、ニューラルネットワーク８の学習時の教師信号となる。

本実施形態では、ゴルファー７の腰の回転角度に関する教師信号は、ゴルファー７の腰に取り付けられた角速度センサ４（図１及び図２参照）により取得される。角速度センサ４により計測された角速度データは、有線又は無線の通信線を介して、角速度センサ４から動作解析装置１へ出力される。

なお、教師信号は、ニューラルネットワーク８の学習の場面では必要とされるが、ニューラルネットワーク８に基づく動作解析の場面においては特に必要とされない。従って、ニューラルネットワーク８が学習され、記憶部１３内に保存された後においては、角速度センサ４は、動作解析システム１００から省略することができる。また、動作解析システム１００と、ニューラルネットワーク８のモデルを構築するモデル構築システムは、異なるハードウェアにより実現することもできる。すなわち、動作解析システム１００は、別のシステムで学習されたニューラルネットワーク８を取得し、これを解析に使用してもよい。ただし、本実施形態に係る動作解析システム１００は、ニューラルネットワーク８のモデルを構築するモデル構築システムの役割も兼ねている。

＜１−５−２．学習処理の流れ＞
次に、図１０を参照しつつ、ニューラルネットワーク８の学習処理について説明する。まず、学習用データセットを取得するために、角速度センサ４を腰に取り付けたゴルファー７にゴルフクラブ５を試打させ、その様子を距離画像センサ２により動画として撮影する。このとき、好ましくは、学習の効果を高めるために、複数人のゴルファー７により多数回のスイング動作が実施される。そして、ステップＳ１と同様に、第１取得部１４ａが、距離画像センサ２から送られてくる時系列のＩＲフレーム、深度フレーム及びスケルトンデータを取得し、記憶部１３内に格納する（ステップＳ２１）。また、ステップＳ２１では、スイング動作中の角速度センサ４により計測された時系列の角速度データも、動作解析装置１に送信される。そして、第２取得部１４ｂが、この時系列の角速度データを取得し、これを時系列の腰の回転角度を表すデータ（腰の回転角度データ）に変換した後、記憶部１３内に格納する。記憶部１３内には、多数回のスイング動作に対応するＩＲフレーム、深度フレーム、スケルトンデータ及び回転角度データが格納される。このとき、ＩＲフレーム、深度フレーム及びスケルトンデータと、回転角度データとの同期が取られ、同じタイミングでのデータは、互いに対応付けられて記憶部１３内に格納される。

続いて、学習部１４ｄは、ステップＳ２１で取得された多数回のスイング動作に対応する時系列の深度フレームに対し、ステップＳ２２〜Ｓ２４を実行する。ステップＳ２２〜Ｓ２４は、ステップＳ２１で取得された深度フレームから、ニューラルネットワーク８に入力されるべき図８のような腰領域の画像を切り出すステップである。なお、ステップＳ２２〜Ｓ２４は、上述したステップＳ２〜Ｓ４と同様のステップであるため、ここでは詳細な説明を省略する。

続くステップＳ２５では、学習部１４ｄは、ステップＳ２４で取得された腰領域の画像を入力とし、ステップＳ２１で取得された腰の回転角度データを教師信号として、ニューラルネットワーク８を学習させる。より具体的には、学習部１４ｄは、腰領域の画像を現在のニューラルネットワーク８に入力し、出力値として回転角度Ｗ₁を取得し、この回転角度Ｗ₁と腰の回転角度データとの誤差を最小化するように、ニューラルネットワーク８のパラメータを更新する。ここでいう学習の対象となるパラメータとは、上述した重みフィルタＧ₁，Ｇ₂，・・・，Ｇ_N，Ｌ₁，Ｌ₂，・・・，Ｌ_R、重み係数u_i,1，u_i,2，・・・，u_i,I1、重み係数v₁，v₂，・・・，v_I2、バイアスb_i，b等である。そして、このようにして、次々と学習用データセットを適用させながら、ニューラルネットワーク８を最適化してゆく。ニューラルネットワーク８の教師付き学習方法は、様々なもの公知であるため、ここでは詳細な説明を省略するが、例えば、誤差逆伝播法を用いた確率的勾配降下法を用いることができる。以上により、学習処理が終了する。

＜２．第２実施形態＞
図１１及び図１２に、本実施形態に係る動作解析システム１０１の全体構成図を示す。これらの図をそれぞれ図１及び図２と比較すれば明らかなように、第２実施形態に係る動作解析システム１０１は、第１実施形態に係る動作解析システム１００と多くの点で共通する。以下では、簡単のため、第１実施形態と共通の要素には同じ参照符号を付し、第１実施形態との相違点を中心に説明する。

第１及び第２実施形態の主な相違点について述べると、第１実施形態では、スイング動作中のゴルファー７の腰の回転動作が定量的に解析されるのに対し、第２実施形態では、これに加えて、スイング動作中のゴルファー７の身体の体重移動及び肩の回転動作も定量的に解析される。本実施形態では、図１３に示すニューラルネットワーク１０８により、ゴルファー７の動作を定量的に表す動作値として、ゴルファー７の身体の体重移動を表す重心移動量が定量的に導出される。重心移動量は、重心の位置を表す動作値である。また、図１４に示すニューラルネットワーク２０８により、ゴルファー７の動作を定量的に表す動作値として、肩の回転角度が定量的に導出される。これらのニューラルネットワーク１０８，２０８も、ニューラルネットワーク８と同様に、深度画像を入力とする。以下、ニューラルネットワーク１０８，２０８のモデル構成、ニューラルネットワーク１０８，２０８に基づく動作解析方法、及びニューラルネットワーク１０８，２０８の学習方法について順に説明する。

＜２−１．ニューラルネットワークのモデル構成＞
図３と図１３とを比較すれば明らかなとおり、ニューラルネットワーク８，１０８は、類似の構成を有する。両者の主たる相違点について述べると、ニューラルネットワーク１０８では、ゴルファー７の身体の重心移動量が２次元的に評価されるため、出力層８８が２個の出力ユニットから構成される。一方の出力ユニットには、Ｘ方向（ゴルフボールの飛球線方向）の重心移動量を定量的に表す動作値Ｗ₁₀₁が入力され、他方の出力ユニットには、Ｙ方向（ゴルファー７の背から腹に向かう方向）の重心移動量を定量的に表す動作値Ｗ₁₀₂が入力される。Ｗ₁₀₁,Ｗ₁₀₂は、以下の式に従って算出される。なお、下式中のv_1,1，v_1,2，・・・，v_1,I2及びv_2,1，v_2,2，・・・，v_2,I2は、重み係数であり、b₁₀₁，b₁₀₂は、バイアスである。

また、ニューラルネットワーク１０８は、ドロップアウト層８５を有さないが、勿論、ドロップアウト層８５を有するように構成することもできる。さらに、特徴マップのサイズや層を形成するユニット数等が、適宜変更されている。

また、図３と図１４とを比較すれば明らかなとおり、ニューラルネットワーク８，２０８も、類似の構成を有する。両者の主たる相違点は、ニューラルネットワーク２０８がドロップアウト層８５を有さないことであるが、勿論、ニューラルネットワーク２０８がドロップアウト層８５を有するように構成することもできる。ニューラルネットワーク２０８の出力層８８は、１個の出力ユニットから構成される。出力ユニットには、ゴルファー７の肩の回転角度を定量的に表す動作値Ｗ₂₀₁が入力される。Ｗ₂₀₁は、Ｗ₁と同様に、数３の式に従って算出される。なお、腰の回転角度、肩の回転角度及び重心移動量を導出するためのニューラルネットワーク８，１０８，２０８の説明において、Viやbi等のように、しばしば同じ記号が用いられることがあるが、最終的に出力される解析対象が異なり、入力される画像データも異なるため、当然に各記号の表す具体的な値は異なる。

なお、第１実施形態及び第２実施形態で開示されるニューラルネットワーク８，１０８，２０８の構成は例示である。よって、各ニューラルネットワーク８，１０８，２０８の各層を形成するユニット数や、特徴マップの数及びサイズ、フィルタの数及びサイズ等は、適宜変更することができる。

＜２−２．ニューラルネットワークに基づく動作解析処理＞
次に、図１５を参照しつつ、第２実施形態に係るゴルフスイングの動作解析処理について説明する。既に述べたとおり、ここでは、ニューラルネットワーク８に基づいて、スイング動作中のゴルファー７の腰の回転角度を定量的に表す動作値Ｗ₁が導出されるとともに、ニューラルネットワーク１０８に基づいて、スイング動作中のゴルファー７の身体の重心移動量を定量的に表す動作値Ｗ_101,Ｗ₁₀₂が導出される。さらに、ニューラルネットワーク２０８に基づいて、スイング動作中のゴルファー７の腰の回転角度を定量的に表す動作値Ｗ₂₀₁も導出される。以下、図１５の処理について説明するが、図１５の処理は図４の処理を含み、新たなステップＳ１０２，Ｓ１０３，Ｓ１０５，Ｓ１０６，Ｓ２０３，Ｓ２０５，Ｓ２０６も図４の処理の一部のステップに類似する。よって、以下では、図４の説明を参照しつつ、主に両処理の相違点についての説明を行う。

まず、図４の処理と同様に、ステップＳ１及びステップＳ２が実行される。すなわち、距離画像センサ２により、ゴルファー７がゴルフクラブ５をスイングする様子が撮影され、時系列のＩＲフレーム、深度フレーム及びスケルトンデータが取得され、動作解析装置１の記憶部１３内に格納される。なお、本実施形態のステップＳ１では、距離画像センサ２により、深度フレームの撮像範囲内においてゴルファー７の身体の占める範囲を表す人物領域画像が作成され、この人物領域画像が距離画像センサ２から動作解析装置１に送られる。人物領域画像は、人物の占める領域とそれ以外の領域とを二値的に区別する画像であり、図１６Ａにされるような二値画像である。人物領域画像は、深度フレームから導出可能であり、距離画像センサの１つであるＫｉｎｅｃｔ（登録商標）は、深度フレームから人物領域画像を導出し、これを深度フレームとともに出力する機能を有している。第１取得部１４ａは、距離画像センサ２からの時系列の人物領域画像についても取得し、記憶部１３内に格納する。なお、人物領域画像が出力されないような距離画像センサ２が使用される場合には、第１取得部１４ａが、深度フレームからこれを取得するようにしてもよい。具体的には、第１取得部１４ａは、記憶部１３内に格納されているスイング動作中の時系列の深度フレームを読み出し、これらのフレームに基づいて、スイング動作中の各タイミングでの人物領域画像を作成する。

続くステップＳ２では、深度フレームが正規化される。そして、ステップＳ２が終わると、図４の処理と同様にステップＳ３〜Ｓ６が実行され、その結果、時系列の腰の回転角度Ｗ₁が算出され、これに対し平滑化及びスプライン補間が実行される。一方、ステップＳ３〜Ｓ６と並列に、時系列の身体の重心移動量Ｗ_101,Ｗ₁₀₂を導出するためのステップＳ１０２，Ｓ１０３，Ｓ１０５，Ｓ１０６と、時系列の肩の回転角度Ｗ₂₀₁を導出するステップＳ２０３，Ｓ２０５，Ｓ２０６とが実行される。なお、ステップＳ３〜Ｓ６と、ステップＳ１０２，Ｓ１０３，Ｓ１０５，Ｓ１０６と、ステップＳ２０３，Ｓ２０５，Ｓ２０６とは、並列に実行される必要はなく、例えば、適当な順番で順に実行されてもよい。

まず、重心移動量Ｗ_101,Ｗ₁₀₂を導出するためのステップＳ１０２，Ｓ１０３，Ｓ１０５，Ｓ１０６について説明する。ステップＳ１０２では、導出部１４ｃは、スイング動作中の各タイミングでのステップＳ２で正規化された深度フレームから、ゴルファー７の占める領域だけを切り取った画像（以下、切り取り画像）を作成する。上記のとおり、正規化された深度フレームは、主にゴルファー７の深度の情報のみを含む画像であるが、厳密にはゴルファー７の足元付近の地面の深度の情報も含む。ステップＳ１０２では、このような地面の深度の情報を除去するべく、ステップＳ１で取得された人物領域画像に基づいて、ステップＳ２で正規化された深度フレームから、ゴルファー７の占める領域だけを切り取る。図１６Ｂは、図５に示す正規化された深度フレームから、図１６Ａの人物領域画像を用いて作成された切り取り画像を示している。

続くステップＳ１０３では、導出部１４ｃは、ステップＳ１で取得されたスケルトンデータに基づいて、切り取り画像から、ゴルファー７の近傍の領域（以下、ゴルファー領域）を抽出する。具体的には、導出部１４ｃは、スケルトンデータから、深度フレーム内での鳩尾の座標を取得する。そして、深度フレームから、この鳩尾の座標を基準とする所定のサイズの領域を、ゴルファー領域として切り出す。図１７の左側の画像は、鳩尾を基準とするゴルファー領域の設定方法の例を示しており、図１７の右側の画像は、この設定方法の例に従って、図１６Ｂの切り取り画像から切り出されたゴルファー領域の画像を示している。

身体の重心の位置を評価しようとするとき、地面の情報は不要となり得る。従って、地面の深度の情報を含む画像に基づいてニューラルネットワークを学習すると、重心の検出の精度が低下する虞がある。また、画像のサイズが大き過ぎると、ニューラルネットワークによる解析が困難になり得る。ステップＳ１０２，Ｓ１０３は、ニューラルネットワークに基づいて身体の重心の位置を精度よく検出できるように、解析の対象となる深度フレームから、ゴルファー領域を抽出している。

続くステップＳ１０５では、導出部１４ｃは、ステップＳ１０３で取得されたスイング動作中の時系列のゴルファー領域の画像を、順次、ニューラルネットワーク１０８に入力する。これにより、ニューラルネットワーク１０８の出力ユニットからは、順次、スイング動作中の時系列のゴルファー７の身体の重心移動量Ｗ_101,Ｗ₁₀₂が出力される。ただし、本実施形態では、ステップＳ１０３までで取得された３４８×１９２ピクセルの画像は、最近傍補間等により１１６×６４ピクセルのサイズまで圧縮された後、ニューラルネットワーク１０８へ入力される。

続いて、導出部１４ｃは、ステップＳ１０５で導出された重心移動量Ｗ_101,Ｗ₁₀₂の時系列データの平滑化及び補間を行う（ステップＳ１０６）。図１８Ａ及び図１８Ｂは、それぞれ重心移動量Ｗ_101,Ｗ₁₀₂の時系列データを５点の移動平均により平滑化し、３３ｍｓ間隔のデータを１ｍｓ間隔のデータに変換するスプライン補間を行った例を示している。これにより、滑らかな重心移動量Ｗ_101,Ｗ₁₀₂の時系列データが取得される。図１８Ｃは、Ｘ方向及びＹ方向の重心移動量Ｗ_101,Ｗ₁₀₂を組み合わせて作成した、平面視における身体の重心の軌跡のグラフである。

次に、肩の回転角度Ｗ₂₀₁を導出するためのステップＳ２０３，Ｓ２０５，Ｓ２０６について説明する。まず、導出部１４ｃは、ステップＳ１で取得されたスケルトンデータに基づいて、ステップＳ２で正規化された深度フレームから、スイング動作中の各タイミングでのゴルファー７の肩の近傍の領域（以下、肩領域）を抽出する（ステップＳ２０３）。具体的には、導出部１４ｃは、スケルトンデータから深度フレーム内での両肩の座標を取得し、両肩の中央（以下、肩中央）の座標を特定する。そして、深度フレームから、この肩中央の座標を基準とする所定のサイズの領域を、肩領域として切り出す。図１９の左側の画像は、肩中央を基準とする肩領域の設定方法の例を示しており、図１９の右側の画像は、この設定方法の例に従って、図１６Ｂの切り取り画像から又は図５のような深度フレームから切り出された肩領域の画像を示している。

注目される肩の動きと、腰や足、腕等の他の部位の動きとは独立的である。従って、人体全体が写っている画像に基づいてニューラルネットワークを学習すると、肩の見え方に対応した特徴の検出の精度が低下する虞がある。また、画像のサイズが大き過ぎると、ニューラルネットワークによる解析が困難になり得る。ステップＳ２０３は、ニューラルネットワークに基づいて肩の動作の特徴を精度よく検出できるように、解析の対象となる深度フレームから、肩領域を抽出している。

続くステップＳ２０５では、導出部１４ｃは、ステップＳ２０３で取得されたスイング動作中の時系列の肩領域の画像を、順次、ニューラルネットワーク２０８に入力する。これにより、ニューラルネットワーク２０８の出力ユニットからは、順次、ゴルファー７の肩の回転角度Ｗ₂₀₁が出力される。ただし、本実施形態では、ステップＳ２０３までで取得された１２８×６４ピクセルの画像は、最近傍補間等により６４×３２ピクセルのサイズまで圧縮された後、ニューラルネットワーク２０８へ入力される。

続いて、導出部１４ｃは、ステップＳ２０５で導出された肩の回転角度Ｗ₂₀₁の時系列データの平滑化及び補間を行う（ステップＳ２０６）。図２０は、肩の回転角度Ｗ₂₀₁の時系列データを５点の移動平均により平滑化し、３３ｍｓ間隔のデータを１ｍｓ間隔のデータに変換するスプライン補間を行った例を示している。これにより、滑らかな肩の回転角度Ｗ₂₀₁の時系列データが取得される。

その後、表示制御部１４ｅは、ステップＳ６で導出されたスイング動作中の時系列の腰の回転角度Ｗ₁及びその時系列変化、並びに図９に示すようなグラフを表示部１１上に表示させる（ステップＳ７）。また、本実施形態のステップＳ７では、表示制御部１４ｅは、ステップＳ１０６で導出されたスイング動作中の時系列の身体の重心移動量Ｗ_101,Ｗ₁₀₂及びその時系列変化、並びに図１８Ａ〜１８Ｃに示すようなグラフを表示部１１上に表示させる。さらに、表示制御部１４ｅは、ステップＳ２０６で導出されたスイング動作中の時系列の肩の回転角度Ｗ₂₀₁及びその時系列変化、並びに図２０に示すようなグラフを表示部１１上に表示させる。これにより、ユーザは、ゴルファー７の腰及び肩の回転の動作、並びにゴルファー７の体重移動を詳細に把握することができる。

＜２−３．ニューラルネットワークの学習方法＞
次に、図２１及び図２２を参照しつつ、ニューラルネットワーク１０８，２０８の学習方法について説明する。以下では、ニューラルネットワーク１０８，２０８のそれぞれを構築するための学習用データセットについて説明するとともに、各データセットに基づく学習処理の流れについて説明する。

＜２−３−１．学習用データセット（身体の重心移動量）＞
ニューラルネットワーク１０８を構築するための学習用データセットは、距離画像センサ２により取得される深度フレーム、スケルトンデータ及び人物領域画像と、これらが取得されるタイミングでのゴルファー７の重心移動量（真値）との対のデータであり、このような学習用データセットが多数収集される。学習用データセットに含まれる重心移動量（真値）は、ニューラルネットワーク１０８の学習時の教師信号となる。

本実施形態では、ゴルファー７の重心移動量に関する教師信号は、ゴルファー７の足元に設置される床反力計１０４（図１１及び図１２参照）の出力値（床反力データ）に基づいて取得される。床反力計１０４は、左右一対のフォースプレート１０４Ｌ，１０４Ｒから構成される。ゴルフスイング時、ゴルファー７はフォースプレート１０４Ｌ，１０４Ｒ上に乗る。このとき、ゴルファー７の左足はフォースプレート１０４Ｌ上に位置決めされ、右足はフォースプレート１０４Ｒ上に位置決めされる。

フォースプレート１０４Ｌ，１０４Ｒは、各々、複数の力センサ１２１を有する。力センサ１２１は、フォースプレート１０４Ｌ，１０４Ｒの板状のケース内に分散して配置され（例えば、四隅に配置され）、ゴルファー７の体重を受け取ってフォースプレート１０４Ｌ，１０４Ｒ上に作用する床反力を検出する。フォースプレート１０４Ｌ，１０４Ｒは、動作解析装置１に通信接続されており、力センサ１２１より検出された床反力データは、有線又は無線の通信線を介して、フォースプレート１０４Ｌ，１０４Ｒから動作解析装置１へ出力される。

なお、ニューラルネットワーク１０８が学習され、記憶部１３内に保存された後においては、床反力計１０４は、動作解析システム１０１から省略することができる。また、動作解析システム１０１と、ニューラルネットワーク１０８のモデルを構築するモデル構築システムは、異なるハードウェアにより実現することもできる。

＜２−３−２．学習処理の流れ（身体の重心移動量）＞
次に、図２１を参照しつつ、ニューラルネットワーク１０８の学習処理について説明する。まず、ニューラルネットワーク１０８を構築するための学習用データセットを取得するために、床反力計１０４上に乗ったゴルファー７にゴルフクラブ５を試打させ、その様子を距離画像センサ２により動画として撮影する。このとき、好ましくは、学習の効果を高めるために、複数人のゴルファー７により多数回のスイング動作が実施される。そして、ステップＳ１と同様に、第１取得部１４ａが、距離画像センサ２から送られてくる時系列のＩＲフレーム、深度フレーム、スケルトンデータ及び人物領域画像を取得し、記憶部１３内に格納する（ステップＳ１２１）。また、ステップＳ１２１では、床反力計１０４により計測された時系列の床反力データも、動作解析装置１に送信される。そして、第２取得部１４ｂが、この時系列の床反力データに基づいて、ゴルファー７の身体の重心移動量のデータ（以下、重心位置データ）を取得し、記憶部１３内に格納する。このとき、ＩＲフレーム、深度フレーム、スケルトンデータ及び人物領域画像と、重心位置データとの同期が取られ、同じタイミングでのデータは、互いに対応付けられて記憶部１３内に格納される。

続いて、学習部１４ｄは、ステップＳ１２１で取得された多数回のスイング動作に対応する時系列の深度フレームに対し、ステップＳ１２２，Ｓ１３２，Ｓ１３３を実行する。ステップＳ１２２，Ｓ１３２，Ｓ１３３は、ステップＳ１２１で取得された深度フレームから、ニューラルネットワーク１０８に入力されるべきゴルファー領域の画像を切り出すステップである。なお、ステップＳ１２２，Ｓ１３２，Ｓ１３３は、上述したステップＳ２，Ｓ１０２，Ｓ１０３と同様のステップであるため、ここでは詳細な説明を省略する。

続くステップＳ１３５では、学習部１４ｄは、ステップＳ１３３で取得されたゴルファー領域の画像を入力とし、ステップＳ１２１で取得された重心位置データを教師信号として、ニューラルネットワーク１０８を学習させる。より具体的には、学習部１４ｄは、ゴルファー領域の画像を現在のニューラルネットワーク１０８に入力し、出力値として重心移動量Ｗ₁₀₁，Ｗ₁₀₂を取得し、この重心移動量Ｗ₁₀₁，Ｗ₁₀₂と重心位置データとの誤差を最小化するように、ニューラルネットワーク１０８のパラメータを更新する。ここでいう学習の対象となるパラメータとは、上述した重みフィルタＧ₁，Ｇ₂，・・・，Ｇ_N，Ｌ₁，Ｌ₂，・・・，Ｌ_R、重み係数u_i,1，u_i,2，・・・，u_i,I1、v_1,1，v_1,2，・・・，v_1,I2及びv_2,1，v_2,2，・・・，v_2,I2、バイアスb_i，b₁₀₁，b₁₀₂等である。そして、このようにして、次々と学習用データセットを適用させながら、ニューラルネットワーク１０８を最適化してゆく。ニューラルネットワーク１０８の教師付き学習方法は、様々なもの公知であるため、ここでは詳細な説明を省略するが、例えば、誤差逆伝播法を用いた確率的勾配降下法を用いることができる。以上により、学習処理が終了する。

＜２−３−３．学習用データセット（肩の回転角度）＞
ニューラルネットワーク２０８を構築するための学習用データセットは、距離画像センサ２により取得される深度フレーム及びスケルトンデータと、これらが取得されるタイミングでのゴルファー７の肩の回転角度（真値）との対のデータであり、このような学習用データセットが多数収集される。学習用データセットに含まれる肩の回転角度（真値）は、ニューラルネットワーク２０８の学習時の教師信号となる。

本実施形態では、ゴルファー７の肩の回転角度に関する教師信号は、ゴルファー７の肩中央に取り付けられた角速度センサ２０４（図１１及び図１２参照）により取得される。角速度センサ２０４により計測された角速度データは、有線又は無線の通信線を介して、角速度センサ２０４から動作解析装置１へ出力される。

なお、ニューラルネットワーク２０８が学習され、記憶部１３内に保存された後においては、角速度センサ２０４は、動作解析システム１０１から省略することができる。また、動作解析システム１０１と、ニューラルネットワーク２０８のモデルを構築するモデル構築システムは、異なるハードウェアにより実現することもできる。

＜２−３−４．学習処理の流れ（肩の回転角度）＞
図２２は、ニューラルネットワーク２０８の学習処理の流れを示すフローチャートである。まず、ニューラルネットワーク２０８を構築するための学習用データセットを取得するために、角速度センサ２０４を肩に取り付けたゴルファー７にゴルフクラブ５を試打させ、その様子を距離画像センサ２により動画として撮影する。このとき、好ましくは、学習の効果を高めるために、複数人のゴルファー７により多数回のスイング動作が実施される。そして、ステップＳ１と同様に、第１取得部１４ａが、距離画像センサ２から送られてくる時系列のＩＲフレーム、深度フレーム及びスケルトンデータを取得し、記憶部１３内に格納する（ステップＳ２２１）。また、ステップＳ２２１では、スイング動作中の角速度センサ２０４により計測された時系列の角速度データも、動作解析装置１に送信される。そして、第２取得部１４ｂが、この時系列の角速度データを取得し、これを時系列の肩の回転角度を表すデータ（肩の回転角度データ）に変換した後、記憶部１３内に格納する。記憶部１３内には、多数回のスイング動作に対応するＩＲフレーム、深度フレーム、スケルトンデータ及び肩の回転角度データが格納される。このとき、ＩＲフレーム、深度フレーム及びスケルトンデータと、回転角度データとの同期が取られ、同じタイミングでのデータは、互いに対応付けられて記憶部１３内に格納される。

続いて、学習部１４ｄは、ステップＳ２２１で取得された多数回のスイング動作に対応する時系列の深度フレームに対し、ステップＳ２２２，Ｓ２２３を実行する。ステップＳ２２２，Ｓ２２３は、ステップＳ２２１で取得された深度フレームから、ニューラルネットワーク２０８に入力されるべき図１９に示されるような肩領域の画像を切り出すステップである。なお、ステップＳ２２２，Ｓ２２３は、上述したステップＳ２，Ｓ２０３と同様のステップであるため、ここでは詳細な説明を省略する。

続くステップＳ２２５では、学習部１４ｄは、ステップＳ２２３で取得された肩領域の画像を入力とし、ステップＳ２２１で取得された肩の回転角度データを教師信号として、ニューラルネットワーク２０８を学習させる。より具体的には、学習部１４ｄは、肩領域の画像を現在のニューラルネットワーク２０８に入力し、出力値として肩の回転角度Ｗ₂₀₁を取得し、この肩の回転角度Ｗ₂₀₁と肩の回転角度データとの誤差を最小化するように、ニューラルネットワーク２０８のパラメータを更新する。ここでいう学習の対象となるパラメータとは、上述した重みフィルタＧ₁，Ｇ₂，・・・，Ｇ_N，Ｌ₁，Ｌ₂，・・・，Ｌ_R、重み係数u_i,1，u_i,2，・・・，u_i,I1、重み係数v₁，v₂，・・・，v_I2、バイアスb_i，b等である。そして、このようにして、次々と学習用データセットを適用させながら、ニューラルネットワーク２０８を最適化してゆく。ニューラルネットワーク２０８の教師付き学習方法は、様々なもの公知であるため、ここでは詳細な説明を省略するが、例えば、誤差逆伝播法を用いた確率的勾配降下法を用いることができる。以上により、学習処理が終了する。

＜３．変形例＞
以上、本発明のいくつかの実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。また、以下の変形例の要旨は、適宜組み合わせることができる。

＜３−１＞
動作解析処理において導出される動作値は、注目部位の回転角度や位置（座標）に限られず、例えば、回転速度、回転加速度等であってもよいし、速度及び加速度等であってもよい。また、注目部位も、ゴルファー７の腰、肩及び重心に限らず、ゴルファー７の腕、頭等であってもよい。また、ゴルフスイングに限らず、任意の対象の任意の動作を解析することもできる。

＜３−２＞
距離画像センサは、深度画像のみを撮影するものであってもよいし、ＩＲ画像に代えてカラー画像を撮影するものであってもよい。後者の場合、距離画像センサには、可視光を受光する可視光受光部（例えば、ＲＧＢカメラ）を搭載すればよい。

＜３−３＞
第１実施形態では、腰の回転角度が算出され、第２実施形態では、腰の回転角度、肩の回転角度及び重心移動量が算出された。しかしながら、腰の回転角度、肩の回転角度及び重心移動量の３つの中から任意に選択される１又は複数の要素を算出するようにすることができる。例えば、腰の回転角度及び肩の回転角度のみを算出してもよいし、肩の回転角度及び重心移動量のみを算出してもよい。

１ 動作解析装置（モデル構築装置）
２ 距離画像センサ
３ 動作解析プログラム
４，２０４ 角速度センサ
１０４ 床反力計
５ ゴルフクラブ
７ ゴルファー（物体）
８，１０８，２０８ ニューラルネットワーク
８１ 識別層
８２ 特徴抽出部
８３Ａ，８４Ａ 畳み込み層
８５ ドロップアウト層
１４ａ 第１取得部（取得部）
１４ｂ 第２取得部
１４ｃ 導出部
１４ｄ 学習部
１００，１０１ 動作解析システム

Claims (19)

1. 物体の動作を解析するための動作解析装置であって、
   前記物体の動作を距離画像センサにより撮影した深度画像を取得する取得部と、
   前記物体の動作を定量的に表す動作値を出力とするニューラルネットワークに、前記取得部により取得された前記深度画像を入力することにより、前記動作値を導出する導出部と
   を備える、
   動作解析装置。
2. 前記深度画像は、ゴルフスイングを撮影した画像である、
   請求項１に記載の動作解析装置。
3. 前記動作値は、ゴルファーの腰の回転角度である、
   請求項２に記載の動作解析装置。
4. 前記取得部は、前記距離画像センサにより計測された人体の骨組みを表すスケルトンデータをさらに取得し、
   前記導出部は、前記スケルトンデータに基づいて、前記深度画像から前記腰の近傍の腰領域を抽出した後、前記腰領域の画像を前記ニューラルネットワークに入力する、
   請求項３に記載の動作解析装置。
5. 前記ニューラルネットワークは、前記深度画像から前記ゴルファーの腕を表す腕領域を無効化するドロップアウト層を有する、
   請求項３又は４に記載の動作解析装置。
6. 前記動作値は、ゴルファーの体重移動を表す値である、
   請求項２に記載の動作解析装置。
7. 前記取得部は、前記距離画像センサにより計測された人体の骨組みを表すスケルトンデータをさらに取得し、
   前記導出部は、前記スケルトンデータに基づいて、前記深度画像から前記ゴルファーの近傍のゴルファー領域を抽出した後、前記ゴルファー領域の画像を前記ニューラルネットワークに入力する、
   請求項６に記載の動作解析装置。
8. 前記動作値は、ゴルファーの肩の回転角度である、
   請求項２に記載の動作解析装置。
9. 前記取得部は、前記距離画像センサにより計測された人体の骨組みを表すスケルトンデータをさらに取得し、
   前記導出部は、前記スケルトンデータに基づいて、前記深度画像から前記肩の近傍の肩領域を抽出した後、前記肩領域の画像を前記ニューラルネットワークに入力する、
   請求項８に記載の動作解析装置。
10. 前記ニューラルネットワークは、畳み込み層を有する、
    請求項１から９のいずれかに記載の動作解析装置。
11. 前記取得部は、時系列の前記深度画像を取得し、
    前記導出部は、前記ニューラルネットワークに前記時系列の深度画像を入力することにより、時系列の前記動作値を導出する、
    請求項１から１０のいずれかに記載の動作解析装置。
12. 前記取得部は、前記距離画像センサにより計測された人体の骨組みを表すスケルトンデータをさらに取得し、
    前記導出部は、前記スケルトンデータに基づいて、前記深度画像から前記物体の注目部位の近傍の注目領域を抽出した後、前記注目領域の画像を前記ニューラルネットワークに入力する、
    請求項１、２、１０及び１１のいずれかに記載の動作解析装置。
13. 前記ニューラルネットワークは、前記深度画像から前記物体の注目していない部位を表す非注目領域を無効化するドロップアウト層を有する、
    請求項１、２及び１０〜１２のいずれかに記載の動作解析装置。
14. 物体の動作を解析するためのモデルを構築するモデル構築装置であって、
    前記物体の動作を距離画像センサにより撮影した多数の深度画像を取得する第１取得部と、
    前記多数の深度画像にそれぞれ対応する、前記物体の動作を定量的に表す多数の動作値を取得する第２取得部と、
    前記第１取得部により取得された前記多数の深度画像に基づいて、前記第２取得部により取得された前記多数の動作値を教師信号として、前記深度画像を入力とし、前記動作値を出力とするニューラルネットワークを学習する学習部と
    を備える、
    モデル構築装置。
15. 前記第２取得部は、前記物体に取り付けられた角速度センサの出力値から前記物体の回転角度を表す前記多数の動作値を取得する、
    請求項１４に記載のモデル構築装置。
16. 前記第２取得部は、前記物体が乗る床反力計の出力値から前記物体の重心の位置を表す前記多数の動作値を取得する、
    請求項１４に記載のモデル構築装置。
17. 物体の動作を解析するための動作解析システムであって、
    前記物体の動作を捉えた深度画像を撮影する距離画像センサと、
    前記物体の動作を定量的に表す動作値を出力とするニューラルネットワークに、前記距離画像センサにより撮影された前記深度画像を入力することにより、前記動作値を導出する動作解析装置と
    を備える、
    システム。
18. 物体の動作を解析するための動作解析方法であって、
    距離画像センサにより前記物体の動作を捉えた深度画像を撮影するステップと、
    前記物体の動作を定量的に表す動作値を出力とするニューラルネットワークに、前記距離画像センサにより撮影された前記深度画像を入力することにより、前記動作値を導出するステップと
    を含む、
    動作解析方法。
19. 物体の動作を解析するための動作解析プログラムであって、
    前記物体の動作を距離画像センサにより撮影した深度画像を取得するステップと、
    前記物体の動作を定量的に表す動作値を出力とするニューラルネットワークに、前記取得された深度画像を入力することにより、前記動作値を導出するステップと
    をコンピュータに実行させる、
    動作解析プログラム。