JP2004164563A - 画像解析方法、画像解析装置、画像解析プログラム - Google Patents

Abstract

【課題】時系列の画像データに撮影されている物体の運動を定量的に解析する。
【解決手段】時系列の画像データを入力する時系列画像データ入力工程（ステップＡ１）と、時系列の画像データから物体領域を切り出して時系列の物体画像データを生成する物体領域切り出し工程（ステップＡ２）と、切り出された時系列の物体画像データをもとにして物体の運動解析を行う運動解析工程（ステップＡ３）で構成される。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、時系列の画像データに撮影されている物体の運動を解析する画像解析方法、画像解析装置、画像解析プログラムに関する。
【０００２】
【従来の技術】
一般に、画像中の特定の被写体に注目し、その物体の運動を解析する技術は、ＴＶのスポーツ中継における視聴者への効果的な合成映像の提供、あるいはテニスやゴルフスクールにおいて生徒の運動を解析して定量的な指導に利用されたり、スポーツ選手の技術向上に用いられる等、画像に関する重要な技術の一つである。
【０００３】
時系列の画像データに撮影されている物体の運動を解析する技術の具体的な従来の手法の一つとして、非特許文献１「マルチモーション―体操選手のフォーム・軌跡表示システム―」八木、李、野口（画像ラボ，vol.9,no.4,pp.55-60,日本工業出版，April 1998）がある。この技術を、図３３を用いて説明する。
【０００４】
図３３（ａ）は、時系列の画像データである。ここでは被写体として自動車が撮影されている。
まず、この技術では、時系列の画像データから撮影されている物体領域のみを図３３（ｂ）のように切り出す。文献１においては、異なるフレーム間での差分を取り、差分誤差の大きな領域を２値化処理して物体領域のみを切り出しているが、例えば、予め全面均一色の背景で物体の運動を撮影して色成分の違いを用いて切り出すクロマキー法、マウスやペンタブレットなどを用いてユーザのマニュアル操作で切り出し物体の輪郭を入力して切り出すマニュアル法、また、特開２００１−１４４７７「画像輪郭線抽出装置」のようにユーザがマニュアル法によって大まかな輪郭線を入力してその輪郭線を自動的に修正する手法など、何らかの手法で画像データから撮影されている物体領域のみを切り出せれば良い。
【０００５】
これによって、物体のみが切り出された時系列の物体画像データが作成される。なお、時系列の物体画像データは、図３３（ｂ）のように初めのフレームからは物体領域を切り出さなくても良いし、また、切り出しておいても良い。
【０００６】
最後に、時系列の物体画像データを順に重ね合わせて合成していくことにより、図３３（ｃ）のように、それぞれの時刻の画像が過去の全ての物体画像のストロボ合成画像になっている時系列の合成画像を作成できる。
【０００７】
このように、切り出された時系列の物体画像データ重ね合わせて合成して表示することによって物体の移動の軌跡が分かり、視覚的に物体の運動解析を行うことができる。
【０００８】
【非特許文献１】
「マルチモーション―体操選手のフォーム・軌跡表示システム―」八木、李、野口（画像ラボ，vol.9,no.4,pp.55-60,日本工業出版，April 1998)
【０００９】
【特許文献１】
特開２００１−１４４７７公報
【００１０】
【発明が解決しようとする課題】
しかしながら、切り出された時系列の物体画像データを重ね合わせて合成し表示する画像解析方法では、物体の運動を連続した映像として見ることが可能なだけであり、物体がどのように変化しているかといった定性的な解析しかできず、物体の変化量がどの程度であるかといった定量的な解析ができないという問題があった。
【００１１】
本発明は前記のような事情を考慮してなされたもので、時系列の画像データに撮影されている物体の運動を定量的に解析することが可能な画像解析方法、画像解析装置、画像解析プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、時系列の画像データを入力する時系列画像データ入力工程と、前記時系列画像データ入力工程によって入力された時系列画像データから物体領域を切り出して時系列の物体画像データを生成する物体領域切り出し工程と、前記物体領域切り出し工程によって切り出された時系列の物体画像データをもとにして物体の運動解析を行う運動解析工程とを備えることを特徴とする。
【００１３】
このように構成されたものにおいては、切り出された時系列の物体画像データを、物体の画像情報としてだけでなく物体の運動特徴を表す形状情報として解析するので、時系列の画像データに撮影されている物体の運動を定量的に解析することができる。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図１は本実施形態に係わる画像解析装置の機能構成を示すブロック図である。本実施形態における画像解析装置は、例えば半導体メモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気ディスク等の記録媒体に記録された画像解析プログラムを読み込み、この画像解析プログラムによって動作が制御されるコンピュータによって実現される。画像解析装置を実現するコンピュータは、プロセッサと、このプロセッサがアクセス可能なメモリと、このメモリに収容された画像解析プログラムを有する。
【００１５】
図１に示すように、本実施形態における画像解析装置は、画像解析制御部１０、入力装置１２、表示装置１４、タブレット１５、及び記憶装置１６が設けられて構成されている。
【００１６】
画像解析制御部１０は、入力装置１２あるいは記憶装置１６から時系列画像データを入力し、この時系列画像データに撮影されている物体の運動を定量的、例えば物体の変化量、物体中の特定点の速度、特定点が移動した軌跡、特定点の移動速度、特定点の変化により画像中で形成される角度（曲率）や面積、あるいはそれらを数値化、グラフ化することで解析することができる機能を有している。
【００１７】
画像解析制御部１０は、メモリに収容された画像解析プログラムを実行することで複数の機能部、すなわち時系列画像データ入力部２０、物体領域切り出し部２２、運動解析部２４（物体画像データ調整部２６、比較合成部２８）、解析結果表示部３０などの機能部が実現される。各機能部は、それぞれ以下のような処理を実行する。
【００１８】
時系列画像データ入力部２０は、入力装置１２（撮像手段）あるいは記憶装置１６から解析対象とする時系列画像データを入力する。また、時系列画像データ入力部２０は、時系列画像データ中の物体の特定点に対して特徴的な色を付けておいたり、物体の画像データを撮影しながら、撮影する物体の特定点の位置を計測する（第７実施形態）。
【００１９】
物体領域切り出し部２２は、時系列画像データ入力部２０によって入力された時系列画像データから、運動解析の対象となる物体領域のみを切り出して時系列の物体画像データを生成する。
【００２０】
運動解析部２４は、物体領域切り出し部２２によって切り出された時系列の物体画像データの形状情報をもとにして物体についての運動解析を行なう。運動解析部２４により運動解析では、補助的な線からなる背景画像と切り出された時系列の物体画像データの重ね合わせ合成、時系列の物体画像データの物体領域の重心の検出、２つの時系列の物体画像データ（第１と第２の物体画像データ）の重ね合わせ合成、切り出された物体画像データで示される物体領域のある特定点の軌跡の線による表示と共に切り出された時系列の物体画像データの重ね合わせ合成、切り出された物体画像データで示される物体領域の特定点の軌跡表示と共に切り出された時系列の物体画像データの重ね合わせ合成、特定点の移動速度検出、特定点の軌跡のり曲率算出、特定点の軌跡で囲まれる閉領域の面積の算出、特定点の軌跡の傾きの算出などを実行する。
【００２１】
また、運動解析部２４には、物体画像データ調整部２６と比較合成部２８の機能が設けられる。物体画像データ調整部２６は、物体領域切り出し部２２により切り出された２つの時系列の物体画像データ（第１と第２の物体画像データ）に対する変形処理を実行する。比較合成部２８は、２つの時系列の時系列の物体画像データ（第１と第２の物体画像データ）を並べてそれぞれの物体画像データを重ね合わせて合成する。
【００２２】
解析結果表示部３０は、運動解析部２４による解析結果を数値化して視覚的に表示する。
【００２３】
入力装置１２は、画像解析装置に対するユーザによる制御指示などを入力するためのキーボードや、マウスなどのポインティングの他、解析処理の対象とする時系列画像データを入力するためのビデオカメラ等の撮影手段を含む。
【００２４】
表示装置１４は、画像解析制御部１０による解析結果など、比較合成部２８により合成された物体画像データ、解析結果表示部３０により数値化された解析結果などを表示する。
【００２５】
タブレット１５は、画像解析制御部１０における画像中の物体に対する解析のための入力操作に用いられるもので、ペンによるポインティングにより画像中における位置の指定を入力する。タブレット１５は、表示装置１４の表示面と重ね合わされており、表示装置１４において表示された画像に対して、直接的に位置の指定をすることができる。
【００２６】
記憶装置１６は、解析の対象となる時系列画像データ１８などが記憶される。時系列画像データ１８には、それぞれ異なる物体を撮像して得られる第１の時系列画像データと第２の時系列画像データとを含む。
【００２７】
以下、各実施形態について説明する。
【００２８】
（第１実施形態）
図２は、本発明の第１実施形態の画像解析方法の処理の流れを示すフローチャートである。図２において、ステップＡ１は時系列画像データを入力する時系列画像データ入力工程、ステップＡ２は時系列の画像データから物体領域のみを切り出して時系列の物体画像データを生成する物体領域切り出し工程、ステップＡ３は切り出された時系列の物体画像データの形状情報をもとにして物体の運動解析を行う運動解析工程、ステップＡ４は運動解析工程により解析された結果を表示する解析結果表示工程である。
【００２９】
まず、時系列画像データ入力部２０による時系列画像データ入力工程（ステップＡ１）では、例えば入力装置１２（ビデオカメラ等の撮影手段）により撮像して得られる時系列画像データ、あるいは記憶装置１６に予め記録されている時系列画像データ１８を入力する。ここでは、例えば図３（Ａ）〜（Ｆ）に示すような時系列の画像データを入力する。なお、図３（Ａ）〜（Ｆ）に示す時系列画像データは、ゴルフのスイングを撮影して得られたもので、解析対象とする物体が人体とゴルフクラブとなる。
【００３０】
続いて、物体領域切り出し部２２による物体領域切り出し工程（ステップＡ２）において、図３（Ａ）〜（Ｆ）の時系列画像データから、物体領域のみを切り出して、図４（Ａ）〜（Ｆ）に示す時系列の物体画像データを生成する。時系列の物体画像データとは、例えば、図３（Ａ）における画像を、背景領域部分、物体領域部分（人体とゴルフクラブ）に分割して、物体領域部分のみを切り出したデータである。物体画像データには、物体部分の画像の色情報と、物体部分の形状情報（人体部分とゴルフクラブ部分が区分されているものとする）とが含まれる。この形状情報を用いて、物体領域部分以外を塗りつぶしたのが図４（Ａ）である。
【００３１】
図５は、時系列画像データの最初のフレームに対して、物体領域切り出し工程によって各時系列画像データから切り出された物体画像データを重ね合わせた画像の一例を示している（ただし、図４に示す時系列の物体画像データとは別の物体画像データを対象としている）。図３及び図４では、説明を分かりやすくするために時系列画像データ（物体画像データ）を間引いて示しているが、実際には図５に重ね合わせて示すように、より多くの時系列画像データ（物体画像データ）が利用されるものとする。単位時間あたりの時系列画像データのフレーム数は、以下で説明する画像の解析に応じて適宜必要に応じて決めることができる。また、後述する解析結果表示工程では複数の物体画像データを重ね合わせて表示するが、この解析結果表示工程において、表示された画像を見易くするために物体画像データを間引くようにしても良い。なお、以下の説明では、説明を分かりやすくするために、時系列画像データ（物体画像データ）を間引いた図を用いて説明する。
【００３２】
物体領域の切り出し方法は、異なるフレーム間での差分を取り差分誤差の大きな領域を２値化処理して物体領域のみを切り出す方法、予め全面均一色の背景で物体の運動を撮影して色成分の違いを用いて切り出すクロマキー法、マウスやペンタブレットなどを用いてユーザのマニュアル操作で切り出し物体の輪郭を入力して切り出すマニュアル法、また、特許文献１（特開２００１−１４４７７公報「画像輪郭線抽出装置」）に記載されているようにユーザがマニュアル法によって大まかな輪郭線を入力して、その輪郭線を自動的に修正する手法などがある。物体領域切り出し工程（ステップＡ２）では、何らかの手法を用いて、画像データから撮影されている物体領域のみを切り出す。
【００３３】
続いて、運動解析部２４による運動解析工程（ステップＡ３）においては、切り出された時系列の物体画像データの形状情報をもとにして物体の運動解析を行う。
【００３４】
図６は、第１実施形態における運動解析工程の処理の流れを示すフローチャートである。
【００３５】
物体の運動解析においては、ある基準線と比較しながら運動の軌跡を見ると、その運動の特徴が良く分かることが多くある。
【００３６】
例えば、ゴルフスイングを例に取ると、スイングにおいて、背骨がスイングの軸になっており、このスイング軸がスイング動作の間、前後にぶれずに一定であるかがスイングを解析する上で重要になる。
【００３７】
まず、運動解析部２４は、基準算出工程において、物体領域切り出し工程により生成される物体画像データをもとに運動の基準となる補助線の位置を算出する（ステップＡ３ａ１）。ゴルフスイングを撮影した画像データを対象としている場合、例えば物体画像データである図４（Ａ）から形状情報をもとに被写体のスイング軸を検出する。図７被写体のスイング軸は、例えば図４（Ａ）に示す物体画像データ（先頭フレーム）の物体領域の重心位置を通過する垂直線とする。運動解析部２４は、物体画像データの形状情報（人体部分）から物体領域の重心位置を算出し、この重心位置を通過する垂直線を求める。
【００３８】
次に、運動解析部２４は、基準補助線合成工程において、基準算出工程により算出された位置に応じて、補助線と物体画像データを重ね合わせて合成する（ステップＡ３ａ２）。
【００３９】
図７（Ａ）には、物体画像データ（先頭フレーム）に対して、物体画像の重心位置を通過するように補助線５０が合成された画像の一例を示している。
【００４０】
なお、補助線５０の位置は、先頭フレーム中の物体領域をもとにして決めるだけでなく、最終フレーム、あるいは先頭フレームから最終フレームまでの間の途中フレームの何れかを対象として決めるようにしても良い。例えば、クラブヘッドがボールに当たるインパクト時のフレーム、あるいはインパクト時に近いフレームを検出し、このフレーム中の物体領域の重心位置をもとに決定することができる。なお、インパクトに近いフレームは、例えば各物体画像データ中のゴルフクラブのクラブヘッドが最下点となっている物体画像データを求めることで検出する。また、クラブヘッドの部分は、例えば後述する第４実施形態で説明するように、特定点として指定することによって検出することができる。
【００４１】
解析結果表示部３０は、運動解析部２４による基準補助線合成工程において、補助線５０が合成された先頭フレームの物体画像データに対して、時系列の物体画像データを順に重ね合わせて合成し、表示装置１４において表示させる。これにより、図７（Ｂ）のように、物体の移動量の基準となる補助線５０と、時系列の複数の物体画像データが合成された画像を、物体運動解析結果として表示装置１４に表示させることができる。
【００４２】
また、合成する補助線としては、図７に示すスイング軸を表す補助線５０以外にも、運動解析を補助するための様々な補助線を合成することができる。
例えば、物体画像データである図４（Ａ）から形状情報（人体部分）をもとに物体の上端（頭の頂点）を検出して、この点を通過する水平線を図８（Ａ）のように補助線５２として表示する。この補助線５２を基準にして、スイングに伴う頭部の上下動する移動量を判別することができる。
【００４３】
物体の上端（頭の頂点）の検出は、例えば次のようにして実行する。運動解析部２４は、例えば先頭フレームの物体画像データに対して、水平方向に上部からスキャンして物体画像を探索する。物体画像が検出された場合、その物体画像が頭部に該当する部分か、あるいはゴルフクラブの一部であるかを判別する。ゴルフクラブ（クラブヘッド、シャフト）に該当する物体画像は、頭部に該当する部分画像と比較して十分に横幅が狭いので、この横幅の違いによって判別することができる。例えば、図４に示す物体画像データでは、上部から水平方向にスキャンしていくと、頭部よりも先にゴルフクラブに該当する物体画像が検出されることになる。この場合、ゴルフクラブに該当する物体画像以外の物体画像が検出された際に、その物体画像が頭部の物体画像と判別することができる。
【００４４】
また、ゴルフクラブの部分は、後述する第４実施形態に説明するように、ゴルフクラブの色を予め記憶しておき、この記憶された色とスキャンによって探索された物体画像の色とを比較することで判別するようにしても良い（詳細については第４実施形態参照）。
【００４５】
また、水平線による補助線５２を表示する場合、補助線の位置を先頭フレーム中の物体領域をもとにして決めるだけでなく、最終フレーム、あるいは先頭フレームから最終フレームまでの間の途中フレームの何れかを対象として決定することができる。
【００４６】
これにより、図８（Ｂ）のように、物体の移動量の基準となる補助線５２と、時系列の複数の物体画像データが合成された画像を、物体運動解析結果として表示装置１４に表示させることができる。
【００４７】
また、図９のような格子状の補助線５４や、図１０のように背景を含む時系列画像データの先頭フレームの画像に対して、補助線５４と時系列の物体画像データを重ね合わせて表示して運動を解析するようにしても良い。
【００４８】
なお、図９及び図１０に示す格子状の補助線５４の縦線の１本が、図７に示す補助線５０の位置と一致し、補助線５４の横線の１本が、図８に示す補助線５２の位置と一致するように表示することもできる。
【００４９】
また、図７、図８、図９、図１０においては、時系列の物体画像データを順に重ね合わせて合成した画像の上から補助線５０，５２，５４を合成しているが、補助線５０，５２，５４の上に時系列の物体画像データを順に重ね合わせて合成した画像を合成することも可能である。
【００５０】
以上のように第１実施形態では、補助的な線からなる背景画像の上に切り出された時系列の物体画像データを重ね合わせて合成することによって、時系列の画像データに撮影されている物体の運動を定量的に解析することができる。すなわち、補助線５０，５２，５４を基準にして、ゴルフスイングに伴う物体（人体）の移動量を判別することができる。
【００５１】
（第２実施形態）
第２実施形態では、第１実施形態で説明した運動解析工程において、切り出された時系列の物体画像データの物体領域の重心を求めて物体の運動解析を行うことを可能にする。
【００５２】
図１１は、第２実施形態における運動解析工程の処理の流れを示すフローチャートである。
【００５３】
運動解析部２４は、重心算出工程において、時系列画像データから物体領域切り出し部２２により生成された時系列の物体画像データから、物体領域の重心位置を算出し（ステップＡ３ｂ１）、この重心位置を表す点（重心点）を物体画像データに重ね合わせて合成する（ステップＡ３ｂ２）。
【００５４】
図１２（Ａ）〜（Ｆ）は、図４（Ａ）〜（Ｆ）に示した時系列の物体画像データの重心位置を検出して点で図示した様子である。解析結果表示部３０は、このように求めたフレーム毎の物体領域の重心位置を図１３（Ａ）に示す重心点６０、あるいは時系列の物体画像データを順に重ね合わせて合成した状態では図１３（Ｂ）のように重心点列６２として表示装置１４において表示させる。これにより重心位置の時間変動を視覚的に確認できる。
【００５５】
さらに、重心位置の上下動を確認することができるように、重心位置を通過する補助線を付加して物体画像データを表示させることもできる。図１４（Ａ）、図１４（Ｂ）には、図１３（Ａ）、図１３（Ｂ）に示す重心点６０（重心点列６２）を通過する水平線６４（水平線列６５）を付加して表示した例を示している。
【００５６】
また、重心の左右の動きを確認したいときには、図１５（Ａ）、図１５（Ｂ）に示すように、図１３（Ａ），図１３（Ｂ）に示す重心点６０（重心点列６２）を通過する垂直線６６（垂直線列６７）を付加して表示する。
【００５７】
また、重心座標の全フレームでの分散を求めて表示することもできる。この分散値を表示することで、この値が小さいときには重心が安定していた、分散が大きいときには、重心がブレていたといった判定をすることができる。物体領域の一部の領域は、例えば物体画像データの色情報を用いて検出することができる。運動解析部２４は、物体画像データに対して水平方向にスキャンして、各ラインについての色ヒストグラムを生成する。色ヒストグラムでは、頭部領域、胴体領域、足領域などのそれぞれについて、特定の色の値が高くなる傾向がある。例えば、頭部領域では、帽子の色あるいは頭髪と顔の色の値が高くなり、胴体領域では、上半身に身につけた服の色の値が高くなる。運動解析部２４は、色ヒストグラムをもとに、特徴的な色の変化が現れた水平位置を検出し、その水平位置において物体画像を分割することで、頭部領域、胴体領域など、物体領域のそれぞれに対応する部分的な領域を検出することができる。以下、前述と同様にして、各部分画像について重心位置を算出し、重心位置を表す重心点を合成して表示させる。
【００５８】
また、重心位置は、物体領域全体（人体部分の全体）を対象として検出するだけでなく、例えば、頭部領域、胴体領域など、物体領域の一部の領域を対象として求めれば、それぞれ有用なデータを得ることができる。また、例えばゴルフクラブの先端のみを指定すれば、クラブヘッドの位置を自動的に算出することもできる。
【００５９】
以上のように第２実施形態では、切り出された時系列の物体画像データの物体領域の重心を求めて物体の運動解析を行うことによって、時系列の画像データに撮影されている物体の運動を定量的に解析することができる。
【００６０】
（第３実施形態）
図１６は、第３実施形態における画像解析方法での運動解析工程（ステップＡ３）の処理の流れを示すフローチャートである。第１実施形態で説明した画像解析方法での運動解析工程（ステップＡ３）において、第１実施形態の物体切り出し工程より出力される第１の時系列画像データから得られる第１の時系列の物体画像データとは別に、第２の時系列画像データから得られる第２の時系列の物体画像データを入力し、第１の時系列の物体画像データと第２の時系列の物体画像データを比較できるように変形する物体画像データ調整工程（ステップＢ１）と、第１の時系列の物体画像データと第２の時系列の物体画像データを並べて表示する比較合成工程（ステップＢ２）を備えることによって、時系列の画像データに撮影されている物体の運動を定量的に解析することを可能にする。
【００６１】
まず、図１７（Ａ）示すような第１の時系列の物体画像データと図１７（Ｂ）に示すような第２の時系列の物体画像データが、物体画像データ調整部２６に入力されて物体画像データ調整工程（ステップＢ１）が実行される。
【００６２】
図１７（Ａ）（Ｂ）のように、一般には、異なる被写体の運動を撮影した時系列の物体画像データにおいて、被写体の位置やサイズ等はそれぞれ異なっている。よって、例えば、あるゴルフの指導教室において同じ人物のレッスン前、レッスン後のスイングを比較しようとした場合や、生徒のスイングと講師のスイングを比較しようとした場合に、被写体の位置やサイズが同程度に調整されていた方が比較しやすく、より定量的な運動解析が可能になる。
【００６３】
物体画像データ調整工程（ステップＢ１）においては、第１の時系列物体画像データと第２の時系列物体画像データを比較しやすいように調整する。具体的には、被写体の位置を合わせる、被写体のサイズを合わせる、被写体の右利き・左利きを合わせる（画像の左右反転）といった空間的な調整がある。これら調整を行った例を図１８（Ａ）（Ｂ）に示す。
【００６４】
図１７（Ｂ）の時系列物体画像データでは、図１７（Ａ）に示す時系列物体画像データに対して、サイズが小さく、また被写体が右側に寄っている。従って、物体画像データ調整工程によって、図１７（Ｂ）の時系列物体画像データを、図１７（Ａ）の時系列物体画像データに合わせてサイズを拡大し、また被写体の位置を左側に移動させることで、図１８（Ｂ）に示すように調整している。これにより、図１８（Ａ）（Ｂ）の２つの時系列物体画像データの比較が容易となり、より定量的な運動解析が可能になる。
【００６５】
また、物体画像データ調整部２６では、時間方向について調整を行うことも可能である。例えばゴルフのスイング映像において、インパクトの瞬間の画像を合わせて時間方向のズレを合わせたり、元々、フレームレートの関係で時間方向にズレのない映像が撮影されていない場合は、モーフィング等の中割り映像を合成する技術を用いて時間方向にズレのない映像を合成して、第１の時系列物体画像データと第２の時系列物体画像データを比較しやすいように調整することも可能である。
【００６６】
また、第１の時系列物体画像データと第２の時系列物体画像データは、異なる被写体（物体）を撮影した時系列画像データに限定する必要は無く、例えば１つの物体の１回の運動を異なる方向から同時に撮影した複数の時系列物体画像データに対して比較しやすくするため、物体画像データの調整を行う場合であっても良い。
【００６７】
また、前述した説明では、第１の時系列物体画像データと第２の時系列物体画像データの物体の運動を解析する方法についての説明を行ったが、時系列物体画像データの数は２つに限定することはなく、第１から第ｎまでの複数の時系列物体画像データの運動を解析する場合も、同じ方法で運動を解析することができる。
【００６８】
こうして、物体画像データ調整工程（ステップＢ１）において、複数の時系列物体画像データを比較できるように変形して調整すると、比較合成工程（ステップＢ２）においては、これら調整された時系列物体画像データを並べて、図１９のように、それぞれの物体画像データを重ね合わせて合成し、物体運動解析結果として表示装置１４において表示させる。
【００６９】
以上のように、第３実施形態では、複数の時系列物体画像データを比較できるように変形して、それぞれの物体画像データを並べて表示して合成することによって、複数の時系列の画像データに撮影されている物体の運動を定量的に解析することができる。
【００７０】
（第４実施形態）
第１実施形態で説明した運動解析工程において、切り出された物体画像データで示される物体領域のある特定点の軌跡を線や点で表示しながら切り出された時系列物体画像データを重ね合わせて合成することも可能である。
【００７１】
図２０は、第４実施形態における運動解析工程の処理の流れを示すフローチャートである。
【００７２】
まず、運動解析部２４は、特定領域追跡工程において、物体領域切り出し部２２によって切り出された物体画像データから特定領域を検出する。例えば、ゴルフスイング運動の物体画像データについては、ゴルフクラブのヘッドの部分を特定領域として検出する。この特定領域の検出は、物体画像データ中のゴルフクラブに該当する物体領域の先端部分を特定領域としたり、後述する図２８に示すようにユーザによってペンタブレットなどのポインティングデバイスを用いて特定領域とする画像部分を指定させたりすることで行なう。運動解析部２４は、時系列の物体画像データのそれぞれについての特定領域の位置を検出することで、特定領域の位置の変化を追跡する（ステップＡ３ｃ１）。
【００７３】
運動解析部２４は、追跡結果合成工程において、特定領域の軌跡７０を表す線や点を付加して時系列物体画像データを重ね合わせて表示装置１４において表示させる（ステップＡ３ｃ２）。
【００７４】
図２１は、ゴルフスイング運動において、ゴルフクラブのクラブヘッドを特定点とし、この特定点の軌跡を線と点で表示しながら、時系列物体画像を重ね合わせて合成した様子を示している。図２１に示すように、クラブヘッドが移動した軌跡が良く分かり、スイングの大小や対称性等がすぐさま解析できるようになる。
【００７５】
なお、特定領域の検出は、前述した方法の他、次のような方法を用いることも可能である。例えば、予め特定領域とすべき色を予め記憶しておき、この記憶された色と同じ色の領域を物体画像データから検出することで特定領域を検出する。前述した例では、クラブヘッドの色を予め登録しておくことで、クラブヘッドの位置を追跡する。特定領域とすべき色の記憶は、ユーザによるマニュアル操作によって、入力装置１２から入力される色の指定に応じて記憶しても良いし、表示装置１４において表示させた画像に対して、ポインティングデバイスによって指定された位置の色を記憶するようにしても良い（第７実施形態参照）。
【００７６】
また、先頭フレームの時系列画像データ（物体画像データ）を表示装置１４に表示させ、この画像に対してユーザによるマニュアル操作によって、特定領域とすべき位置（領域）を指定させ、この指定された領域の色をもとに、それ移行の時系列の物体画像データから特定領域を追跡するようにしても良い。
【００７７】
また、画像中において特定領域が通過すると予測される領域（予測領域）を、例えば帯状に設定しておき、この設定された領域内で所定以上の領域を特定領域として検出するようにしても良い。ゴルフスイングの場合には、クラブヘッドが通過すると予測される曲線をもった帯状の領域が予測領域として設定される。予測領域は、ユーザがマニュアル操作によって入力装置１４（ポインティングデバイス）を用いて指定されるものであっても良いし、予め物体画像に対する相対的な位置に決められていても良い。
【００７８】
さらに、図２１に示す表示例では、特定領域を示す点と、各点を結ぶ軌跡を表す線を合成しているが、別の表示形態を用いることもできる。例えば、特定領域（クラブヘッド）の部分に対して、識別が容易なマーク（図形）を合成して表示させても良い。また、図２１では、時系列の物体画像データの全てを合成すると共に、各物体画像データから検出された特定領域の軌跡７０を合成して表示させているが、時系列の物体画像データを順次合成すると共に特定領域を線で繋ぎながら画像を表示するようにしても良い。
【００７９】
また、前述した説明では、特定領域の位置を追跡するとしているが、特定領域中の１点を追跡するようにしても良い。
【００８０】
以上のように第４実施形態では、切り出された物体画像データで示される物体領域のある特定点の軌跡を線や点で表示しながら切り出された時系列物体画像データを重ね合わせて合成することによって、時系列の画像データに撮影されている物体の運動を定量的に解析することができる。
【００８１】
（第５実施形態）
時系列画像データに撮影されている物体の運動を解析する画像解析方法において、撮影されている被写体のある特定点の動きから特定点の変化量、例えば移動速度や物体の軌跡の曲率を算出する。例えば、運動解析部２４は、運動解析工程において、物体領域切り出し部２２によって切り出された物体画像データからクラブヘッドに該当する特定点を検出し（第４実施形態と同じ）、この検出した特定点をもとにして移動速度や物体の軌跡の曲率を算出し、その算出結果を物体運動解析結果として表示出力させる。
【００８２】
図２２は、第５実施形態における運動解析工程の処理の流れを示すフローチャートである。
【００８３】
運動解析部２４は、移動距離算出工程において、時系列の物体画像データをもとに特定領域の移動距離を算出する（ステップＡ３ｄ１）。そして、運動解析部２４は、移動速度算出工程において、移動距離算出工程によって算出された特定領域の移動距離をもとに、特定領域の移動速度を算出する（ステップＡ３ｄ２）。
【００８４】
図２３は、ゴルフスイング運動において、重要な運動解析量の一つであるヘッドスピードを計測する方法を説明するための図である。ヘッドスピードは、ある一定時間Ｔ［ｓｅｃ］内にクラブヘッドが移動する距離Ｌ［ｍ］が分かれば、ヘッドスピードは、Ｖ＝Ｌ／Ｔ［ｍ／ｓｅｃ］で求まる。時系列物体画像データにおける一定時間Ｔ［ｓｅｃ］は、カメラのフレームレートに依存して、一般には、１／３０［ｓｅｃ］、もしくは、偶数、奇数のフィールド画像を共に用いているなら、１／６０［ｓｅｃ］となり、予め既知の値である。
【００８５】
クラブヘッド（特定点）が移動する距離は、図２３において、クラブヘッド位置７２からクラブヘッド位置７３まで移動する距離を算出すれば良い。クラブヘッドが移動する距離Ｌは、正確には、図２３中の軌跡の距離７４になる。これは、前後のクラブヘッド位置から算出することができる。
【００８６】
また、二つの時刻におけるクラブヘッドの位置が近い場合は、図２３中のクラブヘッド位置７２とクラブヘッド位置７３を直線で結んだ距離７５を、クラブヘッドが移動した距離として近似しても問題ない。以上によって、一定時間Ｔ［ｓｅｃ］内にクラブヘッドが移動する距離Ｌ［ｍ］が求まり、ヘッドスピードＶ＝Ｌ／Ｔ［ｍ／ｓｅｃ］を算出することができる。
【００８７】
また、移動距離算出工程では、次のような方法を用いることもできる。
【００８８】
例えば、運動解析部２４は、画像中からボール位置を検出し、このボール位置に対して左右それぞれにおいて最も特定領域（クラブヘッド）が近い物体画像データを検出する。そして、この２つの物体画像データの特定領域の位置から特定領域の移動距離を求める。
【００８９】
あるいは、時系列の物体画像データを重ね合わせて表示装置１４において表示させ、この表示された画像に対して、ユーザによるマニュアル操作によって、入力装置１２（ポインティングデバイス）から移動距離の算出に用いる特定領域を指定させるようにしても良い。
【００９０】
さらに、画像中の相対的な移動距離から絶対的な移動速度を算出するようにしても良い。
【００９１】
例えば、撮影された人物の身長（ｍ）を入力させ、画像中の人物（物体画像）の上端から下端までの高さに対する画素数（ｐｉｘｅｌ）を検出する。そして、画像中の特定領域が移動した画素数と身長の画素数との比をもとにして、実際のクラブヘッドの移動距離（ｍ）を算出する。なお、スイングを撮影する場合、人物は、上体を傾けたり、膝を曲げたりしている。このため、画像中では実際の身長よりも低く撮影されるため、例えばこれを補正するための係数値を予め設定しておき、この係数値により予め身長の値を修正しておくものとする。また、前述したように、撮影された人物の身長（ｍ）を入力させるのではなく、人物についての物体領域の高さを予め決められた値として、同様にしてクラブヘッドの移動距離を算出しても良い。また、人物の物体領域を対象とするのではなく、クラブヘッド（特定領域）の画像中におけるサイズ、例えば横方向のサイズをもとにして、前述と同様にしてクラブヘッドの移動距離を算出しても良い。この場合、クラブヘッドのサイズをユーザによるマニュアル操作によって入力させても良いし、予め決めた値としても良い。
【００９２】
さらに、時系列画像データ（例えば先頭フレーム）から予め決められた物体の領域を基準領域として検出し、この基準領域のサイズをもとにクラブヘッドの移動距離を算出しても良い。例えば、画像中からボールに相当する領域を基準領域として検出する。ゴルフボールは、ゴルフルールにより大きさが決められており、通常、白色をしている。従って、画像中から白色をした円形状の領域を、ボールに相当する領域として検出することができる。そして、ゴルフボールの領域の直径のサイズに対する画素数を検出し、この画素数と画像中の特定領域が移動した画素数との比をもとにして、実際のクラブヘッドの移動距離（ｍ）を算出する。
【００９３】
また、ゴルフスイングが予め決められた場所で撮影される場合、カメラの設置位置とボールの位置との距離が固定であるので、予め画像中のボールに相当する領域のサイズを求めることができる。この予め求められたボールに相当する領域のサイズをもとに、同様にして、クラブヘッドの移動距離を算出することができる。
【００９４】
図２４は、第５実施形態における他の運動解析工程の処理の流れを示すフローチャートである。
【００９５】
運動解析部２４は、軌跡生成工程において、時系列の物体画像データをもとに特定領域の位置の変化を表す軌跡を生成する（ステップＡ３ｅ１）。軌跡生成工程は、図２０のフローチャートにより説明した方法を用いることができる。運動解析部２４は、曲率比解析工程において、軌跡生成工程によって生成された軌跡に含まれる部分軌跡の曲率を算出し、この曲率をもとに運動解析を行う。ここでは、軌跡生成工程によって生成された軌跡に含まれる第１の部分軌跡に対する第１の曲率と第２の部分軌跡に対する第２の曲率を算出し、第１の曲率と第２の曲率の曲率比をもとに運動解析を行う（ステップＡ３ｅ２）。
【００９６】
また、図２５は、ゴルフスイング運動において、重要な運動解析量の一つであるスイングアークの曲率を計測する方法を説明するための図である。スイングアークとは、クラブヘッドが動いた軌跡が描く弧のことであり、一般に、インパクトまでのスイングアークよりインパクト後のスイングアークを大きくすれば、飛球は安定し、飛距離も延びると言われている。
【００９７】
そこで、運動解析部２４は、図２５における前半スイングアーク８０の曲率Ｒ１（第１の曲率）と後半スイングアーク８２の曲率Ｒ２（第２の曲率）を合成画像より算出する。
【００９８】
すなわち、運動解析部２４は、図２５における例えば物体領域中の例えばスイングの回転軸となる位置、例えば人体の肩の位置を基準点として検出し、この検出した回転位置と、前半スイングアーク８０を表す弧の両端に該当する特定点８３，８４との位置をもとにして、前半スイングアーク８０の曲率Ｒ１を算出する。同様にして、運動解析部２４は、後半のスイングアーク８２を表す弧の両端に該当する特定点８６，８７との位置をもとにして、後半スイングアーク８２の曲率Ｒ２を算出する。
【００９９】
なお、前述した説明では、人体の肩の位置を基準点としているが、例えば、先頭フレームの物体画像から算出される重心位置を基準点にするなど、他の位置を基準点としても良い。また、前述した例では、インパクトまでのスイングアークとインパクト後のスイングアークとの比較をしているが、任意の部分軌跡を対象として曲率比を算出しても良い。何れの部分軌跡を対象とするかは、例えばユーザによるマニュアル操作によって、画像中から指定させるようにしても良い。
【０１００】
さらに、運動解析部２４は、前半スイングアーク８０の曲率Ｒ１と後半スイングアーク８２の曲率Ｒ２との比を算出することによって、ゴルフスイングの完成度を定量的に評価する一つの指標とすることもできる。
【０１０１】
ユーザは、運動解析部２４による運動解析結果を確認しながら、ゴルフスイングのスイングアークがＲ１＞＞Ｒ２の関係となるようにスイングを練習していくのが良い。
【０１０２】
以上のように第５実施形態によれば、時系列の画像データに撮影されている被写体のある特定点の動きから特定点の移動速度や特定点の軌跡の曲率を算出することによって、時系列の画像データに撮影されている物体の運動を定量的に解析することができる。
【０１０３】
なお、第５実施形態では、物体画像切り出し工程（ステップＡ２）によって切り出された時系列の物体画像データを対象としているが、時系列画像データから特定領域の軌跡を算出することにより、物体画像切り出し工程（ステップＡ２）を省略することもできる。
【０１０４】
例えば、第４実施形態において説明した方法（特定領域追跡工程）を、時系列画像データを対象として実行する。これにより、クラブヘッドに相当する特定領域の軌跡を時系列画像データから求めることができる。以下、前述した第５実施形態と同様にして、特定領域の移動速度、軌跡の曲率、さらには部分軌跡についての曲率比を算出することができる。
【０１０５】
この場合、運動解析部２４は、例えば特定領域の移動速度、軌跡の曲率、曲率比を、ゴルフスイングの良し悪しを判断するための評価値として用い、この評価値と予め設定された評価基準を示す値と比較することで、物体画像の運動、すなわちゴルフスイングについて評価し、その評価に応じた解析結果を表示させる。
【０１０６】
例えば、算出された曲率比が「第１の曲率Ｒ１＞第２の曲率Ｒ２」の関係を示す場合には、良いスイングであると評価し、その評価に応じたメッセージを解析結果として、表示装置１４に表示させるようにしても良い。
【０１０７】
（第６実施形態）
時系列の画像データに撮影されている物体の運動を解析する画像解析方法において、撮影されている被写体のある特定点の動きから特定点の軌跡で囲まれる閉領域の特徴量、例えば面積や物体の軌跡の傾きを算出する。例えば、運動解析部２４は、運動解析工程において、物体領域切り出し部２２によって切り出された物体画像データから特定点を検出し（第４実施形態と同じ）、この検出した特定点の変化に伴う軌跡で囲まれる閉領域を求め、さらにこの閉領域の面積や物体の軌跡の傾きを算出し、その算出結果を物体運動解析結果として表示出力させる。
【０１０８】
図２６は、第６実施形態における他の運動解析工程の処理の流れを示すフローチャートである。
【０１０９】
運動解析部２４は、軌跡生成工程において、時系列の物体画像データをもとに特定領域の位置の変化を表す軌跡を生成する（ステップＡ３ｆ１）。軌跡生成工程は、図２０のフローチャートにより説明した方法を用いることができる。運動解析部２４は、軌跡面積解析工程において、軌跡生成工程によって生成された軌跡で囲まれる面積を算出し、この面積をもとに運動解析を行う（ステップＡ３ｆ２）。
【０１１０】
図２７は、ゴルフスイング運動において、重要な運動解析量の一つであるスイングプレーンの正確さを計測する方法を説明するための図である。スイングプレーンとは、腕、クラブシャフト、及びクラブヘッド（あるいはクラブシャフトとクラブヘッド）によって構成される線分が、ゴルフスイング運動中に移動して軌跡として残る平面のことである。
【０１１１】
一般に、スイングプレーンは、スイング後方から見た際に、できるだけ面積を持たずに線分に近い方が良いスイングとされている。
【０１１２】
ここでは、図２７に示すようなスイングの様子を後方から撮影して得られた時系列データを対象として画像解析を実行する。
【０１１３】
運動解析部２４は、物体領域切り出し部２２により切り出された物体画像データからクラブヘッドに該当する特定点を検出し（第４実施形態と同じ）、この検出した特定点の軌跡で囲まれる閉領域、すなわち図２７に示すようなスイングプレーンを表すスイングプレーンエリア９０を検出する。なお、スイングプレーンエリア９０は、スイングプレーンの全体をもとに検出しても良いし、一部をもとにして検出しても良い。例えば、図２７では、トップ→ダウンスイング→インパクト→フォロースルーの軌跡によって作られるスイングプレーンエリア９０を検出しているものとする。運動解析部２４は、図２７に示すように、スイングプレーンエリア９０を表示すると共に、スイングプレーンエリア９０の面積Ｓを測定して、例えば面積Ｓの値を物体運動解析結果として表示出力する。この面積Ｓの値によって、ゴルフスイングの完成度を定量的に評価する一つの指標とすることができる。
【０１１４】
ユーザは、運動解析部２４による運動解析結果を確認しながら、スイングプレーンエリア９０の面積Ｓが０に近づくようにスイングを練習していくのが良い。
【０１１５】
また、図２７におけるスイングプレーンの傾きも、ゴルフスイング運動における重要な運動解析量の一つである。この傾きが垂直に近い場合はアップライトなスイングと呼ばれる。また、この傾きが水平に近すぎる場合も、良くないスイングとされる。この傾きを定量的に測定して比較することは、ゴルフにおける運動解析にとって有用である。
【０１１６】
運動解析部２４は、物体画像データから検出した特定点のうち例えば最上部にある特定点９１と最下部にある特定点９２を求め、これらの特定点９１，９２の位置をもとにスイングプレーンの傾きを算出する。
【０１１７】
また、特定点の軌跡が交差しているか否かを検出し、軌跡が交差している場合に、軌跡の経路をもとに、スイングがアウトサイドインあるいはインサイドアウトになっていることを検出することもできる。また、右利きの人物のスイングを撮影した場合、特定点が右回りで軌跡を描いている場合にはアウトサイドインのスイング、特定点が左回りで軌跡を描いている場合にはインサイドアウトのスイングになっていることを検出することができる（図３２参照）。この検出結果をスイングの解析結果として表示させることができる。
【０１１８】
以上のように第６実施形態によれば、時系列の画像データに撮影されている被写体のある特定点の動きから特定点の軌跡で囲まれる閉領域の面積や特定点の軌跡の傾きを算出することによって、時系列の画像データに撮影されている物体の運動を定量的に解析することができる。
【０１１９】
なお、第６実施形態では、物体画像切り出し工程（ステップＡ２）によって切り出された時系列の物体画像データを対象としているが、時系列画像データから特定領域の軌跡を算出し、この軌跡により囲まれる領域の面積を算出することにより、物体画像切り出し工程（ステップＡ２）を省略することもできる。
【０１２０】
例えば、第４実施形態において説明した方法（特定領域追跡工程）を、時系列画像データを対象として実行する。これにより、クラブヘッドに相当する特定領域の軌跡を時系列画像データから求めることができる。以下、前述した第６実施形態と同様にして、特定領域の軌跡により囲まれる領域の面積を算出することができる。
【０１２１】
この場合、運動解析部２４は、例えば特定領域の軌跡により囲まれる領域の面積を、ゴルフスイングの良し悪しを判断するための評価値として用い、この評価値と予め設定された評価基準を示す値と比較することで、ゴルフスイングについて評価し、その評価に応じた解析結果を表示させる。
【０１２２】
（第７実施形態）
第１実施形態で説明した時系列画像データ入力工程において、運動解析に有用な特定点の位置を設定するために、撮影する物体の特定点に予め特徴的な色を付けておいたり、物体の画像データを撮影しながら撮影する物体の特定点の位置を計測しておくことを可能にする。
【０１２３】
例えば、時系列画像データ入力部２０においてゴルフクラブのクラブヘッドに赤色を付けておき、手袋の色を青色にしておけば、物体領域切り出し部２２による物体領域切り出し工程において、画像処理を用いて、時系列画像データから自動的に特定点の位置を計測することが可能になる。
【０１２４】
また、画像処理に頼らず、時系列画像データ入力部２０による時系列画像データ入力工程において、レンジファインダーなどの機器を用いて時系列画像データと同時に距離画像データを取得したり、位置を測定可能なモーションキャプチャー機器をクラブヘッドに内蔵させておけば、物体の特定点の位置を計測することが可能になる。
【０１２５】
また、第１実施形態で説明した物体領域切り出し部２２による物体領域切り出し工程において、時系列画像データから物体領域を切り出す物体画像データ作成工程と、切り出された物体領域の特定点の位置をユーザが指定して特定点位置を設定する特定点位置設定工程を備えることによって、物体の特定点を入力することが可能である。
【０１２６】
図２８は、特定点位置設定工程の作業の様子を示す図である。物体領域切り出し部２２は、特定点位置設定工程において、図２８に示すような特定点指定用の画面（例えば先頭のフレーム画像）を表示させる。
【０１２７】
ここで、ユーザは、マウスやペンタブレットといった特定点位置指定用のポインティングデバイスによって、画像中の物体画像データから特定点位置を指定する。これによって、物体領域切り出し部２２は、運動解析に必要な特定点位置を入力する。そして、予め設定してある特定の色（例えば赤色）を、特定点位置に該当する物体領域に付加する。
【０１２８】
以上のように第７実施形態によれば、時系列の物体画像データから運動解析に有用な特定点の位置を得ることができ、時系列の画像データに撮影されている物体の運動を定量的に解析することができる。
【０１２９】
（第８実施形態）
図２９は、本発明の第８実施形態の画像解析方法の処理の流れを示すフローチャートである。図２９において、ステップＣ１は時系列画像データを入力する時系列画像データ入力工程、ステップＣ２は時系列の画像データから物体領域のみを切り出して時系列の物体画像データを生成する物体領域切り出し工程、ステップＣ３は切り出された時系列の物体画像データの形状情報をもとにして物体の運動解析を行う運動解析工程（以上は前述した第１乃至第７実施形態と同じ）、ステップＣ４は解析結果を数値化して視覚的に表示する解析結果表示工程である。
【０１３０】
まず、はじめに、時系列画像データ入力工程（ステップＣ１）では、例えばビデオカメラ等を撮影方法として時系列画像データを撮影し、時系列の画像データを入力する。続いて、物体領域切り出し工程（ステップＣ２）において、時系列画像データから、物体領域のみを切り出して、時系列の物体画像データを生成する。続いて、運動解析工程（ステップＣ３）においては、切り出された時系列の物体画像データの形状情報をもとにして物体の運動解析を行う。最後に、解析結果表示部３０は、解析結果表示工程（ステップＣ４）において、運動解析工程（ステップＣ３）によって解析された運動解析結果を数値化して視覚的に表示する。
【０１３１】
例えば、第２実施形態で説明したように、物体領域の重心を求める運動解析方法の場合は、重心位置の上下の位置（もしくは左右の位置）を、図３０のように、数値として表示したり、グラフ化して表示することが可能になる。図３０に示す例では、重心高さの変化量を表示するエリア９７と、時間経過に伴って変化する重心位置を示すグラフを表示するエリア９８が設けられている。
【０１３２】
また、第５実施形態、第６実施形態で説明したように、時系列の画像データに撮影されている被写体のある特定点の動きから特定点の移動速度、特定点の軌跡の曲率、特定点の軌跡で囲まれる閉領域の面積、特定点の軌跡（スイングプレーン）の傾きを算出する場合も、この算出された数値を表示したり、グラフ化して表示したりすることが可能になる。
【０１３３】
図３１は、第６実施形態の説明で用いた図２７の表示に、スイングプレーンエリア９０の面積Ｓの値を表示すると共に、面積Ｓの値をもとにして判定されたスイングの評価結果（解析結果）を表示するエリア１００が設けられた表示例を示している。
【０１３４】
なお、スイングの評価結果を判定するために、予め時系列画像データに撮像された人物やゴルフクラブについての個人データを登録しておき、これらの個人データをもとに評価をするようにしても良い。例えば、身長、手の長さ、ゴルフクラブの長さなどによって、評価基準となるスイングプレーンエリア９０の面積、スイングプレーンの傾き、スイングアーク（前半、後半）などが変化する。
【０１３５】
解析結果表示部３０は、個人データに応じて評価基準を変更し、この評価基準をもとに運動解析部２４による運動解析結果について評価を行ない、その結果を例えばエリア１００において表示させる。
【０１３６】
また、解析結果表示部３０は、運動解析部２４によって解析された特定点の軌跡を移動方向に応じて表示させるようにしても良い。例えば、第６実施形態で説明したように、運動解析部２４によって特定点の軌跡が右回り、あるいは左回りの何れかによって、スイングがインサイドアウトあるいはアウトサイドインになっていることが検出された場合には、その検出結果を解析結果として、エリア１００において表示させる。
【０１３７】
なお、スイングがインサイドアウトあるいはアウトサイドインの何れであるかは、運動解析部２４によって、図３２（Ａ）（Ｂ）に示すように軌跡上の特定点の位置の変化を解析することで検出される。なお、図３２（Ａ）（Ｂ）は、図３１中における特定点のトップ→ダウンスイング→インパクト→フォロースルーの軌跡の変化を表している。図３２（Ａ）では、特定点の位置が点ａ１、点ａ２、点ａ３、点ａ４に移動し、その後、点ａ５、点ａ６、点ａ１に移動していることから軌跡が右回りとなっている。この場合、スイングは、アウトサイドからダウンスイングがなされて、インサイドにフォロースルーされているので、アウトサイドインのスイングであると解析される。図３２（Ｂ）では、特定点の位置が点ｂ１、点ｂ２、点ｂ３、点ｂ４に移動し、その後、点ｂ５、点ｂ６、点ｂ１に移動していることから軌跡が左回りとなっている。この場合、スイングは、インサイドからダウンスイングがなされて、アウトサイドにフォロースルーされているので、インサイドアウトのスイングであると解析される。
【０１３８】
また、解析結果表示部３０は、運動解析部２４により、スイングがインサイドアウトあるいはアウトサイドインの何れであるか解析されると、それぞれに対応する色によってスイングプレーンエリア９０を表示することもできる。
【０１３９】
また、解析結果表示部３０は、ダウンスイング時の軌跡とフォロースルー時の軌跡を、それぞれ別の色を用いて表示することもできる。
【０１４０】
以上のように、第８実施形態によれば、被写体の運動の解析結果を数値やグラフで表示することによって、時系列の画像データに撮影されている物体の運動を定量的に解析することができる。
【０１４１】
なお、前述した説明では、第１乃至第８実施形態についてそれぞれ個別に説明しているが、複数の実施形態において説明した画像解析方法を組み合わせて実施することも可能である。
【０１４２】
また、上述した実施形態において記載した手法は、コンピュータに実行させることのできる画像解析プログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。本装置を実現するコンピュータは、記録媒体に記録された画像解析プログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【０１４３】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１４４】
【発明の効果】
以上詳述したように本発明によれば、時系列の画像データを入力し、時系列の画像データから物体領域のみを切り出して時系列の物体画像データを生成し、切り出された時系列の物体画像データの形状情報をもとにして物体の運動解析を行うことによって、時系列の画像データに撮影されている物体の運動を定量的に解析することができる。
【図面の簡単な説明】
【図１】本発明の各実施形態に係わる画像解析装置の構成を示すブロック図。
【図２】第１実施形態の画像解析方法の処理の流れを示すフローチャート。
【図３】時系列の画像データの一例を示す図。
【図４】時系列の物体画像データの一例を示す図。
【図５】時系列画像データの最初のフレームに対して各時系列画像データから切り出された物体画像データを重ね合わせた画像の一例を示す図。
【図６】第１実施形態における運動解析工程の処理の流れを示すフローチャート。
【図７】第１実施形態の運動解析工程での補助線（スイング軸）の重ね合わせを示す図。
【図８】第１実施形態の運動解析工程での補助線（物体上端）の重ね合わせを示す図。
【図９】第１実施形態の運動解析工程での補助線（格子状）の重ね合わせを示す図。
【図１０】第１実施形態の運動解析工程での補助線（背景と格子状）の重ね合わせを示す図。
【図１１】第２実施形態における運動解析工程の処理の流れを示すフローチャート。
【図１２】第２実施形態の運動解析工程での重心位置の算出を示す図。
【図１３】第２実施形態の運動解析工程での重心を用いた運動解析を示す図。
【図１４】第２実施形態の運動解析工程での重心を用いた垂直方向の運動解析を示す図。
【図１５】第２実施形態の運動解析工程での重心を用いた水平方向の運動解析を示す図。
【図１６】第３実施形態の運動解析工程の処理の流れを示すフローチャート。
【図１７】第３実施形態の物体画像データ調整工程に入力される第１の時系列物体画像データと第２の時系列物体画像データの一例を示す図。
【図１８】第３実施形態の物体画像データ調整工程から出力される第１の時系列物体画像データと第２の時系列物体画像データの一例を示す図。
【図１９】第３実施形態の比較合成工程から出力される比較合成表示を示す図。
【図２０】第４実施形態における運動解析工程の処理の流れを示すフローチャート。
【図２１】第４実施形態の特定点の軌跡を線と点で示した図。
【図２２】第５実施形態における運動解析工程の処理の流れを示すフローチャート。
【図２３】第５実施形態のヘッドスピード計測方法を示す図。
【図２４】第５実施形態における他の運動解析工程の処理の流れを示すフローチャート。
【図２５】第５実施形態のスイングアークの曲率の計測方法を示す図。
【図２６】第６実施形態における他の運動解析工程の処理の流れを示すフローチャート。
【図２７】第６実施形態のスイングプレーンの面積と傾きの計測方法を示す図。
【図２８】第７実施形態の特定点位置設定工程の様子を示す図。
【図２９】第８実施形態の画像解析方法の処理の流れを示すフローチャート。
【図３０】第８実施形態の重心位置を数値化、グラフ化して表示する様子を示す図。
【図３１】第８実施形態のスイングプレーンの面積を数値化して表示する様子を示す図。
【図３２】軌跡上の特定点の位置変化を説明するための図。
【図３３】従来の技術を説明するための図。
【符号の説明】
１０…画像解析制御部
１２…入力装置
１４…表示装置
１５…タブレット
１６…記憶装置
１８…時系列画像データ
２０…時系列画像データ入力部
２２…物体領域切り出し部
２４…運動解析部
２６…物体画像データ調整部
２８…比較合成部
３０…解析結果表示部

Claims (16)

1. 時系列の画像データを入力する時系列画像データ入力工程と、
   前記時系列画像データ入力工程によって入力された時系列画像データから物体領域を切り出して時系列の物体画像データを生成する物体領域切り出し工程と、
   前記物体領域切り出し工程によって切り出された時系列の物体画像データをもとにして物体の運動解析を行う運動解析工程と
   を備えることを特徴とする画像解析方法。
2. 前記運動解析工程において、
   前記物体領域切り出し工程により生成される物体画像データをもとに運動の基準となる位置を算出する基準算出工程と、
   前記基準算出工程により算出された位置に基準補助線を前記物体画像データに対して合成する基準補助線合成工程と
   を備えることを特徴とする請求項１記載の画像解析方法。
3. 前記運動解析工程において、
   前記物体領域切り出し工程より出力される物体画像データをもとに物体領域の重心位置を算出する重心算出工程と、
   前記重心算出手段によって算出された重心位置に重心を表す点を前記物体画像データに対して合成する重心位置合成工程と
   を備えることを特徴とする請求項１記載の画像解析方法。
4. 前記運動解析工程において、
   前記物体領域切り出し工程により生成された第１の時系列の物体画像データと第２の時系列の物体画像データの少なくとも一方を変形させる物体画像データ調整工程と、
   前記物体画像データ調整工程によって少なくとも一方が変形された前記第１の時系列の物体画像データと前記第２の物体画像データを並べてそれぞれの物体画像データを重ね合わせて合成する比較合成工程と
   を備えることを特徴とする請求項１記載の画像解析方法。
5. 前記運動解析工程において、
   前記物体領域切り出し工程より出力される物体画像データをもとに物体領域の特定領域を追跡する特定領域追跡工程と、
   前記特定領域追跡工程により追跡された前記特定領域の軌跡を表す線を、前記物体画像データに対して合成する追跡結果合成工程と
   を備えることを特徴とする請求項１記載の画像解析方法。
6. 前記運動解析工程において、
   前記物体領域切り出し工程より出力される時系列の物体画像データをもとに、特定物体領域の移動距離を算出する移動距離算出工程と、
   前記移動距離算出手段により算出された前記特定物体領域の移動距離をもとに前記特定物体領域の移動速度を算出する移動速度算出工程と
   を備えることを特徴とする請求項１記載の画像解析方法。
7. 前記運動解析工程において、
   前記物体領域切り出し工程より出力される時系列の物体画像データをもとに、特定物体領域の位置の軌跡を生成する軌跡生成工程と、
   前記軌跡生成工程によって生成された軌跡に含まれる部分軌跡の曲率を算出し、この曲率をもとに運動解析を行う曲率解析工程と
   を備えることを特徴とする請求項１記載の画像解析方法。
8. 前記曲率解析手段は、前記軌跡生成工程によって生成された軌跡に含まれる第１の部分軌跡に対する第１の曲率と第２の部分軌跡に対する第２の曲率を算出し、前記第１の曲率と前記第２の曲率の曲率比をもとに運動解析を行う曲率比解析工程と
   を備えることを特徴とする請求項７記載の画像解析方法。
9. 時系列の画像データを入力する時系列画像データ入力工程と、
   前記時系列画像データ入力工程によって入力された時系列画像データをもとに特定領域を追跡する特定領域追跡工程と、
   前記特定領域追跡工程により追跡された特定領域の軌跡を生成する軌跡生成工程と、
   前記軌跡生成工程によって生成された軌跡に含まれる部分軌跡の曲率を算出し、この曲率をもとに運動解析を行う曲率解析工程と
   を備えることを特徴とする画像解析方法。
10. 前記運動解析工程において、
    前記物体領域切り出し工程より出力される時系列の物体画像データをもとに特定物体領域の軌跡を生成する軌跡生成工程と、
    前記軌跡生成工程によって生成された前記特定物体領域の軌跡で囲まれる領域の面積を算出し、その面積をもとに運動解析を行う軌跡面積解析工程と
    を備えることを特徴とする請求項１記載の画像解析方法。
11. 時系列の画像データを入力する時系列画像データ入力工程と、
    前記時系列画像データ入力工程によって入力された時系列画像データをもとに特定領域を追跡する特定領域追跡工程と、
    前記特定領域追跡工程により追跡された特定領域の軌跡を生成する軌跡生成工程と、
    前記軌跡生成工程によって生成された前記特定物体領域の軌跡で囲まれる領域の面積を算出し、その面積をもとに運動解析を行う軌跡面積解析工程と
    を備えることを特徴とする画像解析方法。
12. 前記物体領域切り出し工程において、
    前記時系列の画像データから物体領域を切り出す物体画像データ作成工程と、
    前記物体画像データ作成工程により切り出された物体領域に対する位置指定を入力して、この入力された位置指定に応じて特定点位置を設定する特定点位置設定工程と
    を備えることを特徴とする請求項１記載の画像解析方法。
13. 時系列の画像データを入力する時系列画像データ入力工程と、
    前記時系列画像データ入力工程によって入力された時系列画像データから物体領域のみを切り出して時系列の物体画像データを生成する物体領域切り出し工程と、
    前記物体領域切り出し工程によって切り出された時系列の物体画像データをもとにして物体の運動解析を行う運動解析工程と、
    前記運動解析工程によって解析された解析結果を時系列画像データと合成して表示する解析結果表示工程と
    を備えることを特徴とする画像解析方法。
14. 時系列の画像データを入力する時系列画像データ入力手段と、
    前記時系列画像データ入力手段によって入力された時系列画像データから物体領域のみを切り出して時系列の物体画像データを生成する物体領域切り出し手段と、
    前記物体領域切り出し手段によって切り出された時系列の物体画像データをもとにして物体の運動解析を行う運動解析手段と
    を備えることを特徴とする画像解析装置。
15. プロセッサと、
    前記プロセッサによりアクセス可能なメモリと、
    前記メモリに収容された画像解析プログラムとを備え、
    前記画像解析プログラムが、
    時系列の画像データを入力する時系列画像データ入力機能と、
    前記時系列画像データ入力機能によって入力された時系列画像データから物体領域のみを切り出して時系列の物体画像データを生成する物体領域切り出し機能と、
    前記物体領域切り出し機能によって切り出された時系列の物体画像データをもとにして物体の運動解析を行う運動解析機能とを有することを特徴とする画像解析装置。
16. コンピュータに、
    時系列の画像データを入力する時系列画像データ入力工程と、
    前記時系列画像データ入力工程によって入力された時系列画像データから物体領域のみを切り出して時系列の物体画像データを生成する物体領域切り出し工程と、
    前記物体領域切り出し工程によって切り出された時系列の物体画像データをもとにして物体の運動解析を行う運動解析工程と
    を実行させることを特徴とする画像解析プログラム。

Images