【０００１】
【発明の属する技術分野】
本発明は、スポーツ競技中のプレイヤーの競技画像から前記プレイヤーの生理指標をリアルタイムで推定する生理指標推定方法及び推定システムに関し、より詳しくは、競技画像よりプレイヤーの位置情報を推定し、前記位置情報の経時的変化から移動速度、加速度、総移動距離を演算し、前記移動速度、加速度、総移動距離から心拍数をリアルタイムに推定する生理指標推定方法に関する。
【０００２】
【従来の技術】
従来、運動中の心拍数等の生理指標の計測には心拍計等を装着する必要があった。しかし、スポーツの競技中に心拍計等を相手方プレイヤーに装着することはできず、試合中にプレイヤーが心拍計等を装着することをルールとして禁じているスポーツもある。そのため、試合中のプレイヤーの心拍数等をリアルタイムに測定することができない場合が多かった。
【０００３】
【発明が解決しようとする課題】
これまでの運動生理学の研究により、心拍数等の生理指標と移動速度は相関関係があることが知られている。移動速度と心拍数の関係が分かれば、前記移動速度より心拍数等の生理指標を推定することができる。このことから、撮影した画像からプレイヤーの移動速度を推定し、前記移動速度から心拍数等の生理指標が推定できれば、特別な測定装置を競技中にプレイヤーが身に付けたり、競技の合間に生理指標を計測する必要がなく、競技中にリアルタイムに生理指標を推定することができ、自チームのプレイヤーだけでなく相手チームのプレイヤーの生理指標も推定することができる。推定された生理指標の情報は、自チームのプレイヤーの交代を判断する材料としたり、或いは相手チームのプレイヤーのコンディションを推定する材料として、詳細な戦力分析による戦略を可能とする。又試合中のみではなく、練習においてもトレーニング課題の把握、検討を行うためのデータとして役立てることができる。
【０００４】
本発明は、上述のような事情によりなされたものであり、本発明の目的は、競技中のプレイヤーに心拍計等の生理指標を測定する装置を身に付けることなく、画像処理を用いて競技中のプレイヤーの移動速度等を測定し、前記プレイヤーの移動速度等から心拍数等の生理指標を試合中又はトレーニング中にリアルタイムで推定する方法を提供し、推定した生理指標を試合やトレーニングにフィードバックすること、又はスポーツ放送等における情報として役立てることである。
【０００５】
【課題を解決するための手段】
本発明は、画像処理による運動中の生理指標の推定方法及び推定システムに関し、本発明の上記目的は、プレイヤーの画像を取得する画像取得手段と、前記取得された画像を処理する画像処理手段と、処理画像から前記プレイヤーの位置情報を推定する位置情報推定手段と、前記位置情報の経時変化から、移動速度、又は加速度、又は総移動距離のいずれか一つ、或いは複数を計算する演算手段と、前記演算手段による演算結果を用いて前記プレイヤーの生理指標を推定する生理指標推定手段を有することを特徴とする画像処理による運動中の生理指標の推定方法によって達成される。
【０００６】
また、本発明の上記目的は、１台のビデオカメラを有する前記画像取得手段を持ち、前記位置情報として２次元の位置情報を推定する前記位置情報推定手段を持つことによって、或いは複数台のビデオカメラを有する前記画像取得手段を持ち、前記位置情報として３次元の位置情報を推定する前記位置情報推定手段をもつことによって、或いは前記生理指標の推定手段として、前記生理指標を移動速度による関数として表し、前記関数を用いた演算を行うことによって、或いは前記生理指標としてプレイヤーの心拍数を推定することによって、或いは心拍数の推定の演算方法として、心拍数を移動速度に関する一次関数として表した関係式を演算に用いることによって、或いは前記心拍数の推定手段の演算方法として、心拍数を移動速度の二乗に関する一次関数として表した関係式を演算に使用することによって、より効果的に達成される。
【０００７】
【発明の実施の形態】
以下に本発明の概要と実施例について、図面を参照して説明する。
【０００８】
図１は本発明の概要を示した図である。画像取得手段１によってプレイヤーとコートの画像が撮影され、画像データが画像抽出手段２へと送られる。画像抽出手段によって、測定対象の画像が抽出され抽出画像データが位置測定手段３へと送られる。位置測定手段３によって、測定対象の重心及び、２次元位置情報又は３次元位置情報が推定され、演算手段４へとデータが送られる。前記演算手段４は、位置情報の経時的変化によって、測定対象の速度、又は加速度、又は総移動距離を計算し、生理指標推定手段５へと送られ、前記速度、又は加速度、又は総移動距離等と生理指標の関係を表した関数を用いた演算が行われ、生理指標が推定される。
【０００９】
図２は本発明に係る画像処理による運動中の生理指標の推定方法のフローチャートを示している。画像取得手段１によってコート及びプレイヤーを撮影し（ステップＳ１）、画像抽出手段２によって計測対象の画像が抽出される（ステップＳ２）。計測対象の抽出方法としては、予めプレイヤーがいないコートを撮影しておいて競技中の映像との差分をとることでプレイヤーの画像を抽出する方法、或いは計測対象の色合い及び色の濃さ及び輝度による評価で、計測対象と背景を区別し計測対象を抽出する方法等がある。後者の方法においては、計測対象となるのは、プレイヤーの全身像である必要はなく、プレイヤーの着用しているシャツやパンツ等をターゲットとすることもできる。ただし、この場合、前記シャツやパンツの色が背景と区別しやすい色でなければ、計測対象の画像抽出が困難になる場合があるため、計測対象の画像抽出が困難な場合は、可能であれば、計測前に前記シャツやパンツの色を適当な色にしておくことが望ましい。また、プレイヤーの体の各部にマーカーを取り付け、前記マーカーを追従することによって体の各部の位置情報を計測することも可能である。
【００１０】
次に画像抽出によって得られた計測対象の重心を求め（ステップ３）、前記重心を用いて、位置情報推定手段３によって位置情報を求める（ステップＳ４）。カメラを１台使用することで２次元座標の計測を行い、２次元位置情報を得ることができる。さらに複数台のカメラを用いることによって、それぞれのカメラによって計測された２次元位置情報をあわせることにより、計測対象の３次元位置情報を得ることが可能である。
【００１１】
さらに前記重心の変位を求め、演算手段４によって前記重心移動速度又は加速度又は総移動距離のいずれか、或いはその中の複数を計算する（ステップＳ５）。
【００１２】
これまでの運動生理学の研究により、心拍数等の生理指標と運動中の移動速度との間に相関関係があることが知られている。そこで、本発明に係る画像処理による運動中の生理指標推定方法では、心拍数等の生理指標と運動中の移動速度との間の関係を関数として求めることによって、前記移動速度から生理指標を推定するものである（ステップ６）。しかし、前記生理指標を、移動速度だけでなく、加速度、総移動距離を用いた関数として表すことも考えられる。
【００１３】
とくに、本発明に係る生理指標の推定方法の実施例においては、心拍数Ｈが理論上の負荷Ｗの一次関数Ｈ＝αＷ＋βであるとし、さらにはＷ＝ｍｖ２／ｔの関係があることから、Ｈ＝αｍｖ２／ｔ＋βとあらわすことができると考え、該式を利用する。ただし、α、βは定数、ｍはプレイヤーの質量、ｔは移動時間とする。すなわち心拍数Ｈは速度の二乗ｖ２の一次関数であるとして演算を行う。ここでα、βの値は、競技の種類、測定対象となるプレイヤーの競技経験年数等によって適宜決定する定数である。
【００１４】
前記α、βの値は競技経験や身体的特徴等の条件によってプレイヤーをグループ分けし、それぞれのプレイヤーの心拍数の推定にあたっては 前記プレイヤーの属するグループに対応するα、βの値を使用することで本発明の精度を高めることができる。さらには、各々のプレイヤーに対してα、βの値を予め決定することによって、より精度の高い心拍数の推定が可能となる。又、心拍数と移動速度のデータの蓄積によって、より妥当なα、βの値を決定すること、或いは心拍数を求めるための、より妥当な関係式を決定することができる。
【００１５】
移動速度の他に加速度や総移動距離の複数のパラメータを変数として含んだ関係式を決定し、心拍数等の生理指標を求めることも可能である。関係式を求めるにあたり、身長や体重等のデータを考慮することもできる。
【００１６】
図１の画像抽出手段２から生理指標推定手段５にかけての作業はソフト化し市販のパソコンによって処理することが可能であり、これによって安価に本発明を実施することが可能であり、学校のクラブ活動や体育実技等においても手軽に使用することができる。
【００１７】
以下に、バドミントンにおける本発明の実施例を詳細に示す。
【００１８】
図３は、本実施例におけるコートとビデオカメラ１の配置の関係を示したものである。前記配置は体育館において、本発明に係る画像処理による運動中の生理指標の推定方法を実施したものである。ビデオカメラ１の配置場所に図の位置を選んだのは、前記位置のみが１台のビデオカメラ１でコート全体の撮影を行うことができたからであり、コート全体の撮影を行うことができれば、カメラの配置場所には特別な制限はない。
【００１９】
本実施例においてはコートのサイドラインに平行にＹ軸を、バックバウンダリーラインに平行にＸ軸をとり、ＸＹ平面でのプレイヤーの２次元の位置座標を求める。プレイヤーの上下の運動は誤差に含まれるものとし考慮にいれない。本実施例では毎秒１０回の画像を取得し、計測対象は、色合い、色の濃さ、輝度の３つの要素で評価し背景と区別される。
【００２０】
物体の位置座標と移動距離は計測目標の重心を用いて計測される。ここで用いられる前記重心は、二値図形の１次モーメントに相当し、これは物体の重心を表すのに最も一般的であると同時に、ノイズやボケに対して非常に強く、また多少の環境の変化にも影響されにくい特徴がある。
【００２１】
図４はドットで表された二値図形の一例を示したものである。平面上の碁盤目の各マス目に座標を与える。図３では、６×６の碁盤目の左下を基準座標として（０，０）と置き、左右方向にｘ軸、上下方向にｙ軸をとる。また、右をｘ軸の正の向き、上をｙ軸の正の向きと定めている。碁盤目のマス目を黒く塗りつぶした部分が前記二値図形を示している。ここで重心の座標を（ｘ１，ｙ１）とし、前記二値図形の存在するマス目の座標を（ｘ，ｙ）と表す。また、Ｐ（ｘ，ｙ）を座標（ｘ，ｙ）における重み関数とする。すると、重心の座標は数１に記した式によって得られる。ｘ１は前記重心のｘ座標を、ｙ１は前記重心のｙ座標である。
【００２２】
【数１】
よって、図４の図形の重心は（ｘ１，ｙ１）＝（３．０，２．０）となる。
【００２３】
ここで、実際の座標を（ｘ，ｙ），計測座標を（Ｕ，Ｖ），Ｂ１，Ｂ２，．．．，Ｂ８を校正座標とする。本実施例に使用された座標値を実際の長さに変換する実長換算を行うにあたって用いられる一般式を下記数２の式（Ａ）及び式（Ｂ）に、キャリブレーション係数の算出式を式（Ｃ）及び式（Ｄ）に，実際の座標の推定式を式（Ｅ）及び式（Ｆ）に示した。
【００２４】
【数２】
計測データには、マーカーが見えなくなる等して正常なデータが得られていない部分が存在する。そこで、この欠損部分は３次スプライン関数を用いた補間を行う。また計測データには何らかの形でノイズが混入しているため、最適周波数を計算し、これを用いてＢｕｔｔｅｒｗｏｒｔｈ型ローパスデジタルフィルタによりノイズを取り除くデータの平滑化を行う。
【００２５】
得られた移動距離と移動時間から、演算手段４によって重心の移動速度を求める。本実施例においては毎秒１０回画像を取得しているので、画像間には０．１秒の時間の隔たりがあり、時間的に連続する２つの画像での前記重心の変位距離を０．１秒で除することによって、重心の移動速度を求めることができる。
【００２６】
最後に、心拍数推定手段５によって移動速度と心拍数の相関関係式を用いた演算を行い、移動速度から心拍数を推定する。
【００２７】
移動速度と心拍数の関係を決定するためプレイヤー７名を被験者としデータ収集を行った。
【００２８】
図５に前記被験者による自転車エルゴメーターを使用した運動負荷検査による負荷と心拍数との関係を示したグラフを示す。前記被験者に心拍計を装着し、はじめの２分間をウォーミングアップして１００Ｗから２分ごとに２０Ｗずつ負荷を上げていく。負荷をあげた２分後の心拍数をその負荷に対する心拍数とし、被験者が疲労困憊になるまで自転車エルゴメーターをこがせた。各被験者にオールアウトまでこがせた結果、プレイヤー２のみが２６０Ｗまで、プレイヤー７は２２０Ｗまで、他の５名は２４０Ｗまでこぐことができた。運動負荷検査の結果を回帰分析することによって、心拍数と負荷には直線の相関関係があることが確認できた。
【００２９】
そこで、心拍数Ｈが理論上の負荷Ｗの一次関数Ｈ＝αＷ＋β（ただし、α、βは定数とする）で表されるものとし、さらにはＷ＝Ｆ×ｖ＝ｍ×ａ×ｖ＝ｍ×ｖ／ｔ×ｖ＝ｍｖ２／ｔの関係があることから、Ｈ＝αｍｖ２／ｔ＋βとあらわすことができる。ただし、Ｆ、ａ、ｔはそれぞれ力、加速度、時間を表す。該式より心拍数Ｈは速度ｖの二次関数で表すことができるとして速度から心拍数を推定するための演算を行う。ここでα、βの値は、競技の種類、測定対象となるプレイヤーの競技経験年数等によって適宜決定する定数である。本実施例においては、今回収集したデータを解析し、心拍数と移動速度の二乗の間での直線回帰式を求めたが、さらなるデータの蓄積とその分析によって、より妥当性の高い相関関係式が見つかる可能性がある。
【００３０】
次に、被験者に心拍数計測装置を装着させ、１５ポイントのバドミントンの試合を２ゲーム行わせた。２回の試合のうち、最初の試合をゲーム１、２回目の試合をゲーム２とよぶことにする。心拍数は試合前にホイッスルに合わせて心拍測定装置にマーキングを入れて、撮影しているビデオカメラとの同期をとり５秒毎に測定した。
【００３１】
本実施例においては、上述したように心拍数ＨがＨ＝αｍｖ２／ｔ＋βの関係にあると仮定し、γ＝αｍ／ｔとおくことによって、Ｈ＝γｖ２＋βとし、心拍数Ｈが速度の二乗ｖ２の一次関数となると考え、Ｈとｖ２の回帰式を求める。しかし、負荷をかけると同時に前記負荷に対応する心拍数に達するわけではない。
【００３２】
図６はプレイヤー３の行ったゲーム２の心拍数対時間及びｖ２対時間グラフである。前記グラフより心拍数はｖ２に遅れて反応していることが分かる。そこで、試合中に取得したデータを用いて、心拍数とｖ２が何秒後に最も相関が高くなるかを調べた結果、ｖ２と前記ｖ２を計測してから４５秒遅れた心拍数Ｈ’との相関係数が高くなっていることが分かった。そこで本実施例においては、相関係数が最も高くなるｖ２と前記ｖ２を計測してから４５秒後の心拍数Ｈ’の間での回帰直線を求めた。
【００３３】
さらに、５秒間のｖ２の平均値と心拍数の相関関係を調べ、移動平均するデータの点数がいくつのときが妥当であるかを調べた。５点、１１点、１５点のそれぞれに対して移動平均の相関係数を比べたところ、１５点平均の相関係数が最も高いこと、平滑化点数を上げるほど雑音振幅は小さくなるが、ピーク値誤差は平滑化点数が１５点より増えると大きくなること等から、１５点移動平均が妥当であるとした。
【００３４】
各被験者に対してゲーム１の心拍数とｖ２から立てた回帰直線に、ゲーム２のｖ２の値を代入してゲーム２の心拍数を予想し、その予想の適切さを検討した。検討には、ｐ値と相関係数と残差平方和と平均二乗残差とＧｏｏｄ ｏｆ ｆｉｔ（以下、ＧＯＦとよぶ）、を用いた。ＧＯＦは当てはまりのよさを表すもので、計算式は数３の（Ａ）式で与えられる。
【００３５】
【数３】
表１は、各被験者に対して求めた回帰直線に関して、ｐ値と相関係数と残差平方和と平均二乗残差とＧＯＦをまとめたものである。すべての被験者において、ＧＯＦが９９％以上という高い割合で予測ができた。
【００３６】
【表１】
次に、被験者７人のゲーム１及びゲーム２の全てのデータを使用して回帰直線を求め、これを心拍数の予想式とした。前記予想式を数３の（Ｂ）式に示した。前記予想式を被験者全員のゲーム１及びゲーム２のそれぞれのデータに対して当てはめて、ｐ値と相関係数と残差平方和と平均二乗残差とＧＯＦをまとめたのが表２である。プレイヤー４のゲーム２はｐ＝０．０５３であったが、他はすべてｐ＜０．０１となり有意であった。
【００３７】
【表２】
本実施例においては、心拍数を移動速度に関する関数として表したが、前記移動速度の他にも、加速度、心拍を計測する時点での総移動距離、身長、体重等をパラメータとしてもつ関数として表すことも可能である。また、本実施例における被験者は７名であるが、被験者の人数、試合数を増やすことによって、相関式の精度を上げることが可能である。
【００３８】
【発明の効果】
ゲーム分析を従来の方法のようにゲームが終わってから行うのではなく、分析の対象としたゲーム中にその進行とともに集計・分析処理をリアルタイムで行い、ゲーム現場での作戦の変更、あるいはプレイヤーの交代等を行うときの客観的データとすることができる。
【００３９】
また、視覚イメージによるフィードバックは運動技能学習に多大な影響を与えるといわれ、運動直後にＶＴＲによって得られた情報を提示することで目標と自分の動きを比較しやすく、技術レベルの向上に有効である。
【００４０】
さらには、適当なパラメータを用いた相関式を求めることで、画像より心拍数以外の生理指標を推定することも可能である。
【図面の簡単な説明】
【図１】本発明の概要を示した図である。
【図２】本発明の実施例のフローチャートを示した図である。
【図３】本発明のバドミントンにおける実施例におけるコートとカメラの配置の関係を示した図である。
【図４】ドットで表現された二値図形の一例を示す図である。
【図５】各被験者の心拍数対負荷グラフを示す図である。
【図６】被験者プレイヤー３の心拍数対時間及び速度の二乗対時間グラフを示した図である。
【符号の説明】
１ ビデオカメラ
２ 画像処理手段
３ 位置情報推定手段
４ 演算手段
５ 心拍数推定手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a physiological index estimation method and an estimation system for estimating a physiological index of a player from a competition image of a player during a sports competition in real time, and more specifically, estimating position information of a player from a competition image, and determining the position information. The present invention relates to a physiological index estimating method for calculating a moving speed, an acceleration, and a total moving distance from a change with time of the robot and estimating a heart rate in real time from the moving speed, the acceleration, and the total moving distance.
[0002]
[Prior art]
Conventionally, it has been necessary to wear a heart rate monitor or the like to measure a physiological index such as a heart rate during exercise. However, a heart rate monitor or the like cannot be worn on the opponent player during a sports competition, and some sports prohibit a player from wearing a heart rate meter or the like during a game as a rule. Therefore, in many cases, it is not possible to measure a player's heart rate or the like during a game in real time.
[0003]
[Problems to be solved by the invention]
It has been known from past studies on exercise physiology that there is a correlation between a physiological index such as a heart rate and a moving speed. If the relationship between the moving speed and the heart rate is known, a physiological index such as a heart rate can be estimated from the moving speed. From this, the player's moving speed can be estimated from the captured image, and if a physiological index such as a heart rate can be estimated from the moving speed, the player can wear a special measuring device during the competition or perform physiological measurements between the competitions. It is not necessary to measure the index, and the physiological index can be estimated in real time during the competition, and the physiological index of the player of the other team as well as the player of the own team can be estimated. The information of the estimated physiological index can be used as a material for judging the change of the player of the own team, or as a material for estimating the condition of the player of the opponent team, thereby enabling a strategy based on detailed strength analysis. In addition, it can be used as data for grasping and examining a training task not only during a game but also in practice.
[0004]
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a player who is competing with a game using image processing without wearing a device for measuring a physiological index such as a heart rate monitor. Provide a method of measuring the moving speed of a player during the game, and estimating a physiological index such as a heart rate from the moving speed of the player during a game or training in real time, and feeding back the estimated physiological index to the game or training. Or use it as information in sports broadcasting and the like.
[0005]
[Means for Solving the Problems]
The present invention relates to a method and system for estimating a physiological index during exercise by image processing, and the object of the present invention is to provide an image obtaining means for obtaining an image of a player, and an image processing means for processing the obtained image. A position information estimating means for estimating the position information of the player from the processed image, and a calculating means for calculating any one or a plurality of moving speeds, accelerations, or total moving distances from a temporal change of the position information. The present invention is also achieved by a method for estimating a physiological index during exercise by image processing, comprising: a physiological index estimating means for estimating a physiological index of the player using a calculation result by the calculating means.
[0006]
Further, the object of the present invention is to provide the image acquisition unit having one video camera and the position information estimating unit for estimating two-dimensional position information as the position information, or a plurality of video cameras. By having the image acquisition means having a camera, and having the position information estimation means for estimating three-dimensional position information as the position information, or as the estimation means of the physiological index, the physiological index as a function by the moving speed A relationship in which the heart rate is expressed as a linear function related to the moving speed by performing an arithmetic operation using the function, or by estimating the player's heart rate as the physiological index, or as an arithmetic method of estimating the heart rate. By using the equation for the calculation, or as a calculation method of the heart rate estimating means, the heart rate is calculated based on the moving speed. By using the calculation of the relationship expressed as a linear function relating, it is more effectively achieved.
[0007]
BEST MODE FOR CARRYING OUT THE INVENTION
The outline and examples of the present invention will be described below with reference to the drawings.
[0008]
FIG. 1 is a diagram showing an outline of the present invention. The image of the player and the court is photographed by the image acquiring means 1, and the image data is sent to the image extracting means 2. The image to be measured is extracted by the image extracting means, and the extracted image data is sent to the position measuring means 3. The position measuring means 3 estimates the center of gravity of the measurement object and the two-dimensional position information or three-dimensional position information, and sends the data to the calculating means 4. The calculating means 4 calculates the speed or acceleration of the measurement object or the total moving distance based on the change over time of the position information, and sends the calculated moving speed or acceleration to the physiological index estimating means 5. An operation using a function representing the relationship between the physiological index and the like is performed, and the physiological index is estimated.
[0009]
FIG. 2 shows a flowchart of a method for estimating a physiological index during exercise by image processing according to the present invention. The court and the player are photographed by the image acquisition unit 1 (step S1), and the image to be measured is extracted by the image extraction unit 2 (step S2). As a method of extracting the measurement target, a method in which the player's image is extracted by taking a difference from the video during the competition by photographing a court in which the player does not exist in advance, or the color and the density and brightness of the measurement target There is a method of distinguishing the measurement target from the background and extracting the measurement target. In the latter method, the measurement target does not need to be the whole body image of the player, but may be a shirt or pants worn by the player. However, in this case, the image of the measurement target may be difficult to extract unless the color of the shirt or pants is a color that is easily distinguishable from the background. For example, it is desirable that the color of the shirt or the pants is set to an appropriate color before the measurement. Further, it is also possible to attach a marker to each part of the body of the player and measure the positional information of each part of the body by following the marker.
[0010]
Next, the center of gravity of the measurement object obtained by the image extraction is obtained (step 3), and the position information is obtained by the position information estimating means 3 using the center of gravity (step S4). By using one camera, two-dimensional coordinates can be measured and two-dimensional position information can be obtained. Further, by using a plurality of cameras, it is possible to obtain three-dimensional position information of a measurement target by combining two-dimensional position information measured by each camera.
[0011]
Further, the displacement of the center of gravity is obtained, and the calculating means 4 calculates any of the center of gravity moving speed or acceleration or the total moving distance, or a plurality thereof (step S5).
[0012]
It has been known from past studies of exercise physiology that there is a correlation between a physiological index such as a heart rate and a moving speed during exercise. Therefore, in the method for estimating a physiological index during exercise by image processing according to the present invention, a physiological index such as a heart rate and a moving speed during exercise are obtained as a function to estimate a physiological index from the moving velocity. (Step 6). However, it is also conceivable to express the physiological index as a function using not only the moving speed but also the acceleration and the total moving distance.
[0013]
In particular, in the embodiment of the method for estimating a physiological index according to the present invention, it is assumed that the heart rate H is a linear function H = αW + β of the theoretical load W, and that there is a relation of W = mv 2 / t. , H = αmv 2 / t + β, and the equation is used. Here, α and β are constants, m is the mass of the player, and t is the moving time. That heart rate H performs an operation as a linear function of the square v 2 speed. Here, the values of α and β are constants appropriately determined according to the type of competition, the years of competition experience of the player to be measured, and the like.
[0014]
The values of α and β divide players into groups according to conditions such as competition experience and physical characteristics.When estimating the heart rate of each player, use the values of α and β corresponding to the group to which the player belongs. Thus, the accuracy of the present invention can be improved. Further, by preliminarily determining the values of α and β for each player, it is possible to estimate the heart rate with higher accuracy. Further, by accumulating the data of the heart rate and the moving speed, more appropriate values of α and β can be determined, or a more appropriate relational expression for determining the heart rate can be determined.
[0015]
It is also possible to determine a relational expression including a plurality of parameters such as acceleration and total moving distance as variables in addition to the moving speed, and obtain a physiological index such as a heart rate. In obtaining the relational expression, data such as height and weight can be considered.
[0016]
The work from the image extracting means 2 to the physiological index estimating means 5 in FIG. 1 can be made into software and processed by a commercially available personal computer, thereby making it possible to implement the present invention at low cost. It can be easily used in sports and physical education.
[0017]
Hereinafter, examples of the present invention in badminton will be described in detail.
[0018]
FIG. 3 shows the relationship between the court and the arrangement of the video camera 1 in this embodiment. The above arrangement is a method of estimating a physiological index during exercise by image processing according to the present invention in a gymnasium. The position shown in the figure was selected as the location of the video camera 1 because only one video camera 1 was able to shoot the entire court at the above-mentioned position, and if the entire court could be shot, There are no particular restrictions on where the camera is located.
[0019]
In the present embodiment, the Y axis is set parallel to the court side line, and the X axis is set parallel to the back boundary line, and the two-dimensional position coordinates of the player on the XY plane are obtained. The player's up and down movements are not considered because they are included in the error. In the present embodiment, images are acquired 10 times per second, and the measurement target is evaluated by three factors of hue, color density, and luminance to be distinguished from the background.
[0020]
The position coordinates and the moving distance of the object are measured using the center of gravity of the measurement target. As used herein, the center of gravity corresponds to the first moment of a binary figure, which is most commonly used to represent the center of gravity of an object, is also very resistant to noise and blur, and has some environmental impact. There is a feature that is not easily affected by changes in
[0021]
FIG. 4 shows an example of a binary figure represented by dots. The coordinates are given to each grid of the grid on the plane. In FIG. 3, the lower left corner of the 6 × 6 grid is set to (0, 0) as a reference coordinate, and the x axis is set in the horizontal direction and the y axis is set in the vertical direction. The right side is defined as the positive direction of the x-axis, and the upper side is defined as the positive direction of the y-axis. The portion in which the squares of the grid are painted black indicates the binary figure. Here, the coordinates of the center of gravity are (x1, y1), and the coordinates of the square where the binary figure exists are represented as (x, y). Also, let P (x, y) be a weight function at coordinates (x, y). Then, the coordinates of the center of gravity are obtained by the equation shown in Equation 1. x1 is the x coordinate of the center of gravity, and y1 is the y coordinate of the center of gravity.
[0022]
(Equation 1)
Therefore, the center of gravity of the figure in FIG. 4 is (x1, y1) = (3.0, 2.0).
[0023]
Here, the actual coordinates are (x, y), the measured coordinates are (U, V), B1, B2,. . . , B8 are set as calibration coordinates. The general formulas used to convert the coordinate values used in the present embodiment to the actual length are shown in the following equations (A) and (B), and the equation for calculating the calibration coefficient is shown below. Equations (C) and (D) show the equations for estimating the actual coordinates in equations (E) and (F).
[0024]
(Equation 2)
In the measurement data, there is a portion where normal data is not obtained because the marker becomes invisible. Therefore, the missing part is subjected to interpolation using a cubic spline function. Since noise is mixed in the measurement data in some form, the optimum frequency is calculated, and the data is smoothed by using a Butterworth-type low-pass digital filter.
[0025]
The moving speed of the center of gravity is calculated by the calculating means 4 from the obtained moving distance and moving time. In this embodiment, since the images are acquired 10 times per second, there is a time interval of 0.1 second between the images, and the displacement distance of the center of gravity in two temporally continuous images is set to 0.1. By dividing by seconds, the moving speed of the center of gravity can be obtained.
[0026]
Finally, the heart rate estimating means 5 performs a calculation using the correlation equation between the moving speed and the heart rate, and estimates the heart rate from the moving speed.
[0027]
In order to determine the relationship between the moving speed and the heart rate, data collection was performed with seven players as subjects.
[0028]
FIG. 5 is a graph showing the relationship between the load and the heart rate in the exercise load test using the bicycle ergometer by the subject. Wear a heart rate monitor on the subject, warm up for the first 2 minutes, and increase the load from 100 W to 20 W every 2 minutes. The heart rate two minutes after the increase in the load was defined as the heart rate for the load, and the bicycle ergometer was stretched until the subject was exhausted. As a result of each subject being able to withdraw to the all-out, only the player 2 could drive up to 260W, the player 7 could drive up to 220W, and the other five could drive up to 240W. Regression analysis of the results of the exercise stress test confirmed that there was a linear correlation between heart rate and load.
[0029]
Therefore, it is assumed that the heart rate H is expressed by a linear function H = αW + β (where α and β are constants) of the theoretical load W. Further, W = F × v = m × a × v = m Since there is a relation of × v / t × v = mv 2 / t, it can be expressed as H = αmv 2 / t + β. Here, F, a, and t represent force, acceleration, and time, respectively. Assuming that the heart rate H can be represented by a quadratic function of the speed v from this equation, an operation for estimating the heart rate from the speed is performed. Here, the values of α and β are constants appropriately determined according to the type of competition, the years of competition experience of the player to be measured, and the like. In the present embodiment, the data collected this time was analyzed, and a linear regression equation between the heart rate and the square of the moving speed was obtained. May be found.
[0030]
Next, the subject was fitted with a heart rate measuring device, and two 15-point badminton games were played. Of the two games, the first game is called game 1 and the second game is called game 2. The heart rate was measured every 5 seconds before the game by marking the heart rate measuring device with the whistle and synchronizing with the video camera that was shooting.
[0031]
In this embodiment, as described above, it is assumed that the heart rate H has a relationship of H = αmv 2 / t + β, and by setting γ = αm / t, H = γv 2 + β, and the heart rate H becomes speed I thought to be a linear function of the square v 2 of, obtaining a regression formula H and v 2. However, the heart rate corresponding to the load is not simultaneously reached when the load is applied.
[0032]
6 is a heart rate versus time of the game 2 and v 2 vs. time graph made by the player 3. It can be seen that the heart rate is reacted late to v 2 than the graph. Therefore, by using the data acquired during the game, the heart rate and v 2 is the results of examining whether highest correlation becomes high after many seconds, v 2 and the v heart rate delayed 45 seconds from 2 to measure H 'And the correlation coefficient were higher. Therefore, in this embodiment, a regression line between the v 2 the correlation coefficient is highest the v 2 heart rate 45 seconds after the measure H '.
[0033]
Furthermore, we examined the correlation between the average value and the heart rate of 5 seconds v 2, when the number number of data moving average is examined whether it is appropriate. When the correlation coefficients of the moving average were compared for each of 5, 11, and 15 points, the correlation coefficient of the 15-point average was the highest, and the noise amplitude decreased as the number of smoothing points increased. Since the value error increases when the number of smoothing points exceeds 15, the moving average of 15 points is determined to be appropriate.
[0034]
The regression line standing heart rate and v 2 of the game 1 for each subject, and the expected heart rate games 2 by substituting the value of v 2 games 2, was examined the appropriateness of its expected. The p value, the correlation coefficient, the residual sum of squares, the mean square residual, and Good of fit (hereinafter, referred to as GOF) were used for the examination. GOF expresses the goodness of fit, and the calculation formula is given by Expression (A) of Expression 3.
[0035]
[Equation 3]
Table 1 summarizes the p-value, the correlation coefficient, the residual sum of squares, the mean square residual, and the GOF for the regression line obtained for each subject. In all subjects, GOF could be predicted at a high rate of 99% or more.
[0036]
[Table 1]
Next, a regression line was obtained using all the data of Game 1 and Game 2 of the seven subjects, and this was used as a heart rate prediction formula. The expected equation is shown in Equation (B) of Equation 3. Table 2 summarizes the p-value, the correlation coefficient, the residual sum of squares, the mean square residual, and the GOF by applying the prediction formula to the data of Game 1 and Game 2 of all the subjects. In the game 2 of the player 4, p = 0.053, but in all other cases, p <0.01 was significant.
[0037]
[Table 2]
In the present embodiment, the heart rate is represented as a function related to the moving speed, but in addition to the moving speed, the acceleration, the total moving distance at the time of measuring the heart rate, the height, the weight, and the like are represented as functions having parameters. It is also possible. Although the number of subjects in the present embodiment is seven, it is possible to increase the accuracy of the correlation equation by increasing the number of subjects and the number of games.
[0038]
【The invention's effect】
Rather than performing the game analysis after the game is over, as in the conventional method, the analysis and processing is performed in real time during the game being analyzed, and the strategy is changed in the game scene or the player's It can be used as objective data when a change or the like is performed.
[0039]
It is said that visual image feedback has a great effect on motor skill learning. By presenting information obtained by a VTR immediately after exercise, it is easy to compare your goal with your own movement, which is effective for improving the skill level. is there.
[0040]
Further, by obtaining a correlation equation using appropriate parameters, it is also possible to estimate a physiological index other than the heart rate from the image.
[Brief description of the drawings]
FIG. 1 is a diagram showing an outline of the present invention.
FIG. 2 is a diagram showing a flowchart of an embodiment of the present invention.
FIG. 3 is a diagram showing a relationship between a court and an arrangement of cameras in an embodiment of the badminton of the present invention.
FIG. 4 is a diagram illustrating an example of a binary graphic represented by dots.
FIG. 5 is a diagram showing a heart rate versus load graph for each subject.
6 is a diagram showing a heart rate versus time and velocity squared versus time graph for the subject player 3. FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Video camera 2 Image processing means 3 Position information estimation means 4 Calculation means 5 Heart rate estimation means
