JP2005230068A - 運動支援方法と、その装置 - Google Patents

Abstract

【課題】必要な運動効果を実現し、正確な消費カロリをリアルタイムに計算する。
【解決手段】インストラクタ画像Ｑを出力するインストラクタ画像源１３と、モニタ２上のインストラクタ画像Ｑに倣って運動するユーザを撮影するカメラ１と、カメラ１からのユーザ画像Ｐの運動を解析する解析手段１１と、消費カロリをリアルタイムに算出するカロリ計算手段１２とを設ける。
【選択図】図１

Description

この発明は、美容や健康などのために、適切な運動をユーザに容易に実行させることができる運動支援方法と、その装置に関する。

美容や健康などのために、適切な食事を摂取し、摂取カロリに見合った適切な運動をすることが推奨されている。

一般に、運動による消費カロリは、運動の種類や時間に依存するから、ユーザの身体に加速度センサを装着してユーザの運動内容を検出し、それに基づいて運動時の消費カロリを自動計算する装置が提案されている（特許文献１）。また、加速度センサによる運動内容の検出に代えて、運動の種類を指定して運動時間を計測することにより、消費カロリを簡易計算することも可能である（特許文献２）。
特開平８−２４０４５０号公報 特開平１１−５３３１９号公報

かかる従来技術の前者によるときは、ユーザは、少なくとも２軸方向の加速度センサを身体に装着して運動しなければならないから、準備が面倒である上、運動途中で消費カロリをリアルタイムにチェックすることができないという問題があった。加速度センサによる運動内容の検出データは、一旦メモリ装置に記憶し、別の解析用のコンピュータを使用して消費カロリに換算する必要があるからである。一方、後者によるときは、ユーザの実際の運動内容を検出する訳でないため、消費カロリの計算結果が不正確であり、十分実用的なデータが得られないという問題があった。また、両者のいずれにあっても、ユーザが好みの運動をするだけであり、運動内容が具体的に指示されないので、ユーザに対して必ずしも適切な運動をさせることができず、期待された所定の運動効果を得ることが難しいという問題もあった。

そこで、この発明の目的は、かかる従来技術の問題に鑑み、指導用のインストラクタ画像を提供し、それに倣って運動させることによって、必要な運動効果を容易に実現するとともに、正確な消費カロリをリアルタイムに計算して表示することができる運動支援方法と、その装置を提供することにある。

かかる目的を達成するためのこの出願に係る第１発明の構成は、指導用のインストラクタ画像をモニタ上に表示し、インストラクタ画像に倣って運動するユーザを撮影してユーザ画像とし、ユーザ画像の運動をリアルタイムに解析し、消費カロリを算出して表示することをその要旨とする。

なお、ユーザ画像をインストラクタ画像と対比することにより、ユーザの姿勢修正用の指示情報を表示することができ、ユーザ画像をインストラクタ画像と対比することにより、ユーザの年令を評価して表示することができる。

第２発明の構成は、指導用のインストラクタ画像を出力するインストラクタ画像源と、モニタ上のインストラクタ画像に倣って運動するユーザを撮影するカメラと、カメラからのユーザ画像の運動をリアルタイムに解析する解析手段と、解析手段の解析結果に基づいて消費カロリをリアルタイムに算出するカロリ計算手段とを備えることをその要旨とする。

なお、ユーザ画像をインストラクタ画像と対比してユーザの姿勢修正用の指示情報を生成する指示情報生成手段を付設してもよく、ユーザ画像をインストラクタ画像と対比してユーザの年令を評価する年令評価手段を付設してもよい。

かかる第１発明の構成によるときは、ユーザは、モニタ上に表示される指導用のインストラクタ画像に倣うことにより、インストラクタ画像を介して指示される所定の運動を実行することができる。一方、このときのユーザの運動内容は、運動中のユーザを撮影することによりユーザ画像として把握され、ユーザ画像の運動をリアルタイムに解析することにより、運動によって消費するユーザの消費カロリをリアルタイムに算出することができる。すなわち、ユーザは、インストラクタ画像によって指示される運動を実行して必要な運動効果を実現するとともに、そのときの正確な消費カロリをリアルタイムにチェックすることができる。

なお、消費カロリの計算は、ユーザの身長、体重、性別などの個人情報に基づき、ユーザの身体を頭部、胴部、両上肢、両下肢などの部位に分割した上、動画として時系列的に変化するユーザ画像を適宜サンプリングして各部位ごとの移動距離、移動時間を見出し、各部位ごとの運動に要する消費カロリを集計して算出することができる。また、このときに必要な各部位ごとの推定重量は、ユーザの個人情報に対し、たとえば人間工学的な人体計測統計データを適用して算出することができる。

ユーザ画像をインストラクタ画像と対比し、後者に対する前者の偏移（ずれ）があるとき、それを修正すべき旨の指示情報を表示すれば、ユーザに対し、一層適切な指導をすることができる。なお、このような指示情報は、たとえばモニタ上のインストラクタ画像の特定位置に注意標識を重畳して表示することができる。また、インストラクタ画像に対するユーザ画像の時間的、位置的な偏移（ずれ）は、加令による運動能力の低下を示す指標となり得る。そこで、両者間の偏移を集計した上、それをユーザの年令に換算し、年令の評価としてユーザに理解させることができる。

第２発明の構成によるときは、インストラクタ画像源と、カメラと、解析手段と、カロリ計算手段とを組み合わせることによって、第１発明を容易に実施することができる。なお、第２発明の各構成部材は、一般のパーソナルコンピュータのハードウェア、ソフトウェアとして容易に実現可能である。

以下、図面を以って発明の実施の形態を説明する。

運動支援装置は、カメラ１、モニタ２と、解析手段１１、カロリ計算手段１２を含むパーソナルコンピュータ１０とを組み合わせてなる（図１）。

カメラ１の出力は、パーソナルコンピュータ１０に入力され、解析手段１１、映像出力部２１に分岐接続されている。解析手段１１の出力は、カロリ計算手段１２を介して映像出力部２１に接続され、映像出力部２１の出力は、外部のモニタ２に接続されている。なお、カロリ計算手段１２には、外部からデータ設定可能な個人情報メモリ１２ａが付設されている。また、カメラ１の出力は、指示情報生成手段１４、年令評価手段１５にも分岐接続され、指示情報生成手段１４、年令評価手段１５の各出力は、映像出力部２１に個別に接続されている。ただし、カメラ１、モニタ２の一方または双方は、パーソナルコンピュータ１０内に一体に組み込まれていてもよい。

パーソナルコンピュータ１０には、インストラクタ画像源１３が組み込まれている。インストラクタ画像源１３は、任意の静止画情報、動画情報を記憶するメモリであり、外部のＶＴＲ、ＤＶＤ等のビデオ再生装置であってもよい。なお、インストラクタ画像源１３の再生画像は、外部から選択可能であり、外部から起動停止可能である。

インストラクタ画像源１３の出力は、解析手段１１、映像出力部２１に分岐接続され、さらに、指示情報生成手段１４、年令評価手段１５に分岐接続されている。なお、インストラクタ画像源１３の別の出力は、音声出力部２２を介して外部のスピーカ３に接続されている。ただし、スピーカ３は、パーソナルコンピュータ１０に組み込まれていてもよい。

パーソナルコンピュータ１０において、解析手段１１、カロリ計算手段１２、指示情報生成手段１４、年令評価手段１５は、それぞれソフトウェアによって実現されている。また、映像出力部２１、音声出力部２２は、それぞれ専用の映像処理ソフトウェア、音声処理ソフトウェアによってサポートされたハードウェアとして構成されている。パーソナルコンピュータ１０は、図示しないＣＰＵ、主メモリ、補助メモリなどが組み合わされ、キーボード、マウスなどの操作機器や内蔵のオペレーティングシステムを介し、必要な任意のアプリケーションプログラムを実行させることができる。

運動支援装置は、図２（Ａ）のメニュープログラムを手動起動させることによってスタートする。すなわち、メニュープログラムは、スタート直後に図２（Ｂ）のメニュー画面をモニタ２に表示するから、ユーザは、メニュー画面を通し、「エクササイズ」、「健康年令測定」、「個人情報設定」のいずれかを選択することができる。ただし、「個人情報設定」は、他二者の準備プログラムであるから、最初に選択するものとする。

「個人情報設定」を選択すると、図３の設定画面がモニタ２に表示される。そこで、ユーザは、同画面を利用して、自己の個人情報を設定入力し、入力された情報は、個人情報メモリ１２ａに記憶される。なお、図３の「中止」、「削除」、「ＯＫ」の各ボタンは、個人情報の入力動作の中止、訂正のための削除、設定入力の完了を指示するものである。

「個人情報設定」を完了すると、メニュー画面に戻るから、メニュー画面において「エクササイズ」を選択すると、たとえば図４（Ａ）のガイド画面がモニタ２に表示される。そこで、ガイド画面を介し、希望の消費カロリの目標値を設定入力し、消費カロリの累計値を初期化入力し、インストラクタ画像源１３によって再生されるインストラクタ画像の種類を示す「ダンスパターン」を選択する。

「ダンスパターン」の選択設定が完了すると、インストラクタ画像源１３が起動し、選択されたパターンのインストラクタ画像Ｑを出力し始める。そこで、モニタ２には、インストラクタ画像Ｑの最初の待機姿勢が静止画として表示される（図４（Ｂ））。また、図４（Ｂ）において、上部のインジケータＲは、インストラクタ画像Ｑの時間的な進行経過を示し、小さなサブウィンドウ２ａには、カメラ１によって撮影するユーザの姿勢が動画のユーザ画像Ｐとしてリアルタイムに表示されるものとする。また、モニタ２の右下には、運動開始後のユーザの消費カロリがリアルタイムに数値表示される。

一方、パーソナルコンピュータ１０は、インストラクタ画像源１３の起動とともに、図５の待機プログラムを起動させる。待機プログラムは、まず、カメラ１によって撮影されるユーザの待機姿勢をインストラクタ画像Ｑの待機姿勢と対比する（図５のプログラムステップ（１）、以下、単に（１）のように記す）。すなわち、このときのユーザは、カメラ１の撮影領域内で、しかもモニタ２の画面を注視し得る位置において、モニタ２上のインストラクタ画像Ｑと同一の待機姿勢をとるものとし、そのとき、ユーザは、モニタ２のサブウィンドウ２ａ内のユーザ画像Ｐを見ることにより、自己の待機姿勢の良否を判断し、修正することができる。一方、待機プログラムは、ユーザの待機姿勢が不良であれば（２）、モニタ２上のインストラクタ画像Ｑに対して不良箇所を指摘する姿勢修正用の指示情報Ｑ1 を重量して表示するから（（３）、図４（Ｂ））、ユーザは、待機プログラムを介し、所定の待機姿勢を容易に実現可能である（（１）〜（３）、（１））。

このようにして、ユーザの待機姿勢がインストラクタ画像Ｑのそれに一致すると（２）、指示情報Ｑ1 を消去して（４）、図６の主プログラムが自動起動する（５）。そこで、インストラクタ画像源１３は、先きに選択された「ダンスパターン」に従ってインストラクタ画像Ｑを動画として再生開始する（図６のプログラムステップ（１）、以下、単に（１）のように記す）。なお、このとき、インストラクタ画像源１３は、スピーカ３を介し、インストラクタ画像Ｑに付随する音楽などを外部出力することができる。また、その後のユーザは、モニタ２上のインストラクタ画像Ｑに倣って運動するとともに、その様子をモニタ２上のユーザ画像Ｐとして見ることができる。

図６の主プログラムは、一旦起動すると、選択された「ダンスパターン」の動画の終了まで、たとえば数ｍＳないし数１０ｍＳの微少なタイムインタバルごとに繰返し作動する（（１）〜（１０）、（１１）、（２））。ただし、図６のプログラムステップ（１１）には、主プログラムの繰返し周期を規定する時間遅れ要素が設定されている。

主プログラムは、インストラクタ画像源１３からの動画再生を開始すると（１）、インストラクタ画像Ｑ、ユーザ画像Ｐをサンプリングして静止画とし（２）、両者の姿勢を対比した上で（３）、ユーザの運動姿勢の良否を判定し（４）、必要な指示情報Ｑ1 をモニタ２上に表示し（５）、消去する（６）。すなわち、運動中のユーザは、モニタ２上のインストラクタ画像Ｑを注視することにより、自分の運動内容の適否をリアルタイムに理解し、必要な修正を加えることが可能である。

つづいて、主プログラムは、ユーザ画像Ｐの運動をリアルタイムに解析する（７）。ただし、ここでいう運動解析とは、たとえば、プログラムステップ（２）によってサンプリングされたユーザ画像Ｐについて、ユーザ画像Ｐの人体像の各部位ごとの空間座標を検出することをいう。次に、主プログラムは、運動解析の結果に基づき、前回作動から今回作動までのタイムインタバルにおいて、運動中のユーザが消費した消費カロリを計算して（８）、集計表示した上（９）、インストラクタ画像源１３からのインストラクタ画像Ｑが終了するまで（１０）、一定のタイムインタバルごとに（１１）、プログラムステップ（２）以降の動作をサイクリックに繰り返す。なお、プログラムステップ（９）において集計される「エクササイズ」開始後の消費カロリは、主プログラムの作動ごとにモニタ２上の図４（Ｂ）の画面の右下に順次更新して数値表示される。

インストラクタ画像源１３からのインストラクタ画像Ｑが終了すると（１０）、モニタ２に終了画面が表示される（（１２）、図４（Ｃ））。図４（Ｃ）において、サブウィンドウ２ｂには、運動中に録画されたユーザ画像Ｐを再生することができ、再生されるユーザ画像Ｐには、運動中にインストラクタ画像Ｑに付加された指示情報Ｑ1 に対応する指示情報Ｐ1 が随時付加される。また、終了画面の右側には、インストラクタ画像Ｑに対する運動中のユーザ画像Ｐの姿勢のずれに基づいて算出する「フォーム忠実度」、実行したインストラクタ画像Ｑによって期待される消費カロリ（予定カロリー）、ユーザが運動することによって消費した消費カロリ（実績カロリー）がそれぞれ数値表示される。

なお、終了画面上の「Ｐｌａｙ」ボタンは、録画されたユーザ画像Ｐの再生要求用であり、「ＯＫ」ボタンは、図４（Ａ）のガイド画面に戻るための指示用である。また、図４（Ａ）のガイド画面の「戻る」ボタンにより、図２（Ｂ）のメニュー画面に戻ることができる。

図６のプログラムステップ（７）による運動解析のアルゴリズムは、たとえば図７のサブルーチンのとおりである。

サブルーチンは、インデックスｉ＝１として（図７のプログラムステップ（１）、以下、単に（１）のように記す）、対象とするユーザ画像Ｐの人体像の各部位Ｂi （ｉ＝１、２…）の空間座標Ｘi （ｉ＝１、２…）を読み取る（２）。ここで、各部位Ｂi は、たとえば頭部Ｂ1 、胴部Ｂ2 、上肢Ｂ3 、Ｂ4 、下肢Ｂ5 、Ｂ6 のように定めるものとする。また、各部位Ｂi の空間座標Ｘi は、頭部Ｂ1 、胴部Ｂ2 に対しては重心位置に定め、上肢Ｂ3 、Ｂ4 、下肢Ｂ5 、Ｂ6 に対しては、先端または特定の関節位置に定めることにより、容易に、しかも正確に読み取ることができる。なお、空間座標Ｘi は、任意の座標系に基づく２次元座標または３次元座標であり、３次元座標は、複数のカメラによって異なる方向から撮影したユーザ画像Ｐに基づいて検出することができる。

サブルーチンは、ファーストパスでは（３）、部位Ｂi の空間座標Ｘi を今回座標Ｘi1として記憶し（４）、２回目以降のパスでは（３）、記憶済みの今回座標Ｘi1を前回座標Ｘi2として記憶するとともに、新しい空間座標Ｘi を今回座標Ｘi1として記憶更新する（５）。そこで、サブルーチンは、インデックスｉを利用して、以上の動作を全部位Ｂi に対して実行することにより（（６）、（７）、（２）〜（６））、ユーザ画像Ｐについて、各部位Ｂi の今回座標Ｘi1、前回座標Ｘi2をリアルタイムに記憶更新することができる。

図６のプログラムステップ（７）による消費カロリ計算のアルゴリズムは、たとえば図８のサブルーチンのとおりである。なお、図８のサブルーチンは、図７のサブルーチンとともに、図６の主プログラムによって起動されるため、図７のサブルーチンと同期して作動する。

図８のサブルーチンは、ファーストパスでは、実質的に何もしないで主プログラムに戻る（図８のプログラムステップ（１）、以下、単に（１）のように記す）。一方、サブルーチンは、２回目以降のパスにおいて（１）、インデックスｉを利用して、ユーザ画像Ｐについて、各部位Ｂi ごとの前回の作動から今回の作動までの移動距離Ｄi ＝Δ（Ｘi1、Ｘi2）と、それによる部位Ｂi ごとの消費カロリＣi ＝ｆi （Ｗi 、Ｄi 、Ｔ）を算出することができる（（２）〜（５））。

ここで、Ｘi1、Ｘi2は、それぞれ図７のプログラムステップ（５）によって記憶更新される部位Ｂi の今回座標、前回座標であり、Δは、空間座標Ｘi の座標系の種類によって決まる距離計算関数である。また、Ｗi は、ユーザが図３の設定画面を介して設定した個人情報と、統計的な人体計測データとに基づき、ユーザの体重を各部位Ｂi に案分して得られる各部位Ｂi の推定重量であり、Ｔは、図６のプログラムステップ（１１）に設定する主プログラムの作動周期、すなわち図７、図８の各サブルーチンの作動周期である。さらに、ｆi は、各部位Ｂi ごとに設定する換算関数である。なお、一般に、換算関数ｆi は、推定重量Ｗi 、移動距離Ｄi に比例し、作動周期Ｔに反比例するが、上肢Ｂ3 、Ｂ4 、下肢Ｂ5 、Ｂ6 のように、空間座標Ｘi を重心位置以外に設定する場合、推定重量Ｗi は、ユーザの体重を案分した値をさらに適切に補正して採用するものとする。

つづいて、サブルーチンは、各部位Ｂi ごとの消費カロリＣi を集計して前回の作動から今回の作動までにおけるユーザの消費カロリＣ＝ΣＣi を演算する（６）。また、今回の運動開始時点（主プログラムの起動時点）からの累積消費カロリＣa ＝Ｃa ＋Ｃを更新して図４（Ｂ）の表示画面の右下にリアルタイムに表示するとともに（７）、システムの使用開始からの累積消費カロリＣb ＝Ｃb ＋Ｃを更新し（８）、図４（Ａ）のガイド画面の累計値用として記憶する。

図２（Ｂ）のメニュー画面において「健康年令測定」を選択すると、図９（Ａ）のガイド画面がモニタ２に表示される。そこで、「対象年令入力」、「性別入力」の各データを入力して「健康年令判定開始」ボタンを操作すると、図９（Ｂ）の表示画面がモニタ２に表示されるとともに、図１０の年令測定プログラムが自動スタートする。なお、図９（Ｂ）において、インストラクタ画像Ｑは、図１０のプログラムによって順次切り換えて表示される静止画であり、サブウィンドウ２ａ内のユーザ画像Ｐは、カメラ１によってユーザを撮影する動画である。また、インジケータＲは、インストラクタ画像Ｑの切換枚数の進行を示す。

図１０のプログラムは、最初のインストラクタ画像Ｑの静止画を表示すると（図１０のプログラムステップ（１）、以下、単に（１）のように記す）、インストラクタ画像Ｑに倣って速やかに同一姿勢をとるユーザの姿勢をユーザ画像Ｐとして認識してインストラクタ画像Ｑと対比し（２）、その良否を判定する（３）。ユーザの姿勢がインストラクタ画像Ｑの姿勢と実質的に一致したら（３）、インストラクタ画像Ｑの表示から姿勢一致までの時間差データを記憶し（４）、以後、インストラクタ画像Ｑを順次切り換えながら、同様の動作を繰り返す（（５）、（６）、（２）〜（５））。所定枚数のインストラクタ画像Ｑ、Ｑ…の表示を完了したら（５）、プログラムステップ（４）を介して収集する時間差データを集積してユーザの年令を評価し（７）、モニタ２上の終了画面に「健康年令」として表示して終了する（図９（Ｃ））。なお、図９（Ｃ）において、「ＯＫ」ボタンを操作すると、図９（Ａ）のガイド画面に戻り、図９（Ａ）の「戻る」ボタンを操作すると、図２（Ｂ）のメニュー画面に戻る。

図１の解析手段１１の機能は、図６のプログラムステップ（７）、図７のサブルーチンによって実現されており、図１のカロリ計算手段１２の機能は、図６のプログラムステップ（８）、図８のサブルーチンによって実現されている。また、図１の指示情報生成手段１４の機能は、図５のプログラムステップ（１）〜（４）、図６のプログラムステップ（３）〜（６）によって実現されている。さらに、図１の年令評価手段１５の機能は、図１０のプログラムによって実現されている。なお、図１０のプログラムステップ（２）、（３）は、たとえば図５のプログラムステップ（２）〜（４）をそのまま適用することにより、図９（Ｂ）のモニタ２上のインストラクタ画像Ｑに対し、ユーザの姿勢修正用の指示情報Ｑ1 を付加表示してもよい。また、このときの図１の年令評価手段１５は、インストラクタ画像源１３からのインストラクタ画像Ｑ、カメラ１からのユーザ画像Ｐを入力するに代えて、指示情報生成手段１４の出力情報を利用するものとして表現することができる。

以上の説明において、図５、図６、図１０の各プログラムステップ（１）、（３）、（２）は、それぞれ静止画の画像認識の技法によりユーザ画像Ｐをインストラクタ画像Ｑと対比させている。しかし、これらの対比動作は、ユーザ画像Ｐ、インストラクタ画像Ｑの双方に対して図６のプログラムステップ（７）、図７のサブルーチンを適用し、双方の人体像の各部位Ｂi 、Ｂi の空間座標Ｘi 、Ｘi を検出して比較することによってもよい。

また、図１０のプログラムは、図５の待機プログラムに倣って、最初のインストラクタ画像Ｑに対する時間差データをプログラムステップ（７）の年令評価の対象から除外してもよい。このような動作は、「健康年令測定」が選択されると、図５の待機プログラムを最初に起動し、そのプログラムステップ（５）を介し、図６の主プログラムに代えて図１０の年令測定プログラムを起動させることによって簡単に実現することができる。

さらに、図１０のプログラムステップ（３）において、ユーザの姿勢がインストラクタ画像Ｑに一致するまでの最大許容時間を設定し、それを超えると自動的にプログラムステップ（４）以降に進行するようにしてもよい。最大許容時間を超過した事実は、プログラムステップ（７）の年令評価に反映させることができる。

全体ブロック系統図 メニュープログラム説明図 モニタ表示画面説明図（１） モニタ表示画面説明図（２） プログラムフローチャート（１） プログラムフローチャート（２） プログラムフローチャート（３） プログラムフローチャート（４） モニタ表示画面説明図（３） プログラムフローチャート（５）

符号の説明

Ｐ…ユーザ画像
Ｑ…インストラクタ画像
Ｑ1 …指示情報
１…カメラ
２…モニタ
１１…解析手段
１２…カロリ計算手段
１３…インストラクタ画像源
１４…指示情報生成手段
１５…年令評価手段

特許出願人 北菱電興株式会社
代理人 弁理士 松 田 忠 秋

Claims (6)

1. 指導用のインストラクタ画像をモニタ上に表示し、インストラクタ画像に倣って運動するユーザを撮影してユーザ画像とし、ユーザ画像の運動をリアルタイムに解析し、消費カロリを算出して表示することを特徴とする運動支援方法。
2. ユーザ画像をインストラクタ画像と対比することにより、ユーザの姿勢修正用の指示情報を表示することを特徴とする請求項１記載の運動支援方法。
3. ユーザ画像をインストラクタ画像と対比することにより、ユーザの年令を評価して表示することを特徴とする請求項１または請求項２記載の運動支援方法。
4. 指導用のインストラクタ画像を出力するインストラクタ画像源と、モニタ上のインストラクタ画像に倣って運動するユーザを撮影するカメラと、該カメラからのユーザ画像の運動をリアルタイムに解析する解析手段と、該解析手段の解析結果に基づいて消費カロリをリアルタイムに算出するカロリ計算手段とを備えてなる運動支援装置。
5. ユーザ画像をインストラクタ画像と対比してユーザの姿勢修正用の指示情報を生成する指示情報生成手段を付設することを特徴とする請求項４記載の運動支援装置。
6. ユーザ画像をインストラクタ画像と対比してユーザの年令を評価する年令評価手段を付設することを特徴とする請求項４または請求項５記載の運動支援装置。
   

Images