JP2022170303A - 姿勢評価システム、姿勢評価プログラム、姿勢評価方法、及び姿勢評価装置 - Google Patents

Abstract

【課題】身体の姿勢を比較することができる姿勢評価システム、姿勢評価プログラム、姿勢評価方法、及び姿勢評価装置を提供する。【解決手段】少なくとも一つのコンピュータ装置を備える姿勢評価システムであって、被評価者の姿勢を示す第１画像と、他の姿勢を示す第２画像とを表示する姿勢表示手段と、第１画像と第２画像の表示位置を切り替える表示位置切替手段とを備え、第２画像が、第１画像とは異なる時点における１の被評価者の姿勢を示す画像である。【選択図】図２

Description

本発明は、身体の姿勢を比較することができる姿勢評価システム、姿勢評価プログラム、姿勢評価方法、及び姿勢評価装置に関する。

アスリートなどが、運動のパフォーマンスを向上させるために、或いは、個人で運動やヨガをする人が、これらの運動などを適切に実施するために、運動や姿勢を評価することが知られている。

姿勢や運動の評価は、その後に実施すべき運動等の提示や、実施している運動等の改善点の提示のための指標として非常に重要なものである。しかしながら、姿勢を適切に評価することは容易ではない。姿勢の評価が容易ではなく、評価が適切にできない原因は２つあると考えられる。姿勢そのもの、特に、動きをともなう姿勢そのものが評価できないケースと、評価した動きの問題点を適切にアウトプットとして提示できないケースである。

動きをともなう姿勢を評価するものとして、特許文献１には、運動パフォーマンスを評価および予測するシステムが開示されている。特許文献１のシステムにおいては、被評価者に種々のセンサを取り付けて、センサのデータを基に、運動パフォーマンスを評価および予測をすることが記載されている。しかしながら、特許文献１のシステムは、詳細なデータが得られるものの、多数のセンサを取り付けることを要するため、個人でヨガや運動を評価することには適さない。また、アスリートなどのように、他者が運動を評価する場合であっても、装置構成が煩雑であるという問題がある。

特表２０２１－５０３３５７号公報

本発明は、上記のような問題に鑑みてなされたものである。すなわち、本発明の目的は、身体の姿勢を比較することができる姿勢評価システム、姿勢評価プログラム、姿勢評価方法、及び姿勢評価装置を提供することである。

本発明は、以下の［１］～［１５］により、上記の課題を解決するものである。
［１］少なくとも一つのコンピュータ装置を備える姿勢評価システムであって、１の被評価者の姿勢を示す第１画像と、他の姿勢を示す第２画像とを表示する姿勢表示手段と、第１画像と第２画像の表示位置を切り替える表示位置切替手段とを備える、姿勢評価システム；
［２］第２画像が、基準となる姿勢を示すものである、前記［１］に記載の姿勢評価システム；
［３］第２画像が、第１画像とは異なる時点における１の被評価者の姿勢を示す画像である、前記［１］に記載の姿勢評価システム；
［４］表示位置切替手段が、第１画像及び第２画像の表示位置が上下に並べて表示する表示位置と、第１画像及び第２画像の表示位置が左右に並べて表示する表示位置とに切り替え可能である、前記［１］～［３］のいずれかに記載の姿勢評価システム；
［５］第１画像及び／又は第２画像の透明度を変化させる透明度変化手段を備え、表示位置切替手段が、透明度変化手段により少なくとも一方の透明度を変化させた第１画像及び第２画像の表示位置を、重ね合わせて表示する表示位置に切り替え可能である、前記［１］～［４］のいずれかに記載の姿勢評価システム；
［６］第１画像及び第２画像が動画像であり、第１画像における被評価者の動作と、第２画像に表示された人又はキャラクタの動作が同種のものである場合に、第１画像及び第２画像のそれぞれの第一の所定の時点を対応させる画像対応付け手段と、第一の所定の時点を開始時点として同期させつつ、第１画像及び第２画像を再生する画像再生手段とを備える、前記［１］～［５］のいずれかに記載の姿勢評価システム；
［７］第１画像及び第２画像のそれぞれの第二の所定の時点を特定する第二時点特定手段を備え、動画再生手段が、第１画像及び第２画像の第一の所定の時点から第二の所定の時点までの動画像を再生するものである、前記［６］に記載の姿勢評価システム；
［８］動画再生手段が、第１画像及び第２画像の第一の所定の時点から第二の所定の時点までの動画像を再生するものであり、第１画像の第一の所定の時点から第二の所定の時点までの時間と、第２画像の第一の所定の時点から第二の所定の時点までの時間とが異なる場合に、一方の第二の所定の時点に到達するまで、他方の動画像を第二の所定の時点で停止させる、前記［７］に記載の姿勢評価システム；
［９］動画再生手段が、第１画像及び第２画像の第一の所定の時点から第二の所定の時点までの動画像を再生するものであり、第１画像の第一の所定の時点から第二の所定の時点までの時間と、第２画像の第一の所定の時点から第二の所定の時点までの時間とが異なる場合に、第１画像及び第２画像の第一の所定の時点から第二の所定の時点までの再生時間が同一になるように再生速度を調整した動画像を再生する、前記［７］に記載の姿勢評価システム；
［１０］第１画像及び第２画像が、重力方向に対する傾きが同一となるよう補正された画像である、前記［１］～［９］のいずれかに記載の姿勢評価システム；
［１１］画像表示手段が、第１画像及び第２画像を表示画面に表示させるものであり、第１画像における被評価者及び第２画像における姿勢の身体部位の所定の２点を特定する部位特定手段と、部位特定手段により特定された点をもとに、第１画像における１の被評価者の所定の２点の長さと、第２画像に表示された人又はキャラクタの所定の２点の長さとが同一となるように表示するサイズ調整手段とを備える、前記［１］～［１０］のいずれかに記載の姿勢評価システム；
［１２］第１画像における被評価者及び第２画像における姿勢の身体部位の少なくとも２点を特定する第１特定手段と、第１特定手段により特定された点をもとに、身体部位の向きを特定する向き特定手段とを備え、姿勢表示手段が、第１画像における身体部位の向きと、第２画像における身体部位の向きとが、表示する画像において同じ向きとなるように画像を表示する、前記［１］～［１１］のいずれかに記載の姿勢評価システム；
［１３］コンピュータ装置において実行される姿勢評価プログラムであって、コンピュータ装置を、１の被評価者の姿勢を示す第１画像と、他の姿勢を示す第２画像とを表示する姿勢表示手段と、第１画像と第２画像の表示位置を切り替える表示位置切替手段として機能させる、姿勢評価プログラム；
［１４］コンピュータ装置において実行される姿勢評価方法であって、１の被評価者の姿勢を示す第１画像と、他の姿勢を示す第２画像とを表示する姿勢表示ステップと、第１画像と第２画像の表示位置を切り替える表示位置切替ステップとを有する、姿勢評価方法；
［１５］１の被評価者の姿勢を示す第１画像と、他の姿勢を示す第２画像とを表示する姿勢表示手段と、第１画像と第２画像の表示位置を切り替える表示位置切替手段とを備える、姿勢評価装置。

本発明によれば、身体の姿勢を比較することができる姿勢評価システム、姿勢評価プログラム、姿勢評価方法、及び姿勢評価装置を提供することができる。

本発明の実施の形態にかかるコンピュータ装置の構成を表すブロック図である。 本発明の実施の形態にかかる表示画面の一例を表す図である。 本発明の実施の形態にかかる表示位置切替処理のフローチャートである。 本発明の実施の形態にかかる画像重畳処理のフローチャートである。 本発明の実施の形態にかかる表示画面の一例を表す図である。 本発明の実施の形態にかかる傾き補正処理のフローチャートである。 本発明の実施の形態にかかる身体部位の点を特定する一例を表す図である。 本発明の実施の形態にかかる身体部位の点を特定する一例を表す図である。 本発明の実施の形態にかかる表示画面の一例を表す図である。 本発明の実施の形態にかかるサイズ補正処理のフローチャートである。 本発明の実施の形態にかかる動画再生処理のフローチャートである。

以下、図面等を用いて本発明の実施の形態について説明をするが、本発明の趣旨に反しない限り、本発明は以下の実施の形態に限定されない。また、本明細書において説明するフローチャートを構成する各処理の順序は、処理内容に矛盾や不整合が生じない範囲で順不同である。

なお、本明細書において、「被評価者」とは、姿勢の評価を受ける者のことであり、例えば、運動をする個人、トレーニング施設の利用者、スポーツ愛好家、アスリート、運動療法を実施している患者などが含まれる。また、「トレーナー」とは、被評価者に対して運動の指導やアドバイスを行う者のことをいい、例えば、トレーニング施設のインストラクター、スポーツトレーナー、コーチ、柔道整復師、理学療法士などが含まれる。また、「画像」は、静止画像、動画像のいずれであってもよい。静止画像には、動画像を構成するフレームの１つを切り出したものや、例えば、３秒の動画像から３００ミリ秒毎に１０枚のフレームを切り出し、切り出した１０枚のフレームを時系列に並べたもののように、動画像を構成するフレームの複数を切り出し並べたものも含まれる。

［姿勢評価システム］
以下では、本発明の実施の形態として、被評価者の姿勢の状態の評価を行う、少なくとも一つのコンピュータ装置を備える姿勢評価システムを例示して説明をする。本発明の実施の形態の姿勢評価システムは、１の被評価者の姿勢を示す第１画像と、他の姿勢を示す第２画像とを表示する姿勢表示手段と、第１画像と第２画像の表示位置を切り替える表示位置切替手段とを備える。

本実施の形態にかかる姿勢評価システムによれば、例えば、トレーナーや被評価者自身によって、被評価者の撮像された画像を種々の対象と比較することができる。また、比較する際の画像の表示位置を切り換えることによって、被評価者の姿勢を適切に把握することができる。その結果、被評価者に適したアドバイス等を提供することが可能となる。

図１は、本発明の実施の形態にかかるコンピュータ装置の構成を示すブロック図である。コンピュータ装置１は、制御部１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、記憶部１３、サウンド処理部１４、センサ部１６、グラフィックス処理部１８、表示部１９、通信インタフェース２０、インタフェース部２１、及びカメラ部２３を少なくとも備え、それぞれ内部バスにより接続されている。

コンピュータ装置１は、ユーザ（例えば、トレーナー又は被評価者）が操作するための端末である。コンピュータ装置１としては、例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、携帯電話、ＰＤＡ、サーバ装置等が挙げられるが、これに限定されない。コンピュータ装置１は、通信ネットワーク２を介して、他のコンピュータ装置と通信接続が可能であることが好ましい。

通信ネットワーク２としては、例えば、インターネット、有線もしくは無線の公衆電話網、有線もしくは無線ＬＡＮ、又は専用回線等、有線又は無線の公知の各種の通信ネットワークが挙げられる。

制御部１１は、ＣＰＵやＲＯＭから構成され、時間を計時する内部タイマを備えている。制御部１１は、記憶部１３に格納されたプログラムを実行し、コンピュータ装置１の制御を行う。ＲＡＭ１２は、制御部１１のワークエリアである。記憶部１３は、プログラムやデータを保存するための記憶領域である。

制御部１１は、プログラム及びデータをＲＡＭ１２から読み出して処理を行う。制御部１１は、ＲＡＭ１２にロードされたプログラム及びデータを処理することで、サウンド出力の指示をサウンド処理部１４に出力したり、描画命令をグラフィックス処理部１８に出力したりする。

サウンド処理部１４は、スピーカであるサウンド出力装置１５に接続されている。制御部１１がサウンド出力の指示をサウンド処理部１４に出力すると、サウンド処理部１４は、サウンド出力装置１５にサウンド信号を出力する。サウンド出力装置１５は、例えば、被評価者の姿勢や運動内容に関する指示、運動についてのフィードバックなどを、音声で出力することも可能である。

センサ部１６は、深度センサ、加速度センサ、ジャイロセンサ、ＧＰＳセンサ、指紋認証センサ、近接センサ、磁力センサ、輝度センサ、ＧＰＳセンサ、及び気圧センサからなる群より選択される少なくとも１以上のセンサを備えている。

グラフィックス処理部１８は、表示部１９に接続されている。表示部１９は、表示画面１９ａを備えている。また、表示部１９は、タッチ入力部１９ｂを備えていてもよい。制御部１１が描画命令をグラフィックス処理部１８に出力すると、グラフィックス処理部１８は、フレームメモリ１７に画像を展開し、表示画面１９ａに画像を表示するためのビデオ信号を出力する。タッチ入力部１９ｂは、ユーザの操作入力を受け付けるものであり、タッチ入力部１９ｂ上における指やスタイラス等による押圧や、指等の位置の移動を検知し、その座標位置の変化等を検出する。表示画面１９ａ及びタッチ入力部１９ｂは、例えば、タッチパネルのように、一体的に構成されていてもよい。グラフィックス処理部１８は、フレーム単位で１枚の画像の描画を実行する。

通信インタフェース２０は、無線又は有線により通信ネットワーク２に接続が可能であり、通信ネットワーク２を介してデータを送受信することが可能である。通信ネットワーク２を介して受信したデータは、ＲＡＭ１２にロードされ、制御部１１により演算処理が行われる。

インタフェース部２１には、入力部２２（例えば、マウスやキーボード等）が接続され得る。ユーザによる入力部２２からの入力情報は、ＲＡＭ１２に格納され、制御部１１は、入力情報をもとに各種の演算処理を実行する。

カメラ部２３は、被評価者を撮像するものであり、例えば、被評価者の静止状態及び／又は動作状態における姿勢や、被評価者が運動を実施している様子などを撮像する。カメラ部２３により撮像された画像は、グラフィックス処理部１８に出力される。なお、カメラ部２３はコンピュータ装置１に備えられていなくても良く、例えば、外部の撮像装置によって撮像した画像を取り込むことで、被評価者を撮像した画像を取得しても良い。

［姿勢表示手段］
次に、本発明の実施の形態にかかる、姿勢表示手段について説明をする。姿勢表示手段は、１の被評価者の姿勢を示す第１画像と、他の姿勢を示す第２画像とを、表示画面に表示する。「他の姿勢」とは、第１画像に示される１の被評価者の姿勢とは異なる姿勢のことをいい、例えば、基準となる姿勢、１の被評価者とは別の被評価者の姿勢、１の被評価者の姿勢であって、第１画像とは異なる時点における姿勢などが含まれる。「基準となる姿勢」とは、理想の姿勢又は運動時における基準となる仮想骨格を有する姿勢をいい、手本となるアスリートなどの別の被評価者の姿勢や、アバターや仮想骨格などのキャラクタの姿勢により表現される。

［表示位置切替手段］
本発明の実施の形態にかかる、表示位置切替手段について説明をする。図２は、本発明の実施の形態にかかる表示画面の一例を表す図である。表示位置切替手段は、第１画像と第２画像の表示位置を切り替える。「表示位置」とは、表示画面における画像が表示される位置のことをいい、例えば、図２（ａ）に示すように、第１画像３０ａと第２画像３１ａとが表示画面１９ａにおいて左右に並んだ位置と、図２（ｂ）に示すように、第１画像３０ａと第２画像３１ａとが表示画面１９ａにおいて上下に並んだ位置と、図２（ｃ）に示すように、第１画像３０ａと第２画像３１ａとが表示画面１９ａにおいて重ねられた位置（以下において、「重畳」ということがある）などが含まれる。

図２（ａ）～図２（ｃ）に示されるいずれの表示位置においても、第１画像３０ａと第２画像３１ａとは同一のサイズであることが好ましい。また、図２（ａ）に示すように、第１画像３０ａと第２画像３１ａとが表示画面１９ａにおいて左右に並んだ位置に表示される場合、第１画像３０ａと第２画像３１ａとは、各画像の上辺と底辺との位置が揃っていることが好ましい。また、図２（ｂ）に示すように、第１画像３０ａと第２画像３１ａとが表示画面１９ａにおいて上下に並んだ位置に表示される場合、第１画像３０ａと第２画像３１ａとは、各画像の両端の位置が揃っていることが好ましい。

上記の例では、第１画像３０ａと第２画像３１ａとが左右に並んだ位置に表示される場合、第１画像３０ａを表示画面１９ａの左側に表示した例を示したが、本実施の形態には、第１画像３０ａが表示画面１９ａの右側に表示される態様も含まれる。同様に、第１画像３０ａと第２画像３１ａとが上下に並んだ位置に表示される場合、第１画像３０ａが第２画像３１ａの下側に表示される態様も含まれる。

図３は、本発明の実施の形態にかかる表示位置切替処理のフローチャートを示す図である。まず、ユーザ（例えば、トレーナー又は被評価者）は、コンピュータ装置１にインストールされた専用のアプリケーション（以下、専用アプリ）を起動する。専用アプリ内には、被評価者の姿勢を示す画像、及び、他の姿勢を示す画像が保存されており、ユーザは、保存された画像の中から、表示画面に表示する第１画像と第２画像を選択する。次に、ユーザは、表示画面に表示された表示位置の選択ボタンのいずれかを選択する。ここでは、表示画面には、左右ボタン、上下ボタン、重畳ボタンの３つが表示画面に表示されていることとする。

ユーザが、左右ボタンを選択すると（ステップＳ１）、第１画像と第２画像とが表示画面において左右に並んだ位置に表示されるように位置が切り替えられる（ステップＳ４）。一方、ユーザが、上下ボタンを選択すると（ステップＳ２）、ステップＳ４において、第１画像と第２画像とが表示画面において上下に並んだ位置に表示されるように位置が切り替えられる。或いは、ユーザが、重畳ボタンを選択すると（ステップＳ３）、ステップＳ４において、第１画像と第２画像とが表示画面において重ねられた位置に表示されるように位置が切り替えられる。

第１画像と第２画像とが、ステップＳ４において切り替えられた位置関係で表示画面上に表示され（ステップＳ５）、表示位置切替処理は終了する。

表示位置切替処理において、ユーザによる表示位置の選択ボタンの選択は、例えば、タッチパネルなどの、タッチ入力部１９ｂを備えた表示画面１９ａに、「左右」、「上下」、「重畳」の選択肢を表示させ、ユーザが選択肢をタッチすることにより実行させることができる。また、ユーザが第１画像と第２画像とを左右に並べるように移動させた場合に「左右」が選択されたものとし、第１画像と第２画像とを上下に並べるように移動させた場合に「上下」が選択されたものとし、第１画像と第２画像とを重なりあうように移動させた場合に「重畳」の表示位置が選択されたものとしてもよい。

また、表示位置の切り替えは、第１画像と第２画像が選択、及び／又は表示されている間であれば、いつでも行えることが好ましい。

［画像重畳処理］
図２（ｃ）に示すように第１画像３０と第２画像３１とが表示画面１９ａにおいて重ねられた位置に表示される場合の処理について、図４を参照し、以下に詳述する。図４は、本発明の実施の形態にかかる画像重畳処理のフローチャートを示す図である。ステップＳ３において、ユーザが、重畳ボタンを選択すると、透明度変化手段は、第１画像及び／又は第２画像の透明度を変化させる（ステップＳ１１）。透明度変化手段により少なくとも一方の透明度を変化させた第１画像及び第２画像は、重ね合わせた位置に表示されるように表示位置が切り替えられ（ステップＳ１２）、表示画面上に表示され（ステップＳ１３）、画像重畳処理は終了する。

ステップＳ１２は、表示位置切替処理のステップＳ４と、ステップＳ１３は、表示位置切替処理のステップＳ５と同一の処理である。表示位置切替処理において、ユーザが重畳ボタンを選択した場合には、ステップＳ３とステップＳ４の間に、ステップＳ１１が行われる。

ステップＳ１２において、第１画像及び第２画像の表示位置を重ね合わせるとは、第１画像及び第２画像のそれぞれにレイヤー（仮想的な層）が設定され、レイヤーが重ね合わせられることをいう。第１画像及び第２画像のいずれが表示画面１９ａの上層側に重ね合わされてもよい。

第１画像及び第２画像は、第１画像と第２画像の全体が重なるように重ね合わせられてもよく、第１画像に写る被評価者と第２画像に写る被評価者又はキャラクタの全身が重なるように重ね合わせられてもよい。

透明度を変化させる画像は、ユーザが選択できることとしてもよい。例えば、ユーザが第１画像と第２画像のいずれかをタッチすることで選択してもよい。或いは、例えば、表示画面に「第１画像を選択」、「第２画像を選択」などの選択肢が表示され、ユーザが該選択肢のいずれかを選択してもよい。

また、変化させる透明度の度合いは、選択する画像の長押しや、表示位置切替処理において表示される重畳ボタンの長押しなどの、ユーザによるタッチ入力部へのタッチ時間の長さに比例して変化するようにしてもよい。或いは、ユーザが透明度の数値を選択することで、画像の透明度が変化するようにしてもよい。

このように第１画像と第２画像との表示位置をユーザの選択により切り替えて表示できることで、被評価者のとる姿勢又は運動に合わせて、第１画像と第２画像とを比較しやすい表示位置を切り替えることが可能となる。その結果、第１画像と第２画像に表示された人又はキャラクタの姿勢又は運動との比較を容易に、かつ、より正確にすることができるようになる。

被評価者の姿勢をより正しく評価するためには、被評価者の撮像された画像を種々の対象と比較する際に、被評価者の画像と、比較対象となる画像との関係が重要である。例えば、被評価者の画像と、比較対象となる画像の傾きや大きさが同一でない場合には、被評価者の画像と、比較対象となる画像を並べて表示しても、正しく評価することは困難である。以下、重力方向に対する傾き補正処理、身体部位の向きに基づく傾き補正処理、及びサイズ補正処理について説明する。

［重力方向に対する傾き補正処理］
図５は、本発明の実施の形態にかかる表示画面の一例を表す図である。図５（ａ）は、第１画像３０ｂと第２画像３１ｂの重力方向に対する傾きが異なる場合を示している。このような場合、図５（ｂ）に示すように、第１画像３０ｂと第２画像３１ｂの重力方向に対する傾きを同一にすることとで、被評価者の姿勢をより正しく評価できるようになる。以下、重力方向に対する傾きを同一に補正する処理について詳述する。

第１画像及び第２画像が、重力方向に対する傾きが同一となるように画像の傾きを補正する処理は、各画像における重力方向に対する傾きを特定し、特定した傾きが同一となるように補正する処理とすることができる。

図６は、本発明の実施の形態にかかる傾き補正処理のフローチャートである。傾き補正処理は、まず、第１画像の重力方向に対する傾きが特定される（ステップＳ２１）。次に、第２画像の重力方向に対する傾きが特定される（ステップＳ２２）。特定された第１画像の重力方向に対する傾きと第２画像の重力方向に対する傾きを比較し、各画像の重力方向に対する傾きが同一である場合は（ステップＳ２３にてＹＥＳ）、傾き補正は行われず、第１画像と第２画像とが表示され（ステップＳ２５）、傾き補正処理は終了する。

一方、ステップＳ２３において、各画像の重力方向に対する傾きが同一でない場合は（ステップＳ２３にてＮＯ）、重力方向に対する傾きが同一になるように補正が行われ（ステップＳ２４）、第１画像と第２画像とが表示され（ステップＳ２５）、傾き補正処理は終了する。

ステップＳ２５は、表示位置切替処理のステップＳ５と同一の処理であることとしてもよい。ステップＳ２５がステップＳ５と同一の処理である場合、ステップＳ２１～Ｓ２４は、ステップＳ５の前に行われればよく、例えば、表示位置切替処理のステップＳ１、２、又は３とステップＳ４との間に行われ得る。

各画像の重力方向に対する傾きを特定する方法は特に限定されず、公知の方法を用いることができる。例えば、画像を撮影するカメラなどの撮影手段に備えられたジャイロセンサにより検知される重力方向に対する傾きデータにより特定したり、地面など画像内における特定の対象物の傾き角を基準に特定したり、画像データから、所定のコンピュータプログラムに従って、或いは、ＡＩによる処理により傾きを特定したりすることができる。

各画像の重力方向に対する傾きを補正する方法は特に限定されず、公知の方法を用いることができる。例えば、カメラなどの撮影手段により撮像する画像がャイロセンサにより検知される重力方向に対する傾きデータを有する場合には、重力方向に対する傾きが所定の角度となるように補正することができる。例えば、第１画像が重力方向に対して右に１５°傾いており、第２画像が重力方向に対して傾いていない場合には、第１画像を重力方向に対して左に１５°傾けるよう補正することができる。

また、本アプリを用いて撮像する場合には、撮像した画像が保存される際に、画像の重力方向に対する傾きが所定の角度となるように、予め設定されていることが好ましい。

このように重力方向に対する傾きを基に画像を補正して第１画像と第２画像とを並べて表示することで、第１画像に表示された被評価者と第２画像に表示された人又はキャラクタの姿勢又は運動の比較を容易に、かつ、より正確にすることができるようになる。

［身体部位に基づく傾き補正処理］
次に、身体部位の向きを特定し、該身体部位の向きに基づいて傾きを補正する処理について説明する。身体部位の向きは、第１画像における被評価者及び第２画像における姿勢の身体部位の少なくとも２点を特定する第１特定手段と、第１特定手段により特定された点をもとに、身体部位の向きを特定する向き特定手段により特定される。

第１特定手段において、特定対象となる身体部位としては、例えば、頭部、胸郭部、骨盤部などがあげられるが、その他の身体部位が点の特定対象として含まれていてもよい。第１特定手段では、それぞれの身体部位において、少なくとも２点を特定する。この２点は、身体部位の向き（傾き）を特定するために用いられるもので、身体部位ごとに、身体のどの部分を所定の２点とするかについて、予め定められていることが好ましい。

図７は、本発明の実施の形態にかかる身体部位の点を特定する一例を表す図である。図７は、クライアントの身体を正面方向から表した図である。ここで、正面方向とは、人の顔が見え、人の身体が左右対称に視認できる方向をいう。

身体４０には、頭部４１、胸郭部４２、骨盤部４３が含まれる。正面方向の場合、例えば、頭部４１については両目の中心４４ａ、４４ｂを、胸郭部４２については両肩の肩鎖関節４５ａ、４５ｂ（例えば、鎖骨と肩甲骨の連結部に相当する箇所、つまり該連結部に最も近いと想定される箇所）を、骨盤部４３については骨盤の左右の上前腸骨棘４６ａ、４６ｂ（骨盤の左右方向に最も突出した点に最も近いと想定される箇所）を、所定の２点とすることができる。

図８は、本発明の実施の形態にかかる身体部位の点を特定する一例を表す図である。図８は、クライアントの身体４０を側面方向から表した図である。ここで、側面方向とは、正面方向に垂直で、且つ、水平面に平行な方向をいい、人の身体の左右のいずれかの方向のことをいう。

身体４０には、頭部４１、胸郭部４２、骨盤部４３が含まれる。側面方向の場合、例えば、頭部４１については眉間４７ａ、顎の頂部４７ｂを、胸郭部４２については胸骨柄に相当する箇所４８ａ（胸骨柄に最も近いと想定される箇所）、第十肋骨下縁に相当する箇所４８ｂ（第十肋骨下縁に最も近いと想定される箇所）を、所定の２点とすることができる。また、骨盤部４３については、上前腸骨棘に相当する箇所４９ａ（腸骨に最も近いと想定される箇所）及び第二仙骨棘突起４９ｂを、所定の２点とすることができる。

身体部位の点を特定する際には、ユーザがタッチパネルに指でタッチ操作をして点を特定することができるが、例えば、タッチパネルにスタイラスでタッチ操作をして点を特定してもよいし、ユーザが入力部２２を操作して画像上でカーソルを所望の点まで移動させることで点を特定してもよい。また、ユーザによる操作により身体部位の点を特定する方法とは別に、画像データから、所定のコンピュータプログラムに従って、或いは、ＡＩによる処理により、身体部位の所定の２点を自動的に特定する方法を採用してもよい。

次に、身体部位ごとに特定された２点をもとに、身体部位ごとにその向きを特定する。例えば、胸郭部について、両肩の肩鎖関節４５ａ及び４５ｂを特定した場合は、４５ａ及び４５ｂの２点間を結ぶ線分を用いて、身体部位の向きを表すことができる。この場合、向き特定手段では、２点間を結ぶ線分と、画像中の水平面と垂直な直線又は水平面と平行な直線とにより形成される角度や、いずれか１点を起点として他方を終点とするベクトルなどのパラメータで、身体部位の向きを特定することができる。

また、例えば、頭部について、眉間４７ａ、顎の頂部４７ｂを特定した場合は、２点間を結ぶ線分の法線を用いて、身体部位の向きを表すことができる。この場合、向き特定手段では、２点間を結ぶ線分の法線と、画像中の水平面と垂直な直線又は水平面と平行な直線とにより形成される角度や、２点間を結ぶ線分の法線ベクトルなどのパラメータで、身体部位の向きを特定することができる。

第１画像における身体部位の向きと、第２画像における身体部位の向きとが特定されると、姿勢表示手段により、各画像における特定した身体部位の向きが、表示する画像において同じ向きとなるように画像が表示される。該画像の表示は、表示位置切替処理のステップＳ５と同一の処理であることとしてもよい。該画像の表示がステップＳ５と同一の処理である場合、各画像における身体部位の向きの特定は、ステップＳ５の前に行われればよく、例えば、表示位置切替処理のステップＳ１、２、又は３とステップＳ４との間に行われ得る。

身体部位の向きを基に画像を補正して第１画像と第２画像とを並べて表示することで、第１画像に表示された被評価者と第２画像に表示された人又はキャラクタの体格が異なる場合であっても、姿勢又は運動の比較をすることができるようになる。

［サイズ補正処理］
図９は、本発明の実施の形態にかかる表示画面の一例を表す図である。図９に示すように、表示画面１９ａにおいて、第１画像３０ｃに表示された被評価者３２と第２画像３１ｃに表示されたキャラクタ３３の画像における大きさが異なる場合の比較について、以下に説明する。このような場合、第１画像３０ｃに表示された被評価者３２と第２画像３１ｃに表示されたキャラクタ３３の、画像における大きさが同一となるように補正することとで、被評価者の姿勢をより正しく評価できる。そのためには、第１画像３０ｃに表示された被評価者３２と第２画像３１ｃに表示されたキャラクタ３３の、各画像における身体部位の所定の２点を特定し、特定した所定の２点の長さを同一となるように補正する処理を行うことができる。

図１０は、本発明の実施の形態にかかるサイズ補正処理のフローチャートである。サイズ補正処理は、まず、第１画像に表示された被評価者の身体部位の所定の２点を特定する（ステップＳ３１）。次に、第２画像に表示されたキャラクタの身体部位の所定の２点を特定する（ステップＳ３２）。

図９においては、例えば、ステップＳ３１において、被評価者の天頂部５０ａと踵５１ａとが、第１画像に表示された被評価者の身体部位の所定の２点として特定される。また、図９においては、例えば、ステップＳ３２において、キャラクタの天頂部５０ｂと踵５１ｂとが、第２画像に表示されたキャラクタの身体部位の所定の２点として特定される。

身体部位の所定の２点は、第１画像と第２画像とにおける身体部位の位置が同じであれば、身体部位のいずれの位置を選択してもよい。例えば、第１画像と第２画像に示される被評価者／キャラクタの姿勢が、立位や水泳などの動作における一部である場合は、天頂部と踵部の2点を身体部位の所定の２点として特定し、ゴルフなどの動作における一部である場合は、天頂部と骨盤部の2点を身体部位の所定の２点として特定すればよい。

図１０のサイズ補正処理のフローチャートに戻る。サイズ補正処理は、次に、第１画像に表示された被評価者の所定の２点の長さを特定する（ステップＳ３３）。そして、第２画像に表示されたキャラクタの所定の２点の長さを特定する（ステップＳ３４）。

図９においては、例えば、ステップＳ３３において、被評価者の天頂部５０ａから踵５１ａまでの長さが、第１画像に表示された被評価者の所定の２点の長さとして特定される。また、図９においては、例えば、ステップＳ３４において、キャラクタの天頂部５０ｂから踵５１ｂまでの長さが、第２画像に表示されたキャラクタの所定の２点の長さとして特定される。

ステップＳ３３、及びＳ３４において特定された、第１画像に表示された被評価者の所定の２点の長さと第２画像に表示されたキャラクタの所定の２点の長さを比較し、両者の所定の２点の長さが同一である場合は（ステップＳ３５にてＹＥＳ）、大きさは補正されずに、第１画像と第２画像とが表示され（ステップＳ３７）、サイズ補正処理は終了する。

ステップＳ３１、及びＳ３２において特定された、第１画像に表示された被評価者の所定の２点の長さと第２画像に表示されたキャラクタの所定の２点の長さが同一でない場合は（ステップＳ３５にてＮＯ）、第１画像３０に表示された被評価者３２と第２画像３１に表示されたキャラクタ３３の、画像における大きさが同一となるように補正され（ステップＳ３６）、第１画像と第２画像とが表示され（ステップＳ３７）、サイズ補正処理は終了する。

ステップＳ３６において、第１画像３０に表示された被評価者３２と第２画像３１に表示されたキャラクタ３３の、画像における大きさが同一となるように補正される場合、画像における大きさが同一となる補正に加えて、表示画面に被評価者３２とキャラクタ３３との全身が表示されるように補正されるものとしてもよい。この場合、例えば、コンピュータ装置が、種々の身体部位と全身のサイズの相関について所定の対応テーブルを記憶しており、該対応テーブルに基づいて、特定された身体部位から全身のサイズを予測して、第１画像３０に表示された被評価者３２と第２画像３１に表示されたキャラクタ３３の、画像における大きさを決定すればよい。

ステップＳ３７は、表示位置切替処理のステップＳ５と同一の処理であることとしてもよい。ステップＳ３７がステップＳ５と同一の処理である場合、ステップＳ３１～Ｓ３６は、ステップＳ５の前に行われればよく、例えば、表示位置切替処理のステップＳ１、２、又は３とステップＳ４との間に行われ得る。

例えば、ステップＳ３３において特定された第１画像に表示された被評価者の所定の２点の長さが、ステップＳ３４において特定された第２画像に表示されたキャラクタの所定の２点の長さの２分の１であった場合には、ステップＳ３６において、第１画像に表示された被評価者の大きさが、補正前の２倍となるように補正される。

上記のサイズ補正処理の説明において、サイズ補正は、各画像における身体部位の所定の２点を特定し、特定した所定の２点の長さを同一となるように補正するものとしたが、第１画像における１の被評価者の重力方向の長さと、第２画像に表示された人又はキャラクタの重力方向の長さとが同一となるように表示させる態様としてもよい。この場合、重力方向の長さは、被評価者／キャラクタの天頂部から踵までの長さとすることができる。重力方向の長さを特定する方法は、特に限定されず、公知の方法を用いることができる。例えば、画像を撮影するカメラなどの撮影手段に備えられたジャイロセンサにより検知される重力方向に対する傾きデータを基に特定したり、地面など画像内における特定の対象物の傾き角を基準に特定したり、画像データから、所定のコンピュータプログラムに従って、或いは、ＡＩによる処理により特定したりすることができる。

上記のサイズ補正処理の説明において、第２画像にはキャラクタが表示されたものとしたが、他の被評価者などであってもよい。所定の２点の長さを基に画像を補正して第１画像と第２画像とを並べて表示することで、第１画像に表示された被評価者と第２画像に表示された人又はキャラクタの姿勢又は運動の比較を容易に、かつ、より正確にすることができるようになる。

上記のサイズ補正処理の前後のいずれかに、傾き補正処理を実行するものとしてもよい。傾き補正処理は本明細書に記載の処理により実行することができる。画像における傾きが補正されたうえで、所定の２点の長さを基に画像を補正して第１画像と第２画像とを並べて表示することで、第１画像に表示された被評価者と第２画像に表示された人又はキャラクタの姿勢又は運動の比較を容易に、かつ、より正確にすることができるようになる。

［同期補正］
以下では、各表示位置における第１画像及び第２画像が動画像の場合の、第１画像及び第２画像の比較について、被評価者が運動としてランニングを実施する場合を例に説明する。この場合、第１画像における被評価者の動作と、第２画像に表示された人又はキャラクタの動作が同種のものとする。

図１１は、本発明の実施の形態にかかる動画再生処理のフローチャートである。動画再生処理は、まず、第１画像及び第２画像のそれぞれの第一の所定の時点を対応させる（ステップＳ４１）。ランニングの動画像の場合、第一の所定の時点とは、例えば、動画像において、被評価者及び人又はキャラクタの右足の踵が最初に接地した時点とすることができる。

次に、第１画像及び第２画像のそれぞれの第二の所定の時点が特定される（ステップＳ４２）。ランニングの動画像の場合、第二の所定の時点とは、例えば、動画像において、被評価者及び人又はキャラクタの右足の踵が最初に接地した後、左足の踵が最初に接地した時点とすることができる。

そして、第１画像及び第２画像の第一の所定の時点である開始点から、第二の所定の時点までの動画像の再生が行われる（ステップＳ４３）。第１画像の第一の所定の時点から第二の所定の時点までの時間と、第２画像の第一の所定の時点から第二の所定の時点までの時間とが同じである場合は（ステップＳ４４にてＹＥＳ）、所定の条件を満たすまで、ステップＳ４３の動画像の再生が繰り返し行われる。

一方、第１画像の第一の所定の時点から第二の所定の時点までの時間と、第２画像の第一の所定の時点から第二の所定の時点までの時間とが異なる場合は（ステップＳ４４にてＮＯ）、再生中の第１画像及び第２画像のうち、第一の所定の時点である開始点から第二の所定の時点までの時間が短い方の画像を、第二の所定の時点で停止させる（ステップＳ４５）。そして、所定の条件を満たすまで、ステップＳ４３～Ｓ４５の動画像の再生が繰り返し行われる。

所定の条件が満たされた場合、動画再生処理は終了する。所定の条件とは、例えば、動画の再生が所定の回数が繰り返されること、ユーザにより停止操作が入力されることなどである。

上記においては、第１画像及び第２画像の第一の所定の時点から第二の所定の時点までを繰り返し再生する態様において、ステップＳ４４にてＮＯの場合は、再生中の第１画像及び第２画像のうち、第一の所定の時点である開始点から第二の所定の時点までの時間が短い方の画像を、第二の所定の時点で停止させる（ステップＳ４５）態様について記載したが、ステップ４５にて再生中の第１画像及び第２画像のうちの一方を停止させずに、第１画像及び第２画像の第一の所定の時点である開始点から第二の所定の時点までの再生時間が同一になるように再生速度を調整し、その後、所定の条件を満たすまで、ステップＳ４３～Ｓ４５の動画像の再生が繰り返し行われる態様としてもよい。再生速度の調整は、フレームレートにより再生速度を調整する方法や、フレームレートは同じで、再生するフレーム数を増減する方法など、公知の方法で実行することができる。フレームレートにより再生速度を調整する方法は、例えば、３０ｆｐｓのフレームレートの動画像を、１５ｆｐｓのフレームレートに変更して再生したり、６０ｆｐｓのフレームレートに変更して再生する方法である。再生するフレーム数を増減する方法は、例えば、フレームレートは同じで、表示するフレームを周期的に抽出して表示する処理によりフレーム数を減らして再生したり、フレームレートは同じで、再生するフレームの数を増やす、つまり、一部は同じ画像を再生する方法であり、０．５倍速の場合であれば、同じ画像を２回再生して次の画像を再生する方法により調整することができる。

上記においては、第１画像及び第２画像の第一の所定の時点から第二の所定の時点までを繰り返し再生する態様について記載したが、ステップＳ４２の第二の所定の時点の特定は行われず、ステップＳ４１において第一の所定の時点の対応がされ、第一の所定の時点を開始点として、第１画像及び第２画像の再生が行われる態様としてもよい。

或いは、繰り返し再生は行われず、ステップＳ４１～Ｓ４３までの、第１画像及び第２画像の第一の所定の時点である開始点から、第二の所定の時点までの動画像の再生が行われる態様としてもよい。

また、第１画像と第２画像の動画像を構成する複数のフレーム（画像）のそれぞれに対して、傾き補正処理やサイズ補正処理が実行されることとしてもよい。このような補正処理は、プログラムにより再生時に自動的に実行されるような構成とすることができる。

第１画像及び第２画像が動画像の場合に、上記のように各画像の所定の第一の時点を開始点として同期しつつ動画像を再生することで、第１画像に表示された被評価者と第２画像に表示された人又はキャラクタの姿勢又は運動の比較を容易に、かつ、より正確にすることができるようになる。

また、各画像の所定の第一の時点を開始点として同期しつつ、所定の第二の時点までを繰り返し再生する場合において、所定の第一の時点から所定の第二の時点までの時間の短い方の画像を他方の第二の時点まで停止するように再生したり、所定の第一の時点から所定の第二の時点までの再生時間が同一となるように再生速度を調整した動画像を再生することで、繰り返しの再生において、常に、第１画像及び第２画像開始点のタイミングを同じくすることができる。その結果、第１画像に表示された被評価者と第２画像に表示された人又はキャラクタの姿勢又は運動の比較を容易に、かつ、より正確にすることができるようになる。

［姿勢評価システムの構成］
上記本実施の形態において、姿勢評価システムは少なくとも一つのコンピュータ装置において実行される形態として説明したが、本実施の形態の姿勢評価システムは、ユーザが操作するコンピュータ装置と、該コンピュータ装置と通信により接続可能なサーバ装置とにおいても実現され得る。

１ コンピュータ装置
２ 通信ネットワーク
３ サーバ装置
４ システム
１１ 制御部
１２ ＲＡＭ
１３ 記憶部
１４ サウンド処理部
１５ サウンド出力装置
１６ センサ部
１７ フレームメモリ
１８ グラフィックス処理部
１９ 表示部
２０ 通信インタフェース
２１ インタフェース部
２２ 入力部
２３ カメラ部
３０ａ，３０ｂ，３０ｃ 第１画像
３１ａ，３１ｂ，３１ｃ 第２画像
３２ 被評価者
３３ キャラクタ
４０ 身体
４１ 頭部
４２ 胸郭部
４３ 骨盤部

Claims (15)

1. 少なくとも一つのコンピュータ装置を備える姿勢評価システムであって、
   １の被評価者の姿勢を示す第１画像と、他の姿勢を示す第２画像とを表示する姿勢表示手段と、
   第１画像と第２画像の表示位置を切り替える表示位置切替手段と
   を備える、姿勢評価システム。
2. 第２画像が、基準となる姿勢を示すものである、請求項１に記載の姿勢評価システム。
3. 第２画像が、第１画像とは異なる時点における１の被評価者の姿勢を示す画像である、
   請求項１に記載の姿勢評価システム。
4. 表示位置切替手段が、第１画像及び第２画像の表示位置が上下に並べて表示する表示位置と、第１画像及び第２画像の表示位置が左右に並べて表示する表示位置とに切り替え可能である、
   請求項１～３のいずれかに記載の姿勢評価システム。
5. 第１画像及び／又は第２画像の透明度を変化させる透明度変化手段を備え、
   表示位置切替手段が、
   透明度変化手段により少なくとも一方の透明度を変化させた第１画像及び第２画像の表示位置を、重ね合わせて表示する表示位置に切り替え可能である、
   請求項１～４のいずれかに記載の姿勢評価システム。
6. 第１画像及び第２画像が動画像であり、第１画像における被評価者の動作と、第２画像に表示された人又はキャラクタの動作が同種のものである場合に、第１画像及び第２画像のそれぞれの第一の所定の時点を対応させる画像対応付け手段と、
   第一の所定の時点を開始時点として同期させつつ、第１画像及び第２画像を再生する画像再生手段と
   を備える、請求項１～５のいずれかに記載の姿勢評価システム。
7. 第１画像及び第２画像のそれぞれの第二の所定の時点を特定する第二時点特定手段を備え、
   動画再生手段が、第１画像及び第２画像の第一の所定の時点から第二の所定の時点までの動画像を再生するものである、
   請求項６に記載の姿勢評価システム。
8. 動画再生手段が、第１画像及び第２画像の第一の所定の時点から第二の所定の時点までの動画像を再生するものであり、第１画像の第一の所定の時点から第二の所定の時点までの時間と、第２画像の第一の所定の時点から第二の所定の時点までの時間とが異なる場合に、一方の第二の所定の時点に到達するまで、他方の動画像を第二の所定の時点で停止させる、
   請求項７に記載の姿勢評価システム。
9. 動画再生手段が、第１画像及び第２画像の第一の所定の時点から第二の所定の時点までの動画像を再生するものであり、第１画像の第一の所定の時点から第二の所定の時点までの時間と、第２画像の第一の所定の時点から第二の所定の時点までの時間とが異なる場合に、第１画像及び第２画像の第一の所定の時点から第二の所定の時点までの再生時間が同一になるように再生速度を調整した動画像を再生する、
   請求項７に記載の姿勢評価システム。
10. 第１画像及び第２画像が、重力方向に対する傾きが同一となるよう補正された画像である、
    請求項１～９のいずれかに記載の姿勢評価システム。
11. 画像表示手段が、
    第１画像及び第２画像を表示画面に表示させるものであり、
    第１画像における被評価者及び第２画像における姿勢の身体部位の所定の２点を特定する部位特定手段と、
    部位特定手段により特定された点をもとに、第１画像における１の被評価者の所定の２点の長さと、第２画像に表示された人又はキャラクタの所定の２点の長さとが同一となるように表示するサイズ調整手段と
    を備える、請求項１～１０のいずれかに記載の姿勢評価システム。
12. 第１画像における被評価者及び第２画像における姿勢の身体部位の少なくとも２点を特定する第１特定手段と、
    第１特定手段により特定された点をもとに、身体部位の向きを特定する向き特定手段と
    を備え、
    姿勢表示手段が、
    第１画像における身体部位の向きと、第２画像における身体部位の向きとが、表示する画像において同じ向きとなるように画像を表示する、
    請求項１～１１のいずれかに記載の姿勢評価システム。
13. コンピュータ装置において実行される姿勢評価プログラムであって、
    コンピュータ装置を、
    １の被評価者の姿勢を示す第１画像と、他の姿勢を示す第２画像とを表示する姿勢表示手段と、
    第１画像と第２画像の表示位置を切り替える表示位置切替手段
    として機能させる、姿勢評価プログラム。
14. コンピュータ装置において実行される姿勢評価方法であって、
    １の被評価者の姿勢を示す第１画像と、他の姿勢を示す第２画像とを表示する姿勢表示ステップと、
    第１画像と第２画像の表示位置を切り替える表示位置切替ステップと
    を有する、姿勢評価方法。
15. １の被評価者の姿勢を示す第１画像と、他の姿勢を示す第２画像とを表示する姿勢表示手段と、
    第１画像と第２画像の表示位置を切り替える表示位置切替手段と
    を備える、姿勢評価装置。

Images