JP2022129532A - Exercise support program - Google Patents
Exercise support program Download PDFInfo
- Publication number
- JP2022129532A JP2022129532A JP2021028235A JP2021028235A JP2022129532A JP 2022129532 A JP2022129532 A JP 2022129532A JP 2021028235 A JP2021028235 A JP 2021028235A JP 2021028235 A JP2021028235 A JP 2021028235A JP 2022129532 A JP2022129532 A JP 2022129532A
- Authority
- JP
- Japan
- Prior art keywords
- video
- exercise
- training
- user
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 claims abstract description 207
- 230000033001 locomotion Effects 0.000 claims abstract description 74
- 238000004458 analytical method Methods 0.000 claims abstract description 34
- 238000009826 distribution Methods 0.000 claims abstract description 19
- 210000003205 muscle Anatomy 0.000 claims description 48
- 230000037237 body shape Effects 0.000 claims description 47
- 230000008451 emotion Effects 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 33
- 230000002093 peripheral effect Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 21
- 238000003860 storage Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 235000019633 pungent taste Nutrition 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008450 motivation Effects 0.000 description 4
- 206010016352 Feeling of relaxation Diseases 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
本発明は、運動支援プログラムに関し、特に、ユーザによる端末装置を用いた運動のトレーニングを支援する運動支援装置のためのプログラムに関する。 TECHNICAL FIELD The present invention relates to an exercise assistance program, and more particularly to a program for an exercise assistance device that assists a user in exercise training using a terminal device.
近時の感染症の広がりにより、三密や感染を避けるために、従前のように、フィットネスジムに通うことが難しくなり、自宅でのちょっとした合間に、手軽に運動ができるソリューションの提供が望まれている。このようなソリューションの一つとして、スマートフォンを用いることで、所望する手本となるトレーニング映像とユーザの動きとをディスプレイ上で見比べることを可能にする技術が提案されている（例えば、特許文献１参照）。 Due to the recent spread of infectious diseases, it has become difficult to go to fitness gyms as before in order to avoid the three Cs and infections. ing. As one of such solutions, a technology has been proposed that enables users to visually compare a desired model training video and the user's movement on a display using a smartphone (for example, Patent Document 1). reference).
しかしながら、特許文献１の技術によれば、手本となるトレーニング映像とユーザの動きとの差異がある程度分かるために客観的評価が可能になるものの、手本となるトレーニング映像の収集に時間がかかるという問題がある。質の高いトレーニング映像を入手するには、運動のプロ選手、インストラクター、制作会社等に依頼して作成してもらう必要があり、時間を要する。 However, according to the technique of Patent Literature 1, although the difference between the model training video and the user's movement can be recognized to some extent, objective evaluation is possible, but it takes time to collect the model training video. There is a problem. In order to obtain high-quality training videos, it is necessary to ask professional athletes, instructors, production companies, etc. to create them, which takes time.
そこで、本発明は、このような状況に鑑みてなされたものであり、効果的な運動を支援するトレーニング映像を容易に入手できる環境を提供する運動支援プログラムを提供することを目的とする。 Accordingly, the present invention has been made in view of such circumstances, and an object of the present invention is to provide an exercise support program that provides an environment in which training videos that support effective exercise can be easily obtained.
上記目的を達成するために、本発明の一形態に係る運動支援プログラムは、ユーザによる第１端末装置を用いた運動のトレーニングを支援する運動支援装置が備えるコンピュータによって実行されるプログラムであって、指導者による手本となる運動を示す指導者映像を取得し、取得した前記指導者映像から手本となるトレーニング映像を生成するトレーニング映像生成ステップと、生成した前記トレーニング映像を前記第１端末装置に配信するトレーニング映像配信ステップと、前記第１端末装置に配信された前記トレーニング映像に合わせて運動する前記ユーザの動きを示す訓練者映像を取得する訓練者映像取得ステップと、取得した前記訓練者映像が示す前記ユーザの動きと、前記トレーニング映像に対応する前記指導者映像が示す動きとの差異を示す差異データを含む手本データを生成する運動解析ステップと、生成された前記手本データを前記第１端末装置に配信する手本データ配信ステップとを含む。 To achieve the above object, an exercise assistance program according to one aspect of the present invention is a program executed by a computer provided in an exercise assistance device for assisting a user in exercise training using a first terminal device, comprising: a training video generation step of acquiring a trainer video showing a model exercise by a trainer and generating a training video to be a model from the acquired trainer video; and transmitting the generated training video to the first terminal device. a trainee video acquiring step of acquiring a trainee video showing the movement of the user exercising in accordance with the training video delivered to the first terminal device; and the acquired trainee a motion analysis step of generating model data including difference data indicating a difference between the movement of the user shown by the video and the movement shown by the instructor video corresponding to the training video; and a model data delivery step of delivering to the first terminal device.
本発明により、効果的な運動を支援するトレーニング映像を容易に入手できる環境を提供する運動支援プログラムが提供される。 The present invention provides an exercise support program that provides an environment in which training videos that support effective exercise can be easily obtained.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本発明を限定する主旨ではない。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. It should be noted that each of the embodiments described below is a specific example of the present invention. Numerical values, shapes, materials, components, arrangement positions and connection forms of components, steps, order of steps, and the like shown in the following embodiments are examples and are not intended to limit the present invention. Also, each figure is not necessarily strictly illustrated. In each figure, substantially the same configurations are denoted by the same reference numerals, and overlapping descriptions are omitted or simplified.
図１は、実施の形態に係る運動支援システム１０の全体構成図である。運動支援システム１０は、ユーザによる運動のトレーニングを支援するシステムであり、主要な構成要素として、通信路の一例であるインターネットを介して相互に接続される４つの装置、つまり、ユーザが宅内２０において行う運動のトレーニングを支援する第１端末装置２１と、運動のプロ選手やインストラクター等の指導者が指導者の宅内３０において行う指導のための手本となる運動を示す指導者映像を生成するための第２端末装置３１と、エクササイズサーバとなる運動支援装置４０と、多くの指導者映像を保持しており、ＹｏｕＴｕｂｅ（登録商標）等の動画共有・配信サーバとして機能するｗｅｂサイト６０とを備える。
FIG. 1 is an overall configuration diagram of an
この運動支援システム１０では、運動支援装置４０が、ｗｅｂサイト６０に置かれた指導者映像を利用してユーザのトレーニングを支援したり、ユーザの第１端末装置２１と指導者の第２端末装置３１とを接続した状態で、指導者によるユーザのトレーニングをリアルタイムで支援したりすることで、効果的な運動を支援するトレーニング映像を容易に入手できる環境を提供している。
In this
なお、上述した第１端末装置２１及び第２端末装置３１の設置場所は、一例であり、それぞれ、ユーザの宅内２０及び指導者の宅内３０に限られない。例えば、第１端末装置２１及び第２端末装置３１は、フィットネスジム等のトレーニング施設内に設置されてもよい。
The installation locations of the first
図２は、図１に示される運動支援システム１０の詳細な構成を示すブロック図である。
FIG. 2 is a block diagram showing the detailed configuration of the
ユーザの宅内２０には、第１端末装置２１と、第１端末装置２１によって制御される周辺機器（照明装置２２、音響装置２３、プロジェクタ２４、空調装置２５）とが設置されている。
A
第１端末装置２１は、例えば、スマートフォン、タブレット等の携帯端末であり、カメラ２１ａ、ディスプレイ２１ｂ、第１記憶部２１ｃ、第１制御部２１ｄを備える。ディスプレイ２１ｂは、手本となるトレーニング映像及びユーザの運動を支援するための支援映像を表示するための第１表示部の一例であり、例えば、液晶ディスプレイである。第１記憶部２１ｃは、手本となるトレーニング映像等を保持するための記憶部であり、例えば、半導体不揮発性メモリである。カメラ２１ａは、ディスプレイ２１ｂに表示されたトレーニング映像に合わせて運動するユーザの動きを検出する第１検出部の一例であり、例えば、デジタル撮像装置である。
The first
第１制御部２１ｄは、通信部２１ｅを有し、運動支援装置４０から配信される手本となるトレーニング映像を、通信部２１ｅを介して取得して第１記憶部２１ｃに格納するとともにディスプレイ２１ｂに表示（及び／又はプロジェクタ２４で表示）したり、表示したトレーニング映像に合わせて運動するユーザの動きを示す訓練者映像をカメラ２１ａで取得して運動支援装置４０に送信したり、運動支援装置４０から配信される、訓練者映像が示すユーザの動きとトレーニング映像における指導者の動きとの差異を示す差異データを含む手本データを、通信部２１ｅを介して取得したり、取得した手本データに含まれる差異データに基づいて、ユーザの運動を支援するための支援映像を生成し、生成した支援映像をディスプレイ２１ｂに表示（及び／又はプロジェクタ２４で表示）したりする。支援映像は、カメラ２１ａによる撮影で得られたユーザの動きを示す訓練者映像に対して差異データに基づく加工をした映像であり、例えば、ユーザの動きを示す映像に、差異データが示す差異を小さくする方向を示す矢印等の画像や差異を小さくするようにガイドする音声を付加した映像である。
The
この第１制御部２１ｄは、プログラム等を格納するメモリ、プログラムを実行するＣＰＵ、周辺の構成要素と接続される入出力インタフェース、通信部２１ｅ等で構成される。プログラムは、運動支援装置４０と通信路で接続され、ユーザによる運動のトレーニングを支援する第１端末装置２１が備えるコンピュータによって実行される運動支援プログラムの一例である。通信部２１ｅは、無線又は有線での通信によって、外部の機器である周辺機器（照明装置２２、音響装置２３、プロジェクタ２４、空調装置２５）、運動支援装置４０、及び、第２端末装置３１と通信する通信インタフェースであり、例えば、ＷｉＦｉ（登録商標）又は携帯電話網用の通信カードである。
The
照明装置２２は、ユーザがいる空間を照明する装置であり、例えば、シーリングライト等のＬＥＤ照明装置であり、第１端末装置２１による制御の下で、トレーニング映像又は支援映像に連動して調光及び調色を行うことでユーザの運動意欲を増進させる演出効果を発揮する機器として使用してもよい。
The
音響装置２３は、ユーザがいる空間に楽曲等の音を提供するスピーカであり、第１端末装置２１による制御の下で、トレーニング映像又は支援映像に含まれる音声を再生することでユーザの運動意欲を増進させるための演出効果を発揮する機器として使用される。
The
プロジェクタ２４は、第１端末装置２１が備えるディスプレイ２１ｂに代えて、あるいは、ディスプレイ２１ｂとともに、第１端末装置２１による制御の下で、手本となるトレーニング映像及び支援映像を表示するための第１表示部の一例である。同様に第１端末装置２１による制御の下で、トレーニング映像又は支援映像に連動して、ユーザの運動意欲を増進させる演出効果を発揮する機器として使用してもよい。なお、第１表示部の一例としては、ＡｉｒＰｌａｙ（登録商標）に対応したＴＶ等であってもよい。
The
空調装置２５は、ユーザがいる空間の空気を調整する装置であり、例えば、エアコン、空気清浄機、サーキュレーター、扇風機等であり、第１端末装置２１による制御の下で、ユーザが運動するのに適した室温等の環境を維持する機器として使用される。
The
なお、第１端末装置２１は、必ずしも携帯端末である必要はなく、デスクトップＰＣ等の据置型の端末装置であってもよい。また、運動支援システム１０の構成要素としては、第１端末装置２１のディスプレイ２１ｂとプロジェクタ２４の両方は必ずしも必要ではなく、いずれか一方があればよい。また、運動支援システム１０の構成要素として、カメラ２１ａは、第１端末装置２１に備えられたものに限られず、それに代えて、あるいは、それに加えて、ｗｅｂカメラ等の外付けカメラであってもよい。また、周辺機器（照明装置２２、音響装置２３、プロジェクタ２４、空調装置２５）は、それぞれが独立した別個の機器である必要はなく、例えば、照明装置２２は、音響装置２３及びプロジェクタ２４が組み込まれた一体のスマートライトであってもよい。また、周辺機器（照明装置２２、音響装置２３、プロジェクタ２４、空調装置２５）は、運動支援システム１０の構成要素としては必ずしも必須の構成要素ではない。
Note that the first
指導者の宅内３０には、第２端末装置３１と、第２端末装置３１によって制御される周辺機器（照明装置３２、音響装置３３、プロジェクタ３４、空調装置３５）とが設置されている。
A second
第２端末装置３１は、例えば、スマートフォン、タブレット等の携帯端末であり、カメラ３１ａ、ディスプレイ３１ｂ、第２記憶部３１ｃ、第２制御部３１ｄを備える。カメラ３１ａは、指導者の動きを撮影して指導者映像を生成するための撮像装置の一例であり、例えば、デジタル撮像装置である。ディスプレイ３１ｂは、カメラ３１ａで得られた指導者映像を確認するために表示するための第２表示部の一例であり、例えば、液晶ディスプレイである。第２記憶部３１ｃは、指導者映像等を一時的に保持するための記憶部であり、例えば、半導体不揮発性メモリである。
The second
第２制御部３１ｄは、通信部３１ｅを有し、カメラ３１ａ及び周辺機器（照明装置３２、音響装置３３、プロジェクタ３４、空調装置３５）を制御することで、手本となる指導者の動き及び照明・音響等の演出効果を含む指導者映像を生成し、第２記憶部３１ｃに格納するとともに通信部３１ｅを介してｗｅｂサイト６０及び運動支援装置４０に送信したり、リアルタイムでユーザの運動を支援する場合に運動支援装置４０から送信されてくる差異データをディスプレイ３１ｂに表示（及び／又はプロジェクタ３４で表示）したりする。第２制御部３１ｄは、プログラム等を格納するメモリ、プログラムを実行するＣＰＵ、周辺の構成要素と接続される入出力インタフェース、通信部３１ｅ等で構成される。通信部３１ｅは、無線又は有線での通信によって、外部の機器である周辺機器（照明装置３２、音響装置３３、プロジェクタ３４、空調装置３５）、運動支援装置４０、及び、ｗｅｂサイト６０と通信する通信インタフェースであり、例えば、ＷｉＦｉ（登録商標）又は携帯電話網用の通信カードである。
The
照明装置３２は、指導者がいる空間を照明する装置であり、例えば、シーリングライト等のＬＥＤ照明装置であり、指導者映像の生成時に、第２端末装置３１による制御の下で調光及び調色を行うことで指導者の運動意欲（指導意欲）を増進させる演出効果を発揮する機器として使用してもよい。
The
音響装置３３は、指導者がいる空間に楽曲等の音を提供するスピーカであり、指導者映像の生成時に、第２端末装置３１による制御の下で楽曲等を再生することでユーザの運動意欲を増進させるための演出効果を発揮する機器として使用される。 The audio device 33 is a speaker that provides sounds such as music to the space where the instructor is present. It is used as a device that exerts a dramatic effect for enhancing
プロジェクタ３４は、第２端末装置３１が備えるディスプレイ３１ｂに代えて、あるいは、ディスプレイ３１ｂとともに、第２端末装置３１による制御の下で、生成した指導者映像を確認したり、運動支援装置４０から送信されてくる差異データを表示したりするための第２表示部の一例である。また、指導者映像の生成時に、第２端末装置３１による制御の下で、ユーザの運動意欲（指導意欲）を増進させる演出効果を発揮する機器として使用してもよい。なお、第２表示部の一例としては、ＡｉｒＰｌａｙ（登録商標）に対応したＴＶ等であってもよい。
The
空調装置３５は、指導者がいる空間の空気を調整する装置であり、例えば、エアコン、空気清浄機、サーキュレーター、扇風機等であり、第２端末装置３１による制御の下で、指導者が運動するのに適した室温等の環境を維持する機器として使用される。
The
なお、第２端末装置３１は、必ずしも携帯端末である必要はなく、デスクトップＰＣ等の据置型の端末装置であってもよい。また、運動支援システム１０の構成要素としては、第２端末装置３１は必ずしも必要ではない。また、運動支援システム１０の構成要素として、カメラ３１ａは、第２端末装置３１に備えられたものに限られず、それに代えて、あるいは、それに加えて、ｗｅｂカメラ等の外付けカメラであってもよい。また、周辺機器（照明装置３２、音響装置３３、プロジェクタ３４、空調装置３５）は、それぞれが独立した別個の機器である必要はなく、例えば、照明装置３２は、音響装置３３及びプロジェクタ３４が組み込まれた一体のスマートライトであってもよい。
The second
運動支援装置４０は、ユーザによる第１端末装置２１を用いた運動のトレーニングを支援するコンピュータ装置であり、第３制御部４１、第３記憶部４７及び通信部４８を備える。
The
第３記憶部４７は、ｗｅｂサイト６０又は第２端末装置３１から取得した指導者映像や第１端末装置２１から取得した訓練者映像等を保持するための記憶部であり、例えば、半導体不揮発性メモリである。通信部４８は、無線又は有線での通信によって、第１端末装置２１、第２端末装置３１及びｗｅｂサイト６０と通信する通信インタフェースであり、例えば、ＷｉＦｉ（登録商標）又は携帯電話網用の通信カードである。
The
第３制御部４１は、プログラム等を格納するメモリ、プログラムを実行するＣＰＵ、周辺の構成要素と接続される入出力インタフェース等で構成され、機能的に、トレーニング映像生成部４２、運動解析部４３及び課金処理部４４を有する。プログラムは、ユーザによる第１端末装置２１を用いた運動のトレーニングを支援する運動支援装置４０が備えるコンピュータによって実行される運動支援プログラムの一例である。
The
トレーニング映像生成部４２は、ｗｅｂサイト６０又は第２端末装置３１から、指導者による手本となる運動を示す指導者映像を取得し、取得した指導者映像から、手本となるトレーニング映像を生成する。トレーニング映像は、映像の実体であってもよいし、指導者映像が置かれたｗｅｂサイト６０の保存場所等へのリンク情報であってもよい。トレーニング映像生成部４２は、後述する運動解析部４３の感情推定部４３ｃで推定されたユーザの感情に依存させて、指導者映像からトレーニング映像を生成する。例えば、トレーニング映像生成部４２は、感情推定部４３ｃで推定されたユーザの感情が示すリラックス感が閾値よりも大きい場合には、生成するトレーニング映像をより高い運動負荷のトレーニング映像に変更し、推定した感情が示す辛さが閾値よりも大きい場合には、生成するトレーニング映像をより低い運動負荷のトレーニング映像に変更する。
The training
運動解析部４３は、第１端末装置２１から取得した訓練者映像が示すユーザの動きと、トレーニング映像に対応する指導者映像が示す動きとの差異を示す差異データを含む手本データを生成して第１端末装置２１に送信する。運動解析部４３は、人体形状モデル生成部４３ａ、筋力算出部４３ｂ、感情推定部４３ｃ及び動画チェック部４３ｄを有する。
The
人体形状モデル生成部４３ａは、第１端末装置２１に配信したトレーニング映像に対応する指導者映像、及び、そのトレーニング映像の配信に対して第１端末装置２１から取得した訓練者映像のそれぞれに対して人物領域を推定し、推定した人物領域から人体形状モデルを生成する。具体的には、人体形状モデル生成部４３ａは、指導者映像及び訓練者映像のそれぞれから、高速な物体検出が可能なＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）やＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）の手法により、ユーザの領域を抽出する。そして、抽出した領域に対して、例えば、ＣＰＮ（Ｃａｓｃａｄｅｄ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋ）などの手法を用いて、各フレームの人物画像から骨格点を抽出し、各骨格点を結び、複数の体節及び関節を備えた三次元の人体形状モデルを生成する。
The human body shape
筋力算出部４３ｂは、人体形状モデル生成部４３ａで生成された人体形状モデルを用いて筋力を算出する。筋力算出部４３ｂは、人体形状モデルが運動を行う際の関節ごとの関節力を算出し、人体形状モデルにおける関節ごとに当該関節を支持する複数の筋肉について当該筋肉の体積及び当該筋肉が体節に付着する位置を定める筋肉モデル（筋肉・筋力データベース）から、人体形状モデルにおける関節ごとに関節力から求められる筋力を、当該関節を支持する複数の筋肉の断面積に応じて配分することにより筋肉ごとの筋力を算出する（人体形状モデルの生成及び筋力の算出の詳細については、特開２０１３－６８９７９号公報（特許文献２）参照）。そして、筋力算出部４３ｂは、算出した筋力を訓練者映像と指導者映像との間で比較することで、差異データを生成する。このとき、筋力算出部４３ｂは、差異データを生成する対象となる指導者映像を識別する情報及び指導者映像における対象となるフレームと対応する差異データとを紐づけるリンクを生成し、生成したリンクを手本データに含ませる。
The
感情推定部４３ｃは、第１端末装置２１から取得された訓練者映像からユーザの感情を推定する。具体的には、感情推定部４３ｃは、訓練者映像におけるユーザの顔画像から、顔の色、血流変化に伴う心拍数等の生理学データと、顔の特徴点の位置で特定される表情等の非生理学データを取得し、取得したこれらのデータに基づいて、ユーザの覚醒値と快適値とを算出し、ユーザのトレーニング状況から、「リラックスしている」、「辛い」等の感情を推定するとともに、推定した感情の程度（「リラックス感」、「辛さ」）を算出する（特開２０１７－１４４２２２号公報（特許文献３）参照）。
The
動画チェック部４３ｄは、ｗｅｂサイト６０から取得した指導者映像に対して人体形状モデルの動きを抽出できるかどうかを判断する。この判断において、人体形状モデルの動きを抽出できると判断された場合に、トレーニング映像生成部４２は、ｗｅｂサイト６０から取得した指導者映像から手本となるトレーニング映像を生成する。このとき、動画チェック部４３ｄは、指導者映像に指導者の全身が写っているか、指導者映像がトレーニングに必要な最低時間の映像であるか（最低時間は任意に設定されるが、例えば、１分）、ＨＤ画質等の高画質で記録されているか等も判断してもよい。
The moving
課金処理部４４は、運動支援装置４０から手本データを第１端末装置２１に配信した場合に、第２端末装置３１又はｗｅｂサイト６０に対して、ユーザが手本データを利用したことに対する対価を送信する。対価は、運動支援装置４０から第１端末装置２１への支払要求に従って、あるいは、第１端末装置２１からの投げ銭等により、第１端末装置２１から運動支援装置４０を介して第２端末装置３１又はｗｅｂサイト６０に支払われる。
When the
なお、運動解析部４３は、ユーザがいる空間に設置された周辺機器に対して、手本データに連動した制御をするための制御データを、手本データに含ませて生成する。よって、手本データには、差異データだけでなく、上述したリンクの情報、制御データ、感情推定部４３ｃによって推定された感情等が含まれ得る。
Note that the
ｗｅｂサイト６０は、インターネットに接続され、多くの指導者映像を保持しており、動画共有・配信サーバとして機能するコンピュータ装置である。
The
次に、以上のように構成される運動支援システム１０の動作について、説明する。
Next, the operation of the
図３は、実施の形態に係る運動支援システム１０の第一の態様での動作を示す通信シーケンス図である。ここでは、第１端末装置２１、第２端末装置３１、運動支援装置４０及びｗｅｂサイト６０間でのインターネットを介したやりとり、及び、それぞれの装置における処理が示されている。なお、第一の態様とは、予め作成された指導者映像を用いたストリーミング配信によって運動支援装置４０がユーザのトレーニングを支援する態様である。
FIG. 3 is a communication sequence diagram showing the operation of the
多くの運動のプロ選手やインストラクター等の指導者は、宅内３０において、第２端末装置３１及び周辺機器（照明装置３２、音響装置３３、プロジェクタ３４、空調装置３５）を用いて、指導のための手本となる運動を示す指導者映像を作成し、動画共有・配信サーバとして機能するｗｅｂサイト６０にアップロードしている（Ｓ１０）。なお、運動支援装置４０が動画共有・配信サーバとしての機能を有する場合には、指導者は、運動支援装置４０に指導者映像をアップロードしてもよい（Ｓ１０ａ）。このようにして、ｗｅｂサイト６０及び運動支援装置４０には、多くの種類の運動についての指導者映像が蓄積される。
Instructors such as professional athletes and instructors of many sports use the second
トレーニングをしたいと思うユーザは、まず、第１端末装置２１を用いて、運動支援装置４０にアクセスしてログインし、運動支援装置４０に置かれたメニューから、自分の希望する運動を選択する（Ｓ１１）。
A user who wants to exercise first accesses and logs into the
運動支援装置４０は、ユーザが選択した運動に対応する指導者映像をｗｅｂサイト６０に対して要求することで（Ｓ１２）、ｗｅｂサイト６０から、対応する指導者映像を取得する（Ｓ１３）。このとき、対応する指導者映像が運動支援装置４０の第３記憶部４７に格納されている場合には、運動支援装置４０は、自ら保持している指導者映像を第３記憶部４７から読み出す。
The
そして、運動支援装置４０では、トレーニング映像生成部４２は、取得した指導者映像から、手本となるトレーニング映像を生成する（トレーニング映像生成ステップＳ１４）。生成時の初期処理としては、トレーニング映像生成部４２は、指導者映像をそのまま加工することなくトレーニング映像として、あるいは、指導者映像に連動して照明装置等の周辺機器を制御するための制御データを含める加工をしたものをトレーニング映像として生成する。なお、トレーニング映像の生成に際しては、予め、動画チェック部４３ｄは、取得した指導者映像に対して人体形状モデルの動きを抽出できるかどうかを判断している。そして、この判断において、人体形状モデルの動きを抽出できると判断された場合に、トレーニング映像生成部４２は、トレーニング映像を生成する。
Then, in the
また、この段階（トレーニング映像生成ステップＳ１４）において、後に差異データを生成するための前処理として、人体形状モデル生成部４３ａが、トレーニング映像に対応する指導者映像に対して人物領域を推定し、推定した人物領域から人体形状モデルを生成したり、筋力算出部４３ｂが、人体形状モデル生成部４３ａで生成された人体形状モデルを用いて筋力を算出したりしてもよい。そして、生成した人体形状モデルと筋力とをトレーニング映像に含ませてもよい。さらに、人体形状モデル生成部４３ａ及び筋力算出部４３ｂは、それぞれ、生成した人体形状モデル及び算出した筋力に対して、対象となる指導者映像を識別する情報及び指導者映像における対象となるフレームを紐づけるリンクを生成してもよい。
Also, at this stage (training image generation step S14), as preprocessing for generating difference data later, the human body shape
そして、運動支援装置４０は、生成したトレーニング映像を、ユーザの第１端末装置２１にストリーミング配信する（トレーニング映像配信ステップＳ２０）。これにより、ユーザの宅内２０では、第１端末装置２１は、第１端末装置２１及び周辺機器（照明装置２２、音響装置２３、プロジェクタ２４、空調装置２５）を用いて、取得したトレーニング映像及びトレーニング映像に含まれる音声を再生したり、トレーニング映像に含まれる制御データに従って周辺機器を制御したりする（トレーニング映像表示ステップ）。そして、ユーザは、トレーニング映像の再生に合わせて運動する。なお、トレーニング映像がリンク情報である場合には、第１端末装置２１は、リンク情報に従ってトレーニング映像をストリーミング受信する。
Then, the
そして、第１端末装置２１は、ディスプレイ２１ｂに表示（及び／又はプロジェクタ２４で表示）されたトレーニング映像に合わせて運動するユーザをカメラ２１ａで撮影し、得られたユーザの動きを示す訓練者映像を運動支援装置４０にアップロードするので（訓練者映像送信ステップ）、アップロードされた訓練者映像が運動支援装置４０によって取得される（訓練者映像取得ステップＳ２１）。
Then, the first
第１端末装置２１からアップロードされてきた訓練者映像を取得した運動支援装置４０では、運動解析部４３は、取得した訓練者映像が示すユーザの動きと、トレーニング映像に対応する指導者映像が示す動きとの差異を示す差異データを含む手本データを生成する（運動解析ステップＳ２２）。具体的には、人体形状モデル生成部４３ａは、取得した訓練者映像に対して人物領域を推定し、推定した人物領域から人体形状モデルを生成する。そして、筋力算出部４３ｂは、生成された人体形状モデルを用いて筋力を算出し、算出した筋力と、予め（トレーニング映像生成ステップＳ１４）算出している指導者映像における筋力とを比較することで、差異データを生成する。なお、生成した訓練者映像における人体形状モデルと筋力とを手本データに含ませてもよい。このとき、筋力算出部４３ｂは、差異データを生成する対象となる指導者映像を識別する情報及び指導者映像における対象となるフレームと対応する差異データとを紐づけるリンクを生成し、生成したリンクを手本データに含ませる。
In the
なお、運動解析ステップＳ２２において、感情推定部４３ｃは、取得された訓練者映像から、「リラックスしている」、「辛い」等のユーザの感情を推定するとともに、推定した感情の程度（「リラックス感」、「辛さ」）を算出してもよい。そして、トレーニング映像生成部４２は、感情推定部４３ｃで推定されたユーザの感情が示すリラックス感が閾値よりも大きい場合には、生成するトレーニング映像をより高い運動負荷のトレーニング映像に変更し、推定した感情が示す辛さが閾値よりも大きい場合には、生成するトレーニング映像をより低い運動負荷のトレーニング映像に変更したうえで、第１端末装置２１へのストリーミング配信（Ｓ２０）を制御してもよい。
In the motion analysis step S22, the
そして、運動支援装置４０は、運動解析部４３で生成された手本データを第１端末装置２１に送信する（手本データ配信ステップＳ２３）。
Then, the
運動支援装置４０から送信されてくる手本データを取得した第１端末装置２１は（手本データ取得ステップ）、取得した手本データに含まれる差異データに基づいて、ユーザの運動を支援するための支援映像を生成し、生成した支援映像をディスプレイ２１ｂに表示（及び／又はプロジェクタ２４で表示）したり、支援映像に含まれる音声を音響装置２３で再生したりする（支援映像表示ステップＳ２４）。支援映像は、カメラ２１ａによる撮影で得られたユーザの動きを示す訓練者映像に対して差異データに基づく加工をした映像である。
After acquiring the model data transmitted from the exercise support device 40 (model data acquisition step), the first
上記ステップＳ２０～Ｓ２４は、配信されるトレーニング映像における所定単位（所定のフレーム数、所定時間、映像における各シーン）で、運動支援装置４０から第１端末装置２１へのトレーニング映像の配信が終了するまで、繰り返される。
In steps S20 to S24, the distribution of the training video from the
運動支援装置４０から第１端末装置２１へのトレーニング映像の配信が終了し、ユーザによるトレーニングが終了すると、運動支援装置４０の課金処理部４４は、第１端末装置２１に対して、ユーザが手本データを利用したことに対する対価の支払いを要求する（Ｓ３０）。この支払要求に対して、あるいは、この支払要求を待つことなく（つまり、投げ銭により）、第１端末装置２１が支払処理をすると、その決済情報が第１端末装置２１から運動支援装置４０に送信され（Ｓ３１）、その決済情報を受領した運動支援装置４０は、ユーザが支払った対価を、第１端末装置２１に配信されたトレーニング映像に対応する指導者映像を提供したｗｅｂサイト６０又は指導者の第２端末装置３１に対して、支払うための処理をする（課金処理ステップＳ３２、Ｓ３２ａ）。
When the distribution of the training video from the
図４は、図３に示された通信シーケンスによってトレーニング映像が配信されるユーザの宅内２０の様子を示す図である。ここには、第１端末装置２１、照明装置２２、プロジェクタ２４、空調装置２５が示されている。また、ユーザの正面の壁には、プロジェクタ２４により、支援映像５１及びトレーニング映像５２が表示されている。ユーザは、所望する運動のトレーニングをしながら、手本となるトレーニング映像と自分の動きとを見比べたり、支援映像に含まれる差異データに基づくアドバイスを受けたりすることができる。
FIG. 4 is a diagram showing the state of the user's
図５は、図４に示される支援映像５１及びトレーニング映像５２の詳細な表示例を示す図である。本図に示されるように、支援映像５１は、ユーザの正面の壁の左側に表示され、運動するユーザの輪郭５１ａ、人体形状モデル５１ｂ、筋力５１ｃ、及び、手本となるトレーニング映像５２に近づける方向を示す矢印５１ｄで構成される。トレーニング映像５２は、ユーザの正面の壁の右側に表示され、映像中のインストラクターの輪郭５２ａ、人体形状モデル５２ｂ、及び、筋力５２ｃで構成される。
FIG. 5 is a diagram showing a detailed display example of the
このようにして、ユーザは、運動支援装置４０による支援の下で、所望する運動のトレーニングをしながら、手本となるトレーニング映像と自分の動きとを見比べたり、支援映像に含まれる差異データに基づくアドバイス（矢印５１ｄ等）を受けたりすることができ、手本となるトレーニング映像に映っている指導者の動きに近づく効率的なトレーニングをすることができる。
In this way, the user can compare his/her own movement with a model training video while training for a desired exercise with the assistance of the
なお、指導者とユーザの体格は必ずしも一致しないため、第１端末装置２１は、支援映像の生成に際して、指導者の人体形状モデルの動きを、標準人体モデルデータベースを参照して、ユーザの人体形状モデルを補正して表示してもよい。
Since the physiques of the instructor and the user do not necessarily match, the first
図６は、実施の形態に係る運動支援システム１０の第二の態様での動作を示す通信シーケンス図である。なお、第二の態様とは、運動支援装置４０による制御の下で、ユーザと指導者がインタラクティブに映像を交換し合いながら、リアルタイムで指導者がユーザのトレーニングを遠隔から支援する態様である。
FIG. 6 is a communication sequence diagram showing the operation of the
トレーニングをしたいと思うユーザは、まず、第１端末装置２１を用いて、運動支援装置４０にアクセスしてログインし、運動支援装置４０に置かれたメニューから、自分の希望する運動を選択する（Ｓ４０）。
A user who wants to exercise first accesses and logs into the
運動支援装置４０は、ユーザが選択した運動に対応する指導者映像を提供する指導者の第２端末装置３１に対して、指導者映像の提供を要求する（Ｓ４１）。
The
要求を受けた第２端末装置３１の指導者は、宅内３０において、手本となる運動を開始し、第２端末装置３１及び周辺機器（照明装置３２、音響装置３３、プロジェクタ３４、空調装置３５）を用いて、自らを撮影した指導者映像を生成し、運動支援装置４０に送信する（Ｓ４２）。
Upon receipt of the request, the instructor of the second
指導者映像を取得した運動支援装置４０は、取得した指導者映像から、手本となるトレーニング映像を生成し（トレーニング映像生成ステップＳ４３）、生成したトレーニング映像を第１端末装置２１に配信する（トレーニング映像配信ステップＳ４４）。トレーニング映像は、指導者映像のコピーであってもよいし、指導者映像に対して、指導者映像に連動して照明装置等の周辺機器を制御するための制御データを含める加工をしたものであってもよい。また、トレーニング映像生成ステップＳ４３では、後に差異データを生成するための前処理として、人体形状モデル生成部４３ａが、トレーニング映像に対応する指導者映像に対して人物領域を推定し、推定した人物領域から人体形状モデルを生成したり、筋力算出部４３ｂが、人体形状モデル生成部４３ａで生成された人体形状モデルを用いて筋力を算出したりしてもよい。そして、生成した人体形状モデルと筋力とをトレーニング映像に含ませてもよい。
The
トレーニング映像を受信した第１端末装置２１は、第１端末装置２１及び周辺機器（照明装置２２、音響装置２３、プロジェクタ２４、空調装置２５）を用いて、取得したトレーニング映像及びトレーニング映像に含まれる音声を再生したり、トレーニング映像に含まれる制御データに従って周辺機器を制御したりする（トレーニング映像表示ステップ）。そして、ユーザは、トレーニング映像の再生に合わせて運動する。そして、第１端末装置２１は、ディスプレイ２１ｂに表示（及び／又はプロジェクタ２４で表示）されたトレーニング映像に合わせて運動するユーザをカメラ２１ａで撮影し、得られたユーザの動きを示す訓練者映像を、運動支援装置４０にアップロードするので（訓練者映像送信ステップ）、アップロードされた訓練者映像が運動支援装置４０によって取得される（訓練者映像取得ステップＳ４５）。
The first
第１端末装置２１からアップロードされてきた訓練者映像を取得した運動支援装置４０では、運動解析部４３は、取得した訓練者映像が示すユーザの動きと、トレーニング映像に対応する指導者映像が示す動きとの差異を示す差異データを含む手本データを生成する（運動解析ステップＳ４６）。具体的には、人体形状モデル生成部４３ａは、取得した訓練者映像に対して人物領域を推定し、推定した人物領域から人体形状モデルを生成する。そして、筋力算出部４３ｂは、生成された人体形状モデルを用いて筋力を算出し、算出した筋力と、予め（トレーニング映像生成ステップＳ４３）算出している指導者映像における筋力とを比較することで、差異データを生成する。このとき、生成した訓練者映像における人体形状モデルと筋力とを手本データに含ませてもよい。
In the
なお、運動解析ステップＳ４６において、感情推定部４３ｃは、取得された訓練者映像から、「リラックスしている」、「辛い」等のユーザの感情を推定するとともに、推定した感情の程度（「リラックス感」、「辛さ」）を算出してもよい。そして、トレーニング映像生成部４２は、感情推定部４３ｃで推定されたユーザの感情が示すリラックス感が閾値よりも大きい場合には、生成するトレーニング映像をより高い運動負荷のトレーニング映像に変更し、推定した感情が示す辛さが閾値よりも大きい場合には、生成するトレーニング映像をより低い運動負荷のトレーニング映像に変更したうえで、変更されたトレーニング映像を第１端末装置２１に送信（Ｓ４４）してもよい。
In addition, in the motion analysis step S46, the
そして、運動支援装置４０は、運動解析部４３で生成された手本データを第１端末装置２１に送信するとともに（手本データ配信ステップＳ４７）、第２端末装置３１にも送信する（手本データ配信ステップＳ４８）。
Then, the
運動支援装置４０から送信されてくる手本データを取得した第１端末装置２１は（手本データ取得ステップ）、取得した手本データに含まれる差異データに基づいて、ユーザの運動を支援するための支援映像を生成し、生成した支援映像をディスプレイ２１ｂに表示（及び／又はプロジェクタ２４で表示）したり、支援映像に含まれる音声を音響装置２３で再生したりする（支援映像表示ステップＳ４９）。支援映像は、カメラ２１ａによる撮影で得られたユーザの動きを示す訓練者映像に対して差異データに基づく加工をした映像である。
After acquiring the model data transmitted from the exercise support device 40 (model data acquisition step), the first
一方、運動支援装置４０から送信されてくる手本データを取得した第２端末装置３１も、第１端末装置２１と同様に、取得した手本データに含まれる差異データに基づいて、ユーザの運動を支援するための支援映像を生成し、生成した支援映像をディスプレイ３１ｂに表示（及び／又はプロジェクタ３４で表示）したり、支援映像に含まれる音声を音響装置３３で再生したりする（Ｓ５０）。支援映像は、カメラ２１ａによる撮影で得られたユーザの動きを示す訓練者映像に対して差異データに基づく加工をした映像である。
On the other hand, the second
上記ステップＳ４２～Ｓ５０は、配信されるトレーニング映像における所定単位（所定のフレーム数、所定時間、映像における各シーン）で、運動支援装置４０から第１端末装置２１へのトレーニング映像の配信が終了するまで、繰り返される。
In steps S42 to S50, distribution of the training video from the
なお、運動支援装置４０は、再利用等のために、上述した一連の処理を終えて生成したトレーニング映像（つまり、チェックを終え、人体形状モデル及び筋力の情報が付加されたトレーニング映像）を、ｗｅｂサイト６０の手本データベースにアップロードしてもよい（Ｓ５１）。そして、アップロードを受けたｗｅｂサイト６０は、アップロードされたトレーニング映像に対する対価（有料視聴で得た視聴料、広告収入等）を第２端末装置３１に支払う処理をしてもよい（Ｓ５２）。
For reuse, etc., the
運動支援装置４０から第１端末装置２１へのトレーニング映像の配信が終了し、ユーザによるトレーニングが終了すると、運動支援装置４０の課金処理部４４は、第１端末装置２１に対して、ユーザが手本データを利用したことに対する対価の支払いを要求する（Ｓ６０）。この支払要求に対して、あるいは、この支払要求を待つことなく（つまり、投げ銭により）、第１端末装置２１が支払処理をすると、その決済情報が第１端末装置２１から運動支援装置４０に送信され（Ｓ６１）、その決済情報を受領した運動支援装置４０は、ユーザが支払った対価を、第１端末装置２１に配信されたトレーニング映像に対応する指導者映像を提供した指導者の第２端末装置３１に対して、支払うための処理をする（課金処理ステップＳ６２）。
When the distribution of the training video from the
このような通信シーケンスにより、ユーザの宅内２０及び指導者の宅内３０では、図４及び図５に示されるように、支援映像５１及びトレーニング映像５２の両方が表示される。よって、ユーザは、運動支援装置４０による支援の下で、宅内２０において、所望する運動のトレーニングをしながら、手本となるトレーニング映像と自分の動きとを見比べたり、支援映像に含まれる差異データに基づくアドバイス（矢印５１ｄ等）を受けたりすることができ、手本となるトレーニング映像に映っている指導者の動きに近づく効率的なトレーニングをすることができる。一方、指導者は、宅内３０において、ユーザの動き、及び、ユーザの宅内２０での表示と同じ差異データに基づく表示を確認しながら、リアルタイムで、ユーザに合わせた運動の指導を遠隔からすることができる。
With such a communication sequence, both the
以上のように、本実施の形態に係る運動支援プログラムは、ユーザによる第１端末装置２１を用いた運動のトレーニングを支援する運動支援装置４０が備えるコンピュータによって実行されるプログラムであって、指導者による手本となる運動を示す指導者映像を取得し、取得した指導者映像から手本となるトレーニング映像を生成するトレーニング映像生成ステップと、生成したトレーニング映像を第１端末装置２１に配信するトレーニング映像配信ステップと、第１端末装置２１に配信されたトレーニング映像に合わせて運動するユーザの動きを示す訓練者映像を取得する訓練者映像取得ステップと、取得した訓練者映像が示すユーザの動きと、トレーニング映像に対応する指導者映像が示す動きとの差異を示す差異データを含む手本データを生成する運動解析ステップと、生成された手本データを第１端末装置２１に配信する手本データ配信ステップとを含む。
As described above, the exercise support program according to the present embodiment is a program executed by the computer provided in the
これにより、ユーザが制作会社等に依頼して手本となるトレーニング映像を入手するのではなく、運動支援装置４０が、ユーザに提供するサービスとして、指導者による手本となる運動を示す指導者映像を取得し、取得した指導者映像から手本となるトレーニング映像を生成する。そして、運動支援装置４０によって、トレーニング映像に対応する指導者映像が示す動きとの差異を示す差異データを含む手本データが生成され、第１端末装置２１に配信される。よって、効果的な運動を支援するトレーニング映像を容易に入手できる環境が提供される。
As a result, instead of the user requesting a production company or the like to obtain a model training video, the
また、運動解析ステップでは、訓練者映像及び指導者映像のそれぞれに対して人物領域を推定し、推定した人物領域から人体形状モデルを生成し、生成した人体形状モデルを用いて筋力を算出し、算出した筋力を訓練者映像と指導者映像との間で比較することで、差異データを生成する。これにより、ユーザは、トレーニングにおける体の動きについて、人体形状モデル及び筋力という客観的でかつ直感的に分かり易い情報で、指導者との差異を知ることができ、運動スキルの向上に役立てることができる。 Further, in the exercise analysis step, a human region is estimated for each of the trainee video and the instructor video, a human body shape model is generated from the estimated human region, muscle strength is calculated using the generated human body shape model, Difference data is generated by comparing the calculated muscle strength between the trainee video and the instructor video. As a result, the user can know the difference between the body movement during training and the trainer based on objective and intuitively understandable information such as the human body shape model and muscle strength, which can be useful for improving motor skills. can.
また運動解析ステップでは、訓練者映像取得ステップで取得された訓練者映像からユーザの感情を推定し、トレーニング映像生成ステップでは、運動解析ステップで推定されたユーザの感情に依存させて、トレーニング映像を生成する。そして、トレーニング映像生成ステップでは、運動解析ステップで推定されたユーザの感情が示すリラックス感が閾値よりも大きい場合には、生成するトレーニング映像をより高い運動負荷のトレーニング映像に変更し、推定した感情が示す辛さが閾値よりも大きい場合には、生成するトレーニング映像をより低い運動負荷のトレーニング映像に変更する。これにより、ユーザに与えられる運動負荷は、ユーザの運動能力及びコンディションに応じた値となり、ユーザに対する運動支援が効果的に行われる。 In addition, in the exercise analysis step, the user's emotion is estimated from the trainee image acquired in the trainee image acquisition step, and in the training image generation step, the training image is generated depending on the user's emotion estimated in the exercise analysis step. Generate. Then, in the training video generation step, if the sense of relaxation indicated by the user's emotion estimated in the exercise analysis step is greater than a threshold, the training video to be generated is changed to a training video with a higher exercise load, and the estimated emotion is determined. is greater than the threshold, the training video to be generated is changed to a training video with a lower exercise load. As a result, the exercise load given to the user has a value corresponding to the exercise capacity and condition of the user, and the exercise support for the user is effectively provided.
また、運動解析ステップでは、差異データを生成する対象となる指導者映像を識別する情報及び指導者映像における対象となるフレームと対応する差異データとを紐づけるリンクを生成し、生成したリンクを手本データに含ませて第１端末装置２１に配信する。これにより、差異データと指導者映像とが独立したデータであっても、それらの時間同期をとって利用することが可能になる。
In addition, in the motion analysis step, information for identifying the instructor video for which difference data is to be generated and a link linking the target frame in the instructor video and the corresponding difference data are generated, and the generated link is manually generated. It is included in this data and distributed to the first
また、運動解析ステップでは、指導者映像に対して人体形状モデルの動きを抽出できるかどうかを判断し、トレーニング映像生成ステップでは、運動解析ステップで人体形状モデルの動きを抽出できると判断された場合に、指導者映像から手本となるトレーニング映像を生成する。これにより、トレーニングに適した指導者映像だけから有効なトレーニング映像が生成され、トレーニング映像の質が担保され得る。 Also, in the motion analysis step, it is determined whether or not the movement of the human body shape model can be extracted from the instructor video, and in the training video generation step, if it is determined that the motion of the human body shape model can be extracted in the motion analysis step. Next, a training video that serves as a model is generated from the instructor video. As a result, effective training videos can be generated only from instructor videos suitable for training, and the quality of the training videos can be ensured.
また、運動解析ステップでは、さらに、ユーザがいる空間に設置された機器に対して、手本データに連動した制御をするための制御データを、手本データに含ませて生成する。これにより、運動するユーザに対して、照明装置２２等の周辺機器による演出効果が提供され、ユーザの運動意欲が増進される。
In addition, in the motion analysis step, the model data includes control data for controlling the equipment installed in the space where the user is present, in conjunction with the model data. As a result, the exercising user is provided with a presentation effect by the peripheral device such as the
また、トレーニング映像生成ステップでは、指導者が使用する第２端末装置３１、又は、インターネット上のｗｅｂサイト６０から指導者映像を取得し、運動支援プログラムは、さらに、手本データ配信ステップによって手本データが第１端末装置２１に配信された場合に、第２端末装置３１又はｗｅｂサイト６０に対して、ユーザが手本データを利用したことに対する対価を送信する課金処理ステップを含む。これにより、指導者映像を提供した指導者に対して、指導による対価が支払われ、指導者映像の提供が促進され得る。
In addition, in the training video generation step, the trainer video is acquired from the second
また、本実施の形態に係る運動支援プログラムは、運動支援装置４０と通信路で接続され、ユーザによる運動のトレーニングを支援する第１端末装置２１が備えるコンピュータによって実行される運動支援プログラムであって、運動支援装置４０から配信される、手本となるトレーニング映像を取得して表示するトレーニング映像表示ステップと、表示されたトレーニング映像に合わせて運動するユーザの動きを示す訓練者映像を取得して運動支援装置４０に送信する訓練者映像送信ステップと、運動支援装置４０から配信される、訓練者映像が示すユーザの動きとトレーニング映像における指導者の動きとの差異を示す差異データを含む手本データを取得する手本データ取得ステップと、取得した手本データに含まれる差異データに基づいて、ユーザの運動を支援するための支援映像を生成し、生成した支援映像を表示する支援映像表示ステップとを含む。
Further, the exercise support program according to the present embodiment is an exercise support program executed by a computer provided in the first
これにより、ユーザは、ユーザが制作会社等に依頼して手本となるトレーニング映像を入手するのではなく、運動支援装置４０からトレーニング映像を取得し、さらに、トレーニング映像に対応する指導者映像が示す動きとユーザの動きとの差異を示す差異データに基づいて生成された支援映像を取得し、それらのトレーニング映像及び支援映像を見ながら、トレーニングを実施できる。よって、効果的な運動を支援するトレーニング映像を容易に入手してトレーニングできる環境が提供される。
As a result, the user obtains the training video from the
以上、本発明に係る運動支援システム１０について、実施の形態に基づいて説明したが、本発明は、実施の形態に限定されるものではない。本発明の主旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものや、実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。
Although the
例えば、ユーザの宅内２０及び指導者の宅内３０に設けられる周辺機器としては、上記実施の形態で説明したものに限られず、第１端末装置２１及び第２端末装置３１で制御される配線器具、浴室乾燥機、給湯器、電動シャッター、電動カーテン等の空間機器が含まれてもよい。
For example, the peripheral devices provided in the user's
そのときに、スマートフォン等の第１端末装置２１の画面で、ユーザが運動の開始を操作すると、第１端末装置２１にインストールされたアプリあるいはトレーニング映像に含まれる制御データによる制御の下で、プロジェクタがＯＮ、シーリングライトがＯＦＦとなり、その後、運動の時間が長くなり、ユーザが汗をかき始める時間に、エアコンやサーキュレーターがＯＮ、運動終了時刻に合わせて、風呂が沸き、冬場はヒートショックがないよう、ユーザの設定により、浴室暖房乾燥機と給湯器を事前にＯＮし、運動が終了すると、シーリングライトがＯＮになるようにしてもよい。
At that time, when the user operates the screen of the first
また、指導者が、マニュアルで空間機器を動作させた場合、その動作情報も、運動と併せて記録し、例えば、「照明を変えましょうか」等と発言し（これに対しては、ユーザは映像で確認する）、指導者が照明器具を動作させた際に、ユーザ（訓練側）に同様の照明器具がある場合は、ストリーミングでも、リアルタイムでも、ユーザの宅内２０の空間を同期して変えるようにしてもよい。
In addition, when the instructor manually operates the space equipment, the operation information is also recorded together with the exercise, and for example, "Shall we change the lighting?" video), and when the instructor operates the lighting fixtures, if the user (training side) has similar lighting fixtures, the space in the user's
また、感情推定の方法は、上記実施の形態で説明したものに限られず、低運動負荷時、あるいは、高運動負荷時のユーザの顔画像をディープラーニングで学習し、ユーザの顔画像を、感情データベースと比較することにより、どの感情であるか推定するようにしてもよい。この場合、多層ネットワークに特徴量を学習させる他、当該特徴量として、目の開き具合や、眉毛間の距離、眉間の皺、口元等を指定する機械学習を行っても良い。 In addition, the method of estimating emotion is not limited to the one described in the above embodiment, and the user's facial image is learned by deep learning when the exercise load is low or when the exercise load is high. By comparing with a database, the emotion may be estimated. In this case, in addition to making the multi-layer network learn the feature amount, machine learning may be performed to designate the degree of opening of the eyes, the distance between the eyebrows, the wrinkles between the eyebrows, the mouth, etc. as the feature amount.
また、上記実施の形態では、運動解析部４３は運動支援装置４０に備えられていたが、運動解析部４３が有する機能（人体形状モデル生成部４３ａ、筋力算出部４３ｂ、感情推定部４３ｃ及び動画チェック部４３ｄ）の一部又は全てが第１端末装置２１及び第２端末装置３１にも備えられ、第１端末装置２１及び第２端末装置３１と運動支援装置４０との協同処理によって各種機能が実現されてもよい。例えば、第１端末装置２１が訓練者映像を運動支援装置４０にアップロードすることに代えて、第１端末装置２１が訓練者映像の人体形状モデルを生成し、筋力を算出し、ユーザの感情を推定し、それらの結果（人体形状モデル、筋力、ユーザの感情）だけを運動支援装置４０にアップロードすることで、第１端末装置２１と運動支援装置４０との間の通信負荷を軽減してもよい。
In the above embodiment, the
また、上記実施の形態では、ユーザから運動が選択されてから、運動支援装置４０は対応する指導者映像をチェックしたり、人体形状モデルを生成したり、筋力を算出したりしたが（Ｓ１４、Ｓ４３）、この処理順に限られない。運動支援装置４０は、指導者からの指導者映像が運動支援装置４０又はｗｅｂサイト６０にアップロードされた段階で、指導者映像のチェック等の処理を実行してその結果を保存しておき、ユーザから運動が選択されると、対応する指導者映像とこれらの処理結果とを取り出して使用してもよい。
In addition, in the above embodiment, after the user selects an exercise, the
また、運動支援装置４０は、１台で構成される態様に限られず、例えば、処理機能に応じて分散された複数のサーバ装置で構成されてもよい。
Further, the
本発明は、ユーザによる端末装置を用いた運動のトレーニングを支援するプログラムとして、特に、効果的な運動を支援するトレーニング映像を容易に入手できる環境を提供する運動支援プログラムとして、利用できる。 INDUSTRIAL APPLICABILITY The present invention can be used as a program for supporting exercise training using a terminal device by a user, particularly as an exercise support program that provides an environment in which training videos that support effective exercise can be easily obtained.
１０ 運動支援システム
２１ 第１端末装置
３１ 第２端末装置
４０ 運動支援装置
５１ 支援映像
５２ トレーニング映像
６０ ｗｅｂサイト
10
Claims (9)
指導者による手本となる運動を示す指導者映像を取得し、取得した前記指導者映像から手本となるトレーニング映像を生成するトレーニング映像生成ステップと、
生成した前記トレーニング映像を前記第１端末装置に配信するトレーニング映像配信ステップと、
前記第１端末装置に配信された前記トレーニング映像に合わせて運動する前記ユーザの動きを示す訓練者映像を取得する訓練者映像取得ステップと、
取得した前記訓練者映像が示す前記ユーザの動きと、前記トレーニング映像に対応する前記指導者映像が示す動きとの差異を示す差異データを含む手本データを生成する運動解析ステップと、
生成された前記手本データを前記第１端末装置に配信する手本データ配信ステップとを含む、
運動支援プログラム。 An exercise support program executed by a computer provided in an exercise support device for supporting exercise training by a user using a first terminal device,
a training video generation step of acquiring a leader video showing a model exercise by a leader and generating a training video to be a model from the acquired leader video;
a training video distribution step of distributing the generated training video to the first terminal device;
a trainee image acquiring step of acquiring a trainee image showing movement of the user exercising in accordance with the training image distributed to the first terminal device;
a motion analysis step of generating model data including difference data indicating a difference between the movement of the user indicated by the acquired trainee video and the movement indicated by the instructor video corresponding to the training video;
a model data distribution step of distributing the generated model data to the first terminal device;
Exercise support program.
請求項１記載の運動支援プログラム。 In the exercise analysis step, a human region is estimated for each of the trainee video and the instructor video, a human body shape model is generated from the estimated human region, and muscle strength is calculated using the generated human body shape model. and generating the difference data by comparing the calculated muscle strength between the trainee video and the instructor video,
The exercise support program according to claim 1.
前記トレーニング映像生成ステップでは、前記運動解析ステップで推定された前記ユーザの感情に依存させて、前記トレーニング映像を生成する、
請求項１又は２記載の運動支援プログラム。 In the exercise analysis step, the emotion of the user is estimated from the trainee image acquired in the trainee image acquisition step,
In the training video generation step, the training video is generated depending on the user's emotion estimated in the motion analysis step.
The exercise support program according to claim 1 or 2.
請求項３記載の運動支援プログラム。 In the training video generation step, if the sense of relaxation indicated by the user's emotion estimated in the exercise analysis step is greater than a threshold, the training video to be generated is changed to a training video with a higher exercise load, and the training video is estimated. If the difficulty indicated by the emotion is greater than a threshold, changing the training video to be generated to a training video with a lower exercise load;
The exercise support program according to claim 3.
請求項１～４のいずれか１項に記載の運動支援プログラム。 In the motion analysis step, information for identifying the instructor video for which the difference data is to be generated and a link linking the target frame in the instructor video and the corresponding difference data are generated. including the link in the model data and delivering it to the first terminal device;
The exercise support program according to any one of claims 1-4.
前記トレーニング映像生成ステップでは、前記運動解析ステップで前記人体形状モデルの動きを抽出できると判断された場合に、前記指導者映像から手本となるトレーニング映像を生成する、
請求項２記載の運動支援プログラム。 In the movement analysis step, it is determined whether or not the movement of the human body shape model can be extracted from the instructor video,
In the training video generation step, when it is determined in the motion analysis step that the movement of the human body shape model can be extracted, a training video that serves as a model is generated from the instructor video.
The exercise support program according to claim 2.
請求項１～６のいずれか１項に記載の運動支援プログラム。 In the motion analysis step, the model data further includes control data for controlling a device installed in the space where the user is present, in conjunction with the model data.
The exercise support program according to any one of claims 1-6.
前記運動支援プログラムは、さらに、前記手本データ配信ステップによって前記手本データが前記第１端末装置に配信された場合に、前記第２端末装置又は前記ｗｅｂサイトに対して、前記ユーザが前記手本データを利用したことに対する対価を送信する課金ステップを含む、
請求項１～７のいずれか１項に記載の運動支援プログラム。 In the training image generation step, the instructor image is obtained from a second terminal device used by the instructor or from a website on the Internet,
The exercise assistance program further comprises, when the model data is delivered to the first terminal device by the model data delivery step, the user sends the exercise to the second terminal device or the website. including a billing step of sending compensation for using this data;
The exercise support program according to any one of claims 1-7.
前記運動支援装置から配信される、手本となるトレーニング映像を取得して表示するトレーニング映像表示ステップと、
表示された前記トレーニング映像に合わせて運動する前記ユーザの動きを示す訓練者映像を取得して前記運動支援装置に送信する訓練者映像送信ステップと、
前記運動支援装置から配信される、前記訓練者映像が示す前記ユーザの動きと前記トレーニング映像における指導者の動きとの差異を示す差異データを含む手本データを取得する手本データ取得ステップと、
取得した前記手本データに含まれる前記差異データに基づいて、前記ユーザの運動を支援するための支援映像を生成し、生成した前記支援映像を表示する支援映像表示ステップとを含む
運動支援プログラム。 An exercise support program executed by a computer included in a first terminal device connected to an exercise support device via a communication channel and provided to support exercise training by a user,
a training video display step of acquiring and displaying a training video that serves as a model distributed from the exercise support device;
a trainee image transmitting step of acquiring a trainee image showing the movement of the user exercising in accordance with the displayed training image and transmitting the trainee image to the exercise support device;
a model data acquisition step of acquiring model data including difference data indicating a difference between the movement of the user indicated by the video of the trainee and the movement of the instructor in the training video, which is distributed from the exercise support device;
and a support video display step of generating a support video for supporting the exercise of the user based on the difference data included in the acquired model data, and displaying the generated support video.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021028235A JP2022129532A (en) | 2021-02-25 | 2021-02-25 | Exercise support program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021028235A JP2022129532A (en) | 2021-02-25 | 2021-02-25 | Exercise support program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022129532A true JP2022129532A (en) | 2022-09-06 |
Family
ID=83151147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021028235A Pending JP2022129532A (en) | 2021-02-25 | 2021-02-25 | Exercise support program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022129532A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7303595B1 (en) * | 2021-11-25 | 2023-07-05 | 株式会社CaTe | Program, information processing device, and information processing method |
-
2021
- 2021-02-25 JP JP2021028235A patent/JP2022129532A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7303595B1 (en) * | 2021-11-25 | 2023-07-05 | 株式会社CaTe | Program, information processing device, and information processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11872469B2 (en) | Reflective video display apparatus for interactive training and demonstration and methods of using same | |
| US11986721B2 (en) | Reflective video display apparatus for interactive training and demonstration and methods of using same | |
| WO2013035125A1 (en) | Exercise assistance system and network system | |
| JP2019118783A (en) | Remote rehabilitation analysis device and method thereof | |
| JP2007289515A (en) | Exercise support device and its program | |
| KR20210129571A (en) | Lecturer device for providing exercise lecture and user customized exercise mission | |
| US20160179206A1 (en) | Wearable interactive display system | |
| JP2022129532A (en) | Exercise support program | |
| EP2482935B1 (en) | System for supporting a user to do exercises | |
| US20140147821A1 (en) | Exercise management system | |
| JP2022129615A (en) | Exercise support system and exercise support method | |
| JP7549179B1 (en) | VIDEO OUTPUT SYSTEM, VIDEO OUTPUT METHOD, AND PROGRAM | |
| KR102424086B1 (en) | A non-face-to-face real-time home training service system by video call | |
| KR102431970B1 (en) | Method and device for providing priority information of interaction between trainer and user | |
| WO2024134214A1 (en) | A method of generating video content | |
| CN114066686A (en) | Course system, course method, and computer readable medium | |
| WO2024196933A1 (en) | Real-time estimation of user engagement level and other factors using sensors | |
| CN117320229A (en) | Intelligent display device and control method | |
| JP2023006961A (en) | Online fitness system, server, method and program | |
| Blunt et al. | Developing a Fitness Center-Based, Self-Guided Instructional Program Using mp4 Player Technology | |
| KR20130139605A (en) | Contents collecting appartus for hands-on worker and mobile service system, and contents collecting method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231205 |