JP2021142345A - Physical activity support system, method and program - Google Patents
Physical activity support system, method and program Download PDFInfo
- Publication number
- JP2021142345A JP2021142345A JP2021090890A JP2021090890A JP2021142345A JP 2021142345 A JP2021142345 A JP 2021142345A JP 2021090890 A JP2021090890 A JP 2021090890A JP 2021090890 A JP2021090890 A JP 2021090890A JP 2021142345 A JP2021142345 A JP 2021142345A
- Authority
- JP
- Japan
- Prior art keywords
- avatar
- user
- physical activity
- partner
- predetermined time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000037081 physical activity Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 230000003993 interaction Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 15
- 230000001133 acceleration Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 210000002683 foot Anatomy 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明の実施形態は、アバターを用いてユーザの身体活動を支援する技術に関する。 An embodiment of the present invention relates to a technique for supporting a user's physical activity by using an avatar.
ユーザは、ディスプレイに表示された映像を見ながら、ダンスの振り付け、武道の型などの動作練習を行う場合がある。 The user may practice movements such as dance choreography and martial arts patterns while watching the images displayed on the display.
特許文献１は、撮像装置が投写面に対向するユーザを斜め上方から撮像し、ユーザの動作を撮像した撮像映像と、インストラクターの模範動作を撮像した見本映像を重畳し、重畳した映像を投写面に表示する技術を開示している。ここで、ユーザの撮像映像のサイズと、インストラクターの見本映像のサイズが揃っている。
In
そして、ユーザの動作がインストラクターの模範動作から乖離している度合い（以下、乖離度という）を判定し、乖離度も投写面に表示する技術も開示している。このような技術は、ユーザが、ユーザ自身の撮像映像、インストラクターの見本映像、及び、乖離度を同時に投写面で見ることができ、乖離度を容易に把握することが可能である。 Then, the technique of determining the degree of deviation of the user's movement from the instructor's model movement (hereinafter referred to as the degree of deviation) and displaying the degree of deviation on the projection surface is also disclosed. With such a technique, the user can simultaneously view the captured image of the user, the sample image of the instructor, and the degree of deviation on the projection surface, and the degree of deviation can be easily grasped.
しかしながら、特許文献１では一連の動作を素早く行うインストラクターの見本映像が表示される。このため、ユーザは見本の動きを見ながら、乖離度が小さくなるように真似をして動こうとしても、そもそもついて行けず、トレーニング効果を得られにくい。
However, in
本発明は、このような課題に着目して鋭意研究され完成されたものであり、その目的は、ユーザの身体活動を効果的に支援する技術を提供することにある。 The present invention has been enthusiastically researched and completed focusing on such problems, and an object of the present invention is to provide a technique for effectively supporting a user's physical activity.
上記課題を解決するために、本発明は、ユーザのアバターを生成する生成部を用いた身体活動支援システムであって、前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算する第１計算部と、前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算する第２計算部と、前記ユーザ・アバターの動作情報に、前記相手アバターの動作情報を連動させる連動部を備える身体活動支援システムである。 In order to solve the above problems, the present invention is a physical activity support system using a generation unit that generates a user's avatar, and calculates operation information of the user's avatar based on the information from the generation unit. Based on the information from the first calculation unit and the generation unit, the second calculation unit that calculates the operation information of the partner avatar that is the partner of the physical activity of the user, and the motion information of the user avatar are added to the partner. It is a physical activity support system equipped with an interlocking part that interlocks the movement information of the avatar.
他の本発明は、ユーザのアバターを生成する生成部を用いた身体活動支援システムであって、前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算する第１計算部と、前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算する第２計算部と、前記ユーザ・アバターの動作情報、及び、前記相手アバターの動作情報に応じて、仮想物体へのインタラクションを計算する仮想物体動作調整部を備える身体活動支援システムである。 Another invention is a physical activity support system using a generation unit that generates a user's avatar, and includes a first calculation unit that calculates motion information of the user's avatar based on information from the generation unit. Based on the information from the generation unit, the second calculation unit that calculates the operation information of the opponent avatar that is the partner of the physical activity of the user, the operation information of the user avatar, and the operation information of the opponent avatar It is a physical activity support system provided with a virtual object motion adjustment unit that calculates the interaction with the virtual object accordingly.
他の本発明は、ユーザのアバターを生成する生成部を用いた身体活動支援方法であって、前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算し、前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算し、前記ユーザ・アバターの動作情報に、前記相手アバターの動作情報を連動させる身体活動支援方法である。 Another invention is a physical activity support method using a generation unit that generates a user's avatar, calculates motion information of the user avatar based on the information from the generation unit, and obtains the operation information of the user avatar from the generation unit. This is a physical activity support method that calculates the motion information of the partner avatar that is the partner of the physical activity of the user based on the information, and links the motion information of the partner avatar with the motion information of the user avatar.
他の本発明は、ユーザのアバターを生成する生成部を用いた身体活動支援方法であって、前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算し、前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算し、前記ユーザ・アバターの動作情報、及び、前記相手アバターの動作情報に応じて、仮想物体へのインタラクションを計算する身体活動支援方法である。 Another invention is a physical activity support method using a generation unit that generates a user's avatar, calculates motion information of the user avatar based on the information from the generation unit, and obtains the operation information of the user avatar from the generation unit. Based on the information, the motion information of the partner avatar that is the partner of the physical activity of the user is calculated, and the interaction with the virtual object is calculated according to the motion information of the user avatar and the motion information of the partner avatar. It is a physical activity support method.
他の本発明は、ユーザのアバターを生成する生成部を用いた身体活動支援プログラムであって、前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算するステップと、前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算するステップと、前記ユーザ・アバターの動作情報に、前記相手アバターの動作情報を連動させるステップと、をコンピュータに実行させる身体活動支援プログラムである。 Another invention is a physical activity support program using a generation unit that generates a user's avatar, and includes a step of calculating motion information of the user avatar based on information from the generation unit, and the generation unit. Based on the information from, the computer performs a step of calculating the motion information of the partner avatar that is the partner of the physical activity of the user, and a step of linking the motion information of the partner avatar with the motion information of the user avatar. It is a physical activity support program to be executed by the computer.
他の本発明は、ユーザのアバターを生成する生成部を用いた身体活動支援プログラムであって、前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算するステップと、前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算するステップと、前記ユーザ・アバターの動作情報、及び、前記相手アバターの動作情報に応じて、仮想物体へのインタラクションを計算するステップと、をコンピュータに実行させる身体活動支援プログラムである。 Another invention is a physical activity support program using a generation unit that generates a user's avatar, and includes a step of calculating motion information of the user avatar based on information from the generation unit, and the generation unit. To a virtual object according to the step of calculating the motion information of the partner avatar that is the partner of the physical activity of the user, the motion information of the user avatar, and the motion information of the partner avatar based on the information from It is a physical activity support program that causes a computer to execute the steps of calculating the interaction of.
本発明によれば、ユーザの身体活動を効果的に支援する技術を提供することができる。 According to the present invention, it is possible to provide a technique for effectively supporting the physical activity of a user.
図面を参照しながら本発明の実施の形態を説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明は省略する。 Embodiments of the present invention will be described with reference to the drawings. In addition, the same reference numerals are given to common parts in each figure, and duplicate description is omitted.
（身体活動支援システムの機能ブロック図）
図１は、本発明の実施形態に係る身体活動支援システムの機能ブロック図ある。身体活動支援システム１００は、ユーザ・アバター、相手アバター、及び、実在物体画像を生成し、再生する機能ブロック群と、仮想物体を生成し、再生する機能ブロック群に大きく分けることができる。
(Functional block diagram of physical activity support system)
FIG. 1 is a functional block diagram of a physical activity support system according to an embodiment of the present invention. The physical activity support system 100 can be roughly divided into a functional block group that generates and reproduces a user avatar, an opponent avatar, and an image of a real object, and a functional block group that generates and reproduces a virtual object.
まず、ユーザ・アバター、相手アバター、及び、実在物体画像を生成し、再生する機能ブロック群について説明する。ユーザ動作検知装置１１１は、ユーザ（第１ユーザともいう）の動きを検知する装置であり、ユーザに装着した動きセンサ、又は、ユーザの動きを撮影するビデオカメラなどである。相手動作検知装置１２１は、ユーザ（第１ユーザ）の身体活動の相手（第２ユーザともいう）の動きを検知する装置であり、相手に装着した動きセンサ、又は、相手の動きを撮影するビデオカメラなどである。実在物体動作検知装置１３１は、ユーザ又は相手が身体活動を行う際に現実空間で実際に使用する物（対象物、又は、実在物体という）の動きを検知する装置であり、実在物体に装着した動きセンサ、又は、実在物体の動きを撮影するビデオカメラなどである。 First, a user avatar, a partner avatar, and a functional block group that generates and reproduces an image of a real object will be described. The user motion detection device 111 is a device that detects the motion of the user (also referred to as the first user), and is a motion sensor attached to the user, a video camera that captures the motion of the user, or the like. The other party motion detection device 121 is a device that detects the movement of the other party (also referred to as the second user) of the physical activity of the user (first user), and is a motion sensor attached to the other party or a video for capturing the movement of the other party. Such as a camera. The real object motion detection device 131 is a device that detects the movement of an object (referred to as an object or a real object) actually used in the real space when the user or the other party performs physical activity, and is attached to the real object. A motion sensor, a video camera that captures the movement of a real object, or the like.
人間が装着する動きセンサは、位置、速度、加速度、及び、角度を取得することができる。動きセンサを身体に装着する位置は、例えば、左右の前腕部の肘付近、左右のつま先付近、左右の大腿部の膝付近、背中の中央付近、腰ベルトの背中中央付近、左右の側頭付近である。また、動きセンサの代りに、モーションキャプチャのマーカーを身体に装着して、ビデオカメラで撮影することによっても、人の位置、速度、加速度、及び、角度を取得することができる。また、モーションキャプチャのマーカーを人に装着しないで撮影した動画を画像解析することによって、人の位置、速度、加速度、及び、角度を取得してもよい。さらに、人が身体活動を行う際に現実空間で実際に使用する物（例えば、ゴルフクラブのグリップ）に、動きセンサ、又は、モーションキャプチャのマーカーを装着してもよい。 A human-worn motion sensor can acquire position, velocity, acceleration, and angle. The positions where the motion sensor is attached to the body are, for example, near the elbows of the left and right forearms, near the left and right toes, near the knees of the left and right thighs, near the center of the back, near the center of the back of the waist belt, and the left and right temporal regions. It is in the vicinity. It is also possible to acquire the position, speed, acceleration, and angle of a person by attaching a motion capture marker to the body instead of the motion sensor and shooting with a video camera. Further, the position, speed, acceleration, and angle of the person may be acquired by image analysis of the moving image taken without attaching the motion capture marker to the person. Further, a motion sensor or a motion capture marker may be attached to an object (for example, a grip of a golf club) actually used in a real space when a person performs physical activity.
第１データ記録部１１２は、ユーザ動作検知装置１１１が検知したユーザの動きを記録する。第２データ記録部１２２は、相手動作検知装置１２１が検知した相手の動きを記録する。第３データ記録部１３２は、実在物体動作検知装置１３１が検知した実在物体の動きを記録する。ここで、ユーザ、相手、又は実在物体の動きは、それぞれの動作情報ともいう。 The first data recording unit 112 records the user's movement detected by the user movement detection device 111. The second data recording unit 122 records the movement of the other party detected by the other party motion detection device 121. The third data recording unit 132 records the movement of the real object detected by the real object motion detection device 131. Here, the movement of the user, the other party, or the actual object is also referred to as the respective motion information.
ユーザ・アバター生成部１１３は、第１データ記録部１１２が記録したユーザの動作情報から、ユーザ・アバターを生成することが可能である。ここで、アバターとは、コンピュータ・グラフィックス空間で人間の分身として動作する仮想的な人物をいう。また、ユーザ・アバター生成部１１３は、ユーザ動作検知装置１１１が検知したユーザの動きをリアルタイムに処理し、ユーザ・アバターを生成することも可能である。ここで、ユーザのアバターを生成する生成部は、ユーザ動作検知装置１１１というハードウェアと、第１データ記録部１１２及びユーザ・アバター生成部１１３というソフトウェアで構成されている。そして、ユーザのアバターを生成する生成部は、身体活動支援システム１００と一緒に利用者に納品してもよいし、身体活動支援システム１００には含めない状態で利用者に納品し、利用者側で用意してもよい。すなわち、ユーザのアバターを生成する生成部は身体活動支援システム１００にとって必須の構成とは限らない。同様のことは、相手アバター及び実在物体についてもいえる。 The user avatar generation unit 113 can generate a user avatar from the user's operation information recorded by the first data recording unit 112. Here, the avatar is a virtual person who acts as a human alter ego in the computer graphics space. Further, the user avatar generation unit 113 can also generate a user avatar by processing the user's movement detected by the user motion detection device 111 in real time. Here, the generation unit that generates the user's avatar is composed of hardware called the user motion detection device 111 and software called the first data recording unit 112 and the user avatar generation unit 113. Then, the generation unit that generates the user's avatar may be delivered to the user together with the physical activity support system 100, or may be delivered to the user without being included in the physical activity support system 100, and the user side. You may prepare at. That is, the generation unit that generates the user's avatar is not necessarily an essential configuration for the physical activity support system 100. The same is true for opponent avatars and real objects.
相手アバター生成部１２３は、第２データ記録部１２２が記録した相手の動作情報から、相手アバターを生成することが可能である。また、相手アバター生成部１２３は、相手動作検知装置１２１が検知した相手の動きをリアルタイムに処理し、相手アバターを生成することも可能である。 The opponent avatar generation unit 123 can generate the opponent avatar from the operation information of the opponent recorded by the second data recording unit 122. Further, the opponent avatar generation unit 123 can also generate the opponent avatar by processing the movement of the opponent detected by the opponent motion detection device 121 in real time.
実在物体画像生成部１３３は、第３データ記録部１３２が記録した実在物体の動作情報から、実在物体画像を生成することが可能である。ここで、実在物体画像とは、現実空間での実在物体に対応するコンピュータ・グラフィックス空間での画像をいう。また、実在物体画像生成部１３３は、実在物体動作検知装置１３１が検知した実在物体の動きをリアルタイムに処理し、実在物体画像を生成することも可能である。 The real object image generation unit 133 can generate a real object image from the motion information of the real object recorded by the third data recording unit 132. Here, the real object image means an image in the computer graphics space corresponding to the real object in the real space. Further, the real object image generation unit 133 can also process the movement of the real object detected by the real object motion detection device 131 in real time to generate the real object image.
生成されたユーザ・アバター、相手アバター、及び、実在物体画像は、ユーザ連動処理部１４０に入力される。ユーザ連動処理部１４０は、相手アバターの動き、及び／又は、実在物体画像の動きをユーザ・アバターの動きに連動させることが可能である。具体的には、ユーザ連動処理部１４０は、第１計算部１４１と、第２計算部１４２と、第３計算部１４３を備える。第１計算部１４１は、ユーザ・アバターが生成された情報に基づいて、ユーザ・アバターの動作情報を計算する。第２計算部１４２は、ユーザ・アバターが生成された情報に基づいて、相手アバターの動作情報を計算する。第３計算部１４３は、ユーザ・アバターが生成された情報に基づいて、実在物体画像の動作情報を計算する。そして、ユーザ連動処理部１４０は、ユーザ・アバターの動作情報に、相手アバターの動作情報を連動させる。
The generated user avatar, partner avatar, and real object image are input to the user
ユーザ連動処理部１４０によって連動されたユーザ・アバター、相手アバター、及び、実在物体画像それぞれの動きは、ユーザ・アバター再生部１１４、相手アバター再生部１２４、及び、実在物体再生部１３４でそれぞれ再生される。再生されたユーザ・アバター、相手アバター、及び、実在物体は表示装置１５０に表示される。表示装置１５０は、ユーザが装着するヘッド・マウント・ディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ；ＨＭＤ）、または、ユーザが練習をしながら見られるように設置された平面ディスプレイ等であり、二次元表示でも三次元表示でもよい。
The movements of the user avatar, the opponent avatar, and the real object image linked by the user
次に、仮想物体を生成し、再生する機能ブロック群について説明する。仮想物体とは、上述した実在物体とは異なり、コンピュータ・グラフィックス空間のみに表示される画像である。すなわち、仮想物体は、実在せず、コンピュータが仮想的に作成した画像である。 Next, a functional block group that creates and reproduces a virtual object will be described. The virtual object is an image displayed only in the computer graphics space, unlike the real object described above. That is, the virtual object is an image that does not actually exist and is virtually created by a computer.
仮想物体情報入力装置１６１は、仮想物体の位置や、実在物体との接触に応じた速度及び／又は加速度を設定する入力デバイスである。コンピュータのキーボード等から入力すればよい。 The virtual object information input device 161 is an input device that sets the position of the virtual object and the speed and / or acceleration according to the contact with the real object. You can input from the keyboard of your computer.
仮想物体設定記録部１６２は、仮想物体情報入力装置１６１から入力された速度・加速度などを記録しておく。仮想物体生成部１６３は、仮想物体の画像を生成し、仮想物体動作調整部１６４へ出力する。 The virtual object setting recording unit 162 records the velocity, acceleration, and the like input from the virtual object information input device 161. The virtual object generation unit 163 generates an image of the virtual object and outputs it to the virtual object motion adjustment unit 164.
仮想物体動作調整部１６４は、ユーザ連動処理部１４０に連動されたユーザ・アバター、相手アバター、及び、実在物体画像のうち少なくとも１つの動きに応じて、予め仮想物体設定記録部１６２で動きを設定された仮想物体の動作を調整することが可能である。
The virtual object motion adjusting unit 164 sets the movement in advance in the virtual object setting recording unit 162 according to the movement of at least one of the user avatar, the opponent avatar, and the real object image linked to the user
仮想物体再生部１６５は、仮想物体動作調整部１６４によって調整された仮想物体の動きを再生する。再生された仮想物体は、表示装置１５０に表示される。
The virtual object reproduction unit 165 reproduces the movement of the virtual object adjusted by the virtual object motion adjustment unit 164. The reproduced virtual object is displayed on the
上述した機能ブロック群で構成される身体活動支援システム１００は、ソフトウェアとしてコンピュータに実装されていてもよく、その実装形態は限定されない。例えば、パーソナルコンピュータ等のクライアント端末と有線又は無線の通信回線（インターネット回線など）に接続された専用サーバにインストールされた身体活動支援プログラムとして実装されていてもよいし、いわゆるクラウドサービスを利用して実装されていてもよい。 The physical activity support system 100 composed of the above-mentioned functional block group may be implemented in a computer as software, and the implementation form thereof is not limited. For example, it may be implemented as a physical activity support program installed on a dedicated server connected to a client terminal such as a personal computer and a wired or wireless communication line (Internet line, etc.), or by using a so-called cloud service. It may be implemented.
（身体活動支援システムのフローチャート）
図２及び図３は、本発明の実施形態に係る身体活動支援システムについて２種類のフローチャートである。図２は、相手が、ユーザが行う身体活動の熟練者である場合（その１；ユーザが熟練者から動作練習を受ける動作練習モード）のフローチャートである。図３は、ユーザが一人で動作練習をする場合、又はユーザが身体活動を通して相手と競い合う場合（その２；一人又は対戦モード）のフローチャートである。図２と図３の相違点は、図２のＳ１３０（ユーザの動きデータから時刻iを求める）が図３には無い点である。
(Flowchart of physical activity support system)
2 and 3 are two types of flowcharts of the physical activity support system according to the embodiment of the present invention. FIG. 2 is a flowchart of a case where the other party is a skilled person in physical activity performed by the user (No. 1; a movement practice mode in which the user receives a movement practice from the skilled person). FIG. 3 is a flowchart of a case where the user practices movement alone, or when the user competes with the opponent through physical activity (No. 2; one person or battle mode). The difference between FIGS. 2 and 3 is that S130 (obtaining the time i from the user's movement data) in FIG. 2 is not in FIG.
（フローチャートその１；動作練習モード）
まず、図２について説明する。Ｓ１１０は、リアルタイムに表示するユーザ等のセンサやモーションデータをユーザ動作検知装置１１１等から取得するステップである。また、第１データ記録部１１２等に記録しておいてもよい。
(
First, FIG. 2 will be described. S110 is a step of acquiring a sensor or motion data of a user or the like to be displayed in real time from a user motion detection device 111 or the like. Further, it may be recorded in the first data recording unit 112 or the like.
Ｓ１２０は、各生成部が各検知装置や各記録部からの情報に基づいて生成したユーザ・アバター、相手アバター、実在物体画像について、ユーザ連動処理部１４０の第１計算部１４１、第２計算部１４２、第３計算部１４３がそれぞれユーザ・アバターの動きデータ、相手アバターの動きデータ、実在物体画像の動きデータを計算するするステップである。ここで、動きデータとは、所定の時間間隔（時刻１から時刻ｎまで）の位置、速度、加速度、及び／又は角度のデータ（動作情報ともいう）をいう。位置データと角度データの２つから、ユーザ・アバター等がずっと動いているか、又は、一時停止をしているかを計算することができる。
In S120, the first calculation unit 141 and the second calculation unit of the user
Ｓ１３０は、ユーザ自身が知りたい任意のユーザの動きに相当する時刻ｉを求めるステップである。例えば、ユーザがゴルフクラブを持ってスイングを練習しており、相手がゴルフのレッスンプロ、実在物体がゴルフクラブの場合、ユーザが装着した動きセンサ（図１のユーザ動作検知装置１１１に相当）が、ユーザの動きが一時停止したことを検知すると、ユーザ連動処理部１４０は、ユーザがその一時停止した時の相手（レッスンプロ）アバターの動きを知りたいと判断する。そして、ユーザ連動処理部１４０は、一時停止した時刻ｉを求める。
S130 is a step of obtaining the time i corresponding to the movement of any user that the user wants to know. For example, when the user is practicing a swing with a golf club, the opponent is a golf lesson pro, and the actual object is a golf club, the motion sensor (corresponding to the user motion detection device 111 in FIG. 1) worn by the user is used. When the user's movement is detected to be paused, the user
Ｓ１４０では、その時刻ｉの時の相手（レッスンプロ）アバターの動きデータを求める。この時刻ｉの時の相手（レッスンプロ）アバターの動きデータが、ユーザ・アバターの時刻ｉの時の動きデータに対応する。また、実在物体画像（ユーザが使用しているゴルフクラブ及び相手が使用しているゴルフクラブ）の動きデータを求めてもよい。 In S140, the movement data of the opponent (lesson pro) avatar at the time i is obtained. The movement data of the opponent (lesson pro) avatar at the time i corresponds to the movement data of the user avatar at the time i. Further, the motion data of the real object image (the golf club used by the user and the golf club used by the opponent) may be obtained.
Ｓ１５０は、仮想物体の速度・加速度を調整するモードの有無を判断するステップである。例えば、ユーザがゴルフクラブのスイングを練習している場合でも、本実施形態の身体活動支援システムは、ａ）ゴルフクラブの素振りを選択する場合と、ｂ）ゴルフクラブをスイングした結果、仮想物体としてのボールがどのように飛ぶかを仮想空間で確認したい場合のどちらかを選択することが可能である。ユーザは、図１の仮想物体情報入力装置を用いて、このような選択をすることができる。 S150 is a step of determining whether or not there is a mode for adjusting the speed / acceleration of the virtual object. For example, even when the user is practicing the swing of the golf club, the physical activity support system of the present embodiment can be used as a virtual object as a result of a) selecting the swing of the golf club and b) swinging the golf club. It is possible to select either one when you want to check how the ball flies in the virtual space. The user can make such a selection using the virtual object information input device of FIG.
ａ）素振りの場合は、Ｓ１５０のＮｏに該当する。このため、ユーザ連動処理部１４０は、時刻ｉからのユーザ・アバターの動きに、相手アバターの動きを連動させることができる。また、ユーザ・アバターがスイングするゴルフクラブ（実在物体の画像）、及び、相手アバターがスイングするゴルフクラブ（実在物体の画像）の動きも連動させることができる。
a) In the case of swinging, it corresponds to No of S150. Therefore, the user
Ｓ１８０は、各再生部によって再生されたユーザ・アバター、相手アバター、及び／又は実在物体の画像を表示装置１５０が表示するステップである。
S180 is a step in which the
一方、ｂ）ゴルフクラブをスイングした結果、仮想物体としてのボールがどのように飛ぶかを仮想空間で確認したい場合は、Ｓ１５０のＹｅｓに該当する。この場合、図１の仮想物体動作調整部１６４は、仮想物体の位置データ、及び、実在物体との接触に関するデータを取得する（Ｓ１６０）。 On the other hand, b) When it is desired to confirm in the virtual space how the ball as a virtual object flies as a result of swinging the golf club, it corresponds to Yes of S150. In this case, the virtual object motion adjusting unit 164 of FIG. 1 acquires the position data of the virtual object and the data related to the contact with the real object (S160).
そして、仮想物体動作調整部１６４は、仮想物体の速度及び加速度を決定する（Ｓ１７０）。仮想物体再生部１６５は、決定された速度及び加速度に応じて、仮想物体を再生し、表示装置１５０に表示する（Ｓ１８０）。 Then, the virtual object motion adjusting unit 164 determines the velocity and acceleration of the virtual object (S170). The virtual object reproduction unit 165 reproduces the virtual object according to the determined speed and acceleration, and displays it on the display device 150 (S180).
（フローチャートその２；一人又は対戦モード）
次に、図３について説明する。Ｓ２１０は、図２のＳ１１０と同様、リアルタイムに表示するユーザ等のセンサやモーションデータをユーザ動作検知装置１１１等から取得するステップである。また、第１データ記録部１１２等に記録しておいてもよい。
(
Next, FIG. 3 will be described. Similar to S110 in FIG. 2, S210 is a step of acquiring sensors and motion data of the user or the like to be displayed in real time from the user motion detection device 111 or the like. Further, it may be recorded in the first data recording unit 112 or the like.
Ｓ２２０は、図２のＳ１２０と同様、各生成部が、各検知装置や各記録部からの情報に基づいて、ユーザ・アバター、相手アバター、実在物体画像それぞれの動きデータを生成するステップである。Ｓ２２０では、相手アバターの動きデータを生成することは必須ではない点に留意していただきたい。 Similar to S120 in FIG. 2, S220 is a step in which each generation unit generates motion data for each of the user avatar, the other party avatar, and the real object image based on the information from each detection device and each recording unit. Please note that it is not essential to generate the movement data of the opponent avatar in S220.
Ｓ２３０は、図２のＳ１３０が無く、図２のＳ１４０と異なり、時刻ｉの時のユーザ・アバター及び／又は相手（対戦者）アバターの動きデータを求める。実在物体画像（ユーザが使用している実在物体、及び／又は、相手が対戦に使用している実在物体）の動きデータを求めてもよい。 S230 does not have S130 in FIG. 2, and unlike S140 in FIG. 2, obtains motion data of the user avatar and / or the opponent (opponent) avatar at time i. The motion data of the real object image (the real object used by the user and / or the real object used by the opponent in the battle) may be obtained.
Ｓ２４０は、図２のＳ１５０と同様、仮想物体の速度・加速度を調整するモードの有無を判断するステップである。Ｓ２５０は、図２のＳ１６０と同様、仮想物体の位置データ、及び、実在物体との接触に関するデータを取得するステップである。Ｓ２６０は、Ｓ１７０と同様、仮想物体の速度及び加速度を決定するステップである。Ｓ２７０は、Ｓ１８０と同様、決定された速度及び加速度に応じて、仮想物体を再生し、表示装置１５０に表示するステップである。
Similar to S150 in FIG. 2, S240 is a step of determining whether or not there is a mode for adjusting the speed / acceleration of the virtual object. Similar to S160 in FIG. 2, S250 is a step of acquiring the position data of the virtual object and the data related to the contact with the real object. Similar to S170, S260 is a step of determining the velocity and acceleration of the virtual object. Similar to S180, S270 is a step of regenerating the virtual object and displaying it on the
以下では、４つの実施形態を説明する。第１及び第２の実施形態は、図２のフローチャート（その１；動作練習モード）に関する。第３及び第４の実施形態は、図３のフローチャート（その２；一人又は対戦モード）に関する。 Hereinafter, four embodiments will be described. The first and second embodiments relate to the flowchart of FIG. 2 (No. 1; operation practice mode). The third and fourth embodiments relate to the flowchart of FIG. 3 (No. 2; one person or battle mode).
（第１の実施形態の構成）
第１の実施形態は、ユーザがゴルフのスイングを練習する場合について説明する。図４は、第１の実施形態に係るユーザ・アバター及び相手アバターの表示例を示す図である。ここで、ｘ軸は人の左足から右足にかけての足幅方向であり、ｙ軸は人の高さ方向であり、ｚ軸は人の背中から腹側への方向である。ユーザ・アバター４１０及びユーザ側の実在物体（ゴルフクラブ）の画像４１１を点線で表示し、相手アバター４２０、及び、相手側の実在物体（ゴルフクラブ）の画像４２１を実線で表示している。
(Structure of the first embodiment)
The first embodiment describes a case where a user practices a golf swing. FIG. 4 is a diagram showing a display example of the user avatar and the partner avatar according to the first embodiment. Here, the x-axis is the foot width direction from the left foot to the right foot of the person, the y-axis is the height direction of the person, and the z-axis is the direction from the back to the ventral side of the person. The
ユーザ・アバター４１０は、ユーザに装着された動きセンサに応じてリアルタイムに動作する。また、ユーザ側の実在物体（ゴルフクラブ）の画像４１１も、ユーザがスイングするゴルフクラブのグリップに装着された動きセンサに応じてリアルタイムに動作する。
The
一方、相手（ゴルフのレッスンプロ等の熟練者）、及び、相手側の実在物体（ゴルフクラブ）のグリップに装着された動きセンサによって相手の動きは予め記録されている。そして、相手アバター４２０、及び、相手側の実在物体（ゴルフクラブ）の画像４２１は、リアルタイムに動作するユーザ・アバター４１０に連動して動く。
On the other hand, the movement of the opponent (expert such as a golf lesson professional) and the movement of the opponent are recorded in advance by the motion sensor attached to the grip of the real object (golf club) on the opponent side. Then, the
相手アバター４２０がどのようにユーザ・アバター４１０に連動するかについて説明する。図５は、ユーザの位置データ等に対応する相手、及び／又は、実在物体の位置データ等を算出する方法を説明するための図である。
How the
図５のａ）は、ユーザの左手の位置、角度、及び、速度をリアルタイムで測定する場合の数値データの一例である。ｐはｐｏｓｉｔｉｏｎ（位置）、ｒはｒｏｔａｔｉｏｎ（角度）、ｖはｖｅｌｏｃｉｔｙ（速度）を表す。図５のｂ）は、相手（熟練者）の左手の位置群、角度群、及び、速度群をｔ（ｔｉｍｅ；時刻）が１〜ｎまでについて記録されたデータである。各時間の間隔は０．０１秒である。 FIG. 5a) is an example of numerical data when measuring the position, angle, and speed of the user's left hand in real time. p represents position, r represents rotation, and v represents velocity. FIG. 5b) is data in which the position group, the angle group, and the speed group of the left hand of the opponent (expert) are recorded for t (time; time) of 1 to n. The interval between each time is 0.01 seconds.
ゴルフのスイングの場合、熟練者の左手の速度群の中で、ｘ軸の正負が、ユーザの左手のｘ軸と同じものを抜き出す。その中で、図５のｃ−１）で示す数式（ユーザと熟練者の左手の距離）が最小になる、又は、ｃ−２）で示す数式（ユーザと熟練者の左手の角度）が最も近い時刻ｉを求める。 In the case of a golf swing, in the speed group of the expert's left hand, the one whose x-axis is positive or negative is the same as the x-axis of the user's left hand is extracted. Among them, the mathematical formula shown in c-1) of FIG. 5 (distance between the user and the expert's left hand) is the smallest, or the mathematical formula shown in c-2) (the angle between the user and the expert's left hand) is the most. Find the near time i.
次に、その時刻ｉの時の熟練者の状態（腕の位置や角度など）を求める。これが図２のＳ１４０に相当する。ここで、手だけでなく、体の他の部位や、実在物体との組合せを求めてもよい。 Next, the state of the expert (arm position, angle, etc.) at that time i is obtained. This corresponds to S140 in FIG. Here, not only the hand but also other parts of the body or a combination with a real object may be obtained.
このようにして求めた時刻ｉの時の相手（熟練者）アバターをユーザ・アバター４１０の時刻ｉの時の動きに連動させることが、図１のユーザ連動処理部１４０である。
It is the user
（第１の実施形態の作用効果）
第１の実施形態によれば、ユーザが身体活動（ゴルフのスイング練習）をする際に、リアルタイムに処理したユーザ・アバターの動きに予め記録した相手（熟練者）アバターの動きを連動して、さらに重ねて再生することができる。このため、ユーザは、ゴルフのスイング練習などの連続的な動作を練習している際に、相手（熟練者）の動きについていきやすく、効果的なトレーニングを行えるという作用効果を有する。
(Action and effect of the first embodiment)
According to the first embodiment, when the user performs physical activity (golf swing practice), the movement of the opponent (expert) avatar recorded in advance is linked to the movement of the user avatar processed in real time. It can be played back in layers. Therefore, when the user is practicing continuous movements such as golf swing practice, the user can easily follow the movement of the opponent (expert) and can perform effective training.
また、ユーザがゴルフのスイング練習をしている最中に、ユーザが好きな所で止めたり、動かしたりするだけで、相手（熟練者）アバターの動きを確認しやすくなるという作用効果も有する。例えば、ユーザが相手（熟練者）のある腕の角度のフォームを確認したいとき、自分の腕をその角度にまで動かすだけで、その腕の角度の相手（熟練者）のフォームを確認することができる。 In addition, while the user is practicing a golf swing, the user can easily check the movement of the opponent (expert) avatar simply by stopping or moving the avatar at a desired place. For example, when a user wants to check the form of an arm angle with an opponent (expert), he / she can confirm the form of the opponent (expert) with that arm angle simply by moving his / her arm to that angle. can.
また、リアルタイムに処理したユーザ・アバターの動きに連動して、所定の時間間隔だけ先に、又は、後に、予め記録した相手（熟練者）アバターの動きをユーザ・アバターの動きに重ねて再生することもできる。この場合、ユーザ・アバター４１０の動きから数フレーム程度先に、又は、後に（遅れて）相手（熟練者）アバターが動くように、所定の時間間隔を調整可能な調整部を設ければ良い。１フレームは約０．０１秒である。
In addition, in conjunction with the movement of the user avatar processed in real time, the movement of the partner (expert) avatar recorded in advance is reproduced by superimposing it on the movement of the user avatar by a predetermined time interval before or after. You can also do it. In this case, an adjustment unit capable of adjusting a predetermined time interval may be provided so that the opponent (expert) avatar moves several frames before or after the movement of the
第１の実施形態は、ユーザ・アバター４１０と相手（熟練者）アバター４２０だけを再生表示すれば、ゴルフボールを飛ばさない状態での素振りの練習になる。また、図１の仮想物体調整部１６４が、ユーザ側の実在物体（ゴルフクラブ）の画像４１１、及び、相手（熟練者）の実在物体（ゴルフクラブ）の画像４２１と、それぞれの仮想物体（ゴルフボール）へのインタラクションを計算すれば、仮想物体（ゴルフボール）が飛ぶ弾道の違いをユーザの場合及び相手（熟練者）の場合それぞれについて調整し、再生表示することも可能になる。
In the first embodiment, if only the
また、図４では、ユーザ・アバター４１０は相手アバター４２０を透過せずに、表示している。しかし、これに限られることはなく、相手アバター４２０を半透明に表示すれば、ユーザ・アバター４１０は隠れることなく表示することが可能になる。
Further, in FIG. 4, the
（第２の実施形態の構成）
第２の実施形態は、ユーザがけん玉を練習する場合について説明する。図６は、第１の実施形態に係るユーザ・アバター及び相手アバターの表示例を示す図である。図６のａ）はユーザ・アバター６１０、ユーザ側の実在物体（けん玉のけん）の画像６１１、及び、ーザ側の仮想物体（けん玉の玉）６２１を表している。図６のｂ）は相手（熟練者）アバター６２０、相手側の実在物体（けん玉のけん）の画像６２１、及び、相手側の仮想物体（けん玉の玉）６２２を表している。ここで、ユーザ及び相手（熟練者）のけん玉の玉は仮想物体であるため、ユーザ及び相手（熟練者）がけん玉を行う際の現実空間で実際に使用する物ではない点に留意していただきたい。
(Structure of the second embodiment)
The second embodiment describes a case where the user practices kendama. FIG. 6 is a diagram showing a display example of the user avatar and the partner avatar according to the first embodiment. FIG. 6a) shows the
第２の実施形態も、第１の実施形態と同様、ユーザが身体活動（けん玉の練習）をする際に、リアルタイムに処理したユーザ・アバター６１０の動きに連動して、予め記録した相手（熟練者）アバター６２０の動きをユーザ・アバターの動きに重ねて再生している。さらに、ユーザ側の実在物体（けん玉のけん）の画像６１１、及び、相手側の実在物体（けん玉のけん）の画像６２１と、それぞれの仮想物体（けん玉のたま）６１２及び６２２へのインタラクションを計算すれば、仮想物体（けん玉の玉）が実在物体（けん玉のけん）にうまく着地するかの違いをユーザの場合及び相手（熟練者）の場合それぞれについて計算し、再生表示している。
In the second embodiment, as in the first embodiment, when the user performs physical activity (practice of kendama), the partner (skilled) recorded in advance in conjunction with the movement of the
（第２の実施形態の作用効果）
第２の実施形態によれば、ユーザが身体活動（けん玉の練習）をする際に、リアルタイムに処理したユーザ・アバターの動きに予め記録した相手（熟練者）アバターの動きを連動して、さらに重ねて再生することができる。又は、横に並べて再生表示してもよい。このため、ユーザは、けん玉練習などの連続的な動作を練習している際に、相手（熟練者）の動きについていきやすく、効果的なトレーニングを行えるという作用効果を有する。
(Action and effect of the second embodiment)
According to the second embodiment, when the user performs physical activity (practice of kendama), the movement of the user avatar processed in real time is linked with the movement of the partner (expert) avatar recorded in advance, and further. It can be played back in layers. Alternatively, they may be reproduced and displayed side by side. Therefore, the user has the effect of being able to easily follow the movement of the opponent (expert) and perform effective training while practicing continuous movements such as kendama practice.
また、けん玉の練習の場合、けん玉を単に手だけで動かすのではなく、手と同時に膝も動かすことが重要であることをユーザは自然に学ぶことができる。 In addition, when practicing kendama, the user can naturally learn that it is important to move the knee at the same time as the hand, rather than simply moving the kendama by hand.
（第３の実施形態の構成）
第３の実施形態は、ユーザが一人で（相手アバターを表示せずに）けん玉を練習する場合について説明する。この場合の表示例は、図６のａ）のみを表示し、ｂ）を表示しない場合に相当する。
(Structure of Third Embodiment)
The third embodiment describes a case where the user practices kendama alone (without displaying the opponent's avatar). The display example in this case corresponds to the case where only a) of FIG. 6 is displayed and b) is not displayed.
第３の実施形態のフローチャートは、図３のフローチャート（その２；一人又は対戦モード）に相当する。そして、Ｓ２２０、Ｓ２３０，Ｓ２７０の処理については、相手アバターに関する処理はせずに、ユーザ・アバター、ユーザの実在物体（けん玉のけん）、ユーザの仮想物体（けん玉のたま）について処理を行えばよい。 The flowchart of the third embodiment corresponds to the flowchart of FIG. 3 (No. 2; one person or battle mode). Then, regarding the processing of S220, S230, and S270, the processing may be performed on the user avatar, the user's real object (Kendama's Ken), and the user's virtual object (Kendama's Tama) without processing on the other party's avatar. ..
また、一人で練習するため、ユーザの仮想物体（けん玉のたま）の速度を調整してもよい。例えば、図１の仮想物体設定記録部１６２に「ａｆｔｅｒ ｈｉｔ ｂｙ ｕｓｅｒ： １／２」と記録しておけば、図１の仮想物体動作調整部１６４は、ユーザの仮想物体（けん玉のたま）の速度を１／２に設定することができる。 Also, in order to practice alone, the speed of the user's virtual object (Kendama Tama) may be adjusted. For example, if "after hit by user: 1/2" is recorded in the virtual object setting recording unit 162 of FIG. 1, the virtual object motion adjustment unit 164 of FIG. 1 is the user's virtual object (Kendama no Tama). The speed can be set to 1/2.
（第３の実施形態の作用効果）
第３の実施形態によれば、ユーザはけん玉を練習する際に、実際のけん玉とは異なり、玉の落下速度を調整（遅く）することができ、慌てずに練習することができるという作用効果を有する。このため、動作を確認しながら、単に手だけで動かすのではなく、手と同時に膝も動かすことが重要であることをユーザは自然に学ぶことができる。
(Action and effect of the third embodiment)
According to the third embodiment, when practicing kendama, the user can adjust (slow down) the falling speed of the kendama, unlike the actual kendama, and can practice without rushing. Has. Therefore, the user can naturally learn that it is important to move the knee at the same time as the hand, instead of simply moving the hand while checking the movement.
（第４の実施形態の構成）
第４の実施形態は、ユーザが卓球の試合をする場合について説明する。図７は、第４の実施形態に係るユーザ・アバター及び相手アバターの表示例を示す図である。６１０はユーザ・アバターを表し、６１１はユーザ側の実在物体（卓球のラケット）の画像を表す。６２０は相手（対戦者）アバターを表し、６２１は相手側の実在物体（卓球のラケット）の画像を表す。６３０は仮想物体である卓球のボールを表し、６３１は仮想物体である卓球台を表し、６３２は仮想物体である卓球台のネットを表し、６３３は仮想物体である境界面を表す。ここで、ｘ軸は仮想物体である卓球台６３１の長手方向であり、ｙ軸は短手方向であり、ｚ軸は高さ方向である。
(Structure of Fourth Embodiment)
A fourth embodiment describes a case where a user plays a table tennis game. FIG. 7 is a diagram showing a display example of the user avatar and the partner avatar according to the fourth embodiment. 610 represents a user avatar, and 611 represents an image of a real object (table tennis racket) on the user side. 620 represents the opponent's (opponent) avatar, and 621 represents the image of the opponent's real object (table tennis racket). 630 represents a table tennis ball which is a virtual object, 631 represents a table tennis table which is a virtual object, 632 represents a net of a table tennis table which is a virtual object, and 633 represents a boundary surface which is a virtual object. Here, the x-axis is the longitudinal direction of the table tennis table 631 which is a virtual object, the y-axis is the lateral direction, and the z-axis is the height direction.
第４の実施形態では、仮想物体の速度を、仮想物体の位置や状態などによって複数の値に調整される。境界面６３３よりユーザ・アバター６１０側（紙面手前側）では、仮想物体６３０（卓球のボール）の速度は１／６に設定され、境界面６３３より相手アバター６２０側（紙面奥側）では、仮想物体６３０（卓球のボール）の速度は１／２に設定される。このような設定は、図１の仮想物体動作調整部１６４で行われる。具体的には、図１の仮想物体設定記録部１６２に、予め「ＰｏｓｉｔｉｏｎＸ（Ｂａｌｌ）＜ＰｏｓｉｔｉｏｎＸ（Ｂｏｕｎｄａｒｙ）： １／２」、「ＰｏｓｉｔｉｏｎＸ（Ｂａｌｌ）＞＝ＰｏｓｉｔｉｏｎＸ（Ｂｏｕｎｄａｒｙ）： １／６」と記録することによって設定する。また、相手アバターが仮想物体（卓球のボール）を打った直後は仮想物体６３０（卓球のボール）の速度を１／６に設定され、ユーザ・アバターが仮想物体（卓球のボール）を打った直後は仮想物体６３０（卓球のボール）の速度を１／２に設定される場合もある。この場合は、図１の仮想物体設定記録部１６２に、予め「ａｆｔｅｒ ｈｉｔ ｂｙ ｃｏｍｐｅｔｉｔｏｒ： １／６」、「ａｆｔｅｒ ｈｉｔ ｂｙ ｕｓｅｒ： １／２」と記録することによって設定する。
In the fourth embodiment, the velocity of the virtual object is adjusted to a plurality of values depending on the position and state of the virtual object. The speed of the virtual object 630 (table tennis ball) is set to 1/6 on the
（第４の実施形態の作用効果）
第４の実施形態によれば、ユーザと対戦者の身体活動（卓球）への習熟度が異なる場合であっても、仮想物体６３０（卓球のボール）の速度調整が容易であるため、互角の試合をすることが可能になるという作用効果を有する。
(Action and effect of the fourth embodiment)
According to the fourth embodiment, even when the user and the opponent have different proficiency levels in physical activity (table tennis), the speed of the virtual object 630 (table tennis ball) can be easily adjusted, so that the speed is equal. It has the effect of making it possible to play a match.
また、仮想物体６３０（卓球のボール）の速度調整をすることによって、高齢者や若者など世代が異なる人が試合をできたり、また、体の不自由な人と体の健康な人とが試合をできる等、現実空間では難しい対戦競技をすることが可能になるという作用効果も有する。 In addition, by adjusting the speed of the virtual object 630 (table tennis ball), people of different generations such as the elderly and young people can play games, and people with disabilities and healthy people can play games. It also has the effect of making it possible to play difficult competitions in real space.
以上、本発明の実施例（変形例を含む）について説明してきたが、これらのうち、２つ以上の実施例を組み合わせて実施しても構わない。あるいは、これらのうち、１つの実施例を部分的に実施しても構わない。さらには、これらのうち、２つ以上の実施例を部分的に組み合わせて実施しても構わない。例えば、第１の実施形態の場合、相手の動作を予め記録しておく記録部がある。一方、第２の実施形態の場合、記録部が有るケース（予め記録してある熟練者データとの練習）と、無いケース（実人間とのリアルタイム対戦）がある。実人間とのリアルタイム対戦の場合、相手アバターの動作情報を計算すればよい。 Although the examples (including modified examples) of the present invention have been described above, two or more of these examples may be combined and implemented. Alternatively, one of these examples may be partially implemented. Furthermore, among these, two or more examples may be partially combined and carried out. For example, in the case of the first embodiment, there is a recording unit that records the operation of the other party in advance. On the other hand, in the case of the second embodiment, there are cases where there is a recording unit (practice with expert data recorded in advance) and cases where there is no recording unit (real-time battle with a real human being). In the case of a real-time battle with a real human, the operation information of the opponent's avatar may be calculated.
また、本発明は、上記発明の実施例の説明に何ら限定されるものではない。特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。 Further, the present invention is not limited to the description of the examples of the above invention. Various modifications are also included in the present invention as long as those skilled in the art can easily conceive without departing from the description of the scope of claims.
１００ 身体活動支援システム
１４０ ユーザ連動処理部
１６４ 仮想物体動作調整部
100 Physical
Claims (10)
前記ユーザ・アバター生成部からの情報に基づいて、所定の時刻での前記ユーザの体の複数の部位の位置、角度、及び、速度に関するユーザ・アバターの動作情報を計算する第１計算部と、
前記相手アバター生成部からの情報に基づいて、前記所定の時刻での前記相手の体の複数の部位の位置、角度、及び、速度に関する前記相手アバターの動作情報を計算する第２計算部と、
前記ユーザ・アバターの動作情報に、前記相手アバターの動作情報を前記所定の時刻に基づいて連動させる連動部を備える身体活動支援システム。 A user avatar generation unit that generates a user's avatar, which is a virtual person who acts as a human alter ego in a computer graphics space, and a partner avatar generation that generates a partner avatar that is a partner of the user's physical activity. It is a physical activity support system that supports the physical activity of the user by using the department.
Based on the information from the user avatar generation unit, the first calculation unit that calculates the operation information of the user avatar regarding the positions, angles, and speeds of a plurality of parts of the user's body at a predetermined time, and the first calculation unit.
A second calculation unit that calculates the operation information of the opponent avatar regarding the positions, angles, and speeds of a plurality of parts of the opponent's body at the predetermined time based on the information from the opponent avatar generation unit.
A physical activity support system including an interlocking unit that links the operation information of the other party's avatar with the operation information of the user avatar based on the predetermined time.
前記ユーザ・アバター生成部からの情報に基づいて、所定の時刻での前記ユーザの体の複数の部位の位置、角度、及び、速度に関するユーザ・アバターの動作情報を計算する第１計算部と、
前記相手アバター生成部からの情報に基づいて、他の所定の時刻での前記相手の体の複数の部位の位置、角度、及び、速度に関する前記相手アバターの動作情報を計算する第２計算部と、
仮想物体の位置又は状態に応じた前記仮想物体の設定を記録する仮想物体設定記録部と、
前記所定の時刻での前記ユーザ・アバターの動作情報又は前記他の所定の時刻での前記相手アバターの動作情報と、前記仮想物体の設定と、に応じて、前記仮想物体へのインタラクションを計算する仮想物体動作調整部を備える身体活動支援システム。 A user avatar generation unit that generates a user's avatar, which is a virtual person who acts as a human alter ego in a computer graphics space, and a partner avatar generation that generates a partner avatar that is a partner of the user's physical activity. It is a physical activity support system that supports the physical activity of the user by using the department.
Based on the information from the user avatar generation unit, the first calculation unit that calculates the operation information of the user avatar regarding the positions, angles, and speeds of a plurality of parts of the user's body at a predetermined time, and the first calculation unit.
Based on the information from the opponent avatar generation unit, the second calculation unit that calculates the operation information of the opponent avatar regarding the positions, angles, and speeds of a plurality of parts of the opponent's body at other predetermined times. ,
A virtual object setting recording unit that records the setting of the virtual object according to the position or state of the virtual object, and
The interaction with the virtual object is calculated according to the operation information of the user avatar at the predetermined time or the operation information of the other party avatar at the other predetermined time, and the setting of the virtual object. A physical activity support system equipped with a virtual object motion adjustment unit.
前記ユーザ・アバター生成部からの情報に基づいて、所定の時刻での前記ユーザの体の複数の部位の位置、角度、及び、速度に関するユーザ・アバターの動作情報を計算し、
前記相手アバター生成部からの情報に基づいて、前記所定の時刻での前記相手の体の複数の部位の位置、角度、及び、速度に関する前記相手アバターの動作情報を計算し、
前記ユーザ・アバターの動作情報に、前記相手アバターの動作情報を前記所定の時刻に基づいて連動させる身体活動支援方法。 A user avatar generation unit that generates a user's avatar, which is a virtual person who acts as a human alter ego in a computer graphics space, and a partner avatar generation that generates a partner avatar that is a partner of the user's physical activity. It is a physical activity support method that supports the physical activity of the user by using the department.
Based on the information from the user avatar generation unit, the operation information of the user avatar regarding the positions, angles, and speeds of a plurality of parts of the user's body at a predetermined time is calculated.
Based on the information from the opponent avatar generation unit, the operation information of the opponent avatar regarding the positions, angles, and speeds of a plurality of parts of the opponent's body at the predetermined time is calculated.
A physical activity support method in which the motion information of the other party's avatar is linked to the motion information of the user avatar based on the predetermined time.
前記ユーザ・アバター生成部からの情報に基づいて、所定の時刻での前記ユーザの体の複数の部位の位置、角度、及び、速度に関するユーザ・アバターの動作情報を計算し、
前記相手アバター生成部からの情報に基づいて、他の所定の時刻での前記相手の体の複数の部位の位置、角度、及び、速度に関する前記相手アバターの動作情報を計算し、
仮想物体の位置又は状態に応じた前記仮想物体の設定を記録し、
前記所定の時刻での前記ユーザ・アバターの動作情報又は前記他の所定の時刻での前記相手アバターの動作情報と、前記仮想物体の設定と、に応じて、前記仮想物体へのインタラクションを計算する身体活動支援方法。 A user avatar generation unit that generates a user's avatar, which is a virtual person who acts as a human alter ego in a computer graphics space, and a partner avatar generation that generates a partner avatar that is a partner of the user's physical activity. It is a physical activity support method that supports the physical activity of the user by using the department.
Based on the information from the user avatar generation unit, the operation information of the user avatar regarding the positions, angles, and speeds of a plurality of parts of the user's body at a predetermined time is calculated.
Based on the information from the opponent avatar generation unit, the operation information of the opponent avatar regarding the positions, angles, and speeds of a plurality of parts of the opponent's body at other predetermined times is calculated.
Record the settings of the virtual object according to the position or state of the virtual object,
The interaction with the virtual object is calculated according to the operation information of the user avatar at the predetermined time or the operation information of the other avatar at the other predetermined time, and the setting of the virtual object. Physical activity support method.
前記ユーザ・アバター生成部からの情報に基づいて、所定の時刻での前記ユーザの体の複数の部位の位置、角度、及び、速度に関するユーザ・アバターの動作情報を計算するステップと、
前記相手アバター生成部からの情報に基づいて、前記所定の時刻での前記相手の体の複数の部位の位置、角度、及び、速度に関する前記相手アバターの動作情報を計算するステップと、
前記ユーザ・アバターの動作情報に、前記相手アバターの動作情報を前記所定の時刻に基づいて連動させるステップと、
をコンピュータに実行させる身体活動支援プログラム。 A user avatar generation unit that generates a user's avatar, which is a virtual person who acts as a human alter ego in a computer graphics space, and a partner avatar generation that generates a partner avatar that is a partner of the user's physical activity. It is a physical activity support program that supports the physical activity of the user by using the department.
Based on the information from the user avatar generation unit, a step of calculating the operation information of the user avatar regarding the positions, angles, and speeds of a plurality of parts of the user's body at a predetermined time, and
Based on the information from the opponent avatar generation unit, a step of calculating the operation information of the opponent avatar regarding the positions, angles, and speeds of a plurality of parts of the opponent's body at the predetermined time, and
A step of linking the operation information of the other party avatar with the operation information of the user avatar based on the predetermined time, and
A physical activity support program that lets a computer execute.
前記ユーザ・アバター生成部からの情報に基づいて、所定の時刻での前記ユーザの体の複数の部位の位置、角度、及び、速度に関するユーザ・アバターの動作情報を計算するステップと、
前記相手アバター生成部からの情報に基づいて、他の所定の時刻での前記相手の体の複数の部位の位置、角度、及び、速度に関する前記相手アバターの動作情報を計算するステップと、
仮想物体の位置又は状態に応じた前記仮想物体の設定を記録するステップと、
前記所定の時刻での前記ユーザ・アバターの動作情報又は前記他の所定の時刻での前記相手アバターの動作情報と、前記仮想物体の設定と、に応じて、前記仮想物体へのインタラクションを計算するステップと、
をコンピュータに実行させる身体活動支援プログラム。
A user avatar generation unit that generates a user's avatar, which is a virtual person who acts as a human alter ego in a computer graphics space, and a partner avatar generation that generates a partner avatar that is a partner of the user's physical activity. It is a physical activity support program that supports the physical activity of the user by using the department.
Based on the information from the user avatar generation unit, a step of calculating the operation information of the user avatar regarding the positions, angles, and speeds of a plurality of parts of the user's body at a predetermined time, and
Based on the information from the opponent avatar generation unit, a step of calculating the operation information of the opponent avatar regarding the positions, angles, and speeds of a plurality of parts of the opponent's body at another predetermined time, and
A step of recording the setting of the virtual object according to the position or state of the virtual object, and
The interaction with the virtual object is calculated according to the operation information of the user avatar at the predetermined time or the operation information of the other avatar at the other predetermined time, and the setting of the virtual object. Steps and
A physical activity support program that lets a computer execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021090890A JP7054276B2 (en) | 2019-05-31 | 2021-05-31 | Physical activity support system, method, and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019103324A JP2020195551A (en) | 2019-05-31 | 2019-05-31 | Physical activity supporting system, method and program |
| JP2021090890A JP7054276B2 (en) | 2019-05-31 | 2021-05-31 | Physical activity support system, method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019103324A Division JP2020195551A (en) | 2019-05-31 | 2019-05-31 | Physical activity supporting system, method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021142345A true JP2021142345A (en) | 2021-09-24 |
| JP7054276B2 JP7054276B2 (en) | 2022-04-13 |
Family
ID=73552583
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019103324A Pending JP2020195551A (en) | 2019-05-31 | 2019-05-31 | Physical activity supporting system, method and program |
| JP2021090890A Active JP7054276B2 (en) | 2019-05-31 | 2021-05-31 | Physical activity support system, method, and program |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019103324A Pending JP2020195551A (en) | 2019-05-31 | 2019-05-31 | Physical activity supporting system, method and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (2) | JP2020195551A (en) |
| WO (1) | WO2020241735A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2023276215A1 (en) * | 2021-06-29 | 2023-01-05 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000504854A (en) * | 1996-02-13 | 2000-04-18 | マサチューセッツ・インスティテュート・オブ・テクノロジー | Human motion trajectory learning device in virtual environment |
| US20130178960A1 (en) * | 2012-01-10 | 2013-07-11 | University Of Washington Through Its Center For Commercialization | Systems and methods for remote monitoring of exercise performance metrics |
| JP2017060891A (en) * | 2010-11-05 | 2017-03-30 | ナイキ イノベイト セー． フェー． | Method and system for automated personal training |
| JP2017076202A (en) * | 2015-10-13 | 2017-04-20 | 富士通株式会社 | Reaction output system, reaction output program, and reaction output method |
| WO2017094356A1 (en) * | 2015-12-01 | 2017-06-08 | シャープ株式会社 | Video producing device, method for controlling video producing device, display system, video production control program, and computer-readable recording medium |
| JP2019012965A (en) * | 2017-06-30 | 2019-01-24 | 富士通株式会社 | Video control method, video control device, and video control program |
-
2019
- 2019-05-31 JP JP2019103324A patent/JP2020195551A/en active Pending
-
2020
- 2020-05-28 WO PCT/JP2020/021074 patent/WO2020241735A1/en active Application Filing
-
2021
- 2021-05-31 JP JP2021090890A patent/JP7054276B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000504854A (en) * | 1996-02-13 | 2000-04-18 | マサチューセッツ・インスティテュート・オブ・テクノロジー | Human motion trajectory learning device in virtual environment |
| JP2017060891A (en) * | 2010-11-05 | 2017-03-30 | ナイキ イノベイト セー． フェー． | Method and system for automated personal training |
| US20130178960A1 (en) * | 2012-01-10 | 2013-07-11 | University Of Washington Through Its Center For Commercialization | Systems and methods for remote monitoring of exercise performance metrics |
| JP2017076202A (en) * | 2015-10-13 | 2017-04-20 | 富士通株式会社 | Reaction output system, reaction output program, and reaction output method |
| WO2017094356A1 (en) * | 2015-12-01 | 2017-06-08 | シャープ株式会社 | Video producing device, method for controlling video producing device, display system, video production control program, and computer-readable recording medium |
| JP2019012965A (en) * | 2017-06-30 | 2019-01-24 | 富士通株式会社 | Video control method, video control device, and video control program |
Non-Patent Citations (1)
| Title |
|---|
| "体育館を自由に歩いて別の競技も！？HTC VIVE用卓球ゲーム「Ping Pong League」配信開始", PANORA, JPN6020026344, 28 February 2017 (2017-02-28), ISSN: 0004680523 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7054276B2 (en) | 2022-04-13 |
| WO2020241735A1 (en) | 2020-12-03 |
| JP2020195551A (en) | 2020-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Miles et al. | A review of virtual environments for training in ball sports | |
| US10821347B2 (en) | Virtual reality sports training systems and methods | |
| US10456690B2 (en) | Virtual reality simulation of a live-action sequence | |
| Vignais et al. | Which technology to investigate visual perception in sport: Video vs. virtual reality | |
| Hämäläinen et al. | Martial arts in artificial reality | |
| JP2552427B2 (en) | Tv play system | |
| US11826628B2 (en) | Virtual reality sports training systems and methods | |
| WO2019130527A1 (en) | Extraction program, extraction method, and information processing device | |
| TW201733644A (en) | Screen golf system, method for image realization for screen golf and recording medium readable by computing device for recording the method | |
| JP7054276B2 (en) | Physical activity support system, method, and program | |
| Desai et al. | QoE studies on interactive 3D tele-immersion | |
| JP5775323B2 (en) | Program and image processing apparatus provided with computer for executing the program | |
| JP2020188979A (en) | Play analyzer and play analysis method | |
| JP2002123840A (en) | Processing method and processor for providing presence type virtual reality | |
| Chye et al. | An exergame for encouraging martial arts | |
| Calado et al. | Towards a Virtual Coach for Boccia: Developing a Virtual Augmented Interaction based on a Boccia Simulator. | |
| JP6042495B2 (en) | Program and image processing apparatus provided with computer for executing the program | |
| Katz et al. | Virtual reality | |
| JP7502957B2 (en) | Haptic metadata generating device, video-haptic interlocking system, and program | |
| JP2019083996A (en) | Dynamic body response confirmation system | |
| JP7488704B2 (en) | Haptic metadata generating device, video-haptic linking system, and program | |
| US11951376B2 (en) | Mixed reality simulation and training system | |
| JP7344096B2 (en) | Haptic metadata generation device, video-tactile interlocking system, and program | |
| Higuchi et al. | Scarecrow: Avatar representation using biological information feedback | |
| Bogdanovych et al. | A novel approach to sports oriented video games with real-time motion streaming |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210531 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210531 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210813 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220324 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220325 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7054276 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |