JP2023072148A - Information processing method, device and program - Google Patents

Information processing method, device and program Download PDF

Info

Publication number
JP2023072148A
JP2023072148A JP2021184507A JP2021184507A JP2023072148A JP 2023072148 A JP2023072148 A JP 2023072148A JP 2021184507 A JP2021184507 A JP 2021184507A JP 2021184507 A JP2021184507 A JP 2021184507A JP 2023072148 A JP2023072148 A JP 2023072148A
Authority
JP
Japan
Prior art keywords
user
distance
motion
forward bending
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021184507A
Other languages
Japanese (ja)
Other versions
JP7169718B1 (en
Inventor
興明 蛭田
Komei Hiruta
宣孝 板橋
Nobutaka Itabashi
洸 石山
Akira Ishiyama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Exa Wizards Inc
Original Assignee
Exa Wizards Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Exa Wizards Inc filed Critical Exa Wizards Inc
Priority to JP2021184507A priority Critical patent/JP7169718B1/en
Priority to JP2022163518A priority patent/JP2023072656A/en
Application granted granted Critical
Publication of JP7169718B1 publication Critical patent/JP7169718B1/en
Publication of JP2023072148A publication Critical patent/JP2023072148A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

To evaluate from a moving image whether forward-bending in a standing position is good or bad.SOLUTION: An information processing method to be executed by an information processing device, includes: acquisition processing of acquiring a moving image obtained by capturing an image of motion including at least one of forward-bending motion and getting-up motion of a user; extraction processing of extracting skeleton information of he user from the moving image; first calculation processing of calculating a first distance, the distance of two points of an upper body of the user, based on the skeleton information; and evaluation processing of evaluating the motion of the user based on the first distance.SELECTED DRAWING: Figure 8

Description

本発明は、情報処理方法、装置及びプログラムに関する。 The present invention relates to an information processing method, apparatus and program.

従来、動画から抽出した骨格情報を利用して、運動を評価する技術が知られている。例えば、引用文献1には、ユーザ端末に関連するユーザの身体の運動の評価を行うシステムであって、前記身体を撮像した画像を解析して前記身体の複数の部位を特定する画像解析部と、前記複数の部位の各々の動きを評価し、評価情報を生成する評価生成部と、ユーザ端末と指導者端末との間のコミュニケーション用画面を生成する画面生成部と、を有し、前記画面生成部は、前記コミュニケーション用画面の少なくとも一部に、前記評価情報を表示するよう画面を生成する、運動評価システムが開示されている。このシステムによれば、動画からピッチング等の運動を評価することができる。 Conventionally, there has been known a technique for evaluating motion using skeleton information extracted from moving images. For example, Cited Document 1 describes a system for evaluating a user's body movement related to a user terminal, which includes an image analysis unit that analyzes an image of the body and identifies a plurality of parts of the body. , an evaluation generation unit that evaluates the movement of each of the plurality of parts and generates evaluation information, and a screen generation unit that generates a screen for communication between the user terminal and the instructor terminal, and the screen An exercise evaluation system is disclosed in which a generator generates a screen to display the evaluation information on at least a part of the communication screen. According to this system, movements such as pitching can be evaluated from moving images.

特開2021-49208号公報Japanese Patent Application Laid-Open No. 2021-49208

動画から立位体前屈の良し悪しを評価する技術が求められている。 There is a need for a technology that evaluates the quality of standing forward bending from videos.

本発明は、上記の課題を鑑みてなされたものであり、動画から立位体前屈の良し悪しを評価することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to evaluate the quality of standing body forward bending from moving images.

一実施形態に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、前記動画から前記ユーザの骨格情報を抽出する抽出処理と、前記骨格情報に基づいて、前記ユーザの上半身の2点間の距離である第1距離を算出する第1算出処理と、前記第1距離に基づいて、前記ユーザの動作を評価する評価処理と、を含む情報処理方法。 An information processing method according to an embodiment is an information processing method executed by an information processing apparatus, and includes an acquisition process of acquiring a moving image of a motion including at least one of a forward bending motion and a rising motion of a user; a first calculation process for calculating a first distance that is a distance between two points on the user's upper body based on the skeleton information; and a first calculation process for calculating the first distance based on the first distance and an evaluation process for evaluating the action of the user.

一実施形態によれば、動画から立位体前屈の良し悪しを評価することができる。 According to one embodiment, it is possible to evaluate whether standing body forward bending is good or bad from a moving image.

立位体前屈を説明する模式図である。It is a schematic diagram explaining standing body forward bending. 本実施形態に係る情報処理システムの構成の一例を示す図である。It is a figure showing an example of composition of an information processing system concerning this embodiment. 情報処理装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of an information processing apparatus. 評価装置の機能構成の一例を示す図である。It is a figure which shows an example of the functional structure of an evaluation apparatus. 上体長Lを説明する図である。It is a figure explaining the upper body length L. FIG. 前屈距離Dを説明する図である。FIG. 4 is a diagram for explaining a forward bending distance D; 評価装置1が実行する処理の一例を示すフローチャートである。4 is a flowchart showing an example of processing executed by the evaluation device 1; 前屈距離D及び上体長L(比率L/Lr)の一例を示す図である。FIG. 4 is a diagram showing an example of a forward bending distance D and an upper body length L (ratio L/Lr); 前屈距離D及び上体長L(比率L/Lr)の一例を示す図である。FIG. 4 is a diagram showing an example of a forward bending distance D and an upper body length L (ratio L/Lr); 立位体前屈を説明する模式図である。It is a schematic diagram explaining standing body forward bending. ユーザ端末に表示される評価結果の表示画面の一例を示す図である。It is a figure which shows an example of the display screen of the evaluation result displayed on a user terminal.

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。 Hereinafter, each embodiment of the present invention will be described with reference to the accompanying drawings. Regarding the descriptions of the specifications and drawings according to each embodiment, components having substantially the same functional configuration are denoted by the same reference numerals, thereby omitting redundant description.

<システム概要>
まず、本実施形態に係る情報処理システムの概要について説明する。本実施形態に係る情報処理システムは、ユーザ動画121に基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果をユーザに通知するシステムである。ユーザ動画121は、ユーザが実施した立位体前屈をユーザの側方から撮影した動画である。ユーザは、立位体前屈を実施する人である。立位体前屈は、上半身を前屈させることにより背筋を伸ばすストレッチであり、ピラティスなどで取り入れられている。
<System Overview>
First, an outline of an information processing system according to this embodiment will be described. The information processing system according to the present embodiment is a system that evaluates whether the user's upright forward bending is good or bad based on the user moving image 121 and notifies the user of the evaluation result. The user moving image 121 is a moving image of standing body forward bending performed by the user photographed from the side of the user. A user is a person performing a standing body forward bend. Standing body forward bending is a stretch that stretches the back muscles by bending the upper body forward, and is used in Pilates and the like.

図1は、立位体前屈を説明する模式図である。図1に示すように、立位体前屈は、ユーザが直立した状態から、前屈動作(ロールダウン)を実施し、前屈した状態で停止し、起き上り動作(ロールアップ)を実施し、再び直立した状態に移行するまでの一連の動作である。 FIG. 1 is a schematic diagram for explaining standing body forward bending. As shown in FIG. 1, the standing body forward bending is performed by performing a forward bending motion (rolling down) from a state in which the user stands upright, stopping in the forwardly bent state, and performing a rising motion (rolling up). , a series of motions until it shifts to an upright position again.

<システム構成>
図2は、本実施形態に係る情報処理システムの構成の一例を示す図である。図2に示すように、本実施形態に係る情報処理システムは、ネットワークNを介して相互に通信可能に接続された、評価装置1と、ユーザ端末2と、を備える。ネットワークNは、例えば、有線LAN(Local Area Network)、無線LAN、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図2の例では、情報処理システムは、評価装置1及びユーザ端末2をそれぞれ1つずつ備えるが、それぞれ複数備えてもよい。
<System configuration>
FIG. 2 is a diagram showing an example of the configuration of the information processing system according to this embodiment. As shown in FIG. 2, the information processing system according to this embodiment includes an evaluation device 1 and a user terminal 2, which are connected to each other via a network N so as to be able to communicate with each other. The network N is, for example, a wired LAN (Local Area Network), a wireless LAN, the Internet, a public line network, a mobile data communication network, or a combination thereof. In the example of FIG. 2, the information processing system includes one evaluation device 1 and one user terminal 2, but may include a plurality of each.

評価装置1は、ユーザ動画121に基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果をユーザに通知する情報処理装置である。評価装置1は、例えば、PC(Personal Computer)、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。評価装置1について、詳しくは後述する。 The evaluation device 1 is an information processing device that evaluates whether the user's upright forward bending is good or bad based on the user moving image 121 and notifies the user of the evaluation result. The evaluation device 1 is, for example, a PC (Personal Computer), a smart phone, a tablet terminal, a server device, or a microcomputer, but is not limited thereto. The evaluation device 1 will be described later in detail.

ユーザ端末2は、ユーザ動画121を評価装置1に送信し、立位体前屈の評価結果を表示する情報処理装置である。ユーザ端末2は、例えば、PC、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。ユーザ端末2は、外部装置からユーザ動画121を取得し、取得したユーザ動画121を評価装置1に送信してもよい。また、ユーザ端末2は、カメラを備え、そのカメラで撮影したユーザ動画121を評価装置1に送信してもよい。この場合、ユーザは、自分で自分のユーザ動画121を撮影してもよいし、ユーザ以外の撮影者に自分のユーザ動画121を撮影してもらってもよい。また、ユーザ動画121を送信するユーザ端末2と、評価結果を表示するユーザ端末2と、は異なる情報処理装置であってもよい。 The user terminal 2 is an information processing device that transmits the user moving image 121 to the evaluation device 1 and displays the evaluation result of standing body forward bending. The user terminal 2 is, for example, a PC, smart phone, tablet terminal, server device, or microcomputer, but is not limited thereto. The user terminal 2 may acquire the user moving image 121 from the external device and transmit the acquired user moving image 121 to the evaluation device 1 . Further, the user terminal 2 may be equipped with a camera, and transmit the user moving image 121 captured by the camera to the evaluation device 1 . In this case, the user may shoot his or her user moving image 121 himself or may have a photographer other than the user shoot his or her user moving image 121 . Further, the user terminal 2 that transmits the user moving image 121 and the user terminal 2 that displays the evaluation result may be different information processing devices.

<ハードウェア構成>
次に、情報処理装置100のハードウェア構成について説明する。図3は、情報処理装置100のハードウェア構成の一例を示す図である。図3に示すように、情報処理装置100は、バスBを介して相互に接続された、プロセッサ101と、メモリ102と、ストレージ103と、通信I/F104と、入出力I/F105と、ドライブ装置106と、を備える。
<Hardware configuration>
Next, the hardware configuration of the information processing device 100 will be described. FIG. 3 is a diagram showing an example of the hardware configuration of the information processing apparatus 100. As shown in FIG. As shown in FIG. 3, the information processing apparatus 100 includes a processor 101, a memory 102, a storage 103, a communication I/F 104, an input/output I/F 105, and drives, which are interconnected via a bus B. a device 106;

プロセッサ101は、ストレージ103に記憶されたOS(Operating System)を含む各種のプログラムをメモリ102に展開して実行することにより、情報処理装置100の各構成を制御し、情報処理装置100の機能を実現する。プロセッサ101は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、又はこれらの組み合わせである。 The processor 101 expands various programs including an OS (Operating System) stored in the storage 103 into the memory 102 and executes them, thereby controlling each configuration of the information processing apparatus 100 and executing the functions of the information processing apparatus 100 . come true. The processor 101 is, for example, a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), ASIC (Application Specific Integrated Circuit), DSP (Digital Signal Processor), or a combination thereof.

メモリ102は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、又はこれらの組み合わせである。ROMは、例えば、PROM(Programmable ROM)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、又はこれらの組み合わせである。RAMは、例えば、DRAM(Dynamic RAM)、SRAM(Static RAM)、又はこれらの組み合わせである。 The memory 102 is, for example, ROM (Read Only Memory), RAM (Random Access Memory), or a combination thereof. ROM is, for example, PROM (Programmable ROM), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), or a combination thereof. RAM is, for example, DRAM (Dynamic RAM), SRAM (Static RAM), or a combination thereof.

ストレージ103は、OSを含む各種のプログラム及びデータを記憶する。ストレージ103は、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SCM(Storage Class Memories)、又はこれらの組み合わせである。 The storage 103 stores various programs including an OS and data. The storage 103 is, for example, flash memory, HDD (Hard Disk Drive), SSD (Solid State Drive), SCM (Storage Class Memories), or a combination thereof.

通信I/F104は、情報処理装置100を、ネットワークNを介して外部装置に接続し、通信を制御するためのインタフェースである。通信I/F104は、例えば、Bluetooth(登録商標)、Wi-Fi(登録商標)、ZigBee(登録商標)、Ethernet(登録商標)、又は光通信に準拠したアダプタであるが、これに限られない。 The communication I/F 104 is an interface for connecting the information processing device 100 to an external device via the network N and controlling communication. The communication I/F 104 is, for example, Bluetooth (registered trademark), Wi-Fi (registered trademark), ZigBee (registered trademark), Ethernet (registered trademark), or an adapter conforming to optical communication, but is not limited thereto. .

入出力I/F105は、評価装置1に入力装置107及び出力装置108を接続するためのインタフェースである。入力装置107は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置108は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。 The input/output I/F 105 is an interface for connecting the input device 107 and the output device 108 to the evaluation device 1 . The input device 107 is, for example, a mouse, keyboard, touch panel, microphone, scanner, camera, various sensors, operation buttons, or a combination thereof. Output device 108 is, for example, a display, projector, printer, speaker, vibrator, or a combination thereof.

ドライブ装置106は、ディスクメディア109のデータを読み書きする。ドライブ装置106は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア109は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、FD(Floppy Disk)、MO(Magneto-Optical disk)、BD(Blu-ray(登録商標) Disc)、又はこれらの組み合わせである。 The drive device 106 reads and writes data on the disk media 109 . Drive device 106 is, for example, a magnetic disk drive, an optical disk drive, a magneto-optical disk drive, or a combination thereof. The disk medium 109 is, for example, a CD (Compact Disc), DVD (Digital Versatile Disc), FD (Floppy Disk), MO (Magneto-Optical disk), BD (Blu-ray (registered trademark) Disc), or a combination thereof. is.

なお、本実施形態において、プログラムは、情報処理装置100の製造段階でメモリ102又はストレージ103に書き込まれてもよいし、ネットワークNを介して情報処理装置100に提供されてもよいし、ディスクメディア109などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置100に提供されてもよい。 In this embodiment, the program may be written in the memory 102 or the storage 103 at the manufacturing stage of the information processing device 100, may be provided to the information processing device 100 via the network N, or may be stored in a disk medium. 109 or other non-transitory computer-readable recording medium.

<機能構成>
次に、評価装置1の機能構成について説明する。図4は、評価装置1の機能構成の一例を示す図である。図4に示すように、評価装置1は、通信部11と、記憶部12と、制御部13と、を備える。
<Functional configuration>
Next, the functional configuration of the evaluation device 1 will be described. FIG. 4 is a diagram showing an example of the functional configuration of the evaluation device 1. As shown in FIG. As shown in FIG. 4 , the evaluation device 1 includes a communication section 11 , a storage section 12 and a control section 13 .

通信部11は、通信I/F104により実現される。通信部11は、ネットワークNを介して、ユーザ端末2との間で情報の送受信を行う。通信部11は、ユーザ端末2からユーザ動画121を受信する。また、通信部11は、ユーザ端末2に評価結果情報124を送信する。 Communication unit 11 is implemented by communication I/F 104 . The communication unit 11 transmits and receives information to and from the user terminal 2 via the network N. FIG. The communication unit 11 receives the user video 121 from the user terminal 2 . Also, the communication unit 11 transmits the evaluation result information 124 to the user terminal 2 .

記憶部12は、メモリ102及びストレージ103により実現される。記憶部12には、ユーザ動画121、骨格情報122、距離情報123及び評価結果情報124が記憶される。 The storage unit 12 is implemented by the memory 102 and storage 103 . The storage unit 12 stores a user moving image 121, skeleton information 122, distance information 123, and evaluation result information 124. FIG.

ユーザ動画121は、ユーザが実施した立位体前屈をユーザの側方から撮影した動画である。ユーザ動画121は、ユーザの前屈動作及び起き上がり動作の少なくとも一方の動作を撮影した動画であればよい。また、ユーザ動画121は、複数回の立位体前屈を撮影した動画であってもよい。 The user moving image 121 is a moving image of standing body forward bending performed by the user photographed from the side of the user. The user moving image 121 may be a moving image in which at least one of the forward bending motion and the standing up motion of the user is captured. Also, the user moving image 121 may be a moving image obtained by photographing a plurality of upright body forward bends.

骨格情報122は、ユーザ動画121に写ったユーザの体(骨格)における複数の特徴点の座標を示す情報である。特徴点は、例えば、頭、目、鼻、口、肩、喉、肘、手首、指、腰、尻、膝、くるぶし、踵、又は爪先であるが、これに限られない。骨格情報122は、ユーザ動画121の各フレームと対応した時系列情報として記憶される。 The skeleton information 122 is information indicating the coordinates of a plurality of feature points in the user's body (skeleton) captured in the user moving image 121 . Feature points include, but are not limited to, the head, eyes, nose, mouth, shoulders, throat, elbows, wrists, fingers, waist, hips, knees, ankles, heels, or toes. The skeleton information 122 is stored as time series information corresponding to each frame of the user moving image 121 .

距離情報123は、後述する第1算出部133及び第2算出部134により算出された上体長L及び前屈距離Dを示す情報である。上体長L及び前屈距離Dは、ユーザ動画121の各フレームと対応した時系列情報として記憶される。上体長L及び前屈距離Dについて、詳しくは後述する。 The distance information 123 is information indicating the body length L and the forward bending distance D calculated by the first calculator 133 and the second calculator 134, which will be described later. The torso length L and the forward bending distance D are stored as time-series information corresponding to each frame of the user moving image 121 . The upper body length L and the forward bending distance D will be described later in detail.

評価結果情報124は、ユーザの立位体前屈の良し悪しを評価した評価結果を示す情報である。評価結果は、評価項目ごとの評価値であってもよいし、評価項目ごとのコメント又はアドバイスであってもよい。評価項目は、例えば、背中の伸び具合、速度、及び前屈の深さの少なくとも1つを含む。 The evaluation result information 124 is information indicating an evaluation result obtained by evaluating the user's upright forward bending. The evaluation result may be an evaluation value for each evaluation item, or may be a comment or advice for each evaluation item. Evaluation items include, for example, at least one of back extension, speed, and depth of forward bending.

制御部13は、プロセッサ101がメモリ102からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部13は、評価装置1の動作全体を制御する。制御部13は、取得部131と、抽出部132と、第1算出部133と、第2算出部134と、判別部135と、評価部136と、通知部137と、を備える。 The control unit 13 is implemented by the processor 101 reading and executing a program from the memory 102 and cooperating with other hardware configurations. The control unit 13 controls the overall operation of the evaluation device 1 . The control unit 13 includes an acquisition unit 131 , an extraction unit 132 , a first calculation unit 133 , a second calculation unit 134 , a determination unit 135 , an evaluation unit 136 and a notification unit 137 .

取得部131は、通信部11がユーザ端末2から受信したユーザ動画121を取得し、記憶部12に保存する。 The acquisition unit 131 acquires the user video 121 received by the communication unit 11 from the user terminal 2 and stores it in the storage unit 12 .

抽出部132は、骨格抽出(姿勢推定)処理により、記憶部12に保存されたユーザ動画121から、ユーザ動画121に写ったユーザの骨格情報122を抽出し、記憶部12に保存する。抽出部132は、任意の骨格抽出方法を利用できる。 The extracting unit 132 extracts the skeleton information 122 of the user appearing in the user moving image 121 from the user moving image 121 stored in the storage unit 12 by skeleton extraction (orientation estimation) processing, and stores the information in the storage unit 12 . The extraction unit 132 can use any skeleton extraction method.

第1算出部133は、ユーザ動画121の各フレームに対応する骨格情報122に基づいて、ユーザ動画121の各フレームに対応するユーザの上体長Lを算出する。上体長Lは、ユーザの上半身の2点間の距離であり、第1距離に相当する。より詳細には、上体長Lは、ユーザの上半身における、下方の特徴点から上方の特徴点までの距離である。例えば、下方の特徴点は腰又は尻であり、上方の特徴点は肩、喉、目、鼻、口又は頭であるが、これに限られない。第1算出部133は、ユーザ動画121の各フレームに対応する上体長Lを示す距離情報を時系列情報として記憶部12に保存する。 The first calculator 133 calculates the torso length L of the user corresponding to each frame of the user moving image 121 based on the skeleton information 122 corresponding to each frame of the user moving image 121 . The torso length L is the distance between two points on the user's upper body and corresponds to the first distance. More specifically, the torso length L is the distance from the lower feature point to the upper feature point on the user's upper body. For example, the lower feature point is the waist or buttocks, and the upper feature point is the shoulder, throat, eyes, nose, mouth, or head, but is not limited to this. The first calculation unit 133 stores the distance information indicating the body length L corresponding to each frame of the user moving image 121 in the storage unit 12 as time-series information.

図5は、上体長Lを説明する図である。図5に示すように、上体長Lは、ユーザの上半身における下方の特徴点から上方の特徴点までの、画像(フレーム)上での直線距離となる。図5の例では、上体長Lは、腰から肩までの距離であるが、これに限られない。 FIG. 5 is a diagram for explaining the torso length L. As shown in FIG. As shown in FIG. 5, the upper body length L is the linear distance on the image (frame) from the lower feature point to the upper feature point on the user's upper body. Although the upper body length L is the distance from the waist to the shoulder in the example of FIG. 5, it is not limited to this.

第2算出部134は、ユーザ動画121の各フレームに対応する骨格情報122に基づいて、ユーザ動画121の各フレームに対応するユーザの前屈距離Dを算出する。前屈距離Dは、基準線Rからユーザの上半身までの距離であり、第2距離に相当する。より詳細には、前屈距離Dは、基準線Rからユーザの上半身における特徴点までの距離である。例えば、ユーザの上半身における特徴点は、肩、喉、目、鼻、口又は頭であるが、これに限られない。基準線Rは、ユーザの前屈の程度に応じてユーザの上半身までの距離が変化する任意の直線であり得る。基準線Rは、例えば、ユーザ動画121の画像(フレーム)上における任意の垂線である。また、基準線Rは、前屈動作の開始前における、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口又は頭と、を通る直線であってもよい。第2算出部134は、ユーザ動画121の各フレームに対応する前屈距離Dを示す距離情報を時系列情報として記憶部12に保存する。 The second calculator 134 calculates the forward bending distance D of the user corresponding to each frame of the user moving image 121 based on the skeleton information 122 corresponding to each frame of the user moving image 121 . The forward bending distance D is the distance from the reference line R to the user's upper body, and corresponds to the second distance. More specifically, the forward bending distance D is the distance from the reference line R to the feature point on the user's upper body. For example, the feature points on the user's upper body are shoulders, throat, eyes, nose, mouth, or head, but are not limited to these. The reference line R can be any straight line that varies in distance to the user's upper body depending on how much the user bends forward. The reference line R is, for example, an arbitrary perpendicular line on the image (frame) of the user moving image 121 . Also, the reference line R may be a straight line passing through the user's hips or buttocks and the user's shoulders, throat, eyes, nose, mouth or head before starting the forward bending motion. The second calculation unit 134 stores distance information indicating the forward bending distance D corresponding to each frame of the user moving image 121 in the storage unit 12 as time-series information.

図6は、前屈距離Dを説明する図である。図6に示すように、前屈距離Dは、ユーザの上半身における特徴点から基準線Rまでの、画像(フレーム)上での直線距離となる。図6の例では、前屈距離Dは、ユーザの肩から、前屈動作の開始前におけるユーザの腰と肩を通る直線までの距離であるが、これに限られない。 FIG. 6 is a diagram for explaining the forward bending distance D. FIG. As shown in FIG. 6, the forward bending distance D is the linear distance from the feature point on the user's upper body to the reference line R on the image (frame). In the example of FIG. 6, the forward bending distance D is the distance from the user's shoulders to a straight line passing through the user's waist and shoulders before starting the forward bending motion, but is not limited to this.

判別部135は、前屈距離Dに基づいて、ユーザ動画121におけるユーザの各動作部分を判別する。より詳細には、判別部135は、ユーザ動画121に含まれる前屈動作部分及び起き上がり動作部分の少なくとも一方を判別する。前屈動作部分は、ユーザ動画121において、ユーザが前屈動作を実施しているところを撮影した部分のことである。起き上がり動作部分は、ユーザ動画121において、ユーザが起き上がり動作を実施しているところを撮影した部分のことである。判別方法については後述する。 Based on the forward bending distance D, the determination unit 135 determines each movement portion of the user in the user moving image 121 . More specifically, the determination unit 135 determines at least one of the forward bending motion portion and the rising motion portion included in the user moving image 121 . The forward bending motion portion is a portion of the user moving image 121 in which the user is performing the forward bending motion. The sit-up motion portion is a portion of the user moving image 121 in which the user is performing the sit-up motion. A determination method will be described later.

評価部136は、上体長Lに基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果を示す評価結果情報124を記憶部12に保存する。評価方法については後述する。 The evaluation unit 136 evaluates whether the user's upright forward bending is good or bad based on the torso length L, and stores evaluation result information 124 indicating the evaluation result in the storage unit 12 . The evaluation method will be described later.

通知部137は、記憶部12に保存された評価結果情報124をユーザ端末2に送信し、ユーザに評価結果を通知する。 The notification unit 137 transmits the evaluation result information 124 stored in the storage unit 12 to the user terminal 2 and notifies the user of the evaluation result.

<評価装置が実行する処理>
次に、評価装置1が実行する処理について説明する。図7は、評価装置1が実行する処理の一例を示すフローチャートである。
<Processing executed by the evaluation device>
Next, processing executed by the evaluation device 1 will be described. FIG. 7 is a flowchart showing an example of processing executed by the evaluation device 1. As shown in FIG.

(ステップS101)
取得部131は、通信部11がユーザ端末2から受信したユーザ動画121を取得し、記憶部12に保存する。
(Step S101)
The acquisition unit 131 acquires the user video 121 received by the communication unit 11 from the user terminal 2 and stores it in the storage unit 12 .

(ステップS102)
抽出部132は、骨格抽出処理により、記憶部12に保存されたユーザ動画121から、ユーザ動画121に写ったユーザの骨格情報122を抽出し、記憶部12に保存する。
(Step S102)
The extraction unit 132 extracts the skeleton information 122 of the user appearing in the user moving image 121 from the user moving image 121 stored in the storage unit 12 by the skeleton extraction process, and stores the information in the storage unit 12 .

(ステップS103)
第1算出部133は、記憶部12に保存された骨格情報122に基づいて、ユーザ動画121の各フレームに対応する上体長Lを算出する。第1算出部133は、算出部した上体長Lを距離情報123として記憶部12に保存する。
(Step S103)
The first calculator 133 calculates the body length L corresponding to each frame of the user moving image 121 based on the skeleton information 122 stored in the storage unit 12 . The first calculation unit 133 stores the calculated body length L in the storage unit 12 as the distance information 123 .

(ステップS104)
第2算出部134は、記憶部12に保存された骨格情報122に基づいて、ユーザ動画121における基準線Rを設定する。第2算出部134は、ユーザ動画121の最初のフレームにおける、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口又は頭と、を通る直線を基準線Rとして設定してもよい。また、第2算出部134は、何らかの方法で前屈動作の開始タイミングを検出し、検出した開始タイミングの直前のフレームにおけるユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口又は頭と、を通る直線を基準線Rとして設定してもよい。いずれの方法でも、第2算出部134は、前屈動作の開始前における、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口又は頭と、を通る直線を基準線Rに設定することができる。
(Step S104)
The second calculator 134 sets the reference line R in the user moving image 121 based on the skeleton information 122 stored in the storage unit 12 . The second calculation unit 134 may set a straight line passing through the waist or buttocks of the user and the shoulders, throat, eyes, nose, mouth or head of the user in the first frame of the user video 121 as the reference line R. good. In addition, the second calculation unit 134 detects the start timing of the forward bending motion by some method, and the user's waist or buttocks and the user's shoulders, throat, eyes, nose, mouth, or the like in the frame immediately before the detected start timing. A straight line passing through the head may be set as the reference line R. In either method, the second calculation unit 134 sets a straight line passing through the user's waist or buttocks and the user's shoulders, throat, eyes, nose, mouth, or head as the reference line R before the start of the forward bending motion. can be set.

(ステップS105)
第2算出部134は、ステップS104で設定した基準線Rと、ユーザ動画121の各フレームに対応する骨格情報122と、に基づいて、ユーザ動画121の各フレームに対応するユーザの前屈距離Dを算出する。第2算出部134は、算出部した前屈距離Dを距離情報123として記憶部12に保存する。
(Step S105)
The second calculation unit 134 calculates the forward bending distance D of the user corresponding to each frame of the user moving image 121 based on the reference line R set in step S104 and the skeleton information 122 corresponding to each frame of the user moving image 121. Calculate The second calculation unit 134 stores the calculated forward bending distance D in the storage unit 12 as the distance information 123 .

(ステップS106)
判別部135は、ステップS105で算出した前屈距離Dに基づいて、ユーザ動画121におけるユーザの各動作部分を判別する。
(Step S106)
The determination unit 135 determines each movement portion of the user in the user moving image 121 based on the forward bending distance D calculated in step S105.

ここで、図8及び図9は、前屈距離D及び上体長L(比率L/Lr)の一例を示す図である。図8は、ユーザが良い立位体前屈を実施した場合の前屈距離D及び上体長L(比率L/Lr)を示す図である。図9は、ユーザが悪い立位体前屈を実施した場合の前屈距離D及び上体長L(比率L/Lr)を示す図である。図8及び図9の例では、ユーザが立位体前屈を3回実行した場合の前屈距離D及び上体長Lが時系列で示されている。 Here, FIGS. 8 and 9 are diagrams showing an example of the forward bending distance D and the body length L (ratio L/Lr). FIG. 8 is a diagram showing the forward bending distance D and the upper body length L (ratio L/Lr) when the user performs good standing forward bending. FIG. 9 is a diagram showing the forward bending distance D and the upper body length L (ratio L/Lr) when the user performs bad standing forward bending. In the examples of FIGS. 8 and 9, the forward bending distance D and the upper body length L when the user performs standing forward bending three times are shown in chronological order.

図8及び図9に示すように、前屈距離Dは、直立している間は小さく、前屈動作中に急激に大きくなり、停止中はほぼ一定となり、起き上がり動作中に急激に小さくなる。このため、判別部135は、例えば、前屈距離Dが閾値以下で安定した値からピークまで所定の勢いで上昇する部分を前屈動作部分と判別し、前屈距離Dがピークから閾値以下の値まで所定の勢いで下降する部分を起き上がり部分と判別し、前屈動作部分と起き上がり動作部分との間を停止部分と判別し、残りの部分を直立部分と判別することにより、ユーザ動画121を図8及び図9のように各動作部分に判別することができる。なお、判別方法は、上記の例に限られない。 As shown in FIGS. 8 and 9, the forward bending distance D is small while standing upright, rapidly increases during forward bending, remains substantially constant while standing, and rapidly decreases during standing up. For this reason, the determining unit 135 determines, for example, a portion in which the forward bending distance D rises from a stable value equal to or less than the threshold value to a peak with a predetermined momentum as a forward bending motion portion, The user moving image 121 is determined by discriminating the portion that descends to the value with a predetermined force as the rising portion, discriminating the portion between the forward bending motion portion and the rising motion portion as the stopping portion, and discriminating the remaining portion as the standing portion. Each operation part can be distinguished as shown in FIGS. 8 and 9. FIG. Note that the determination method is not limited to the above example.

(ステップS107)
第1算出部133は、記憶部12に保存された上体長Lと、判別部135による各動作部分の判別結果と、に基づいて、基準長Lrを設定する。基準長Lrは、上体長Lの基準となる長さであって、直立状態のユーザの上体長Lに相当する。第1算出部133は、ユーザ動画121における最初の直立部分の上体長Lに基づいて基準長Lrを設定すればよい。基準長Lrは、例えば、最初の直立部分の最後のフレームの上体長L、最初の直立部分の最初のフレームの上体長L、又は最初の直立部分の上体長Lの平均値であるが、これに限られない。
(Step S107)
The first calculator 133 sets the reference length Lr based on the torso length L stored in the storage unit 12 and the discrimination result of each motion part by the discriminator 135 . The reference length Lr is a reference length of the torso length L, and corresponds to the torso length L of the user in an upright state. The first calculator 133 may set the reference length Lr based on the torso length L of the first upright portion in the user moving image 121 . The reference length Lr is, for example, the body length L of the last frame of the first upright portion, the body length L of the first frame of the first upright portion, or the average value of the body length L of the first upright portion. is not limited to

(ステップS108)
第1算出部133は、記憶部12に保存された上体長Lと、ステップS107で算出した基準長Lrと、に基づいて、ユーザ動画121の各フレームに対応する、上体長Lと基準長Lrの比率L/Lrを算出する。第1算出部133は、算出した比率L/Lrを距離情報123として記憶部12に保存する。
(Step S108)
Based on the torso length L stored in the storage unit 12 and the reference length Lr calculated in step S107, the first calculation unit 133 calculates the torso length L and the reference length Lr corresponding to each frame of the user video 121. , the ratio L/Lr is calculated. The first calculation unit 133 stores the calculated ratio L/Lr in the storage unit 12 as the distance information 123 .

(ステップS109)
評価部136は、記憶部12に保存された比率L/Lrと、判別部135による各動作部分の判別結果と、に基づいて、ユーザの立位体前屈を評価する。評価項目として、背中の伸び具合、速度、及び前屈の深さが挙げられる。
(Step S109)
The evaluation unit 136 evaluates the forward bending of the user based on the ratio L/Lr stored in the storage unit 12 and the determination result of each motion part by the determination unit 135 . Evaluation items include back extension, speed, and depth of forward bending.

ここで、立位体前屈の評価方法について説明する。図10は、立位体前屈を説明する模式図である。図1は、良い立位体前屈を説明する模式図である。図10は、悪い立位体前屈を説明する模式図である。 Here, a method for evaluating standing body forward bending will be described. FIG. 10 is a schematic diagram for explaining standing body forward bending. FIG. 1 is a schematic diagram explaining good upright forward bending. FIG. 10 is a schematic diagram illustrating bad upright forward bending.

(1)背中の伸び具合について
図1に示すように、立位体前屈は、背中の筋肉を伸ばすために、首を前方に曲げ、背中を丸めた状態で前屈動作を実施するのが好ましい。このため、ユーザが適切に前屈動作を実施した場合、前屈動作の開始前の上体長Lである基準長Lrより、前屈動作中の上体長Lは短くなる。すなわち、図8に示すように、前屈動作中の比率L/Lrが1より小さくなる。
(1) Lengthening of the back As shown in Fig. 1, in order to stretch the muscles of the back, it is best to bend the neck forward and round the back while performing the forward bending motion in standing posture forward bending. preferable. Therefore, when the user appropriately performs the forward bending motion, the body length L during the forward bending motion becomes shorter than the reference length Lr, which is the body length L before the start of the forward bending motion. That is, as shown in FIG. 8, the ratio L/Lr during the forward bending motion becomes smaller than 1.

同様に、立位体前屈は、首を前方に曲げ、背中を丸めた状態で起き上がり動作を実施するのが好ましい。このため、ユーザが適切に起き上がり動作を実施した場合、前屈動作の開始前の上体長Lである基準長Lrより、起き上がり動作中の上体長Lは短くなる。すなわち、図8に示すように、起き上がり動作中の比率L/Lrが1より小さくなる。 Similarly, standing body forward bending is preferably performed with the neck bent forward and the back rounded. Therefore, when the user properly performs the sit-up motion, the body length L during the sit-up motion is shorter than the reference length Lr, which is the body length L before the start of the forward bending motion. That is, as shown in FIG. 8, the ratio L/Lr becomes smaller than 1 during the rising motion.

一方、図10に示すように、立位体前屈は、首及び背中を真っ直ぐにした状態で前屈動作を実施した場合、背中の筋肉があまり伸びないため、十分な効果を得られない。このため、ユーザが適切に前屈動作を実施しなかった場合、前屈動作の開始前の上体長Lである基準長Lrと、起き上がり動作中の上体長Lと、は略等しくなる。すなわち、図9に示すように、起き上がり動作中の比率L/Lrが略1となる。 On the other hand, as shown in FIG. 10, when the forward bending motion is performed with the neck and back straight, the muscles of the back do not stretch so much, so that a sufficient effect cannot be obtained. Therefore, when the user does not perform the forward bending motion appropriately, the reference length Lr, which is the body length L before the start of the forward bending motion, and the body length L during the rising motion become substantially equal. That is, as shown in FIG. 9, the ratio L/Lr is approximately 1 during the rising motion.

同様に、立位体前屈は、首及び背中を真っ直ぐにした状態で起き上がり動作を実施した場合、十分な効果を得られない。このため、ユーザが適切に起き上がり動作を実施しなかった場合、起き上がり動作の開始前の上体長Lである基準長Lrと、起き上がり動作中の上体長Lと、は略等しくなる。すなわち、図9に示すように、起き上がり動作中の比率L/Lrが略1となる。 Similarly, standing body forward bending is not sufficiently effective if the standing motion is performed with the neck and back straight. Therefore, when the user does not properly perform the sit-up motion, the reference length Lr, which is the body length L before the start of the sit-up motion, and the body length L during the sit-up motion become substantially equal. That is, as shown in FIG. 9, the ratio L/Lr is approximately 1 during the rising motion.

そこで、評価部136は、前屈動作中の比率L/Lrが1より小さい場合、ユーザの立位体前屈(前屈動作)における背中の伸び具合を高く評価する。評価部136は、前屈動作中の比率L/Lrの平均値が1より小さいほど評価を高くしてもよいし、前屈動作中に比率L/Lrが1より小さい期間が長いほど評価を高くしてもよい。これにより、図8の例では、3回の前屈動作がいずれも高く評価される。一方、図9の例では、1回目の前屈動作のみ高く評価され、残り2回の前屈動作は低く評価される。 Therefore, when the ratio L/Lr during the forward bending motion is smaller than 1, the evaluation unit 136 highly evaluates the stretching degree of the user's back during forward bending (forward bending motion). The evaluation unit 136 may give a higher evaluation when the average value of the ratio L/Lr during the forward bending motion is less than 1, or give a higher evaluation when the period during which the ratio L/Lr is less than 1 during the forward bending motion is longer. You can make it higher. Thus, in the example of FIG. 8, all three forward bending actions are highly evaluated. On the other hand, in the example of FIG. 9, only the first forward bending motion is evaluated highly, and the remaining two forward bending motions are evaluated low.

同様に、評価部136は、起き上がり動作中の比率L/Lrが1より小さい場合、ユーザの立位体前屈(起き上がり動作)における背中の伸び具合を高く評価する。評価部136は、起き上がり動作中の比率L/Lrの平均値が1より小さいほど評価を高くしてもよいし、起き上がり動作中に比率L/Lrが1より小さい期間が長いほど評価を高くしてもよい。これにより、図8の例では、3回の起き上がり動作がいずれも高く評価される。一方、図9の例では、3回の起き上がり動作がいずれも低く評価される。 Similarly, when the ratio L/Lr during the standing-up motion is smaller than 1, the evaluation unit 136 highly evaluates the stretching degree of the back in the user's upright forward bending (standing-up motion). The evaluation unit 136 may give a higher evaluation when the average value of the ratio L/Lr during the sit-up motion is smaller than 1, or may give a higher evaluation when the period during which the ratio L/Lr is smaller than 1 during the sit-up motion is longer. may Thus, in the example of FIG. 8, all three standing-up actions are highly evaluated. On the other hand, in the example of FIG. 9, all three standing-up actions are evaluated low.

(2)速度について
立位体前屈では、勢いをつけて前屈動作を実施するのは好ましくない。言い換えると、ゆっくり一定のペースで前屈動作を実施するのが好ましい。そこで、例えば、評価部136は、前屈動作の時間が長いほど、ユーザの立位体前屈(前屈動作)における速度を高く評価する。また、評価部136は、前屈動作の速度(前屈距離Dの傾き)が一定であるほど、ユーザの立位体前屈(前屈動作)における速度を高く評価してもよい。
(2) Speed In standing forward bending, it is not preferable to perform the forward bending motion with momentum. In other words, it is preferable to perform forward bending at a slow and constant pace. Therefore, for example, the evaluation unit 136 evaluates the speed of the user's upright forward bending (forward bending motion) higher as the time of the forward bending motion increases. In addition, the evaluation unit 136 may evaluate the speed of the user's standing body forward bending (forward bending motion) higher as the speed of the forward bending motion (slope of the forward bending distance D) is more constant.

同様に、立位体前屈では、勢いをつけて起き上がり動作を実施するのは好ましくない。言い換えると、ゆっくり一定のペースで起き上がり動作を実施するのが好ましい。そこで、例えば、評価部136は、起き上がり動作の時間が長いほど、ユーザの立位体前屈(起き上がり動作)における速度を高く評価する。また、評価部136は、起き上がり動作の速度(前屈距離Dの傾き)が一定であるほど、ユーザの立位体前屈(起き上がり動作)における速度を高く評価してもよい。 Similarly, in standing body forward bending, it is not preferable to perform the rising motion with momentum. In other words, it is preferable to perform the sit-up motion at a slow and constant pace. Therefore, for example, the evaluation unit 136 evaluates the speed of the user's upright forward bending (sitting motion) higher as the time of the sitting motion increases. In addition, the evaluation unit 136 may evaluate the speed of the user's upright forward bending (standing-up motion) higher as the speed of the standing-up motion (slope of the forward bending distance D) is more constant.

(3)前屈の深さについて
立位体前屈は、背中の筋肉を伸ばすため、深く前屈するほど好ましい。そこで、例えば、評価部136は、停止中における上半身の傾きが垂直(鉛直)に近いほど、ユーザの立位体前屈における前屈の深さを高く評価する。上半身の傾きは、例えば、前屈距離Dを算出するために利用するユーザの上半身の2点間を結ぶ直線の傾きであるが、これに限られない。
(3) Depth of forward bending In order to stretch the muscles of the back, the deeper the forward bending, the better. Therefore, for example, the evaluation unit 136 highly evaluates the depth of forward bending in the user's upright forward bending as the inclination of the upper body while stopped is closer to vertical. The inclination of the upper body is, for example, the inclination of a straight line connecting two points on the user's upper body used to calculate the forward bending distance D, but is not limited to this.

評価部136は、以上のような方法で評価したユーザの立位体前屈の評価結果を示す評価結果情報124を記憶部12に保存する。なお、評価部136による評価方法は、上記の例に限られない。 The evaluation unit 136 stores in the storage unit 12 the evaluation result information 124 indicating the evaluation result of the user's upright forward bending evaluated by the method described above. Note that the evaluation method by the evaluation unit 136 is not limited to the above example.

(ステップS110)
通知部137は、記憶部12に保存された評価結果情報124をユーザ端末2に送信することにより、ユーザに評価結果を通知する。ユーザ端末2は、評価結果情報124を受信すると、評価結果情報124が示す評価結果をディスプレイに表示する。
(Step S110)
The notification unit 137 notifies the user of the evaluation result by transmitting the evaluation result information 124 stored in the storage unit 12 to the user terminal 2 . Upon receiving the evaluation result information 124, the user terminal 2 displays the evaluation result indicated by the evaluation result information 124 on the display.

図11は、ユーザ端末2に表示される評価結果の表示画面の一例を示す図である。図11の表示画面は、ユーザ動画121の再生領域Im1と、評価値領域Im2と、評価コメント領域Im3と、を有する。再生領域Im1は、ユーザ動画121を再生する。評価値領域Im2は、立位体前屈の総合及び各評価項目の評価値(評価結果)を表示する。評価コメント領域Im3は、ユーザの立位体前屈に対するコメント(評価結果)を表示する。なお、ユーザ端末2の表示画面に表示される評価結果は、図11の例に限られない。 FIG. 11 is a diagram showing an example of an evaluation result display screen displayed on the user terminal 2. As shown in FIG. The display screen of FIG. 11 has a playback area Im1 for the user moving image 121, an evaluation value area Im2, and an evaluation comment area Im3. The reproduction area Im1 reproduces the user moving image 121 . The evaluation value area Im2 displays the total standing body forward bending and the evaluation value (evaluation result) of each evaluation item. The evaluation comment area Im3 displays a comment (evaluation result) on the user's upright forward bending. Note that the evaluation result displayed on the display screen of the user terminal 2 is not limited to the example of FIG. 11 .

<まとめ>
以上説明した通り、評価装置1は、ユーザ動画121から抽出した骨格情報122に基づいて上体長Lを算出し、上体長Lに基づいてユーザの立位体前屈を評価する。これにより、評価装置1は、立位体前屈における背中の伸び具合を評価することができる。
<Summary>
As described above, the evaluation device 1 calculates the body length L based on the skeleton information 122 extracted from the user moving image 121, and evaluates the user's upright forward bending based on the body length L. FIG. Thus, the evaluation device 1 can evaluate how the back stretches in forward bending of the upright body.

また、評価装置1は、ユーザ動画121から抽出した骨格情報122に基づいて前屈距離Dを算出し、前屈距離Dに基づいてユーザ動画121における各動作部分を判別する。これにより、評価装置1は、ユーザ動画121の各動作部分を自動的に判別することができる。 In addition, the evaluation apparatus 1 calculates the forward bending distance D based on the skeleton information 122 extracted from the user moving image 121, and determines each action portion in the user moving image 121 based on the forward bending distance D. FIG. As a result, the evaluation device 1 can automatically determine each action portion of the user moving image 121 .

また、評価装置1は、ユーザ動画121から抽出した骨格情報122に基づいて前屈距離Dを算出し、前屈距離Dに基づいてユーザの立位体前屈を評価する。これにより、評価装置1は、立位体前屈における速度及び深さを評価することができる。 In addition, the evaluation apparatus 1 calculates the forward bending distance D based on the skeleton information 122 extracted from the user moving image 121, and evaluates the user's standing forward bending based on the forward bending distance D. FIG. Thereby, the evaluation device 1 can evaluate the velocity and depth in standing body forward bending.

<付記>
本実施形態は、以下の開示を含む。
<Appendix>
This embodiment includes the following disclosure.

(付記1)
情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの上半身の2点間の距離である第1距離を算出する第1算出処理と、
前記第1距離に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法。
(Appendix 1)
An information processing method executed by an information processing device,
Acquisition processing for acquiring a moving image of a motion including at least one of a forward bending motion and a rising motion of the user;
an extraction process for extracting skeleton information of the user from the moving image;
a first calculation process of calculating a first distance, which is a distance between two points on the user's upper body, based on the skeleton information;
an evaluation process for evaluating the user's motion based on the first distance;
Information processing method including.

(付記2)
前記評価処理は、前記前屈動作の開始前の前記第1距離より、前記前屈動作中の前記第1距離が短い場合、前記前屈動作を高く評価する
付記1に記載の情報処理方法。
(Appendix 2)
2. The information processing method according to Supplementary Note 1, wherein the evaluation process evaluates the forward bending motion highly when the first distance during the forward bending motion is shorter than the first distance before the start of the forward bending motion.

(付記3)
前記評価処理は、前記前屈動作の開始前の前記第1距離より、前記起き上り動作中の前記第1距離が短い場合、前記起き上がり動作を高く評価する
付記1又は付記2に記載の情報処理方法。
(Appendix 3)
The information processing according to appendix 1 or appendix 2, wherein the evaluation process evaluates the sit-up motion highly when the first distance during the sit-up motion is shorter than the first distance before the start of the forward bending motion. Method.

(付記4)
前記第1距離は、前記ユーザの腰又は尻から、前記ユーザの肩、喉、目、鼻、口又は頭までの距離である
付記1から付記3までのいずれかに記載の情報処理方法。
(Appendix 4)
The information processing method according to any one of appendices 1 to 3, wherein the first distance is a distance from the user's waist or buttocks to the user's shoulders, throat, eyes, nose, mouth, or head.

(付記5)
前記動画は、前記ユーザを側方から撮影した動画である
付記1から付記4までのいずれかに記載の情報処理方法。
(Appendix 5)
The information processing method according to any one of appendices 1 to 4, wherein the moving image is a moving image of the user photographed from the side.

(付記6)
前記骨格情報に基づいて、基準線から前記ユーザの上半身までの距離である第2距離を算出する第2算出処理を更に含む
付記1から付記5までのいずれかに記載の情報処理方法。
(Appendix 6)
6. The information processing method according to any one of appendices 1 to 5, further including a second calculation process of calculating a second distance, which is a distance from a reference line to the user's upper body, based on the skeleton information.

(付記7)
前記第2距離は、前記基準線から前記ユーザの肩、喉、目、鼻、口又は頭までの距離である
付記6に記載の情報処理方法。
(Appendix 7)
The information processing method according to appendix 6, wherein the second distance is a distance from the reference line to the user's shoulder, throat, eyes, nose, mouth, or head.

(付記8)
前記基準線は、垂線又は前記前屈動作の開始前における前記ユーザの腰若しくは尻と前記ユーザの肩、喉、目、鼻、口若しくは頭を通る直線である
付記6又は付記7に記載の情報処理方法。
(Appendix 8)
7. Information according to appendix 6 or appendix 7, wherein the reference line is a vertical line or a straight line passing through the user's hips or buttocks and the user's shoulders, throat, eyes, nose, mouth or head before the start of the forward bending motion. Processing method.

(付記9)
前記第2距離に基づいて、前記動画に含まれる前屈動作部分及び起き上がり動作部分の少なくとも一方を判別する判別処理を更に含む
付記6から付記8までのいずれかに記載の情報処理方法。
(Appendix 9)
8. The information processing method according to any one of appendices 6 to 8, further comprising a determination process of determining at least one of a forward bending motion portion and a rising motion portion included in the moving image based on the second distance.

(付記10)
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得部と、
前記動画から前記ユーザの骨格情報を抽出する抽出部と、
前記骨格情報に基づいて、前記ユーザの上半身の2点間の距離である第1距離を算出する第1算出部と、
前記第1距離に基づいて、前記ユーザの動作を評価する評価部と、
を備える情報処理装置。
(Appendix 10)
an acquisition unit that acquires a moving image of a motion including at least one of a forward bending motion and a rising motion of the user;
an extraction unit that extracts the skeleton information of the user from the moving image;
a first calculator that calculates a first distance, which is a distance between two points on the user's upper body, based on the skeleton information;
an evaluation unit that evaluates the motion of the user based on the first distance;
Information processing device.

(付記11)
情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの上半身の2点間の距離である第1距離を算出する第1算出処理と、
前記第1距離に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法をコンピュータに実行させるためのプログラム。
(Appendix 11)
An information processing method executed by an information processing device,
Acquisition processing for acquiring a moving image of a motion including at least one of a forward bending motion and a rising motion of the user;
an extraction process for extracting skeleton information of the user from the moving image;
a first calculation process of calculating a first distance, which is a distance between two points on the user's upper body, based on the skeleton information;
an evaluation process for evaluating the user's motion based on the first distance;
A program for causing a computer to execute an information processing method including

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The embodiments disclosed this time are illustrative in all respects and should be considered not restrictive. The scope of the present invention is indicated by the scope of the claims rather than the meaning described above, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims. In addition, the present invention is not limited to the above-described embodiments, and can be modified in various ways within the scope of the claims, and can be obtained by appropriately combining technical means disclosed in different embodiments. Embodiments are also included in the technical scope of the present invention.

1:評価装置
2:ユーザ端末
11:通信部
12:記憶部
13:制御部
101:プロセッサ
102:メモリ
103:ストレージ
104:通信I/F
105:入出力I/F
106:ドライブ装置
107:入力装置
108:出力装置
109:ディスクメディア
121:ユーザ動画
122:骨格情報
123:距離情報
124:評価結果情報
131:取得部
132:抽出部
133:第1算出部
134:第2算出部
135:判別部
136:評価部
137:通知部
1: Evaluation Device 2: User Terminal 11: Communication Unit 12: Storage Unit 13: Control Unit 101: Processor 102: Memory 103: Storage 104: Communication I/F
105: Input/output I/F
106: Drive Device 107: Input Device 108: Output Device 109: Disk Media 121: User Video 122: Skeleton Information 123: Distance Information 124: Evaluation Result Information 131: Acquisition Unit 132: Extraction Unit 133: First Calculation Unit 134: Third 2 calculation unit 135: determination unit 136: evaluation unit 137: notification unit

Claims (11)

情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの上半身の2点間の距離である第1距離を算出する第1算出処理と、
前記第1距離に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法。
An information processing method executed by an information processing device,
Acquisition processing for acquiring a moving image of a motion including at least one of a forward bending motion and a rising motion of the user;
an extraction process for extracting skeleton information of the user from the moving image;
a first calculation process of calculating a first distance, which is a distance between two points on the user's upper body, based on the skeleton information;
an evaluation process for evaluating the user's motion based on the first distance;
Information processing method including.
前記評価処理は、前記前屈動作の開始前の前記第1距離より、前記前屈動作中の前記第1距離が短い場合、前記前屈動作を高く評価する
請求項1に記載の情報処理方法。
2. The information processing method according to claim 1, wherein the evaluation process evaluates the forward bending motion highly when the first distance during the forward bending motion is shorter than the first distance before the start of the forward bending motion. .
前記評価処理は、前記前屈動作の開始前の前記第1距離より、前記起き上り動作中の前記第1距離が短い場合、前記起き上がり動作を高く評価する
請求項1又は請求項2に記載の情報処理方法。
3. The evaluation process according to claim 1, wherein, if the first distance during the rising motion is shorter than the first distance before the start of the forward bending motion, the rising motion is highly evaluated. Information processing methods.
前記第1距離は、前記ユーザの腰又は尻から、前記ユーザの肩、喉、目、鼻、口又は頭までの距離である
請求項1から請求項3までのいずれかに記載の情報処理方法。
The information processing method according to any one of claims 1 to 3, wherein the first distance is a distance from the user's waist or buttocks to the user's shoulder, throat, eyes, nose, mouth, or head. .
前記動画は、前記ユーザを側方から撮影した動画である
請求項1から請求項4までのいずれかに記載の情報処理方法。
5. The information processing method according to any one of claims 1 to 4, wherein said moving image is a moving image of said user photographed from the side.
前記骨格情報に基づいて、基準線から前記ユーザの上半身までの距離である第2距離を算出する第2算出処理を更に含む
請求項1から請求項5までのいずれかに記載の情報処理方法。
6. The information processing method according to any one of claims 1 to 5, further comprising a second calculation process of calculating a second distance, which is a distance from a reference line to the user's upper body, based on the skeleton information.
前記第2距離は、前記基準線から前記ユーザの肩、喉、目、鼻、口又は頭までの距離である
請求項6に記載の情報処理方法。
7. The information processing method according to claim 6, wherein said second distance is a distance from said reference line to said user's shoulder, throat, eyes, nose, mouth or head.
前記基準線は、垂線又は前記前屈動作の開始前における前記ユーザの腰若しくは尻と前記ユーザの肩、喉、目、鼻、口若しくは頭を通る直線である
請求項6又は請求項7に記載の情報処理方法。
8. The reference line according to claim 6 or 7, wherein the reference line is a vertical line or a straight line passing through the user's hips or buttocks and the user's shoulders, throat, eyes, nose, mouth or head before the start of the forward bending motion. information processing method.
前記第2距離に基づいて、前記動画に含まれる前屈動作部分及び起き上がり動作部分の少なくとも一方を判別する判別処理を更に含む
請求項6から請求項8までのいずれかに記載の情報処理方法。
9. The information processing method according to any one of claims 6 to 8, further comprising determining processing for determining at least one of a forward bending motion portion and a rising motion portion included in the moving image based on the second distance.
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得部と、
前記動画から前記ユーザの骨格情報を抽出する抽出部と、
前記骨格情報に基づいて、前記ユーザの上半身の2点間の距離である第1距離を算出する第1算出部と、
前記第1距離に基づいて、前記ユーザの動作を評価する評価部と、
を備える情報処理装置。
an acquisition unit that acquires a moving image of a motion including at least one of a forward bending motion and a rising motion of the user;
an extraction unit that extracts the skeleton information of the user from the moving image;
a first calculator that calculates a first distance, which is a distance between two points on the user's upper body, based on the skeleton information;
an evaluation unit that evaluates the motion of the user based on the first distance;
Information processing device.
情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの上半身の2点間の距離である第1距離を算出する第1算出処理と、
前記第1距離に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法をコンピュータに実行させるためのプログラム。
An information processing method executed by an information processing device,
Acquisition processing for acquiring a moving image of a motion including at least one of a forward bending motion and a rising motion of the user;
an extraction process for extracting skeleton information of the user from the moving image;
a first calculation process of calculating a first distance, which is a distance between two points on the user's upper body, based on the skeleton information;
an evaluation process for evaluating the user's motion based on the first distance;
A program for causing a computer to execute an information processing method including
JP2021184507A 2021-11-12 2021-11-12 Information processing method, device and program Active JP7169718B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021184507A JP7169718B1 (en) 2021-11-12 2021-11-12 Information processing method, device and program
JP2022163518A JP2023072656A (en) 2021-11-12 2022-10-11 Information processing method, device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021184507A JP7169718B1 (en) 2021-11-12 2021-11-12 Information processing method, device and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022163518A Division JP2023072656A (en) 2021-11-12 2022-10-11 Information processing method, device and program

Publications (2)

Publication Number Publication Date
JP7169718B1 JP7169718B1 (en) 2022-11-11
JP2023072148A true JP2023072148A (en) 2023-05-24

Family

ID=83996938

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021184507A Active JP7169718B1 (en) 2021-11-12 2021-11-12 Information processing method, device and program
JP2022163518A Pending JP2023072656A (en) 2021-11-12 2022-10-11 Information processing method, device and program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022163518A Pending JP2023072656A (en) 2021-11-12 2022-10-11 Information processing method, device and program

Country Status (1)

Country Link
JP (2) JP7169718B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7454326B1 (en) 2023-06-27 2024-03-22 株式会社エクサウィザーズ Condition evaluation method, condition evaluation system and condition evaluation program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105723A1 (en) * 2016-12-09 2018-06-14 国立大学法人北海道大学 Load measuring device, assistance device, load measuring method, and load measuring program
CN110969114A (en) * 2019-11-28 2020-04-07 四川省骨科医院 Human body action function detection system, detection method and detector
CN111814772A (en) * 2020-09-07 2020-10-23 科大讯飞(苏州)科技有限公司 Human body posture evaluation method and device, electronic equipment and storage medium
CN113255622A (en) * 2021-07-14 2021-08-13 北京壹体科技有限公司 System and method for intelligently identifying sit-up action posture completion condition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105723A1 (en) * 2016-12-09 2018-06-14 国立大学法人北海道大学 Load measuring device, assistance device, load measuring method, and load measuring program
CN110969114A (en) * 2019-11-28 2020-04-07 四川省骨科医院 Human body action function detection system, detection method and detector
CN111814772A (en) * 2020-09-07 2020-10-23 科大讯飞(苏州)科技有限公司 Human body posture evaluation method and device, electronic equipment and storage medium
CN113255622A (en) * 2021-07-14 2021-08-13 北京壹体科技有限公司 System and method for intelligently identifying sit-up action posture completion condition

Also Published As

Publication number Publication date
JP2023072656A (en) 2023-05-24
JP7169718B1 (en) 2022-11-11

Similar Documents

Publication Publication Date Title
US11948401B2 (en) AI-based physical function assessment system
JP4594157B2 (en) Exercise support system, user terminal device thereof, and exercise support program
US20160048993A1 (en) Image processing device, image processing method, and program
KR102320960B1 (en) Personalized home training behavior guidance and correction system
CN107930048B (en) Space somatosensory recognition motion analysis system and motion analysis method
WO2021039857A1 (en) Video generation device
JP7169718B1 (en) Information processing method, device and program
JP2020174910A (en) Exercise support system
JP6276456B1 (en) Method and system for evaluating user posture
KR102356685B1 (en) Home training providing system based on online group and method thereof
WO2023108842A1 (en) Motion evaluation method and system based on fitness teaching training
JP2023127639A (en) Information processing method, device, and program
CN110314344B (en) Exercise reminding method, device and system
JP6868673B1 (en) Information processing equipment, information processing methods, and information processing programs
KR20230087352A (en) Apparatus and method for detecting workout status
KR102381542B1 (en) System including algorithm for determining real-time turtle neck posture, responsive cradle interlocking with the system, and control method thereof
JP6804781B1 (en) Information processing system, information processing method and computer program
JP7454326B1 (en) Condition evaluation method, condition evaluation system and condition evaluation program
CN110996149A (en) Information processing method, device and system
JP2024044896A (en) Information processing method, information processing device, and program
WO2023162159A1 (en) Motion generation device, motion generation system, motion generation method, and non-transitory computer readable medium
CN113691867B (en) Motion analysis method, motion analysis device, electronic device, and storage medium
JP7462869B2 (en) Information processing method, information processing device, and program
JP7355969B1 (en) Information processing system, information processing method, program
WO2024161613A1 (en) Data augmentation method, data augmentation program, and information processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220804

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221026

R150 Certificate of patent or registration of utility model

Ref document number: 7169718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350