JP2023072148A - Information processing method, device and program - Google Patents
Information processing method, device and program Download PDFInfo
- Publication number
- JP2023072148A JP2023072148A JP2021184507A JP2021184507A JP2023072148A JP 2023072148 A JP2023072148 A JP 2023072148A JP 2021184507 A JP2021184507 A JP 2021184507A JP 2021184507 A JP2021184507 A JP 2021184507A JP 2023072148 A JP2023072148 A JP 2023072148A
- Authority
- JP
- Japan
- Prior art keywords
- user
- distance
- motion
- forward bending
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 54
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000005452 bending Methods 0.000 claims abstract description 133
- 230000033001 locomotion Effects 0.000 claims abstract description 115
- 238000011156 evaluation Methods 0.000 claims abstract description 90
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 230000000630 rising effect Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 18
- 210000003128 head Anatomy 0.000 claims description 13
- 210000001217 buttock Anatomy 0.000 claims description 9
- 238000012854 evaluation process Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 4
- 238000003860 storage Methods 0.000 description 32
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 18
- 230000015654 memory Effects 0.000 description 10
- 210000003205 muscle Anatomy 0.000 description 4
- 240000001973 Ficus microcarpa Species 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、情報処理方法、装置及びプログラムに関する。 The present invention relates to an information processing method, apparatus and program.
従来、動画から抽出した骨格情報を利用して、運動を評価する技術が知られている。例えば、引用文献1には、ユーザ端末に関連するユーザの身体の運動の評価を行うシステムであって、前記身体を撮像した画像を解析して前記身体の複数の部位を特定する画像解析部と、前記複数の部位の各々の動きを評価し、評価情報を生成する評価生成部と、ユーザ端末と指導者端末との間のコミュニケーション用画面を生成する画面生成部と、を有し、前記画面生成部は、前記コミュニケーション用画面の少なくとも一部に、前記評価情報を表示するよう画面を生成する、運動評価システムが開示されている。このシステムによれば、動画からピッチング等の運動を評価することができる。
Conventionally, there has been known a technique for evaluating motion using skeleton information extracted from moving images. For example, Cited
動画から立位体前屈の良し悪しを評価する技術が求められている。 There is a need for a technology that evaluates the quality of standing forward bending from videos.
本発明は、上記の課題を鑑みてなされたものであり、動画から立位体前屈の良し悪しを評価することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to evaluate the quality of standing body forward bending from moving images.
一実施形態に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、前記動画から前記ユーザの骨格情報を抽出する抽出処理と、前記骨格情報に基づいて、前記ユーザの上半身の2点間の距離である第1距離を算出する第1算出処理と、前記第1距離に基づいて、前記ユーザの動作を評価する評価処理と、を含む情報処理方法。 An information processing method according to an embodiment is an information processing method executed by an information processing apparatus, and includes an acquisition process of acquiring a moving image of a motion including at least one of a forward bending motion and a rising motion of a user; a first calculation process for calculating a first distance that is a distance between two points on the user's upper body based on the skeleton information; and a first calculation process for calculating the first distance based on the first distance and an evaluation process for evaluating the action of the user.
一実施形態によれば、動画から立位体前屈の良し悪しを評価することができる。 According to one embodiment, it is possible to evaluate whether standing body forward bending is good or bad from a moving image.
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。 Hereinafter, each embodiment of the present invention will be described with reference to the accompanying drawings. Regarding the descriptions of the specifications and drawings according to each embodiment, components having substantially the same functional configuration are denoted by the same reference numerals, thereby omitting redundant description.
<システム概要>
まず、本実施形態に係る情報処理システムの概要について説明する。本実施形態に係る情報処理システムは、ユーザ動画121に基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果をユーザに通知するシステムである。ユーザ動画121は、ユーザが実施した立位体前屈をユーザの側方から撮影した動画である。ユーザは、立位体前屈を実施する人である。立位体前屈は、上半身を前屈させることにより背筋を伸ばすストレッチであり、ピラティスなどで取り入れられている。
<System Overview>
First, an outline of an information processing system according to this embodiment will be described. The information processing system according to the present embodiment is a system that evaluates whether the user's upright forward bending is good or bad based on the
図1は、立位体前屈を説明する模式図である。図1に示すように、立位体前屈は、ユーザが直立した状態から、前屈動作(ロールダウン)を実施し、前屈した状態で停止し、起き上り動作(ロールアップ)を実施し、再び直立した状態に移行するまでの一連の動作である。 FIG. 1 is a schematic diagram for explaining standing body forward bending. As shown in FIG. 1, the standing body forward bending is performed by performing a forward bending motion (rolling down) from a state in which the user stands upright, stopping in the forwardly bent state, and performing a rising motion (rolling up). , a series of motions until it shifts to an upright position again.
<システム構成>
図2は、本実施形態に係る情報処理システムの構成の一例を示す図である。図2に示すように、本実施形態に係る情報処理システムは、ネットワークNを介して相互に通信可能に接続された、評価装置1と、ユーザ端末2と、を備える。ネットワークNは、例えば、有線LAN(Local Area Network)、無線LAN、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図2の例では、情報処理システムは、評価装置1及びユーザ端末2をそれぞれ1つずつ備えるが、それぞれ複数備えてもよい。
<System configuration>
FIG. 2 is a diagram showing an example of the configuration of the information processing system according to this embodiment. As shown in FIG. 2, the information processing system according to this embodiment includes an
評価装置1は、ユーザ動画121に基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果をユーザに通知する情報処理装置である。評価装置1は、例えば、PC(Personal Computer)、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。評価装置1について、詳しくは後述する。
The
ユーザ端末2は、ユーザ動画121を評価装置1に送信し、立位体前屈の評価結果を表示する情報処理装置である。ユーザ端末2は、例えば、PC、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。ユーザ端末2は、外部装置からユーザ動画121を取得し、取得したユーザ動画121を評価装置1に送信してもよい。また、ユーザ端末2は、カメラを備え、そのカメラで撮影したユーザ動画121を評価装置1に送信してもよい。この場合、ユーザは、自分で自分のユーザ動画121を撮影してもよいし、ユーザ以外の撮影者に自分のユーザ動画121を撮影してもらってもよい。また、ユーザ動画121を送信するユーザ端末2と、評価結果を表示するユーザ端末2と、は異なる情報処理装置であってもよい。
The
<ハードウェア構成>
次に、情報処理装置100のハードウェア構成について説明する。図3は、情報処理装置100のハードウェア構成の一例を示す図である。図3に示すように、情報処理装置100は、バスBを介して相互に接続された、プロセッサ101と、メモリ102と、ストレージ103と、通信I/F104と、入出力I/F105と、ドライブ装置106と、を備える。
<Hardware configuration>
Next, the hardware configuration of the
プロセッサ101は、ストレージ103に記憶されたOS(Operating System)を含む各種のプログラムをメモリ102に展開して実行することにより、情報処理装置100の各構成を制御し、情報処理装置100の機能を実現する。プロセッサ101は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、又はこれらの組み合わせである。
The
メモリ102は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、又はこれらの組み合わせである。ROMは、例えば、PROM(Programmable ROM)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、又はこれらの組み合わせである。RAMは、例えば、DRAM(Dynamic RAM)、SRAM(Static RAM)、又はこれらの組み合わせである。
The
ストレージ103は、OSを含む各種のプログラム及びデータを記憶する。ストレージ103は、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SCM(Storage Class Memories)、又はこれらの組み合わせである。
The
通信I/F104は、情報処理装置100を、ネットワークNを介して外部装置に接続し、通信を制御するためのインタフェースである。通信I/F104は、例えば、Bluetooth(登録商標)、Wi-Fi(登録商標)、ZigBee(登録商標)、Ethernet(登録商標)、又は光通信に準拠したアダプタであるが、これに限られない。
The communication I/
入出力I/F105は、評価装置1に入力装置107及び出力装置108を接続するためのインタフェースである。入力装置107は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置108は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。
The input/output I/
ドライブ装置106は、ディスクメディア109のデータを読み書きする。ドライブ装置106は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア109は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、FD(Floppy Disk)、MO(Magneto-Optical disk)、BD(Blu-ray(登録商標) Disc)、又はこれらの組み合わせである。
The
なお、本実施形態において、プログラムは、情報処理装置100の製造段階でメモリ102又はストレージ103に書き込まれてもよいし、ネットワークNを介して情報処理装置100に提供されてもよいし、ディスクメディア109などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置100に提供されてもよい。
In this embodiment, the program may be written in the
<機能構成>
次に、評価装置1の機能構成について説明する。図4は、評価装置1の機能構成の一例を示す図である。図4に示すように、評価装置1は、通信部11と、記憶部12と、制御部13と、を備える。
<Functional configuration>
Next, the functional configuration of the
通信部11は、通信I/F104により実現される。通信部11は、ネットワークNを介して、ユーザ端末2との間で情報の送受信を行う。通信部11は、ユーザ端末2からユーザ動画121を受信する。また、通信部11は、ユーザ端末2に評価結果情報124を送信する。
記憶部12は、メモリ102及びストレージ103により実現される。記憶部12には、ユーザ動画121、骨格情報122、距離情報123及び評価結果情報124が記憶される。
The
ユーザ動画121は、ユーザが実施した立位体前屈をユーザの側方から撮影した動画である。ユーザ動画121は、ユーザの前屈動作及び起き上がり動作の少なくとも一方の動作を撮影した動画であればよい。また、ユーザ動画121は、複数回の立位体前屈を撮影した動画であってもよい。
The
骨格情報122は、ユーザ動画121に写ったユーザの体(骨格)における複数の特徴点の座標を示す情報である。特徴点は、例えば、頭、目、鼻、口、肩、喉、肘、手首、指、腰、尻、膝、くるぶし、踵、又は爪先であるが、これに限られない。骨格情報122は、ユーザ動画121の各フレームと対応した時系列情報として記憶される。
The
距離情報123は、後述する第1算出部133及び第2算出部134により算出された上体長L及び前屈距離Dを示す情報である。上体長L及び前屈距離Dは、ユーザ動画121の各フレームと対応した時系列情報として記憶される。上体長L及び前屈距離Dについて、詳しくは後述する。
The
評価結果情報124は、ユーザの立位体前屈の良し悪しを評価した評価結果を示す情報である。評価結果は、評価項目ごとの評価値であってもよいし、評価項目ごとのコメント又はアドバイスであってもよい。評価項目は、例えば、背中の伸び具合、速度、及び前屈の深さの少なくとも1つを含む。
The evaluation result
制御部13は、プロセッサ101がメモリ102からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部13は、評価装置1の動作全体を制御する。制御部13は、取得部131と、抽出部132と、第1算出部133と、第2算出部134と、判別部135と、評価部136と、通知部137と、を備える。
The
取得部131は、通信部11がユーザ端末2から受信したユーザ動画121を取得し、記憶部12に保存する。
The
抽出部132は、骨格抽出(姿勢推定)処理により、記憶部12に保存されたユーザ動画121から、ユーザ動画121に写ったユーザの骨格情報122を抽出し、記憶部12に保存する。抽出部132は、任意の骨格抽出方法を利用できる。
The extracting
第1算出部133は、ユーザ動画121の各フレームに対応する骨格情報122に基づいて、ユーザ動画121の各フレームに対応するユーザの上体長Lを算出する。上体長Lは、ユーザの上半身の2点間の距離であり、第1距離に相当する。より詳細には、上体長Lは、ユーザの上半身における、下方の特徴点から上方の特徴点までの距離である。例えば、下方の特徴点は腰又は尻であり、上方の特徴点は肩、喉、目、鼻、口又は頭であるが、これに限られない。第1算出部133は、ユーザ動画121の各フレームに対応する上体長Lを示す距離情報を時系列情報として記憶部12に保存する。
The
図5は、上体長Lを説明する図である。図5に示すように、上体長Lは、ユーザの上半身における下方の特徴点から上方の特徴点までの、画像(フレーム)上での直線距離となる。図5の例では、上体長Lは、腰から肩までの距離であるが、これに限られない。 FIG. 5 is a diagram for explaining the torso length L. As shown in FIG. As shown in FIG. 5, the upper body length L is the linear distance on the image (frame) from the lower feature point to the upper feature point on the user's upper body. Although the upper body length L is the distance from the waist to the shoulder in the example of FIG. 5, it is not limited to this.
第2算出部134は、ユーザ動画121の各フレームに対応する骨格情報122に基づいて、ユーザ動画121の各フレームに対応するユーザの前屈距離Dを算出する。前屈距離Dは、基準線Rからユーザの上半身までの距離であり、第2距離に相当する。より詳細には、前屈距離Dは、基準線Rからユーザの上半身における特徴点までの距離である。例えば、ユーザの上半身における特徴点は、肩、喉、目、鼻、口又は頭であるが、これに限られない。基準線Rは、ユーザの前屈の程度に応じてユーザの上半身までの距離が変化する任意の直線であり得る。基準線Rは、例えば、ユーザ動画121の画像(フレーム)上における任意の垂線である。また、基準線Rは、前屈動作の開始前における、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口又は頭と、を通る直線であってもよい。第2算出部134は、ユーザ動画121の各フレームに対応する前屈距離Dを示す距離情報を時系列情報として記憶部12に保存する。
The
図6は、前屈距離Dを説明する図である。図6に示すように、前屈距離Dは、ユーザの上半身における特徴点から基準線Rまでの、画像(フレーム)上での直線距離となる。図6の例では、前屈距離Dは、ユーザの肩から、前屈動作の開始前におけるユーザの腰と肩を通る直線までの距離であるが、これに限られない。 FIG. 6 is a diagram for explaining the forward bending distance D. FIG. As shown in FIG. 6, the forward bending distance D is the linear distance from the feature point on the user's upper body to the reference line R on the image (frame). In the example of FIG. 6, the forward bending distance D is the distance from the user's shoulders to a straight line passing through the user's waist and shoulders before starting the forward bending motion, but is not limited to this.
判別部135は、前屈距離Dに基づいて、ユーザ動画121におけるユーザの各動作部分を判別する。より詳細には、判別部135は、ユーザ動画121に含まれる前屈動作部分及び起き上がり動作部分の少なくとも一方を判別する。前屈動作部分は、ユーザ動画121において、ユーザが前屈動作を実施しているところを撮影した部分のことである。起き上がり動作部分は、ユーザ動画121において、ユーザが起き上がり動作を実施しているところを撮影した部分のことである。判別方法については後述する。
Based on the forward bending distance D, the
評価部136は、上体長Lに基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果を示す評価結果情報124を記憶部12に保存する。評価方法については後述する。
The
通知部137は、記憶部12に保存された評価結果情報124をユーザ端末2に送信し、ユーザに評価結果を通知する。
The
<評価装置が実行する処理>
次に、評価装置1が実行する処理について説明する。図7は、評価装置1が実行する処理の一例を示すフローチャートである。
<Processing executed by the evaluation device>
Next, processing executed by the
(ステップS101)
取得部131は、通信部11がユーザ端末2から受信したユーザ動画121を取得し、記憶部12に保存する。
(Step S101)
The
(ステップS102)
抽出部132は、骨格抽出処理により、記憶部12に保存されたユーザ動画121から、ユーザ動画121に写ったユーザの骨格情報122を抽出し、記憶部12に保存する。
(Step S102)
The
(ステップS103)
第1算出部133は、記憶部12に保存された骨格情報122に基づいて、ユーザ動画121の各フレームに対応する上体長Lを算出する。第1算出部133は、算出部した上体長Lを距離情報123として記憶部12に保存する。
(Step S103)
The
(ステップS104)
第2算出部134は、記憶部12に保存された骨格情報122に基づいて、ユーザ動画121における基準線Rを設定する。第2算出部134は、ユーザ動画121の最初のフレームにおける、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口又は頭と、を通る直線を基準線Rとして設定してもよい。また、第2算出部134は、何らかの方法で前屈動作の開始タイミングを検出し、検出した開始タイミングの直前のフレームにおけるユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口又は頭と、を通る直線を基準線Rとして設定してもよい。いずれの方法でも、第2算出部134は、前屈動作の開始前における、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口又は頭と、を通る直線を基準線Rに設定することができる。
(Step S104)
The
(ステップS105)
第2算出部134は、ステップS104で設定した基準線Rと、ユーザ動画121の各フレームに対応する骨格情報122と、に基づいて、ユーザ動画121の各フレームに対応するユーザの前屈距離Dを算出する。第2算出部134は、算出部した前屈距離Dを距離情報123として記憶部12に保存する。
(Step S105)
The
(ステップS106)
判別部135は、ステップS105で算出した前屈距離Dに基づいて、ユーザ動画121におけるユーザの各動作部分を判別する。
(Step S106)
The
ここで、図8及び図9は、前屈距離D及び上体長L(比率L/Lr)の一例を示す図である。図8は、ユーザが良い立位体前屈を実施した場合の前屈距離D及び上体長L(比率L/Lr)を示す図である。図9は、ユーザが悪い立位体前屈を実施した場合の前屈距離D及び上体長L(比率L/Lr)を示す図である。図8及び図9の例では、ユーザが立位体前屈を3回実行した場合の前屈距離D及び上体長Lが時系列で示されている。 Here, FIGS. 8 and 9 are diagrams showing an example of the forward bending distance D and the body length L (ratio L/Lr). FIG. 8 is a diagram showing the forward bending distance D and the upper body length L (ratio L/Lr) when the user performs good standing forward bending. FIG. 9 is a diagram showing the forward bending distance D and the upper body length L (ratio L/Lr) when the user performs bad standing forward bending. In the examples of FIGS. 8 and 9, the forward bending distance D and the upper body length L when the user performs standing forward bending three times are shown in chronological order.
図8及び図9に示すように、前屈距離Dは、直立している間は小さく、前屈動作中に急激に大きくなり、停止中はほぼ一定となり、起き上がり動作中に急激に小さくなる。このため、判別部135は、例えば、前屈距離Dが閾値以下で安定した値からピークまで所定の勢いで上昇する部分を前屈動作部分と判別し、前屈距離Dがピークから閾値以下の値まで所定の勢いで下降する部分を起き上がり部分と判別し、前屈動作部分と起き上がり動作部分との間を停止部分と判別し、残りの部分を直立部分と判別することにより、ユーザ動画121を図8及び図9のように各動作部分に判別することができる。なお、判別方法は、上記の例に限られない。
As shown in FIGS. 8 and 9, the forward bending distance D is small while standing upright, rapidly increases during forward bending, remains substantially constant while standing, and rapidly decreases during standing up. For this reason, the determining
(ステップS107)
第1算出部133は、記憶部12に保存された上体長Lと、判別部135による各動作部分の判別結果と、に基づいて、基準長Lrを設定する。基準長Lrは、上体長Lの基準となる長さであって、直立状態のユーザの上体長Lに相当する。第1算出部133は、ユーザ動画121における最初の直立部分の上体長Lに基づいて基準長Lrを設定すればよい。基準長Lrは、例えば、最初の直立部分の最後のフレームの上体長L、最初の直立部分の最初のフレームの上体長L、又は最初の直立部分の上体長Lの平均値であるが、これに限られない。
(Step S107)
The
(ステップS108)
第1算出部133は、記憶部12に保存された上体長Lと、ステップS107で算出した基準長Lrと、に基づいて、ユーザ動画121の各フレームに対応する、上体長Lと基準長Lrの比率L/Lrを算出する。第1算出部133は、算出した比率L/Lrを距離情報123として記憶部12に保存する。
(Step S108)
Based on the torso length L stored in the
(ステップS109)
評価部136は、記憶部12に保存された比率L/Lrと、判別部135による各動作部分の判別結果と、に基づいて、ユーザの立位体前屈を評価する。評価項目として、背中の伸び具合、速度、及び前屈の深さが挙げられる。
(Step S109)
The
ここで、立位体前屈の評価方法について説明する。図10は、立位体前屈を説明する模式図である。図1は、良い立位体前屈を説明する模式図である。図10は、悪い立位体前屈を説明する模式図である。 Here, a method for evaluating standing body forward bending will be described. FIG. 10 is a schematic diagram for explaining standing body forward bending. FIG. 1 is a schematic diagram explaining good upright forward bending. FIG. 10 is a schematic diagram illustrating bad upright forward bending.
(1)背中の伸び具合について
図1に示すように、立位体前屈は、背中の筋肉を伸ばすために、首を前方に曲げ、背中を丸めた状態で前屈動作を実施するのが好ましい。このため、ユーザが適切に前屈動作を実施した場合、前屈動作の開始前の上体長Lである基準長Lrより、前屈動作中の上体長Lは短くなる。すなわち、図8に示すように、前屈動作中の比率L/Lrが1より小さくなる。
(1) Lengthening of the back As shown in Fig. 1, in order to stretch the muscles of the back, it is best to bend the neck forward and round the back while performing the forward bending motion in standing posture forward bending. preferable. Therefore, when the user appropriately performs the forward bending motion, the body length L during the forward bending motion becomes shorter than the reference length Lr, which is the body length L before the start of the forward bending motion. That is, as shown in FIG. 8, the ratio L/Lr during the forward bending motion becomes smaller than 1.
同様に、立位体前屈は、首を前方に曲げ、背中を丸めた状態で起き上がり動作を実施するのが好ましい。このため、ユーザが適切に起き上がり動作を実施した場合、前屈動作の開始前の上体長Lである基準長Lrより、起き上がり動作中の上体長Lは短くなる。すなわち、図8に示すように、起き上がり動作中の比率L/Lrが1より小さくなる。 Similarly, standing body forward bending is preferably performed with the neck bent forward and the back rounded. Therefore, when the user properly performs the sit-up motion, the body length L during the sit-up motion is shorter than the reference length Lr, which is the body length L before the start of the forward bending motion. That is, as shown in FIG. 8, the ratio L/Lr becomes smaller than 1 during the rising motion.
一方、図10に示すように、立位体前屈は、首及び背中を真っ直ぐにした状態で前屈動作を実施した場合、背中の筋肉があまり伸びないため、十分な効果を得られない。このため、ユーザが適切に前屈動作を実施しなかった場合、前屈動作の開始前の上体長Lである基準長Lrと、起き上がり動作中の上体長Lと、は略等しくなる。すなわち、図9に示すように、起き上がり動作中の比率L/Lrが略1となる。 On the other hand, as shown in FIG. 10, when the forward bending motion is performed with the neck and back straight, the muscles of the back do not stretch so much, so that a sufficient effect cannot be obtained. Therefore, when the user does not perform the forward bending motion appropriately, the reference length Lr, which is the body length L before the start of the forward bending motion, and the body length L during the rising motion become substantially equal. That is, as shown in FIG. 9, the ratio L/Lr is approximately 1 during the rising motion.
同様に、立位体前屈は、首及び背中を真っ直ぐにした状態で起き上がり動作を実施した場合、十分な効果を得られない。このため、ユーザが適切に起き上がり動作を実施しなかった場合、起き上がり動作の開始前の上体長Lである基準長Lrと、起き上がり動作中の上体長Lと、は略等しくなる。すなわち、図9に示すように、起き上がり動作中の比率L/Lrが略1となる。 Similarly, standing body forward bending is not sufficiently effective if the standing motion is performed with the neck and back straight. Therefore, when the user does not properly perform the sit-up motion, the reference length Lr, which is the body length L before the start of the sit-up motion, and the body length L during the sit-up motion become substantially equal. That is, as shown in FIG. 9, the ratio L/Lr is approximately 1 during the rising motion.
そこで、評価部136は、前屈動作中の比率L/Lrが1より小さい場合、ユーザの立位体前屈(前屈動作)における背中の伸び具合を高く評価する。評価部136は、前屈動作中の比率L/Lrの平均値が1より小さいほど評価を高くしてもよいし、前屈動作中に比率L/Lrが1より小さい期間が長いほど評価を高くしてもよい。これにより、図8の例では、3回の前屈動作がいずれも高く評価される。一方、図9の例では、1回目の前屈動作のみ高く評価され、残り2回の前屈動作は低く評価される。
Therefore, when the ratio L/Lr during the forward bending motion is smaller than 1, the
同様に、評価部136は、起き上がり動作中の比率L/Lrが1より小さい場合、ユーザの立位体前屈(起き上がり動作)における背中の伸び具合を高く評価する。評価部136は、起き上がり動作中の比率L/Lrの平均値が1より小さいほど評価を高くしてもよいし、起き上がり動作中に比率L/Lrが1より小さい期間が長いほど評価を高くしてもよい。これにより、図8の例では、3回の起き上がり動作がいずれも高く評価される。一方、図9の例では、3回の起き上がり動作がいずれも低く評価される。
Similarly, when the ratio L/Lr during the standing-up motion is smaller than 1, the
(2)速度について
立位体前屈では、勢いをつけて前屈動作を実施するのは好ましくない。言い換えると、ゆっくり一定のペースで前屈動作を実施するのが好ましい。そこで、例えば、評価部136は、前屈動作の時間が長いほど、ユーザの立位体前屈(前屈動作)における速度を高く評価する。また、評価部136は、前屈動作の速度(前屈距離Dの傾き)が一定であるほど、ユーザの立位体前屈(前屈動作)における速度を高く評価してもよい。
(2) Speed In standing forward bending, it is not preferable to perform the forward bending motion with momentum. In other words, it is preferable to perform forward bending at a slow and constant pace. Therefore, for example, the
同様に、立位体前屈では、勢いをつけて起き上がり動作を実施するのは好ましくない。言い換えると、ゆっくり一定のペースで起き上がり動作を実施するのが好ましい。そこで、例えば、評価部136は、起き上がり動作の時間が長いほど、ユーザの立位体前屈(起き上がり動作)における速度を高く評価する。また、評価部136は、起き上がり動作の速度(前屈距離Dの傾き)が一定であるほど、ユーザの立位体前屈(起き上がり動作)における速度を高く評価してもよい。
Similarly, in standing body forward bending, it is not preferable to perform the rising motion with momentum. In other words, it is preferable to perform the sit-up motion at a slow and constant pace. Therefore, for example, the
(3)前屈の深さについて
立位体前屈は、背中の筋肉を伸ばすため、深く前屈するほど好ましい。そこで、例えば、評価部136は、停止中における上半身の傾きが垂直(鉛直)に近いほど、ユーザの立位体前屈における前屈の深さを高く評価する。上半身の傾きは、例えば、前屈距離Dを算出するために利用するユーザの上半身の2点間を結ぶ直線の傾きであるが、これに限られない。
(3) Depth of forward bending In order to stretch the muscles of the back, the deeper the forward bending, the better. Therefore, for example, the
評価部136は、以上のような方法で評価したユーザの立位体前屈の評価結果を示す評価結果情報124を記憶部12に保存する。なお、評価部136による評価方法は、上記の例に限られない。
The
(ステップS110)
通知部137は、記憶部12に保存された評価結果情報124をユーザ端末2に送信することにより、ユーザに評価結果を通知する。ユーザ端末2は、評価結果情報124を受信すると、評価結果情報124が示す評価結果をディスプレイに表示する。
(Step S110)
The
図11は、ユーザ端末2に表示される評価結果の表示画面の一例を示す図である。図11の表示画面は、ユーザ動画121の再生領域Im1と、評価値領域Im2と、評価コメント領域Im3と、を有する。再生領域Im1は、ユーザ動画121を再生する。評価値領域Im2は、立位体前屈の総合及び各評価項目の評価値(評価結果)を表示する。評価コメント領域Im3は、ユーザの立位体前屈に対するコメント(評価結果)を表示する。なお、ユーザ端末2の表示画面に表示される評価結果は、図11の例に限られない。
FIG. 11 is a diagram showing an example of an evaluation result display screen displayed on the
<まとめ>
以上説明した通り、評価装置1は、ユーザ動画121から抽出した骨格情報122に基づいて上体長Lを算出し、上体長Lに基づいてユーザの立位体前屈を評価する。これにより、評価装置1は、立位体前屈における背中の伸び具合を評価することができる。
<Summary>
As described above, the
また、評価装置1は、ユーザ動画121から抽出した骨格情報122に基づいて前屈距離Dを算出し、前屈距離Dに基づいてユーザ動画121における各動作部分を判別する。これにより、評価装置1は、ユーザ動画121の各動作部分を自動的に判別することができる。
In addition, the
また、評価装置1は、ユーザ動画121から抽出した骨格情報122に基づいて前屈距離Dを算出し、前屈距離Dに基づいてユーザの立位体前屈を評価する。これにより、評価装置1は、立位体前屈における速度及び深さを評価することができる。
In addition, the
<付記>
本実施形態は、以下の開示を含む。
<Appendix>
This embodiment includes the following disclosure.
(付記1)
情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの上半身の2点間の距離である第1距離を算出する第1算出処理と、
前記第1距離に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法。
(Appendix 1)
An information processing method executed by an information processing device,
Acquisition processing for acquiring a moving image of a motion including at least one of a forward bending motion and a rising motion of the user;
an extraction process for extracting skeleton information of the user from the moving image;
a first calculation process of calculating a first distance, which is a distance between two points on the user's upper body, based on the skeleton information;
an evaluation process for evaluating the user's motion based on the first distance;
Information processing method including.
(付記2)
前記評価処理は、前記前屈動作の開始前の前記第1距離より、前記前屈動作中の前記第1距離が短い場合、前記前屈動作を高く評価する
付記1に記載の情報処理方法。
(Appendix 2)
2. The information processing method according to
(付記3)
前記評価処理は、前記前屈動作の開始前の前記第1距離より、前記起き上り動作中の前記第1距離が短い場合、前記起き上がり動作を高く評価する
付記1又は付記2に記載の情報処理方法。
(Appendix 3)
The information processing according to
(付記4)
前記第1距離は、前記ユーザの腰又は尻から、前記ユーザの肩、喉、目、鼻、口又は頭までの距離である
付記1から付記3までのいずれかに記載の情報処理方法。
(Appendix 4)
The information processing method according to any one of
(付記5)
前記動画は、前記ユーザを側方から撮影した動画である
付記1から付記4までのいずれかに記載の情報処理方法。
(Appendix 5)
The information processing method according to any one of
(付記6)
前記骨格情報に基づいて、基準線から前記ユーザの上半身までの距離である第2距離を算出する第2算出処理を更に含む
付記1から付記5までのいずれかに記載の情報処理方法。
(Appendix 6)
6. The information processing method according to any one of
(付記7)
前記第2距離は、前記基準線から前記ユーザの肩、喉、目、鼻、口又は頭までの距離である
付記6に記載の情報処理方法。
(Appendix 7)
The information processing method according to appendix 6, wherein the second distance is a distance from the reference line to the user's shoulder, throat, eyes, nose, mouth, or head.
(付記8)
前記基準線は、垂線又は前記前屈動作の開始前における前記ユーザの腰若しくは尻と前記ユーザの肩、喉、目、鼻、口若しくは頭を通る直線である
付記6又は付記7に記載の情報処理方法。
(Appendix 8)
7. Information according to appendix 6 or appendix 7, wherein the reference line is a vertical line or a straight line passing through the user's hips or buttocks and the user's shoulders, throat, eyes, nose, mouth or head before the start of the forward bending motion. Processing method.
(付記9)
前記第2距離に基づいて、前記動画に含まれる前屈動作部分及び起き上がり動作部分の少なくとも一方を判別する判別処理を更に含む
付記6から付記8までのいずれかに記載の情報処理方法。
(Appendix 9)
8. The information processing method according to any one of appendices 6 to 8, further comprising a determination process of determining at least one of a forward bending motion portion and a rising motion portion included in the moving image based on the second distance.
(付記10)
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得部と、
前記動画から前記ユーザの骨格情報を抽出する抽出部と、
前記骨格情報に基づいて、前記ユーザの上半身の2点間の距離である第1距離を算出する第1算出部と、
前記第1距離に基づいて、前記ユーザの動作を評価する評価部と、
を備える情報処理装置。
(Appendix 10)
an acquisition unit that acquires a moving image of a motion including at least one of a forward bending motion and a rising motion of the user;
an extraction unit that extracts the skeleton information of the user from the moving image;
a first calculator that calculates a first distance, which is a distance between two points on the user's upper body, based on the skeleton information;
an evaluation unit that evaluates the motion of the user based on the first distance;
Information processing device.
(付記11)
情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの上半身の2点間の距離である第1距離を算出する第1算出処理と、
前記第1距離に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法をコンピュータに実行させるためのプログラム。
(Appendix 11)
An information processing method executed by an information processing device,
Acquisition processing for acquiring a moving image of a motion including at least one of a forward bending motion and a rising motion of the user;
an extraction process for extracting skeleton information of the user from the moving image;
a first calculation process of calculating a first distance, which is a distance between two points on the user's upper body, based on the skeleton information;
an evaluation process for evaluating the user's motion based on the first distance;
A program for causing a computer to execute an information processing method including
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The embodiments disclosed this time are illustrative in all respects and should be considered not restrictive. The scope of the present invention is indicated by the scope of the claims rather than the meaning described above, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims. In addition, the present invention is not limited to the above-described embodiments, and can be modified in various ways within the scope of the claims, and can be obtained by appropriately combining technical means disclosed in different embodiments. Embodiments are also included in the technical scope of the present invention.
1:評価装置
2:ユーザ端末
11:通信部
12:記憶部
13:制御部
101:プロセッサ
102:メモリ
103:ストレージ
104:通信I/F
105:入出力I/F
106:ドライブ装置
107:入力装置
108:出力装置
109:ディスクメディア
121:ユーザ動画
122:骨格情報
123:距離情報
124:評価結果情報
131:取得部
132:抽出部
133:第1算出部
134:第2算出部
135:判別部
136:評価部
137:通知部
1: Evaluation Device 2: User Terminal 11: Communication Unit 12: Storage Unit 13: Control Unit 101: Processor 102: Memory 103: Storage 104: Communication I/F
105: Input/output I/F
106: Drive Device 107: Input Device 108: Output Device 109: Disk Media 121: User Video 122: Skeleton Information 123: Distance Information 124: Evaluation Result Information 131: Acquisition Unit 132: Extraction Unit 133: First Calculation Unit 134:
Claims (11)
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの上半身の2点間の距離である第1距離を算出する第1算出処理と、
前記第1距離に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法。 An information processing method executed by an information processing device,
Acquisition processing for acquiring a moving image of a motion including at least one of a forward bending motion and a rising motion of the user;
an extraction process for extracting skeleton information of the user from the moving image;
a first calculation process of calculating a first distance, which is a distance between two points on the user's upper body, based on the skeleton information;
an evaluation process for evaluating the user's motion based on the first distance;
Information processing method including.
請求項1に記載の情報処理方法。 2. The information processing method according to claim 1, wherein the evaluation process evaluates the forward bending motion highly when the first distance during the forward bending motion is shorter than the first distance before the start of the forward bending motion. .
請求項1又は請求項2に記載の情報処理方法。 3. The evaluation process according to claim 1, wherein, if the first distance during the rising motion is shorter than the first distance before the start of the forward bending motion, the rising motion is highly evaluated. Information processing methods.
請求項1から請求項3までのいずれかに記載の情報処理方法。 The information processing method according to any one of claims 1 to 3, wherein the first distance is a distance from the user's waist or buttocks to the user's shoulder, throat, eyes, nose, mouth, or head. .
請求項1から請求項4までのいずれかに記載の情報処理方法。 5. The information processing method according to any one of claims 1 to 4, wherein said moving image is a moving image of said user photographed from the side.
請求項1から請求項5までのいずれかに記載の情報処理方法。 6. The information processing method according to any one of claims 1 to 5, further comprising a second calculation process of calculating a second distance, which is a distance from a reference line to the user's upper body, based on the skeleton information.
請求項6に記載の情報処理方法。 7. The information processing method according to claim 6, wherein said second distance is a distance from said reference line to said user's shoulder, throat, eyes, nose, mouth or head.
請求項6又は請求項7に記載の情報処理方法。 8. The reference line according to claim 6 or 7, wherein the reference line is a vertical line or a straight line passing through the user's hips or buttocks and the user's shoulders, throat, eyes, nose, mouth or head before the start of the forward bending motion. information processing method.
請求項6から請求項8までのいずれかに記載の情報処理方法。 9. The information processing method according to any one of claims 6 to 8, further comprising determining processing for determining at least one of a forward bending motion portion and a rising motion portion included in the moving image based on the second distance.
前記動画から前記ユーザの骨格情報を抽出する抽出部と、
前記骨格情報に基づいて、前記ユーザの上半身の2点間の距離である第1距離を算出する第1算出部と、
前記第1距離に基づいて、前記ユーザの動作を評価する評価部と、
を備える情報処理装置。 an acquisition unit that acquires a moving image of a motion including at least one of a forward bending motion and a rising motion of the user;
an extraction unit that extracts the skeleton information of the user from the moving image;
a first calculator that calculates a first distance, which is a distance between two points on the user's upper body, based on the skeleton information;
an evaluation unit that evaluates the motion of the user based on the first distance;
Information processing device.
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの上半身の2点間の距離である第1距離を算出する第1算出処理と、
前記第1距離に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法をコンピュータに実行させるためのプログラム。 An information processing method executed by an information processing device,
Acquisition processing for acquiring a moving image of a motion including at least one of a forward bending motion and a rising motion of the user;
an extraction process for extracting skeleton information of the user from the moving image;
a first calculation process of calculating a first distance, which is a distance between two points on the user's upper body, based on the skeleton information;
an evaluation process for evaluating the user's motion based on the first distance;
A program for causing a computer to execute an information processing method including
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021184507A JP7169718B1 (en) | 2021-11-12 | 2021-11-12 | Information processing method, device and program |
JP2022163518A JP2023072656A (en) | 2021-11-12 | 2022-10-11 | Information processing method, device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021184507A JP7169718B1 (en) | 2021-11-12 | 2021-11-12 | Information processing method, device and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022163518A Division JP2023072656A (en) | 2021-11-12 | 2022-10-11 | Information processing method, device and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7169718B1 JP7169718B1 (en) | 2022-11-11 |
JP2023072148A true JP2023072148A (en) | 2023-05-24 |
Family
ID=83996938
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021184507A Active JP7169718B1 (en) | 2021-11-12 | 2021-11-12 | Information processing method, device and program |
JP2022163518A Pending JP2023072656A (en) | 2021-11-12 | 2022-10-11 | Information processing method, device and program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022163518A Pending JP2023072656A (en) | 2021-11-12 | 2022-10-11 | Information processing method, device and program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7169718B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7454326B1 (en) | 2023-06-27 | 2024-03-22 | 株式会社エクサウィザーズ | Condition evaluation method, condition evaluation system and condition evaluation program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018105723A1 (en) * | 2016-12-09 | 2018-06-14 | 国立大学法人北海道大学 | Load measuring device, assistance device, load measuring method, and load measuring program |
CN110969114A (en) * | 2019-11-28 | 2020-04-07 | 四川省骨科医院 | Human body action function detection system, detection method and detector |
CN111814772A (en) * | 2020-09-07 | 2020-10-23 | 科大讯飞(苏州)科技有限公司 | Human body posture evaluation method and device, electronic equipment and storage medium |
CN113255622A (en) * | 2021-07-14 | 2021-08-13 | 北京壹体科技有限公司 | System and method for intelligently identifying sit-up action posture completion condition |
-
2021
- 2021-11-12 JP JP2021184507A patent/JP7169718B1/en active Active
-
2022
- 2022-10-11 JP JP2022163518A patent/JP2023072656A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018105723A1 (en) * | 2016-12-09 | 2018-06-14 | 国立大学法人北海道大学 | Load measuring device, assistance device, load measuring method, and load measuring program |
CN110969114A (en) * | 2019-11-28 | 2020-04-07 | 四川省骨科医院 | Human body action function detection system, detection method and detector |
CN111814772A (en) * | 2020-09-07 | 2020-10-23 | 科大讯飞(苏州)科技有限公司 | Human body posture evaluation method and device, electronic equipment and storage medium |
CN113255622A (en) * | 2021-07-14 | 2021-08-13 | 北京壹体科技有限公司 | System and method for intelligently identifying sit-up action posture completion condition |
Also Published As
Publication number | Publication date |
---|---|
JP2023072656A (en) | 2023-05-24 |
JP7169718B1 (en) | 2022-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11948401B2 (en) | AI-based physical function assessment system | |
JP4594157B2 (en) | Exercise support system, user terminal device thereof, and exercise support program | |
US20160048993A1 (en) | Image processing device, image processing method, and program | |
KR102320960B1 (en) | Personalized home training behavior guidance and correction system | |
CN107930048B (en) | Space somatosensory recognition motion analysis system and motion analysis method | |
WO2021039857A1 (en) | Video generation device | |
JP7169718B1 (en) | Information processing method, device and program | |
JP2020174910A (en) | Exercise support system | |
JP6276456B1 (en) | Method and system for evaluating user posture | |
KR102356685B1 (en) | Home training providing system based on online group and method thereof | |
WO2023108842A1 (en) | Motion evaluation method and system based on fitness teaching training | |
JP2023127639A (en) | Information processing method, device, and program | |
CN110314344B (en) | Exercise reminding method, device and system | |
JP6868673B1 (en) | Information processing equipment, information processing methods, and information processing programs | |
KR20230087352A (en) | Apparatus and method for detecting workout status | |
KR102381542B1 (en) | System including algorithm for determining real-time turtle neck posture, responsive cradle interlocking with the system, and control method thereof | |
JP6804781B1 (en) | Information processing system, information processing method and computer program | |
JP7454326B1 (en) | Condition evaluation method, condition evaluation system and condition evaluation program | |
CN110996149A (en) | Information processing method, device and system | |
JP2024044896A (en) | Information processing method, information processing device, and program | |
WO2023162159A1 (en) | Motion generation device, motion generation system, motion generation method, and non-transitory computer readable medium | |
CN113691867B (en) | Motion analysis method, motion analysis device, electronic device, and storage medium | |
JP7462869B2 (en) | Information processing method, information processing device, and program | |
JP7355969B1 (en) | Information processing system, information processing method, program | |
WO2024161613A1 (en) | Data augmentation method, data augmentation program, and information processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220804 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221021 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221026 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7169718 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |