JP2018099416A - Motion analysis apparatus, motion analysis method and program - Google Patents
Motion analysis apparatus, motion analysis method and program Download PDFInfo
- Publication number
- JP2018099416A JP2018099416A JP2016247840A JP2016247840A JP2018099416A JP 2018099416 A JP2018099416 A JP 2018099416A JP 2016247840 A JP2016247840 A JP 2016247840A JP 2016247840 A JP2016247840 A JP 2016247840A JP 2018099416 A JP2018099416 A JP 2018099416A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- change
- time information
- time
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electric Clocks (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、運動解析装置、運動解析方法及びプログラムに関する。 The present invention relates to a motion analysis device, a motion analysis method, and a program.
従来より、ゴルフスイングを映像によって解析する手法がさまざま開発されている。例えば、特許文献1では、対象者のクラブヘッドや手首等に取り付けたセンサによって得られた計測データから、スイング動作を評価する技術が提案されている。また、計測と同時に撮影された映像を用いて、対応するタイミングの重心移動についても表示する技術も提案されている。 Conventionally, various methods for analyzing golf swings with images have been developed. For example, Patent Document 1 proposes a technique for evaluating a swing motion from measurement data obtained by a sensor attached to a club head or a wrist of a subject. In addition, a technique has also been proposed in which the center of gravity movement at the corresponding timing is also displayed using an image taken at the same time as the measurement.
ゴルフのスイング動作においては、体幹で起こされた運動がどのように端末に伝わっていくかが重要な要素であるが、上述する特許文献1に記載の技術では、手首やクラブヘッドといった、被験者の体幹の動きを正確にセンシングするのが困難な位置にセンサを装着するために、適切なスイングの評価を行えないという問題があった。 In golf swing motion, an important element is how the motion caused by the trunk is transmitted to the terminal. In the technique described in Patent Document 1 described above, subjects such as wrists and club heads. Since the sensor is mounted at a position where it is difficult to accurately sense the movement of the human trunk, there has been a problem that an appropriate swing cannot be evaluated.
本発明は、このような状況に鑑みてなされたものであり、より正確にスイング評価を行うことを目的とする。 The present invention has been made in view of such circumstances, and an object thereof is to perform swing evaluation more accurately.
上記目的を達成するため、本発明の一態様の運動解析装置は、
前記被験者に付けられ、被験者の所定の運動を記録した動画を取得する動画取得手段と、
前記被験者の所定の運動時の姿勢の変化を取得する変化取得手段と、
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価手段と、
を備えることを特徴とする。
In order to achieve the above object, a motion analysis apparatus according to an aspect of the present invention includes:
Movie acquisition means for acquiring a movie attached to the subject and recording a predetermined movement of the subject;
Change acquisition means for acquiring a change in posture of the subject during predetermined exercise;
An evaluation unit that evaluates the state of the predetermined motion using the moving image acquired by the moving image acquisition unit and the change in the posture acquired by the change acquisition unit;
It is characterized by providing.
本発明によれば、より正確にスイング評価を行うことができる。 According to the present invention, swing evaluation can be performed more accurately.
以下、本発明の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明の一実施形態に係る運動解析システムSのシステム構成を示すシステム構成図である。 FIG. 1 is a system configuration diagram showing a system configuration of a motion analysis system S according to an embodiment of the present invention.
運動解析システムSは、図1(a)に示すように、センサユニット1と、撮像装置2と、携帯端末3と、を含む。
センサユニット1は、被験者Hの姿勢をセンシングするセンシング機能と、他の装置(撮像装置2及び携帯端末3)との間で通信を行う通信機能と、を有する。
撮像装置2は、被験者を撮影する撮影機能と、他の装置(センサユニット1及び携帯端末3)との間で通信を行う通信機能と、を有する。
携帯端末3は、他の装置(センサユニット1及び撮像装置2)との間で通信を行う通信機能と、センサユニット1でセンシングされたセンサ情報と、撮像装置2で撮影された動画と、を解析する解析機能と、解析結果を出力する出力機能と、を有する。
The motion analysis system S includes a sensor unit 1, an
The sensor unit 1 has a sensing function for sensing the posture of the subject H and a communication function for performing communication with other devices (the
The
The
センサユニット1は、図1(b)に示すように、被験者Hの背中側の体幹の腰付近にベルト等を介して固定され、一連の運動(本実施形態においては、ゴルフのスイング)において、被験者Hの姿勢変化や体幹の動き等をセンシングする。 As shown in FIG. 1 (b), the sensor unit 1 is fixed to the vicinity of the waist of the trunk on the back side of the subject H via a belt or the like, and in a series of exercises (golf swing in this embodiment). Sensing subject H's posture change, trunk movement, and the like.
運動解析システムSにおいては、図1(a)に示すように、撮像装置2を、ゴルフのスイングを行う被験者Hのスイング動作全体を撮影可能な対面の位置に設置するように構成する。
In the motion analysis system S, as shown in FIG. 1A, the
図2は、本発明の一実施形態に係るセンサユニット1のハードウェアの構成を示すブロック図である。 FIG. 2 is a block diagram showing a hardware configuration of the sensor unit 1 according to an embodiment of the present invention.
センサユニットは、図2に示すように、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、センサ部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。
As shown in FIG. 2, the sensor unit includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a
CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。また、CPU11は、内部に備えるRTC(Real Time Clock)回路111によってもたらされる計時機能から現在の時刻情報を読み出し可能に構成される。
The
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、センサ部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。
The
センサ部16は、センサ部16−1は、ジャイロセンサ、3軸角速度センサ等の各種センサにより構成され、少なくとも、ユーザの動作に応じて当該センサユニット1に生じた角速度及び加速度を検出して、センサ情報として出力する。
The
入力部17は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
The
The
The
The
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。
A
図3は、本発明の一実施形態に係る撮像装置2及び携帯端末3のハードウェアの構成を示すブロック図である。
撮像装置2は、例えば、デジタルカメラとして構成される。
FIG. 3 is a block diagram illustrating a hardware configuration of the
The
撮像装置2は、図3に示すように、(センサ部16を除く)CPU11乃至ドライブ21に加えて、さらに、撮像部22を備える。なお、撮像装置2のCPU11乃至ドライブ21は、センサユニット1のCPU11乃至ドライブ21とハードウェア構成が同一であるため説明を省略する。
As shown in FIG. 3, the
撮像部22は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
Although not shown, the
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The optical lens unit is configured by a lens that collects light, for example, a focus lens or a zoom lens, in order to photograph a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length within a certain range.
The optical lens unit is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance as necessary.
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部22の出力信号として出力される。
このような撮像部22の出力信号である画像のデータは、CPU11や図示しない画像処理部等に適宜供給される。
The image sensor includes a photoelectric conversion element, AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) the subject image, accumulates the image signal for a predetermined time, and sequentially supplies the accumulated image signal as an analog signal to the AFE.
The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. Through various signal processing, a digital signal is generated and output as an output signal of the
Such image data as an output signal of the
また、携帯端末3は、例えば、スマートフォンやタブレット端末等、通信部、表示部、及びタッチパネル等の操作入力部を備えるデバイスである。
携帯端末3のCPU11乃至撮像部22は、撮像装置2のCPU11乃至撮像部22とハードウェア構成が同一であるため、説明を省略する。
Moreover, the
Since the
なお、以下において、ハードウェア構成のうち、センサユニット1、撮像装置2又は携帯端末3の別を説明するときには、センサユニット1の場合には符号の後に「−1」を付し、撮像装置2の場合には符号の後に「−2」を付し、携帯端末3の場合には符号の後に「−3」を付す。即ち、センサユニット1の場合には、CPU11−1乃至ドライブ21−1となり、撮像装置2の場合には、CPU11−2乃至撮像部22−2となり、携帯端末3の場合には、CPU11−3乃至撮像部22−3となる。
In the following description, when the sensor unit 1, the
このように構成される運動解析システムSでは、スイング動作時のセンサ情報と、録画された動画において、スイング動作における所定のタイミングにおける、センサ情報から解析される姿勢と、動画から解析される姿勢の違いを判定して、スイング動作の評価を行う。
例えば、所定のタイミングにおいて、センサ情報から腰を回転させる動きがあり、対応する動画の被験者の姿勢から、そのスイング動作が適切か否かの評価を行う。
In the motion analysis system S configured as described above, the sensor information at the time of the swing motion and the recorded video, the posture analyzed from the sensor information at the predetermined timing in the swing motion, and the posture analyzed from the video Judge the difference and evaluate the swing motion.
For example, at a predetermined timing, there is a motion of rotating the waist from the sensor information, and whether or not the swing motion is appropriate is evaluated from the posture of the subject of the corresponding moving image.
図4は、図2のセンサユニット1の機能的構成のうち、練習時取得データ送信処理を実行するための機能的構成を示す機能ブロック図である。
練習時取得データ送信処理とは、センサユニット1において、練習時にセンサ情報を取得し、センサユニット1のRTC回路111−1の値と撮像装置2から取得したRTC回路111−2の値との差分を計測して、この差分値を携帯端末3に送信する一連の処理をいう。
FIG. 4 is a functional block diagram showing a functional configuration for executing the practice-time acquired data transmission process among the functional configurations of the sensor unit 1 of FIG.
The acquisition data transmission process at the time of practice is that the sensor unit 1 acquires sensor information at the time of practice, and the difference between the value of the RTC circuit 111-1 of the sensor unit 1 and the value of the RTC circuit 111-2 acquired from the
練習時取得データ送信処理を実行する場合には、図4に示すように、CPU11−1において、通信制御部51と、RTC差分値計測部52と、センサ情報解析部53と、が機能する。
When the practice-time acquired data transmission process is executed, as shown in FIG. 4, the
また、記憶部19−1の一領域には、RTC差分値記憶部71が設定される。
RTC差分値記憶部71には、後述する練習の開始・終了時のRTC差分値のデータが記憶される。
An RTC difference value storage unit 71 is set in one area of the storage unit 19-1.
The RTC difference value storage unit 71 stores RTC difference value data at the start / end of practice, which will be described later.
通信制御部51は、撮像装置2及び携帯端末3との間で通信を行うように通信部20−1を制御する。
The
具体的には、通信制御部51は、練習開始・終了の指示を携帯端末3から通信部20−1を介して受信したか否かを判定する。また、通信制御部51は、撮像装置2に対して、録画開始・終了コマンドを送信し、携帯端末3に対して、スイング動作と判定された区間のセンサ情報をスイング動作データとして送信し、携帯端末3に対して、RTC差分値記憶部71に記憶される開始・終了時のRTC差分値を送信するように通信部20−1を制御する。
Specifically, the
RTC差分値計測部52は、取得したセンサユニット1のRTC回路111−1の値と、受信した撮像装置2のRTC回路111−2の値を比較して、スイングの練習開始時と終了時とのRTC差分値を計測する。
The RTC difference
具体的には、RTC差分値計測部52は、練習の開始時と終了時とのRTC差分値を計測する。また、RTC差分値計測部52は、計測した開始と終了時とのRTC差分値をRTC差分値記憶部71に記憶させる。
Specifically, the RTC difference
センサ情報解析部53は、センサ部16−1から取得したセンサ情報を解析する。詳細には、センサ情報解析部53は、センサ部16−1から逐次取得されるセンサ情報を解析して、スイングの開始時点(アドレス状態)や、スイング動作であることを解析により特定する。
The sensor
具体的には、センサ情報解析部53は、X軸の角度が20度以上であり、かつ、加速度の分散値がα以下である場合には、被験者の動作がアドレス状態であると判定する。また、センサ情報解析部53は、Z軸の角速度が200度/秒以上である場合には、被験者がスイング動作をしている状態であると判定する。
Specifically, the sensor
図5は、図3の携帯端末3の機能的構成のうち、データ解析処理を実行するための機能的構成を示す機能ブロック図である。
データ解析処理とは、センサ情報と、動画における所定の動作時の時刻の差分を解析して解析情報としてスイング動作の評価結果を表示する一連の処理をいう。
FIG. 5 is a functional block diagram showing a functional configuration for executing the data analysis process among the functional configurations of the
The data analysis process is a series of processes for analyzing the difference between the sensor information and the time of a predetermined motion in the moving image and displaying the evaluation result of the swing motion as analysis information.
データ解析処理を実行する場合には、図5に示すように、CPU11−3において、センサ情報解析処理部91と、映像解析処理部92と、解析情報表示処理部93と、が機能する。
When executing the data analysis processing, as shown in FIG. 5, the sensor information
また、記憶部19−3の一領域には、解析結果記憶部121が設定される。
解析結果記憶部121には、各種の解析結果のデータが記憶される。
An analysis
The analysis
センサ情報解析処理部91は、センサ情報解析処理を実行する。センサ情報解析処理では、センサ情報から、1スイングにおけるテイクバック、腰の切り返しタイミング、ハーフスイング、及び、スイング動作の終了時点を判定する。
The sensor information
具体的には、センサ情報解析処理部91は、角速度の変化に基づいて、テイクバック、腰の切り返し、ハーフスイング、及び、スイング動作の終了を判定する。テイクバックは、アドレス状態以降においてZ軸の角速度がマイナスとなったことをもって判定する。腰の切り返しは、テイクバック後にZ軸の角速度がプラスに転じたことをもって判定する。ハーフスイングは、Z軸の角速度が減少に転じたことをもって判定する。また、スイング動作の終了は、Z軸の角速度が10度/秒を下回ったことをもって判定する。
Specifically, the sensor information
映像解析処理部92は、映像解析処理を実行する。映像解析処理では、撮影された動画における各種のスイング動作の時刻等が判定される。
The video
具体的には、映像解析処理部92は、テイクバックの検出時刻前後の所定数のフレーム画像を解析対象とする。また、映像解析処理部92は、画像の下部中央付近で左に移動している被写体をクラブヘッドと認識して、移動開始時刻をテイクバックの開始時刻とする。また、映像解析処理部92は、発見したクラブヘッドの右側における丸い物体の位置を、ボール位置として特定する。また、映像解析処理部92は、クラブヘッドを追従し、クラブヘッドの移動方向が反転した場合には、クラブヘッドの移動方向が反転した時点をクラブヘッドの切り返しの時刻として判定する。また、映像解析処理部92は、検出したハーフスイング以降の画像でボールの移動が右方向である場合には、右方向にボールが移動した時点を、インパクトの時刻として判定する。
Specifically, the video
解析情報表示処理部93は、解析結果表示処理を実行する。解析結果表示処理では、センサ情報及び映像の解析結果として、所定のスイング動作時の姿勢やクラブの状況、各種の腰の角度等を表示する。
The analysis information
具体的には、解析情報表示処理部93は、各種スイング動作に対応するタイミングでのスイング動作データ及びスイング動作動画データにおける姿勢等からスイング動作の状態を評価して表示する。詳細には、解析情報表示処理部93は、スイング動作データから検出したテイクバック時刻(TBS)と、スイング動作動画データから検出したテイクバック時刻(TBM)の時間的な差分値がβ以上である場合には、「手が先行しています。」という表示を出力し、スイング動作データから検出した腰の回転の切り返し時刻(TRS)と、スイング動作動画データから検出したクラブヘッドの回転の切り返し時刻(TRM)の差分が0以上である場合には、「クラブが先行しています。」という表示を出力するように出力部18−3を制御する。また、解析情報表示処理部93は、腰の回転の切り返し時の腰の角度を算出し、算出した腰の回転の切り返し時の腰の角度をスイング動作におけるトップ時の腰角度としてその数値を表示出力するように出力部18−3を制御する。また、解析情報表示処理部93は、インパクト時の腰の角度を算出し、これをインパクト時の腰角度として数値を表示出力するように出力部18−3を制御する。
Specifically, the analysis information
図6は、運動解析システムSにおける運動解析に係る処理のやり取りを示すタイミングチャートである。 FIG. 6 is a timing chart showing the exchange of processing related to motion analysis in the motion analysis system S.
運動解析システムSでは、図7に示すように、練習開始に伴い、まず、携帯端末3からセンサユニット1及び撮像装置2に対して、開始コマンドを送信する。
In the motion analysis system S, as shown in FIG. 7, first, a start command is transmitted from the
開始コマンドを受けた撮像装置2では、自機のRTCを取得し、センサユニット1に送信する。
同じく開始コマンドを受けたセンサユニット1では、RTC回路111−1の値を取得し、撮像装置2から取得したRTC回路111−2の値との差分値(開始時のRTC差分値)のデータを計測する。また、センサユニット1では、開始コマンドを受けたことを契機にセンシングを開始する。
Upon receiving the start command, the
Similarly, in the sensor unit 1 that has received the start command, the value of the RTC circuit 111-1 is acquired, and the data of the difference value (the RTC difference value at the start) from the value of the RTC circuit 111-2 acquired from the
次に、センサユニット1では、センシングの結果、スイング動作の開始を検出した場合には、録画開始コマンドを撮像装置2に送信する。録画開始コマンドを受信した撮像装置2では録画を開始する。
Next, in the sensor unit 1, when the start of the swing motion is detected as a result of sensing, a recording start command is transmitted to the
また、センサユニット1では、スイング動作の終了を検出した場合には、録画終了コマンドを撮像装置2に送信する。録画終了コマンドを受信した撮像装置2では、録画を終了する。
The sensor unit 1 transmits a recording end command to the
その後、センサユニット1では、スイング動作と判定した期間のセンサ情報をスイング動作データとして携帯端末3に送信する。また、撮像装置2では、録画した動画データをスイング動作動画データとして携帯端末3に送信する。尚、これらの録画に関する処理は、練習中、スイングが行われる毎に繰り返し実行される。
Thereafter, the sensor unit 1 transmits the sensor information of the period determined as the swing motion to the
練習が終了した場合には、携帯端末3からセンサユニット1及び撮像装置2に対して、終了コマンドを送信する。
When the practice ends, an end command is transmitted from the
終了コマンドを受けた撮像装置2では、RTC回路111−2から値を取得し、センサユニット1に送信する。
同じく終了コマンドを受けたセンサユニット1では、RTC111−1の値を取得し、撮像装置2から取得したRTC回路111−2の値との差分値(終了時のRTC差分値)のデータを計測する。そして、センサユニット1は、開始時と終了時のRTC差分値のデータを携帯端末3に送信する。
Upon receiving the end command, the
Similarly, the sensor unit 1 that has received the end command acquires the value of the RTC 111-1 and measures the data of the difference value (the RTC difference value at the end) from the value of the RTC circuit 111-2 acquired from the
その後、携帯端末3では、取得したスイング動作データ、スイング動作動画データ、及び、開始時と終了時のRTC差分値のデータに基づいて、解析が行われる。この解析は、RTCの差分値によって、スイング動作データとスイング動作動画データとの時間を一致させ、スイング動作データから解析した被験者の動きと、スイング動作動画データから検出された被験者の動きとに基づいたものなる。携帯端末3では、これらの解析の結果を、画面に表示する。
Thereafter, the
図7は、図4の機能的構成を有する図2のセンサユニット1が実行する練習時取得データ送信処理の流れを説明するフローチャートである。
練習時取得データ送信処理は、ユーザによる入力部17−1への練習時取得データ送信処理開始の操作により開始される。
FIG. 7 is a flowchart for explaining the flow of practice-time acquired data transmission processing executed by the sensor unit 1 of FIG. 2 having the functional configuration of FIG.
The practice acquisition data transmission process is started by an operation of starting the practice acquisition data transmission process to the input unit 17-1 by the user.
ステップS11において、通信制御部51は、練習開始の指示を携帯端末3から通信部20−1を介して受信したか否かを判定する。
練習開始の指示を受信していない場合には、ステップS11においてNOと判定されて、処理は待機状態となる。
練習開始の指示を受信した場合には、ステップS11においてYESと判定されて、処理はステップS12に進む。
In step S <b> 11, the
If an instruction to start practice has not been received, NO is determined in step S11, and the process enters a standby state.
If an instruction to start practice is received, YES is determined in step S11, and the process proceeds to step S12.
ステップS12において、RTC差分値計測部52は、センサユニット1のRTC回路111−1の値、及び、撮像装置2のRTC回路111−2の値を取得し、互いのRTCの値の差分値を計測する。
In step S12, the RTC difference
ステップS13において、RTC差分値計測部52は、計測した開始時のRTC差分値のデータをRTC差分値記憶部71に記憶させる。
In step S <b> 13, the RTC difference
ステップS14において、センサ情報解析部53は、X軸の角度が20度以上であり、かつ、加速度の分散値がα以下であるか否かを判定する。
X軸の角度が20度以上であり、かつ、加速度の分散値がα以下でない場合には、ステップS14においてNOと判定されて、待機状態となる。
X軸の角度が20度以上であり、かつ、加速度の分散値がα以下の場合には、ステップS14においてYESと判定されて、処理はステップS15に進む。
In step S <b> 14, the sensor
If the angle of the X axis is 20 degrees or more and the variance value of acceleration is not less than α, NO is determined in step S14 and a standby state is entered.
If the angle of the X axis is 20 degrees or more and the acceleration variance is less than or equal to α, YES is determined in step S14, and the process proceeds to step S15.
ステップS15において、センサ情報解析部53は、アドレス状態であると判定する。
In step S15, the sensor
ステップS16において、通信制御部51は、撮像装置2に対して、録画開始コマンドを送信するように通信部20−1を制御する。その結果、撮像装置2では、録画が開始される。
In step S <b> 16, the
ステップS17において、センサ情報解析部53は、Z軸の角速度が200度/秒以上であるか否かを判定する。
Z軸の角速度が200度/秒以上でない場合には、ステップS17においてNOと判定されて、待機状態となる。
Z軸の角速度が200度/秒以上の場合には、ステップS14においてYESと判定されて、処理はステップS18に進む。
In step S <b> 17, the sensor
If the Z-axis angular velocity is not 200 degrees / second or more, NO is determined in step S17, and a standby state is entered.
If the angular velocity of the Z-axis is 200 degrees / second or more, YES is determined in step S14, and the process proceeds to step S18.
ステップS18において、センサ情報解析部53は、解析対象(被験者)がスイング動作をしている状態であると判定する。
In step S18, the sensor
ステップS19において、通信制御部51は、撮像装置2に対して、録画終了コマンドを送信するように通信部20−1を制御する。その結果、撮像装置2では、録画が終了される。
In step S <b> 19, the
ステップS20において、通信制御部51は、携帯端末3に対して、スイング動作をしていると判定された期間のセンサ情報をスイング動作データとして送信するように通信部20−1を制御する。通信制御部51は、スイング動作をしている状態であると判定される毎にその際のスイング動作データを携帯端末3に送信するように通信部20−1を制御する。
In step S <b> 20, the
ステップS21において、通信制御部51は、練習終了の指示を携帯端末3から通信部20−1を介して受信したか否かを判定する。
練習終了の指示を受信していない場合には、ステップS21においてNOと判定されて、処理はステップS14に戻る。
練習終了の指示を受信した場合には、ステップS21においてYESと判定されて、処理はステップS22に進む。
In step S <b> 21, the
If an instruction to end the practice has not been received, NO is determined in step S21, and the process returns to step S14.
If an instruction to end practice is received, YES is determined in step S21, and the process proceeds to step S22.
ステップS22において、RTC差分値計測部52は、センサユニット1のRTC回路111−1の値及び撮像装置2のRTC回路111−2の値を取得し、互いのRTCの差分値を計測する。
In step S22, the RTC difference
ステップS23において、RTC差分値計測部52は、計測した終了時のRTC差分値のデータをRTC差分値記憶部71に記憶させる。
In step S <b> 23, the RTC difference
ステップS24において、通信制御部51は、携帯端末3に対して、RTC差分値記憶部71に記憶される開始時と終了時のRTC差分値のデータを送信するように通信部20−1を制御する。その後、処理はステップS11に戻る。
In step S <b> 24, the
図8は、図5の機能的構成を有する図3の携帯端末3が実行するデータ解析処理の流れを説明するフローチャートである。
データ解析処理は、ユーザによる入力部17−3へのデータ解析処理開始の操作により開始される。また、データ解析処理にあたり、携帯端末3では、センサユニット1からスイング動作データ及び開始時と終了時のRTC差分値データ、撮像装置2からスイング動作動画データを受信し、スイング動作データとスイング動作動画データにおける時刻を開始時と終了時のRTC差分値のデータによって一致させる。
FIG. 8 is a flowchart for explaining the flow of data analysis processing executed by the
The data analysis process is started by an operation for starting the data analysis process to the input unit 17-3 by the user. In the data analysis process, the
ステップS41において、センサ情報解析処理部91は、センサ情報解析処理を実行する。センサ情報解析処理の実行の結果、センサ情報において、各種のスイング動作が判定される。
In step S41, the sensor information
ステップS42において、映像解析処理部92は、映像解析処理を実行する。映像解析処理の実行の結果、各種のスイング動作の時刻等が判定される。
In step S42, the video
ステップS43において、解析情報表示処理部93は、解析結果表示処理を実行する。解析結果表示処理の実行の結果、センサ情報及び映像の解析結果として、所定のスイング動作時の姿勢やクラブの状況、各種の腰の角度等を表示する。その後、データ解析処理は終了する。
In step S43, the analysis information
図9は、データ解析処理のうち、センサ情報解析処理の流れを説明するフローチャートである。本処理の開始時点において、携帯端末3は、センサユニット1から通信部20−3を介して、スイング動作データと、RTC差分値のデータが受信された状態となっている。
FIG. 9 is a flowchart for explaining the flow of the sensor information analysis process in the data analysis process. At the start of this process, the
ステップS61において、センサ情報解析処理部91は、スイング動作データを時系列的に順次解析し、Z軸の角速度がマイナスか否かを判定する。
Z軸の角速度がマイナスでない場合には、ステップS61においてNOと判定されて、処理は待機状態となり、スイング動作データにおける次の時点のデータを参照する。
Z軸の角速度がマイナスの場合には、ステップS61においてYESと判定されて、処理はステップS62に進む。
In step S61, the sensor information
If the angular velocity of the Z axis is not negative, NO is determined in step S61, the process enters a standby state, and data at the next time point in the swing motion data is referred to.
When the angular velocity of the Z axis is negative, it is determined as YES in Step S61, and the process proceeds to Step S62.
ステップS62において、センサ情報解析処理部91は、マイナスとなった時点の時刻をテイクバックのタイミングと判定する。
In step S <b> 62, the sensor information
ステップS63において、センサ情報解析処理部91は、Z軸の角速度がマイナスからプラスに転じたか否かを判定する。
Z軸の角速度がプラスに転じていない場合には、ステップS63においてNOと判定されて、処理は待機状態となり、スイング動作データにおける次の時点のデータを参照する。
Z軸の角速度がプラスに転じた場合には、ステップS63においてYESと判定されて、処理はステップS64に進む。
In step S63, the sensor information
If the angular velocity of the Z-axis does not turn positive, it is determined NO in step S63, the process enters a standby state, and the next time point data in the swing motion data is referred to.
If the Z-axis angular velocity has turned positive, it is determined YES in step S63, and the process proceeds to step S64.
ステップS64において、センサ情報解析処理部91は、Z軸の角速度がマイナスからプラスに転じた時点の時刻を腰の回転の切り返しタイミングと判定する。
In step S <b> 64, the sensor information
ステップS65において、センサ情報解析処理部91は、Z軸の角速度がプラスに転じた以降に減少に転じたか否かを判定する。
Z軸の角速度が減少に転じていない場合には、ステップS65においてNOと判定されて、処理は待機状態となり、スイング動作データにおける次の時点のデータを参照する。
Z軸の角速度が減少に転じた場合には、ステップS65においてYESと判定されて、処理はステップS66に進む。
In step S <b> 65, the sensor information
If the angular velocity of the Z-axis has not started to decrease, NO is determined in step S65, the process enters a standby state, and the data at the next time point in the swing motion data is referred to.
When the angular velocity of the Z-axis starts to decrease, YES is determined in step S65, and the process proceeds to step S66.
ステップS66において、センサ情報解析処理部91は、Z軸の角速度がプラスに転じた以降に減少に転じた時点の時刻をハーフスイングのタイミングと判定する。
In step S <b> 66, the sensor information
ステップS67において、センサ情報解析処理部91は、Z軸の角速度が10度/秒を下回ったか否かを判定する。
Z軸の角速度が10度/秒を下回っていない場合には、ステップS67においてNOと判定されて、処理は待機状態となり、スイング動作データにおける次の時点のデータを参照する。
Z軸の角速度が10度/秒を下回った場合には、ステップS67においてYESと判定されて、処理はステップS68に進む。
In step S67, the sensor information
If the angular velocity of the Z-axis is not less than 10 degrees / second, it is determined as NO in step S67, the processing enters a standby state, and the next time point data in the swing motion data is referred to.
If the angular velocity of the Z-axis is less than 10 degrees / second, YES is determined in step S67, and the process proceeds to step S68.
ステップS68において、センサ情報解析処理部91は、Z軸の角速度が10度/秒を下回った時点の時刻をスイングの終了と判定する。その後、センサ情報解析処理は終了する。
In step S68, the sensor information
図10は、データ解析処理のうち、映像解析処理の流れを説明するフローチャートである。本処理の開始時点において、携帯端末3は、センサユニット1から通信部20−3を介して、スイング動作動画データが受信された状態となっている。
FIG. 10 is a flowchart for explaining the flow of the video analysis process in the data analysis process. At the start of this process, the
ステップS81において、映像解析処理部92は、対応するスイング動作データから判定されたテイクバックのタイミングに一致する時刻の前後の所定数のフレーム画像を解析対象とする。
In step S81, the video
ステップS82において、映像解析処理部92は、画像の下部中央付近で左方向に移動する被写体を探索する。
In step S82, the video
ステップS83において、映像解析処理部92は、画像の下部中央付近で左方向に移動する被写体を発見したか否かを判定する。
画像の下部中央付近で左に移動する被写体を発見していない場合には、ステップS83においてNOと判定されて処理は、ステップS82に戻る。
画像の下部中央付近で左に移動する被写体を発見した場合には、ステップS83においてYESと判定されて処理は、ステップS84に進む。
In step S83, the video
If no subject moving to the left near the lower center of the image has been found, NO is determined in step S83, and the process returns to step S82.
If a subject that moves to the left near the lower center of the image is found, YES is determined in the step S83, and the process proceeds to a step S84.
ステップS84において、映像解析処理部92は、移動している被写体をクラブヘッドと認識し、移動を開始した時刻をテイクバックの開始時刻と判定する。
In step S84, the video
ステップS85において、映像解析処理部92は、クラブヘッドの右側で丸い物体を探索する。
In step S85, the video
ステップS86において、映像解析処理部92は、クラブヘッドの右側で丸い物体を発見したか否かを判定する。
クラブヘッドの右側で丸い物体を発見していない場合には、ステップS86においてNOと判定されて処理は、ステップS85に戻る。
クラブヘッドの右側で丸い物体を発見した場合には、ステップS86においてYESと判定されて処理は、ステップS87に進む。
In step S86, the video
If no round object has been found on the right side of the club head, NO is determined in step S86, and the process returns to step S85.
If a round object is found on the right side of the club head, YES is determined in the step S86, and the process proceeds to a step S87.
ステップS87において、映像解析処理部92は、発見したクラブヘッドの右側における丸い物体の位置を、ボール位置と判定する。
In step S87, the video
ステップS88において、映像解析処理部92は、クラブヘッドを追従する。
In step S88, the video
ステップS89において、映像解析処理部92は、クラブヘッドの移動方向が反転したか否かを判定する。
クラブヘッドの移動方向が反転していない場合には、ステップS89においてNOと判定されて処理は、ステップS88に戻る。
クラブヘッドの移動方向が反転した場合には、ステップS89においてYESと判定されて処理は、ステップS90に進む。
In step S89, the video
When the moving direction of the club head is not reversed, it is determined as NO in Step S89, and the process returns to Step S88.
When the moving direction of the club head is reversed, it is determined as YES in Step S89, and the process proceeds to Step S90.
ステップS90において、映像解析処理部92は、クラブヘッドの移動方向が反転した時点をクラブヘッドの切り返しの時点の時刻と判定する。
In step S90, the video
ステップS91において、映像解析処理部92は、ハーフスイング以降の画像でボールの移動を検出する。
In step S91, the video
ステップS92において、映像解析処理部92は、ボールの移動が右方向であるか否かを判定する。
ボールの移動が右方向でない場合には、ステップS92においてNOと判定されて処理は、ステップS91に戻る。
ボールの移動が右方向の場合には、ステップS92においてYESと判定されて処理は、ステップS93に進む。
In step S92, the video
When the movement of the ball is not rightward, it is determined as NO in Step S92, and the process returns to Step S91.
When the movement of the ball is rightward, it is determined as YES in Step S92, and the process proceeds to Step S93.
ステップS93において、映像解析処理部92は、右方向にボールが移動した時点を、インパクトの時刻と判定する。その後、映像解析処理は終了する。
In step S93, the video
図11は、データ解析処理のうち、解析結果表示処理の流れを説明するフローチャートである。
ステップS111において、解析情報表示処理部93は、センサ情報から判定したテイクバック時刻(TBS)と、動画から判定したテイクバック時刻(TBM)と、を比較する。
FIG. 11 is a flowchart for explaining the flow of the analysis result display process in the data analysis process.
In step S111, the analysis information
ステップS112において、解析情報表示処理部93は、スイング動作データから判定したテイクバック時刻(TBS)と、スイング動作動画データから検出したテイクバック時刻(TBM)の差分がβ以上であるか否かを判定する。なお、βは、理想的なスイングにおけるスイング動作データとスイング動作動画データとを解析した結果に割り出される閾値である。スイング動作データから判定したテイクバック時刻(TBS)と、スイング動作動画データから判定したテイクバック時刻(TBM)の差分がβ以上でない場合には、ステップS112においてNOと判定されて、処理はステップS114に進む。
スイング動作データから判定したテイクバック時刻(TBS)と、スイング動作動画データから判定したテイクバック時刻(TBM)の差分がβ以上の場合には、ステップS112においてYESと判定されて、処理はステップS113に進む。
In step S112, the analysis information
If the difference between the takeback time (TBS) determined from the swing motion data and the takeback time (TBM) determined from the swing motion video data is equal to or larger than β, YES is determined in step S112, and the processing is performed in step S113. Proceed to
ステップS113において、解析情報表示処理部93は、クラブよりも手が先に動いている旨のスイングの状況として「手が先行しています。」という表示を出力するように出力部18−3を制御する。
In step S113, the analysis information
ステップS114において、解析情報表示処理部93は、スイング動作データとスイング動作動画データそれぞれについて、腰の回転の切り返し時の腰の角度を算出する。
In step S <b> 114, the analysis information
ステップS115において、解析情報表示処理部93は、算出した腰の回転の切り返し時の腰の角度を、トップ時の腰の角度として数値を出力するように出力部18−3を制御する。
In step S115, the analysis information
ステップS116において、解析情報表示処理部93は、スイング動作データから判定した腰切り返し時刻(TRS)と、動画から判定したクラブヘッドの切り返し時刻(TRM)の差分を算出する。
In step S116, the analysis information
ステップS117において、解析情報表示処理部93は、スイング動作データから判定した腰の回転時の切り返し時刻(TRS)と、スイング動作動画データから判定したクラブヘッドの回転の切り返し時刻(TRM)の差分値が0以上であるか否かを判定する。
スイング動作データから判定した腰の回転時の切り返し時刻(TRS)と、スイング動作動画データから判定したクラブヘッドの回転時の切り返し時刻(TRM)の差分が0以上でない場合には、ステップS117においてNOと判定されて、処理はステップS119に進む。
スイング動作データから判定した腰の回転時の切り返し時刻(TRS)と、スイング動作動画データから判定したクラブヘッドの回転時の切り返し時刻(TRM)の差分が0以上の場合には、ステップS117においてYESと判定されて、処理はステップS118に進む。
In step S117, the analysis information
If the difference between the turn-back time (TRS) at the hip rotation determined from the swing motion data and the turn-back time (TRM) at the time of rotation of the club head determined from the swing motion video data is not greater than or equal to 0, NO in step S117 Is determined, and the process proceeds to step S119.
If the difference between the turn-back time (TRS) during hip rotation determined from the swing motion data and the turn-back time (TRM) during club head rotation determined from the swing motion video data is greater than or equal to 0, YES in step S117 Is determined, and the process proceeds to step S118.
ステップS118において、解析情報表示処理部93は、回転時における腰の切り返しと同じく回転時のクラブヘッドの切り返しが同時タイミングであることがよいとされる状態下において、クラブヘッドの移動が早い旨のスイングの状況として「クラブが先行しています。」という表示を出力するように出力部18−3を制御する。
In step S118, the analysis information
ステップS119において、解析情報表示処理部93は、スイング動作データとスイング動作動画データそれぞれについて、インパクト時の腰の回転の角度を算出する。
In step S119, the analysis information
ステップS120において、解析情報表示処理部93は、算出したインパクト時の腰の角度を、インパクト時の腰角度として数値を出力するように出力部18−3を制御する。なお、各種算出等した解析結果のデータは、解析結果記憶部121に記憶される。
その後、解析結果表示処理は、終了する。
In step S120, the analysis information
Thereafter, the analysis result display process ends.
以上のように構成される携帯端末3は、センサ情報解析処理部91と、映像解析処理部92と、解析情報表示処理部93と、を備える。
映像解析処理部92は、被験者に付けられ、被験者の所定の運動を記録した動画を取得するように通信部20−3を制御する。
センサ情報解析処理部91は、被験者の所定の運動時の姿勢の変化を取得するように通信部20−3を制御する。
解析情報表示処理部93は、センサ情報解析処理部91によって取得された動画と、映像解析処理部92によって取得された姿勢の変化と、を用いて、所定の運動の状態について評価する。
これにより、携帯端末3においては、ユーザに不便を強いることなく、より正確にスイング評価を行うことができる。
The
The video
The sensor information
The analysis information
Thereby, in the
解析情報表示処理部93は、映像解析処理部92によって取得された動画と、センサ情報解析処理部91によって取得された姿勢の変化との取得時間が一致するように調整する。
また、解析情報表示処理部93は、調整された結果と、予め用意された理想とする時間経過を伴った所定の運動と、を比較する。
また、解析情報表示処理部93は、比較結果を用いて、所定の運動の状態について評価する。
これにより、携帯端末3においては、より正確にスイング評価を行うことができる。
The analysis information
Further, the analysis information
Further, the analysis information
Thereby, in the
また、センサユニット1は、RTC差分値計測部52を備える。
RTC差分値計測部52は、撮像装置2から所定の運動の記録の開始又は終了の少なくとも何れかの時点の時刻情報を取得する。
RTC差分値計測部52は、センサ部16−1から所定の運動時の姿勢の変化の開始又は終了の少なくとも何れかの時点の時刻情報を取得する。
RTC差分値計測部52は、記録の開始の時点の時刻情報と取得した場合は取得した変化の開始時点の時刻情報との、記録の終了の時点の時刻情報と取得した場合は取得した変化の終了時点の時刻情報との差分値を取得する。
RTC差分値計測部52は、差分値取得手段によって取得された差分値を用いて双方の取得時間が一致するよう調整する。
これにより、携帯端末3においては、より正確にスイング評価を行うことができる。
The sensor unit 1 includes an RTC difference
The RTC difference
The RTC difference
The RTC difference
The RTC difference
Thereby, in the
映像解析処理部92は、取得された所定の運動を記録した動画から、当該所定の運動における複数の時点の姿勢を特定するとともに、それらの姿勢を検知した時刻情報をセンサユニット1から取得する。
センサ情報解析処理部91は、取得された所定の運動の姿勢から、所定の運動における複数の時点の姿勢を特定するとともに、それらの姿勢を検知した時刻情報を取得する。
解析情報表示処理部93は、特定された所定の運動における複数の時点の姿勢と、特定された時刻情報と、に基づいて、所定の運動の状態について評価する。
これにより、携帯端末3においては、より正確にスイング評価を行うことができる。
The video
The sensor information
The analysis information
Thereby, in the
また、携帯端末3は、解析情報表示処理部93による所定の運動の状態についての評価を出力する出力部18−3を、さらに備える。
これにより、携帯端末3においては、例えば、表示等でスイング評価の結果を利用することができる。
In addition, the
Thereby, in the
解析情報表示処理部93は、該携帯端末3とは別体に構成され、被験者の体幹付近に装着されるセンサユニット1から、姿勢の変化を取得するように通信部20−3を制御する。
これにより、携帯端末3においては、被験者の体幹部での姿勢変化を取得することができる。
The analysis information
Thereby, in the
また、携帯端末3は、センサユニット1と、当該携帯端末3とを無線接続する通信部20−3を、さらに備える。
これにより、携帯端末3においては、センサユニット1との間で無線接続を行うことができ、ユーザに不便を強いることなく、より正確にスイング評価を行うことができる。
The
Thereby, in the
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.
上述の実施形態では、RTCの差分をセンサユニット1で計測するように構成したが、携帯端末3で行うように構成してもよい。センサユニット1はセンシングだけを行って、センシング結果及び開始・終了時のRTCを携帯端末3に送信するように構成してもよい。
In the above-described embodiment, the RTC difference is measured by the sensor unit 1, but may be configured by the
また、上述の実施形態では、テイクバック時刻(TBS)と、映像から検出したテイクバック時刻(TBM)の差分がα以上である場合には、「手が先行しています。」という適切ではない旨の表示を出力するように構成したが、適切だった場合に、その旨を表示するように構成してもよい。また、不適切であった場合に、適切となるようなアナウンスを行うようにしてもよい。
また、表示出力にかかわらず、音声出力等の各種出力を行うように構成してもよい。
In the above-described embodiment, if the difference between the takeback time (TBS) and the takeback time (TBM) detected from the video is greater than or equal to α, it is not appropriate that “the hand is ahead”. Although it is configured to output a display to that effect, it may be configured to display that when appropriate. In addition, when it is inappropriate, an announcement may be made as appropriate.
Moreover, you may comprise so that various outputs, such as an audio | voice output, may be performed irrespective of a display output.
また、上述の実施形態では、センシングした姿勢の情報と、映像から割り出せる姿勢の情報とを比較して、所定のスイング動作でのセンシングした姿勢と、映像から割り出せる姿勢又は、所定の姿勢でのセンシング結果と映像でのズレから、事前に設定した所定の状態との対比からスイングの評価を行うように構成した。事前に設定した所定の状態は、理想的なスイングの解析結果であり、種々のスイング方法等があるため、ユーザ自身が所望する状態を事前に設定するように構成してもよいし、スイング方法別にユーザが選択するように構成してもよい。また、比較対象についても種々選択可能に構成してもよい。 In the above-described embodiment, the sensed posture information is compared with the posture information that can be determined from the video, and the sensed posture in the predetermined swing motion and the posture that can be calculated from the video, or sensing in the predetermined posture Based on the difference between the result and the video, the swing is evaluated from a comparison with a predetermined state set in advance. The predetermined state set in advance is an analysis result of an ideal swing, and there are various swing methods. Therefore, the user may set a desired state in advance, or the swing method Alternatively, the user may make a selection. In addition, various comparison targets may be selected.
また、上述の実施形態では、データ解析を携帯端末3で行うように構成したが、外部サーバ等で行うように構成してもよい。この場合、携帯端末3では解析結果の表示のみ行う。
Moreover, in the above-mentioned embodiment, although it comprised so that data analysis might be performed with the
また、上述の実施形態では、本発明が適用される撮像装置2及び携帯端末3は、デジタルカメラ及びスマートフォンを例として説明したが、特にこれに限定されない。
例えば、本発明は、練習時取得データ送信処理及びデータ解析処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートウォッチ、ポータブルゲーム機等に適用可能である。
In the above-described embodiment, the
For example, the present invention can be applied to general electronic devices having a practice-time acquired data transmission process and a data analysis process function. Specifically, for example, the present invention is applicable to a notebook personal computer, a printer, a television receiver, a video camera, a portable navigation device, a mobile phone, a smart watch, a portable game machine, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図4及び図5の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が携帯端末3に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図4及び図5の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configurations of FIGS. 4 and 5 are merely examples, and are not particularly limited. That is, it is sufficient that the
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
The functional configuration in the present embodiment is realized by a processor that executes arithmetic processing, and the processor that can be used in the present embodiment is configured by various processing devices such as a single processor, a multiprocessor, and a multicore processor. In addition to the above, these various processing apparatuses and a combination of processing circuits such as ASIC (Application Specific Integrated Circuit) and FPGA (Field-Programmable Gate Array) are included.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図2及び図3のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図2及び図3のROM12や、図2及び図3の記憶部19に含まれるハードディスク等で構成される。
The recording medium including such a program is not only configured by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。
In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
Further, in the present specification, the term “system” means an overall device configured by a plurality of devices, a plurality of means, and the like.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalent scope thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
被験者の所定の運動を記録した動画を取得する動画取得手段と、
前記被験者に付けられ、前記被験者の所定の運動時の姿勢の変化を取得する変化取得手段と、
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価手段と、
を備えることを特徴とする運動解析装置。
[付記2]
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化との取得時間が一致するように調整する調整手段と、
前記調整手段によって調整された結果と、予め用意された理想とする時間経過を伴った前記所定の運動と、を比較する比較手段と、を更に備え、
前記評価手段は、前記比較手段による比較結果を用いて、前記所定の運動の状態について評価する、
ことを特徴とする付記1に記載の運動解析装置。
[付記3]
前記動画取得手段における、前記所定の運動の記録の開始又は終了の少なくとも何れかの時点の時刻情報を取得する第1の時刻情報取得手段と、
前記変化取得手段における、前記所定の運動時の姿勢の変化の開始又は終了の少なくとも何れかの時点の時刻情報を取得する第2の時刻情報取得手段と、
前記第1の時刻情報取得手段が記録の開始の時点の時刻情報と取得した場合は前記第2の時刻情報取得手段が取得した変化の開始時点の時刻情報との、前記第1の時刻情報取得手段が記録の終了の時点の時刻情報と取得した場合は前記第2の時刻情報取得手段が取得した変化の終了時点の時刻情報との差分値を取得する差分値取得手段と、
を更に備え、
前記調整手段は、前記差分値取得手段によって取得された差分値を用いて双方の取得時間が一致するよう調整することを特徴とする付記2記載の運動解析装置。
[付記4]
前記動画取得手段によって取得された所定の運動を記録した動画から、当該所定の運動における複数の時点の姿勢を特定するとともに、それらの姿勢を検知した時刻情報を前記第1の時刻情報取得手段から取得する第1の検知時刻情報取得手段と、
前記変化取得手段によって取得された前記所定の運動の姿勢から、前記所定の運動における複数の時点の姿勢を特定するとともに、それらの姿勢を検知した時刻情報を前記第2の時刻情報取得手段から取得する第2の検知時刻情報取得手段と、
を更に備え、
前記評価手段は、前記特定された前記所定の運動における複数の時点の姿勢と、前記第1の検知時刻情報取得手段により特定された時刻情報と、前記第2の検知時刻情報取得手段により特定された時刻情報と、に基づいて、前記所定の運動の状態について評価することを特徴とする付記3に記載の運動解析装置。
[付記5]
前記評価手段による前記所定の運動の状態についての評価を出力する出力手段を、さらに備える、
ことを特徴とする付記1乃至4の何れか1つに記載の運動解析装置。
[付記6]
前記変化取得手段は、当該運動解析装置とは別体に構成され、前記被験者の体幹付近に装着されるセンサから、前記姿勢の変化を取得する、
ことを特徴とする付記1乃至5の何れか1つに記載の運動解析装置。
[付記7]
前記センサと、当該運動解析装置とを無線接続する通信手段を、さらに備える、
ことを特徴とする付記6に記載の運動解析装置。
[付記8]
被験者の所定の運動を記録した動画を取得する動画取得ステップと、
前記被験者に付けられ、前記被験者の所定の運動時の姿勢の変化を取得する変化取得ステップと、
前記動画取得ステップによって取得された前記動画と、前記変化取得ステップによって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価ステップと、
を含むことを特徴とする運動解析方法。
[付記9]
コンピュータを、
被験者の所定の運動を記録した動画を取得する動画取得手段、
前記被験者に付けられ、前記被験者の所定の運動時の姿勢の変化を取得する変化取得手段、
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価手段、
として機能させることを特徴とするプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
A video acquisition means for acquiring a video recording a predetermined movement of the subject;
Change acquisition means attached to the subject to acquire a change in posture of the subject during a predetermined movement;
An evaluation unit that evaluates the state of the predetermined motion using the moving image acquired by the moving image acquisition unit and the change in the posture acquired by the change acquisition unit;
A motion analysis apparatus comprising:
[Appendix 2]
An adjustment unit that adjusts the moving image acquired by the moving image acquisition unit and the acquisition time of the posture change acquired by the change acquisition unit so as to coincide with each other;
Comparing means for comparing the result adjusted by the adjusting means with the predetermined motion with an ideal time lapse prepared in advance,
The evaluation means evaluates the state of the predetermined movement using a comparison result by the comparison means;
The motion analysis apparatus according to Supplementary Note 1, wherein
[Appendix 3]
First time information acquisition means for acquiring time information at the time of at least one of start and end of recording of the predetermined exercise in the moving image acquisition means;
Second time information acquisition means for acquiring time information at the time of at least one of the start and end of the change in posture during the predetermined exercise in the change acquisition means;
When the first time information acquisition means acquires the time information at the start of recording and the time information at the start time of the change acquired by the second time information acquisition means, the first time information acquisition A difference value acquisition unit that acquires a difference value between the time information at the end of recording and the time information at the end of change acquired by the second time information acquisition unit,
Further comprising
The motion analysis apparatus according to
[Appendix 4]
From the moving image recording the predetermined motion acquired by the moving image acquisition means, the postures at a plurality of time points in the predetermined motion are specified, and the time information at which these postures are detected is obtained from the first time information acquisition means. First detection time information acquisition means for acquiring;
From the posture of the predetermined motion acquired by the change acquisition unit, the postures at a plurality of time points in the predetermined motion are specified, and time information at which these postures are detected is acquired from the second time information acquisition unit. Second detection time information acquisition means for
Further comprising
The evaluation means is specified by postures at a plurality of time points in the specified predetermined movement, time information specified by the first detection time information acquisition means, and second detection time information acquisition means. The motion analysis apparatus according to
[Appendix 5]
An output unit that outputs an evaluation of the state of the predetermined motion by the evaluation unit;
The motion analysis apparatus according to any one of appendices 1 to 4, wherein
[Appendix 6]
The change acquisition means is configured separately from the motion analysis device, and acquires the change in posture from a sensor attached near the trunk of the subject.
The motion analysis apparatus according to any one of appendices 1 to 5, characterized in that:
[Appendix 7]
A communication means for wirelessly connecting the sensor and the motion analysis device;
The motion analysis apparatus according to appendix 6, wherein:
[Appendix 8]
A video acquisition step of acquiring a video recording a predetermined movement of the subject;
A change acquisition step that is attached to the subject and acquires a change in posture of the subject during a predetermined movement;
An evaluation step for evaluating the state of the predetermined motion using the moving image acquired by the moving image acquisition step and the change in the posture acquired by the change acquisition step;
A motion analysis method comprising:
[Appendix 9]
Computer
Movie acquisition means for acquiring a movie recording a predetermined movement of the subject,
Change acquisition means attached to the subject for acquiring a change in posture of the subject during a predetermined movement;
An evaluation unit that evaluates the state of the predetermined motion using the moving image acquired by the moving image acquisition unit and the change in posture acquired by the change acquisition unit;
A program characterized by functioning as
1・・・センサユニット,2・・・撮像装置・・・,3・・・携帯端末,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・センサ部,17・・・入力部,18・・・出力部,19・・・記憶部,20・・・通信部,21・・・ドライブ,22・・・撮像部,31・・・リムーバブルメディア,51・・・通信制御部,52・・・RTC差分値計測部,53・・・センサ情報解析部,71・・・RTC差分値記憶部,91・・・センサ情報解析処理部,92・・・映像解析処理部,93・・・解析結果表示処理部,111・・・RTC回路,121・・・解析結果記憶部,S・・・運動解析システム DESCRIPTION OF SYMBOLS 1 ... Sensor unit, 2 ... Imaging device ..., 3 ... Portable terminal, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... Bus, 15. ..I / O interface, 16 ... sensor unit, 17 ... input unit, 18 ... output unit, 19 ... storage unit, 20 ... communication unit, 21 ... drive, 22 ... Image pick-up unit, 31 ... removable media, 51 ... communication control unit, 52 ... RTC difference value measurement unit, 53 ... sensor information analysis unit, 71 ... RTC difference value storage unit, 91 ..Sensor information analysis processing unit, 92... Video analysis processing unit, 93... Analysis result display processing unit, 111... RTC circuit, 121.
Claims (9)
前記被験者に付けられ、前記被験者の所定の運動時の姿勢の変化を取得する変化取得手段と、
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価手段と、
を備えることを特徴とする運動解析装置。 A video acquisition means for acquiring a video recording a predetermined movement of the subject;
Change acquisition means attached to the subject to acquire a change in posture of the subject during a predetermined movement;
An evaluation unit that evaluates the state of the predetermined motion using the moving image acquired by the moving image acquisition unit and the change in the posture acquired by the change acquisition unit;
A motion analysis apparatus comprising:
前記調整手段によって調整された結果と、予め用意された理想とする時間経過を伴った前記所定の運動と、を比較する比較手段と、を更に備え、
前記評価手段は、前記比較手段による比較結果を用いて、前記所定の運動の状態について評価する、
ことを特徴とする請求項1に記載の運動解析装置。 An adjustment unit that adjusts the moving image acquired by the moving image acquisition unit and the acquisition time of the posture change acquired by the change acquisition unit so as to coincide with each other;
Comparing means for comparing the result adjusted by the adjusting means with the predetermined motion with an ideal time lapse prepared in advance,
The evaluation means evaluates the state of the predetermined movement using a comparison result by the comparison means;
The motion analysis apparatus according to claim 1.
前記変化取得手段における、前記所定の運動時の姿勢の変化の開始又は終了の少なくとも何れかの時点の時刻情報を取得する第2の時刻情報取得手段と、
前記第1の時刻情報取得手段が記録の開始の時点の時刻情報と取得した場合は前記第2の時刻情報取得手段が取得した変化の開始時点の時刻情報との、前記第1の時刻情報取得手段が記録の終了の時点の時刻情報と取得した場合は前記第2の時刻情報取得手段が取得した変化の終了時点の時刻情報との差分値を取得する差分値取得手段と、
を更に備え、
前記調整手段は、前記差分値取得手段によって取得された差分値を用いて双方の取得時間が一致するよう調整することを特徴とする請求項2記載の運動解析装置。 First time information acquisition means for acquiring time information at the time of at least one of start and end of recording of the predetermined exercise in the moving image acquisition means;
Second time information acquisition means for acquiring time information at the time of at least one of the start and end of the change in posture during the predetermined exercise in the change acquisition means;
When the first time information acquisition means acquires the time information at the start of recording and the time information at the start time of the change acquired by the second time information acquisition means, the first time information acquisition A difference value acquisition unit that acquires a difference value between the time information at the end of recording and the time information at the end of change acquired by the second time information acquisition unit,
Further comprising
The motion analysis apparatus according to claim 2, wherein the adjustment unit performs adjustment so that both acquisition times coincide using the difference value acquired by the difference value acquisition unit.
前記変化取得手段によって取得された前記所定の運動の姿勢から、前記所定の運動における複数の時点の姿勢を特定するとともに、それらの姿勢を検知した時刻情報を前記第2の時刻情報取得手段から取得する第2の検知時刻情報取得手段と、
を更に備え、
前記評価手段は、前記特定された前記所定の運動における複数の時点の姿勢と、前記第1の検知時刻情報取得手段により特定された時刻情報と、前記第2の検知時刻情報取得手段により特定された時刻情報と、に基づいて、前記所定の運動の状態について評価することを特徴とする請求項3に記載の運動解析装置。 From the moving image recording the predetermined motion acquired by the moving image acquisition means, the postures at a plurality of time points in the predetermined motion are specified, and the time information at which these postures are detected is obtained from the first time information acquisition means. First detection time information acquisition means for acquiring;
From the posture of the predetermined motion acquired by the change acquisition unit, the postures at a plurality of time points in the predetermined motion are specified, and time information at which these postures are detected is acquired from the second time information acquisition unit. Second detection time information acquisition means for
Further comprising
The evaluation means is specified by postures at a plurality of time points in the specified predetermined movement, time information specified by the first detection time information acquisition means, and second detection time information acquisition means. The motion analysis apparatus according to claim 3, wherein the predetermined motion state is evaluated based on the time information.
ことを特徴とする請求項1乃至4の何れか1項に記載の運動解析装置。 An output unit that outputs an evaluation of the state of the predetermined motion by the evaluation unit;
The motion analysis apparatus according to claim 1, wherein:
ことを特徴とする請求項1乃至5の何れか1項に記載の運動解析装置。 The change acquisition means is configured separately from the motion analysis device, and acquires the change in posture from a sensor attached near the trunk of the subject.
The motion analysis apparatus according to claim 1, wherein:
ことを特徴とする請求項6に記載の運動解析装置。 A communication means for wirelessly connecting the sensor and the motion analysis device;
The motion analysis apparatus according to claim 6.
前記被験者に付けられ、前記被験者の所定の運動時の姿勢の変化を取得する変化取得ステップと、
前記動画取得ステップによって取得された前記動画と、前記変化取得ステップによって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価ステップと、
を含むことを特徴とする運動解析方法。 A video acquisition step of acquiring a video recording a predetermined movement of the subject;
A change acquisition step that is attached to the subject and acquires a change in posture of the subject during a predetermined movement;
An evaluation step for evaluating the state of the predetermined motion using the moving image acquired by the moving image acquisition step and the change in the posture acquired by the change acquisition step;
A motion analysis method comprising:
被験者の所定の運動を記録した動画を取得する動画取得手段、
前記被験者に付けられ、前記被験者の所定の運動時の姿勢の変化を取得する変化取得手段、
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価手段、
として機能させることを特徴とするプログラム。 Computer
Movie acquisition means for acquiring a movie recording a predetermined movement of the subject,
Change acquisition means attached to the subject for acquiring a change in posture of the subject during a predetermined movement;
An evaluation unit that evaluates the state of the predetermined motion using the moving image acquired by the moving image acquisition unit and the change in posture acquired by the change acquisition unit;
A program characterized by functioning as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016247840A JP6878874B2 (en) | 2016-12-21 | 2016-12-21 | Motion analysis device, motion analysis method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016247840A JP6878874B2 (en) | 2016-12-21 | 2016-12-21 | Motion analysis device, motion analysis method and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018099416A true JP2018099416A (en) | 2018-06-28 |
JP2018099416A5 JP2018099416A5 (en) | 2020-02-06 |
JP6878874B2 JP6878874B2 (en) | 2021-06-02 |
Family
ID=62714685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016247840A Active JP6878874B2 (en) | 2016-12-21 | 2016-12-21 | Motion analysis device, motion analysis method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6878874B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110354480A (en) * | 2019-07-26 | 2019-10-22 | 南京邮电大学 | A kind of golf swing scoring estimation method compared based on posture |
WO2022158923A1 (en) * | 2021-01-25 | 2022-07-28 | 삼성전자 주식회사 | Electronic device and service provision method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005110850A (en) * | 2003-10-06 | 2005-04-28 | Hitachi Metals Ltd | Body movement evaluating method, swing motion evaluating method, and body movement measuring system |
US20050223799A1 (en) * | 2004-03-31 | 2005-10-13 | Brian Murphy | System and method for motion capture and analysis |
US20100234769A1 (en) * | 2009-03-11 | 2010-09-16 | GFXCoach LLC | Sports training system |
JP2015126812A (en) * | 2013-12-27 | 2015-07-09 | カシオ計算機株式会社 | Information processing device, information processing method, and program |
JP2015139562A (en) * | 2014-01-29 | 2015-08-03 | 横浜ゴム株式会社 | Swing measurement method and swing measurement device |
JP2016036681A (en) * | 2014-08-11 | 2016-03-22 | セイコーエプソン株式会社 | Motion analysis method, motion analysis device, motion analysis system, and program |
JP2016158702A (en) * | 2015-02-27 | 2016-09-05 | セイコーエプソン株式会社 | Three-dimensional image processing system, three-dimensional image processing device, and three-dimensional image processing method |
-
2016
- 2016-12-21 JP JP2016247840A patent/JP6878874B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005110850A (en) * | 2003-10-06 | 2005-04-28 | Hitachi Metals Ltd | Body movement evaluating method, swing motion evaluating method, and body movement measuring system |
US20050223799A1 (en) * | 2004-03-31 | 2005-10-13 | Brian Murphy | System and method for motion capture and analysis |
US20100234769A1 (en) * | 2009-03-11 | 2010-09-16 | GFXCoach LLC | Sports training system |
JP2015126812A (en) * | 2013-12-27 | 2015-07-09 | カシオ計算機株式会社 | Information processing device, information processing method, and program |
JP2015139562A (en) * | 2014-01-29 | 2015-08-03 | 横浜ゴム株式会社 | Swing measurement method and swing measurement device |
JP2016036681A (en) * | 2014-08-11 | 2016-03-22 | セイコーエプソン株式会社 | Motion analysis method, motion analysis device, motion analysis system, and program |
JP2016158702A (en) * | 2015-02-27 | 2016-09-05 | セイコーエプソン株式会社 | Three-dimensional image processing system, three-dimensional image processing device, and three-dimensional image processing method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110354480A (en) * | 2019-07-26 | 2019-10-22 | 南京邮电大学 | A kind of golf swing scoring estimation method compared based on posture |
WO2022158923A1 (en) * | 2021-01-25 | 2022-07-28 | 삼성전자 주식회사 | Electronic device and service provision method |
Also Published As
Publication number | Publication date |
---|---|
JP6878874B2 (en) | 2021-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10070046B2 (en) | Information processing device, recording medium, and information processing method | |
JP2012066026A (en) | Information processing device and method, and program | |
CN109120844B (en) | Image pickup control device, image pickup control method, and storage medium | |
KR102553278B1 (en) | Image processing apparatus, analysis system, method for processing images, and program | |
JP5811654B2 (en) | Image processing apparatus, image processing method, and program | |
US20160088219A1 (en) | Image capture apparatus which controls frame rate based on motion of object, information transmission apparatus, image capture control method, information transmission method, and recording medium | |
JP2020118699A (en) | Electronic apparatus, calibration control method, and program | |
JP6878874B2 (en) | Motion analysis device, motion analysis method and program | |
US11305171B2 (en) | Motion evaluation device using angular speed measured by a wearable sensor | |
JP2021165763A (en) | Information processor, method for information processing, and program | |
JP2021102075A (en) | Output device, output method, and program | |
JP2017169203A (en) | Image processing system, image processing method and program | |
KR20180073439A (en) | Information processing device, move locus information output method, and program stored in storage medium | |
US10661142B2 (en) | Movement analysis device for determining whether a time range between a start time and a completion time of a predetermined movement by a target person is valid, and movement analysis method and recording medium | |
JP2017174094A (en) | Image processing device, image processing method, and program | |
JP6702392B2 (en) | Electronic device, calibration control method and program | |
JP7188422B2 (en) | Image processing device, analysis system, image processing method and program | |
JP7069953B2 (en) | Electronic devices, partial identification methods for operation data, and programs | |
JP7134418B2 (en) | Motion analysis device, motion analysis method and program | |
JP2017060135A (en) | Electronic apparatus, subject determination system, subject determination method, and program | |
JP2018085574A (en) | Image processing apparatus, analysis system, image processing method, and program | |
JP7022327B2 (en) | Golf club discrimination device, golf club discrimination method, and golf club discrimination program | |
JP6500625B2 (en) | Detection device, detection system, detection method and program | |
JP2014045260A (en) | Image processing apparatus, image processing method and program | |
JP2016066994A (en) | Imaging device, information transmission device, imaging control method, information transmission method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191219 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210412 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6878874 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |