JP2018099416A - Motion analysis apparatus, motion analysis method and program - Google Patents

Motion analysis apparatus, motion analysis method and program Download PDF

Info

Publication number
JP2018099416A
JP2018099416A JP2016247840A JP2016247840A JP2018099416A JP 2018099416 A JP2018099416 A JP 2018099416A JP 2016247840 A JP2016247840 A JP 2016247840A JP 2016247840 A JP2016247840 A JP 2016247840A JP 2018099416 A JP2018099416 A JP 2018099416A
Authority
JP
Japan
Prior art keywords
unit
change
time information
time
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016247840A
Other languages
Japanese (ja)
Other versions
JP2018099416A5 (en
JP6878874B2 (en
Inventor
量平 山本
Ryohei Yamamoto
量平 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2016247840A priority Critical patent/JP6878874B2/en
Publication of JP2018099416A publication Critical patent/JP2018099416A/en
Publication of JP2018099416A5 publication Critical patent/JP2018099416A5/ja
Application granted granted Critical
Publication of JP6878874B2 publication Critical patent/JP6878874B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electric Clocks (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To make a swing evaluation more accurately.SOLUTION: A mobile terminal 3 includes a sensor information analysis processing unit 91, a video analysis processing unit 92, and an analysis information display processing unit 93. The video analysis processing unit 92 controls a communication unit 20-3 so as to acquire a moving image in which a predetermined motion of a subject is recorded. The sensor information analysis processing unit 91 controls the communication unit 20-3 so as to acquire a change in the posture of the subject during a predetermined motion. The analysis information display processing unit 93 evaluates the state of a predetermined motion, using the moving image acquired by the sensor information analysis processing unit 91 and the change in the posture which is acquired by the image analysis processing unit 92.SELECTED DRAWING: Figure 4

Description

本発明は、運動解析装置、運動解析方法及びプログラムに関する。   The present invention relates to a motion analysis device, a motion analysis method, and a program.

従来より、ゴルフスイングを映像によって解析する手法がさまざま開発されている。例えば、特許文献1では、対象者のクラブヘッドや手首等に取り付けたセンサによって得られた計測データから、スイング動作を評価する技術が提案されている。また、計測と同時に撮影された映像を用いて、対応するタイミングの重心移動についても表示する技術も提案されている。   Conventionally, various methods for analyzing golf swings with images have been developed. For example, Patent Document 1 proposes a technique for evaluating a swing motion from measurement data obtained by a sensor attached to a club head or a wrist of a subject. In addition, a technique has also been proposed in which the center of gravity movement at the corresponding timing is also displayed using an image taken at the same time as the measurement.

特開2009−05721号公報JP 2009-05721 A

ゴルフのスイング動作においては、体幹で起こされた運動がどのように端末に伝わっていくかが重要な要素であるが、上述する特許文献1に記載の技術では、手首やクラブヘッドといった、被験者の体幹の動きを正確にセンシングするのが困難な位置にセンサを装着するために、適切なスイングの評価を行えないという問題があった。   In golf swing motion, an important element is how the motion caused by the trunk is transmitted to the terminal. In the technique described in Patent Document 1 described above, subjects such as wrists and club heads. Since the sensor is mounted at a position where it is difficult to accurately sense the movement of the human trunk, there has been a problem that an appropriate swing cannot be evaluated.

本発明は、このような状況に鑑みてなされたものであり、より正確にスイング評価を行うことを目的とする。   The present invention has been made in view of such circumstances, and an object thereof is to perform swing evaluation more accurately.

上記目的を達成するため、本発明の一態様の運動解析装置は、
前記被験者に付けられ、被験者の所定の運動を記録した動画を取得する動画取得手段と、
前記被験者の所定の運動時の姿勢の変化を取得する変化取得手段と、
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価手段と、
を備えることを特徴とする。
In order to achieve the above object, a motion analysis apparatus according to an aspect of the present invention includes:
Movie acquisition means for acquiring a movie attached to the subject and recording a predetermined movement of the subject;
Change acquisition means for acquiring a change in posture of the subject during predetermined exercise;
An evaluation unit that evaluates the state of the predetermined motion using the moving image acquired by the moving image acquisition unit and the change in the posture acquired by the change acquisition unit;
It is characterized by providing.

本発明によれば、より正確にスイング評価を行うことができる。   According to the present invention, swing evaluation can be performed more accurately.

本発明の一実施形態に係る運動解析システムSのシステム構成を示すシステム構成図である。It is a system configuration figure showing the system configuration of motion analysis system S concerning one embodiment of the present invention. 本発明の一実施形態に係るセンサユニット1のハードウェアの構成を示すブロック図である。It is a block diagram which shows the structure of the hardware of the sensor unit 1 which concerns on one Embodiment of this invention. 本発明の一実施形態に係る撮像装置2及び携帯端末3のハードウェアの構成を示すブロック図である。It is a block diagram which shows the hardware structure of the imaging device 2 and portable terminal 3 which concern on one Embodiment of this invention. 図2のセンサユニット1の機能的構成のうち、練習時取得データ送信処理を実行するための機能的構成を示す機能ブロック図である。It is a functional block diagram which shows the functional structure for performing the acquisition data transmission process at the time of practice among the functional structures of the sensor unit 1 of FIG. 図2の撮像装置2の機能的構成のうち、データ解析処理を実行するための機能的構成を示す機能ブロック図である。It is a functional block diagram which shows the functional structure for performing a data analysis process among the functional structures of the imaging device 2 of FIG. 運動解析システムSにおける運動解析に係る処理のやり取りを示すタイミングチャートである。3 is a timing chart showing the exchange of processing related to motion analysis in the motion analysis system S. 図4の機能的構成を有する図2のセンサユニット1が実行する練習時取得データ送信処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of the acquisition data transmission process at the time of practice which the sensor unit 1 of FIG. 2 which has the functional structure of FIG. 4 performs. 図5の機能的構成を有する図3の携帯端末3が実行するデータ解析処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of the data analysis process which the portable terminal 3 of FIG. 3 which has the functional structure of FIG. 5 performs. データ解析処理のうち、センサ情報解析処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of a sensor information analysis process among data analysis processes. データ解析処理のうち、映像解析処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of a video analysis process among data analysis processes. データ解析処理のうち、解析結果表示処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of an analysis result display process among data analysis processes.

以下、本発明の実施形態について、図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明の一実施形態に係る運動解析システムSのシステム構成を示すシステム構成図である。   FIG. 1 is a system configuration diagram showing a system configuration of a motion analysis system S according to an embodiment of the present invention.

運動解析システムSは、図1(a)に示すように、センサユニット1と、撮像装置2と、携帯端末3と、を含む。
センサユニット1は、被験者Hの姿勢をセンシングするセンシング機能と、他の装置(撮像装置2及び携帯端末3)との間で通信を行う通信機能と、を有する。
撮像装置2は、被験者を撮影する撮影機能と、他の装置(センサユニット1及び携帯端末3)との間で通信を行う通信機能と、を有する。
携帯端末3は、他の装置(センサユニット1及び撮像装置2)との間で通信を行う通信機能と、センサユニット1でセンシングされたセンサ情報と、撮像装置2で撮影された動画と、を解析する解析機能と、解析結果を出力する出力機能と、を有する。
The motion analysis system S includes a sensor unit 1, an imaging device 2, and a portable terminal 3, as shown in FIG.
The sensor unit 1 has a sensing function for sensing the posture of the subject H and a communication function for performing communication with other devices (the imaging device 2 and the portable terminal 3).
The imaging device 2 has a photographing function for photographing a subject and a communication function for communicating with other devices (the sensor unit 1 and the portable terminal 3).
The mobile terminal 3 includes a communication function for communicating with other devices (the sensor unit 1 and the imaging device 2), sensor information sensed by the sensor unit 1, and a moving image photographed by the imaging device 2. It has an analysis function for analyzing and an output function for outputting the analysis result.

センサユニット1は、図1(b)に示すように、被験者Hの背中側の体幹の腰付近にベルト等を介して固定され、一連の運動(本実施形態においては、ゴルフのスイング)において、被験者Hの姿勢変化や体幹の動き等をセンシングする。   As shown in FIG. 1 (b), the sensor unit 1 is fixed to the vicinity of the waist of the trunk on the back side of the subject H via a belt or the like, and in a series of exercises (golf swing in this embodiment). Sensing subject H's posture change, trunk movement, and the like.

運動解析システムSにおいては、図1(a)に示すように、撮像装置2を、ゴルフのスイングを行う被験者Hのスイング動作全体を撮影可能な対面の位置に設置するように構成する。   In the motion analysis system S, as shown in FIG. 1A, the imaging device 2 is configured to be installed at a facing position where the entire swing motion of the subject H who performs a golf swing can be photographed.

図2は、本発明の一実施形態に係るセンサユニット1のハードウェアの構成を示すブロック図である。   FIG. 2 is a block diagram showing a hardware configuration of the sensor unit 1 according to an embodiment of the present invention.

センサユニットは、図2に示すように、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、センサ部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。   As shown in FIG. 2, the sensor unit includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a bus 14, an input / output interface 15, and a sensor unit. 16, an input unit 17, an output unit 18, a storage unit 19, a communication unit 20, and a drive 21.

CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。また、CPU11は、内部に備えるRTC(Real Time Clock)回路111によってもたらされる計時機能から現在の時刻情報を読み出し可能に構成される。   The CPU 11 executes various processes according to a program recorded in the ROM 12 or a program loaded from the storage unit 19 to the RAM 13. The CPU 11 is configured to be able to read current time information from a time measuring function provided by an RTC (Real Time Clock) circuit 111 provided therein.

RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。   The RAM 13 appropriately stores data necessary for the CPU 11 to execute various processes.

CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、センサ部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。   The CPU 11, ROM 12, and RAM 13 are connected to each other via a bus 14. An input / output interface 15 is also connected to the bus 14. A sensor unit 16, an input unit 17, an output unit 18, a storage unit 19, a communication unit 20, and a drive 21 are connected to the input / output interface 15.

センサ部16は、センサ部16−1は、ジャイロセンサ、3軸角速度センサ等の各種センサにより構成され、少なくとも、ユーザの動作に応じて当該センサユニット1に生じた角速度及び加速度を検出して、センサ情報として出力する。   The sensor unit 16 is composed of various sensors such as a gyro sensor and a triaxial angular velocity sensor, and at least detects an angular velocity and an acceleration generated in the sensor unit 1 in accordance with a user operation, Output as sensor information.

入力部17は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
The input unit 17 includes various buttons and the like, and inputs various types of information according to user instruction operations.
The output unit 18 includes a display, a speaker, and the like, and outputs images and sounds.
The storage unit 19 is composed of a hard disk, a DRAM (Dynamic Random Access Memory), or the like, and stores various image data.
The communication unit 20 controls communication performed with other devices (not shown) via a network including the Internet.

ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。   A removable medium 31 made of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached to the drive 21. The program read from the removable medium 31 by the drive 21 is installed in the storage unit 19 as necessary. The removable medium 31 can also store various data such as image data stored in the storage unit 19 in the same manner as the storage unit 19.

図3は、本発明の一実施形態に係る撮像装置2及び携帯端末3のハードウェアの構成を示すブロック図である。
撮像装置2は、例えば、デジタルカメラとして構成される。
FIG. 3 is a block diagram illustrating a hardware configuration of the imaging device 2 and the mobile terminal 3 according to an embodiment of the present invention.
The imaging device 2 is configured as a digital camera, for example.

撮像装置2は、図3に示すように、(センサ部16を除く)CPU11乃至ドライブ21に加えて、さらに、撮像部22を備える。なお、撮像装置2のCPU11乃至ドライブ21は、センサユニット1のCPU11乃至ドライブ21とハードウェア構成が同一であるため説明を省略する。   As shown in FIG. 3, the imaging device 2 further includes an imaging unit 22 in addition to the CPU 11 to the drive 21 (excluding the sensor unit 16). Note that the CPU 11 to the drive 21 of the imaging device 2 have the same hardware configuration as the CPU 11 to the drive 21 of the sensor unit 1, and thus the description thereof is omitted.

撮像部22は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。   Although not shown, the imaging unit 22 includes an optical lens unit and an image sensor.

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The optical lens unit is configured by a lens that collects light, for example, a focus lens or a zoom lens, in order to photograph a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length within a certain range.
The optical lens unit is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance as necessary.

イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部22の出力信号として出力される。
このような撮像部22の出力信号である画像のデータは、CPU11や図示しない画像処理部等に適宜供給される。
The image sensor includes a photoelectric conversion element, AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) the subject image, accumulates the image signal for a predetermined time, and sequentially supplies the accumulated image signal as an analog signal to the AFE.
The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. Through various signal processing, a digital signal is generated and output as an output signal of the imaging unit 22.
Such image data as an output signal of the imaging unit 22 is appropriately supplied to the CPU 11 or an image processing unit (not shown).

また、携帯端末3は、例えば、スマートフォンやタブレット端末等、通信部、表示部、及びタッチパネル等の操作入力部を備えるデバイスである。
携帯端末3のCPU11乃至撮像部22は、撮像装置2のCPU11乃至撮像部22とハードウェア構成が同一であるため、説明を省略する。
Moreover, the portable terminal 3 is a device provided with operation input parts, such as a communication part, a display part, and a touch panel, such as a smart phone and a tablet terminal, for example.
Since the CPU 11 to the imaging unit 22 of the portable terminal 3 have the same hardware configuration as the CPU 11 to the imaging unit 22 of the imaging device 2, description thereof is omitted.

なお、以下において、ハードウェア構成のうち、センサユニット1、撮像装置2又は携帯端末3の別を説明するときには、センサユニット1の場合には符号の後に「−1」を付し、撮像装置2の場合には符号の後に「−2」を付し、携帯端末3の場合には符号の後に「−3」を付す。即ち、センサユニット1の場合には、CPU11−1乃至ドライブ21−1となり、撮像装置2の場合には、CPU11−2乃至撮像部22−2となり、携帯端末3の場合には、CPU11−3乃至撮像部22−3となる。   In the following description, when the sensor unit 1, the imaging device 2, or the mobile terminal 3 among the hardware configurations is described, in the case of the sensor unit 1, “−1” is added after the reference numeral, and the imaging device 2 In the case of, “−2” is added after the code, and in the case of the mobile terminal 3, “−3” is added after the code. That is, in the case of the sensor unit 1, the CPU 11-1 to the drive 21-1, in the case of the imaging device 2, the CPU 11-2 to the imaging unit 22-2, and in the case of the portable terminal 3, the CPU 11-3. Or the imaging unit 22-3.

このように構成される運動解析システムSでは、スイング動作時のセンサ情報と、録画された動画において、スイング動作における所定のタイミングにおける、センサ情報から解析される姿勢と、動画から解析される姿勢の違いを判定して、スイング動作の評価を行う。
例えば、所定のタイミングにおいて、センサ情報から腰を回転させる動きがあり、対応する動画の被験者の姿勢から、そのスイング動作が適切か否かの評価を行う。
In the motion analysis system S configured as described above, the sensor information at the time of the swing motion and the recorded video, the posture analyzed from the sensor information at the predetermined timing in the swing motion, and the posture analyzed from the video Judge the difference and evaluate the swing motion.
For example, at a predetermined timing, there is a motion of rotating the waist from the sensor information, and whether or not the swing motion is appropriate is evaluated from the posture of the subject of the corresponding moving image.

図4は、図2のセンサユニット1の機能的構成のうち、練習時取得データ送信処理を実行するための機能的構成を示す機能ブロック図である。
練習時取得データ送信処理とは、センサユニット1において、練習時にセンサ情報を取得し、センサユニット1のRTC回路111−1の値と撮像装置2から取得したRTC回路111−2の値との差分を計測して、この差分値を携帯端末3に送信する一連の処理をいう。
FIG. 4 is a functional block diagram showing a functional configuration for executing the practice-time acquired data transmission process among the functional configurations of the sensor unit 1 of FIG.
The acquisition data transmission process at the time of practice is that the sensor unit 1 acquires sensor information at the time of practice, and the difference between the value of the RTC circuit 111-1 of the sensor unit 1 and the value of the RTC circuit 111-2 acquired from the imaging device 2 And a series of processes for transmitting this difference value to the portable terminal 3.

練習時取得データ送信処理を実行する場合には、図4に示すように、CPU11−1において、通信制御部51と、RTC差分値計測部52と、センサ情報解析部53と、が機能する。   When the practice-time acquired data transmission process is executed, as shown in FIG. 4, the communication control unit 51, the RTC difference value measurement unit 52, and the sensor information analysis unit 53 function in the CPU 11-1.

また、記憶部19−1の一領域には、RTC差分値記憶部71が設定される。
RTC差分値記憶部71には、後述する練習の開始・終了時のRTC差分値のデータが記憶される。
An RTC difference value storage unit 71 is set in one area of the storage unit 19-1.
The RTC difference value storage unit 71 stores RTC difference value data at the start / end of practice, which will be described later.

通信制御部51は、撮像装置2及び携帯端末3との間で通信を行うように通信部20−1を制御する。   The communication control unit 51 controls the communication unit 20-1 so as to perform communication between the imaging device 2 and the mobile terminal 3.

具体的には、通信制御部51は、練習開始・終了の指示を携帯端末3から通信部20−1を介して受信したか否かを判定する。また、通信制御部51は、撮像装置2に対して、録画開始・終了コマンドを送信し、携帯端末3に対して、スイング動作と判定された区間のセンサ情報をスイング動作データとして送信し、携帯端末3に対して、RTC差分値記憶部71に記憶される開始・終了時のRTC差分値を送信するように通信部20−1を制御する。   Specifically, the communication control unit 51 determines whether or not a practice start / end instruction has been received from the mobile terminal 3 via the communication unit 20-1. Further, the communication control unit 51 transmits a recording start / end command to the imaging device 2, transmits sensor information of a section determined to be a swing motion to the mobile terminal 3 as swing motion data, and The communication unit 20-1 is controlled so as to transmit the RTC difference value at the start / end stored in the RTC difference value storage unit 71 to the terminal 3.

RTC差分値計測部52は、取得したセンサユニット1のRTC回路111−1の値と、受信した撮像装置2のRTC回路111−2の値を比較して、スイングの練習開始時と終了時とのRTC差分値を計測する。   The RTC difference value measuring unit 52 compares the acquired value of the RTC circuit 111-1 of the sensor unit 1 with the received value of the RTC circuit 111-2 of the imaging device 2, and at the start and end of swing practice. RTC difference value is measured.

具体的には、RTC差分値計測部52は、練習の開始時と終了時とのRTC差分値を計測する。また、RTC差分値計測部52は、計測した開始と終了時とのRTC差分値をRTC差分値記憶部71に記憶させる。   Specifically, the RTC difference value measuring unit 52 measures the RTC difference value at the start and end of the practice. Further, the RTC difference value measuring unit 52 stores the measured RTC difference value between the start time and the end time in the RTC difference value storage unit 71.

センサ情報解析部53は、センサ部16−1から取得したセンサ情報を解析する。詳細には、センサ情報解析部53は、センサ部16−1から逐次取得されるセンサ情報を解析して、スイングの開始時点(アドレス状態)や、スイング動作であることを解析により特定する。   The sensor information analysis unit 53 analyzes the sensor information acquired from the sensor unit 16-1. Specifically, the sensor information analysis unit 53 analyzes the sensor information sequentially acquired from the sensor unit 16-1, and specifies the start time (address state) of the swing and the swing operation by analysis.

具体的には、センサ情報解析部53は、X軸の角度が20度以上であり、かつ、加速度の分散値がα以下である場合には、被験者の動作がアドレス状態であると判定する。また、センサ情報解析部53は、Z軸の角速度が200度/秒以上である場合には、被験者がスイング動作をしている状態であると判定する。   Specifically, the sensor information analysis unit 53 determines that the action of the subject is in the address state when the angle of the X axis is 20 degrees or more and the variance value of acceleration is α or less. In addition, when the angular velocity of the Z axis is 200 degrees / second or more, the sensor information analysis unit 53 determines that the subject is performing a swing motion.

図5は、図3の携帯端末3の機能的構成のうち、データ解析処理を実行するための機能的構成を示す機能ブロック図である。
データ解析処理とは、センサ情報と、動画における所定の動作時の時刻の差分を解析して解析情報としてスイング動作の評価結果を表示する一連の処理をいう。
FIG. 5 is a functional block diagram showing a functional configuration for executing the data analysis process among the functional configurations of the mobile terminal 3 of FIG.
The data analysis process is a series of processes for analyzing the difference between the sensor information and the time of a predetermined motion in the moving image and displaying the evaluation result of the swing motion as analysis information.

データ解析処理を実行する場合には、図5に示すように、CPU11−3において、センサ情報解析処理部91と、映像解析処理部92と、解析情報表示処理部93と、が機能する。   When executing the data analysis processing, as shown in FIG. 5, the sensor information analysis processing unit 91, the video analysis processing unit 92, and the analysis information display processing unit 93 function in the CPU 11-3.

また、記憶部19−3の一領域には、解析結果記憶部121が設定される。
解析結果記憶部121には、各種の解析結果のデータが記憶される。
An analysis result storage unit 121 is set in one area of the storage unit 19-3.
The analysis result storage unit 121 stores data of various analysis results.

センサ情報解析処理部91は、センサ情報解析処理を実行する。センサ情報解析処理では、センサ情報から、1スイングにおけるテイクバック、腰の切り返しタイミング、ハーフスイング、及び、スイング動作の終了時点を判定する。   The sensor information analysis processing unit 91 executes sensor information analysis processing. In the sensor information analysis process, a takeback in one swing, a hip turning timing, a half swing, and an end point of the swing operation are determined from the sensor information.

具体的には、センサ情報解析処理部91は、角速度の変化に基づいて、テイクバック、腰の切り返し、ハーフスイング、及び、スイング動作の終了を判定する。テイクバックは、アドレス状態以降においてZ軸の角速度がマイナスとなったことをもって判定する。腰の切り返しは、テイクバック後にZ軸の角速度がプラスに転じたことをもって判定する。ハーフスイングは、Z軸の角速度が減少に転じたことをもって判定する。また、スイング動作の終了は、Z軸の角速度が10度/秒を下回ったことをもって判定する。   Specifically, the sensor information analysis processing unit 91 determines the end of takeback, hip turn-back, half swing, and swing motion based on the change in angular velocity. Takeback is determined when the angular velocity of the Z axis becomes negative after the address state. Waist turning is determined when the Z-axis angular velocity turns positive after takeback. Half swing is determined when the angular velocity of the Z-axis starts to decrease. Further, the end of the swing motion is determined when the angular velocity of the Z axis falls below 10 degrees / second.

映像解析処理部92は、映像解析処理を実行する。映像解析処理では、撮影された動画における各種のスイング動作の時刻等が判定される。   The video analysis processing unit 92 executes video analysis processing. In the video analysis process, the time of various swing operations in the captured video is determined.

具体的には、映像解析処理部92は、テイクバックの検出時刻前後の所定数のフレーム画像を解析対象とする。また、映像解析処理部92は、画像の下部中央付近で左に移動している被写体をクラブヘッドと認識して、移動開始時刻をテイクバックの開始時刻とする。また、映像解析処理部92は、発見したクラブヘッドの右側における丸い物体の位置を、ボール位置として特定する。また、映像解析処理部92は、クラブヘッドを追従し、クラブヘッドの移動方向が反転した場合には、クラブヘッドの移動方向が反転した時点をクラブヘッドの切り返しの時刻として判定する。また、映像解析処理部92は、検出したハーフスイング以降の画像でボールの移動が右方向である場合には、右方向にボールが移動した時点を、インパクトの時刻として判定する。   Specifically, the video analysis processing unit 92 sets a predetermined number of frame images before and after the takeback detection time as analysis targets. Further, the video analysis processing unit 92 recognizes the subject moving to the left near the lower center of the image as the club head, and sets the movement start time as the takeback start time. Also, the video analysis processing unit 92 specifies the position of the round object on the right side of the found club head as the ball position. Further, when the club head follows the club head and the moving direction of the club head is reversed, the video analysis processing unit 92 determines the time when the moving direction of the club head is reversed as the club head turning time. Further, when the movement of the ball is in the right direction in the detected image after the half swing, the video analysis processing unit 92 determines the time when the ball has moved in the right direction as the time of impact.

解析情報表示処理部93は、解析結果表示処理を実行する。解析結果表示処理では、センサ情報及び映像の解析結果として、所定のスイング動作時の姿勢やクラブの状況、各種の腰の角度等を表示する。   The analysis information display processing unit 93 executes analysis result display processing. In the analysis result display process, as the sensor information and the analysis result of the video, the posture at the time of a predetermined swing operation, the state of the club, various hip angles, and the like are displayed.

具体的には、解析情報表示処理部93は、各種スイング動作に対応するタイミングでのスイング動作データ及びスイング動作動画データにおける姿勢等からスイング動作の状態を評価して表示する。詳細には、解析情報表示処理部93は、スイング動作データから検出したテイクバック時刻(TBS)と、スイング動作動画データから検出したテイクバック時刻(TBM)の時間的な差分値がβ以上である場合には、「手が先行しています。」という表示を出力し、スイング動作データから検出した腰の回転の切り返し時刻(TRS)と、スイング動作動画データから検出したクラブヘッドの回転の切り返し時刻(TRM)の差分が0以上である場合には、「クラブが先行しています。」という表示を出力するように出力部18−3を制御する。また、解析情報表示処理部93は、腰の回転の切り返し時の腰の角度を算出し、算出した腰の回転の切り返し時の腰の角度をスイング動作におけるトップ時の腰角度としてその数値を表示出力するように出力部18−3を制御する。また、解析情報表示処理部93は、インパクト時の腰の角度を算出し、これをインパクト時の腰角度として数値を表示出力するように出力部18−3を制御する。   Specifically, the analysis information display processing unit 93 evaluates and displays the state of the swing motion from the posture in the swing motion data and the swing motion moving image data at timings corresponding to various swing motions. Specifically, the analysis information display processing unit 93 has a time difference value of β or more between the takeback time (TBS) detected from the swing motion data and the takeback time (TBM) detected from the swing motion video data. In such a case, a display indicating that “hand is ahead” is output, and the hip rotation return time (TRS) detected from the swing motion data and the club head rotation return time detected from the swing motion video data. When the difference of (TRM) is 0 or more, the output unit 18-3 is controlled so as to output the display “Club is ahead”. In addition, the analysis information display processing unit 93 calculates the waist angle when the hip rotation is turned back, and displays the numerical value as the waist angle at the time of the top in the swing operation. The output unit 18-3 is controlled to output. Further, the analysis information display processing unit 93 calculates the waist angle at the time of impact, and controls the output unit 18-3 to display and output a numerical value using this as the waist angle at the time of impact.

図6は、運動解析システムSにおける運動解析に係る処理のやり取りを示すタイミングチャートである。   FIG. 6 is a timing chart showing the exchange of processing related to motion analysis in the motion analysis system S.

運動解析システムSでは、図7に示すように、練習開始に伴い、まず、携帯端末3からセンサユニット1及び撮像装置2に対して、開始コマンドを送信する。   In the motion analysis system S, as shown in FIG. 7, first, a start command is transmitted from the portable terminal 3 to the sensor unit 1 and the imaging device 2 as the practice starts.

開始コマンドを受けた撮像装置2では、自機のRTCを取得し、センサユニット1に送信する。
同じく開始コマンドを受けたセンサユニット1では、RTC回路111−1の値を取得し、撮像装置2から取得したRTC回路111−2の値との差分値(開始時のRTC差分値)のデータを計測する。また、センサユニット1では、開始コマンドを受けたことを契機にセンシングを開始する。
Upon receiving the start command, the imaging apparatus 2 acquires its own RTC and transmits it to the sensor unit 1.
Similarly, in the sensor unit 1 that has received the start command, the value of the RTC circuit 111-1 is acquired, and the data of the difference value (the RTC difference value at the start) from the value of the RTC circuit 111-2 acquired from the imaging device 2 is obtained. measure. Further, the sensor unit 1 starts sensing upon receiving a start command.

次に、センサユニット1では、センシングの結果、スイング動作の開始を検出した場合には、録画開始コマンドを撮像装置2に送信する。録画開始コマンドを受信した撮像装置2では録画を開始する。   Next, in the sensor unit 1, when the start of the swing motion is detected as a result of sensing, a recording start command is transmitted to the imaging device 2. The imaging apparatus 2 that has received the recording start command starts recording.

また、センサユニット1では、スイング動作の終了を検出した場合には、録画終了コマンドを撮像装置2に送信する。録画終了コマンドを受信した撮像装置2では、録画を終了する。   The sensor unit 1 transmits a recording end command to the imaging device 2 when the end of the swing motion is detected. The imaging device 2 that has received the recording end command ends the recording.

その後、センサユニット1では、スイング動作と判定した期間のセンサ情報をスイング動作データとして携帯端末3に送信する。また、撮像装置2では、録画した動画データをスイング動作動画データとして携帯端末3に送信する。尚、これらの録画に関する処理は、練習中、スイングが行われる毎に繰り返し実行される。   Thereafter, the sensor unit 1 transmits the sensor information of the period determined as the swing motion to the mobile terminal 3 as swing motion data. Further, the imaging device 2 transmits the recorded moving image data to the portable terminal 3 as swing motion moving image data. These recording-related processes are repeatedly executed every time a swing is performed during practice.

練習が終了した場合には、携帯端末3からセンサユニット1及び撮像装置2に対して、終了コマンドを送信する。   When the practice ends, an end command is transmitted from the mobile terminal 3 to the sensor unit 1 and the imaging device 2.

終了コマンドを受けた撮像装置2では、RTC回路111−2から値を取得し、センサユニット1に送信する。
同じく終了コマンドを受けたセンサユニット1では、RTC111−1の値を取得し、撮像装置2から取得したRTC回路111−2の値との差分値(終了時のRTC差分値)のデータを計測する。そして、センサユニット1は、開始時と終了時のRTC差分値のデータを携帯端末3に送信する。
Upon receiving the end command, the imaging apparatus 2 acquires a value from the RTC circuit 111-2 and transmits it to the sensor unit 1.
Similarly, the sensor unit 1 that has received the end command acquires the value of the RTC 111-1 and measures the data of the difference value (the RTC difference value at the end) from the value of the RTC circuit 111-2 acquired from the imaging device 2. . Then, the sensor unit 1 transmits data of the RTC difference value at the start time and at the end time to the mobile terminal 3.

その後、携帯端末3では、取得したスイング動作データ、スイング動作動画データ、及び、開始時と終了時のRTC差分値のデータに基づいて、解析が行われる。この解析は、RTCの差分値によって、スイング動作データとスイング動作動画データとの時間を一致させ、スイング動作データから解析した被験者の動きと、スイング動作動画データから検出された被験者の動きとに基づいたものなる。携帯端末3では、これらの解析の結果を、画面に表示する。   Thereafter, the mobile terminal 3 performs analysis based on the acquired swing motion data, swing motion video data, and RTC difference data at the start and end. This analysis is based on the motion of the subject analyzed from the swing motion data and the motion of the subject detected from the swing motion video data by matching the time of the swing motion data and the swing motion video data according to the RTC difference value. It will be. The mobile terminal 3 displays the results of these analyzes on the screen.

図7は、図4の機能的構成を有する図2のセンサユニット1が実行する練習時取得データ送信処理の流れを説明するフローチャートである。
練習時取得データ送信処理は、ユーザによる入力部17−1への練習時取得データ送信処理開始の操作により開始される。
FIG. 7 is a flowchart for explaining the flow of practice-time acquired data transmission processing executed by the sensor unit 1 of FIG. 2 having the functional configuration of FIG.
The practice acquisition data transmission process is started by an operation of starting the practice acquisition data transmission process to the input unit 17-1 by the user.

ステップS11において、通信制御部51は、練習開始の指示を携帯端末3から通信部20−1を介して受信したか否かを判定する。
練習開始の指示を受信していない場合には、ステップS11においてNOと判定されて、処理は待機状態となる。
練習開始の指示を受信した場合には、ステップS11においてYESと判定されて、処理はステップS12に進む。
In step S <b> 11, the communication control unit 51 determines whether or not an instruction to start practice has been received from the mobile terminal 3 via the communication unit 20-1.
If an instruction to start practice has not been received, NO is determined in step S11, and the process enters a standby state.
If an instruction to start practice is received, YES is determined in step S11, and the process proceeds to step S12.

ステップS12において、RTC差分値計測部52は、センサユニット1のRTC回路111−1の値、及び、撮像装置2のRTC回路111−2の値を取得し、互いのRTCの値の差分値を計測する。   In step S12, the RTC difference value measurement unit 52 acquires the value of the RTC circuit 111-1 of the sensor unit 1 and the value of the RTC circuit 111-2 of the imaging device 2, and calculates the difference value between the values of the RTCs of each other. measure.

ステップS13において、RTC差分値計測部52は、計測した開始時のRTC差分値のデータをRTC差分値記憶部71に記憶させる。   In step S <b> 13, the RTC difference value measurement unit 52 stores the measured RTC difference value data at the start time in the RTC difference value storage unit 71.

ステップS14において、センサ情報解析部53は、X軸の角度が20度以上であり、かつ、加速度の分散値がα以下であるか否かを判定する。
X軸の角度が20度以上であり、かつ、加速度の分散値がα以下でない場合には、ステップS14においてNOと判定されて、待機状態となる。
X軸の角度が20度以上であり、かつ、加速度の分散値がα以下の場合には、ステップS14においてYESと判定されて、処理はステップS15に進む。
In step S <b> 14, the sensor information analysis unit 53 determines whether or not the X-axis angle is 20 degrees or more and the acceleration dispersion value is α or less.
If the angle of the X axis is 20 degrees or more and the variance value of acceleration is not less than α, NO is determined in step S14 and a standby state is entered.
If the angle of the X axis is 20 degrees or more and the acceleration variance is less than or equal to α, YES is determined in step S14, and the process proceeds to step S15.

ステップS15において、センサ情報解析部53は、アドレス状態であると判定する。   In step S15, the sensor information analysis unit 53 determines that the address state is set.

ステップS16において、通信制御部51は、撮像装置2に対して、録画開始コマンドを送信するように通信部20−1を制御する。その結果、撮像装置2では、録画が開始される。   In step S <b> 16, the communication control unit 51 controls the communication unit 20-1 to transmit a recording start command to the imaging device 2. As a result, the imaging device 2 starts recording.

ステップS17において、センサ情報解析部53は、Z軸の角速度が200度/秒以上であるか否かを判定する。
Z軸の角速度が200度/秒以上でない場合には、ステップS17においてNOと判定されて、待機状態となる。
Z軸の角速度が200度/秒以上の場合には、ステップS14においてYESと判定されて、処理はステップS18に進む。
In step S <b> 17, the sensor information analysis unit 53 determines whether or not the angular velocity of the Z axis is 200 degrees / second or more.
If the Z-axis angular velocity is not 200 degrees / second or more, NO is determined in step S17, and a standby state is entered.
If the angular velocity of the Z-axis is 200 degrees / second or more, YES is determined in step S14, and the process proceeds to step S18.

ステップS18において、センサ情報解析部53は、解析対象(被験者)がスイング動作をしている状態であると判定する。   In step S18, the sensor information analysis unit 53 determines that the analysis target (subject) is in a swinging state.

ステップS19において、通信制御部51は、撮像装置2に対して、録画終了コマンドを送信するように通信部20−1を制御する。その結果、撮像装置2では、録画が終了される。   In step S <b> 19, the communication control unit 51 controls the communication unit 20-1 to transmit a recording end command to the imaging apparatus 2. As a result, the image recording apparatus 2 finishes recording.

ステップS20において、通信制御部51は、携帯端末3に対して、スイング動作をしていると判定された期間のセンサ情報をスイング動作データとして送信するように通信部20−1を制御する。通信制御部51は、スイング動作をしている状態であると判定される毎にその際のスイング動作データを携帯端末3に送信するように通信部20−1を制御する。   In step S <b> 20, the communication control unit 51 controls the communication unit 20-1 to transmit the sensor information of the period determined to be performing the swing motion as swing motion data to the mobile terminal 3. The communication control unit 51 controls the communication unit 20-1 to transmit the swing operation data at that time to the mobile terminal 3 every time it is determined that the swing operation is being performed.

ステップS21において、通信制御部51は、練習終了の指示を携帯端末3から通信部20−1を介して受信したか否かを判定する。
練習終了の指示を受信していない場合には、ステップS21においてNOと判定されて、処理はステップS14に戻る。
練習終了の指示を受信した場合には、ステップS21においてYESと判定されて、処理はステップS22に進む。
In step S <b> 21, the communication control unit 51 determines whether or not an instruction to end practice has been received from the mobile terminal 3 via the communication unit 20-1.
If an instruction to end the practice has not been received, NO is determined in step S21, and the process returns to step S14.
If an instruction to end practice is received, YES is determined in step S21, and the process proceeds to step S22.

ステップS22において、RTC差分値計測部52は、センサユニット1のRTC回路111−1の値及び撮像装置2のRTC回路111−2の値を取得し、互いのRTCの差分値を計測する。   In step S22, the RTC difference value measuring unit 52 acquires the value of the RTC circuit 111-1 of the sensor unit 1 and the value of the RTC circuit 111-2 of the imaging device 2, and measures the difference value between the RTCs.

ステップS23において、RTC差分値計測部52は、計測した終了時のRTC差分値のデータをRTC差分値記憶部71に記憶させる。   In step S <b> 23, the RTC difference value measurement unit 52 stores the measured RTC difference value data at the end in the RTC difference value storage unit 71.

ステップS24において、通信制御部51は、携帯端末3に対して、RTC差分値記憶部71に記憶される開始時と終了時のRTC差分値のデータを送信するように通信部20−1を制御する。その後、処理はステップS11に戻る。   In step S <b> 24, the communication control unit 51 controls the communication unit 20-1 to transmit the RTC difference value data at the start time and the end time stored in the RTC difference value storage unit 71 to the mobile terminal 3. To do. Thereafter, the process returns to step S11.

図8は、図5の機能的構成を有する図3の携帯端末3が実行するデータ解析処理の流れを説明するフローチャートである。
データ解析処理は、ユーザによる入力部17−3へのデータ解析処理開始の操作により開始される。また、データ解析処理にあたり、携帯端末3では、センサユニット1からスイング動作データ及び開始時と終了時のRTC差分値データ、撮像装置2からスイング動作動画データを受信し、スイング動作データとスイング動作動画データにおける時刻を開始時と終了時のRTC差分値のデータによって一致させる。
FIG. 8 is a flowchart for explaining the flow of data analysis processing executed by the mobile terminal 3 of FIG. 3 having the functional configuration of FIG.
The data analysis process is started by an operation for starting the data analysis process to the input unit 17-3 by the user. In the data analysis process, the mobile terminal 3 receives the swing motion data, the RTC difference value data at the start time and the end time from the sensor unit 1, and the swing motion video data from the imaging device 2, and the swing motion data and the swing motion video are received. The time in the data is matched with the data of the RTC difference value at the start and end.

ステップS41において、センサ情報解析処理部91は、センサ情報解析処理を実行する。センサ情報解析処理の実行の結果、センサ情報において、各種のスイング動作が判定される。   In step S41, the sensor information analysis processing unit 91 executes sensor information analysis processing. As a result of the execution of the sensor information analysis process, various swing operations are determined in the sensor information.

ステップS42において、映像解析処理部92は、映像解析処理を実行する。映像解析処理の実行の結果、各種のスイング動作の時刻等が判定される。   In step S42, the video analysis processing unit 92 executes video analysis processing. As a result of the execution of the video analysis process, the time and the like of various swing operations are determined.

ステップS43において、解析情報表示処理部93は、解析結果表示処理を実行する。解析結果表示処理の実行の結果、センサ情報及び映像の解析結果として、所定のスイング動作時の姿勢やクラブの状況、各種の腰の角度等を表示する。その後、データ解析処理は終了する。   In step S43, the analysis information display processing unit 93 executes an analysis result display process. As a result of the execution of the analysis result display process, the posture at the time of a predetermined swing operation, the state of the club, various hip angles, and the like are displayed as sensor information and video analysis results. Thereafter, the data analysis process ends.

図9は、データ解析処理のうち、センサ情報解析処理の流れを説明するフローチャートである。本処理の開始時点において、携帯端末3は、センサユニット1から通信部20−3を介して、スイング動作データと、RTC差分値のデータが受信された状態となっている。   FIG. 9 is a flowchart for explaining the flow of the sensor information analysis process in the data analysis process. At the start of this process, the mobile terminal 3 is in a state where the swing motion data and the RTC difference value data are received from the sensor unit 1 via the communication unit 20-3.

ステップS61において、センサ情報解析処理部91は、スイング動作データを時系列的に順次解析し、Z軸の角速度がマイナスか否かを判定する。
Z軸の角速度がマイナスでない場合には、ステップS61においてNOと判定されて、処理は待機状態となり、スイング動作データにおける次の時点のデータを参照する。
Z軸の角速度がマイナスの場合には、ステップS61においてYESと判定されて、処理はステップS62に進む。
In step S61, the sensor information analysis processing unit 91 sequentially analyzes the swing motion data in time series to determine whether or not the angular velocity of the Z axis is negative.
If the angular velocity of the Z axis is not negative, NO is determined in step S61, the process enters a standby state, and data at the next time point in the swing motion data is referred to.
When the angular velocity of the Z axis is negative, it is determined as YES in Step S61, and the process proceeds to Step S62.

ステップS62において、センサ情報解析処理部91は、マイナスとなった時点の時刻をテイクバックのタイミングと判定する。   In step S <b> 62, the sensor information analysis processing unit 91 determines the time when the time is negative as the takeback timing.

ステップS63において、センサ情報解析処理部91は、Z軸の角速度がマイナスからプラスに転じたか否かを判定する。
Z軸の角速度がプラスに転じていない場合には、ステップS63においてNOと判定されて、処理は待機状態となり、スイング動作データにおける次の時点のデータを参照する。
Z軸の角速度がプラスに転じた場合には、ステップS63においてYESと判定されて、処理はステップS64に進む。
In step S63, the sensor information analysis processing unit 91 determines whether or not the angular velocity of the Z axis has changed from minus to plus.
If the angular velocity of the Z-axis does not turn positive, it is determined NO in step S63, the process enters a standby state, and the next time point data in the swing motion data is referred to.
If the Z-axis angular velocity has turned positive, it is determined YES in step S63, and the process proceeds to step S64.

ステップS64において、センサ情報解析処理部91は、Z軸の角速度がマイナスからプラスに転じた時点の時刻を腰の回転の切り返しタイミングと判定する。   In step S <b> 64, the sensor information analysis processing unit 91 determines the time when the angular velocity of the Z axis has changed from minus to plus as the hip rotation turning back timing.

ステップS65において、センサ情報解析処理部91は、Z軸の角速度がプラスに転じた以降に減少に転じたか否かを判定する。
Z軸の角速度が減少に転じていない場合には、ステップS65においてNOと判定されて、処理は待機状態となり、スイング動作データにおける次の時点のデータを参照する。
Z軸の角速度が減少に転じた場合には、ステップS65においてYESと判定されて、処理はステップS66に進む。
In step S <b> 65, the sensor information analysis processing unit 91 determines whether or not the Z-axis angular velocity has started decreasing after the Z-axis angular velocity has turned positive.
If the angular velocity of the Z-axis has not started to decrease, NO is determined in step S65, the process enters a standby state, and the data at the next time point in the swing motion data is referred to.
When the angular velocity of the Z-axis starts to decrease, YES is determined in step S65, and the process proceeds to step S66.

ステップS66において、センサ情報解析処理部91は、Z軸の角速度がプラスに転じた以降に減少に転じた時点の時刻をハーフスイングのタイミングと判定する。   In step S <b> 66, the sensor information analysis processing unit 91 determines that the time at which the Z-axis angular velocity has started to decrease after the Z-axis angular velocity has changed to positive is the half swing timing.

ステップS67において、センサ情報解析処理部91は、Z軸の角速度が10度/秒を下回ったか否かを判定する。
Z軸の角速度が10度/秒を下回っていない場合には、ステップS67においてNOと判定されて、処理は待機状態となり、スイング動作データにおける次の時点のデータを参照する。
Z軸の角速度が10度/秒を下回った場合には、ステップS67においてYESと判定されて、処理はステップS68に進む。
In step S67, the sensor information analysis processing unit 91 determines whether or not the angular velocity of the Z axis is less than 10 degrees / second.
If the angular velocity of the Z-axis is not less than 10 degrees / second, it is determined as NO in step S67, the processing enters a standby state, and the next time point data in the swing motion data is referred to.
If the angular velocity of the Z-axis is less than 10 degrees / second, YES is determined in step S67, and the process proceeds to step S68.

ステップS68において、センサ情報解析処理部91は、Z軸の角速度が10度/秒を下回った時点の時刻をスイングの終了と判定する。その後、センサ情報解析処理は終了する。   In step S68, the sensor information analysis processing unit 91 determines that the time when the angular velocity of the Z-axis is less than 10 degrees / second is the end of the swing. Thereafter, the sensor information analysis process ends.

図10は、データ解析処理のうち、映像解析処理の流れを説明するフローチャートである。本処理の開始時点において、携帯端末3は、センサユニット1から通信部20−3を介して、スイング動作動画データが受信された状態となっている。   FIG. 10 is a flowchart for explaining the flow of the video analysis process in the data analysis process. At the start of this process, the mobile terminal 3 is in a state in which swing motion moving image data is received from the sensor unit 1 via the communication unit 20-3.

ステップS81において、映像解析処理部92は、対応するスイング動作データから判定されたテイクバックのタイミングに一致する時刻の前後の所定数のフレーム画像を解析対象とする。   In step S81, the video analysis processing unit 92 sets a predetermined number of frame images before and after the time that coincides with the takeback timing determined from the corresponding swing motion data as an analysis target.

ステップS82において、映像解析処理部92は、画像の下部中央付近で左方向に移動する被写体を探索する。   In step S82, the video analysis processing unit 92 searches for a subject that moves to the left near the lower center of the image.

ステップS83において、映像解析処理部92は、画像の下部中央付近で左方向に移動する被写体を発見したか否かを判定する。
画像の下部中央付近で左に移動する被写体を発見していない場合には、ステップS83においてNOと判定されて処理は、ステップS82に戻る。
画像の下部中央付近で左に移動する被写体を発見した場合には、ステップS83においてYESと判定されて処理は、ステップS84に進む。
In step S83, the video analysis processing unit 92 determines whether a subject moving in the left direction near the lower center of the image has been found.
If no subject moving to the left near the lower center of the image has been found, NO is determined in step S83, and the process returns to step S82.
If a subject that moves to the left near the lower center of the image is found, YES is determined in the step S83, and the process proceeds to a step S84.

ステップS84において、映像解析処理部92は、移動している被写体をクラブヘッドと認識し、移動を開始した時刻をテイクバックの開始時刻と判定する。   In step S84, the video analysis processing unit 92 recognizes the moving subject as a club head, and determines the time when the movement is started as the takeback start time.

ステップS85において、映像解析処理部92は、クラブヘッドの右側で丸い物体を探索する。   In step S85, the video analysis processing unit 92 searches for a round object on the right side of the club head.

ステップS86において、映像解析処理部92は、クラブヘッドの右側で丸い物体を発見したか否かを判定する。
クラブヘッドの右側で丸い物体を発見していない場合には、ステップS86においてNOと判定されて処理は、ステップS85に戻る。
クラブヘッドの右側で丸い物体を発見した場合には、ステップS86においてYESと判定されて処理は、ステップS87に進む。
In step S86, the video analysis processing unit 92 determines whether a round object is found on the right side of the club head.
If no round object has been found on the right side of the club head, NO is determined in step S86, and the process returns to step S85.
If a round object is found on the right side of the club head, YES is determined in the step S86, and the process proceeds to a step S87.

ステップS87において、映像解析処理部92は、発見したクラブヘッドの右側における丸い物体の位置を、ボール位置と判定する。   In step S87, the video analysis processing unit 92 determines that the position of the round object on the right side of the found club head is the ball position.

ステップS88において、映像解析処理部92は、クラブヘッドを追従する。   In step S88, the video analysis processing unit 92 follows the club head.

ステップS89において、映像解析処理部92は、クラブヘッドの移動方向が反転したか否かを判定する。
クラブヘッドの移動方向が反転していない場合には、ステップS89においてNOと判定されて処理は、ステップS88に戻る。
クラブヘッドの移動方向が反転した場合には、ステップS89においてYESと判定されて処理は、ステップS90に進む。
In step S89, the video analysis processing unit 92 determines whether the moving direction of the club head is reversed.
When the moving direction of the club head is not reversed, it is determined as NO in Step S89, and the process returns to Step S88.
When the moving direction of the club head is reversed, it is determined as YES in Step S89, and the process proceeds to Step S90.

ステップS90において、映像解析処理部92は、クラブヘッドの移動方向が反転した時点をクラブヘッドの切り返しの時点の時刻と判定する。   In step S90, the video analysis processing unit 92 determines the time when the moving direction of the club head is reversed as the time when the club head is turned back.

ステップS91において、映像解析処理部92は、ハーフスイング以降の画像でボールの移動を検出する。   In step S91, the video analysis processing unit 92 detects the movement of the ball in the image after the half swing.

ステップS92において、映像解析処理部92は、ボールの移動が右方向であるか否かを判定する。
ボールの移動が右方向でない場合には、ステップS92においてNOと判定されて処理は、ステップS91に戻る。
ボールの移動が右方向の場合には、ステップS92においてYESと判定されて処理は、ステップS93に進む。
In step S92, the video analysis processing unit 92 determines whether or not the movement of the ball is in the right direction.
When the movement of the ball is not rightward, it is determined as NO in Step S92, and the process returns to Step S91.
When the movement of the ball is rightward, it is determined as YES in Step S92, and the process proceeds to Step S93.

ステップS93において、映像解析処理部92は、右方向にボールが移動した時点を、インパクトの時刻と判定する。その後、映像解析処理は終了する。   In step S93, the video analysis processing unit 92 determines the time when the ball has moved to the right as the impact time. Thereafter, the video analysis process ends.

図11は、データ解析処理のうち、解析結果表示処理の流れを説明するフローチャートである。
ステップS111において、解析情報表示処理部93は、センサ情報から判定したテイクバック時刻(TBS)と、動画から判定したテイクバック時刻(TBM)と、を比較する。
FIG. 11 is a flowchart for explaining the flow of the analysis result display process in the data analysis process.
In step S111, the analysis information display processing unit 93 compares the takeback time (TBS) determined from the sensor information with the takeback time (TBM) determined from the moving image.

ステップS112において、解析情報表示処理部93は、スイング動作データから判定したテイクバック時刻(TBS)と、スイング動作動画データから検出したテイクバック時刻(TBM)の差分がβ以上であるか否かを判定する。なお、βは、理想的なスイングにおけるスイング動作データとスイング動作動画データとを解析した結果に割り出される閾値である。スイング動作データから判定したテイクバック時刻(TBS)と、スイング動作動画データから判定したテイクバック時刻(TBM)の差分がβ以上でない場合には、ステップS112においてNOと判定されて、処理はステップS114に進む。
スイング動作データから判定したテイクバック時刻(TBS)と、スイング動作動画データから判定したテイクバック時刻(TBM)の差分がβ以上の場合には、ステップS112においてYESと判定されて、処理はステップS113に進む。
In step S112, the analysis information display processing unit 93 determines whether or not the difference between the takeback time (TBS) determined from the swing motion data and the takeback time (TBM) detected from the swing motion video data is equal to or larger than β. judge. Note that β is a threshold that is calculated from the result of analyzing the swing motion data and the swing motion video data in an ideal swing. If the difference between the takeback time (TBS) determined from the swing motion data and the takeback time (TBM) determined from the swing motion video data is not equal to or larger than β, it is determined as NO in step S112, and the process proceeds to step S114. Proceed to
If the difference between the takeback time (TBS) determined from the swing motion data and the takeback time (TBM) determined from the swing motion video data is equal to or larger than β, YES is determined in step S112, and the processing is performed in step S113. Proceed to

ステップS113において、解析情報表示処理部93は、クラブよりも手が先に動いている旨のスイングの状況として「手が先行しています。」という表示を出力するように出力部18−3を制御する。   In step S113, the analysis information display processing unit 93 sets the output unit 18-3 so as to output a display that “the hand is ahead” as the state of the swing indicating that the hand moves ahead of the club. Control.

ステップS114において、解析情報表示処理部93は、スイング動作データとスイング動作動画データそれぞれについて、腰の回転の切り返し時の腰の角度を算出する。   In step S <b> 114, the analysis information display processing unit 93 calculates the hip angle at the time of switching back of the hip rotation for each of the swing motion data and the swing motion video data.

ステップS115において、解析情報表示処理部93は、算出した腰の回転の切り返し時の腰の角度を、トップ時の腰の角度として数値を出力するように出力部18−3を制御する。   In step S115, the analysis information display processing unit 93 controls the output unit 18-3 to output a numerical value as the calculated hip angle at the time of switching back hip rotation.

ステップS116において、解析情報表示処理部93は、スイング動作データから判定した腰切り返し時刻(TRS)と、動画から判定したクラブヘッドの切り返し時刻(TRM)の差分を算出する。   In step S116, the analysis information display processing section 93 calculates the difference between the hip turn back time (TRS) determined from the swing motion data and the club head turn back time (TRM) determined from the moving image.

ステップS117において、解析情報表示処理部93は、スイング動作データから判定した腰の回転時の切り返し時刻(TRS)と、スイング動作動画データから判定したクラブヘッドの回転の切り返し時刻(TRM)の差分値が0以上であるか否かを判定する。
スイング動作データから判定した腰の回転時の切り返し時刻(TRS)と、スイング動作動画データから判定したクラブヘッドの回転時の切り返し時刻(TRM)の差分が0以上でない場合には、ステップS117においてNOと判定されて、処理はステップS119に進む。
スイング動作データから判定した腰の回転時の切り返し時刻(TRS)と、スイング動作動画データから判定したクラブヘッドの回転時の切り返し時刻(TRM)の差分が0以上の場合には、ステップS117においてYESと判定されて、処理はステップS118に進む。
In step S117, the analysis information display processing unit 93 determines the difference between the turn-back time (TRS) during hip rotation determined from the swing motion data and the club head turn-back time (TRM) determined from the swing motion video data. It is determined whether or not is 0 or more.
If the difference between the turn-back time (TRS) at the hip rotation determined from the swing motion data and the turn-back time (TRM) at the time of rotation of the club head determined from the swing motion video data is not greater than or equal to 0, NO in step S117 Is determined, and the process proceeds to step S119.
If the difference between the turn-back time (TRS) during hip rotation determined from the swing motion data and the turn-back time (TRM) during club head rotation determined from the swing motion video data is greater than or equal to 0, YES in step S117 Is determined, and the process proceeds to step S118.

ステップS118において、解析情報表示処理部93は、回転時における腰の切り返しと同じく回転時のクラブヘッドの切り返しが同時タイミングであることがよいとされる状態下において、クラブヘッドの移動が早い旨のスイングの状況として「クラブが先行しています。」という表示を出力するように出力部18−3を制御する。   In step S118, the analysis information display processing unit 93 indicates that the movement of the club head is fast under the condition that the turning of the club head at the time of rotation should be the same timing as the turning of the waist at the time of rotation. The output unit 18-3 is controlled so as to output a display “Club is ahead” as the swing status.

ステップS119において、解析情報表示処理部93は、スイング動作データとスイング動作動画データそれぞれについて、インパクト時の腰の回転の角度を算出する。   In step S119, the analysis information display processing unit 93 calculates the rotation angle of the waist at the time of impact for each of the swing motion data and the swing motion video data.

ステップS120において、解析情報表示処理部93は、算出したインパクト時の腰の角度を、インパクト時の腰角度として数値を出力するように出力部18−3を制御する。なお、各種算出等した解析結果のデータは、解析結果記憶部121に記憶される。
その後、解析結果表示処理は、終了する。
In step S120, the analysis information display processing unit 93 controls the output unit 18-3 to output a numerical value using the calculated waist angle at impact as the waist angle at impact. Note that analysis result data obtained by various calculations is stored in the analysis result storage unit 121.
Thereafter, the analysis result display process ends.

以上のように構成される携帯端末3は、センサ情報解析処理部91と、映像解析処理部92と、解析情報表示処理部93と、を備える。
映像解析処理部92は、被験者に付けられ、被験者の所定の運動を記録した動画を取得するように通信部20−3を制御する。
センサ情報解析処理部91は、被験者の所定の運動時の姿勢の変化を取得するように通信部20−3を制御する。
解析情報表示処理部93は、センサ情報解析処理部91によって取得された動画と、映像解析処理部92によって取得された姿勢の変化と、を用いて、所定の運動の状態について評価する。
これにより、携帯端末3においては、ユーザに不便を強いることなく、より正確にスイング評価を行うことができる。
The mobile terminal 3 configured as described above includes a sensor information analysis processing unit 91, a video analysis processing unit 92, and an analysis information display processing unit 93.
The video analysis processing unit 92 controls the communication unit 20-3 so as to acquire a moving image attached to the subject and recording a predetermined motion of the subject.
The sensor information analysis processing unit 91 controls the communication unit 20-3 so as to acquire a change in posture of the subject during predetermined exercise.
The analysis information display processing unit 93 evaluates a predetermined motion state using the moving image acquired by the sensor information analysis processing unit 91 and the change in posture acquired by the video analysis processing unit 92.
Thereby, in the portable terminal 3, swing evaluation can be performed more accurately without imposing inconvenience on the user.

解析情報表示処理部93は、映像解析処理部92によって取得された動画と、センサ情報解析処理部91によって取得された姿勢の変化との取得時間が一致するように調整する。
また、解析情報表示処理部93は、調整された結果と、予め用意された理想とする時間経過を伴った所定の運動と、を比較する。
また、解析情報表示処理部93は、比較結果を用いて、所定の運動の状態について評価する。
これにより、携帯端末3においては、より正確にスイング評価を行うことができる。
The analysis information display processing unit 93 adjusts the acquisition time of the moving image acquired by the video analysis processing unit 92 and the change in posture acquired by the sensor information analysis processing unit 91 to be the same.
Further, the analysis information display processing unit 93 compares the adjusted result with a predetermined motion with an ideal time lapse prepared in advance.
Further, the analysis information display processing unit 93 evaluates a predetermined motion state using the comparison result.
Thereby, in the portable terminal 3, swing evaluation can be performed more accurately.

また、センサユニット1は、RTC差分値計測部52を備える。
RTC差分値計測部52は、撮像装置2から所定の運動の記録の開始又は終了の少なくとも何れかの時点の時刻情報を取得する。
RTC差分値計測部52は、センサ部16−1から所定の運動時の姿勢の変化の開始又は終了の少なくとも何れかの時点の時刻情報を取得する。
RTC差分値計測部52は、記録の開始の時点の時刻情報と取得した場合は取得した変化の開始時点の時刻情報との、記録の終了の時点の時刻情報と取得した場合は取得した変化の終了時点の時刻情報との差分値を取得する。
RTC差分値計測部52は、差分値取得手段によって取得された差分値を用いて双方の取得時間が一致するよう調整する。
これにより、携帯端末3においては、より正確にスイング評価を行うことができる。
The sensor unit 1 includes an RTC difference value measuring unit 52.
The RTC difference value measuring unit 52 obtains time information at the time of at least one of the start and end of recording of a predetermined exercise from the imaging device 2.
The RTC difference value measuring unit 52 acquires time information at the time of at least one of the start and end of the change in posture during predetermined exercise from the sensor unit 16-1.
The RTC difference value measuring unit 52 acquires the time information at the start of recording and the time information at the start of change when acquired, and the time information at the end of recording when acquired. The difference value with the time information at the end time is acquired.
The RTC difference value measuring unit 52 uses the difference value acquired by the difference value acquisition unit to adjust both acquisition times.
Thereby, in the portable terminal 3, swing evaluation can be performed more accurately.

映像解析処理部92は、取得された所定の運動を記録した動画から、当該所定の運動における複数の時点の姿勢を特定するとともに、それらの姿勢を検知した時刻情報をセンサユニット1から取得する。
センサ情報解析処理部91は、取得された所定の運動の姿勢から、所定の運動における複数の時点の姿勢を特定するとともに、それらの姿勢を検知した時刻情報を取得する。
解析情報表示処理部93は、特定された所定の運動における複数の時点の姿勢と、特定された時刻情報と、に基づいて、所定の運動の状態について評価する。
これにより、携帯端末3においては、より正確にスイング評価を行うことができる。
The video analysis processing unit 92 specifies postures at a plurality of points in time in the predetermined motion from the acquired moving image recording the predetermined motion, and acquires time information when the postures are detected from the sensor unit 1.
The sensor information analysis processing unit 91 specifies postures at a plurality of points in time in the predetermined motion from the acquired posture of the predetermined motion, and acquires time information when the postures are detected.
The analysis information display processing unit 93 evaluates the state of the predetermined movement based on the postures at a plurality of time points in the specified predetermined movement and the specified time information.
Thereby, in the portable terminal 3, swing evaluation can be performed more accurately.

また、携帯端末3は、解析情報表示処理部93による所定の運動の状態についての評価を出力する出力部18−3を、さらに備える。
これにより、携帯端末3においては、例えば、表示等でスイング評価の結果を利用することができる。
In addition, the mobile terminal 3 further includes an output unit 18-3 that outputs an evaluation of a predetermined motion state by the analysis information display processing unit 93.
Thereby, in the portable terminal 3, the result of swing evaluation can be used for display or the like, for example.

解析情報表示処理部93は、該携帯端末3とは別体に構成され、被験者の体幹付近に装着されるセンサユニット1から、姿勢の変化を取得するように通信部20−3を制御する。
これにより、携帯端末3においては、被験者の体幹部での姿勢変化を取得することができる。
The analysis information display processing unit 93 is configured separately from the portable terminal 3 and controls the communication unit 20-3 so as to acquire a change in posture from the sensor unit 1 mounted near the trunk of the subject. .
Thereby, in the portable terminal 3, the posture change in the trunk of the subject can be acquired.

また、携帯端末3は、センサユニット1と、当該携帯端末3とを無線接続する通信部20−3を、さらに備える。
これにより、携帯端末3においては、センサユニット1との間で無線接続を行うことができ、ユーザに不便を強いることなく、より正確にスイング評価を行うことができる。
The mobile terminal 3 further includes a communication unit 20-3 that wirelessly connects the sensor unit 1 and the mobile terminal 3.
Thereby, in the portable terminal 3, wireless connection can be performed with the sensor unit 1, and swing evaluation can be performed more accurately without inconvenience to the user.

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。   In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.

上述の実施形態では、RTCの差分をセンサユニット1で計測するように構成したが、携帯端末3で行うように構成してもよい。センサユニット1はセンシングだけを行って、センシング結果及び開始・終了時のRTCを携帯端末3に送信するように構成してもよい。   In the above-described embodiment, the RTC difference is measured by the sensor unit 1, but may be configured by the mobile terminal 3. The sensor unit 1 may be configured to perform only sensing and transmit the sensing result and the RTC at the start / end to the mobile terminal 3.

また、上述の実施形態では、テイクバック時刻(TBS)と、映像から検出したテイクバック時刻(TBM)の差分がα以上である場合には、「手が先行しています。」という適切ではない旨の表示を出力するように構成したが、適切だった場合に、その旨を表示するように構成してもよい。また、不適切であった場合に、適切となるようなアナウンスを行うようにしてもよい。
また、表示出力にかかわらず、音声出力等の各種出力を行うように構成してもよい。
In the above-described embodiment, if the difference between the takeback time (TBS) and the takeback time (TBM) detected from the video is greater than or equal to α, it is not appropriate that “the hand is ahead”. Although it is configured to output a display to that effect, it may be configured to display that when appropriate. In addition, when it is inappropriate, an announcement may be made as appropriate.
Moreover, you may comprise so that various outputs, such as an audio | voice output, may be performed irrespective of a display output.

また、上述の実施形態では、センシングした姿勢の情報と、映像から割り出せる姿勢の情報とを比較して、所定のスイング動作でのセンシングした姿勢と、映像から割り出せる姿勢又は、所定の姿勢でのセンシング結果と映像でのズレから、事前に設定した所定の状態との対比からスイングの評価を行うように構成した。事前に設定した所定の状態は、理想的なスイングの解析結果であり、種々のスイング方法等があるため、ユーザ自身が所望する状態を事前に設定するように構成してもよいし、スイング方法別にユーザが選択するように構成してもよい。また、比較対象についても種々選択可能に構成してもよい。   In the above-described embodiment, the sensed posture information is compared with the posture information that can be determined from the video, and the sensed posture in the predetermined swing motion and the posture that can be calculated from the video, or sensing in the predetermined posture Based on the difference between the result and the video, the swing is evaluated from a comparison with a predetermined state set in advance. The predetermined state set in advance is an analysis result of an ideal swing, and there are various swing methods. Therefore, the user may set a desired state in advance, or the swing method Alternatively, the user may make a selection. In addition, various comparison targets may be selected.

また、上述の実施形態では、データ解析を携帯端末3で行うように構成したが、外部サーバ等で行うように構成してもよい。この場合、携帯端末3では解析結果の表示のみ行う。   Moreover, in the above-mentioned embodiment, although it comprised so that data analysis might be performed with the portable terminal 3, you may comprise so that it may perform with an external server etc. In this case, the mobile terminal 3 only displays the analysis result.

また、上述の実施形態では、本発明が適用される撮像装置2及び携帯端末3は、デジタルカメラ及びスマートフォンを例として説明したが、特にこれに限定されない。
例えば、本発明は、練習時取得データ送信処理及びデータ解析処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートウォッチ、ポータブルゲーム機等に適用可能である。
In the above-described embodiment, the imaging device 2 and the mobile terminal 3 to which the present invention is applied have been described using a digital camera and a smartphone as examples, but are not particularly limited thereto.
For example, the present invention can be applied to general electronic devices having a practice-time acquired data transmission process and a data analysis process function. Specifically, for example, the present invention is applicable to a notebook personal computer, a printer, a television receiver, a video camera, a portable navigation device, a mobile phone, a smart watch, a portable game machine, and the like.

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図4及び図5の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が携帯端末3に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図4及び図5の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configurations of FIGS. 4 and 5 are merely examples, and are not particularly limited. That is, it is sufficient that the mobile terminal 3 has a function capable of executing the above-described series of processing as a whole, and what functional blocks are used to realize this function are particularly shown in the examples of FIGS. It is not limited.
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
The functional configuration in the present embodiment is realized by a processor that executes arithmetic processing, and the processor that can be used in the present embodiment is configured by various processing devices such as a single processor, a multiprocessor, and a multicore processor. In addition to the above, these various processing apparatuses and a combination of processing circuits such as ASIC (Application Specific Integrated Circuit) and FPGA (Field-Programmable Gate Array) are included.

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図2及び図3のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図2及び図3のROM12や、図2及び図3の記憶部19に含まれるハードディスク等で構成される。   The recording medium including such a program is not only configured by the removable media 31 of FIGS. 2 and 3 distributed separately from the apparatus main body in order to provide the program to the user, but is also preinstalled in the apparatus main body. It is composed of a recording medium provided to the user in a state. The removable medium 31 is composed of, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like. The optical disc is composed of, for example, a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disc), a Blu-ray (registered trademark) Disc (Blu-ray Disc), and the like. The magneto-optical disk is configured by an MD (Mini-Disk) or the like. In addition, the recording medium provided to the user in a state of being incorporated in the apparatus main body in advance is, for example, the hard disk included in the ROM 12 in FIGS. Etc.

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。
In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
Further, in the present specification, the term “system” means an overall device configured by a plurality of devices, a plurality of means, and the like.

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalent scope thereof.

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
被験者の所定の運動を記録した動画を取得する動画取得手段と、
前記被験者に付けられ、前記被験者の所定の運動時の姿勢の変化を取得する変化取得手段と、
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価手段と、
を備えることを特徴とする運動解析装置。
[付記2]
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化との取得時間が一致するように調整する調整手段と、
前記調整手段によって調整された結果と、予め用意された理想とする時間経過を伴った前記所定の運動と、を比較する比較手段と、を更に備え、
前記評価手段は、前記比較手段による比較結果を用いて、前記所定の運動の状態について評価する、
ことを特徴とする付記1に記載の運動解析装置。
[付記3]
前記動画取得手段における、前記所定の運動の記録の開始又は終了の少なくとも何れかの時点の時刻情報を取得する第1の時刻情報取得手段と、
前記変化取得手段における、前記所定の運動時の姿勢の変化の開始又は終了の少なくとも何れかの時点の時刻情報を取得する第2の時刻情報取得手段と、
前記第1の時刻情報取得手段が記録の開始の時点の時刻情報と取得した場合は前記第2の時刻情報取得手段が取得した変化の開始時点の時刻情報との、前記第1の時刻情報取得手段が記録の終了の時点の時刻情報と取得した場合は前記第2の時刻情報取得手段が取得した変化の終了時点の時刻情報との差分値を取得する差分値取得手段と、
を更に備え、
前記調整手段は、前記差分値取得手段によって取得された差分値を用いて双方の取得時間が一致するよう調整することを特徴とする付記2記載の運動解析装置。
[付記4]
前記動画取得手段によって取得された所定の運動を記録した動画から、当該所定の運動における複数の時点の姿勢を特定するとともに、それらの姿勢を検知した時刻情報を前記第1の時刻情報取得手段から取得する第1の検知時刻情報取得手段と、
前記変化取得手段によって取得された前記所定の運動の姿勢から、前記所定の運動における複数の時点の姿勢を特定するとともに、それらの姿勢を検知した時刻情報を前記第2の時刻情報取得手段から取得する第2の検知時刻情報取得手段と、
を更に備え、
前記評価手段は、前記特定された前記所定の運動における複数の時点の姿勢と、前記第1の検知時刻情報取得手段により特定された時刻情報と、前記第2の検知時刻情報取得手段により特定された時刻情報と、に基づいて、前記所定の運動の状態について評価することを特徴とする付記3に記載の運動解析装置。
[付記5]
前記評価手段による前記所定の運動の状態についての評価を出力する出力手段を、さらに備える、
ことを特徴とする付記1乃至4の何れか1つに記載の運動解析装置。
[付記6]
前記変化取得手段は、当該運動解析装置とは別体に構成され、前記被験者の体幹付近に装着されるセンサから、前記姿勢の変化を取得する、
ことを特徴とする付記1乃至5の何れか1つに記載の運動解析装置。
[付記7]
前記センサと、当該運動解析装置とを無線接続する通信手段を、さらに備える、
ことを特徴とする付記6に記載の運動解析装置。
[付記8]
被験者の所定の運動を記録した動画を取得する動画取得ステップと、
前記被験者に付けられ、前記被験者の所定の運動時の姿勢の変化を取得する変化取得ステップと、
前記動画取得ステップによって取得された前記動画と、前記変化取得ステップによって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価ステップと、
を含むことを特徴とする運動解析方法。
[付記9]
コンピュータを、
被験者の所定の運動を記録した動画を取得する動画取得手段、
前記被験者に付けられ、前記被験者の所定の運動時の姿勢の変化を取得する変化取得手段、
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価手段、
として機能させることを特徴とするプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
A video acquisition means for acquiring a video recording a predetermined movement of the subject;
Change acquisition means attached to the subject to acquire a change in posture of the subject during a predetermined movement;
An evaluation unit that evaluates the state of the predetermined motion using the moving image acquired by the moving image acquisition unit and the change in the posture acquired by the change acquisition unit;
A motion analysis apparatus comprising:
[Appendix 2]
An adjustment unit that adjusts the moving image acquired by the moving image acquisition unit and the acquisition time of the posture change acquired by the change acquisition unit so as to coincide with each other;
Comparing means for comparing the result adjusted by the adjusting means with the predetermined motion with an ideal time lapse prepared in advance,
The evaluation means evaluates the state of the predetermined movement using a comparison result by the comparison means;
The motion analysis apparatus according to Supplementary Note 1, wherein
[Appendix 3]
First time information acquisition means for acquiring time information at the time of at least one of start and end of recording of the predetermined exercise in the moving image acquisition means;
Second time information acquisition means for acquiring time information at the time of at least one of the start and end of the change in posture during the predetermined exercise in the change acquisition means;
When the first time information acquisition means acquires the time information at the start of recording and the time information at the start time of the change acquired by the second time information acquisition means, the first time information acquisition A difference value acquisition unit that acquires a difference value between the time information at the end of recording and the time information at the end of change acquired by the second time information acquisition unit,
Further comprising
The motion analysis apparatus according to appendix 2, wherein the adjustment unit adjusts both acquisition times using the difference value acquired by the difference value acquisition unit.
[Appendix 4]
From the moving image recording the predetermined motion acquired by the moving image acquisition means, the postures at a plurality of time points in the predetermined motion are specified, and the time information at which these postures are detected is obtained from the first time information acquisition means. First detection time information acquisition means for acquiring;
From the posture of the predetermined motion acquired by the change acquisition unit, the postures at a plurality of time points in the predetermined motion are specified, and time information at which these postures are detected is acquired from the second time information acquisition unit. Second detection time information acquisition means for
Further comprising
The evaluation means is specified by postures at a plurality of time points in the specified predetermined movement, time information specified by the first detection time information acquisition means, and second detection time information acquisition means. The motion analysis apparatus according to appendix 3, wherein the state of the predetermined motion is evaluated based on the time information.
[Appendix 5]
An output unit that outputs an evaluation of the state of the predetermined motion by the evaluation unit;
The motion analysis apparatus according to any one of appendices 1 to 4, wherein
[Appendix 6]
The change acquisition means is configured separately from the motion analysis device, and acquires the change in posture from a sensor attached near the trunk of the subject.
The motion analysis apparatus according to any one of appendices 1 to 5, characterized in that:
[Appendix 7]
A communication means for wirelessly connecting the sensor and the motion analysis device;
The motion analysis apparatus according to appendix 6, wherein:
[Appendix 8]
A video acquisition step of acquiring a video recording a predetermined movement of the subject;
A change acquisition step that is attached to the subject and acquires a change in posture of the subject during a predetermined movement;
An evaluation step for evaluating the state of the predetermined motion using the moving image acquired by the moving image acquisition step and the change in the posture acquired by the change acquisition step;
A motion analysis method comprising:
[Appendix 9]
Computer
Movie acquisition means for acquiring a movie recording a predetermined movement of the subject,
Change acquisition means attached to the subject for acquiring a change in posture of the subject during a predetermined movement;
An evaluation unit that evaluates the state of the predetermined motion using the moving image acquired by the moving image acquisition unit and the change in posture acquired by the change acquisition unit;
A program characterized by functioning as

1・・・センサユニット,2・・・撮像装置・・・,3・・・携帯端末,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・センサ部,17・・・入力部,18・・・出力部,19・・・記憶部,20・・・通信部,21・・・ドライブ,22・・・撮像部,31・・・リムーバブルメディア,51・・・通信制御部,52・・・RTC差分値計測部,53・・・センサ情報解析部,71・・・RTC差分値記憶部,91・・・センサ情報解析処理部,92・・・映像解析処理部,93・・・解析結果表示処理部,111・・・RTC回路,121・・・解析結果記憶部,S・・・運動解析システム   DESCRIPTION OF SYMBOLS 1 ... Sensor unit, 2 ... Imaging device ..., 3 ... Portable terminal, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... Bus, 15. ..I / O interface, 16 ... sensor unit, 17 ... input unit, 18 ... output unit, 19 ... storage unit, 20 ... communication unit, 21 ... drive, 22 ... Image pick-up unit, 31 ... removable media, 51 ... communication control unit, 52 ... RTC difference value measurement unit, 53 ... sensor information analysis unit, 71 ... RTC difference value storage unit, 91 ..Sensor information analysis processing unit, 92... Video analysis processing unit, 93... Analysis result display processing unit, 111... RTC circuit, 121.

Claims (9)

被験者の所定の運動を記録した動画を取得する動画取得手段と、
前記被験者に付けられ、前記被験者の所定の運動時の姿勢の変化を取得する変化取得手段と、
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価手段と、
を備えることを特徴とする運動解析装置。
A video acquisition means for acquiring a video recording a predetermined movement of the subject;
Change acquisition means attached to the subject to acquire a change in posture of the subject during a predetermined movement;
An evaluation unit that evaluates the state of the predetermined motion using the moving image acquired by the moving image acquisition unit and the change in the posture acquired by the change acquisition unit;
A motion analysis apparatus comprising:
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化との取得時間が一致するように調整する調整手段と、
前記調整手段によって調整された結果と、予め用意された理想とする時間経過を伴った前記所定の運動と、を比較する比較手段と、を更に備え、
前記評価手段は、前記比較手段による比較結果を用いて、前記所定の運動の状態について評価する、
ことを特徴とする請求項1に記載の運動解析装置。
An adjustment unit that adjusts the moving image acquired by the moving image acquisition unit and the acquisition time of the posture change acquired by the change acquisition unit so as to coincide with each other;
Comparing means for comparing the result adjusted by the adjusting means with the predetermined motion with an ideal time lapse prepared in advance,
The evaluation means evaluates the state of the predetermined movement using a comparison result by the comparison means;
The motion analysis apparatus according to claim 1.
前記動画取得手段における、前記所定の運動の記録の開始又は終了の少なくとも何れかの時点の時刻情報を取得する第1の時刻情報取得手段と、
前記変化取得手段における、前記所定の運動時の姿勢の変化の開始又は終了の少なくとも何れかの時点の時刻情報を取得する第2の時刻情報取得手段と、
前記第1の時刻情報取得手段が記録の開始の時点の時刻情報と取得した場合は前記第2の時刻情報取得手段が取得した変化の開始時点の時刻情報との、前記第1の時刻情報取得手段が記録の終了の時点の時刻情報と取得した場合は前記第2の時刻情報取得手段が取得した変化の終了時点の時刻情報との差分値を取得する差分値取得手段と、
を更に備え、
前記調整手段は、前記差分値取得手段によって取得された差分値を用いて双方の取得時間が一致するよう調整することを特徴とする請求項2記載の運動解析装置。
First time information acquisition means for acquiring time information at the time of at least one of start and end of recording of the predetermined exercise in the moving image acquisition means;
Second time information acquisition means for acquiring time information at the time of at least one of the start and end of the change in posture during the predetermined exercise in the change acquisition means;
When the first time information acquisition means acquires the time information at the start of recording and the time information at the start time of the change acquired by the second time information acquisition means, the first time information acquisition A difference value acquisition unit that acquires a difference value between the time information at the end of recording and the time information at the end of change acquired by the second time information acquisition unit,
Further comprising
The motion analysis apparatus according to claim 2, wherein the adjustment unit performs adjustment so that both acquisition times coincide using the difference value acquired by the difference value acquisition unit.
前記動画取得手段によって取得された所定の運動を記録した動画から、当該所定の運動における複数の時点の姿勢を特定するとともに、それらの姿勢を検知した時刻情報を前記第1の時刻情報取得手段から取得する第1の検知時刻情報取得手段と、
前記変化取得手段によって取得された前記所定の運動の姿勢から、前記所定の運動における複数の時点の姿勢を特定するとともに、それらの姿勢を検知した時刻情報を前記第2の時刻情報取得手段から取得する第2の検知時刻情報取得手段と、
を更に備え、
前記評価手段は、前記特定された前記所定の運動における複数の時点の姿勢と、前記第1の検知時刻情報取得手段により特定された時刻情報と、前記第2の検知時刻情報取得手段により特定された時刻情報と、に基づいて、前記所定の運動の状態について評価することを特徴とする請求項3に記載の運動解析装置。
From the moving image recording the predetermined motion acquired by the moving image acquisition means, the postures at a plurality of time points in the predetermined motion are specified, and the time information at which these postures are detected is obtained from the first time information acquisition means. First detection time information acquisition means for acquiring;
From the posture of the predetermined motion acquired by the change acquisition unit, the postures at a plurality of time points in the predetermined motion are specified, and time information at which these postures are detected is acquired from the second time information acquisition unit. Second detection time information acquisition means for
Further comprising
The evaluation means is specified by postures at a plurality of time points in the specified predetermined movement, time information specified by the first detection time information acquisition means, and second detection time information acquisition means. The motion analysis apparatus according to claim 3, wherein the predetermined motion state is evaluated based on the time information.
前記評価手段による前記所定の運動の状態についての評価を出力する出力手段を、さらに備える、
ことを特徴とする請求項1乃至4の何れか1項に記載の運動解析装置。
An output unit that outputs an evaluation of the state of the predetermined motion by the evaluation unit;
The motion analysis apparatus according to claim 1, wherein:
前記変化取得手段は、当該運動解析装置とは別体に構成され、前記被験者の体幹付近に装着されるセンサから、前記姿勢の変化を取得する、
ことを特徴とする請求項1乃至5の何れか1項に記載の運動解析装置。
The change acquisition means is configured separately from the motion analysis device, and acquires the change in posture from a sensor attached near the trunk of the subject.
The motion analysis apparatus according to claim 1, wherein:
前記センサと、当該運動解析装置とを無線接続する通信手段を、さらに備える、
ことを特徴とする請求項6に記載の運動解析装置。
A communication means for wirelessly connecting the sensor and the motion analysis device;
The motion analysis apparatus according to claim 6.
被験者の所定の運動を記録した動画を取得する動画取得ステップと、
前記被験者に付けられ、前記被験者の所定の運動時の姿勢の変化を取得する変化取得ステップと、
前記動画取得ステップによって取得された前記動画と、前記変化取得ステップによって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価ステップと、
を含むことを特徴とする運動解析方法。
A video acquisition step of acquiring a video recording a predetermined movement of the subject;
A change acquisition step that is attached to the subject and acquires a change in posture of the subject during a predetermined movement;
An evaluation step for evaluating the state of the predetermined motion using the moving image acquired by the moving image acquisition step and the change in the posture acquired by the change acquisition step;
A motion analysis method comprising:
コンピュータを、
被験者の所定の運動を記録した動画を取得する動画取得手段、
前記被験者に付けられ、前記被験者の所定の運動時の姿勢の変化を取得する変化取得手段、
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価手段、
として機能させることを特徴とするプログラム。
Computer
Movie acquisition means for acquiring a movie recording a predetermined movement of the subject,
Change acquisition means attached to the subject for acquiring a change in posture of the subject during a predetermined movement;
An evaluation unit that evaluates the state of the predetermined motion using the moving image acquired by the moving image acquisition unit and the change in posture acquired by the change acquisition unit;
A program characterized by functioning as
JP2016247840A 2016-12-21 2016-12-21 Motion analysis device, motion analysis method and program Active JP6878874B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016247840A JP6878874B2 (en) 2016-12-21 2016-12-21 Motion analysis device, motion analysis method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016247840A JP6878874B2 (en) 2016-12-21 2016-12-21 Motion analysis device, motion analysis method and program

Publications (3)

Publication Number Publication Date
JP2018099416A true JP2018099416A (en) 2018-06-28
JP2018099416A5 JP2018099416A5 (en) 2020-02-06
JP6878874B2 JP6878874B2 (en) 2021-06-02

Family

ID=62714685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016247840A Active JP6878874B2 (en) 2016-12-21 2016-12-21 Motion analysis device, motion analysis method and program

Country Status (1)

Country Link
JP (1) JP6878874B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110354480A (en) * 2019-07-26 2019-10-22 南京邮电大学 A kind of golf swing scoring estimation method compared based on posture
WO2022158923A1 (en) * 2021-01-25 2022-07-28 삼성전자 주식회사 Electronic device and service provision method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110850A (en) * 2003-10-06 2005-04-28 Hitachi Metals Ltd Body movement evaluating method, swing motion evaluating method, and body movement measuring system
US20050223799A1 (en) * 2004-03-31 2005-10-13 Brian Murphy System and method for motion capture and analysis
US20100234769A1 (en) * 2009-03-11 2010-09-16 GFXCoach LLC Sports training system
JP2015126812A (en) * 2013-12-27 2015-07-09 カシオ計算機株式会社 Information processing device, information processing method, and program
JP2015139562A (en) * 2014-01-29 2015-08-03 横浜ゴム株式会社 Swing measurement method and swing measurement device
JP2016036681A (en) * 2014-08-11 2016-03-22 セイコーエプソン株式会社 Motion analysis method, motion analysis device, motion analysis system, and program
JP2016158702A (en) * 2015-02-27 2016-09-05 セイコーエプソン株式会社 Three-dimensional image processing system, three-dimensional image processing device, and three-dimensional image processing method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110850A (en) * 2003-10-06 2005-04-28 Hitachi Metals Ltd Body movement evaluating method, swing motion evaluating method, and body movement measuring system
US20050223799A1 (en) * 2004-03-31 2005-10-13 Brian Murphy System and method for motion capture and analysis
US20100234769A1 (en) * 2009-03-11 2010-09-16 GFXCoach LLC Sports training system
JP2015126812A (en) * 2013-12-27 2015-07-09 カシオ計算機株式会社 Information processing device, information processing method, and program
JP2015139562A (en) * 2014-01-29 2015-08-03 横浜ゴム株式会社 Swing measurement method and swing measurement device
JP2016036681A (en) * 2014-08-11 2016-03-22 セイコーエプソン株式会社 Motion analysis method, motion analysis device, motion analysis system, and program
JP2016158702A (en) * 2015-02-27 2016-09-05 セイコーエプソン株式会社 Three-dimensional image processing system, three-dimensional image processing device, and three-dimensional image processing method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110354480A (en) * 2019-07-26 2019-10-22 南京邮电大学 A kind of golf swing scoring estimation method compared based on posture
WO2022158923A1 (en) * 2021-01-25 2022-07-28 삼성전자 주식회사 Electronic device and service provision method

Also Published As

Publication number Publication date
JP6878874B2 (en) 2021-06-02

Similar Documents

Publication Publication Date Title
US10070046B2 (en) Information processing device, recording medium, and information processing method
JP2012066026A (en) Information processing device and method, and program
CN109120844B (en) Image pickup control device, image pickup control method, and storage medium
KR102553278B1 (en) Image processing apparatus, analysis system, method for processing images, and program
JP5811654B2 (en) Image processing apparatus, image processing method, and program
US20160088219A1 (en) Image capture apparatus which controls frame rate based on motion of object, information transmission apparatus, image capture control method, information transmission method, and recording medium
JP2020118699A (en) Electronic apparatus, calibration control method, and program
JP6878874B2 (en) Motion analysis device, motion analysis method and program
US11305171B2 (en) Motion evaluation device using angular speed measured by a wearable sensor
JP2021165763A (en) Information processor, method for information processing, and program
JP2021102075A (en) Output device, output method, and program
JP2017169203A (en) Image processing system, image processing method and program
KR20180073439A (en) Information processing device, move locus information output method, and program stored in storage medium
US10661142B2 (en) Movement analysis device for determining whether a time range between a start time and a completion time of a predetermined movement by a target person is valid, and movement analysis method and recording medium
JP2017174094A (en) Image processing device, image processing method, and program
JP6702392B2 (en) Electronic device, calibration control method and program
JP7188422B2 (en) Image processing device, analysis system, image processing method and program
JP7069953B2 (en) Electronic devices, partial identification methods for operation data, and programs
JP7134418B2 (en) Motion analysis device, motion analysis method and program
JP2017060135A (en) Electronic apparatus, subject determination system, subject determination method, and program
JP2018085574A (en) Image processing apparatus, analysis system, image processing method, and program
JP7022327B2 (en) Golf club discrimination device, golf club discrimination method, and golf club discrimination program
JP6500625B2 (en) Detection device, detection system, detection method and program
JP2014045260A (en) Image processing apparatus, image processing method and program
JP2016066994A (en) Imaging device, information transmission device, imaging control method, information transmission method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210412

R150 Certificate of patent or registration of utility model

Ref document number: 6878874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150