KR102226927B1 - Using the gesture and EMG sensing data, motion analysis system of free weight exercise by hybrid detection method - Google Patents

Using the gesture and EMG sensing data, motion analysis system of free weight exercise by hybrid detection method Download PDF

Info

Publication number
KR102226927B1
KR102226927B1 KR1020170184483A KR20170184483A KR102226927B1 KR 102226927 B1 KR102226927 B1 KR 102226927B1 KR 1020170184483 A KR1020170184483 A KR 1020170184483A KR 20170184483 A KR20170184483 A KR 20170184483A KR 102226927 B1 KR102226927 B1 KR 102226927B1
Authority
KR
South Korea
Prior art keywords
motion
exercise
signal
emg
analysis
Prior art date
Application number
KR1020170184483A
Other languages
Korean (ko)
Other versions
KR20190081738A (en
Inventor
김지원
정병호
Original Assignee
남부대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 남부대학교 산학협력단 filed Critical 남부대학교 산학협력단
Priority to KR1020170184483A priority Critical patent/KR102226927B1/en
Publication of KR20190081738A publication Critical patent/KR20190081738A/en
Application granted granted Critical
Publication of KR102226927B1 publication Critical patent/KR102226927B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Power Engineering (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 모션 센서(gesture sensor)와 근육 센서(EMG sensor)를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템에 관한 것으로서, 더욱 상세하게는 모션 센서와 근육 센서를 이용하여 복합형 운동 동작 분석을 통한 가동범위가 상대적으로 넓은 프리웨이트 운동을 안전한 방식으로 가능하도록 하는 프리웨이트 운동 동작 분석 및 피드백 시스템에 관한 것이다.The present invention relates to a free weight exercise motion analysis system using a hybrid detection method using a motion sensor and an EMG sensor, and more particularly, a complex motion motion using a motion sensor and a muscle sensor. It relates to a free weight motion motion analysis and feedback system that enables a free weight motion with a relatively wide range of motion through analysis in a safe manner.

Description

모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템{Using the gesture and EMG sensing data, motion analysis system of free weight exercise by hybrid detection method}Using the gesture and EMG sensing data, motion analysis system of free weight exercise by hybrid detection method}

본 발명은 모션 센서(gesture sensor)와 근육 센서(EMG sensor)를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템에 관한 것으로서, 더욱 상세하게는 모션 센서와 근육 센서를 이용하여 복합형 운동 동작 분석을 통한 가동범위가 상대적으로 넓은 프리웨이트 운동을 안전한 방식으로 가능하도록 하는 프리웨이트 운동 동작 분석 및 피드백 시스템에 관한 것이다.The present invention relates to a free weight exercise motion analysis system using a hybrid detection method using a motion sensor and an EMG sensor, and more particularly, a complex motion motion using a motion sensor and a muscle sensor. It relates to a free weight motion motion analysis and feedback system that enables a free weight motion with a relatively wide range of motion through analysis in a safe manner.

최근 소득수준의 향상 및 외모에 대한 관심이 증가하면서 꾸준한 운동을 통해 몸매를 관리하고자 하는 인구가 증가하고 있으며 몸매가 드러나는 옷을 착용하거나 각선미를 뽐내기 위해 헬스나 그 외 운동시설에서 많은 시간을 투자하는 실정이다.Recently, as income level has improved and interest in appearance has increased, the number of people who want to manage their body through constant exercise is increasing, and they spend a lot of time in fitness or other sports facilities to wear clothes that show their body or to show off their legs. Actually.

자세교정이나 웨이트 트레이닝과 관련된 운동은 크게 기구운동과 프리웨이트 운동으로 구분할 수 있다. Exercises related to posture correction or weight training can be largely divided into mechanical exercise and free weight exercise.

가장 운동효과가 좋은 기구 운동은 벤치프레스(Bench press)이고 프리웨이트운동에는 데드리프트(Dead lift)와 스쿼트(Squat) 운동이 있으며 이들 세 가지를 헬스 운동의 3대 운동으로 불리고 있다.The most effective mechanical exercise is the bench press, and the free weight exercise includes dead lift and squat, and these three are called the three major exercise of fitness exercise.

다양한 신체부위 중에서 특히, 힙라인과 다리라인을 살리기 위해 스쿼트 운동이 많이 실시되는데 외국에서는 'shut up and squat'라는 유행어가 번질 정도로 스쿼트는 전세계인들에게 사랑을 받는 운동이며 'king of exercise' 로 불릴 정도이다.Among the various body parts, squat exercises are practiced a lot to save the hip line and leg line. In foreign countries, the buzzword'shut up and squat' spreads so that squat is loved by people all over the world, and it is called the'king of exercise'. It is enough to be called.

스쿼트 운동이란 허벅지가 무릎과 수평이 될 때까지 앉았다 섰다 하는 동작으로 헬스장뿐만 아니라 요가학원, 필라테스학원, 스포츠 병원, 재활병원 등에서 하체운동을 위한 기본 운동으로 수행된다.Squat exercise is a motion of sitting and standing until the thigh is level with the knee. It is performed as a basic exercise for lower body exercise in yoga academy, Pilates academy, sports hospital, and rehabilitation hospital as well as a gym.

스쿼트 운동은 각선미 보정 및 근력강화에 효과가 뛰어나지만 신체부상을 입을 가능성이 높은 고강도 운동이므로 반드시 올바른 자세와 부상에 대한 대비가 이루어진 상태에서 운동에 임해야 한다.Squat exercise is excellent for correcting legs and strengthening muscle strength, but it is a high-intensity exercise that is highly likely to cause body injuries, so you must work out in the correct posture and in a state of being prepared for injuries.

올바른 스쿼트 자세는 무릎이 두 번째 발끝 앞으로 나오지 않게 주의하면서 무릎과 허벅지의 선이 수직을 이룰때까지 앉는 것이지만 스쿼트 운동의 실시동안 변형된 무릎과 골반의 움직임과 바르지 못한 스쿼트 자세는 요통 및 무릎통증을 유발할 수 있다.The correct squat posture is to sit until the knee and thigh line is perpendicular, taking care not to bring the knee forward in front of the second toe, but the deformed knee and pelvis movement and improper squat posture during the squat exercise may cause back pain and knee pain. I can.

따라서 스쿼트 운동 시 올바른 자세는 매우 중요한 요소이며 최근 스쿼트는 운동뿐만 아니라, 올바르지 못한 하체의 움직임과 전반적인 자세를 평가할 수 있는 의학적 테스트 방법으로도 사용되고 있는 실정이다.Therefore, correct posture is a very important factor in squat exercise, and recently, squat is used not only as exercise but also as a medical test method to evaluate incorrect lower body movement and overall posture.

시중에 출시된 스쿼트운동을 위한 기구들은 단순히 신체에 하중을 높이기 위한 웨이트와 본체로 구성되어 있으므로 신체의 정렬 및 운동 분석을 확인하거나 올바른 움직임을 위한 피드백을 주기에는 한계가 있다.Since the devices for squat exercise on the market are simply composed of a weight and a body to increase the load on the body, there is a limit to confirming the alignment of the body and analyzing the movement or giving feedback for correct movement.

스쿼트 운동 시 움직임을 분석할 수 있는 툴(FMS KIT)은 치료사의 눈으로만 확인을 하기 때문에 객관적이지 못하며 치료사의 개인적 역량에 의존하는 등의 일관성에 대한 문제점이 있으며 개인 트레이닝시 비용 부담이 많이 발생 한다는 단점이 있다.The tool that can analyze movement during squat exercise (FMS KIT) is not objective because it is checked only by the therapist's eyes, and there are problems with consistency, such as relying on the therapist's personal competence, and incurring a lot of cost during personal training There is a drawback.

스쿼트 운동 시 다리의 정렬이 바르지 못하면 무릎관절에 부하가 증가되어 무릎부의 부상을 야기시키며, 체중의 중심이 앞으로 기울게 된다면 허리의 부상을 높이게 되므로 신체 손상을 막기 위해 스쿼트 운동 시 올바른 신체의 정렬은 중요하다.Incorrect alignment of the legs during squat exercise increases the load on the knee joint and causes knee injury.If the center of weight is tilted forward, the injury to the lower back increases.Therefore, correct alignment of the body during squat exercise is important to prevent body damage. Do.

따라서, 스쿼트운동 시 부상 방지와 올바른 신체의 정렬을 위해 잘못된 움직임을 분석해 주고 올바른 운동을 할수 있도록 피드백을 줄 수 있는 시스템이 필요하며 그에 따라 운동의 흥미를 위한 휴먼 인터페이스기능, ICT기능을 통한 운동성취효과 기록 및 데이터베이스화, 자세 모니터링을 통한 운동효과 극대화 방안 등이 요구되는 실정이다.Therefore, a system that can analyze incorrect movements and give feedback so that correct movements can be performed is needed to prevent injury and correct body alignment during squat exercise.Accordingly, exercise achievement through human interface function and ICT function for exercise interest There is a need for a way to maximize exercise effect through recording and database of effects, and posture monitoring.

결국, 본 발명에서는 상기한 스쿼트운동 뿐만 아니라, 프리웨이트 운동 동작을 분석하여 운동자에게 피드백 해줌으로써, 올바른 신체의 정렬을 유도하여 이에 따른 신체 손상을 방지할 수 있는 시스템을 제안하게 된 것이다. 또한 생성된 프리웨이트 운동모델은 로봇 모션제어, VR 환경 설계, 최적 운동 모션 확립을 위한 솔루션 개발을 위한 기초데이터로 활용될 수 있다.In the end, the present invention proposes a system capable of inducing correct body alignment and preventing damage to the body by analyzing the above-described squat exercise as well as the free weight exercise motion and feeding back to the exerciser. In addition, the generated free weight motion model can be used as basic data for robot motion control, VR environment design, and solution development for establishing optimal motion motion.

대한민국특허공개공보 10-2016-0094060호Korean Patent Publication No. 10-2016-0094060

따라서, 본 발명은 상기 종래의 문제점을 해소하기 위해 안출된 것으로,Therefore, the present invention was devised to solve the above conventional problems,

본 발명의 목적은 모션 센서와 근육 센서를 이용하여 복합형 운동 동작 분석을 통한 안전한 프리웨이트 운동이 가능하도록 하는데 있다.An object of the present invention is to enable a safe free weight exercise through a complex exercise motion analysis using a motion sensor and a muscle sensor.

본 발명이 해결하고자 하는 과제를 달성하기 위하여, 본 발명의 일실시예에 따른 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템은,In order to achieve the problem to be solved by the present invention, the free weight exercise motion analysis system by a hybrid detection method using a motion sensor and a muscle sensor according to an embodiment of the present invention,

두 대 이상의 카메라를 포함하여 구성되며, 이를 통해 깊이 지도를 계산하며, 운동 동작 상태를 분석하기 위한 운동동작상태분석장치(100)와,It is configured to include two or more cameras, through which the depth map is calculated, and the motion motion state analysis device 100 for analyzing the motion motion state,

EMG밴드를 포함하여 구성되며, EMG밴드에서 획득된 미세 전기 신호를 필터링한 후, 증폭시켜 무선 통신을 통해 분석제어장치로 제공하기 위한 EMG생체신호장치(200)와,An EMG biological signal device 200 configured to include an EMG band and to filter and amplify the fine electrical signal obtained from the EMG band and provide it to an analysis control device through wireless communication;

상기 운동동작상태분석장치로부터 획득된 프리 웨이트 운동의 운동 동작 상태 정보와 EMG생체신호장치로부터 획득된 EMG 생체신호 정보를 합성하여 운동 정보를 최적화하기 위한 분석제어장치(300)를 포함하여 구성됨으로써, 본 발명의 과제를 해결하게 된다.By comprising an analysis control device 300 for optimizing exercise information by synthesizing the exercise motion state information of the free weight exercise obtained from the exercise motion state analysis device and the EMG biological signal information obtained from the EMG biological signal device, The problem of the present invention is solved.

본 발명에 따른 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템은,The free weight exercise motion analysis system according to the hybrid detection method using a motion sensor and a muscle sensor according to the present invention,

모션 센서와 근육 센서를 이용하여 복합형 운동 동작 분석을 통한 안전한 프리웨이트 운동이 가능하도록 하는 효과를 제공하게 되며, 저장된 디지털 데이터를 이용하여 지능형 로봇이나 동작패턴 분석 및 동작 과정 분석 등에 활용될 수 있게 된다.Motion sensor and muscle sensor are used to provide the effect of enabling safe free weight movement through complex movement motion analysis, and can be used for intelligent robot or motion pattern analysis and motion process analysis using stored digital data. do.

구체적으로, 운동동작 검출(gesture recognition)센서와 근육센서(EMG, electromyogram)를 활용한 복합형 운동동작분석을 통한 안전한 프리웨이트 운동을 제공할 수 있게 되며, 가동범위가 넓은 프리웨이트운동은 특히 자세가 중요하므로 인체의 허용범위와 역학적 하중의 피드백신호에 의한 제한을 통해 안전한 프리웨이트 운동이 가능하도록 하며, 프리웨이트운동에서 중요한 인체 균형과 운동범위를 수치적 모니터링을 통해 일정운동시간이 지난 후 근육의 피로도를 누적 산출하여 운동량을 측정함으로서 안전한 운동을 지원하도록 하는 인체모니터링 피드백 기능을 제공하며, 다양한 근육의 자극을 통한 운동효과를 극대화하기 위한 운동 프로그램에 대한 다양하고 많은 데이터를 확보함으로서 지능형 장치 개발을 위한 자료로서 활용이 가능하며, 프리웨이트운동의 오류패턴을 보정하기 위한 데이터 확보를 통한 운동자세 교정 자료로 활용이 가능하게 된다.Specifically, it is possible to provide safe free weight exercise through complex exercise motion analysis using a gesture recognition sensor and a muscle sensor (EMG, electromyogram). As is important, safe free weight exercise is possible by limiting the allowable range of the human body and the feedback signal of the mechanical load, and the muscles after a certain exercise time through numerical monitoring of the body balance and range of motion, which are important in free weight exercise. It provides a human body monitoring feedback function that supports safe exercise by measuring the amount of exercise by accumulating the fatigue level of the body, and developing an intelligent device by acquiring a variety of data on the exercise program to maximize the exercise effect through stimulation of various muscles. It can be used as data for the exercise, and it can be used as exercise posture correction data by securing data to correct the error pattern of free weight exercise.

도 1은 본 발명의 일실시예에 따른 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템의 전체 구성도이다.
도 2는 본 발명의 일실시예에 따른 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템의 운동동작상태분석장치 블록도이다.
도 3은 두 대의 카메라를 이용하여 스테레오 영상을 획득하는 예시도이다.
도 4는 두 대의 카메라를 이용하여 대응점을 찾는 예시도이다.
도 5는 구조 광을 사용하는 무늬의 예시도이다.
도 6은 모션인식을 위한 인체 관절 예시도이다.
도 7은 두 가지 샘플 동작으로 오른손 푸시 업과 왼손 웨이브형태를 동작인식시켜 나타낸 예시도이다.
도 8은 본 발명의 일실시예에 따른 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템의 EMG생체신호장치 블록도이다.
도 9는 본 발명의 일실시예에 따른 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템의 차동증폭기의 회로도이다.
도 10은 본 발명의 일실시예에 따른 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템의 EMG생체신호장치의 개념 구성도이다.
도 11은 본 발명의 일실시예에 따른 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템의 분석제어장치의 프리웨이트 운동에 대한 운동동작과 EMG 생체신호 데이터를 합성하여 데이터를 획득하여 최적화하는 과정을 나타낸 흐름도이다.
도 12는 본 발명의 일실시예에 따른 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템의 접지 루프 회로도이다.
1 is an overall configuration diagram of a system for analyzing a motion of a free weight motion using a hybrid detection method using a motion sensor and a muscle sensor according to an embodiment of the present invention.
2 is a block diagram of a motion motion state analysis apparatus of a free weight motion motion analysis system using a hybrid detection method using a motion sensor and a muscle sensor according to an embodiment of the present invention.
3 is an exemplary diagram of acquiring a stereo image using two cameras.
4 is an exemplary diagram for finding a corresponding point using two cameras.
5 is an exemplary view of a pattern using structured light.
6 is an exemplary diagram of a human body joint for motion recognition.
7 is an exemplary diagram showing motion recognition of a right-hand push-up and a left-hand wave shape with two sample operations.
8 is a block diagram of an EMG biological signal device of a system for analyzing a motion of a free weight motion using a hybrid detection method using a motion sensor and a muscle sensor according to an embodiment of the present invention.
9 is a circuit diagram of a differential amplifier of a free weight motion motion analysis system using a hybrid detection method using a motion sensor and a muscle sensor according to an embodiment of the present invention.
10 is a conceptual configuration diagram of an EMG biological signal device of a free weight exercise motion analysis system using a hybrid detection method using a motion sensor and a muscle sensor according to an embodiment of the present invention.
FIG. 11 is a synthesis of motion motion and EMG biosignal data for the free weight motion of the analysis control device of the free weight motion motion analysis system using a hybrid detection method using a motion sensor and a muscle sensor according to an embodiment of the present invention. This is a flow chart showing the process of acquiring and optimizing data.
12 is a ground loop circuit diagram of a system for analyzing a motion of a free weight motion according to a hybrid detection method using a motion sensor and a muscle sensor according to an embodiment of the present invention.

본 발명의 실시예에 따른 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템은,A free weight exercise motion analysis system using a hybrid detection method using a motion sensor and a muscle sensor according to an embodiment of the present invention,

두 대 이상의 카메라를 포함하여 구성되며, 이를 통해 깊이 지도를 계산하며, 운동 동작 상태를 분석하기 위한 운동동작상태분석장치(100)와,It is configured to include two or more cameras, through which the depth map is calculated, and the motion motion state analysis device 100 for analyzing the motion motion state,

EMG밴드를 포함하여 구성되며, EMG밴드에서 획득된 미세 전기 신호를 필터링한 후, 증폭시켜 무선 통신을 통해 분석제어장치로 제공하기 위한 EMG생체신호장치(200)와,An EMG biological signal device 200 configured to include an EMG band and to filter and amplify the fine electrical signal obtained from the EMG band and provide it to an analysis control device through wireless communication;

상기 운동동작상태분석장치로부터 획득된 프리 웨이트 운동의 운동 동작 상태 정보와 EMG생체신호장치로부터 획득된 EMG 생체신호 정보를 합성하여 운동 정보를 최적화하기 위한 분석제어장치(300)를 포함하여 구성되는 것을 특징으로 한다.It is configured to include an analysis control device 300 for optimizing exercise information by synthesizing the exercise motion state information of the free weight exercise obtained from the exercise motion state analysis device and the EMG biological signal information obtained from the EMG biological signal device. It is characterized.

이때, 상기 분석제어장치(300)는,At this time, the analysis control device 300,

프리웨이트 운동의 운동 동작 상태 정보와 EMG 생체신호 정보를 검출하여 이를 최적화하고 데이터베이스화하여 모니터링하고 사용자에게 피드백함으로서, 동작 범위가 크고 안전한 운동을 모니터링할 수 있는 것을 특징으로 한다.It is characterized by detecting and optimizing the exercise motion state information and EMG bio-signal information of the free weight exercise, converting it into a database, monitoring it, and giving feedback to the user, so that it is possible to monitor a safe exercise with a large motion range.

이때, 상기 운동동작상태분석장치(100)는,At this time, the motion motion state analysis device 100,

운동자의 운동 영상을 촬영하기 위한 적어도 두 대 이상의 카메라;와At least two or more cameras for photographing an exercise image of an athlete; And

상기 두 대의 카메라로부터 획득된 영상에서 동일한 특징을 가지는 대응점을 판단하여 시차 지도를 계산하고, 계산된 시차 지도를 거리로 환산하여 깊이 지도를 계산하기 위한 깊이지도계산부;와A depth map calculation unit for calculating a parallax map by determining a corresponding point having the same characteristic in the images obtained from the two cameras, and calculating a depth map by converting the calculated parallax map into a distance; And

상기 카메라를 통해 입력된 이미지에 대한 운동 동작 상태를 분석하기 위한 운동동작상태분석부;를 포함하여 구성되는 것을 특징으로 한다.It characterized in that it comprises a; motion motion state analysis unit for analyzing the motion motion state of the image input through the camera.

이때, 상기 EMG생체신호장치(200)는,At this time, the EMG biological signal device 200,

운동자의 근육에 부착되어 근육에 흐르는 미세 전기 신호를 획득하기 위한 EMG밴드;와EMG band for acquiring a microelectrical signal that is attached to the muscle of the exerciser and flowing through the muscle; and

상기 EMG밴드에서 획득된 미세 전기 신호를 필터링하고, 필터링된 신호를 증폭시키기 위한 필터링증폭부;와Filtering amplification unit for filtering the fine electrical signal obtained from the EMG band and amplifying the filtered signal; And

상기 증폭된 신호를 획득하여 무선통신을 통해 분석제어장치로 제공하기 위한 임베디드부;를 포함하여 구성되는 것을 특징으로 한다.And an embedded unit for acquiring the amplified signal and providing it to the analysis control device through wireless communication.

이하, 본 발명에 의한 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템의 실시예를 통해 상세히 설명하도록 한다.Hereinafter, it will be described in detail through an embodiment of a system for analyzing a free weight motion motion using a hybrid detection method using a motion sensor and a muscle sensor according to the present invention.

본 발명에서 설명하고 있는 스쿼트 운동은 하지의 근육을 훈련하고 체간과 하체 근력을 강화하기 위한 중요한 프리웨이트 운동이지만 신체의 가동범위가 넓고 제어장치가 없는 상황에서 운동 시에 발생할 수 있는 부상방지와 올바른 신체의 정렬을 위해 잘못된 움직임을 분석해 주고 올바른 운동을 할 수 있도록 피드백을 줄 수 있는 장치가 필요하다. The squat exercise described in the present invention is an important free weight exercise for training the muscles of the lower extremities and strengthening the trunk and lower body muscles. There is a need for a device that can analyze incorrect movements for alignment of the body and give feedback so that correct movements can be performed.

이를 위해서 모션센서와 근육센서를 활용한 하이브리드 검출장치에 의한 프리웨이트운동 동작분석시스템을 통해 가동범위가 넓은 프리웨이트의 운동 상태 모니터링 기능을 제공하게 된다.To this end, a free weight motion analysis system using a hybrid detection device using a motion sensor and a muscle sensor provides a function of monitoring the motion state of a free weight with a wide range of motion.

또한, 저장된 디지털데이터는 향후 지능형 로봇이나 동작패턴분석 및 동작과정에 활용될 수 있다.In addition, the stored digital data can be used in future intelligent robots or motion pattern analysis and motion processes.

그리고, 스쿼트운동 시에 다리의 정렬이 바르지 못하면 무릎관절에 부하가 증가되어 무릎부위의 부상을 야기시키며, 체중의 중심이 앞으로 기울게 된다면 허리의 부상을 높이게 되므로 신체 손상을 막기 위해 스쿼드운동 시 올바른 신체의 정렬은 중요한 요소이다.In addition, if the leg alignment is not correct during squat exercise, the load on the knee joint increases, causing injury to the knee area, and if the center of weight is tilted forward, it increases the injury to the lower back. Alignment is an important factor.

이를 확인하기 위하여 상기와 같은 모션센서와 근육센서를 이용하게 되는 것이다.In order to check this, the motion sensor and the muscle sensor as described above are used.

도 1은 본 발명의 일실시예에 따른 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템의 전체 구성도이다.1 is an overall configuration diagram of a system for analyzing a motion of a free weight motion using a hybrid detection method using a motion sensor and a muscle sensor according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템은 크게, 운동동작상태분석장치(100)와, EMG생체신호장치(200)와, 분석제어장치(300)를 포함하여 구성된다.As shown in Fig. 1, the free weight exercise motion analysis system based on a hybrid detection method using a motion sensor and a muscle sensor is largely a motion motion state analysis device 100, an EMG biological signal device 200, and an analysis It is configured to include a control device (300).

하기에서는 상기 운동동작상태분석장치(100)는 모션 센서로 정의하고자 하며, 상기 EMG생체신호장치(200)는 근육 센서로 정의하고자 한다.In the following, the motion motion state analysis device 100 is to be defined as a motion sensor, and the EMG biological signal device 200 is to be defined as a muscle sensor.

상기 운동동작상태분석장치(100)는 두 대 이상의 카메라를 포함하여 구성되며, 이를 통해 깊이 지도를 계산하며, 운동 동작 상태를 분석하게 되는 것이다.The motion motion state analysis apparatus 100 includes two or more cameras, calculates a depth map through this, and analyzes the motion motion state.

그리고, 상기 EMG생체신호장치(200)는 EMG밴드를 포함하여 구성되며, EMG밴드에서 획득된 미세 전기 신호를 필터링한 후, 증폭시켜 무선 통신을 통해 분석제어장치로 제공하기 위한 기능을 수행하게 된다.In addition, the EMG biological signal device 200 includes an EMG band, and performs a function of filtering and amplifying the fine electrical signal obtained from the EMG band and providing it to an analysis control device through wireless communication. .

따라서, 상기 분석제어장치(300)는 상기 운동동작상태분석장치로부터 획득된 프리 웨이트 운동의 운동 동작 상태 정보와 EMG생체신호장치로부터 획득된 EMG 생체신호 정보를 합성하여 운동 정보를 최적화하게 되는 것이다.Accordingly, the analysis control device 300 optimizes the exercise information by synthesizing the motion motion state information of the free weight exercise obtained from the motion motion state analysis device and the EMG biological signal information obtained from the EMG biological signal device.

본 발명에서 설명하고 있는 프리웨이트 운동은 스쿼트(Squat), 데드리프드(Dead lift), 푸쉬-업 (Push-up)등이며, 정해진 궤도로 움직이는 머신 운동과는 달리 신체 각 분절의 흔들림을 제어하기 때문에 근육의 협응력(Coordination) 및 근육두께(Muscle mass) 증대, 체지방 감소에 효과적이지만, 운동조절 또는 중량조절 실패로 인한 부상 위험 존재한다. The free weight exercise described in the present invention is a squat, dead lift, push-up, etc., and, unlike a machine exercise moving in a fixed trajectory, the shaking of each segment of the body is controlled. Therefore, it is effective in increasing muscle coordination and muscle mass and reducing body fat, but there is a risk of injury due to failure to control exercise or weight.

프리웨이트 운동으로 인한 부상은 크게 기능적 한계, 신체 불균형으로 인해 발생되는데 이로 인해, 운동 수행능력의 감소, 근골격계 통증이 발현되게 되므로 오류운동패턴(Faulty movement pattern)을 분석하여 미연에 방지하는 프리 웨이트 트레이닝을 위한 평가모형이 요구된다. Injuries caused by free weight exercise are largely caused by functional limitations and body imbalance, which leads to decrease in exercise performance and musculoskeletal pain, so free weight training that analyzes faulty movement patterns and prevents them in advance. An evaluation model for this is required.

또한, 프리웨이트 운동은 주요 근육만 향상시키는 운동이 아닌 여러 관절을 동시에 동원하는 복합관절 운동으로 의료기기, VR, 원격의료서비스, Big data 기반 운동량 분석, 로봇 동작 체계 확립 등 헬스케어 산업의 급속한 발달은 프리웨이트 트레이닝의 체계적, 객관적, 수치 정량화된 분석방법이 필요하다.In addition, free weight exercise is a complex joint exercise that mobilizes multiple joints at the same time, not just an exercise that improves major muscles, and is a rapid development of the healthcare industry such as medical devices, VR, telemedicine services, analysis of momentum based on big data, and establishment of a robot motion system. Requires a systematic, objective, and numerically quantified analysis method of free weight training.

도 2는 본 발명의 일실시예에 따른 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템의 운동동작상태분석장치 블록도이다.2 is a block diagram of a motion motion state analysis apparatus of a free weight motion motion analysis system using a hybrid detection method using a motion sensor and a muscle sensor according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 운동동작상태분석장치(100)는,As shown in Figure 2, the motion motion state analysis device 100,

운동자의 운동 영상을 촬영하기 위한 적어도 두 대 이상의 카메라(110);와At least two or more cameras 110 for photographing an exercise image of an athlete; And

상기 두 대의 카메라로부터 획득된 영상에서 동일한 특징을 가지는 대응점을 판단하여 시차 지도를 계산하고, 계산된 시차 지도를 거리로 환산하여 깊이 지도를 계산하기 위한 깊이지도계산부(120);와A depth map calculator 120 for calculating a parallax map by determining a corresponding point having the same characteristic in the images acquired from the two cameras, and calculating a depth map by converting the calculated parallax map into a distance; And

상기 카메라를 통해 입력된 이미지에 대한 운동 동작 상태를 분석하기 위한 운동동작상태분석부(130);를 포함하여 구성되는 것을 특징으로 한다.It characterized in that it comprises a; motion motion state analysis unit 130 for analyzing the motion motion state of the image input through the camera.

컴퓨터를 활용한 영상 활용기술 중에서 3차원 비전처리기술이 중요한 역할을 하며, 운동 동작을 분석하는데 있어 매우 중요한 적용기술 중의 하나이다.Among the image application technologies using computers, 3D vision processing technology plays an important role, and is one of the very important applied technologies in analyzing motion movements.

운동 동작으로 표현되는 제스처, gesture는 상징적 기능을 하는 신체적, 음성적, 감정적 동작 또는 표현을 의미하며 몸짓으로 표현되며 사전적 의미는 표현의 수단으로서 팔다리 또는 신체의 사용하는 것이고 또한 생각, 감정, 태도를 표현하거나 강조하는 신체나 팔다리의 움직임이라고 정의할 수 있다. Gestures expressed as movement movements mean physical, voice, and emotional movements or expressions that function as symbolic, and are expressed as gestures, and the dictionary meaning is the use of limbs or body as a means of expression, and also thoughts, emotions, and attitudes. It can be defined as the movement of the body or limb to express or emphasize.

이러한 운동동작 인식 기술은 컴퓨터나 로봇이 자율적으로 인간의 행동을 분석하고 인지하는 기술이고 인체 각 부위가 시간의 경과에 따라 어떻게 변화하는가를 자동으로 분석하고, 그 변화를 추상적인 의미로 해석하는 것 컴퓨터를 조작하기 위한 모든 움직임이 해당한다.This motion recognition technology is a technology in which a computer or a robot autonomously analyzes and recognizes human behavior, and automatically analyzes how each part of the body changes over time and interprets the change in an abstract sense. Any movement to manipulate the computer is true.

운동동작을 인식하기 위한 영상의 깊이를 획득하는 방법은 두 가지 방법이 있다. There are two methods of acquiring the depth of an image for recognizing a motion motion.

이 중 수동적 방법은 두 대 또는 그 이상의 카메라를 사용하여 여러 영상을 획득한 후 그들을 분석하여 깊이 정보를 알아내는 접근방식을 의미하고 능동적인 방법은 장면에 어떤 무늬 또는 파를 쏜 후 그것을 분석하여 깊이를 알아내는 방법이다.Among them, the passive method refers to an approach that acquires multiple images using two or more cameras and analyzes them to find out depth information. The active method shoots a pattern or wave on the scene and analyzes it. How to find out.

두 대 이상의 카메라(110)가 이미지센서로 구성될 수 있는데, 상기 이미지센서는 광자를 전자로 전환하여 디스플레이로 표시하거나 저장장치에 저장할 수 있게 하는 반도체로서 수광 신호를 전기 신호로 변환시키는 수광 소자, 변환된 전기 신호를 증폭 및 압축하는 픽셀 회로 부분과 이렇게 전처리된 아날로그 신호를 디지털로 변환하여 이미지신호를 처리하는 ASIC 부분으로 구성되며, CCD, CMOS, CIS(Contact Image Sensor) 등의 종류가 있다.Two or more cameras 110 may be configured as image sensors, the image sensor being a semiconductor that converts photons into electrons and displays them on a display or stores them in a storage device, and a light-receiving element that converts a light-receiving signal into an electrical signal, It consists of a pixel circuit part that amplifies and compresses the converted electrical signal and an ASIC part that processes image signals by converting the preprocessed analog signal to digital, and there are types such as CCD, CMOS, and CIS (Contact Image Sensor).

운동동작을 인식하기 위한 스테레오 영상은 인간의 시각체계를 모방해 두 대 이상의 카메라를 사용하여 3차원 영상과 정보를 추출하는 기법으로 사람이 두 눈을 사용하여 거리를 계측하는 원리와 비슷하며 두 카메라의 시선을 맞추어둠으로써 대응점을 찾는 문제를 용이하게 한다.The stereo image for recognizing motion motion is a technique that extracts 3D images and information using two or more cameras by imitating the human visual system.It is similar to the principle that a person measures the distance using two eyes. Facilitating the problem of finding a corresponding point by keeping the eyes of the person in mind.

도 3은 두 대의 카메라를 이용하여 스테레오 영상을 획득하는 예시도이다.3 is an exemplary diagram of acquiring a stereo image using two cameras.

도 4는 두 대의 카메라를 이용하여 대응점을 찾는 예시도이다.4 is an exemplary diagram for finding a corresponding point using two cameras.

도 3에 도시한 바와 같이, 두 대의 카메라를 사용하여 스테레오 시스템을 만드는 단계는 먼저 렌즈의 방사 왜곡과 접선왜곡을 제거하고 두 카메라 사이의 각도와 거리를 조절한다. As shown in FIG. 3, in the step of making a stereo system using two cameras, radiation distortion and tangential distortion of the lens are first removed, and the angle and distance between the two cameras are adjusted.

즉, 상기 깊이지도계산부(120)를 통해 두 대의 카메라로부터 획득된 영상에서 동일한 특징을 가지는 대응점을 판단하여 시차 지도를 계산하고, 계산된 시차 지도를 거리로 환산하여 깊이 지도를 계산하게 된다.That is, the depth map calculation unit 120 calculates a parallax map by determining a corresponding point having the same characteristic in an image obtained from two cameras, and calculates a depth map by converting the calculated parallax map into a distance.

구체적으로 설명하면, A-camera와 B-camera 영상에서 동일한 특징을 가지는 대응점을 찾으며, 이를 통해 시차 지도를 구한다. Specifically, a corresponding point having the same characteristics is found in the A-camera and B-camera images, and a parallax map is obtained through this.

카메라 놓여있는 상태를 기반으로 삼각법을 이용하여 시차 지도를 거리로 환산하고, 이 과정을 재투영이라고 하며, 이를 통해 깊이지도를 구한다. The parallax map is converted to a distance using a trigonometric method based on the camera position, and this process is called reprojection, and a depth map is obtained through this.

대상물체까지의 거리를 Z라고 하면

Figure 112017131276451-pat00001
라 할 수 있으며, 삼각비를 적용하면, 물체까지의 거리(깊이) ZW
Figure 112017131276451-pat00002
가 된다.If the distance to the object is Z,
Figure 112017131276451-pat00001
If you apply the trigonometric ratio, the distance (depth) Z W to the object is
Figure 112017131276451-pat00002
Becomes.

Xi와 f는 알려진 값이지만 Xw는 알려지지 않은 값이므로 ZW의 조건식은 되지만 ZW를 확정할 수 없으며 이는 두 대의 카메라를 가진 스테레오 기하로 확장된다. Xi and f are known, but the value Xw is a condition of unknown value, so Z is W, but can not confirm the Z W which extends to the stereo geometry with two cameras.

능동센서 스테레오 영상에서는 카메라에 들어오는 빛정보를 수동적으로 받아들이는 역할만을 수행하지만 능동센서(active sensor)의 경우는 장면에 능동적으로 무엇인가를 투사하여 되돌아오는 신호로부터 거리를 알아내는 역할을 수행한다.Active sensor In stereo image, it only plays a role of passively receiving light information coming into the camera, but in the case of active sensor, it plays a role of finding the distance from the returning signal by actively projecting something onto the scene.

구조광은 스테레오에서 카메라 한 대를 프로젝터로 대치하고 프로젝터는 대응점을 찾기 쉽게 설계된 정교한 패턴을 투사한다.(도 4 참조)Structured light replaces a camera with a projector in stereo, and the projector projects a sophisticated pattern designed to make it easier to find a corresponding point (see Fig. 4).

따라서, 대응점을 이용하여 깊이의 계산은 다음의 수식1과 같다.Therefore, the calculation of the depth using the corresponding point is as Equation 1 below.

Figure 112017131276451-pat00003
(수식1)
Figure 112017131276451-pat00003
(Equation 1)

구조 광이 사용하는 무늬 모든 점은 다른 것과 구별되도록 고유한 패턴을 가지며 대응점 찾기가 용이하다. Patterns used by structured light Every point has a unique pattern to distinguish it from others, and it is easy to find a corresponding point.

구조 광이 사용하는 무늬는 예를 통해서 흑백무늬와 그에 따른 3색 무늬의 대응점의 차이를 확인할 수 있다.(도 5 참조)As for the pattern used by the structured light, the difference between the corresponding point of the black and white pattern and the corresponding three-color pattern can be confirmed through an example (see FIG. 5)

도 5는 구조 광을 사용하는 무늬의 예시도이다.5 is an exemplary view of a pattern using structured light.

마이크로소프트웨어사의 키네트의 경우는 적외선을 투사하여 눈에 보이지 않도록 하고 있다. In the case of Microsoftware's keynet, infrared rays are projected to make it invisible.

또한, 480*640의 RGB 영상과 깊이 영상을 30fps로 동시에 획득할 수 있으며 획득 영상의 깊이는 실내환경에 국한하여 대략 0.8~3.0미터를 측정할 수 있다. In addition, a 480*640 RGB image and a depth image can be simultaneously acquired at 30 fps, and the depth of the acquired image can be measured approximately 0.8 to 3.0 meters only in an indoor environment.

시야각은 수평57°, 수직43°정도이며 상하로 27°정도를 기울일 수 있다.The viewing angle is about 57° horizontally and 43° vertically, and can be tilted up and down by 27°.

키네트센서를 이용한 동작인식 센서는 적외선 조명기에서 적외선을 방출하여 적외선 반사를 통한 대상자를 스캔하고 물체에 반사되는 적외선을 CMOS카메라 인식기술을 통해 심도(Depth)를 인식해서 이미지 처리를 수행하여 센서를 통한 플레이와의 거리 인식한다.(도 6 참조)The motion recognition sensor using a keynet sensor emits infrared rays from an infrared illuminator, scans the subject through infrared reflection, and recognizes the depth of infrared rays reflected by the object through CMOS camera recognition technology, and performs image processing to detect the sensor. Recognize the distance from the play through (see Fig. 6).

도 6은 모션인식을 위한 인체 관절 예시도이다.6 is an exemplary diagram of a human body joint for motion recognition.

또한, 컬러 이미지 CMOS카메라에서 인식된 색과 위의 정보를 모아서 스켈레톤 형태로 동작을 처리하여 실시간 플레이어 동작 정보 인식한다. In addition, the color recognized by the color image CMOS camera and the above information are collected, and the motion is processed in the form of a skeleton to recognize real-time player motion information.

이미지 센서는 구조에 따라 크게 CCD(전하결합소자, Charge Coupled Device)형과 CMOS (상보성 금속산화물반도체, Complementary Metal Oxide Semiconductor)형으로 나눌 수 있다.Image sensors can be largely divided into CCD (Charge Coupled Device) type and CMOS (Complementary Metal Oxide Semiconductor) type according to their structure.

4개의 화소를 가진 CCD형 이미지 센서는 광학 렌즈에 의해 이미지 센서의 표면에 영상이 맺히면, 각 화소는 정해진 시간(1field) 동안 그 위치에 들어온 빛의 세기에 비례하는 수의 신호 전자 그룹을 만든다. In a CCD-type image sensor with 4 pixels, when an image is formed on the surface of the image sensor by an optical lens, each pixel creates a number of signal electron groups proportional to the intensity of light entering the position for a specified time (1 field). .

CCD형의 가장 큰 특징은 빛에 의해 각 화소에서 발생한 신호 전자 그룹을, CCD 구조의 게이트에 인가된 펄스에 의해 출력부로 이동시켜 출력부에서 전압으로 변환시킨 후 차례대로 내보내는 것이다. The biggest feature of the CCD type is that a group of signal electrons generated in each pixel by light is moved to the output section by a pulse applied to the gate of the CCD structure, converted into a voltage at the output section, and then sent out sequentially.

즉, 각 화소에서 발생한 전자의 수는 출력부에 이르기까지 빛에 관한 정보가 된다.That is, the number of electrons generated in each pixel becomes information about light up to the output unit.

CDS(Correlated Double Sampling), AGC(Auto Gain Control), A/D 변환기(Analog to Digital Converter) 등과 같이 CCD형 이미지 센서의 외부에 있던 기능들이, CMOS형 이미지 센서에서는 칩 내부로 집적될 수 있다.Functions outside the CCD type image sensor, such as CDS (Correlated Double Sampling), AGC (Auto Gain Control), and A/D converter (Analog to Digital Converter), can be integrated into the chip in the CMOS type image sensor.

또한 칩 구동 신호를 만들어 주는 TG(Timing Generator)도 칩 내부에 집적될 뿐만 아니라 구동 전압이 낮기 때문에 모든 기능을 원칩화 할 수 있다는 점이 CMOS형 이미지 센서의 가장 큰 장점이다.In addition, the TG (Timing Generator), which generates the chip driving signal, is also integrated inside the chip, and because the driving voltage is low, all functions can be converted into one-chip, which is the biggest advantage of a CMOS image sensor.

한편, 부가적인 양상에 따라, 상기 운동동작상태분석장치(100)는 IR light 카메라를 더 포함하여 구성되는 것을 특징으로 한다.On the other hand, according to an additional aspect, the motion motion state analysis device 100 is characterized in that it is configured to further include an IR light camera.

즉, 상기 2 개의 카메라는 스테레오 영상을 획득하기 위한 것이라면, 상기 IR light 카메라는 깊이(depth)를 분석하기 위한 것이다.That is, if the two cameras are for obtaining a stereo image, the IR light camera is for analyzing a depth.

물론 두 대의 스테레오 카메라를 통해서도 획득 가능하지만, 필요에 따라 상기 IR light 카메라를 추가적으로 구성함으로써, 좀 더 정확한 깊이를 분석할 수 있게 되는 것이다.Of course, it can be obtained through two stereo cameras, but by additionally configuring the IR light camera as necessary, it is possible to analyze the depth more accurately.

상기 IR light 카메라는 외부로부터 빛의 공급이 없이도 물체가 방사하는 복사에너지를 모아 적절한 변환을 통해 가시화하여 쉽게 인식할 수 있도록 만들어 주는 카메라 장치이다. The IR light camera is a camera device that collects radiant energy emitted by an object without supplying light from the outside, visualizes it through appropriate conversion, and makes it easier to recognize.

가시광선의 유무나 반사되는 빛의 세기 차이로 관측하는 기존의 영상장비와는 다르다. It is different from the existing imaging equipment that observes by the presence or absence of visible light or the difference in the intensity of reflected light.

물체의 단위 면적당, 단위 시간당 방출되는 복사에너지 즉, 복사에미턴스(Radiantemittance 또는 Exitance)의 차이를 영상화하므로 빛이 전혀 없는 야간이라 할지라도 관측이 가능하다. Since the difference in radiant energy emitted per unit area and per unit time, that is, radiant emittance or exitance, is imaged, observation is possible even at night when there is no light at all.

열적외선 카메라의 구성은 사용하는 파장, 요구되는 성능, 검출기, 적외선 검출 방법 등에 따라서 달라진다. The configuration of the thermal infrared camera varies depending on the wavelength used, the required performance, the detector, and the infrared detection method.

열적외선 카메라는 광학렌즈부분, 적외선감지센서부분(μ-Bolometer/ ROIC), 이미지 구현 부분으로 구성된다.The thermal infrared camera consists of an optical lens part, an infrared sensor part (μ-Bolometer/ROIC), and an image realization part.

로봇공학적 관점에서 응용된 HCI 응용프로그램(Human-computer Interaction application)은 동작인식 과정에서 사전에 정의된 관절동작 세트를 활용하는 방법이 주로 이용되고 있다. The HCI application program (Human-computer Interaction application) applied from the viewpoint of robotics is mainly used to utilize a pre-defined set of joint motions in the motion recognition process.

동적 시간 왜곡(DTW, Dynamic time warping)은 템플릿 매칭알고리즘이다. Dynamic time warping (DTW) is a template matching algorithm.

r(i), i=1, 2, 3, 4…i 이고, t(j), j = 1, 2, 3, 4…j 각각 기준벡터( reference vector)와 시험벡터(test vector)로 가정한다. r(i), i=1, 2, 3, 4... i, t(j), j = 1, 2, 3, 4... j Assumes a reference vector and a test vector, respectively.

이를 위치벡터에 대한 정보를

Figure 112017131276451-pat00004
로 표현할 수 있다.This is the information about the position vector.
Figure 112017131276451-pat00004
It can be expressed as

Figure 112017131276451-pat00005
Figure 112017131276451-pat00005

깊이지도계산부는 시험벡터에 대해 모든 기준벡터와의 거리를 계산하고 비교하여 거리가 가장 작은 기준벡터와 시험벡터를 매칭시켜 위치벡터를 산출할 수 있다.The depth map calculator calculates and compares the distances with all reference vectors for the test vector, and can calculate the position vector by matching the reference vector with the smallest distance and the test vector.

Figure 112017131276451-pat00006
Figure 112017131276451-pat00006

상기 운동동작상태분석부(130)는 카메라를 통해 입력된 이미지에 대한 운동 동작 상태를 분석하기 위한 기능을 수행하게 된다.The motion motion state analysis unit 130 performs a function of analyzing the motion motion state of the image input through the camera.

즉, 동작 시퀀스는 N개의 이러한 형태벡터(feature vectors)들의 연결이다. That is, the motion sequence is a concatenation of N of these feature vectors.

전처리 단계는 카메라의 시야(FOV, field of view)에서 사람의 크기와 위치로 인해 형태벡터의 변동을 제거한다. The pre-processing step removes the variation of the shape vector due to the size and position of the person in the field of view (FOV) of the camera.

인체 관절 가중치를 갖는 거리는 특정한 동작 분류로 나타낼 수 있다.The distance with the weight of the human joint can be represented by a specific motion classification.

Figure 112017131276451-pat00007
Figure 112017131276451-pat00007

여기서,

Figure 112017131276451-pat00008
는 관절(joint)별 가중치를 나타낸다. here,
Figure 112017131276451-pat00008
Represents the weight for each joint.

여기서, 도 7은 두 가지 샘플 동작으로 오른손 푸시 업과 왼손 웨이브형태를 동작인식시켜 나타낸 예시도이다.Here, FIG. 7 is an exemplary diagram showing motion recognition of a right-hand push-up and a left-hand wave shape by two sample operations.

즉, 상기 운동동작상태분석부(130)는 카메라를 통해 입력된 이미지에 대한 운동 동작 상태를 분석하게 되는 것이다.That is, the motion motion state analysis unit 130 analyzes the motion motion state of the image input through the camera.

도 8은 본 발명의 일실시예에 따른 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템의 EMG생체신호장치 블록도이다.8 is a block diagram of an EMG biological signal device of a system for analyzing a motion of a free weight motion using a hybrid detection method using a motion sensor and a muscle sensor according to an embodiment of the present invention.

도 8에 도시한 바와 같이, 상기 EMG생체신호장치(200)는,As shown in Figure 8, the EMG biological signal device 200,

운동자의 근육에 부착되어 근육에 흐르는 미세 전기 신호를 획득하기 위한 EMG밴드(210);와EMG band 210 for acquiring a microelectric signal that is attached to the muscle of the exerciser and flowing through the muscle; And

상기 EMG밴드에서 획득된 미세 전기 신호를 필터링하고, 필터링된 신호를 증폭시키기 위한 필터링증폭부(220);와Filtering amplification unit 220 for filtering the fine electrical signal obtained from the EMG band and amplifying the filtered signal; And

상기 증폭된 신호를 획득하여 무선통신을 통해 분석제어장치로 제공하기 위한 임베디드부(230);를 포함하여 구성되는 것을 특징으로 한다.And an embedded unit 230 for acquiring the amplified signal and providing it to the analysis control device through wireless communication.

근육은 신경의 지배를 받으며, 미세한 전류가 항상 흐르고 있다. Muscles are controlled by nerves, and microscopic currents are always flowing.

이러한 근육의 전기적 활성도를 검사하여 근육의 상태 변화를 측정하는 것을 근전도(ElectroMyogram)라고 한다. Measuring the change in muscle state by examining the electrical activity of these muscles is called an electromyogram.

근전도를 검사하는 방법은 침습식과 비침습식이 있으며 비침습식은 피부에 전극을 붙여 근육의 신호를 검출하는 표면 근전도가 있다. There are two types of EMG tests: invasive and non-invasive methods, and non-invasive methods include superficial EMG, which detects muscle signals by attaching electrodes to the skin.

표면 근전도(sEMG)는 피부표면에 전극을 부착하는 측정방식은 근운동단위 한개의 전기적 활동(motor unit action potential trains, MUAPTs)만을 측정하는 바늘 근전도(nEMG)와는 달리 고통없이 편안하게 근운동단위 집합체의 총체적인 시너지 활동을 정량적으로 분석할 수 있어 근골격계 질환관련 재활분야의 활용도가 높다. Surface electromyography (sEMG) is a measurement method in which electrodes are attached to the skin surface. Unlike needle electromyography (nEMG), which measures only one motor unit action potential trains (MUAPs), it is a painless and comfortable group of muscle movement units. It is possible to quantitatively analyze the overall synergistic activity of the musculoskeletal system, which is highly utilized in the rehabilitation field related to musculoskeletal diseases.

근전도는 근육의 구조적 특성이 아닌 기능적 이상 여부를 진단할 수 있다. EMG can diagnose functional abnormalities rather than structural characteristics of muscles.

특히 가장 흔한 근골격계 질환인 반복된 근육사용에 의한 RSI(Repetitive Strain Injury), 과도한 업무가 원인이 되어 발병한 WRMD(Work Related Musculoskeletal Disorder), Trigger point라 불리는 특정근육부위에 통증을 느끼는 Myofascial Pain Syndrome, CFIDS(Chronic Fatigue & Immune Dysfunction Syndrome), Fibromyalgia 등의 진단과 재활훈련시에 표면 근전도의 활용도가 높다.Particularly, the most common musculoskeletal disease, RSI (Repetitive Strain Injury) caused by repeated muscle use, WRMD (Work Related Musculoskeletal Disorder) caused by excessive work, Myofascial Pain Syndrome, which causes pain in a specific muscle area called trigger point, CFIDS (Chronic Fatigue & Immune Dysfunction Syndrome), Fibromyalgia, etc. The use of surface EMG is high in diagnosis and rehabilitation training.

이러한 인간의 생체 신호 중에서 근전도 신호처리는 재활 공학 분야에서 인간의 동작 및 힘 정보 획득을 위해서 활용되고 있으며 인간의 운동에 따라 발생하는 근전도 신호를 추출하여 분석함으로서 실시간 신호처리가 가능하고 생체신호의 획득에 적합한 소형화, 모듈화된 근전도 센서를 통해 생성된 신호를 운동동작센서와 함께 신호처리하여 근육의 피로도를 확보하고 디지털데이터화하여 정보처리할 수 있다.Among these human biological signals, EMG signal processing is used in the field of rehabilitation engineering to obtain human motion and force information, and real-time signal processing is possible by extracting and analyzing EMG signals generated according to human movement, and obtaining bio signals. The signal generated through the miniaturized, modularized EMG sensor suitable for this can be processed together with the motion motion sensor to secure muscle fatigue and digitalized data to process information.

근전도 측정을 위한 전극의 배열은 기준전극과 측정전극사이의 거리가 좁을수록 해당 근육부위의 활동만 모니터링하게 되며(specific-mode), 거리가 멀수록 여러 근육부위의 전반적 활동(general-mode)을 모니터링할 수 있다. The arrangement of electrodes for EMG measurement is to monitor only the activity of the relevant muscle area as the distance between the reference electrode and the measurement electrode decreases (specific-mode), and as the distance increases, the general-mode of various muscle areas is monitored. Can be monitored.

전극은 근육이 있는 어느 위치에나 부착할 수 있다. 프리웨이트 운동 중에는 운동에 사용되는 근육부위에 전극을 부착하여 사용하며, 스트레스 등의 감정, 정서관련 연구 시엔 얼굴 근육부위를 주로 사용할 수 있다. The electrodes can be attached to any location where the muscle is located. During free weight exercise, electrodes are attached to the muscle part used for exercise, and the facial muscle part can be mainly used for studies related to emotions and emotions such as stress.

표면 근전도 분석법에는 RMS, 파워 스펙트럼,Median Frequency, Mean Frequency, RMS-확률분포, RMS 상관함수(cross-correlation), MVIC Normalization. 등이 있다. Surface EMG methods include RMS, power spectrum, median frequency, mean frequency, RMS-probability distribution, RMS cross-correlation, and MVIC normalization. Etc.

특히 RMS는 근수축, 또는 근긴장 정도를 반영하며 Median Frequency는 근육의 피로도 정보를 반영하고 근육 부위간의 상호상관함수(Cross-Correlation)는 근수축 타이밍에 대한 정보를 제공받는다. In particular, RMS reflects muscle contraction or muscle tone, Median Frequency reflects muscle fatigue information, and cross-correlation between muscle regions provides information on muscle contraction timing.

이러한 근전도에 대한 정량적 분석을 활용하면 정상 근육과 비정상 근육의 근전도 특징을 더욱 정확하게 파악할 수 있다. Utilizing this quantitative analysis of EMG can more accurately identify EMG characteristics of normal and abnormal muscles.

최근에는 웨이블렛 분석, 주성분 분석, 비선형동역학 분석, 고차통계분석, 라플라시안 맵핑 등 더욱 다양한 분석법들이 도입되어 표면 근전도의 임상활용에 있어서 sensitivity와 specificity를 강화하고 있는 기술이 활용되고 있다.Recently, more various analysis methods such as wavelet analysis, principal component analysis, nonlinear dynamics analysis, high-order statistical analysis, and Laplacian mapping have been introduced, and technologies that enhance sensitivity and specificity in clinical use of surface EMG are being utilized.

EMG를 센싱하기 위해서는 생체신호를 획득하는 EMG밴드부(210), 필터링증폭부(220), 임베디드부(230)를 포함하여 구성된다.In order to sense the EMG, it includes an EMG band unit 210 for acquiring a bio-signal, a filtering amplification unit 220, and an embedded unit 230.

이때, 상기 임베디드부(230)에는 AD변환단, 디지털신호를 생성하고 이를 블루투스통신으로 무선전송할 수 있는 전송단으로 구성된다.At this time, the embedded unit 230 includes an AD conversion stage and a transmission stage capable of generating a digital signal and transmitting it wirelessly through Bluetooth communication.

신호 측정을 위해 피부에 부착될 전극으로는 표면 근전도 측정에서 많이 쓰여지고 감도가 뛰어난 Ag/Agcl 전극을 사용하고 전극으로부터 양극성 전기신호(주로 근전도)를 검출하기 위해 Bipolar 스냅전극과 접지를 위한 스냅 전극을 사용하여 미세한 표면 EMG 신호를 정밀하게 획득하였다. As an electrode to be attached to the skin for signal measurement, an Ag/Agcl electrode, which is widely used in surface electromyography and has excellent sensitivity, is used, and a bipolar snap electrode and a snap electrode for grounding are used to detect bipolar electrical signals (mainly EMG) from the electrode. Fine surface EMG signals were obtained precisely.

인체의 근육 표피에서 측정되는 EMG 신호는 수백 ~ 수천 μV 로 아주 미세한 전기 신호로 나타나므로 이러한 미세한 근전도 신호를 일반적인 임베디드부(DSP, Micro processor 등)에 전달해 주기 위해서는 DSP에서 처리 가능한 신호 수준으로 획득된 EMG 신호를 증폭해야 한다. The EMG signal measured in the human muscle epidermis appears as a very fine electrical signal with hundreds to thousands of μV, so in order to transmit such a minute EMG signal to a general embedded part (DSP, Microprocessor, etc.), the signal level that can be processed by DSP EMG signal needs to be amplified.

이를 위해서 차등증폭기를 사용하여 근육으로부터 측정된 미세신호를 약 1000배 이상 증폭시킨다. For this, a differential amplifier is used to amplify the micro signal measured from the muscle by about 1000 times or more.

차동증폭기의 회로와 동작은 도 9와 같다.The circuit and operation of the differential amplifier are shown in FIG. 9.

예를 들어, OPAMP의 반전입력 (-)단자와 비반전 입력(+) 단자에 동시에 입력전압이 가해질 때, 차동 증폭기로 구성된다.For example, when an input voltage is simultaneously applied to an inverting input (-) terminal and a non-inverting input (+) terminal of an OPAMP, it is configured as a differential amplifier.

일반적으로 인간의 표면 근전도 신호에서 유용한 정보는 8~500Hz 사이에 분포하는 것으로 알려져 있으므로 증폭된 신호를 아날로그 필터링 한다. In general, useful information in human surface EMG signals is known to be distributed between 8 and 500 Hz, so the amplified signals are analog filtered.

8Hz의 차단주파수를 갖는 고대역 통과필터(HPF: High Pass Filter), 500Hz의 차단주파수를 갖는 저대역 통과필터(LPF: Low Pass Filter) 적용하여 밴드 패스 필터를 설계하여 적용한다. Design and apply a band pass filter by applying a high pass filter (HPF) with a cutoff frequency of 8Hz and a low pass filter (LPF) with a cutoff frequency of 500Hz.

필터링된 신호는 이제 DSP에서 읽어들 일 수 있을 정도의 수백 ~ 수천 mV 정도의 아날로그 신호로 검출된다.The filtered signal is now detected as an analog signal of the order of hundreds to thousands of mV that can be read by the DSP.

디지털로 변환된 EMG 신호는 신호처리가 용이한 장점이 있다.The digitally converted EMG signal has the advantage of easy signal processing.

도 10에 도시한 바와 같이, 밴드에 부착된 여러 개의 EMG전극을 통해 검출된 근육에 흐르는 미세전기신호를 필터링과 증폭을 통해 임베디드부(230)에 전송되고 이를 블루투스 무선통신을 통해 분석제어장치(300)에 전송된다. As shown in FIG. 10, microelectrical signals flowing through the muscles detected through multiple EMG electrodes attached to the band are transmitted to the embedded unit 230 through filtering and amplification, and this is transmitted to the embedded unit 230 through Bluetooth wireless communication. 300).

전송된 신호는 운동 동작신호와 함께 통합적으로 분석되어 동작의 모니터링 데이터로 인식된다. The transmitted signal is integrated together with the motion motion signal and recognized as motion monitoring data.

축적된 데이터를 기반으로 단순 조건 판단뿐만 아니라, 지능형 운동동작을 위한 데이터자료로 활용될 수 있도록 사용자별로 데이터를 자료화하고 이를 피드백신호로 가독화한다.Based on the accumulated data, not only simple condition determination, but also data for each user so that it can be used as data data for intelligent exercise movements, is read as a feedback signal.

한편, 본 발명의 분석제어장치(300)는 상기 운동동작상태분석장치로부터 획득된 프리 웨이트 운동의 운동 동작 상태 정보와 EMG생체신호장치로부터 획득된 EMG 생체신호 정보를 합성하여 운동 정보를 최적화하기 위한 기능을 수행하게 된다.On the other hand, the analysis control device 300 of the present invention is for optimizing the exercise information by synthesizing the exercise motion state information of the free weight exercise obtained from the exercise motion state analysis device and the EMG biosignal information obtained from the EMG biological signal device. Will perform the function.

즉, 다채널신호 운동동작 인식 기술(MSGR, Multi-signal gesture recognition framework)을 적용하게 되는데, 이는 두 개 이상의 신호를 합성하는 방식으로 이루어지며, 이를 위하여 분석제어장치는 신호합성부를 구성하게 된다.That is, multi-channel signal motion recognition technology (MSGR, Multi-signal gesture recognition framework) is applied, which is achieved by synthesizing two or more signals, and for this purpose, the analysis control device constitutes a signal synthesis unit.

이때, 신호합성부는 입력된 이미지의 시제 연속은 상태방정식

Figure 112017131276451-pat00009
으로 나타낼 수 있고, 각각의 추출된 디지털신호, 즉, 센서에서 추출된 벡터
Figure 112017131276451-pat00010
에 대해서 운동동작 상태 이미지는
Figure 112017131276451-pat00011
의 벡터로 나타내고 EMG 생체바이오 신호는
Figure 112017131276451-pat00012
로 나타낸다. At this time, the signal synthesis unit is the state equation
Figure 112017131276451-pat00009
Can be expressed as, and each extracted digital signal, that is, a vector extracted from the sensor
Figure 112017131276451-pat00010
About the motion motion state image
Figure 112017131276451-pat00011
And the EMG bio-bio signal is
Figure 112017131276451-pat00012
Represented by

이때, 다채널 신호 형상벡터는 다음의 수식2와 같다.At this time, the multi-channel signal shape vector is as shown in Equation 2

Figure 112017131276451-pat00013
(수식2)
Figure 112017131276451-pat00013
(Equation 2)

그리고, 프리웨이트 운동에 대한 운동동작과 EMG 생체신호 데이터를 합성하여 데이터를 획득하여 최적화하는 과정은 도 11과 같다.In addition, a process of obtaining and optimizing data by synthesizing the motion motion for the free weight exercise and EMG biometric data is shown in FIG. 11.

상기와 같이, 분석제어장치(300)를 구성하게 되면 운동 동작의 센싱과 생체신호를 검출하여 이를 최적화하고 데이터베이스화하여 모니터링하고 사용자에게 피드백함으로서 동작 범위가 크고 안전한 운동을 모니터링함으로서 높은 안전성을 보장하게 되는 것이다.As described above, when the analysis control device 300 is configured, it detects and optimizes the motion motion sensing and bio-signals, converts it into a database, monitors it, and provides feedback to the user, thereby ensuring high safety by monitoring a safe motion with a large motion range. It becomes.

한편, 도 1에 도시한 바와 같이, 측정의 정확도를 확보하기 위해서는 단순한 데이터 시트의 스펙 외에도 다양한 파라미터를 고려해야 한다. Meanwhile, as shown in FIG. 1, in order to ensure the accuracy of measurement, in addition to the specification of a simple data sheet, various parameters must be considered.

특히 노이즈가 많은 장소나 실외에서는 어플리케이션이 작동하는 환경을 이해하는 것이 정확한 측정을 위해 중요한 요소이다. Especially in noisy locations or outdoors, understanding the environment in which the application operates is an important factor for accurate measurements.

신호에 악영향을 미치는 노이즈의 보편적인 예로는 접지 루프, 높은 동위상 전압, 전자기 방사선 등을 대표적으로 사례이다. 측정 시스템의 노이즈를 제거하기 위해서는 사용하는 기술로는 적절한 차폐, 케이블 연결, 종단처리 등이 있다. Common examples of noise that adversely affect signals are ground loops, high in-phase voltages, and electromagnetic radiation. Techniques used to remove noise from the measurement system include appropriate shielding, cable connection, and termination.

동위상 전압은 계측 증폭기의 양(+) 단자와 음(-) 단자에 모두 존재하는 전압이며, 최대 동작전압은 증폭기의 입력 범위가 아니라 절연 회로에 따라 달라진다. The in-phase voltage is a voltage that exists at both the positive (+) terminal and the negative (-) terminal of the instrumentation amplifier, and the maximum operating voltage depends on the isolation circuit, not the input range of the amplifier.

동위상 전압이 DC레벨로만 구성되어 있는 경우는 드물며 대부분의 동위상 전압 소스에는 DC 오프셋뿐만 아니라 AC요소가 함께 포함된다. It is rare for the in-phase voltage to consist only of DC levels, and most in-phase voltage sources contain AC components as well as DC offsets.

낮은 레벨의 아날로그신호가 DAQ 장비의 계측 증폭기를 통과할 때에는 특히, 노이즈가 심하게 나타난다. In particular, when the low level analog signal passes through the instrumentation amplifier of the DAQ device, the noise appears severely.

AC노이즈의 소스는 커플링 메커니즘에 따라 크게 용량성(capacitive), 유도성(inductive), 방사성(radiative) 등의 유형으로 분류할 수 있으며, 폭넓은 주파수 범위에 걸쳐 높은 CMRR을 갖추고 있는 DAQ 장비를 선택하면 시스템의 전반적인 노이즈를 낮출 수 있다. Sources of AC noise can be classified into capacitive, inductive, and radiative types according to the coupling mechanism, and DAQ equipment with high CMRR over a wide frequency range is used. If selected, the overall noise of the system can be lowered.

한편, 도 12에 도시한 바와 같이, 접지 루프는 데이터 수집 어플리케이션에서 가장 흔하게 볼 수 있는 노이즈 소스 중 하나이다. Meanwhile, as shown in FIG. 12, the ground loop is one of the most commonly seen noise sources in data acquisition applications.

접지 루프는 하나의 회로 내에서 연결되어 있는 터미널 두 개의 접지 위상이 서로 다를 때 발생하는데 접지 위상이 다르면 상호 연결부에서 전류가 흐르게 되며, 그 결과 오프셋 에러가 발생한다. A ground loop occurs when the ground phases of two terminals connected in a circuit are different from each other. If the ground phases are different, current flows in the interconnections, resulting in an offset error.

절연 장벽을 활용하여 전류 루프 어플리케이션의 안정성을 확보할 수 있다.Insulation barriers can be utilized to ensure stability in current loop applications.

디지털 로직도 노이즈가 많은 환경의 영향을 받을 수 있으며, 잘못된 on/off 값이나 우발적인 트리거로 이어지기도 하므로 24V 로직을 사용하여 노이즈 마진을 크게 하여 노이즈의 영향을 적게 받게 할 수 있다. Digital logic can also be affected by a noisy environment, and may lead to incorrect on/off values or accidental triggers, so using 24V logic to increase the noise margin can be less affected by noise.

지금까지 설명한 본 발명의 분석제어장치(300)를 통해 프리 웨이트 운동의 운동 동작 상태 정보와 EMG 생체신호 정보를 검출하여 이를 최적화하고 데이터베이스화하여 모니터링하고 사용자에게 피드백함으로서, 동작 범위가 크고 안전한 운동을 모니터링할 수 있게 되는 것이다.Through the analysis control device 300 of the present invention described so far, by detecting and optimizing the exercise operation state information and EMG bio-signal information of the free weight exercise, converting it into a database, monitoring it, and giving feedback to the user, a safe exercise with a large motion range You will be able to monitor it.

따라서, 모션 센서와 근육 센서를 이용하여 복합형 운동 동작 분석을 통한 안전한 프리웨이트 운동이 가능하도록 하는 효과를 제공하게 되며, 저장된 디지털 데이터를 이용하여 지능형 로봇이나 동작패턴 분석 및 동작 과정 분석 등에 활용될 수 있게 된다.Therefore, the motion sensor and the muscle sensor are used to provide the effect of enabling safe free weight movement through complex movement motion analysis, and can be used for intelligent robot or motion pattern analysis and motion process analysis using stored digital data. You will be able to.

예를 들어, 가상현실 (Vertual Reality)에 운동 및 재활치료에 적용, 프리웨이트 트레이닝 평가모형을 Big data 기반 국가적인 건강 DB 자원화, 재활치료관련 소프트웨어 및 어플리케이션 등의 기초 자료로 활용, 원격의료체계에서 재활운동, 교정운동, 운동처방등에 활용, 인간형 로봇동작의 형상체계 확립 등에 활용될 수 있다.For example, applying to virtual reality (Vertual Reality) for exercise and rehabilitation treatment, using the free weight training evaluation model as a resource for national health DB based on Big Data, as a basic data for rehabilitation treatment related software and applications, in telemedicine systems. It can be used for rehabilitation exercises, correction exercises, exercise prescriptions, etc., and can be used to establish a shape system for humanoid robot motions.

상기와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. Those skilled in the art to which the present invention with the above contents pertains will understand that the present invention can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. Therefore, the embodiments described above are exemplified in all respects and should be understood as non-limiting.

100 : 운동동작상태분석장치
200 : EMG생체신호장치
300 : 분석제어장치
100: motion motion state analysis device
200: EMG biological signal device
300: analysis control device

Claims (4)

모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템에 있어서,
운동자의 운동 영상을 촬영하기 위한 적어도 두 대 이상의 카메라(110);와
상기 두 대의 카메라로부터 획득된 영상에서 동일한 특징을 가지는 대응점을 판단하여 시차 지도를 계산하고, 계산된 시차 지도를 거리로 환산하여 깊이 지도를 계산하기 위한 깊이지도계산부(120);와
상기 카메라를 통해 입력된 이미지에 대한 운동 동작 상태를 분석하기 위한 운동동작상태분석부(130);를 포함하여 구성되는 운동동작상태분석장치(100)와,
운동자의 근육에 부착되어 근육에 흐르는 미세 전기 신호를 획득하기 위한 EMG밴드(210);와
상기 EMG밴드에서 획득된 미세 전기 신호를 필터링하고, 필터링된 신호를 증폭시키기 위한 필터링증폭부(220);와
상기 증폭된 신호를 획득하여 무선통신을 통해 분석제어장치로 제공하기 위한 임베디드부(230);를 포함하여 구성되는 EMG생체신호장치(200)와,
상기 운동동작상태분석장치로부터 획득된 프리 웨이트 운동의 운동 동작 상태 정보와 EMG생체신호장치로부터 획득된 EMG 생체신호 정보를 합성하여 운동 정보를 최적화하기 위한 분석제어장치(300)를 포함하여 구성되되,
상기 깊이지도계산부(120)는,
하기의 수식1을 이용하여 시험벡터에 대해 모든 기준벡터와의 거리를 계산하고 비교하여 거리가 가장 작은 기준벡터와 시험벡터를 매칭시켜 위치벡터를 산출하는 것을 특징으로 하며,
상기 운동동작상태분석부(130)는,
하기의 수식 2를 이용한 인체 관절 가중치를 갖는 거리를 참조하여 특정한 동작 분류로 나타낼 수 있는 것을 특징으로 하며,
분석제어장치(300)는,
신호합성부를 구성하여 다채널신호 운동동작 인식 기술(MSGR, Multi-signal gesture recognition framework)을 적용하게 됨으로써, 두 개 이상의 신호를 합성하는 것을 특징으로 하며,
상기 신호합성부는 입력된 이미지의 시제 연속은 상태방정식
Figure 112020091276618-pat00026
으로 나타낼 수 있고, 각각의 추출된 디지털신호인 센서에서 추출된 벡터
Figure 112020091276618-pat00027
에 대해서 운동동작 상태 이미지는
Figure 112020091276618-pat00028
의 벡터로 나타내고 EMG 생체바이오 신호는
Figure 112020091276618-pat00029
로 나타내는 것을 특징으로 하며,
(상기 x는 벡터,
Figure 112020091276618-pat00034
는 T차원 벡터,
Figure 112020091276618-pat00035
는 카메라를 통해 검출된 운동 동작의 상태 벡터,
Figure 112020091276618-pat00036
는 EMG에서 검출된 운동 동작의 상태 벡터)
이때, 다채널 신호 형상벡터는 하기의 수식3을 이용하는 것을 특징으로 하는 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템.
Figure 112020091276618-pat00030
(수식1)
(상기 fn 은 위치 벡터에 대한 함수, X1,Y1,Z1,X2,Y2,Z2,...X6,Y6,Z6 는 위치 벡터값)

Figure 112020091276618-pat00031
(
Figure 112020091276618-pat00032
는 관절(joint)별 가중치,
Figure 112020091276618-pat00037
는 인체 관절 가중치를 포함한 위치 정보, 수식 2)
Figure 112020091276618-pat00033
(수식3)

In the free weight exercise motion analysis system using a hybrid detection method using a motion sensor and a muscle sensor,
At least two or more cameras 110 for photographing an exercise image of an athlete; And
A depth map calculator 120 for calculating a parallax map by determining a corresponding point having the same characteristic in the images obtained from the two cameras, and calculating a depth map by converting the calculated parallax map into a distance; And
A motion motion condition analysis unit 130 configured to analyze motion motion condition of an image input through the camera; and
EMG band 210 for acquiring a microelectric signal that is attached to the muscle of the exerciser and flowing through the muscle; And
Filtering amplification unit 220 for filtering the fine electrical signal obtained from the EMG band and amplifying the filtered signal; And
An EMG biological signal device 200 comprising; an embedded unit 230 for acquiring the amplified signal and providing it to an analysis control device through wireless communication,
Consisting of including an analysis control device 300 for optimizing exercise information by synthesizing the exercise motion state information of the free weight exercise obtained from the exercise motion state analysis device and the EMG biological signal information obtained from the EMG biological signal device,
The depth map calculation unit 120,
Characterized in that the position vector is calculated by matching the reference vector with the smallest distance and the test vector by calculating and comparing the distances with all reference vectors for the test vector using Equation 1 below,
The motion motion state analysis unit 130,
It is characterized in that it can be expressed as a specific motion classification by referring to a distance having a weight of a human joint using Equation 2 below,
Analysis control device 300,
It is characterized by synthesizing two or more signals by configuring a signal synthesis unit and applying a multi-channel signal motion recognition technology (MSGR, Multi-signal gesture recognition framework).
The signal synthesis unit is a state equation for the continuation of the tense of the input image.
Figure 112020091276618-pat00026
The vector extracted from the sensor, which is each extracted digital signal, can be represented by
Figure 112020091276618-pat00027
About the motion motion state image
Figure 112020091276618-pat00028
And the EMG bio-bio signal is
Figure 112020091276618-pat00029
Characterized in that it is represented by,
(X is a vector,
Figure 112020091276618-pat00034
Is a T-dimensional vector,
Figure 112020091276618-pat00035
Is the state vector of the motion motion detected by the camera,
Figure 112020091276618-pat00036
Is the state vector of the motor motion detected in the EMG)
At this time, the multi-channel signal shape vector is a free weight exercise motion analysis system by a hybrid detection method using a motion sensor and a muscle sensor, characterized in that using Equation 3 below.
Figure 112020091276618-pat00030
(Equation 1)
(The f n is a function for the position vector, X 1 ,Y 1 ,Z 1 ,X 2 ,Y 2 ,Z 2 ,...X 6 ,Y 6 ,Z 6 are position vector values)

Figure 112020091276618-pat00031
(
Figure 112020091276618-pat00032
Is the weight per joint,
Figure 112020091276618-pat00037
Is the location information including the human joint weight, Equation 2)
Figure 112020091276618-pat00033
(Equation 3)

삭제delete 삭제delete 삭제delete
KR1020170184483A 2017-12-29 2017-12-29 Using the gesture and EMG sensing data, motion analysis system of free weight exercise by hybrid detection method KR102226927B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170184483A KR102226927B1 (en) 2017-12-29 2017-12-29 Using the gesture and EMG sensing data, motion analysis system of free weight exercise by hybrid detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170184483A KR102226927B1 (en) 2017-12-29 2017-12-29 Using the gesture and EMG sensing data, motion analysis system of free weight exercise by hybrid detection method

Publications (2)

Publication Number Publication Date
KR20190081738A KR20190081738A (en) 2019-07-09
KR102226927B1 true KR102226927B1 (en) 2021-03-12

Family

ID=67261001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170184483A KR102226927B1 (en) 2017-12-29 2017-12-29 Using the gesture and EMG sensing data, motion analysis system of free weight exercise by hybrid detection method

Country Status (1)

Country Link
KR (1) KR102226927B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102669062B1 (en) * 2023-06-21 2024-05-29 (주)로보케어 Exercise assistance service providing robot and exercise assistance service providing method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102411885B1 (en) * 2019-08-01 2022-06-21 박상훈 Apparatus and method for evaluating training maturity
KR102568538B1 (en) * 2020-06-23 2023-08-23 한국전자통신연구원 Apparatus and Method for Estimating Human Motion using Mobile Robot
KR102366102B1 (en) 2021-08-20 2022-02-24 주식회사 조이펀 System for providing realistic interactive exercise content based on 3d character

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101584090B1 (en) * 2014-03-13 2016-01-12 계명대학교 산학협력단 Mirror device, wearable device and exercise management system
KR101673212B1 (en) 2015-01-30 2016-11-22 남부대학교산학협력단 Training system and method for proper squat exercise
KR20160133306A (en) * 2015-05-12 2016-11-22 삼성전자주식회사 wearable device and method for providing feedback

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102669062B1 (en) * 2023-06-21 2024-05-29 (주)로보케어 Exercise assistance service providing robot and exercise assistance service providing method

Also Published As

Publication number Publication date
KR20190081738A (en) 2019-07-09

Similar Documents

Publication Publication Date Title
JP6178838B2 (en) System for acquiring and analyzing muscle activity and method of operation thereof
US9700242B2 (en) Motion information processing apparatus and method
US9727779B2 (en) Motion information processing apparatus
US9761011B2 (en) Motion information processing apparatus obtaining motion information of a subject performing a motion
US20150310629A1 (en) Motion information processing device
JP6359343B2 (en) Motion information processing apparatus and method
US7963931B2 (en) Methods and devices of multi-functional operating system for care-taking machine
WO2014112631A1 (en) Movement information processing device and program
Ozturk et al. A clinically feasible kinematic assessment method of upper extremity motor function impairment after stroke
KR102226927B1 (en) Using the gesture and EMG sensing data, motion analysis system of free weight exercise by hybrid detection method
US20040167420A1 (en) Apparatus and method for analyzing motions using bio-impedance
CN103417218A (en) Parameter acquisition evaluating system and method of upper limb movement
KR20100111460A (en) Detecting system and method for gait phase using motion sensors
Rihar et al. Infant trunk posture and arm movement assessment using pressure mattress, inertial and magnetic measurement units (IMUs)
Alvarez et al. Towards soft wearable strain sensors for muscle activity monitoring
Sardini et al. Daylong sitting posture measurement with a new wearable system for at home body movement monitoring
Postolache et al. Postural balance analysis using force platform for K-theragame users
KR20170111855A (en) Biological signal measuring system including antiarrhythmic using Smart Scale
Kamei et al. Classification of forearm and finger motions using electromyogram and arm-shape-changes
Alwan et al. Passive derivation of basic walker-assisted gait characteristics from measured forces and moments
Lin et al. Development of a FPGA-based contactless pulse rate detection system
Kundu et al. Trajectory generation for myoelectrically controlled lower limb active knee exoskeleton
Pavone et al. A Kinect-Based Portable Automatic Gait Analysis System-An Experimental Validation
Kumarasiri et al. Gait analysis using RGBD sensors
Selvakumar Non-contact breath cycle analysis for different breathing patterns using RGB-D videos

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right