KR101576526B1 - Apparatus and Method for Supporting Rehabilitation Exercise - Google Patents

Apparatus and Method for Supporting Rehabilitation Exercise Download PDF

Info

Publication number
KR101576526B1
KR101576526B1 KR1020140017106A KR20140017106A KR101576526B1 KR 101576526 B1 KR101576526 B1 KR 101576526B1 KR 1020140017106 A KR1020140017106 A KR 1020140017106A KR 20140017106 A KR20140017106 A KR 20140017106A KR 101576526 B1 KR101576526 B1 KR 101576526B1
Authority
KR
South Korea
Prior art keywords
rehabilitation
image
user
motion
template
Prior art date
Application number
KR1020140017106A
Other languages
Korean (ko)
Other versions
KR20150096550A (en
Inventor
이영숙
정완영
Original Assignee
부경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부경대학교 산학협력단 filed Critical 부경대학교 산학협력단
Priority to KR1020140017106A priority Critical patent/KR101576526B1/en
Publication of KR20150096550A publication Critical patent/KR20150096550A/en
Application granted granted Critical
Publication of KR101576526B1 publication Critical patent/KR101576526B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Rehabilitation Tools (AREA)

Abstract

유비쿼터스 홈 헬스케어 환경에서의 재활운동 지원 장치 및 방법이 개시된다.
재활운동 지원 장치는 카메라 모션 센서에 의해 사용자가 실시하는 재활운동 수행 영상을 입력받아, 사용자에게 처방된 재활동작 표준 영상과 사용자가 실시하는 재활운동 수행 영상을 비교하여 재활자세 정확도를 평가한다. 또한, 해당 장치는 재활운동 중에 사용자의 심전도 데이터를 측정하여 이를 근거로 사용자의 실시간 건강상태를 검사한다. 재활동작 표준 영상과 재활운동 수행 영상이 화면으로 표시되고, 재활자세 정확도 평가 결과가 건강상태 검사 결과와 함께 피드백으로 제공된다.
이에 따라, 시간과 장소에 구애받지 않고 재활운동을 실시/학습할 수 있으며, 재활동작을 취하는 환자의 신체적인 변화를 측정하여 개개인의 건강상태에 맞는 최적의 맞춤형 처방이 가능하도록 지원할 수 있다.An apparatus and method for supporting rehabilitation in a ubiquitous home healthcare environment are disclosed.
The rehabilitation exercise support device receives the rehabilitation exercise performance image performed by the user by the camera motion sensor and compares the rehabilitation activity standard image prescribed by the user with the rehabilitation exercise performance image performed by the user to evaluate the rehabilitation attitude accuracy. In addition, the device measures the user's electrocardiogram data during the rehabilitation exercise and checks the user's real-time health condition based on the measured ECG data. The rehabilitation standard image and the rehabilitation exercise image are displayed on the screen, and the rehabilitation posture accuracy evaluation result is provided as feedback together with the health state test result.
Accordingly, the rehabilitation exercise can be performed / taught regardless of time and place, and the physical change of the patient who takes the rehabilitation operation can be measured, so that it is possible to provide the optimum customized prescription according to the individual's health condition.

Description

재활운동 지원 장치 및 방법{Apparatus and Method for Supporting Rehabilitation Exercise}[0001] Apparatus and Method for Supporting Rehabilitation Exercise [

본 발명은 재활운동 지원 장치 및 방법에 관한 것으로, 더욱 상세하게는 유비쿼터스 홈 헬스케어 환경에서의 재활운동 지원 장치 및 방법에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and a method for supporting a rehabilitation exercise, and more particularly, to an apparatus and a method for supporting a rehabilitation exercise in a ubiquitous home healthcare environment.

최근 과학기술과 의료기술의 발달로 평균수명이 길어져 노인 인구가 급속도로 증가하고, 많은 나라가 고령사회로 변화하고 있으며, 만성질환으로 고생하는 환자나 수술 후 운동재활이 필요한 환자들의 수도 점차 늘어나는 추세에 있다.Recently, the average life span has been increased due to the development of science and technology and medical technology, the number of elderly people has rapidly increased, many countries have changed into an aged society, and the number of patients suffering from chronic diseases and those requiring exercise rehabilitation are gradually increasing .

의료서비스도 병원 중심의 치료에서 개인과 의사/의료기관 간 상호 긴밀한 협력을 통해 환자 중심의 유비쿼터스 홈 헬스케어를 제공하는 경향으로 급속히 변화되고 있다.Medical services are also rapidly changing to provide patient-centered ubiquitous home health care through mutual cooperation between individuals and doctors / medical institutions in hospital-centered treatment.

한편, 오늘날의 기술 패러다임은 정보기술(information technology)과 생명공학기술(biotechnology)의 융합기술이 주도하고 있는바, 이를 유비쿼터스 홈 헬스케어에 접목하기 위한 시도가 진행되고 있다.On the other hand, today's technology paradigm is led by the convergence of information technology and biotechnology, and it is attempting to incorporate it into ubiquitous home healthcare.

유비쿼터스 홈 헬스케어에 있어서는 환자에 대한 정보를 측정하여 병원과 같은 의료기관이나 의사에게 전달함으로써 언제 어디서나 검사, 진료, 진단, 처방 등의 의료서비스를 제공받을 수 있게 하는 소형 센서나 기기의 개발이 필요하다.In ubiquitous home healthcare, it is necessary to develop a small-sized sensor or a device that measures information about a patient and transmits it to a medical institution such as a hospital or a doctor so that the medical service such as examination, diagnosis, diagnosis and prescription can be provided anytime and anywhere .

또한, 많은 환자들의 경우 약물치료와 재활운동을 병행하는 것이 효과적인데, 재활운동을 위해서는 환자가 병원이나 재활센터와 같은 의료기관을 자주 방문하여야 하고, 낯선 장소에서 정해진 시간에 재활운동을 실시한 후 불편한 몸을 이끌고 집으로 돌아와야 하는 어려움이 있다. 특히, 보행력이 약화된 노약자나 신체관절의 재활이 필요한 환자 등의 경우 이러한 어려움이 가중된다.In addition, in many patients, drug therapy and rehabilitation are effective. In order to do rehabilitation, the patient should frequently visit medical institutions such as a hospital or a rehabilitation center, perform rehabilitation at a fixed time in a strange place, There is a difficulty to be brought back home. Particularly, this difficulty is exacerbated in the case of elderly people with weak walking ability or patients who need rehabilitation of the body joints.

이에 환자가 편안함을 느끼는 집에서 시행 가능한 재활운동을 지원하여 사용자 편의를 향상시키면서도 사용자의 건강 유지/증진에 기여할 수 있는 방안이 요구되고 있는 실정이다.Accordingly, there is a need for a method of contributing to the maintenance / improvement of the user's health while improving the user's convenience by supporting the rehabilitation exercise which can be practiced in a home where the patient feels comfortable.

종래에는 환자가 교수자의 모범적인 재활동작(예컨대, 요가자세 등)을 보고 따라하는 단순한 형태의 재활기능 정도만이 제공되어 사용자 편의나 건강의 유지/증진 측면에서 비효율적인 문제점이 있다.
Conventionally, only a simple form of a rehabilitation function is provided in which a patient watches and follows an exemplary rehabilitation action (e.g., yoga posture) of the instructor, which is inefficient in terms of user convenience and maintenance / improvement of health.

KR 10-2013-0094489 A, 공개일: 2013. 08. 26, 명칭: 영상 기반 이상 동작 감시 시스템 및 방법KR 10-2013-0094489 A, Publication date: 2013. 08. 26, Name: Image-based abnormal operation monitoring system and method

본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 그 목적은 재택진료와 원격진료의 이점을 융합하여 환자가 의사나 의료기관을 주기적으로 직접 방문하지 않더라도, 언제 어디서나 시간과 장소에 구애받지 않고 필요한 재활운동을 실시/학습할 수 있게 하는 재활운동 지원 장치 및 방법을 제공하고자 하는 것이다.SUMMARY OF THE INVENTION The present invention has been proposed in order to solve the problems of the prior art as described above and its object is to integrate the advantages of telemedicine and telemedicine so that even if a patient does not visit a doctor or a medical institution periodically, And to provide a rehabilitation exercise support device and method that enables the user to perform / learn a necessary rehabilitation exercise regardless of whether or not he /

본 발명의 다른 목적은 재활동작을 취하는 환자의 신체적인 변화를 측정하여 일반적인 처방이 아닌 환자 개개인의 건강상태에 맞는 최적의 맞춤형 처방을 가능하게 하는 재활운동 지원 장치 및 방법을 제공하고자 하는 것이다.It is another object of the present invention to provide an apparatus and method for rehabilitation exercise which enables an optimal customized prescription according to a health condition of a patient rather than a general prescription by measuring a physical change of a patient taking a rehabilitation operation.

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not to be construed as limiting the invention as defined by the appended art. It will be possible.

전술한 목적을 달성하기 위한 본 발명에 따른 재활운동 지원 장치는 사용자가 실시하는 재활운동 수행 영상을 입력받는 카메라 모션 센서; 재활운동 중에 사용자의 심전도 데이터를 측정하는 심전도 센서; 사용자에게 처방된 재활동작 표준 영상과 상기 카메라 모션 센서를 통해 입력받은 재활운동 수행 영상을 비교하여 재활자세 정확도를 평가하는 판단부; 상기 심전도 센서를 통해 측정된 심전도 데이터를 기반으로 사용자의 실시간 건강상태를 검사하는 검사부; 및 상기 처방된 재활동작 표준 영상과 상기 입력된 재활운동 수행 영상을 표시하고, 상기 건강상태 검사 결과를 상기 재활자세 정확도 평가 결과와 함께 출력하는 인터페이스부를 포함한다.According to an aspect of the present invention, there is provided an apparatus for supporting rehabilitation movement, the apparatus comprising: a camera motion sensor for receiving a rehabilitation motion performance image performed by a user; An electrocardiogram sensor for measuring a user's electrocardiogram data during a rehabilitation exercise; A determination unit for comparing the rehabilitation motion standard image prescribed by the user with the rehabilitation motion performed image input through the camera motion sensor to evaluate the rehabilitation posture accuracy; An examiner for checking the user's real-time health condition based on the electrocardiogram data measured through the electrocardiographic sensor; And an interface unit for displaying the prescribed rehabilitation operation standard image and the inputted rehabilitation exercise performance image and outputting the health state examination result together with the rehabilitation posture accuracy evaluation result.

본 발명에 따른 재활운동 지원 장치에서, 상기 카메라 모션 센서는 키넥트 센서로서, 상기 판단부는 상기 카메라 모센 센서로 촬영한 컬러영상과 깊이영상을 제공받아 가우시안 필터 또는 미디언 필터로 잡음을 제거한 후 상기 잡음 제거된 영상으로부터 인체의 각 관절포인트별 3차원 위치 및 각도를 포함하는 관절패턴을 추출하여 상기 재활운동 수행 영상에 포함시켜 제공할 수 있다.The camera motion sensor is a Kinect sensor. The determination unit receives the color image and the depth image captured by the camera mechsen sensor, removes noise with a Gaussian filter or a median filter, The joint pattern including the three-dimensional position and angle of each joint point of the human body can be extracted from the noise-removed image and included in the rehabilitation motion performed image.

본 발명에 따른 재활운동 지원 장치에서, 상기 판단부는 상기 재활동작 표준 영상에서 추출한 표준 템플릿을 상기 재활운동 수행 영상에서 추출한 실제 템플릿과 비교함으로써 상기 표준 템플릿과 상기 실제 템플릿 각각에 포함되어 있는 두 관절패턴 간의 유사도를 측정하여 두 관절패턴 간의 유사도가 임계치 이상이면 동작 일치로 판단할 수 있다.In the apparatus for assisting rehabilitation according to the present invention, the judging unit compares a standard template extracted from the rehabilitation motion standard image with an actual template extracted from the rehabilitation motion performed image, thereby determining two joint patterns included in each of the standard template and the actual template And if the degree of similarity between the two joint patterns is equal to or greater than the threshold value, it can be determined that the motion is consistent.

본 발명에 따른 재활운동 지원 장치에서, 상기 판단부는 상기 실제 템플릿에서 사용자의 모든 관절을 포함하는 탐색영역을 추출하여 상기 표준 템플릿과 매칭 가능한 크기로 정규화한 다음 상기 표준 템플릿과의 비교를 수행할 수 있다.In the rehabilitation exercise support apparatus according to the present invention, the determination unit may extract a search region including all the joints of the user from the actual template, normalize the search region to a size compatible with the standard template, and then perform comparison with the standard template have.

본 발명에 따른 재활운동 지원 장치에서, 상기 판단부는 상기 재활운동 수행 영상에서 상기 실제 템플릿을 추출할 때 시간오차를 고려하여 복수 개의 템플릿을 추출하되, 일정 구간 동안의 실시간 프레임들을 포함하는 템플릿 외에 이전 프레임들 또는 다음 프레임들을 적어도 일부 포함하는 템플릿을 더 추출하여 유사도 측정을 위해 상기 표준 템플릿과 추가로 비교할 수 있다.In the rehabilitation exercise support apparatus according to the present invention, when the real template is extracted from the rehabilitation motion performance image, the determination unit extracts a plurality of templates in consideration of a time error, and in addition to the template including real- Frames or at least some of the following frames may be further extracted and compared further with the standard template for similarity measurements.

본 발명에 따른 재활운동 지원 장치에서, 상기 검사부는 상기 심전도 센서와의 근거리 통신으로 상기 심전도 데이터를 획득하고, 미리 설정된 임계치를 기준으로 상기 심전도 데이터의 피크를 검출하여 실시간 심박수를 연산한 후, 상기 실시간 심박수로 운동강도의 적정성을 평가하여 상기 실시간 심박수가 목표 심박수 이상이면 경보 동작을 수행할 수 있다.In the apparatus for assisting rehabilitation exercise according to the present invention, the checking unit acquires the electrocardiogram data by short distance communication with the electrocardiogram sensor, detects a peak of the electrocardiogram data based on a preset threshold value, calculates a real time heart rate, It is possible to evaluate the adequacy of the exercise intensity with the real time heart rate and to perform the alarming operation when the real time heart rate is higher than the target heart rate.

본 발명에 따른 재활운동 지원 장치에서, 상기 검사부는 기 설정된 칼로리 계산식과 신상정보를 이용해 상기 실시간 심박수에 따른 칼로리 소모량을 계산하여 상기 인터페이스부를 통해 화면으로 출력할 수 있다.In the rehabilitation exercise support apparatus according to the present invention, the controller may calculate the calorie consumption amount according to the real time heart rate using the predetermined calorie calculation formula and personal information, and output the calorie consumption to the screen through the interface.

본 발명에 따른 재활운동 지원 장치는 관절패턴을 포함하는 재활동작 표준 영상을 저장하는 처방전 영상 DB; 사용자가 재활운동을 수행할 때마다 재활운동을 수행하는 동안의 영상을 관절패턴을 포함하여 저장하는 동작정보 DB; 수행주기별 재활자세 정확도 평가 결과 및 수행주기의 변화에 따른 재활자세 정확도 향상 정도를 포함한 재활치료 수행 이력을 저장하는 재활이력 DB; 상기 동작정보 DB에 저장된 각 재활운동 수행 영상과 매칭하여 사용자의 심전도 데이터, 실시간 심박수 및 칼로리 소모량을 포함한 건강상태 검사 결과를 저장하는 건강정보 DB; 및 사용자의 신상정보 및 재활운동 수행에 필요한 지시사항을 저장하는 제반정보 DB를 포함한 DB 그룹을 더 포함할 수 있다.The apparatus for supporting rehabilitation movement according to the present invention includes: a prescription image DB storing a rehabilitation operation standard image including a joint pattern; An operation information DB for storing an image during a rehabilitation movement every time the user performs a rehabilitation motion including a joint pattern; Rehabilitation history DB storing history of rehabilitation treatment including degree of rehabilitation attitude improvement according to rehabilitation attitude accuracy evaluation result and execution cycle according to execution cycle; A health information DB for storing a health condition test result including a user's ECG data, a real time heart rate, and a calorie consumption amount by matching with each rehabilitation exercise performance image stored in the operation information DB; And a DB group including an information DB for storing personal information of the user and instructions for performing the rehabilitation exercise.

한편, 본 발명에 따른 재활운동 지원 방법은 사용자에게 처방된 재활동작 표준 영상을 재생하여 표시하는 단계; 사용자가 재활동작을 따라하는 재활운동 수행 영상을 입력받아 표시하는 단계; 재활운동 중에 사용자의 심전도 데이터를 측정하는 단계; 상기 처방된 재활동작 표준 영상과 상기 입력된 재활운동 수행 영상을 비교하여 재활자세 정확도를 평가하는 단계; 상기 측정된 심전도 데이터를 기반으로 사용자의 실시간 건강상태를 검사하는 단계; 및 상기 건강상태 검사 결과를 상기 재활자세 정확도 평가 결과와 함께 제공하는 단계를 포함한다.Meanwhile, a method of supporting a rehabilitation exercise according to the present invention includes: reproducing and displaying a prescribed rehabilitation operation standard image to a user; Receiving and displaying a rehabilitation exercise performance image in which a user follows a rehabilitation operation; Measuring a user's electrocardiogram data during a rehabilitation exercise; Evaluating the rehabilitation posture accuracy by comparing the prescribed rehabilitation motion standard image with the input rehabilitation motion performance image; Checking a user's real-time health status based on the measured electrocardiogram data; And providing the health state test result together with the rehabilitation posture accuracy evaluation result.

본 발명에 따른 재활운동 지원 방법에서, 상기 재활동작 표준 영상과 상기 재활운동 수행 영상은 인체의 각 관절포인트별 3차원 위치 및 각도를 포함한 관절패턴을 포함하는 것으로서, 상기 재활자세 정확도 평가 시에 상기 재활동작 표준 영상으로부터 추출한 표준 템플릿을 상기 재활운동 수행 영상으로부터 추출한 실제 템플릿과 비교함으로써 상기 표준 템플릿과 상기 실제 템플릿 각각에 포함되어 있는 두 관절패턴 간의 유사도를 측정하여 두 관절패턴 간의 유사도가 임계치 이상이면 동작 일치로 판단할 수 있다.In the rehabilitation exercise support method according to the present invention, the rehabilitation motion standard image and the rehabilitation exercise performance image include joint patterns including three-dimensional positions and angles of the respective joint points of the human body, Comparing the standard template extracted from the rehabilitation motion standard image with the actual template extracted from the rehabilitation motion performed image to measure the similarity between the standard template and the two joint patterns included in each of the actual templates and if the similarity degree between the two joint patterns is equal to or greater than the threshold It can be determined that the operation is consistent.

본 발명에 따른 재활운동 지원 방법에서, 상기 재활자세 정확도 평가 시에 상기 실제 템플릿에서 사용자의 모든 관절을 포함하는 탐색영역을 추출하여 상기 표준 템플릿과 매칭 가능한 크기로 정규화한 다음 상기 표준 템플릿과의 비교를 수행할 수 있다.In the rehabilitation exercise support method according to the present invention, a search area including all the joints of the user is extracted from the actual template at the time of evaluating the rehabilitation attitude accuracy, normalized to a size that can match the standard template, Can be performed.

본 발명에 따른 재활운동 지원 방법에서, 상기 재활자세 정확도 평가 시에 상기 재활운동 수행 영상에서 상기 실제 템플릿을 추출할 때 시간오차를 고려하여 복수 개의 템플릿을 추출하되, 일정 구간 동안의 실시간 프레임들을 포함하는 템플릿 외에 이전 프레임들 또는 다음 프레임들을 적어도 일부 포함하는 템플릿을 더 추출하여 유사도 측정을 위해 상기 표준 템플릿과 추가로 비교할 수 있다.
In the rehabilitation exercise support method according to the present invention, when extracting the actual template from the rehabilitation motion performance image at the time of evaluating the rehabilitation posture accuracy, a plurality of templates are extracted in consideration of a time error, A template including at least a part of previous frames or the following frames may be further extracted and further compared with the standard template for similarity measurement.

본 발명의 재활운동 지원 장치 및 방법에 따르면, 재택진료와 원격진료의 이점을 융합하여 환자가 의사나 의료기관을 주기적으로 직접 방문하지 않더라도, 언제 어디서나 시간과 장소에 구애받지 않고 필요한 재활운동을 실시/학습할 수 있게 된다.According to the apparatus and method for supporting rehabilitation exercise of the present invention, it is possible to perform necessary rehabilitation exercise regardless of time and place anytime and anywhere, even if a patient does not visit a doctor or a medical institution periodically, Learning.

또한, 본 발명의 재활운동 지원 장치 및 방법에 따르면, 재활동작을 취하는 환자의 신체적인 변화를 측정/활용하여 일반적인 처방이 아닌 환자 개개인의 건강상태에 맞는 최적의 맞춤형 처방이 가능하도록 지원할 수 있게 된다.
In addition, according to the apparatus and method for rehabilitation exercise of the present invention, it is possible to support an optimal customized prescription according to a health condition of each patient rather than a general prescription by measuring / utilizing a physical change of a patient taking a rehabilitation operation .

도 1은 본 발명의 일 실시예에 따른 재활운동 지원 장치의 구성을 개략적으로 보인 도면.
도 2는 도 1에 나타난 재활운동 지원 장치의 동작화면을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 재활운동 지원 방법을 설명하기 위한 흐름도.
도 4는 도 3의 일부 단계를 보다 세부적으로 나타낸 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a schematic view showing a configuration of a rehabilitation exercise support device according to an embodiment of the present invention; FIG.
FIG. 2 is a view illustrating an operation screen of the rehabilitation exercise support device shown in FIG. 1; FIG.
3 is a flowchart illustrating a method of supporting rehabilitation exercise according to an embodiment of the present invention.
FIG. 4 is a more detailed view of some of the steps of FIG. 3; FIG.

이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 재활운동 지원 장치 및 방법에 대해서 상세하게 설명한다.Hereinafter, an apparatus and method for supporting rehabilitation according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 재활운동 지원 장치의 구성을 개략적으로 보인 도면이다.FIG. 1 is a schematic view illustrating a configuration of a rehabilitation exercise support device according to an embodiment of the present invention. Referring to FIG.

도 1을 참조하면, 본 발명의 일 실시예에 따른 재활운동 지원 장치(100)는 카메라 모션 센서(110), 심전도 센서(120), 표시부(130), 판단부(140), 검사부(150), 인터페이스부(160), 통신부(170) 및 DB 그룹(180)을 포함하며, 의료기관 관할 하에 있는 원격지의 관리 서버(200)와 연계 동작하여 사용자의 재활치료를 지원한다.1, an apparatus 100 for supporting rehabilitation exercise according to an exemplary embodiment of the present invention includes a camera motion sensor 110, an electrocardiogram sensor 120, a display unit 130, a determination unit 140, an examination unit 150, An interface unit 160, a communication unit 170, and a DB group 180, and operates in cooperation with a management server 200 at a remote location under the jurisdiction of a medical institution to support rehabilitation of the user.

의사나 물리치료사 등의 교수자는 관리 서버(200)를 통해 스크립트 형태의 처방전이 아닌 실제로 사용자가 취하여야 할 형태의 동작을 영상으로 제공함으로써 보다 쉽고 정확하게 사용자에게 필요한 처방을 할 수 있다.A teacher such as a doctor or a physical therapist can easily and accurately make a prescription necessary for a user by providing an image of a type of action that the user should actually take rather than a script type prescription through the management server 200.

사용자에게 처방된 재활동작 표준 영상은 관리 서버(200)에 등록된 후 사용자 요청에 따라 재활운동 지원 장치(100)로 제공되어 저장되고, 판단부(140)의 제어 하에 재생되어 표시부(130)의 화면에 표시된다.The rehabilitation motion standard image prescribed to the user is registered in the management server 200 and provided to the rehabilitation exercise support apparatus 100 according to a user's request and is stored and reproduced under the control of the determination unit 140, It is displayed on the screen.

사용자가 재활운동 지원 장치(100)에 구비된 표시부(130)의 화면을 통해 재생 표시되는 재활동작 표준 영상을 보고 운동을 실시하는 동안, 카메라 모션 센서(110)가 작동하여 사용자가 실시하는 재활운동 수행 영상을 입력받는다.The camera motion sensor 110 is operated while the user watches the rehabilitation operation standard image reproduced and displayed through the screen of the display unit 130 provided in the rehabilitation exercise support apparatus 100, And receives a performance image.

일례로, 카메라 모션 센서(110)는 키넥트(kinect) 센서일 수 있다. 키넥트 센서는 기본적으로 3개의 렌즈로 구성되어 컬러영상 및 깊이영상을 획득하며, 각 관절의 3차원 좌표를 추출할 수 있는 기능을 제공한다. 카메라 모션 센서(110)가 촬영한 컬러영상과 깊이영상은 판단부(140)로 제공된다.In one example, the camera motion sensor 110 may be a kinect sensor. The Kinect sensor basically consists of three lenses to acquire the color image and the depth image, and to extract the three-dimensional coordinates of each joint. The color image and the depth image captured by the camera motion sensor 110 are provided to the determination unit 140.

판단부(140)는 카메라 모션 센서(110)의 출력으로부터 보다 정확한 관절패턴을 획득하기 위하여 카메라 모션 센서(110)로부터 입력받은 영상에 가우시안 필터 또는 미디어 필터를 적용시켜 지터(jitter)나 잡음을 제거하거나 홀(hole)을 메울 수 있다.The determination unit 140 applies a Gaussian filter or a media filter to the image received from the camera motion sensor 110 to obtain a more accurate joint pattern from the output of the camera motion sensor 110 to eliminate jitter or noise Or holes can be filled.

가우시안 필터는 저주파 성분만을 통과시키는 필터로 입력영상의 각 픽셀에서 가우시안 커널과의 컨벌루션(convolution)한 처리를 수행하여 잡음을 제거할 수 있다. 미디언 필터의 경우 픽셀 주변의 사각형 영역에서 중간값을 선택해 이를 해당 픽셀의 값으로 교체하는 방식으로 잡음을 제거할 수 있다.The Gaussian filter is a filter that passes only low-frequency components, and can perform noise reduction processing by convoluting each pixel of the input image with a Gaussian kernel. In the case of the median filter, noise can be removed by selecting an intermediate value in the rectangular area around the pixel and replacing it with the value of the corresponding pixel.

가우시안 함수식은 수학식 1과 같다.The Gaussian function formula is shown in Equation (1).

Figure 112014014588566-pat00001
Figure 112014014588566-pat00001

여기서, σ는 가우시안 스무딩 필터링을 위해 입력영상의 특정 좌표 (x,y)에 적용되어 마스크(mask)의 크기를 좌우한다.Here, sigma is applied to a specific coordinate (x, y) of the input image for Gaussian smoothing filtering to determine the size of the mask.

이후, 잡음 제거된 영상으로부터 인체의 20개 관절포인트에 대하여 각 관절포인트별 3차원 위치 및 각도를 나타내는 관절패턴을 획득할 수 있다. 여기서 설정되는 20개의 관절포인트는 머리, 왼쪽 어깨, 오른쪽 어깨, 어깨의 중간, 척추의 중앙, 왼쪽 팔꿈치, 오른쪽 팔꿈치, 왼쪽 손목, 오른쪽 손목, 왼손, 오른손, 왼쪽 둔부, 오른쪽 둔부, 둔부의 중간, 왼쪽 무릎, 오른쪽 무릎, 왼쪽 발목, 오른쪽 발목, 왼발, 오른발이다.Then, a joint pattern representing three-dimensional positions and angles of each joint point with respect to 20 joint points of the human body can be obtained from the noise-free image. The twenty joint points set here are the center of the head, left shoulder, right shoulder, middle of shoulder, center of vertebrae, left elbow, right elbow, left wrist, right wrist, left hand, right hand, Left knee, right knee, left ankle, right ankle, left foot, right foot.

또한, 다양한 재활운동의 종류에 따라 필요한 관절포인트 수를 선택하여 사용할 수 있다.Also, the number of joint points required can be selected depending on the type of various rehabilitation exercises.

판단부(140)는 카메라 모션 센서(110)로 촬영한 깊이영상을 중심으로 각 관절의 위치를 3차원 좌표로 표현하여 인체의 각 관절포인트별 3차원 위치를 얻을 수 있다.The determination unit 140 may obtain the three-dimensional position of each joint point of the human body by expressing the position of each joint with respect to the depth image photographed by the camera motion sensor 110 as three-dimensional coordinates.

또한, 각 관절포인트별 3차원 각도를 구하기 위해서는 데카르트 좌표계의 관절각도를 구면 좌표계로 변환하는 과정이 요구된다. 카메라 모션 센서(110)로부터 획득된 각 관절의 3차원 위치에 대한 3차원 각도를 구하기 위한 식은 다음과 같다.In order to obtain the three-dimensional angle of each joint point, it is required to convert the joint angles of the Cartesian coordinate system into the spherical coordinate system. The three-dimensional angle of the three-dimensional position of each joint obtained from the camera motion sensor 110 is obtained as follows.

Figure 112014014588566-pat00002
Figure 112014014588566-pat00002

Figure 112014014588566-pat00003
Figure 112014014588566-pat00003

여기서, ｕ는 인접한 관절각도 간 벡터를 의미하고, Aθ는 ｕ 벡터의 극각(polar angle), AΦ는 방위각(azimuthal angle)을 의미한다.Where u is the vector of adjacent joint angles, A θ is the polar angle of the u vector, and A φ is the azimuthal angle.

이와 같이, 판단부(140)는 카메라 모션 센서(110)로 촬영한 컬러영상과 깊이영상을 제공받아 가우시안 필터 또는 미디언 필터로 잡음을 제거한 후 잡음 제거된 영상으로부터 인체의 각 관절포인트별 3차원 위치 및 각도를 포함하는 관절패턴을 추출하여 재활운동 수행 영상에 포함시켜 제공한다.In this way, the determination unit 140 receives the color image and depth image captured by the camera motion sensor 110, removes noise with a Gaussian filter or a median filter, and extracts noise from the noise- Position and angle of the joint, and provides the extracted joint pattern in the rehabilitation motion image.

사용자의 관절패턴을 포함하는 재활운동 수행 영상은 재생 중인 재활동작 표준 영상과 더불어 표시부(130)의 화면으로 실시간 표시되어 사용자에게 제공된다.The rehabilitation motion performance image including the user's joint pattern is displayed in real time on the screen of the display unit 130 together with the rehabilitation motion standard image being reproduced and provided to the user.

심전도 센서(120)는 재활운동 중에 사용자의 심전도 데이터를 측정하여 제공한다.The electrocardiogram sensor 120 measures and provides the user's electrocardiogram data during the rehabilitation exercise.

판단부(140)는 사용자에게 처방된 재활동작 표준 영상과 카메라 모션 센서(110)를 통해 입력받은 재활운동 수행 영상을 비교하여 재활자세 정확도를 평가한다.The determination unit 140 compares the rehabilitation motion standard image prescribed by the user with the rehabilitation motion performance image input through the camera motion sensor 110 to evaluate the rehabilitation posture accuracy.

검사부(150)는 심전도 센서(120)를 통해 측정된 심전도 데이터를 기반으로 하여 사용자의 실시간 건강상태를 검사한다. 이는 재활치료 시에 심전도 데이터의 측정을 병행하여 사용자가 실시하는 운동강도의 적정성과 신체변화를 측정하고 평가하는데 활용하기 위한 것이다.The inspecting unit 150 inspects the user's real-time health condition based on the electrocardiogram data measured through the electrocardiogram sensor 120. The purpose of this study is to measure and evaluate the adequacy of exercise intensity and body change performed by the user in parallel with the measurement of electrocardiogram data during rehabilitation treatment.

전술한 검사부(150)는 실시간 심박수, 칼로리 소모량 등을 계산하여 사용자의 건강상태를 파악하기 위하여, 심전도 센서(120)와의 근거리 통신으로 심전도 데이터의 원 신호(ECG raw signal)를 획득하고 여기에 알고리즘을 적용해 피크(peak) 검출 및 처리를 수행한다.The inspector 150 acquires an ECG raw signal of the electrocardiogram data by a short distance communication with the electrocardiogram sensor 120 in order to calculate a real time heart rate, a calorie consumption, To perform peak detection and processing.

인터페이스부(160)는 판단부(140)의 제어에 따라 사용자에게 처방된 재활동작 표준 영상과 카메라 모션 센서(110)를 통해 입력받은 재활운동 수행 영상을 표시부(130)의 화면으로 표시한다.The interface unit 160 displays the rehabilitation motion standard image prescribed by the user and the rehabilitation motion performing image input through the camera motion sensor 110 under the control of the determination unit 140 on the screen of the display unit 130. [

또한, 전술한 인터페이스부(160)는 검사부(150)의 제어에 따라 심전도 센서(120)를 통해 측정한 심전도 데이터로부터 얻은 건강상태 검사 결과를 재활자세 정확도 평가 결과와 함께 표시부(130)의 화면으로 출력한다.In addition, the interface unit 160 may transmit the health state examination result obtained from the electrocardiogram data measured through the electrocardiogram sensor 120 to the screen of the display unit 130 together with the rehabilitation posture accuracy evaluation result under the control of the examination unit 150 Output.

사용자가 처방받은 재활동작 표준 영상과 사용자가 이를 보고 따라하는 재활운동 수행 영상, 재활자세 정확도 평가 결과 및 재활운동 중의 건강상태 검사 결과 등은 검사부(150)나 판단부(140)의 제어 하에 표시부(130)의 화면으로 출력될 수 있고, DB 그룹(180) 상에 저장될 수 있으며, 재활동작 표준 영상에 대한 피드백 정보로서 통신부(170)를 통해 관리 서버(200)에 전송되어 후속 처방에 활용될 수도 있다.The rehabilitation posture accuracy evaluation result and the health state examination result during the rehabilitation exercise can be displayed on the display unit 150 under the control of the examining unit 150 or the judging unit 140 130 and may be stored on the DB group 180. The feedback information may be transmitted to the management server 200 through the communication unit 170 as feedback information on the rehabilitation standard image, It is possible.

일 실시예에서, 전술한 판단부(140)는 재활동작 표준 영상과 재활운동 수행 영상 간 동작의 일치/불일치 여부를 판단하여 재활자세 정확도 평가 결과로서 제공할 수 있다.In one embodiment, the determination unit 140 may determine whether the motion between the rehabilitation motion standard image and the rehabilitation motion performing motion image matches / mismatch, and provide the result as a rehabilitation posture accuracy evaluation result.

이러한 경우, 판단부(140)는 사용자에게 처방된 재활동작 표준 영상에서 추출한 표준 템플릿을 사용자가 실시하는 재활운동 수행 영상에서 추출한 실제 템플릿과 비교함으로써 표준 템플릿과 실제 템플릿 각각에 포함되어 있는 두 관절패턴 간의 유사도를 측정하여 두 관절패턴 간의 유사도가 임계치 이상이면 동작 일치로 판단한다.In this case, the determination unit 140 compares the standard template extracted from the rehabilitation motion standard image prescribed by the user with the actual template extracted from the rehabilitation motion performed image that is performed by the user, thereby determining two joint patterns And if the degree of similarity between the two joint patterns is equal to or greater than the threshold value, it is determined that the motion matches.

예를 들어, 판단부(140)는 TM(template matching) 기법, PCA(principle component analysis) 기법, BP(backpropagation)기법, Fuzzy 기법 등의 알고리즘을 적용하여 재활동작 표준 영상과 재활운동 수행 영상 각각에 포함된 두 3차원 관절패턴 간의 유사도를 계산하고, 유사도가 일정 임계치 이상이면 동작 일치로서 재활동작을 수행 완료하였다고 판단한다. 임계치는 사용자 맞춤형으로 설정될 수 있으며, 개개인의 건강상태에 따라 변경 가능하다.For example, the determination unit 140 may apply algorithms such as TM (template matching), PCA (principle component analysis), BP (backpropagation), and Fuzzy techniques to each of the rehabilitation motion standard image and the rehabilitation motion image Dimensional joint pattern, and judges that the rehabilitation operation is completed as the motion matching if the degree of similarity is equal to or greater than the predetermined threshold value. The threshold can be set to a user-customized and can be changed depending on the individual's health condition.

한편, 사용자의 신체 크기(예를 들어, 키)가 가변적이고 카메라 모션 센서(110)가 어떤 위치에 있느냐에 따라 유사도의 값이 달라질 수 있다.On the other hand, the value of the degree of similarity may vary depending on the user's body size (e.g., key) and the position of the camera motion sensor 110.

그러므로, 전술한 동작 일치/불일치 판단 시에, 실제 템플릿에서 사용자의 모든 관절을 포함하는 탐색영역을 추출하여 표준 템플릿과 매칭 가능한 크기로 정규화한 다음 표준 템플릿과의 비교를 수행하는 것이 효과적이다.Therefore, it is effective to extract the search region including all the joints of the user from the actual template, normalize it to a size that can match with the standard template, and then compare the search region with the standard template at the time of the motion match / mismatch determination.

일 실시예에서, 판단부(140)는 관절패턴을 포함한 실제 템플릿에 대해 정규화 과정을 수행하고 탐색영역을 설정하여 최대 120%에서 최소 50%까지 탐색영역의 크기를 일정 비율의 간격으로 축소해가며 정규화 과정을 수행한다. 이때, 탐색영역의 크기 범위는 가변적이다. 사용자의 모든 관절을 포함하는 탐색영역의 크기 범위를 가변적으로 설정하여 정규화 과정을 거침으로써 사용자 신체 크기의 다양성과 카메라 모션 센서(110)로부터 떨어진 사용자의 크기 변화에 강건하도록 하여 유사도를 보다 정확하게 판단할 수 있다.In one embodiment, the determination unit 140 performs a normalization process on an actual template including a joint pattern, sets a search area, and reduces the size of the search area from a maximum of 120% to a minimum of 50% Perform the normalization process. At this time, the size range of the search area is variable. The size range of the search region including all the joints of the user is variably set and then subjected to the normalization process so that the variety of the user's body size and the size change of the user away from the camera motion sensor 110 are robust, .

또한, 사용자의 재활운동 수행 영상에서 실제 템플릿을 추출할 때 동작 실연에 따른 시간오차를 고려하여 복수 개의 템플릿을 추출하여 사용하면 유사도 판단의 정확성을 높일 수 있다. 판단부(140)는 일정 구간 동안의 실시간 프레임들을 포함하는 템플릿 외에 이전 프레임들 또는 다음 프레임들을 적어도 일부 포함하는 템플릿을 더 추출하여 유사도 측정을 위해 표준 템플릿과 추가로 비교할 수 있다.Also, when extracting an actual template from a user's rehabilitation motion image, extracting a plurality of templates in consideration of a time error due to an operation demonstration can improve the accuracy of the similarity determination. The determination unit 140 may further extract a template including at least a part of previous frames or the following frames in addition to the template including real-time frames for a certain period, and further compare the extracted template with a standard template for similarity measurement.

전술한 검사부(150)는 심전도 센서(120)와의 근거리 통신으로 심전도 데이터를 획득하고, 미리 설정된 임계치를 기준으로 심전도 데이터의 피크를 검출하여 운동시간의 흐름에 따라 변화하는 실시간 심박수를 연산한 후, 연산한 실시간 심박수로 운동강도의 적정성을 평가하고, 평가 시에 실시간 심박수가 목표 심박수 이상이면 경고음이나 메시지를 출력하여 운동강도가 무리한 수준임을 알려주는 경보 동작을 수행할 수 있다.The examining unit 150 acquires electrocardiogram data by short-distance communication with the electrocardiogram sensor 120, detects a peak of the electrocardiogram data based on a preset threshold value, calculates a real time heart rate that varies with the exercise time, And an alarming operation is performed to notify that the exercise intensity is at an unreasonable level by outputting a warning sound or a message when the real time heart rate is higher than the target heart rate at the time of evaluation.

일례로, 심전도 센서(120)에서 추출된 심전도 데이터의 원 신호는 저주파 통과 필터, 고주파 통과 필터, 미분기(derivation), 신호 제곱기(squaring), 적분기(moving-window integration) 순의 신호 처리 과정을 거친다.For example, the original signal of the electrocardiogram data extracted from the electrocardiogram sensor 120 is processed in the order of a low-pass filter, a high-pass filter, a derivation, a squaring, and a moving- It goes through.

검사부(150)는 이와 같이 처리된 신호의 피크를 검출하기 위해 실험 결과에 따라 피크의 임계치를 미리 설정하여 신호 레벨이 임계치 이상이면 피크로 판정하고 그렇지 않으면 잡음 피크로 판단/제거하여 최종 피크값을 얻을 수 있다.In order to detect peaks of the signal thus processed, the inspection unit 150 previously sets a threshold value of the peak according to the experimental result. If the signal level is above the threshold value, it is determined as a peak. Otherwise, the inspection unit 150 determines / Can be obtained.

이때, 연속하는 2개의 피크 간 시간 간격(IBI: interbeat interval)을 이용하여 수학식 3에 의해 심박수(HR: heart rate, 단위: bpm)를 계산할 수 있다.At this time, heart rate (HR) (unit: bpm) can be calculated by Equation (3) using a successive interval between two peaks (IBI: interbeat interval).

Figure 112014014588566-pat00004
Figure 112014014588566-pat00004

정상인의 심박수는 60bpm~100bpm이며 재활운동 시 목표 심박수(적정 심박수)는 (220-나이)의 60~80% 수준의 운동강도를 권장한다. 사용자의 나이에 따라 운동강도 권장수준이 다를 수 있으므로, 일 실시예에서 검사부(150)는 사용자의 나이를 고려하고 나이에 따른 목표 심박수 이상인 경우 경고음이나 메시지를 출력하여 무리한 운동강도임을 알리게 된다.The normal heart rate is 60bpm ~ 100bpm, and the recommended heart rate (rehabilitation exercise) is 60 ~ 80% of the recommended (220-age) exercise intensity. Since the recommendation level of the exercise intensity may be different according to the age of the user, in one embodiment, the examination unit 150 considers the age of the user and outputs a warning sound or a message when the heart rate is higher than the target heart rate.

또한, 검사부(150)는 기 설정된 칼로리 계산식과 신상정보(예컨대, 나이)를 이용해 심박수에 따른 칼로리 소모량을 계산하고 계산 결과를 인터페이스부(160)를 통해 표시부(130)의 화면으로 실시간 출력하여 사용자에게 알려줄 수 있다.The inspector 150 calculates the calorie consumption according to the heart rate using the predetermined calorie calculation formula and the personal information (for example, age), and outputs the calculation result in real time to the screen of the display unit 130 through the interface unit 160, .

심박수에 따른 칼로리 소모량은 수학식 4를 이용해 구할 수 있다.The calorie consumption according to the heart rate can be calculated using Equation (4).

Figure 112014014588566-pat00005
Figure 112014014588566-pat00005

여기서, Calories는 칼로리 소모량으로 단위는 kcal이다. HR은 심박수로 단위는 bpm(beat per minute), Weight는 몸무게로 단위는 kg, Age는 나이로 단위는 years, Time은 운동시간으로 단위는 hours이다.Here, Calories is calorie consumption in units of kcal. HR is the heart rate in bpm (beat per minute), Weight is the weight in kg, Age is the age in years, Time is the exercise time, and the unit is hours.

매개변수 상수 α, β, γ, δ, ε은 남성인 경우와 여성인 경우 다른 값을 가진다. 예컨대, 남성인 경우 α=-55.0969, β=0.6309, γ=0.1988, δ=0.2017, ε=4.184이고, 여성인 경우 α=-20.4022, β=0.4472, γ=0.1263, δ=0.074, ε=4.184이다.The parameter constants α, β, γ, δ, and ε have different values for male and female. For example, for males, α = -55.0969, β = 0.6309, γ = 0.1988, δ = 0.2017 and ε = 4.184 and for females α = -20.4022, β = 0.4472, γ = 0.1263, δ = 0.074, to be.

DB 그룹(180)은 재활운동 지원 장치(100)의 판단부(140) 및 검사부(150)와 연동하여 재활치료와 관련된 각종 정보를 저장하는 것으로서, 처방전 영상 DB(181), 동작정보 DB(182), 재활이력 DB(183), 건강정보 DB(184) 및 제반정보 DB(185)를 포함한다.DB group 180 stores various kinds of information related to rehabilitation therapy in cooperation with the determination unit 140 and the examination unit 150 of the rehabilitation exercise support apparatus 100 and includes a prescription image DB 181, A rehabilitation history DB 183, a health information DB 184, and a general information DB 185.

처방전 영상 DB(181)에는 관리 서버(200)로부터 전송받은 관절패턴을 포함한 재활동작 표준 영상이 저장된다.In the prescription image DB 181, a rehabilitation operation standard image including the joint pattern transmitted from the management server 200 is stored.

사용자가 재활동작 표준 영상을 보고 재활운동을 수행할 때마다 재활운동을 수행하는 동안의 영상이 카메라 모션 센서(110)를 통해 획득 및 처리되어 관절패턴을 포함하는 형태의 재활운동 수행 영상으로서 동작정보 DB(182)에 저장된다.Each time the user views the rehabilitation motion standard image and performs the rehabilitation motion, the image during the rehabilitation motion is acquired and processed through the camera motion sensor 110 to generate the motion information as the rehabilitation motion performance image including the joint pattern And stored in the DB 182.

재활이력 DB(183)는 수행주기별 재활자세 정확도 평가 결과 및 수행주기의 변화에 따른 재활자세 정확도 향상 정도를 포함하는 재활치료 수행 이력을 저장한다.The rehabilitation history DB 183 stores the rehabilitation performance history including the degree of improvement in the rehabilitation attitude accuracy according to the result of evaluation of the rehabilitation attitude accuracy per execution cycle and the change in the execution cycle.

건강정보 DB(184)는 동작정보 DB(182)에 저장된 각 재활운동 수행 영상과 매칭하여, 심전도 센서(120)를 통해 획득한 사용자의 심전도 데이터, 이로부터 계산해 낸 실시간 심박수 및 칼로리 소모량을 포함한 건강상태 검사 결과를 저장한다.The health information DB 184 matches the respective rehabilitation motion performance images stored in the operation information DB 182 and stores the electrocardiogram data of the user acquired through the electrocardiogram sensor 120 and the health information including the real time heart rate and the calorie consumption calculated therefrom Save the result of status check.

제반정보 DB(185)에는 사용자의 신상정보(성별, 나이 등), 재활운동 수행에 필요한 지시사항, 경고음이나 메시지 등이 저장된다.
The personal information DB 185 stores personal information (gender, age, etc.) of the user, instructions for performing a rehabilitation exercise, a warning sound or a message.

도 2는 도 1에 나타난 재활운동 지원 장치의 동작화면을 예시한 도면이다.FIG. 2 is a view illustrating an operation screen of the rehabilitation exercise support device shown in FIG. 1. FIG.

도 2의 예시에서, 화면의 제1 영역(D110)에는 사용자에게 처방된 재활동작 표준 영상이 재생되어 표시되고, 제2 영역(D120)에는 사용자가 실시하는 재활운동 수행 영상이 관절패턴과 함께 표시된다.In the example of FIG. 2, the rehabilitation motion standard image prescribed by the user is reproduced and displayed in the first area D110 of the screen, and the rehabilitation motion performance image performed by the user is displayed together with the joint pattern in the second area D120 do.

제3 영역(D130)에는 운동시간에 따른 사용자의 심전도 데이터가 실시간 그래프 형태로 나타난다.In the third region D130, the electrocardiogram data of the user according to the exercise time is displayed in a real time graph form.

심전도 데이터는 심장근육의 세포막 간 전하의 이동에 의한 전위차로 인해 발생되는 전기적 신호를 피부표면으로부터 측정한 것으로서, 심전도 센서(120)의 금속전극을 이용하여 획득할 수 있다. 심전도 데이터의 원 신호는 제3 영역(D130)에 예시된 바와 같이 심장박동이 진행됨에 따라 주기적으로 반복되는 형태를 띠게 된다.The electrocardiogram data is obtained by measuring an electrical signal generated from a potential difference caused by a transfer of charge between cell membranes of the cardiac muscle from the surface of the skin, and can be obtained by using the metal electrode of the electrocardiographic sensor 120. The original signal of the electrocardiogram data is periodically repeated as the heartbeat progresses as illustrated in the third region D130.

제4 영역(D140)에는 사용자의 각 동작이 진행됨에 따라 재활자세 정확도 평가 결과가 시간순서에 따라 표시된다.
As each operation of the user proceeds in the fourth area D140, the result of the rehabilitation posture accuracy evaluation is displayed in time sequence.

도 3은 본 발명의 일 실시예에 따른 재활운동 지원 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a method of supporting a rehabilitation exercise according to an embodiment of the present invention.

먼저, 재활운동 지원 장치(100)는 사용자 요청에 따라 관리 서버(200)에 접근하여 사용자에게 처방된 재활동작 표준 영상을 제공받고 이를 재생하여 화면으로 표시한다(S110).First, the rehabilitation motion support apparatus 100 accesses the management server 200 according to a user's request, receives a prescribed rehabilitation motion standard image, displays the rehabilitation motion standard image, and displays it on the screen (S110).

바람직하게는, 사용자에게 처방되는 재활동작 표준 영상은 차후 입력되는 재활운동 수행 영상과 더불어, 키넥트 센서와 같은 카메라 모션 센서(110)를 통해 획득한 3차원 관절패턴을 포함하는 형태의 영상이다. 전술한 관절패턴은 인체의 각 관절포인트별 3차원 위치와 각도를 나타내는 정보이다.Preferably, the rehabilitation motion standard image prescribed to the user is an image including a three-dimensional joint pattern obtained through a camera motion sensor 110 such as a Kinect sensor, in addition to a rehabilitation motion performed image to be input next time. The above-described joint pattern is information indicating the three-dimensional position and angle of each joint point of the human body.

사용자가 재활운동 지원 장치(100)의 화면에 나타나는 재활동작 표준 영상을 보고 따라하는 동안, 판단부(140)는 카메라 모션 센서(110)를 작동시켜 재활동작을 따라하는 재활운동 수행 영상을 실시간으로 입력받으면서 관절패턴을 추출하며, 이를 저장 및 재생하여 재활동작 표준 영상과 비교 가능하도록 화면으로 표시한다(S120).While the user watches and watches the rehabilitation motion standard image displayed on the screen of the rehabilitation exercise support apparatus 100, the determination unit 140 controls the camera motion sensor 110 to perform a rehabilitation motion performed image in real time The joint pattern is extracted while being input, and the joint pattern is stored and reproduced and displayed on the screen so as to be compared with the rehabilitation operation standard image (S120).

더불어, 심전도 센서(120)는 사용자가 착용한 웨어러블 셔츠에 부착되어 재활운동을 실시하는 사용자의 심전도 데이터를 측정하며, 검사부(150)는 재활운동 중에 심전도 센서(120)와 근거리 통신하여 사용자의 심전도 데이터를 제공받는다(S130).In addition, the electrocardiogram sensor 120 measures the electrocardiogram data of a user who is attached to the wearable shirt worn by the user and performs the rehabilitation exercise, and the examination unit 150 communicates with the electrocardiogram sensor 120 in short- And receives data (S130).

이후, 판단부(140)는 사용자에게 처방된 재활동작 표준 영상과 카메라 모션 센서(110)를 통해 입력되는 재활운동 수행 영상을 비교하여 재활자세 정확도를 평가하게 된다(S140).Then, the determination unit 140 compares the rehabilitation motion standard image prescribed by the user with the rehabilitation motion performance image input through the camera motion sensor 110 to evaluate the rehabilitation posture accuracy (S140).

도 4는 S140의 재활자세 정확도 평가 단계를 보다 세부적으로 나타낸 도면이다.4 is a more detailed view showing the step of evaluating the rehabilitation posture accuracy of S140.

도 4에서, 판단부(140)는 재활동작 표준 영상과 재활운동 수행 영상에 있는 각 동작의 일치/불일치 여부로 재활자세 정확도를 평가한다.In FIG. 4, the determination unit 140 evaluates the rehabilitation posture accuracy based on whether the actions in the rehabilitation motion standard image and the rehabilitation motion performing image match / mismatch.

이를 위해, 판단부(140)는 먼저 재활동작 표준 영상에서 3차원 관절패턴을 포함하는 표준 템플릿을 추출하고(S141), 재활운동 수행 영상에서도 3차원 관절패턴을 포함하는 실제 템플릿을 추출한다(S142).For this, the determination unit 140 first extracts a standard template including a three-dimensional joint pattern from the rehabilitation motion standard image (S 141), and also extracts an actual template including a three-dimensional joint pattern from the rehabilitation motion image (S 142 ).

이후, 판단부(140)는 재활동작 표준 영상에서 추출한 표준 템플릿을 재활운동 수행 영상에서 추출한 실제 템플릿과 비교함으로써 표준 템플릿과 실제 템플릿 각각에 포함되어 있는 두 관절패턴 간의 유사도를 측정(S143)하여 두 관절패턴 간의 유사도가 임계치 이상(S144)이면 동작 일치로 판단한다(S145). 두 관절패턴 간의 유사도 측정 결과(S143), 두 관절패턴 간의 유사도가 임계치보다 작으면 동작 불일치로 판단하게 된다(S144, S146).Then, the determination unit 140 compares the standard template extracted from the rehabilitation motion standard image with the actual template extracted from the rehabilitation motion performed image to measure the similarity between the two joint patterns included in the standard template and the actual template (S143) If the similarity degree between the joint patterns is equal to or more than the threshold value (S144), it is determined that the operation is consistent (S145). If the degree of similarity between the two joint patterns is smaller than the threshold value (S143), it is determined that there is an operation mismatch (S144, S146).

이와 같은 동작 일치/불일치 판단 과정에서, 판단부(140)는 실제 템플릿으로부터 사용자의 모든 관절을 포함하는 탐색영역을 추출하여 표준 템플릿과 매칭 가능한 크기로 정규화한 다음 표준 템플릿과의 비교를 수행할 수 있다.In such a motion matching / mismatch determination process, the determination unit 140 extracts a search area including all the joints of the user from the actual template, normalizes the search area to a size that can match the standard template, and then performs comparison with the standard template have.

즉, 실제 템플릿을 표준 템플릿과 비교하기 전에 실제 템플릿에서 사용자의 모든 관절을 포함하는 탐색영역의 크기를 가변 설정한 후 일정 비율로 축소해가며 정규화 과정을 수행하여 실제 템플릿의 탐색영역을 먼저 설정하는 것이다.That is, before the actual template is compared with the standard template, the size of the search area including all the joints of the user in the actual template is variably set and then reduced to a certain ratio, and the normalization process is performed to set the search area of the actual template first will be.

또한, 동작 일치/불일치 여부를 보다 정확히 판단하기 위하여, 재활운동 수행 영상에서 실제 템플릿을 추출할 때 동작 수행에 따른 시간오차를 고려하여 복수 개의 템플릿을 추출하되, 일정 구간 동안의 실시간 프레임들을 포함하는 템플릿 외에 이전 프레임들 또는 다음 프레임들을 적어도 일부 포함하는 템플릿을 더 추출하여 유사도 측정을 위해 표준 템플릿과 추가로 비교할 수도 있다.In addition, in order to more accurately determine whether motion matching / mismatching occurs, when extracting an actual template from a rehabilitation motion-performing image, a plurality of templates are extracted in consideration of a time error due to an operation, Templates containing at least some of the previous frames or the following frames in addition to the template may further be extracted and further compared with the standard template for similarity measurement.

다시 도 3을 참조하면, 검사부(150)는 심전도 센서(120)에서 측정한 심전도 데이터를 기반으로 사용자의 실시간 건강상태를 검사한다(S150).Referring again to FIG. 3, the checking unit 150 checks the user's real-time health state based on the electrocardiogram data measured by the electrocardiogram sensor 120 (S150).

이후, 재활운동 지원 장치(100)는 건강상태 검사 결과를 재활자세 정확도 평가 결과와 함께 출력하여 사용자에게 제공한다(S160). 아울러, 이와 같은 결과는 DB 그룹(180)에 등록되고, 관리 서버(200)로 전송 저장되어 추후 처방을 위한 근거자료로 활용될 수 있다.Then, the rehabilitation exercise support apparatus 100 outputs the health state test result together with the rehabilitation posture accuracy evaluation result to the user (S160). In addition, such a result can be registered in the DB group 180, transferred to and stored in the management server 200, and used as a basis for future prescriptions.

이와 같이, 재활운동 지원 장치(100)는 보다 효율적인 재활치료를 실행하고 치료효과를 향상시키기 위한 노력의 일환으로서 재활자세 정확도 평가 결과를 사용자 및 관리 서버(200)에 피드백하여 제공함으로써 재활 성취도를 판단할 수 있게 한다.As described above, the rehabilitation exercise support apparatus 100 feedbacks the rehabilitation posture accuracy evaluation result to the user and management server 200 as an effort to perform a more efficient rehabilitation treatment and improve the therapeutic effect, thereby determining the rehabilitation achievement I can do it.

또한, 재활운동 지원 장치(100)는 사용자가 재활운동을 수행할 때마다 사용자가 재활운동을 수행하는 동안의 영상을 DB 그룹(180)으로 저장한다. DB 그룹(180)에는 재활자세 정확도 평가를 위해 필요한 각종 정보가 저장된다.In addition, the rehabilitation exercise support apparatus 100 stores an image during the rehabilitation exercise by the user in the DB group 180 every time the user performs the rehabilitation exercise. The DB group 180 stores various kinds of information necessary for evaluating the rehabilitation posture accuracy.

재활운동 지원 장치(100)는 재활운동을 수행하는데 필요한 지시사항을 DB 그룹(180)에 저장하여 필요 시 출력하고, 사용자의 건강상태 검사 결과 이상 유무에 따라 사용 가능한 경고음이나 메시지를 DB 그룹(180)에 저장하여 경보 동작 시에 출력한다.The rehabilitation exercise support apparatus 100 stores the instructions necessary for performing the rehabilitation exercise in the DB group 180 and outputs it if necessary, and outputs a warning sound or message that can be used as a result of the user's health state check, ) And outputs it at the time of an alarm operation.

또한, 재활운동 지원 장치(100)는 추후 진행될 재활 관련 처방에 반영될 수 있도록 관리 서버(200)를 통해 의사나 의료기관에게 사용자의 재활자세 정확도 평가 결과, 수행주기의 변화에 따른 재활자세 정확도 향상 정도 및 건강상태 검사 결과 등의 다양한 피드백 정보를 제공한다.
In addition, the rehabilitation exercise support device 100 may be provided with a rehabilitation posture accuracy degree improvement result of the user as a result of the evaluation of the rehabilitation attitude accuracy of the user through the management server 200 so that the rehabilitation exercise support device 100 can be reflected in the rehabilitation- And health condition test results.

본 발명에 따른 재활운동 지원 장치 및 방법의 구성은 전술한 실시예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수 있다.
The configuration of the apparatus and method for supporting rehabilitation exercise according to the present invention is not limited to the above-described embodiments, but can be variously modified within the scope of the technical idea of the present invention.

100: 재활운동 지원 장치, 110: 카메라 모션 센서,
120: 심전도 센서, 130: 표시부,
140: 판단부, 150: 검사부,
160: 인터페이스부, 170: 통신부,
180: DB 그룹, 200: 관리 서버100: rehabilitation support device, 110: camera motion sensor,
120: electrocardiogram sensor, 130: display unit,
140: Judgment section, 150: Inspection section,
160: interface unit, 170: communication unit,
180: DB group, 200: management server

Claims (12)

사용자가 실시하는 재활운동 수행 영상을 입력받는 카메라 모션 센서;
재활운동 중에 사용자의 심전도 데이터를 측정하는 심전도 센서;
사용자에게 처방된 재활동작 표준 영상과 상기 카메라 모션 센서를 통해 입력받은 재활운동 수행 영상을 비교하여 재활자세 정확도를 평가하는 판단부;
상기 심전도 센서를 통해 측정된 심전도 데이터를 기반으로 사용자의 실시간 건강상태를 검사하는 검사부; 및
상기 처방된 재활동작 표준 영상과 상기 입력된 재활운동 수행 영상을 표시하고, 상기 건강상태 검사 결과를 상기 재활자세 정확도 평가 결과와 함께 출력하는 인터페이스부를 포함하되,
상기 판단부는 상기 재활동작 표준 영상에서 추출한 표준 템플릿을 상기 재활운동 수행 영상에서 추출한 실제 템플릿과 비교함으로써 상기 표준 템플릿과 상기 실제 템플릿 각각에 포함되어 있는 두 관절패턴 간의 유사도를 측정하여 두 관절패턴 간의 유사도가 임계치 이상이면 동작 일치로 판단하는 재활운동 지원 장치.
A camera motion sensor for receiving a rehabilitation motion performance image performed by a user;
An electrocardiogram sensor for measuring a user's electrocardiogram data during a rehabilitation exercise;
A determination unit for comparing the rehabilitation motion standard image prescribed by the user with the rehabilitation motion performed image input through the camera motion sensor to evaluate the rehabilitation posture accuracy;
An examiner for checking the user's real-time health condition based on the electrocardiogram data measured through the electrocardiographic sensor; And
And an interface unit for displaying the prescribed rehabilitation operation standard image and the inputted rehabilitation exercise performance image and outputting the health state examination result together with the rehabilitation posture accuracy evaluation result,
Wherein the determination unit compares the standard template extracted from the rehabilitation motion standard image with the actual template extracted from the rehabilitation motion performed image to measure the similarity between the standard template and the two joint patterns included in each of the actual templates, Is greater than or equal to a threshold value, it is determined that the motion matches.
제1항에 있어서,
상기 카메라 모션 센서는 키넥트 센서로서,
상기 판단부는 상기 카메라 모센 센서로 촬영한 컬러영상과 깊이영상을 제공받아 가우시안 필터 또는 미디언 필터로 잡음을 제거한 후 상기 잡음 제거된 영상으로부터 인체의 각 관절포인트별 3차원 위치 및 각도를 포함하는 관절패턴을 추출하여 상기 재활운동 수행 영상에 포함시켜 제공하는 재활운동 지원 장치.
The method according to claim 1,
Wherein the camera motion sensor is a Kinect sensor,
The determination unit receives the color image and the depth image captured by the camera MOSSEN sensor, removes noise with a Gaussian filter or a median filter, and extracts joints including three-dimensional positions and angles of each joint point of the human body from the noise- Extracting the pattern and providing the extracted pattern in the rehabilitation motion performing image.
삭제delete 제1항에 있어서,
상기 실제 템플릿에서 사용자의 모든 관절을 포함하는 탐색영역을 추출하여 상기 표준 템플릿과 매칭 가능한 크기로 정규화한 다음 상기 표준 템플릿과의 비교를 수행하는 재활운동 지원 장치.
The method according to claim 1,
Extracting a search area including all the joints of the user from the actual template, normalizing the search area to a size that can match the standard template, and comparing the search area with the standard template.
제1항에 있어서,
상기 재활운동 수행 영상에서 상기 실제 템플릿을 추출할 때 시간오차를 고려하여 복수 개의 템플릿을 추출하되, 일정 구간 동안의 실시간 프레임들을 포함하는 템플릿 외에 이전 프레임들 또는 다음 프레임들을 적어도 일부 포함하는 템플릿을 더 추출하여 유사도 측정을 위해 상기 표준 템플릿과 추가로 비교하는 재활운동 지원 장치.
The method according to claim 1,
Extracting a plurality of templates in consideration of a time error when extracting the actual template from the rehabilitation motion-performing image, extracting a template including at least a part of previous frames or the following frames in addition to the template including real- And compares the standard template with the standard template for similarity measurement.
제1항에 있어서,
상기 검사부는 상기 심전도 센서와의 근거리 통신으로 상기 심전도 데이터를 획득하고, 미리 설정된 임계치를 기준으로 상기 심전도 데이터의 피크를 검출하여 실시간 심박수를 연산한 후, 상기 실시간 심박수로 운동강도의 적정성을 평가하여 상기 실시간 심박수가 목표 심박수 이상이면 경보 동작을 수행하는 재활운동 지원 장치.
The method according to claim 1,
The test unit acquires the electrocardiogram data by short distance communication with the electrocardiogram sensor, detects a peak of the electrocardiogram data based on a preset threshold value to calculate a real time heart rate, and then evaluates the adequacy of the exercise intensity with the real time heart rate And performs an alarming operation when the real-time heart rate is higher than a target heart rate.
제6항에 있어서,
상기 검사부는 기 설정된 칼로리 계산식과 신상정보를 이용해 상기 실시간 심박수에 따른 칼로리 소모량을 계산하여 상기 인터페이스부를 통해 화면으로 출력하는 재활운동 지원 장치.
The method according to claim 6,
Wherein the checking unit calculates the calorie consumption amount according to the real time heart rate using the preset calorie calculation formula and the personal information, and outputs the calorie consumption amount to the screen through the interface unit.
제1항에 있어서,
관절패턴을 포함하는 재활동작 표준 영상을 저장하는 처방전 영상 DB;
사용자가 재활운동을 수행할 때마다 재활운동을 수행하는 동안의 영상을 관절패턴을 포함하여 저장하는 동작정보 DB;
수행주기별 재활자세 정확도 평가 결과 및 수행주기의 변화에 따른 재활자세 정확도 향상 정도를 포함한 재활치료 수행 이력을 저장하는 재활이력 DB;
상기 동작정보 DB에 저장된 각 재활운동 수행 영상과 매칭하여 사용자의 심전도 데이터, 실시간 심박수 및 칼로리 소모량을 포함한 건강상태 검사 결과를 저장하는 건강정보 DB; 및
사용자의 신상정보 및 재활운동 수행에 필요한 지시사항을 저장하는 제반정보 DB를 포함한 DB 그룹을 더 포함하는 재활운동 지원 장치.
The method according to claim 1,
A prescription image DB storing a rehabilitation operation standard image including a joint pattern;
An operation information DB for storing an image during a rehabilitation movement every time the user performs a rehabilitation motion including a joint pattern;
Rehabilitation history DB storing history of rehabilitation treatment including degree of rehabilitation attitude improvement according to rehabilitation attitude accuracy evaluation result and execution cycle according to execution cycle;
A health information DB for storing a health condition test result including a user's ECG data, a real time heart rate, and a calorie consumption amount by matching with each rehabilitation exercise performance image stored in the operation information DB; And
And a DB group including an information DB storing information of a user's personal information and instructions for performing a rehabilitation exercise.
사용자에게 처방된 재활동작 표준 영상을 재생하여 표시하는 단계;
사용자가 재활동작을 따라하는 재활운동 수행 영상을 입력받아 표시하는 단계;
재활운동 중에 사용자의 심전도 데이터를 측정하는 단계;
상기 처방된 재활동작 표준 영상과 상기 입력된 재활운동 수행 영상을 비교하여 재활자세 정확도를 평가하는 단계;
상기 측정된 심전도 데이터를 기반으로 사용자의 실시간 건강상태를 검사하는 단계; 및
상기 건강상태 검사 결과를 상기 재활자세 정확도 평가 결과와 함께 제공하는 단계를 포함하되,
상기 재활동작 표준 영상과 상기 재활운동 수행 영상은 인체의 각 관절포인트별 3차원 위치 및 각도를 포함한 관절패턴을 포함하는 것으로서,
상기 재활자세 정확도 평가 단계에서, 상기 재활동작 표준 영상으로부터 추출한 표준 템플릿을 상기 재활운동 수행 영상으로부터 추출한 실제 템플릿과 비교함으로써 상기 표준 템플릿과 상기 실제 템플릿 각각에 포함되어 있는 두 관절패턴 간의 유사도를 측정하여 두 관절패턴 간의 유사도가 임계치 이상이면 동작 일치로 판단하는 재활운동 지원 방법.
Reproducing and displaying a prescribed rehabilitation motion standard image to a user;
Receiving and displaying a rehabilitation exercise performance image in which a user follows a rehabilitation operation;
Measuring a user's electrocardiogram data during a rehabilitation exercise;
Evaluating the rehabilitation posture accuracy by comparing the prescribed rehabilitation motion standard image with the input rehabilitation motion performance image;
Checking a user's real-time health status based on the measured electrocardiogram data; And
And providing the result of the health state test together with the rehabilitation posture accuracy evaluation result,
Wherein the rehabilitation motion standard image and the rehabilitation motion performing image include joint patterns including three-dimensional positions and angles of each joint point of the human body,
In the rehabilitation posture accuracy evaluation step, the standard template extracted from the rehabilitation motion standard image is compared with the actual template extracted from the rehabilitation motion performance image, and the similarity between the standard template and the two joint patterns included in the actual template is measured When the degree of similarity between the two joint patterns is equal to or greater than the threshold, it is determined that the motion matches.
삭제delete 제9항에 있어서,
상기 실제 템플릿에서 사용자의 모든 관절을 포함하는 탐색영역을 추출하여 상기 표준 템플릿과 매칭 가능한 크기로 정규화한 다음 상기 표준 템플릿과의 비교를 수행하는 재활운동 지원 방법.
10. The method of claim 9,
Extracting a search area including all the joints of the user from the actual template, normalizing the search area to a size that can match the standard template, and comparing the search area with the standard template.
제9항에 있어서,
상기 재활운동 수행 영상에서 상기 실제 템플릿을 추출할 때 시간오차를 고려하여 복수 개의 템플릿을 추출하되, 일정 구간 동안의 실시간 프레임들을 포함하는 템플릿 외에 이전 프레임들 또는 다음 프레임들을 적어도 일부 포함하는 템플릿을 더 추출하여 유사도 측정을 위해 상기 표준 템플릿과 추가로 비교하는 재활운동 지원 방법.10. The method of claim 9,
Extracting a plurality of templates in consideration of a time error when extracting the actual template from the rehabilitation motion-performing image, extracting a template including at least a part of previous frames or the following frames in addition to the template including real- Extracting and comparing the standard template with the standard template for similarity measurement.
KR1020140017106A 2014-02-14 2014-02-14 Apparatus and Method for Supporting Rehabilitation Exercise KR101576526B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140017106A KR101576526B1 (en) 2014-02-14 2014-02-14 Apparatus and Method for Supporting Rehabilitation Exercise

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140017106A KR101576526B1 (en) 2014-02-14 2014-02-14 Apparatus and Method for Supporting Rehabilitation Exercise

Publications (2)

Publication Number Publication Date
KR20150096550A KR20150096550A (en) 2015-08-25
KR101576526B1 true KR101576526B1 (en) 2015-12-11

Family

ID=54058877

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140017106A KR101576526B1 (en) 2014-02-14 2014-02-14 Apparatus and Method for Supporting Rehabilitation Exercise

Country Status (1)

Country Link
KR (1) KR101576526B1 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102000763B1 (en) * 2018-02-07 2019-07-16 주식회사 인프라웨어테크놀러지 Smart mirror device for providing personal training service
WO2021100905A1 (en) * 2019-11-20 2021-05-27 (주)데브언리밋 Method for providing training service and service system therefor
CN113257374A (en) * 2020-02-12 2021-08-13 阿里巴巴集团控股有限公司 Oral health management related system, method, device and equipment
KR102617467B1 (en) * 2021-08-31 2023-12-21 대구대학교 산학협력단 Home training system using artificial intelligence
KR102608404B1 (en) * 2021-10-20 2023-12-01 재단법인 대구경북과학기술원 Electronic device for providing evaluation information on user posture and controlling method thereof
KR20240047610A (en) * 2022-10-05 2024-04-12 삼성전자주식회사 Method for outputting reference video based on sensing information of wearable device and electronic device performing the method
KR102538856B1 (en) * 2022-10-27 2023-06-02 (주)엘앤에이치랩스 Apparatus and method for providing customized content for cardiac rehabilitation
KR102566211B1 (en) * 2022-12-15 2023-08-11 에버엑스 주식회사 Method and system for providing treatment using artificial intelligence posture estimation model and motion analysis model

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001112729A (en) * 1999-08-10 2001-04-24 Omron Corp Method for determining exercise intensity, health state discrimination support device, measuring apparatus, and exercise equipment
CN103455984A (en) * 2013-09-02 2013-12-18 清华大学深圳研究生院 Method and device for acquiring Kinect depth image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001112729A (en) * 1999-08-10 2001-04-24 Omron Corp Method for determining exercise intensity, health state discrimination support device, measuring apparatus, and exercise equipment
CN103455984A (en) * 2013-09-02 2013-12-18 清华大学深圳研究生院 Method and device for acquiring Kinect depth image

Also Published As

Publication number Publication date
KR20150096550A (en) 2015-08-25

Similar Documents

Publication Publication Date Title
KR101576526B1 (en) Apparatus and Method for Supporting Rehabilitation Exercise
US10262423B2 (en) Disease and fall risk assessment using depth mapping systems
CN113647939B (en) Artificial intelligence rehabilitation evaluation and training system for spinal degenerative diseases
US20170035330A1 (en) Mobility Assessment Tool (MAT)
CN106999065A (en) Use the wearable pain monitor of accelerometry
JP7057589B2 (en) Medical information processing system, gait state quantification method and program
US20230082362A1 (en) Processes and methods to predict blood pressure
CN114999646B (en) Newborn exercise development assessment system, method, device and storage medium
CN113168895A (en) Method, apparatus and program for evaluating the association between the degree of health of a health care area and individual preventive intervention actions
TWM562100U (en) Intelligent testing equipment
US20230355135A1 (en) Intelligent gait analyzing apparatus
Ngan et al. Functional workspace and patient-reported outcomes improve after reverse and total shoulder arthroplasty
US20220296129A1 (en) Activity monitoring system
AU2021268331A1 (en) Systems, devices, and methods for determining movement variability, illness and injury prediction and recovery readiness
Pashley et al. Assessment of upper limb abnormalities using the Kinect: reliability, validity and detection accuracy in people living with acquired brain injury
KR20130129637A (en) A biofeedback system and method using emg for rehabilitation therapy system for muscle endurance
Boccanfuso et al. Collecting heart rate using a high precision, non-contact, single-point infrared temperature sensor
US20170367676A1 (en) System for detecting disease of the internal organs from voice, waveform and physiological changes
JP2021185999A (en) Physical ability presentation method, and physical ability presentation device
Talebi et al. A machine learning-based model to evaluate multiple sclerosis predictor factors with emphasis on neurophysiological indices of physical activity
US20210137465A1 (en) Scanner system for detecting body condition from various body readings: temperature, signals, waveform and bio-physiological changes
Lancere Technological Solutions for Low Back Pain Physical Therapy Real-time Monitoring with Feedback
TWI796275B (en) Method for disease risk assessment
TWI756793B (en) A channel information processing system
Chinthala et al. An internet of medical things (IoMT) approach for remote assessment of head and neck cancer patients

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 4