KR20230108051A - personal health care system - Google Patents

personal health care system Download PDF

Info

Publication number
KR20230108051A
KR20230108051A KR1020220003375A KR20220003375A KR20230108051A KR 20230108051 A KR20230108051 A KR 20230108051A KR 1020220003375 A KR1020220003375 A KR 1020220003375A KR 20220003375 A KR20220003375 A KR 20220003375A KR 20230108051 A KR20230108051 A KR 20230108051A
Authority
KR
South Korea
Prior art keywords
user
posture
exercise
analysis module
image
Prior art date
Application number
KR1020220003375A
Other languages
Korean (ko)
Inventor
박대원
Original Assignee
주식회사 다윈테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다윈테크 filed Critical 주식회사 다윈테크
Priority to KR1020220003375A priority Critical patent/KR20230108051A/en
Publication of KR20230108051A publication Critical patent/KR20230108051A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 개인 헬스케어 시스템에 관한 것으로서, 운동기구를 이용하여 운동하는 사용자를 촬영하는 촬영유닛과, 상기 촬영유닛에서 촬영된 영상을 토대로 운동하는 상기 사용자의 자세에 대한 정보를 산출하는 자세 산출모듈과, 상기 자세 분석모듈에서 제공되는 상기 사용자의 자세에 대한 정보를 토대로상기 사용자의 자세에서 기설정된 해당 운동기구의 기준 자세와 불일치한 교정 대상 부분에 대한 정보를 산출하는 분석모듈을 구비한다.
본 발명에 따른 개인 헬스케어 시스템은 운동기구를 이용하여 운동하는 사용자를 촬영하고, 촬영된 영상을 토대로 사용자의 자세를 분석하여 분석결과를 제공하므로 비전문가일지라도 용이하게 자신의 운동 자세를 교정할 수 있어 운동효율을 향상시킬 수 있는 장점이 있다. The present invention relates to a personal health care system, and relates to a photographing unit for photographing a user exercising using exercise equipment, and a posture calculation module for calculating information on the posture of the user exercising based on an image photographed by the photographing unit. and an analysis module that calculates information on a portion to be corrected that is inconsistent with a predetermined reference posture of the corresponding exercise device based on the information about the user's posture provided by the posture analysis module.
The personal health care system according to the present invention photographs a user exercising using exercise equipment, analyzes the user's posture based on the photographed image, and provides an analysis result, so even non-professionals can easily correct their exercise posture. It has the advantage of improving exercise efficiency.

Description

개인 헬스케어 시스템{personal health care system}Personal health care system {personal health care system}

본 발명은 개인 헬스케어 시스템에 관한 것으로서, 더욱 상세하게는 운동기구를 사용하는 사용자를 촬영하에 자세를 분석하는 개인 헬스케어 시스템에 관한 것이다. The present invention relates to a personal health care system, and more particularly, to a personal health care system that analyzes the posture of a user using an exercise machine by photographing it.

스마트 헬스케어의료기기 시장은 매년 10% 넘게 성장하여 2020년에는 14조원 규모에 이를 것으로 전망되며, 헬스케어 관련 디바이스의 성장세가 IoT 디바이스 산업의 성장을 주도하여 전반적인 스마트헬스케어시장 수요 증가하고 있다.The smart healthcare medical device market is expected to grow by more than 10% annually and reach 14 trillion won in 2020, and the growth of healthcare-related devices is leading the growth of the IoT device industry, increasing overall smart healthcare market demand.

종합 리서치 기업인 엠브레인 트렌드모니터(trendmonitor.co.kr)의 전국 만 19세~59세 성인남녀 1,000명을 대상으로 '운동에 대한 인식 및 홈트레이닝'에 대한 조사에 따르면 전체 87%는 "의지만 있다면 집에서도 충분히 운동할 수 있어"라고, 65.8%는 "홈트레이닝만으로도 충분히 운동이 된다." 다만 59%가 "전문가 없이 혼자 운동하는 것에는 한계가 있다"고 조사되는 등 홈트레이닝이 부상되고 있다.According to a survey conducted by Embrain Trend Monitor (trendmonitor.co.kr), a comprehensive research company, on 1,000 adult males and females aged 19 to 59 across the country, 87% said, "If you have the will, I can exercise enough at home", 65.8% said, "Home training alone is enough exercise." However, home training is on the rise, with 59% saying "there is a limit to exercising alone without an expert".

그러나, 종래의 홈트레이닝 시스템은 운동기구를 이용하는 사용자에게 해당 운동기구를 사용하는 올바른 자세에 대한 정보만을 제공하므로 사용자가 자신의 자세가 올바른지 여부를 용이하게 파악하기 어려운 단점이 있다. However, since the conventional home training system provides only information on the correct posture for using the exercise equipment to the user using the exercise equipment, it is difficult for the user to easily determine whether or not the user's posture is correct.

등록특허공보 제10-1461202호: 가상 현실용 운동기구 시스템 및 운용방법Registered Patent Publication No. 10-1461202: Exercise equipment system and operation method for virtual reality

본 발명은 상기 문제점을 해결하기 위해 창출된 것으로서, 운동기구를 이용하여 운동하는 사용자를 촬영하고, 촬영된 영상을 토대로 사용자의 자세를 분석하여 분석결과를 제공할 수 있는 개인 헬스케어 시스템을 제공하는데 그 목적이 있다. The present invention has been created to solve the above problems, to provide a personal health care system capable of photographing a user exercising using exercise equipment, analyzing the user's posture based on the photographed image, and providing analysis results. It has a purpose.

상기 목적을 달성하기 위한 본 발명에 따른 개인 헬스케어 시스템은 운동기구를 이용하여 운동하는 사용자를 촬영하는 촬영유닛과, 상기 촬영유닛에서 촬영된 영상을 토대로 운동하는 상기 사용자의 자세에 대한 정보를 산출하는 자세 산출모듈과, 상기 자세 분석모듈에서 제공되는 상기 사용자의 자세에 대한 정보를 토대로상기 사용자의 자세에서 기설정된 해당 운동기구의 기준 자세와 불일치한 교정 대상 부분에 대한 정보를 산출하는 분석모듈을 구비한다. Personal healthcare system according to the present invention for achieving the above object is a photographing unit for photographing a user exercising using an exercise machine, and calculating information on the posture of the user exercising based on an image photographed by the photographing unit. An analysis module for calculating information on a portion to be corrected that is inconsistent with a reference posture of the corresponding exercise equipment set in the user's posture based on information about the user's posture provided by the posture analysis module. provide

상기 분석모듈은 상기 자세 분석모듈에세 제공되는 상기 사용자의 자세에 대한 정보를 사용자의 자세에서 상기 운동기구의 기준자세와 불일치한 교정 대상 부분을 산출하기 위해 기구축된 신경망 모델에 적용하여 상기 교정 대상 부분을 산출한다. The analysis module applies the information about the user's posture, which is provided to the posture analysis module, to a neural network model built to calculate a portion to be corrected that is inconsistent with the reference posture of the exercise equipment in the user's posture, thereby correcting the correction. Calculate the target part.

상기 분석모듈은 상기 촬영유닛에서 촬영된 영상에서, 상기 교정 대상 부분을 표시하여 분석 결과 영상을 생성하고, 상기 운동기구에 인접된 위치에 마련되어 상기 분석모듈에서 제공되는 상기 분석 결과 영상을 표시하는 디스플레이부를 더 구비한다. The analysis module generates an analysis result image by displaying the portion to be corrected in the image captured by the photographing unit, and a display provided at a position adjacent to the exercise equipment to display the analysis result image provided by the analysis module. have more wealth

상기 디스플레이부는 상기 운동기구의 기준자세에 대한 가이드 영상을 상기 분석 결과 영상과 함께 상기 사용자에게 표시한다. The display unit displays a guide image for the reference posture of the exercise machine together with the analysis result image to the user.

상기 자세 산출모듈은 상기 촬영유닛에 촬영된 영상을 토대로 상기 사용자의 얼굴에 땀 발생 여부를 판별하고, 기설정된 단위시간동안 상기 사용자의 얼굴에 땀이 미발생될 경우, 해당 사용자가 저부하 운동 상태로 판별하고, 상기 분석모듈은 상기 자세 산출모듈에서 상기 사용자가 저부하 운동 상태로 판별되면, 상기 사용자가 운동 강도를 높일 수 있도록 상기 분석 결과 영상에, 알림 메세지를 증강하여 상기 디스플레이부에 제공할 수도 있다. The posture calculation module determines whether sweat is generated on the user's face based on the image captured by the photographing unit, and when sweat does not occur on the user's face for a predetermined unit time, the user is in a low load exercise state. When the user is determined to be in a low-load exercise state in the posture calculation module, the analysis module augments a notification message in the analysis result image so that the user can increase the exercise intensity and provides it to the display unit. may be

상기 자세 산출모듈은 상기 촬영유닛에 촬영된 영상을 토대로 상기 사용자의 입모양을 산출하고, 기설정된 기준시간동안 상기 사용자의 입모양의 변화가 기설정된 기준 범위 이상일 경우, 해당 사용자에 위급 상황이 발생된 것을 판별하고, 상기 분석모듈은 상기 자세 산출모듈에서 상기 사용자에 위급 상황이 발생된 것으로 판별되면, 관리자에게 경고 정보를 전송할 수도 있다. The posture calculation module calculates the shape of the mouth of the user based on the image captured by the photographing unit, and when the change in the shape of the mouth of the user is greater than a preset reference range for a preset reference time, an emergency situation occurs for the corresponding user. When it is determined that an emergency situation has occurred to the user in the posture calculation module, the analysis module may transmit warning information to a manager.

본 발명에 따른 개인 헬스케어 시스템은 운동기구를 이용하여 운동하는 사용자를 촬영하고, 촬영된 영상을 토대로 사용자의 자세를 분석하여 분석결과를 제공하므로 비전문가일지라도 용이하게 자신의 운동 자세를 교정할 수 있어 운동효율을 향상시킬 수 있는 장점이 있다. The personal health care system according to the present invention photographs a user exercising using exercise equipment, analyzes the user's posture based on the photographed image, and provides an analysis result, so even non-professionals can easily correct their exercise posture. It has the advantage of improving exercise efficiency.

도 1은 본 발명에 따른 개인 헬스케어 시스템에 대한 사시도이고,
도 2는 도 1의 개인 헬스케어 시스템에 대한 블럭도이고,
도 3은 본 발명의 또 다른 실시 예에 따른 개인 헬스케어 시스템에 대한 블럭도이다. 1 is a perspective view of a personal healthcare system according to the present invention;
2 is a block diagram of the personal healthcare system of FIG. 1;
3 is a block diagram of a personal healthcare system according to another embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 개인 헬스케어 시스템에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다. Hereinafter, a personal healthcare system according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. Since the present invention can have various changes and various forms, specific embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to a specific form disclosed, and should be understood to include all modifications, equivalents, or substitutes included in the spirit and scope of the present invention. Like reference numerals have been used for like elements throughout the description of each figure. In the accompanying drawings, the dimensions of the structures are shown enlarged than the actual for clarity of the present invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as "comprise" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that it does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't

도 1 및 도 2에는 본 발명에 따른 개인 헬스케어 시스템(100)이 도시되어 있다. 1 and 2 show a personal healthcare system 100 according to the present invention.

도면을 참조하면, 상기 개인 헬스케어 시스템(100)은 운동기구(15)를 이용하여 운동하는 사용자를 촬영하는 촬영유닛(110)과, 상기 촬영유닛(110)에서 촬영된 영상을 토대로 운동하는 상기 사용자의 자세에 대한 정보를 산출하는 자세 산출모듈(120)과, 상기 자세 분석모듈(130)에서 제공되는 상기 사용자의 자세에 대한 정보를 토대로상기 사용자의 자세에서 기설정된 해당 운동기구(15)의 기준 자세와 불일치한 교정 대상 부분에 대한 정보를 산출하는 분석모듈(130)과, 상기 분석모듈(130)에서 산출된 정보를 표시하기 위한 디스플레이부(140)를 구비한다. Referring to the drawings, the personal healthcare system 100 includes a photographing unit 110 for photographing a user exercising using an exercise machine 15, and a photographic image of a user exercising based on an image captured by the photographing unit 110. Based on the information on the user's posture provided by the posture calculation module 120 that calculates information on the user's posture and the posture analysis module 130, the corresponding exercise equipment 15 preset in the user's posture It has an analysis module 130 that calculates information on the part to be corrected that is inconsistent with the reference posture, and a display unit 140 for displaying the information calculated by the analysis module 130.

상기 촬영유닛(110)은 운동기구(15)를 이용하여 운동하는 사용자를 촬영하는 촬영 카메라(111)와, 해당 사용자에 대한 깊이 영상을 촬영하는 뎁스 카메라(112)를 구비한다. The photographing unit 110 includes a photographing camera 111 for photographing a user exercising using the exercise machine 15 and a depth camera 112 for photographing a depth image of the user.

상기 촬영 카메라(111)는 상기 사용자를 촬영하기 위한 것으로서, 후술되는 디스플레이부(140) 일측에, 운동기구(15)에 대향되게 설치된다. 또한, 뎁스 카메라(112)는 운동기구(15)를 이용하는 사용자에 대한 깊이영상을 촬영할 수 있도록 디스플레이부(140) 일측에 설치된다. 여기서, 뎁스 카메라(112)는 깊이영상을 획득할 수 있는 깊이 센서가 포함된 키넥트(Kinect)와 같은 기기인 것이 바람직하다.The photographing camera 111 is for photographing the user, and is installed on one side of the display unit 140 to be described later, facing the exercise machine 15. In addition, the depth camera 112 is installed on one side of the display unit 140 to capture a depth image of a user using the exercise equipment 15 . Here, the depth camera 112 is preferably a device such as a Kinect including a depth sensor capable of obtaining a depth image.

자세 산출모듈(120)은 뎁스 카메라(112)에 연결되며, 뎁스 카메라(112)로부터 사용자에 대한 깊이 영상을 제공받아 분석하는 것으로서, 스켈레톤 영상 생성부(121) 및 자세 산출부(122)를 구비한다. The posture calculation module 120 is connected to the depth camera 112, receives and analyzes the depth image of the user from the depth camera 112, and includes a skeleton image generator 121 and a posture calculator 122 do.

스켈레톤 영상 생성부(121)는 상기 뎁스 카메라(112)로부터 획득한 깊이 영상을 토대로 스켈레톤 영상을 생성하고, 생성된 스켈레톤 영상에서 사용자의 각 관절에 대응되는 좌표를 추출한다. 스켈레톤 영상 생성부(121)는 뎁스 카메라(112)로부터 제공받은 깊이 영상에서 사용자의 신체를 추출한다. 이때, 스켈레톤 영상 생성부(121)는 사람의 주요 관절 20개를 인식할 수 있는 관절 추적 소프트웨어가 적용되어 있는 것이 바람직하다. The skeleton image generator 121 generates a skeleton image based on the depth image obtained from the depth camera 112 and extracts coordinates corresponding to each joint of the user from the generated skeleton image. The skeleton image generator 121 extracts the user's body from the depth image provided from the depth camera 112 . At this time, the skeleton image generating unit 121 is preferably applied with joint tracking software capable of recognizing 20 major human joints.

자세 산출부(122)는 스켈레톤 영상 생성부(121)를 통해 추출된 좌표들을 토대로 사용자의 자세 정보를 산출한다. 여기서, 사용자의 자세 정보에는 운동기구(15)에 대한 파지 위치, 몸통 방향, 각 신체부위의 위치나 움직임 등이 포함된다. 해당 자세 산출부(122)는 산출된 사용자의 자세 정보를 분석모듈(130)에 전달한다. The posture calculation unit 122 calculates the user's posture information based on the coordinates extracted through the skeleton image generator 121 . Here, the posture information of the user includes the position of gripping the exercise device 15, the direction of the body, the position or movement of each body part, and the like. The posture calculating unit 122 transfers the calculated posture information of the user to the analysis module 130 .

분석모듈(130)은 상기 자세 분석모듈(130)에서 제공되는 상기 사용자의 자세에 대한 정보를 토대로상기 사용자의 자세에서 기설정된 해당 운동기구(15)의 기준 자세와 불일치한 교정 대상 부분에 대한 정보를 산출한다. 이때, 분석모듈(130)은 기준 자세와, 사용자의 자세를 비교하여 사용자의 신체에서 교정 대상 부분을 산출한다. Analysis module 130, based on the information about the user's posture provided by the posture analysis module 130, the information on the part to be corrected that is inconsistent with the reference posture of the exercise device 15 set in the user's posture yields At this time, the analysis module 130 compares the reference posture and the user's posture to calculate a part to be corrected in the user's body.

한편, 분석모듈(130)은 상기 자세 분석모듈(130)에세 제공되는 상기 사용자의 자세에 대한 정보를 사용자의 자세에서 상기 운동기구(15)의 기준자세와 불일치한 교정 대상 부분을 산출하기 위해 기구축된 신경망 모델에 적용하여 상기 교정 대상 부분을 산출할 수도 있다. On the other hand, the analysis module 130 uses the information on the user's posture provided to the posture analysis module 130 to calculate a part to be corrected that is inconsistent with the reference posture of the exercise device 15 from the user's posture. The part to be calibrated may be calculated by applying to the constructed neural network model.

여기서, 신경망 모델은 합성곱 신경망(CNN: Convolutional Neural Network) 모델이 적용되는데, 상기 CNN 모델은 복수의 연산 레이어(Convolutional Layer, pooling Layer)를 번갈아 수행하여 최종적으로는 입력 데이터의 특징을 추출하는 데 사용되는 계층 모델이다. 상기 신경망 모델은 운동기구(15)의 기준자세와, 교정 대상 부분에 대한 다수의 샘플 데이터들을 지도학습(Supervised Learning) 기법에 따라 처리하여 구축된다. 한편, 분석모듈(130)에서 사용되는 신경망 모델은 이에 한정하는 것이 아니라 사용자의 영상에서 교정 대상 부분을 판별할 수 있는 신경망 모델이면 무엇이든 적용 가능하다. Here, a convolutional neural network (CNN) model is applied to the neural network model. The CNN model alternately performs a plurality of operation layers (Convolutional Layer, pooling layer) to finally extract features of the input data. This is the hierarchical model used. The neural network model is constructed by processing the reference posture of the exercise device 15 and a plurality of sample data for the part to be corrected according to a supervised learning technique. Meanwhile, the neural network model used in the analysis module 130 is not limited thereto, and any neural network model capable of discriminating a correction target part in the user's image can be applied.

한편, 분석모듈(130)은 촬영유닛(110)에서 촬영된 영상에서, 상기 교정 대상 부분을 표시하여 분석 결과 영상을 생성할 수 있다. 또한, 분석모듈(130)은 산출된 교정 대상 부분을 교정하기 위한 교정 메시지를 생성하여 해당 분석 결과 영상에 표시할 수도 있다. 여기서, 분석모듈(130)은 다수의 교정 대상 부분에 대한 교정 메시지들이 저장된 데이터 베이스(미도시)를 구비하고, 데이터 베이스에 저장된 교정 메시지들 중 산출된 교정 대상 부분에 대응되는 교정 메시지를 해당 분석 결과 영상에 표시할 수 있다. Meanwhile, the analysis module 130 may generate an analysis result image by displaying the correction target portion in the image captured by the photographing unit 110 . In addition, the analysis module 130 may generate a calibration message for calibrating the calculated calibration target portion and display the corresponding analysis result image. Here, the analysis module 130 has a database (not shown) in which calibration messages for a plurality of calibration targets are stored, and analyzes the calibration messages corresponding to the calculated calibration targets among the calibration messages stored in the database. The resulting image can be displayed.

디스플레이부(140)는 운동기구(15)에 설치되는 거치대(141)와, 상기 거치대(141)에 설치되어 분석 결과 영상을 출력하는 출력패널(142)과, 상기 분석모듈(130)에서 제공받은 분석 결과 영상을 출력패널(142)에 전달하는 영상제공모듈(143)을 구비한다. The display unit 140 includes a cradle 141 installed on the exercise equipment 15, an output panel 142 installed on the cradle 141 to output an analysis result image, and the analysis module 130 provided It is provided with an image providing module 143 that transmits the analysis result image to the output panel 142 .

거치대(141)는 일단이 운동기구(15)의 일측에 고정되며, 타측은 운동기구(15)에서 사용자의 운동위치에 대해 멀어지는 방향으로 연장된다. 이때, 해당 거치대(141)는 운동하는 사용자에 간섭되지 않도록 사용자로부터 이격되게 형성되는 것이 바람직하다. Cradle 141 has one end fixed to one side of the exercise device 15, and the other end extends in a direction away from the user's exercise position in the exercise device 15. At this time, it is preferable that the holder 141 be spaced apart from the user so as not to interfere with the exercising user.

출력패널(142)은 운동하는 사용자에 대향되게 거치대(141)의 타측에 설치된다. 해당 출력패널(142)은 영상을 출력하기 위해 종래에 일반적으로 사용되는 디스플레이 수단이므로 상세한 설명은 생략한다. 이때, 출력패널(142)의 일측에는 촬영 카메라(111) 및 뎁스 카메라(112)가 설치되어 있다. The output panel 142 is installed on the other side of the cradle 141 to face the exercising user. Since the corresponding output panel 142 is a display means generally used in the prior art to output an image, a detailed description thereof will be omitted. At this time, a photographing camera 111 and a depth camera 112 are installed on one side of the output panel 142 .

영상제공모듈(143)은 분석모듈(130)에 연결되어 해당 분석모듈(130)에서 제공되는 분석 결과 영상을 출력패널(142)에 전달한다. 한편, 영상제공모듈(143)은 상기 운동기구(15)의 기준자세에 대한 가이드 영상을 상기 분석 결과 영상과 함께 상기 사용자에게 표시되도록 해당 출력패널(142)을 작동시킬 수도 있다. 여기서, 가이드 영상은 모델 또는 모델에 대응되는 모델 오브젝트가 디스플레이부(140)가 설치된 운동기구(15)의 기준자세로 운동하는 영상이 적용된다. 사용자는 분석 결과 영상과 함께 제공되는 가이드 영상을 토대로 해당 운동기구(15)에 대한 올바른 자세를 보다 용이하게 인지할 수 있다. The image providing module 143 is connected to the analysis module 130 and transfers the analysis result image provided from the corresponding analysis module 130 to the output panel 142 . Meanwhile, the image providing module 143 may operate the corresponding output panel 142 to display a guide image for the reference posture of the exercise machine 15 together with the analysis result image to the user. Here, as the guide image, an image in which a model or a model object corresponding to the model moves in the reference posture of the exercise device 15 in which the display unit 140 is installed is applied. The user can more easily recognize the correct posture for the exercise device 15 based on the guide image provided together with the analysis result image.

상술된 바와 같이 구성된 본 발명에 따른 개인 헬스케어 시스템(100)은 운동기구(15)를 이용하여 운동하는 사용자를 촬영하고, 촬영된 영상을 토대로 사용자의 자세를 분석하여 분석결과를 제공하므로 비전문가일지라도 용이하게 자신의 운동 자세를 교정할 수 있어 운동효율을 향상시킬 수 있는 장점이 있다. The personal healthcare system 100 according to the present invention configured as described above captures a user exercising using the exercise equipment 15, analyzes the user's posture based on the captured image, and provides analysis results, even for non-professionals. It has the advantage of being able to easily correct one's exercise posture and improving exercise efficiency.

한편, 도 3에는 본 발명의 또 다른 실시 예에 따른 자세 산출모듈(210)이 도시되어 있다. Meanwhile, FIG. 3 shows a posture calculation module 210 according to another embodiment of the present invention.

앞서 도시된 도면에서와 동일한 기능을 하는 요소는 동일 참조부호로 표기한다.Elements that perform the same functions as in the previously shown drawings are denoted by the same reference numerals.

도면을 참조하면, 상기 자세 산출모듈(210)은 촬영유닛(110)에 촬영된 영상을 토대로 사용자의 운동 상태를 판별할 수 있는 상태판별부(211)를 더 구비한다. Referring to the drawing, the posture calculation module 210 further includes a state determination unit 211 capable of determining a user's motion state based on an image captured by the photographing unit 110.

상기 상태판별부(211)는 촬영유닛(110)의 촬영 카메라(111)에서 촬영 영상을 제공받고, 해당 촬영 영상에서 사용자의 얼굴에 땀 발생 여부를 판별한다. 여기서, 상태판별부(211)는 기설정된 영상 분석 알고리즘을 이용하여 촬영 영상을 분석하여 땀 발생 여부를 판별한다. 이때, 영상 분석 알고리즘은 입력된 영상에서 특정 대상을 산출하기 위해 종래에 일반적으로 사용되는 영상 분석 수단이므로 상세한 설명은 생략한다. 한편, 상태판별부(211)는 기설정된 단위시간동안 사용자의 얼굴에 땀이 미발생될 경우, 해당 사용자가 저부하 운동 상태로 판별하고, 판별정보를 분석모듈(130)에 제공한다. 여기서, 단위시간은 5분 내지 10분이 적용된다. The state determining unit 211 receives a photographed image from the photographing camera 111 of the photographing unit 110, and determines whether sweat is generated on the user's face from the photographed image. Here, the state determination unit 211 analyzes the captured image using a preset image analysis algorithm to determine whether or not sweat is generated. At this time, since the image analysis algorithm is an image analysis means commonly used in the prior art to calculate a specific object from an input image, a detailed description thereof will be omitted. Meanwhile, when sweat does not occur on the user's face for a predetermined unit time, the state determination unit 211 determines that the user is in a low-load exercise state and provides the determination information to the analysis module 130. Here, the unit time is 5 to 10 minutes.

또한, 상태판별부(211)는 촬영 카메라(111)의 촬영 영상을 토대로 사용자의 입모양을 산출할 수도 있다. 이때, 상태판별부(211)는 기설정된 영상 추출 알고리즘을 이용하여 영상에서 사용자의 입모양을 산출한다. 여기서, 영상 추출 알고리즘은 사용자의 얼굴에서 입모양을 추출하기 위해 종래에 일반적으로 사용되는 분석 알로기즘이 적용되므로 상세한 설명은 생략한다. 한편, 상태판별부(211)는 기설정된 기준시간동안 상기 사용자의 입모양의 변화가 기설정된 기준 범위 이상일 경우, 해당 사용자에 위급 상황이 발생된 것을 판별한다. 여기서, 기준시간은 1분 또는 1분 이하가 적용될 수 있다. In addition, the state determination unit 211 may calculate the mouth shape of the user based on the captured image of the photographing camera 111 . At this time, the state determination unit 211 calculates the mouth shape of the user from the image using a preset image extraction algorithm. Here, since an analysis algorithm commonly used in the prior art is applied to the image extraction algorithm to extract a mouth shape from a user's face, a detailed description thereof will be omitted. On the other hand, the state determining unit 211 determines that an emergency situation has occurred for the user when the change in the shape of the user's mouth is greater than or equal to a preset reference range for a preset reference time. Here, 1 minute or less than 1 minute may be applied as the reference time.

분석모듈(130)은 상기 자세 산출모듈(120)에서 상기 사용자가 저부하 운동 상태로 판별되면, 상기 사용자가 운동 강도를 높일 수 있도록 상기 분석 결과 영상에, 알림 메세지를 증강하여 상기 디스플레이부(140)에 제공한다. 해당 알림 메세지는 '무게를 증량하세요', '반복 횟수를 증가시키세요' 등이 포함될 수 있다. 사용자는 디스플레이부(140)를 통해 제공되는 분석 결과 영상에 포함된 알림 메세지를 통해 자신의 운동 강도를 재설정할 수 있어 보다 효율적으로 운동할 수 있다. When the user is determined to be in a low-load exercise state in the posture calculation module 120, the analysis module 130 augments a notification message to the analysis result image so that the user can increase the exercise intensity, and the display unit 140 ) is provided. The notification message may include 'increase the weight', 'increase the number of repetitions', and the like. The user can reset his or her exercise intensity through a notification message included in the analysis result image provided through the display unit 140, so that the user can exercise more efficiently.

또한, 분석모듈(130)은 상기 자세 산출모듈(120)에서 상기 사용자에 위급 상황이 발생된 것으로 판별되면, 관리자에게 경고 정보를 전송한다. 해당 분석모듈(130)은 기등록된 관리자의 단말기로 해당 경고 정보를 전송한다. 해당 경고 정보에는 사용자가 운동하는 운동기구(15)의 위치에 대한 정보가 포함되어 있다. 관리자는 사용자에게 위급상황 발생시 분석모듈(130)에서 제공되는 경고 정보를 수신할 수 있어 보다 신속하게 상황에 대처할 수 있다. In addition, the analysis module 130 transmits warning information to the manager when it is determined that the user has an emergency situation in the posture calculation module 120 . The corresponding analysis module 130 transmits the corresponding warning information to the terminal of the previously registered manager. The warning information includes information about the location of the exercise device 15 that the user exercises. The administrator can receive warning information provided from the analysis module 130 when an emergency occurs to the user, so that he can more quickly respond to the situation.

제시된 실시 예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.The description of the presented embodiments is provided to enable any person skilled in the art to use or practice the present invention. Various modifications to these embodiments will be apparent to those skilled in the art, and the general principles defined herein may be applied to other embodiments without departing from the scope of the present invention. Thus, the present invention is not to be limited to the embodiments presented herein, but is to be construed in the widest scope consistent with the principles and novel features presented herein.

100: 개인 헬스케어 시스템
110: 촬영유닛
111: 촬영 카메라
112: 뎁스 카메라
120: 자세 산출모듈
121: 스켈레톤 영상 생성부
122: 자세 산출부
130: 분석모듈
140: 디스플레이부
141: 거치대
142: 출력패널
143: 영상제공모듈100: personal healthcare system
110: shooting unit
111: shooting camera
112: depth camera
120: posture calculation module
121: skeleton image generator
122: posture calculation unit
130: analysis module
140: display unit
141: cradle
142: output panel
143: image providing module

Claims (6)

운동기구를 이용하여 운동하는 사용자를 촬영하는 촬영유닛;
상기 촬영유닛에서 촬영된 영상을 토대로 운동하는 상기 사용자의 자세에 대한 정보를 산출하는 자세 산출모듈; 및
상기 자세 분석모듈에서 제공되는 상기 사용자의 자세에 대한 정보를 토대로상기 사용자의 자세에서 기설정된 해당 운동기구의 기준 자세와 불일치한 교정 대상 부분에 대한 정보를 산출하는 분석모듈;을 구비하는,
개인 헬스케어 시스템.
A photographing unit for photographing a user exercising using exercise equipment;
a posture calculation module for calculating information about the posture of the user exercising based on the image captured by the photographing unit; and
Based on the information about the user's posture provided by the posture analysis module, an analysis module that calculates information on a part to be corrected that is inconsistent with a reference posture of the corresponding exercise device preset in the user's posture;
personal health care system.
 제1항에 있어서,
상기 분석모듈은 상기 자세 분석모듈에세 제공되는 상기 사용자의 자세에 대한 정보를 사용자의 자세에서 상기 운동기구의 기준자세와 불일치한 교정 대상 부분을 산출하기 위해 기구축된 신경망 모델에 적용하여 상기 교정 대상 부분을 산출하는,
개인 헬스케어 시스템.
According to claim 1,
The analysis module applies the information about the user's posture, which is provided to the posture analysis module, to a neural network model built to calculate a portion to be corrected that is inconsistent with the reference posture of the exercise equipment in the user's posture, thereby correcting the correction. yielding the object part,
personal health care system.
 제1항에 있어서,
상기 분석모듈은 상기 촬영유닛에서 촬영된 영상에서, 상기 교정 대상 부분을 표시하여 분석 결과 영상을 생성하고,
상기 운동기구에 인접된 위치에 마련되어 상기 분석모듈에서 제공되는 상기 분석 결과 영상을 표시하는 디스플레이부;를 더 구비하는,
개인 헬스케어 시스템.
According to claim 1,
The analysis module generates an analysis result image by displaying the portion to be corrected in the image captured by the photographing unit,
Further comprising a display unit provided at a location adjacent to the exercise machine and displaying the analysis result image provided from the analysis module.
personal health care system.
 제3항에 있어서,
상기 디스플레이부는 상기 운동기구의 기준자세에 대한 가이드 영상을 상기 분석 결과 영상과 함께 상기 사용자에게 표시하는,
개인 헬스케어 시스템.
According to claim 3,
The display unit displays a guide image for the reference posture of the exercise machine to the user together with the analysis result image.
personal health care system.
 제3항 또는 제4항에 있어서,
상기 자세 산출모듈은 상기 촬영유닛에 촬영된 영상을 토대로 상기 사용자의 얼굴에 땀 발생 여부를 판별하고, 기설정된 단위시간동안 상기 사용자의 얼굴에 땀이 미발생될 경우, 해당 사용자가 저부하 운동 상태로 판별하고,
상기 분석모듈은 상기 자세 산출모듈에서 상기 사용자가 저부하 운동 상태로 판별되면, 상기 사용자가 운동 강도를 높일 수 있도록 상기 분석 결과 영상에, 알림 메세지를 증강하여 상기 디스플레이부에 제공하는,
개인 헬스케어 시스템.
According to claim 3 or 4,
The posture calculation module determines whether sweat is generated on the user's face based on the image captured by the photographing unit, and when sweat does not occur on the user's face for a predetermined unit time, the user is in a low load exercise state. determined by,
The analysis module augments a notification message in the analysis result image so that the user can increase the exercise intensity when the user is determined to be in a low-load exercise state in the posture calculation module, and provides it to the display unit.
personal health care system.
 제3항 또는 제4항에 있어서,
상기 자세 산출모듈은 상기 촬영유닛에 촬영된 영상을 토대로 상기 사용자의 입모양을 산출하고, 기설정된 기준시간동안 상기 사용자의 입모양의 변화가 기설정된 기준 범위 이상일 경우, 해당 사용자에 위급 상황이 발생된 것을 판별하고,
상기 분석모듈은 상기 자세 산출모듈에서 상기 사용자에 위급 상황이 발생된 것으로 판별되면, 관리자에게 경고 정보를 전송하는,
개인 헬스케어 시스템. According to claim 3 or 4,
The posture calculation module calculates the shape of the mouth of the user based on the image captured by the photographing unit, and when the change in the shape of the mouth of the user is greater than a preset reference range for a preset reference time, an emergency situation occurs for the corresponding user. determine what has happened,
The analysis module transmits warning information to a manager when it is determined that an emergency situation has occurred to the user in the posture calculation module.
personal health care system.
KR1020220003375A 2022-01-10 2022-01-10 personal health care system KR20230108051A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220003375A KR20230108051A (en) 2022-01-10 2022-01-10 personal health care system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220003375A KR20230108051A (en) 2022-01-10 2022-01-10 personal health care system

Publications (1)

Publication Number Publication Date
KR20230108051A true KR20230108051A (en) 2023-07-18

Family

ID=87423827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220003375A KR20230108051A (en) 2022-01-10 2022-01-10 personal health care system

Country Status (1)

Country Link
KR (1) KR20230108051A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101461202B1 (en) 2014-02-13 2014-11-18 윤여표 Exerciser system for virtual reality and management method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101461202B1 (en) 2014-02-13 2014-11-18 윤여표 Exerciser system for virtual reality and management method

Similar Documents

Publication Publication Date Title
US10898755B2 (en) Method for providing posture guide and apparatus thereof
US20230338778A1 (en) Method and system for monitoring and feed-backing on execution of physical exercise routines
CN109432753B (en) Action correcting method, device, storage medium and electronic equipment
US20210290109A1 (en) Range of motion system, and method
US9374522B2 (en) Video generating apparatus and method
JP6359343B2 (en) Motion information processing apparatus and method
US20200090408A1 (en) Systems and methods for augmented reality body movement guidance and measurement
JP6124308B2 (en) Operation evaluation apparatus and program thereof
WO2012039467A1 (en) Exercise assistance system
Anilkumar et al. Pose estimated yoga monitoring system
US11426099B2 (en) Mobile device avatar generation for biofeedback to customize movement control
JP5624625B2 (en) Exercise support system
CN112464918A (en) Body-building action correcting method and device, computer equipment and storage medium
KR101446653B1 (en) Health and rehabilitation game apparatus, system and game method
Goyal et al. Yoga pose perfection using deep learning: An algorithm to estimate the error in yogic poses
KR20160075884A (en) Skeleton tracking method and keleton tracking system using the method
KR20140082449A (en) Health and rehabilitation apparatus based on natural interaction
KR20230108051A (en) personal health care system
KR101398193B1 (en) Device and Method for Calibration
US10607359B2 (en) System, method, and apparatus to detect bio-mechanical geometry in a scene using machine vision for the application of a virtual goniometer
Coruzzolo et al. Comparing Semiautomatic Rapid Upper Limb Assessments (RULA): Azure Kinect Versus RGB-Based Machine Vision Algorithm
KR20230086874A (en) Rehabilitation training system using 3D body precision tracking technology
KR20140132864A (en) easy measuring meathods for physical and psysiological changes on the face and the body using users created contents and the service model for healing and wellness using these techinics by smart devices
KR20220065495A (en) Method and apparatus for evaluating physical exercise ability of patient using avatar
WO2016135560A2 (en) Range of motion capture

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right