KR102453304B1 - A system that provides virtual reality content for dementia prevention and self-diagnosis - Google Patents
A system that provides virtual reality content for dementia prevention and self-diagnosis Download PDFInfo
- Publication number
- KR102453304B1 KR102453304B1 KR1020210180909A KR20210180909A KR102453304B1 KR 102453304 B1 KR102453304 B1 KR 102453304B1 KR 1020210180909 A KR1020210180909 A KR 1020210180909A KR 20210180909 A KR20210180909 A KR 20210180909A KR 102453304 B1 KR102453304 B1 KR 102453304B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- information
- content
- dementia
- virtual reality
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/744—Displaying an avatar, e.g. an animated cartoon character
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Neurology (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Physiology (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Cardiology (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurosurgery (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Nursing (AREA)
- Evolutionary Computation (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
Abstract
Description
본 발명은 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템 으로서, VR장치를 통해 사용자의 생체정보, 활동정보, 및 의료정보를 수신하고, 이를 바탕으로 가상현실 속에서 아바타를 생성할 수 있고, 기억력, 집중력, 계산능력 및 공간인지능력에 대한 평가를 수행하게 함으로써, 치매발병여부를 진단할 수 있는, 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템에 관한 것이다.The present invention is a system that provides virtual reality content for dementia prevention and self-diagnosis, and can receive user's biometric information, activity information, and medical information through a VR device, and create an avatar in virtual reality based on this. It relates to a system that provides virtual reality content for dementia prevention and self-diagnosis, which can diagnose the onset of dementia by performing evaluations on memory, concentration, computational ability, and spatial cognitive ability.
가상현실 기술이란 사용자가 HMD(Head Mounted Display)장치 등의 입출력장치를 착용함으로써 컴퓨터 상에서 구현되는 가상의 공간을 체험할 수 있게 하는 기술로서, 사용자가 현실 세계와 유사하게 구현되는 가상의 공간에서 시간적, 공간적 제약없이 특정 상황에 대한 체험할 수 있도록 하는 기술이다. 이러한 가상현실 기술은 값비싼 장비 및 가상현실 콘텐츠의 부족으로 인해 빠른 시일 내에 대중화되기 어려울 것으로 전망되기도 했으나, 최근에는 VR 및 AR장치의 보급과 비대면 콘텐츠에 대한 수요가 증가함에 따라, 가상현실 기술 또한 재조명 받고 있는 상황이다.Virtual reality technology is a technology that enables a user to experience a virtual space implemented on a computer by wearing an input/output device such as an HMD (Head Mounted Display) device. , it is a technology that allows you to experience a specific situation without spatial restrictions. It was predicted that such virtual reality technology would be difficult to popularize in the near future due to the lack of expensive equipment and virtual reality content. It is also being re-examined.
이러한 가상현실 기술은 의료, 국방, 우주항공 및 관광 등 다양한 기술분야와 접목되어 활용되고 있고, 구체적으로 의료 및 헬스케어 분야의 경우 가상현실 기술에 기반하여 환자에 대한 진료 및 치료를 수행할 수 있는 방법이 제시되고 있다. These virtual reality technologies are being used in conjunction with various technological fields such as medical care, national defense, aerospace and tourism. A method is presented.
한편, 현재 우리나라는 출산율의 감소와 함께 고령층의 인구 비중이 급격하게 늘고 있는 고령화사회로 진입하고 있다. 이에 따라, 지능, 기억력, 언어능력과 같은 인지기능이 떨어지는 치매환자 또한 지속적으로 증가하고 있으며, 이에 대응하여 치매 발병 여부를 조기에 진단하거나, 뇌기능에 대한 훈련을 수행하여 치매를 예방할 수 있는 시스템에 대한 개발 필요성이 대두되고 있다. Meanwhile, Korea is currently entering an aging society in which the proportion of the elderly population is rapidly increasing along with a decrease in the fertility rate. Accordingly, the number of dementia patients with reduced cognitive functions such as intelligence, memory, and language ability is also continuously increasing. The need for development is emerging.
결과적으로, 가상현실 기술을 활용해 사용자의 훈련에 대한 몰입도를 향상시키면서, 인지기능에 대한 테스트를 수행하여 치매 발병 여부를 진단하고, 뇌기능에 대한 훈련을 수행할 수 있는 시스템이 필요한 시점이다.As a result, a system that can diagnose the onset of dementia by performing a cognitive function test while improving the user's immersion in training using virtual reality technology is needed and training for brain function is needed. .
본 발명은 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템 으로서, VR장치를 통해 사용자의 생체정보, 활동정보, 및 의료정보를 수신하고, 이를 바탕으로 가상현실 속에서 아바타를 생성할 수 있고, 기억력, 집중력, 계산능력 및 공간인지능력에 대한 평가를 수행하게 함으로써, 치매발병여부를 진단할 수 있는, 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템에 관한 것이다.The present invention is a system that provides virtual reality content for dementia prevention and self-diagnosis, and can receive user's biometric information, activity information, and medical information through a VR device, and create an avatar in virtual reality based on this. It relates to a system that provides virtual reality content for dementia prevention and self-diagnosis, which can diagnose the onset of dementia by performing evaluations on memory, concentration, computational ability, and spatial cognitive ability.
상기와 같은 과제를 해결하기 위하여, 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템으로서, 사용자에게 장착되어 가상현실에 대한 영상 및 소리를 제공하고, 상기 사용자의 목소리를 감지하는 HMD; 사용자의 외형을 촬영하여 사용자의 이미지정보를 도출하는 카메라장치; 상기 사용자의 두부에 부착되어 상기 사용자의 뇌파를 측정할 수 있는 뇌파측정기; 상기 사용자의 손목부위에 부착되어 상기 사용자의 맥박을 측정할 수 있는 맥박측정기; 상기 사용자의 움직임을 측정하는 동작센싱장치; 및 상기 사용자의 안구운동을 감지하는 아이트래커;를 포함하는 VR장치; 상기 사용자가 착용하는 VR장치와 통신을 수행하고, 상기 VR장치로 가상현실에 대한 정보를 제공하며, 상기 사용자의 아바타를 생성하여 상기 사용자에게 복수의 가상현실 콘텐츠를 제공하는 VR서비스부; 및 상기 사용자에게 기억력, 집중력, 계산능력 및 공간인지능력에 대한 평가를 수행하는 추가콘텐츠를 제공하여 사용자의 치매 발병 여부를 진단하고 치매 등급을 도출할 수 있는 추가콘텐츠부;를 포함하고, 상기 VR서비스부는, 상기 사용자만 이용 가능하고, 상기 복수의 가상현실 콘텐츠가 제공되는 가상현실을 구현하는, 가상현실구현부; 상기 VR장치와 통신을 수행하여 정보를 주고받는 VR통신부; 상기 VR장치로부터 수신한 사용자의 생체정보; 및 상기 사용자의 스마트폰으로부터 수신한 활동정보 및 의료정보;를 포함하는 사용자정보를 수신하는 사용자정보입력부; 상기 가상현실구현부에 의해 구현된 가상현실 내에 상기 사용자정보에 기초하여 상기 사용자의 아바타를 생성하는 아바타생성부; 및 상기 가상현실에 생성된 아바타에게 상기 복수의 콘텐츠를 제공하고, 이를 수행할 때마다 상기 아바타의 외형을 업데이트할 수 있는 VR콘텐츠제공부;를 포함하고, 상기 생체정보는, 상기 카메라장치를 통해 입력 받은 이미지정보; 상기 뇌파측정기로 측정한 상기 사용자의 뇌파정보; 상기 맥박측정기로 측정한 상기 사용자의 맥박정보; 및 상기 아이트래커로 측정한 상기 사용자의 아이트래킹정보;를 포함하는, 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템을 제공한다.In order to solve the above problems, there is provided a system for providing virtual reality contents for dementia prevention and self-diagnosis, comprising: an HMD mounted to a user to provide images and sounds for virtual reality, and to sense the user's voice; a camera device that captures the user's appearance and derives image information of the user; an EEG attached to the user's head to measure the user's EEG; a pulse meter attached to the user's wrist to measure the user's pulse; a motion sensing device for measuring the user's movement; and an eye tracker for detecting the user's eye movement; a VR device comprising; a VR service unit that communicates with the VR device worn by the user, provides information about virtual reality to the VR device, generates an avatar of the user, and provides a plurality of virtual reality contents to the user; and an additional content unit capable of diagnosing whether the user has dementia and deriving a dementia grade by providing the user with additional content for performing evaluation on memory, concentration, computational ability, and spatial cognitive ability. The service unit, available only to the user, and implementing a virtual reality in which the plurality of virtual reality contents are provided, a virtual reality implementation unit; a VR communication unit that communicates with the VR device to exchange information; the user's biometric information received from the VR device; and a user information input unit for receiving user information including; and activity information and medical information received from the user's smartphone; an avatar generating unit for generating an avatar of the user based on the user information in the virtual reality implemented by the virtual reality implementing unit; and a VR content providing unit configured to provide the plurality of contents to the avatar generated in the virtual reality, and update an appearance of the avatar whenever the avatar is performed, wherein the biometric information is transmitted through the camera device. input image information; EEG information of the user measured by the EEG; the user's pulse information measured by the pulse meter; and eye tracking information of the user measured by the eye tracker; provides a system for providing virtual reality contents for dementia prevention and self-diagnosis, including.
본 발명의 일 실시예에서는, 상기 추가콘텐츠부는, 사용자의 질환정보, 노화정보 및 콘텐츠 수행 중 측정되는 사용자의 집중도 스코어에 기초하여 치매진단테스트 수행여부를 결정하는 테스트결정단계; 치매진단테스트의 수행이 필요한 사용자에게 기억력, 집중력, 계산능력 및 공간인지능력을 평가할 수 있는 치매진단테스트를 제공하는 테스트제공단계; 상기 치매진단테스트를 제공받은 사용자가 가상현실에서 기억력, 집중력, 계산능력 및 공간인지능력에 대한 평가를 수행하는 테스트수행단계; 상기 사용자가 수행한 치매진단테스트의 수행결과에 기초하여 사용자의 치매 발병 여부를 진단하고, 치매 등급을 도출하는 치매진단단계; 및 상기 치매진단단계에서 치매가 발병한 것으로 진단된 사용자 및 도출된 치매등급이 기설정된 등급을 초과하는 사용자와 정신건강의학 전문의를 매칭하는 전문의매칭단계;를 수행할 수 있다. In one embodiment of the present invention, the additional content unit, the user's disease information, aging information, and a test determination step of determining whether to perform a dementia diagnosis test based on the user's concentration score measured while performing the content; A test providing step of providing a dementia diagnosis test capable of evaluating memory, concentration, calculation ability and spatial cognitive ability to a user who needs to perform a dementia diagnosis test; a test execution step in which the user provided with the dementia diagnosis test evaluates memory, concentration, calculation ability and spatial recognition ability in virtual reality; a dementia diagnosis step of diagnosing whether the user has dementia based on the result of the dementia diagnosis test performed by the user and deriving a dementia grade; and a specialist matching step of matching a user diagnosed with dementia and a user whose dementia grade exceeds a preset grade in the dementia diagnosis step and a psychiatric specialist.
본 발명의 일 실시예에서는, 상기 테스트결정단계는, 콘텐츠 수행에 따른 집중도스코어가 치매진단기준 미만인 사용자, 치매고위험군인 연령대에 속하는 사용자 및 인지장애를 겪고 있는 사용자에 대해 치매진단테스트 수행여부를 결정할 수 있다. In an embodiment of the present invention, the test determination step determines whether to perform a dementia diagnosis test for users whose concentration score according to the content performance is less than the dementia diagnosis criteria, users belonging to the age group with high dementia risk, and users suffering from cognitive impairment. can
본 발명의 일 실시예에서는, 상기 치매진단단계는, 사용자가 수행한 치매진단테스트의 정답율 및 수행시간에 기초하여 1 이상의 등급으로 세분화되는 치매 등급을 도출하고, 상기 전문의매칭단계는, 치매등급이 동일한 1 이상의 사용자를 그룹화하여 정신건강의학 전문의와 매칭할 수 있다.In an embodiment of the present invention, the dementia diagnosis step derives a dementia grade subdivided into one or more grades based on the correct rate and execution time of the dementia diagnostic test performed by the user, and the expert matching step includes the dementia grade By grouping the same one or more users, it is possible to match with a psychiatrist.
본 발명의 일 실시예에서는, 상기 아바타생성부는, 복수의 상기 이미지정보로부터 각각의 외형특징정보를 도출하고, 도출된 복수의 외형특징정보를 평균화하여 1차원 벡터 형태의 캐릭터결정파라미터를 도출하고, 상기 캐릭터결정파라미터에 기초하여, 아바타의 기본외형을 결정하는 기본외형결정부; 상기 생체정보를 1 이상의 인공신경망 모델에 입력하여 상기 아바타의 노화정보를 결정하고, 상기 기본외형에 상기 노화정보에 상응하는 제1그래픽효과를 추가하는 노화정보결정부; 해당 사용자의 스마트폰으로부터 도출되는 기설정된 시간 동안의 이동거리 혹은 걸음수에 기초하여, 이동거리 혹은 걸음수가 클수록 이동속도를 높이는 방식으로 상기 아바타의 이동속도를 결정하는 이동속도결정부; 및 해당 사용자가 입력한 1 이상의 병력을 포함하는 의료정보에 기초하여 아바타의 질환정보를 결정하고, 상기 제1그래픽효과가 추가된 상기 기본외형에 상기 질환정보에 상응하는 제2그래픽효과를 추가하는 질환정보결정부;를 포함할 수 있다. In one embodiment of the present invention, the avatar generating unit derives respective appearance feature information from a plurality of the image information, and averages the derived plurality of appearance feature information to derive a character determination parameter in the form of a one-dimensional vector, a basic appearance determination unit for determining a basic appearance of the avatar based on the character determination parameter; an aging information determining unit configured to input the biometric information into one or more artificial neural network models to determine aging information of the avatar, and to add a first graphic effect corresponding to the aging information to the basic appearance; a movement speed determiner configured to determine the movement speed of the avatar in such a way that the movement speed increases as the movement distance or number of steps increases, based on the movement distance or the number of steps for a preset time derived from the user's smartphone; and determining disease information of the avatar based on medical information including at least one medical history input by the user, and adding a second graphic effect corresponding to the disease information to the basic appearance to which the first graphic effect is added. It may include; a disease information determination unit.
본 발명의 일 실시예에서는, 상기 노화정보결정부는, 상기 카메라장치를 통해 입력 받은 이미지정보를 입력 받아 제1노화정보를 출력하는 제1인공신경망; 상기 뇌파측정기로 측정한 상기 사용자의 뇌파정보를 입력 받아 제2노화정보를 출력하는 제2인공신경망; 상기 맥박측정기로 측정한 상기 사용자의 맥박정보를 입력 받아 제3노화정보를 출력하는 제3인공신경망; 및 상기 제1노화정보, 상기 제2노화정보, 및 상기 제3노화정보를 합산하여, 최종적인 노화정보를 도출하는 종합판단모듈;을 포함할 수 있다.In an embodiment of the present invention, the aging information determining unit includes: a first artificial neural network that receives image information received through the camera device and outputs first aging information; a second artificial neural network that receives the user's EEG information measured by the EEG and outputs second aging information; a third artificial neural network for receiving the user's pulse information measured by the pulse meter and outputting third aging information; and a comprehensive determination module for deriving final aging information by summing the first aging information, the second aging information, and the third aging information.
본 발명의 일 실시예에서는, 상기 노화정보에 기초하여, 상기 아바타의 사용자의 피부상태정보, 모발상태정보, 및 골격의 휘어진 정도를 변경하여, 상기 아바타의 외형을 결정할 수 있다.In an embodiment of the present invention, the appearance of the avatar may be determined by changing the skin condition information, hair condition information, and the degree of curvature of the skeleton of the user of the avatar based on the aging information.
본 발명의 일 실시예에서는, 상기 VR콘텐츠제공부는, 해당 사용자의 상기 노화정보에 기초하여 난이도가 결정되고, 상기 사용자의 인지능력 및 집중도 강화 훈련을 수행할 수 있는 콘텐츠를 제공하는, 제1콘텐츠제공부; 해당 사용자의 상기 활동정보에 기초하여 난이도가 결정되고, 상기 사용자의 신체 활동 강화 훈련을 수행할 수 있는 콘텐츠를 제공하는 제2콘텐츠제공부; 해당 사용자의 상기 질환정보에 기초하여 콘텐츠의 종류가 결정되고 상기 사용자의 재활훈련이 필요한 신체부위 또는 상기 사용자의 인지능력에 대한 훈련을 수행할 수 있는 콘텐츠를 제공하는 제3콘텐츠제공부; 상기 제1콘텐츠제공부, 상기 제2콘텐츠제공부, 및 상기 제3콘텐츠제공부에서 제공한 콘텐츠에 대해 콘텐츠 수행에 따른 수행결과, 콘텐츠에 대한 수행기간 동안 상기 뇌파측정기에 의하여 측정된 뇌파정보, 및 상기 맥박측정기에 의하여 측정된 맥박정보에 기초하여, 1 이상의 스코어를 산출하고, 상기 1 이상의 스코어에 따라 상기 노화정보를 조절하는 노화정보조절부; 상기 노화정보조절부에 의하여, 조절된 노화정보에 따라 상기 제1그래픽효과를 조절하여 해당 사용자의 아바타의 외형을 업데이트하는 아바타외형업데이트부;를 포함할 수 있다.In an embodiment of the present invention, the VR content providing unit, the first content, the difficulty level is determined based on the aging information of the user, and provides content capable of performing the cognitive ability and concentration strengthening training of the user provider; a second content providing unit for providing content for which difficulty is determined based on the activity information of the user and can perform physical activity reinforcement training for the user; a third content providing unit for providing content for which a type of content is determined based on the user's disease information and training for the user's cognitive ability or body part requiring rehabilitation training of the user is performed; EEG information measured by the EEG measuring device during the execution period for the first contents providing unit, the second contents providing unit, and the third contents providing unit, And based on the pulse information measured by the pulse meter, calculating one or more scores, aging information control unit for adjusting the aging information according to the one or more scores; and an avatar appearance update unit configured to update the appearance of the user's avatar by adjusting the first graphic effect according to the adjusted aging information by the aging information adjusting unit.
본 발명의 일 실시예에서는, 상기 제1콘텐츠제공부에서 사용자에게 제공되는 콘텐츠는, 틀린그림찾기, 산수 및 퍼즐맞추기를 포함하는 사용자의 인지 능력 및 집중도를 강화하기 위한 콘텐츠고, 상기 제2콘텐츠제공부에서 사용자에게 제공되는 콘텐츠는, 걷기, 스트레칭 및 스쿼트를 포함하는 사용자의 신체 활동 강화 훈련을 수행할 수 있는 콘텐츠고, 상기 제3콘텐츠제공부에서 사용자에게 제공되는 콘텐츠는, 허리, 다리 및 팔을 포함하는 사용자가 부상을 입은 신체부위에 대한 집중적인 훈련을 수행하거나 기억력, 판단력, 언어능력 및 시공간을 파악하는 능력을 포함하는 인지 능력 강화에 대한 집중적인 훈련을 수행하여 사용자가 취약한 분야를 훈련하기 위한 콘텐츠일 수 있다.In an embodiment of the present invention, the content provided to the user by the first content providing unit is content for strengthening the user's cognitive ability and concentration, including finding the wrong picture, arithmetic, and jigsaw puzzle, and the second content The content provided to the user by the providing unit is content capable of performing the user's physical activity strengthening training including walking, stretching, and squat, and the content provided to the user by the third content providing unit includes the waist, legs and The user, including the arm, performs intensive training on the injured body part, or performs intensive training on the reinforcement of cognitive abilities including memory, judgment, language ability, and the ability to grasp time and space, so that the user is vulnerable to areas where the user is vulnerable. It may be content for training.
본 발명의 일 실시예에서는, 상기 노화정보조절부는, 상기 사용자가 상기 제1콘텐츠를 수행하는 동안 측정되는 상기 사용자의 뇌파정보에 기초하여 집중도스코어를 산출하는 집중도스코어산출단계; 상기 사용자가 상기 제2콘텐츠를 수행하는 동안 측정되는 상기 사용자의 맥박정보 및 근전도정보에 기초하여 활동량스코어를 산출하는 활동량스코어산출단계; 상기 제1콘텐츠의 수행결과, 상기 제2콘텐츠의 수행결과, 및 상기 제3콘텐츠의 수행결과에 기초하여 각각 제1스코어, 제2스코어, 제3스코어를 산출하는 수행결과스코어산출단계; 및 상기 제1스코어, 상기 제2스코어, 상기 제3스코어, 상기 집중도스코어, 및 상기 활동량스코어의 합산값에 기초하여, 노화정보를 감소시키는 노화정보감소단계;를 수행할 수 있다.In one embodiment of the present invention, the aging information control unit, concentration score calculation step of calculating an intensity score based on the user's EEG information measured while the user performs the first content; an activity score calculating step of calculating an activity score based on the user's pulse information and EMG information measured while the user performs the second content; an execution result score calculation step of calculating a first score, a second score, and a third score, respectively, based on the execution result of the first content, the execution result of the second content, and the execution result of the third content; and an aging information reduction step of reducing aging information based on the sum of the first score, the second score, the third score, the concentration score, and the activity score.
본 발명의 일 실시예에서는, 상기 VR콘텐츠제공부는, 기설정된 구간 동안의 상기 집중도스코어 및 상기 활동량스코어의 세부합산값이 기설정된 제1기준값 미만인 경우, 상기 가상현실 내에 존재하는 객체의 선명도 또는 아바타의 시야를 조절하고, 기설정된 구간 동안의 상기 집중도스코어 및 상기 활동량스코어의 세부합산값이 상기 제1기준값 미만인 경우, 상기 제1콘텐츠제공부, 상기 제2콘텐츠제공부 혹은 상기 제3콘텐츠제공부에 의하여 콘텐츠가 제공되는 중간에 돌발콘텐츠를 제공함으로써, 상기 사용자가 상기 돌발콘텐츠를 수행하였을 때 상기 가상현실 내에 존재하는 객체의 선명도 또는 아바타의 시야를 기본값으로 되돌릴 수 있다.In one embodiment of the present invention, the VR content providing unit, when the detailed sum of the concentration score and the activity score during a preset section is less than a preset first reference value, the sharpness or avatar of an object existing in the virtual reality control the view of, and when the detailed sum of the concentration score and the activity score during a preset section is less than the first reference value, the first content providing unit, the second content providing unit, or the third content providing unit By providing the unexpected content in the middle of the content being provided by , when the user performs the unexpected content, the sharpness of an object existing in the virtual reality or the view of the avatar can be returned to the default value.
도 1은 본 발명의 일 실시예에 따른 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템의 구성을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 VR서비스부의 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 가상현실을 이용하는 사용자가 착용하는 VR장치 및 그 구성을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 사용자의 아바타 생성을 위한 복수의 외형특징정보를 도출하는 과정을 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 아바타생성부에서 사용자의 아바타를 생성하는 프로세스를 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 노화정보결정부에 의해 노화정보를 도출하는 과정을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 사용자의 아바타 및 아바타의 능력치를 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 VR콘텐츠제공부의 구성을 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 VR콘텐츠부에서의 수행단계를 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 노화정보감소단계를 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 아바타의 외형이 변경되는 프로세스를 개략적으로 도시한다.
도 12는 본 발명의 일 실시예에 따른 제1콘텐츠의 실행화면을 개략적으로 도시한다.
도 13은 본 발명의 일 실시예에 따른 집중도스코어 및 활동량스코어가 제1기준값 미만인 경우의 사용자에게 보여지는 가상현실 인터페이스를 개략적으로 도시한다.
도 14는 본 발명의 일 실시예에 따른 추가콘텐츠부에서의 수행단계를 개략적으로 도시한다.
도 15는 본 발명의 일 실시예에 따른 치매진단테스트의 수행 및 치매 발병 여부를 진단하는 요소를 개략적으로 도시한다.
도 16은 본 발명의 일 실시예에 따른 치매등급에 기초하여 매칭된 사용자와 의료전문가가 접속하는 소셜서버를 도시한다.
도 17은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.1 schematically shows the configuration of a system for generating an avatar and providing a plurality of contents in virtual reality according to an embodiment of the present invention.
2 schematically shows the configuration of a VR service unit according to an embodiment of the present invention.
3 schematically shows a VR device and its configuration worn by a user using virtual reality according to an embodiment of the present invention.
4 schematically illustrates a process of deriving a plurality of external feature information for generating a user's avatar according to an embodiment of the present invention.
5 schematically illustrates a process for generating an avatar of a user by the avatar generator according to an embodiment of the present invention.
6 schematically illustrates a process of deriving aging information by an aging information determining unit according to an embodiment of the present invention.
7 schematically illustrates a user's avatar and ability values of the avatar according to an embodiment of the present invention.
8 schematically shows the configuration of a VR content providing unit according to an embodiment of the present invention.
9 schematically shows the steps performed in the VR content unit according to an embodiment of the present invention.
10 schematically shows a step of reducing aging information according to an embodiment of the present invention.
11 schematically illustrates a process in which an appearance of an avatar is changed according to an embodiment of the present invention.
12 schematically illustrates an execution screen of first content according to an embodiment of the present invention.
13 schematically illustrates a virtual reality interface shown to a user when an intensity score and an activity score are less than a first reference value according to an embodiment of the present invention.
14 schematically shows the steps performed in the additional content unit according to an embodiment of the present invention.
15 schematically shows elements for performing a dementia diagnosis test and diagnosing whether or not dementia occurs according to an embodiment of the present invention.
16 is a diagram illustrating a social server to which a matched user and a medical professional connect based on a dementia grade according to an embodiment of the present invention.
17 exemplarily illustrates an internal configuration of a computing device according to an embodiment of the present invention.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.In the following, various embodiments and/or aspects are now disclosed with reference to the drawings. In the following description, for purposes of explanation, numerous specific details are set forth to provide a thorough understanding of one or more aspects. However, it will also be recognized by one of ordinary skill in the art that such aspect(s) may be practiced without these specific details. The following description and accompanying drawings set forth in detail certain illustrative aspects of one or more aspects. These aspects are illustrative, however, and some of the various methods in principles of various aspects may be employed, and the descriptions set forth are intended to include all such aspects and their equivalents.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.Further, various aspects and features will be presented by a system that may include a number of devices, components and/or modules, and the like. It is also noted that various systems may include additional apparatuses, components, and/or modules, etc. and/or may not include all of the apparatuses, components, modules, etc. discussed with respect to the drawings. must be understood and recognized.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.As used herein, “embodiment”, “example”, “aspect”, “exemplary”, etc. may not be construed as an advantage or an advantage in any aspect or design described above over other aspects or designs. . The terms '~part', 'component', 'module', 'system', 'interface', etc. used below generally mean a computer-related entity, for example, hardware, hardware A combination of and software may mean software.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.Also, the terms "comprises" and/or "comprising" mean that the feature and/or element is present, but excludes the presence or addition of one or more other features, elements and/or groups thereof. should be understood as not
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Also, terms including an ordinal number such as first, second, etc. may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, in the embodiments of the present invention, unless otherwise defined, all terms used herein, including technical or scientific terms, are generally understood by those of ordinary skill in the art to which the present invention belongs. have the same meaning as Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in an embodiment of the present invention, an ideal or excessively formal meaning is not interpreted as
본원 발명의 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템은 사용자의 외형 및 상태를 모사한 아바타를 생성하고, 사용자는 아바타를 조종하여 복수의 콘텐츠를 수행하는 형태로 구현될 수 있다. 이하에서는 이를 위한 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템에 대해 설명한다. The system for providing virtual reality content for dementia prevention and self-diagnosis according to the present invention may be implemented in the form of generating an avatar that mimics the appearance and state of a user, and the user controls the avatar to perform a plurality of contents. Hereinafter, a system for generating an avatar in virtual reality for this purpose and providing a plurality of contents will be described.
1. 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템1. A system that creates an avatar in virtual reality and provides multiple contents
도 1은 본 발명의 일 실시예에 따른 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템의 구성을 개략적으로 도시한다.1 schematically shows the configuration of a system for generating an avatar and providing a plurality of contents in virtual reality according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템으로서, 사용자에게 장착되어 가상현실에 대한 영상 및 소리를 제공하고, 상기 사용자의 목소리를 감지하는 HMD; 사용자의 외형을 촬영하여 사용자의 이미지정보를 도출하는 카메라장치; 상기 사용자의 두부에 부착되어 상기 사용자의 뇌파를 측정할 수 있는 뇌파측정기; 상기 사용자의 손목부위에 부착되어 상기 사용자의 맥박을 측정할 수 있는 맥박측정기; 상기 사용자의 움직임을 측정하는 동작센싱장치; 및 상기 사용자의 안구운동을 감지하는 아이트래커;를 포함하는 VR장치(1000); 및 상기 사용자가 착용하는 VR장치(1000)와 통신을 수행하고, 상기 VR장치(1000)로 가상현실에 대한 정보를 제공하며, 상기 사용자의 아바타를 생성하여 상기 사용자에게 복수의 가상현실 콘텐츠를 제공하는 VR서비스부(2000);를 포함하고, 상기 VR서비스부(2000)는, 상기 사용자만 이용 가능하고, 상기 복수의 가상현실 콘텐츠가 제공되는 가상현실을 구현하는, 가상현실구현부(2100); 상기 VR장치(1000)와 통신을 수행하여 정보를 주고받는 VR통신부(2200); 상기 VR장치(1000)로부터 수신한 사용자의 생체정보; 및 상기 사용자의 스마트폰으로부터 수신한 활동정보 및 의료정보;를 포함하는 사용자정보를 수신하는 사용자정보입력부(2300); 상기 가상현실구현부(2100)에 의해 구현된 가상현실 내에 상기 사용자정보에 기초하여 상기 사용자의 아바타를 생성하는 아바타생성부(2400); 및 상기 가상현실에 생성된 아바타에게 상기 복수의 콘텐츠를 제공하고, 이를 수행할 때마다 상기 아바타의 외형을 업데이트할 수 있는 VR콘텐츠제공부(2500);를 포함하고, 상기 생체정보는, 상기 카메라장치를 통해 입력 받은 이미지정보; 상기 뇌파측정기로 측정한 상기 사용자의 뇌파정보; 상기 맥박측정기로 측정한 상기 사용자의 맥박정보; 및 상기 아이트래커로 측정한 상기 사용자의 아이트래킹정보;를 포함한다.As shown in FIG. 1 , a system for generating an avatar in virtual reality and providing a plurality of contents, the system comprising: an HMD mounted to a user to provide images and sounds for virtual reality, and to sense the user's voice; a camera device that captures the user's appearance and derives image information of the user; an EEG attached to the user's head to measure the user's EEG; a pulse meter attached to the user's wrist to measure the user's pulse; a motion sensing device for measuring the user's movement; and an eye tracker for detecting the user's eye movement; a
개략적으로, 상기 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템은, 상기 VR장치(1000) 및 상기 VR서비스부(2000)를 포함하며, 상기 VR서비스부(2000)는 컴퓨팅시스템(10000)에 포함된다. Schematically, the system for generating an avatar in virtual reality and providing a plurality of contents includes the
구체적으로, 상기 VR장치(1000)는 사용자에게 장착되거나 상기 사용자의 외형을 촬영함으로써, 상기 VR서비스부(2000)에서 생성되는 아바타의 외형 및 능력치를 결정할 수 있는 정보를 센싱하는 1 이상의 구성요소를 포함하며, 상기 구성요소로는 상술한 바와 같이, 상기 HMD(Head Mounted Display), 상기 카메라장치, 상기 뇌파측정기, 상기 맥박측정기; 상기 동작센싱장치 및 상기 아이트래커;를 포함한다. 또한, 상기 VR장치(1000)는, 상기 VR장치(1000)의 각 구성을 통해 센싱한 상기 이미지정보, 상기 뇌파정보, 상기 맥박정보, 및 상기 아이트래킹정보를 포함하는 상기 사용자의 생체정보를 상기 VR서비스부(2000)로 전달할 수 있다. 상기 VR장치(1000)에 대한 보다 상세한 설명은 도 3에서 후술하도록 한다.Specifically, the
상기 VR장치(1000)를 통해 센싱된 상기 생체정보는 상기 컴퓨팅시스템(10000)으로 전송된다. 상기 컴퓨팅시스템(10000)의 상기 VR서비스부(2000)는, 가상현실을 구현하고, 상기 생체정보에 기초하여 상기 가상현실 내에 상기 사용자의 아바타를 생성하며, 상기 사용자가 상기 아바타를 통해 복수의 콘텐츠를 제공한다. The biometric information sensed through the
한편, 본 발명의 일 실시예로서 상기 컴퓨팅시스템(10000)은, 도 1에 도시된 바와 같이, 소셜서버(3000)와 통신할 수 있고, 상기 사용자는 상기 VR서비스부(2000)에서 생성한 아바타를 통해 상기 소셜서버(3000) 내에서 1 이상의 다른 사용자와 커뮤니케이션 할 수 있다. 또한, 본 발명의 다른 실시예로서, 상기 컴퓨팅시스템(10000)은 VR서비스부(2000)에서 제공하는 서비스 외에 다른 콘텐츠를 제공하는 추가콘텐츠부(4000)를 포함할 수 있으며, 바람직하게는, 상기 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템은 상기 소셜서버(3000) 및 상기 추가콘텐츠부(4000)를 동시에 포함할 수 있다.Meanwhile, as an embodiment of the present invention, the
도 2는 본 발명의 일 실시예에 따른 VR서비스부(2000)의 구성을 개략적으로 도시한다.2 schematically shows the configuration of a
도 2에 도시된 바와 같이, 상기 VR서비스부(2000)는, 상기 사용자만 이용 가능하고, 상기 복수의 가상현실 콘텐츠가 제공되는 가상현실을 구현하는, 가상현실구현부(2100); 상기 VR장치(1000)와 통신을 수행하여 정보를 주고받는 VR통신부(2200); 상기 VR장치(1000)로부터 수신한 사용자의 생체정보; 및 상기 사용자의 스마트폰으로부터 수신한 활동정보 및 의료정보;를 포함하는 사용자정보를 수신하는 사용자정보입력부(2300); 상기 가상현실구현부(2100)에 의해 구현된 가상현실 내에 상기 사용자정보에 기초하여 상기 사용자의 아바타를 생성하는 아바타생성부(2400); 및 상기 가상현실에 생성된 아바타에게 상기 복수의 콘텐츠를 제공하고, 이를 수행할 때마다 상기 아바타의 외형을 업데이트할 수 있는 VR콘텐츠제공부(2500);를 포함한다.As shown in FIG. 2 , the
구체적으로, 상기 가상현실구현부(2100)는, 상기 컴퓨팅시스템(10000) 내에 가상현실을 구현하고, 상기 가상현실에 대한 정보를 상기 VR통신부(2200)를 통해 상기 사용자에게 전달할 수 있다. 상기 가상현실에 대한 정보는 가상현실의 인터페이스 및 디스플레이와 같은 시각적인 요소; 및 효과음 등의 청각적인 요소;를 포함하고, 상기 시청각적 요소는 상기 VR장치(1000)의 HMD를 통해 상기 사용자에게 전달될 수 있다.Specifically, the virtual
전술한 바와 같이, 상기 VR통신부(2200)는 상기 가상현실구현부(2100)에서 구현한 가상현실에 대한 정보를 상기 사용자에게 전달하고, 상기 VR장치(1000)에서 센싱된 동작정보 및 상기 생체정보를 상기 컴퓨팅시스템(10000)으로 전달받는다. 상기 동작정보 및 상기 생체정보는 상기 가상현실 내에서 상기 사용자의 아바타를 생성하거나, 복수의 콘텐츠를 수행하는데 사용된다. As described above, the
상기 VR장치(1000)를 통해 전달받은 상기 생체정보는 상기 사용자정보입력부(2300)의 생체정보수신부(2310)로 전달된다. 한편, 상기 사용자정보입력부(2300)는, 도 2에 도시된 바와 같이, 상기 생체정보수신부(2310) 외에 활동정보수신부(2320) 및 의료정보수신부(2330)를 더 포함한다. 상기 활동정보수신부(2320) 및 상기 의료정보수신부(2330) 각각은, 상기 사용자의 스마트폰으로부터 상기 사용자의 활동정보 및 상기 사용자의 의료정보를 각각 수신한다.The biometric information received through the
상기 활동정보는 상기 사용자의 스마트폰에 기록되는 기설정된 주기로 기록되는 운동기록, 기설정된 주기로 기록되는 생활정보 등에 해당되며, 예를 들어, 하루 동안의 걸음 수, 하루 동안의 걸음걸이, 하루 동안 마신 물의 양 및 횟수, 취침시간 및 기상시간 등을 포함한다. 본 발명의 일 실시예에 따르면, 상기 활동정보는 상기 활동정보를 기록할 수 있는 웨어러블디바이스(wearable device)를 통해 수신될 수 있다. 또한, 상기 의료정보는, 해당 사용자가 입력한 1 이상의 병력에 대한 정보를 포함하며, 본 발명의 일 실시예로서, 의료기관에서 제공하는 의료기록을 이용하여 생성될 수 있다. The activity information corresponds to an exercise record recorded in a preset cycle recorded on the user's smartphone, life information recorded in a preset cycle, etc. Include the amount and frequency of water, bedtime and wake-up time, etc. According to an embodiment of the present invention, the activity information may be received through a wearable device capable of recording the activity information. In addition, the medical information includes information on one or more medical history input by the user, and as an embodiment of the present invention, may be generated using a medical record provided by a medical institution.
상기 VR장치(1000)의 카메라장치를 통해 상기 사용자의 얼굴이미지 및 체형이미지를 촬영하여 생성한 복수의 이미지정보는 상기 VR통신부(2200)를 통해 상기 생체정보수신부(2310)로 수신되고, 상기 아바타생성부(2400)는 상기 복수의 이미지정보에 기초하여 상기 사용자의 아바타를 상기 가상현실 내에 생성한다. A plurality of image information generated by photographing the face image and body image of the user through the camera device of the
상기 아바타생성부(2400)는, 상기 아바타의 기본외형을 결정하는 기본외형결정부(2410), 복수의 이미지정보에 기초하여 상기 사용자의 노화정보를 결정하고 아바타의 외형 일부를 변경하는 노화정보결정부(2420); 상기 사용자의 활동정보에 기초하여 상기 아바타의 이동속도를 결정하는 이동속도결정부(2430); 및 상기 의료정보에 기초하여 상기 아바타의 외형 일부를 변경하는 질환정보결정부(2440);를 포함한다. 즉, 상기 아바타생성부(2400)는, 상기 사용자의 생체정보, 활동정보, 및 의료정보에 기초하여 상기 아바타의 외형 및 능력치를 설정하고, 상기 가상현실 내에 상기 아바타를 구현한다.The
상기 VR콘텐츠제공부(2500)는, 상기 가상현실 내에서 상기 아바타에게 복수의 콘텐츠를 제공한다. 상기 복수의 콘텐츠는, 해당 사용자의 인지능력 및 집중도 강화 훈련을 수행할 수 있는 콘텐츠; 해당 사용자의 신체 활동 강화 훈련을 수행할 수 있는 콘텐츠; 및 해당 사용자에게 재활훈련이 필요한 신체부위 또는 인지능력에 대한 훈련을 수행할 수 있는 콘텐츠;를 포함한다. 상기 VR콘텐츠제공부(2500)에 대한 보다 상세한 설명은 후술하도록 한다. The VR
도 3은 본 발명의 일 실시예에 따른 가상현실을 이용하는 사용자가 착용하는 VR장치 및 그 구성을 개략적으로 도시한다.3 schematically shows a VR device and its configuration worn by a user using virtual reality according to an embodiment of the present invention.
개략적으로, 도 3의 (a)는, 상기 사용자가 상기 VR장치를 착용한 일 실시예를 도시하고, 도 3의 (b)는, 상기 사용자의 머리부분에 장착되는 상기 HMD 및 상기 뇌파측정기의 구성을 도시하고, 도 3의 (c)는 상기 VR장치의 구성을 도시한다.Schematically, Fig. 3(a) shows an embodiment in which the user wears the VR device, and Fig. 3(b) is a diagram of the HMD and the EEG which are mounted on the user's head. The configuration is shown, and FIG. 3C shows the configuration of the VR device.
도 3은 본 발명의 일 실시예에 따른 가상현실을 이용하는 사용자가 착용하는 VR장치(1000) 및 그 구성을 개략적으로 도시한다.3 schematically shows a
개략적으로, 도 3의 (a)는, 상기 사용자가 상기 VR장치(1000)를 착용한 일 실시예를 도시하고, 도 3의 (b)는, 상기 사용자의 머리부분에 장착되는 상기 HMD(1100) 및 상기 뇌파측정기(1300)의 구성을 도시하고, 도 3의 (c)는 상기 VR장치(1000)의 구성을 도시한다.Schematically, Fig. 3(a) shows an embodiment in which the user wears the
도 3에 도시된 바와 같이, 상기 VR장치(1000)는, 사용자에게 장착되어 가상현실에 대한 영상 및 소리를 제공하고, 상기 사용자의 목소리를 감지하는 HMD(1100); 사용자의 외형을 촬영하여 사용자의 이미지정보를 도출하는 카메라장치(1200); 상기 사용자의 두부에 부착되어 상기 사용자의 뇌파를 측정할 수 있는 뇌파측정기(1300); 상기 사용자의 손목부위에 부착되어 상기 사용자의 맥박을 측정할 수 있는 맥박측정기(1400); 상기 사용자의 움직임을 측정하는 동작센싱장치(1500); 및 상기 사용자의 안구운동을 감지하는 아이트래커(1600);를 포함한다.As shown in FIG. 3 , the
구체적으로, 도 3의 (a)는 상기 사용자가 상기 VR장치(1000)를 착용한 일 실시예에 해당하며, 상기 카메라장치(1200)는 별도로 도시하지 않는다. 상기 사용자는, 도 3의 (a)에 도시된 VR장치(1000)를 상기 사용자가 장착하기 전에, 상기 카메라장치(1200)를 통하여 상기 사용자의 얼굴이미지 및 체형이미지를 촬영하는 것이 바람직하며, 상기 카메라장치(1200)는 상기 생체정보수신부(2310)로 상기 얼굴이미지 및 상기 체형이미지를 전달할 수 있다.Specifically, (a) of FIG. 3 corresponds to an embodiment in which the user wears the
도 3의 (a)에 도시된 바와 같이, 상기 맥박측정기(1400)는 상기 사용자의 손목에 부착되어 상기 사용자의 맥박을 측정할 수 있다. 즉, 상기 맥박측정기(1400)는 상기 생체정보 중 하나인 사용자의 맥박을 측정할 수 있고, 이와 같이 측정된 상기 사용자의 맥박은 상기 VR서비스부(2000)에 입력되어, 상기 사용자의 상태를 분석하거나 상기 사용자의 심리를 파악하여 상기 사용자가 콘텐츠를 원활하게 수행할 수 있는 용도로 사용되거나, 가상현실에서 제공되는 콘텐츠를 생성하는데 사용될 수 있다. 추가적으로, 상기 맥박측정기(1400)는 근전도센서를 포함하여, 상기 사용자의 맥박정보 및 상기 사용자의 근전도정보를 센싱하여 상기 VR서비스로 전달할 수 있다. As shown in (a) of FIG. 3 , the
도 3의 (a)에 도시된 바와 같이, 상기 동작센싱장치(1500)는 기설정된 공간에서 상기 사용자의 움직임을 측정함으로써, 상기 기설정된 공간 내에서의 상기 사용자의 동작정보를 측정할 수 있다. 이와 같이 측정된 상기 사용자의 동작정보는 상기 VR서비스부(2000)에 입력되어, 상기 VR서비스부(2000)에서 제공되는 복수의 콘텐츠를 결정하는데 기초가 되거나, 상기 사용자가 상기 복수의 콘텐츠를 체험하는데 사용될 수 있다.As shown in FIG. 3A , the
상기 동작센싱장치(1500)는, 도 3의 (a)에 도시된 바와 같이, 상기 사용자가 양 손에 각각 소지하여 상기 기설정된 공간에서의 움직임을 센싱할 수 있는 센서모듈을 포함하고, 본 발명의 일 실시예로서, 적외선 센서 혹은 캠코더 등과 같이 상기 사용자의 상기 기설정된 공간 내에서의 움직임을 영상으로 측정할 수 있는 센서모듈을 포함할 수 있다. 한편, 본 발명의 다른 실시예에 따르면, 상기 동작센싱장치(1500)는, 가속도센서, 혹은 자이로센서 등과 같이 사용자의 몸에 부착되는 형태로서, 상기 기설정된 공간 내에서의 상기 사용자의 움직임을 센싱할 수 있다. 바람직하게는, 상기 기설정된 공간은, 상기 동작센싱장치(1500)의 좌표를 측정하는 위치센서모듈이 구비된 공간에 해당한다.The
도 3의 (b)는 상기 HMD(1100)의 세부구성을 도시한다. 도 3의 (b)에 도시된 바와 같이, 상기 HMD(1100)는 상기 뇌파측정기(1300)와 연결되어 있으며, 상기 뇌파측정기(1300)는 상기 생체정보 중의 하나인 사용자의 뇌파를 특정할 수 있다. 이와 같이 측정된 상기 사용자의 뇌파는 상기 VR서비스부(2000)에 입력되어, 상기 사용자의 상태를 분석하거나 상기 사용자의 심리를 파악하여 상기 사용자가 콘텐츠를 원활하게 수행할 수 있는 용도로 사용되거나, 가상현실에서 제공되는 콘텐츠를 생성하는데 사용될 수 있다. 3B shows a detailed configuration of the
상기 HMD(1100)는, 상기 사용자에게 가상현실에 대한 시각적인 요소를 제공하는 시각제공부(1110); 상기 사용자에게 상기 가상현실에 대한 청각적인 요소를 제공하는 청각제공부(1120); 및 상기 사용자의 목소리를 감지하는 마이크부(미도시);를 포함한다. The
본 발명의 일 실시예에 따른 VR장치(1000)는 상기 시각제공부(1110) 및 상기 청각제공부(1120)를 통해 상기 사용자에게 상기 가상현실에 대한 정보를 제공함으로써 상기 사용자가 상기 가상현실의 가상공간에 존재하는 것과 같은 체험을 할 수 있도록 하고, 상기 음성입력부 및 상기 동작센싱장치(1500)를 통해 상기 사용자의 목소리 및 행동을 입력 받아 상기 가상현실에 구현된 상기 사용자의 아바타가 움직이거나 말을 할 수 있도록 할 수 있다.The
상기 시각제공부(1110)는 도 3의 (b)에 도시된 바와 같이, 상기 사용자의 양 쪽 안구에 입체감을 부여할 수 있도록 각각 시각 정보를 제공하고, 추가적으로, 상기 사용자의 안구운동을 감지하는 아이트래커(1600)를 포함한다. 본 발명의 일 실시예에서는 상기 사용자의 안구운동을 감지하여 상기 사용자에 대한 진단에 활용할 수 있다. 또한, 상기 아이트래커(1600)는 상기 시각제공부(1110)가 상기 사용자에게 시각정보를 제공하는데 방해되지 않도록 상기 시각제공부(1110)의 가장자리 측에 위치하는 것이 바람직하다.As shown in (b) of FIG. 3 , the visual providing
도 3의 (c)에 도시된 바와 같이, 상기 VR장치(1000)는, 전술한 바와 같이 상기 HMD(1100), 상기 카메라장치(1200), 상기 뇌파측정기(1300), 상기 맥박측정기(1400), 상기 동작센싱장치(1500), 및 상기 아이트래커(1600)를 포함한다. As shown in (c) of Figure 3, the
도 4는 본 발명의 일 실시예에 따른 기본외형결정부(2410)의 동작을 개략적으로 도시한다.4 schematically shows the operation of the basic
도 4에 도시된 바와 같이, 상기 기본외형결정부(2410)는, 복수의 상기 이미지정보로부터 각각의 외형특징정보를 도출하고, 도출된 복수의 외형특징정보를 평균화하여 1차원 벡터의 형태의 캐릭터결정파라미터를 도출하고, 상기 캐릭터결정파라미터에 기초하여, 아바타의 기본외형을 결정한다.As shown in FIG. 4 , the basic
구체적으로, 상기 VR장치(1000)와 통신하는 상기 VR서비스부(2000)는, 상기 아바타생성부(2400)를 포함하고, 상기 아바타생성부(2400)는, 도 2에서 전술한 바와 같이, 상기 기본외형결정부(2410), 상기 노화정보결정부(2420), 상기 이동속도결정부(2430), 및 상기 질환정보결정부(2440)를 포함한다. 도 4에 도시된 바와 같이, 상기 기본외형결정부(2410)는, 상기 VR장치(1000)의 카메라장치(1200)를 통해 입력된 상기 사용자의 이미지정보를 수신하고, 상기 사용자의 이미지정보에 기초하여 얼굴이미지 및 체형이미지를 추출하고, 추출된 상기 얼굴이미지 및 상기 체형이미지로부터 각각의 복수의 외형특징정보를 도출한다. Specifically, the
상기 이미지정보는 상기 사용자의 감정을 인식할 수 있는 안면의 표정변화를 포함하는 사용자에 대한 동적영상 혹은 일정한 주기로 연속되어 기록한 사용자에 대한 복수의 정적영상일 수 있다. 특히, 상기 이미지정보는 2 이상의 이미지 프레임을 갖는 것을 포함하는 최광의로 해석되어야 할 것이다. 이에 따라, 상기 기본외형결정부(2410)는, 수신한 상기 이미지정보를 복수의 프레임으로 분류하고, 각각의 프레임에서 얼굴이미지 및 체형이미지를 추출한다. 이후, 추출된 얼굴이미지에 기초하여 외형특징정보를 도출할 수 있다. 상기 외형특징정보는 눈의 기울기, 눈썹의 기울기, 입 모양 및 입의 기울기 등과 같이 얼굴의 표정을 인식할 수 있는 고유특성에 대한 특징정보를 포함하고, 추가적으로, 상기 사용자의 피부상태정보, 모발상태정보, 및 골격의 휘어진 정도를 더 포함한다. The image information may be a dynamic image of the user including a change in facial expression capable of recognizing the user's emotion, or a plurality of static images of the user continuously recorded at a predetermined period. In particular, the image information should be interpreted in its broadest sense including having two or more image frames. Accordingly, the basic
한편, 도 4는, 본 발명의 일 실시예로서, 상기 복수의 프레임으로부터 상기 얼굴이미지를 추출하는 과정만을 도시하고, 상기 기본외형결정부(2410)는, 도 4에 도시된 것과 같은 방식으로 상기 복수의 프레임으로부터 상기 체형이미지를 추출할 수 있다. 이 때, 바람직하게는, 상기 VR서비스부(2000)는 상기 사용자에게 다양한 자세를 요구함으로써, 상기 사용자의 골격의 상태를 엄밀하게 판단할 수 있다. On the other hand, FIG. 4 shows only the process of extracting the face image from the plurality of frames as an embodiment of the present invention, and the basic
도 5는 본 발명의 일 실시예에 따른 아바타생성부(2400)의 동작을 개략적으로 도시한다.5 schematically illustrates the operation of the
도 5에 도시된 바와 같이, 상기 아바타생성부(2400)는, 복수의 상기 이미지정보로부터 각각의 외형특징정보를 도출하고, 도출된 복수의 외형특징정보를 평균화하여 1차원 벡터 형태의 캐릭터결정파라미터를 도출하고, 상기 캐릭터결정파라미터에 기초하여, 아바타의 기본외형을 결정하는 기본외형결정부(2410); 상기 생체정보를 1 이상의 인공신경망 모델에 입력하여 상기 아바타의 노화정보를 결정하고, 상기 기본외형에 상기 노화정보에 상응하는 제1그래픽효과를 추가하는 노화정보결정부(2420); 해당 사용자의 스마트폰으로부터 도출되는 기설정된 시간 동안의 이동거리 혹은 걸음수에 기초하여, 이동거리 혹은 걸음수가 클수록 이동속도를 높이는 방식으로 상기 아바타의 이동속도를 결정하는 이동속도결정부(2430); 및 해당 사용자가 입력한 1 이상의 병력을 포함하는 의료정보에 기초하여 아바타의 질환정보를 결정하고, 상기 제1그래픽효과가 추가된 상기 기본외형에 상기 질환정보에 상응하는 제2그래픽효과를 추가하는 질환정보결정부(2440);를 포함하고,As shown in FIG. 5 , the
상기 외형특징정보는 상기 사용자의 피부상태정보, 모발상태정보, 및 골격의 휘어진 정도를 포함한다.The appearance feature information includes skin condition information of the user, hair condition information, and a degree of curvature of the skeleton.
구체적으로, 상기 기본외형결정부(2410)에서는, 도 4에서 상술한 바와 같이, 상기 사용자의 복수의 외형특징정보를 도출하고, 도출된 복수의 외형특징정보를 평균화하여 1차원 벡터 형태의 캐릭터결정파라미터를 도출할 수 있다. 상기 캐릭터결정파라미터는, 상기 아바타의 기본외형에 대하여 1 이상의 아바타의 외형정보를 설정하는 파라미터로, 예를 들어, 아바타의 키, 골격 혹은 골격의 휘어진 정도, 피부색, 피부상태, 모발의 색깔, 및 모발의 상태 등을 포함하는 파라미터이며, 추가적으로, 전술한 바와 같이, 눈의 기울기, 눈썹의 기울기, 입 모양 및 입의 기울기 등과 같이 얼굴의 표정을 인식할 수 있는 고유특성에 대한 특징정보를 더 포함할 수 있다. 상기 기본외형결정부(2410)는 전술한 바와 같은 캐릭터결정파라미터를 통해 실제 사용자의 얼굴 및 체형과 유사한 아바타의 기본외형을 가상현실 내에 구현할 수 있다. Specifically, in the basic
상기 기본외형결정부(2410)에서 상기 아바타의 기본외형이 결정되면, 상기 아바타생성부(2400)의 상기 노화정보결정부(2420)에서는 상기 사용자의 노화정보를 결정하여 상기 아바타의 외형그래픽에 반영한다. 상기 노화정보결정부(2420)는 1 이상의 인공신경망을 포함하며, 각각의 인공신경망 모델에 상기 생체정보를 입력함으로써, 상기 사용자의 노화정보를 결정할 수 있다. 상기 노화정보가 결정되면, 상기 노화정보결정부(2420)는, 상기 노화정보에 상응하는 제1그래픽효과를 도출하고, 상기 아바타의 기본외형에 상기 제1그래픽효과를 추가한다. 상기 노화정보결정부(2420)에 대한 보다 상세한 설명은 후술하도록 한다.When the basic appearance of the avatar is determined by the basic
상기 질환정보결정부(2440)는, 상기 제1그래픽효과가 추가된 기본외형에 상기 질환정보에 상응하는 제2그래픽효과를 추가한다. 상기 질환정보는, 상기 사용자의 스마트폰으로부터 수신한 상기 의료정보에 기초하여 생성된다. 상기 질환정보결정부(2440)는 상기 의료정보수신부(2330)를 통해 상기 의료정보를 수신하고, 상기 의료정보에 기초하여 상기 질환정보를 생성한다. 이후, 상기 질환정보에 상응하는 제2그래픽효과를 산출한다. 예를 들어, 왼쪽어깨에 유착성 관절낭염이 있는 사용자의 아바타에는 왼쪽 어깨가 붉게 처리되는 그래픽효과가 추가될 수 있으며, 혹은 오른쪽 무릎에 류마티스 관절염을 앓고 있는 사용자의 아바타에는 오른쪽 무릎이 붉게 처리되는 그래픽효과가 추가될 수 있다. 한편, 상기 질환정보를 통해 상기 아바타의 외형뿐만 아니라 상기 아바타의 능력치에 영향을 줄 수 있는데 이에 대해서는 후술하도록 한다. 이와 같이, 상기 아바타생성부(2400)에서는, 상기 사용자의 생체정보 및 질환정보에 기초하여, 상기 사용자의 아바타를 가상현실 내에 구현한다.The disease
도 6은 본 발명의 일 실시예에 따른 노화정보결정부(2420)의 세부구성을 개략적으로 도시한다.6 schematically shows a detailed configuration of the aging
도 6에 도시된 바와 같이, 상기 노화정보결정부(2420)는, 상기 카메라장치(1200)를 통해 입력 받은 이미지정보를 입력 받아 제1노화정보를 출력하는 제1인공신경망(2421); 상기 뇌파측정기(1300)로 측정한 상기 사용자의 뇌파정보를 입력 받아 제2노화정보를 출력하는 제2인공신경망(2422); 상기 맥박측정기(1400)로 측정한 상기 사용자의 맥박정보를 입력 받아 제3노화정보를 출력하는 제3인공신경망(2423); 및 상기 제1노화정보, 상기 제2노화정보, 및 상기 제3노화정보를 합산하여, 최종적인 노화정보를 도출하는 종합판단모듈(2424);을 포함한다. As shown in FIG. 6 , the aging
구체적으로, 본 발명의 일 실시예에 따른 상기 노화정보결정부(2420)는 상기 사용자의 이미지정보, 뇌파정보, 및 맥박정보 중 1 이상에 기초하여 상기 사용자의 노화정보를 결정할 수 있다. 이 때, 상기 노화정보결정부(2420)는 상기 사용자의 이미지정보, 뇌파정보, 및 맥박정보를 1 이상의 인공신경망을 통해 분석함으로써, 상기 사용자의 노화정보를 결정할 수 있다. Specifically, the aging
도 6에 도시된 것과 같이, 상기 제1인공신경망(2421) 내지 제3인공신경망(2423)은 각각 상기 사용자의 이미지정보, 뇌파정보 및 맥박정보를 입력 받아 분석을 수행하고, 분석 결과를 상기 종합진단모듈로 전송하고, 상기 종합진단모듈은 상기 분석 결과를 수신하여 상기 사용자의 노화정보를 결정하여 출력한다. 이과 같이 출력된 상기 노화정보에 기초하여, 도 5에 대한 설명을 참고하여, 상기 노화정보결정부(2420)는 상기 노화정보에 상응하는 제1그래픽효과를 도출하고, 상기 아바타의 기본외형에 상기 제1그래픽효과를 추가한다.As shown in FIG. 6 , the first artificial
상기 제1인공신경망(2421)에서는 상기 기본외형결정부(2410)로부터 도출된 복수의 외형특징정보 중 상기 사용자의 피부상태정보, 모발상태정보, 및 골격의 휘어진 정도를 분석하여 제1노화정보를 도출한다. 또한, 추가적으로, 상기 VR서비스부(2000)에서 상기 사용자에게 요구한 다양한 자세에 대한 수행결과에 기초하여 상기 사용자의 외형측면의 노화정보를 분석할 수 있고, 이를 통해 상기 제1노화정보를 도출한다. The first artificial
상기 제2인공신경망(2422)에서는 상기 VR장치(1000)의 뇌파측정기(1300)로부터 도출된 뇌파정보를 분석하여 제2노화정보를 도출한다. 본 발명의 일 실시예로서, 상기 뇌파의 안정성, 및 상기 사용자의 집중도를 상기 뇌파정보를 분석함으로써 상기 제2노화정보를 도출한다.The second artificial
상기 제3인공신경망(2423)에서는 상기 VR장치(1000)의 맥박측정기(1400)로부터 도출된 맥박정보를 분석하여 제3노화정보를 도출한다. 상기 맥박정보는, 상기 사용자의 분당 맥박수, 맥박의 규칙성, 맥압을 포함한다. 상기 제3인공신경망(2423)은 상기 맥박정보에 기초하여, 상기 사용자의 예상 나이 및 심혈관나이를 산출할 수 있다.The third artificial
상기 종합판단모듈(2424)은 상기 제1노화정보, 상기 제2노화정보, 및 상기 제3노화정보를 합산하여, 최종적인 노화정보를 산출할 수 있다. 한편, 상기 노화정보는, 본 발명의 일 실시예로서, 상기 사용자의 노화정도가 가장 낮을 때의 노화정보를 1로하고, 사용자의 노화정도가 가장 높은 때의 노화정보를 10으로 하는 것과 같이 점수 혹은 레벨로 도출될 수 있다. 바람직하게는, 상기 종합진단모듈은, 상기 이미지정보, 뇌파정보, 및 맥박정보에 대해 어느 정도의 가중치로 노화정보를 도출할 것인지를 자동으로 조절할 수 있도록 구성할 수 있고, 이와 같은 가중치에 대해서도 학습할 수 있도록 모델을 구성할 수 있다.The
이로서, 상기 노화정보결정부(2420)는 상기 최종적인 노화정보를 산출하고, 상기 컴퓨팅시스템(10000)에 기저장된 복수의 제1그래픽효과 중에서 상기 노화정보에 상응하는 제1그래픽효과를 상기 아바타의 기본외형에 추가할 수 있다.In this way, the aging
도 7은 본 발명의 일 실시예에 따른 사용자의 아바타 및 아바타의 능력치를 개략적으로 도시한다.7 schematically illustrates a user's avatar and ability values of the avatar according to an embodiment of the present invention.
도 7에 도시된 바와 같이, 상기 아바타생성부(2400)는, 해당 사용자의 스마트폰으로부터 도출되는 기설정된 시간 동안의 이동거리 혹은 걸음수에 기초하여, 이동거리 혹은 걸음수가 클수록 이동속도를 높이는 방식으로 아바타의 이동속도를 결정하는 이동속도결정부(2430);를 포함한다. 한편, 도 7에 도시된 상기 아바타의 능력치는 본 발명의 일 실시예로서, 실제 본 발명의 아바타의 능력치는 도 7에 도시된 것으로 한정되지 않는다.As shown in FIG. 7 , the
구체적으로, 상기 아바타생성부(2400)는, 상기 사용자의 스마트폰으로부터 수신한 상기 사용자의 활동정보 및 의료정보에 기초하여 상기 아바타의 능력치가 설정될 수 있다. 도 7에 도시된 바와 같이, 상기 아바타의 능력치는, 아바타의 이동속도, 근육량 및 인지능력을 포함한다. Specifically, the
상기 아바타의 이동속도는 상기 사용자의 활동정보 및 의료정보에 기초하여 산출될 수 있다. 예를 들어, 상기 사용자가 기설정된 시간 동안 하루 평균 3km를 2시간 동안 걸은 데이터가 상기 사용자의 스마트폰에 기록되었고, 상기 데이터는 상기 컴퓨팅시스템(10000)으로 송신될 수 있다. 상기 이동속도결정부(2430)는, 상기 데이터에 기초하여 상기 아바타의 이동속도를 산출할 수 있다. 만약, 상술한 예에서 기설정된 시간 동안의 운동기록이 상기 스마트폰에 규칙적으로 입력되지 않거나, 짧은 거리를 긴 시간동안 걸은 데이터가 상기 스마트폰에 입력되는 경우, 상기 이동속도결정부(2430)는 상기 데이터를 통해, 상기 아바타의 이동속도를 낮게 설정할 수 있고, 이와 반대의 예로서, 규칙적인 운동기록이 상기 스마트폰에 입력되거나, 많은 운동량이 상기 스마트폰에 기록된 경우, 상기 이동속도결정부(2430)는 해당 아바타의 이동속도를 높게 설정할 수 있다.The moving speed of the avatar may be calculated based on the user's activity information and medical information. For example, data that the user walks an average of 3 km per day for 2 hours for a preset time is recorded in the user's smartphone, and the data may be transmitted to the
또한, 상기 사용자의 의료정보에 기초하여 생성된 질환정보를 참고하여, 상기 아바타의 이동속도를 결정할 수 있다. 예를 들어, 상기 사용자가 하체부위에 질환을 갖고 있는 경우, 상기 아바타의 이동속도는 낮게 설정되며, 질환의 경중에 따라 낮게 설정되는 이동속도의 정도가 결정된다.Also, the moving speed of the avatar may be determined by referring to the disease information generated based on the user's medical information. For example, when the user has a disease in the lower body, the movement speed of the avatar is set low, and the degree of the movement speed set low according to the severity of the disease is determined.
상기 아바타생성부(2400)에 의하여, 상기 아바타의 근육량은 해당 사용자의 의료정보를 토대로 결정될 수 있다. 본 발명의 일 실시예로서, 상기 사용자의 의료정보에 포함된 상기 사용자의 실제 체성분 데이터에 기초하여 상기 아바타의 근육량이 결정될 수 있으며, 본 발명의 다른 실시예로서, 도 3의 (a)에 대한 설명을 참고하여, 상기 맥박측정기(1400)에 포함된 근전도센서를 통해 상기 아바타의 근육량을 설정할 수 있다. The
상기 아바타생성부(2400)에 의하여, 상기 아바타의 인지능력은, 상기 사용자에게 장착된 뇌파측정기(1300)에 의해 센싱된 상기 사용자의 뇌파정보에 기초하여 산출될 수 있으며, 더 자세하게는, 사용자가 후술하는 복수의 콘텐츠를 수행할 때 측정되는 뇌파정보에 기초하여 산출될 수 있고, 추가적으로, 상기 사용자가 상기 아바타를 통해 상기 복수의 콘텐츠를 수행하는 경우, 상기 뇌파정보; 및 상기 복수의 콘텐츠의 수행과정 및 결과;를 참고하여 산출될 수 있다.By the
도 8은 본 발명의 일 실시예에 따른 VR콘텐츠제공부(2500)의 구성을 개략적으로 도시한다.8 schematically shows the configuration of a VR
도 8에 도시된 바와 같이, 상기 VR콘텐츠제공부(2500)는, 해당 사용자의 상기 노화정보에 기초하여 난이도가 결정되고, 상기 사용자의 인지능력 및 집중도 강화 훈련을 수행할 수 있는 콘텐츠를 제공하는, 제1콘텐츠제공부(2510); 해당 사용자의 상기 활동정보에 기초하여 난이도가 결정되고, 상기 사용자의 신체 활동 강화 훈련을 수행할 수 있는 콘텐츠를 제공하는 제2콘텐츠제공부(2520); 해당 사용자의 상기 질환정보에 기초하여 콘텐츠의 종류가 결정되고 상기 사용자의 재활훈련이 필요한 신체부위 또는 상기 사용자의 인지능력에 대한 훈련을 수행할 수 있는 콘텐츠를 제공하는 제3콘텐츠제공부(2530); 상기 제1콘텐츠제공부(2510), 상기 제2콘텐츠제공부(2520), 및 상기 제3콘텐츠제공부(2530)에서 제공한 콘텐츠에 대해 콘텐츠 수행에 따른 수행결과, 콘텐츠에 대한 수행기간 동안 상기 뇌파측정기(1300)에 의하여 측정된 뇌파정보, 및 상기 맥박측정기(1400)에 의하여 측정된 맥박정보에 기초하여, 1 이상의 스코어를 산출하고, 상기 1 이상의 스코어에 따라 상기 노화정보를 조절하는 노화정보조절부(2540); 상기 노화정보조절부(2540)에 의하여, 조절된 노화정보에 따라 상기 제1그래픽효과를 조절하여 해당 사용자의 아바타의 외형을 업데이트하는 아바타외형업데이트부(2550);를 포함하고,As shown in FIG. 8, the VR
상기 제1콘텐츠제공부(2510)에서 상기 사용자에게 제공되는 제1콘텐츠는, 틀린그림찾기, 산수 및 퍼즐 맞추기를 포함하는 상기 사용자의 인지능력 및 집중도를 강화하기 위한 콘텐츠고, 상기 제2콘텐츠제공부(2520)에서 상기 사용자에게 제공되는 제2콘텐츠는, 걷기, 스트레칭 및 스쿼트를 포함하는 상기 사용자의 신체 활동 강화 훈련을 수행할 수 있는 콘텐츠고, 상기 제3콘텐츠제공부(2530)에서 상기 사용자에게 제공되는 제3콘텐츠는, 상기 사용자가 부상을 입은 신체부위에 대한 집중적인 훈련을 수행하거나 상기 사용자의 기억력, 판단력, 언어능력 및 시공간을 파악하는 능력을 포함하는 인지능력 강화에 대한 집중적인 훈련을 수행하여 상기 사용자가 취약한 분야를 훈련하기 위한 콘텐츠인에 해당한다.The first content provided to the user by the first
구체적으로, 상기 제1콘텐츠제공부(2510)에서 상기 사용자에게 제공되는 제1콘텐츠는, 상기 사용자가 가상현실에 잘 적응할 수 있도록 제공되는 콘텐츠로서, 상기 사용자가 본 발명을 통해 가상현실 내에서 복수의 콘텐츠를 수행하기 위한 연습용 콘텐츠로서 제공될 수 있다. 즉, 상기 사용자는 상기 제1콘텐츠를 통해, 상기 가상현실 내에서 상기 사용자의 아바타를 조작하는 방법을 익힐 수 있다. Specifically, the first content provided to the user by the first
또한, 상기 VR콘텐츠제공부(2500)는, 상기 사용자에게 이와 같은 제1콘텐츠를 제공함으로써, 상기 사용자의 기본적인 인지능력 및 상기 사용자의 집중도를 평가할 수 있으며, 더 나아가 상기 사용자는 상기 제1콘텐츠를 수행함으로써, 상기 사용자의 인지능력 및 집중도를 강화시킬 수 있다. 한편, 본 발명의 일 실시예로서, 상기 뇌파측정기(1300)를 통해 측정되는 상기 사용자의 뇌파정보를 상기 가상현실 내의 별도의 인터페이스로 디스플레이함으로써 사용자의 몰입감을 향상시킬 수 있다. In addition, the VR
상기 제2콘텐츠제공부(2520)에서 상기 사용자에게 제공되는 제2콘텐츠는, 상기 사용자의 부족한 신체능력을 강화하기 위해 제공되는 콘텐츠로서, 상기 제1콘텐츠를 통해 상기 VR장치(1000)의 조작법을 익힌 사용자가 소정의 신체활동을 통해 수행할 수 있는 콘텐츠에 해당한다. 상기 사용자는 상기 가상현실 내에서 상기 제2콘텐츠를 수행하기 위하여, 실제로 사용자의 신체를 사용해야 하므로, 사용자의 질병치료 혹은 재활훈련 등을 위한 신체활동을 하는 효과를 발휘할 수 있다. The second content provided to the user by the second
상기 VR콘텐츠제공부(2500)는, 상기 사용자에게 이와 같은 제2콘텐츠를 제공함으로써, 사용자의 기본적인 신체능력을 평가할 수 있다. 이 때 평가되는 상기 사용자의 신체능력은, 본 발명의 일 실시예로서, 다음에 제공되는 제2콘텐츠의 난이도 및 종류를 결정하는데 참고되는 것이 바람직하다.The VR
상기 제3콘텐츠제공부(2530)에서 상기 사용자에게 제공되는 제3콘텐츠는, 상기 사용자에게 재활훈련이 필요한 신체부위 혹은 인지능력을 강화하기 위해 제공되는 콘텐츠로서, 허리, 다리 및 팔을 포함하는 사용자의 신체부위에 부상을 입거나 특정질환을 가지고 있는 사용자에게 해당 신체부위를 강화시킬 수 있는 훈련을 수행할 수 있는 콘텐츠; 혹은 기억력, 판단력, 언어능력 및 시공간을 파악하는 능력이 부족한 사용자에게 해당 능력을 강화시킬 수 있는 훈련을 수행할 수 있는 콘텐츠;에 해당한다. The third content provided to the user by the third
한편, 상술한 제1 내지 제3콘텐츠는 각각 1 이상의 콘텐츠를 포함하며, 본 발명의 일 실시예로서, 매일매일 상기 사용자에게 다른 콘텐츠를 제공하는 것이 바람직하다. Meanwhile, the first to third contents described above each include one or more contents, and as an embodiment of the present invention, it is preferable to provide different contents to the user every day.
상기 노화정보조절부(2540)는, 상기 사용자가 상기 제1콘텐츠, 상기 제2콘텐츠, 및 상기 제3콘텐츠를 수행함으로써, 얻을 수 있는 데이터에 기초하여 상기 아바타의 노화정보를 조절하며, 상기 아바타외형업데이트부(2550)는, 상기 노화정보조절부(2540)에 의하여 조절된 노화정보에 따라 상기 제1그래픽효과를 조절하여 아바타의 외형을 업데이트한다. 상기 노화정보조절부(2540) 및 상기 아바타외형업데이트부(2550)의 동작에 관한 보다 상세한 설명은 후술하도록 한다.The aging
도 9는 본 발명의 일 실시예에 따른 VR콘텐츠제공부(2500)에서의 수행단계를 개략적으로 도시하고, 도 10은 본 발명의 일 실시예에 따른 노화정보감소단계를 개략적으로 도시한다.9 schematically shows the steps performed by the VR
도 9 내지 도 10에 도시된 바와 같이, 상기 노화정보조절부(2540)는, 상기 사용자가 상기 제1콘텐츠를 수행하는 동안 측정되는 상기 사용자의 뇌파정보에 기초하여 집중도스코어를 산출하는 집중도스코어산출단계; 상기 사용자가 상기 제2콘텐츠를 수행하는 동안 측정되는 상기 사용자의 맥박정보 및 근전도정보에 기초하여 활동량스코어를 산출하는 활동량스코어산출단계; 상기 제1콘텐츠의 수행결과, 상기 제2콘텐츠의 수행결과, 및 상기 제3콘텐츠의 수행결과에 기초하여 각각 제1스코어, 제2스코어, 제3스코어를 산출하는 수행결과스코어산출단계; 및 상기 제1스코어, 상기 제2스코어, 상기 제3스코어, 상기 집중도스코어, 및 상기 활동량스코어의 합산값에 기초하여, 노화정보를 감소시키는 노화정보감소단계;를 수행하고,As shown in FIGS. 9 to 10 , the aging
상기 집중도스코어산출단계는, 상기 뇌파측정기(1300)로부터 수신한 사용자의 뇌파가 베타파, 세타파, 미드알파파, 및 SMR파 중 어느 파형에 포함하는지 판별하여 스코어를 산출하되, 상기 사용자의 뇌파의 주파수가 12 내지 13 Hz인 SMR파에 해당하거나 10 내지 12Hz인 미드알파파에 해당할 때 가중치를 부여하여 상기 집중도스코어를 산출하고, 상기 활동량스코어산출단계는, 상기 맥박측정기(1400)로부터 수신한 사용자의 맥박의 편차값 또는 근전도센서로부터 수신한 근전도 변화량에 기초하여 상기 사용자의 활동량을 판별하여 상기 활동량스코어를 산출하되, 상기 맥박의 편차값이 기설정된 기준 이상이거나, 상기 근전도 변화량이 216 내지 450 Hz일 때 가중치를 부여하여 상기 활동량스코어를 산출한다.The concentration score calculation step calculates a score by determining which waveform of the user's EEG received from the
구체적으로, 도 9에 도시된 바와 같이, 도 8에 대한 설명을 참고하여, 상기 제1콘텐츠제공부(2510)는 상기 사용자에게 인지능력 및 집중도 강화훈련콘텐츠를 제공하고, 상기 제2콘텐츠제공부(2520)는 상기 사용자에게 신체활동 강화훈련콘텐를 제공하고, 상기 제3콘텐츠제공부(2530)는 상기 사용자에게 재활훈련이 필요한 신체부위 혹은 인지능력에 대한 훈련콘텐츠를 제공한다. Specifically, as shown in FIG. 9 , with reference to the description of FIG. 8 , the first
상기 노화정보조절부(2540)는, 상기 사용자가 상기 제1콘텐츠를 수행한 수행결과에 기초하여 제1스코어를 산출하고, 상기 사용자가 상기 제2콘텐츠를 수행한 수행결과에 기초하여 제2스코어를 산출하고, 상기 사용자가 상기 제3콘텐츠를 수행한 수행결과에 기초하여 제3스코어를 산출하는 수행결과스코어산출단계를 수행한다. The aging
상기 노화정보조절부(2540)는 상기 사용자가 제1콘텐츠를 수행하는 동안에 상기 뇌파측정기(1300)를 통해 측정된 상기 사용자의 뇌파정보에 기초하여 집중도스코어를 산출하는 집중도스코어산출단계를 수행하고, 상기 제2콘텐츠를 수행하는 동안에 상기 맥박측정기(1400)를 통해 측정된 상기 사용자의 맥박정보 및 근전도정보에 기초하여 활동량스코어를 산출하는 활동량스코어산출단계를 수행한다. The aging
본 발명의 일 실시예에서는, 상기 집중도스코어산출단계에서 상기 사용자의 뇌파가 베타파, 세타파, 미드-알파파(mid-alpha wave), 및 SMR파 중 어느 파형에 포함되는지 여부를 판별하고, 상기 베타파 및 세타파가 증가함에 따라 감소하고, 상기 미드 알파파 및 상기 SMR파가 증가함에 따라 증가하는 집중도산출식에 기초하여 집중도스코어를 산출할 수 있다. In one embodiment of the present invention, it is determined whether the user's brain wave is included in any of beta wave, theta wave, mid-alpha wave, and SMR wave in the concentration score calculation step, A concentration score may be calculated based on an intensity calculation formula that decreases as the beta wave and theta wave increase, and increases as the mid alpha wave and the SMR wave increase.
또한, 상기 노화정보조절부(2540)는, 상기 사용자가 제2콘텐츠를 수행하는 동안에 상기 맥박측정기(1400)를 통해 측정되는 해당 사용자의 맥박정보 및 상기 맥박측정기(1400)에 포함되는 근전도센서를 통해 측정되는 해당 사용자의 근전도정보에 기초하여 활동량스코어를 산출하는 상기 활동량스코어산출단계를 수행한다. 바람직하게는, 상기 활동량스코어산출단계는, 상기 사용자의 맥박의 편차값이 기설정된 기준 이상이거나, 상기 사용자의 근전도 변화량이 216 내지 450 Hz일 때 가중치를 부여하여 상기 활동량스코어를 산출한다.In addition, the aging
도 10에 도시된 바와 같이, 상기 노화정보조절부(2540)는, 상기 집중도스코어산출단계, 상기 활동량스코어산출단계, 및 상기 수행결과스코어산출단계를 통해 산출된 상기 집중도스코어, 상기 활동량스코어, 상기 제1스코어, 상기 제2스코어, 및 상기 제3스코어의 합산값에 기초하여 상기 사용자의 노화정보를 감소시키는 노화정보감소단계를 수행한다.As shown in FIG. 10 , the aging
상기 노화정보감소단계를 통해 감소된 노화정보는 상기 아바타외형업데이트부(2550)로 전달되고, 도 8에 대한 설명을 참고하여, 상기 아바타외형업데이트부(2550)에 의하여, 상기 아바타의 상기 제1그래픽효과를 조절함으로써 상기 아바타의 외형을 업데이트할 수 있다.The aging information reduced through the aging information reduction step is transmitted to the avatar
도 11은 본 발명의 일 실시예에 따른 아바타의 외형이 변경되는 프로세스를 개략적으로 도시한다.11 schematically illustrates a process in which an appearance of an avatar is changed according to an embodiment of the present invention.
개략적으로, 도 11에 도시된 바와 같이, 도 10에 도시된 노화정보감소단계 및 상기 노화정보감소단계를 통해 조절된 노화정보에 따라 상기 아바타의 외형을 변경하는 과정을 도시한다. 한편, 도 11에 도시된 과정은 설명을 위해, 상기 수행결과스코어산출단계 중 상기 제1스코어를 산출하는 과정만 도시하였으며, 상기 수행결과스코어산출단계 및 상기 노화정보감소단계에서는, 상술한 바와 같이, 상기 제1스코어, 상기 제2스코어, 상기 제3스코어, 상기 집중도스코어, 및 상기 활동량스코어를 모두 산출한다.Schematically, as shown in FIG. 11, the process of changing the appearance of the avatar according to the aging information adjusted through the aging information reduction step and the aging information reduction step shown in FIG. 10 is shown. On the other hand, the process shown in FIG. 11 is only illustrated in the process of calculating the first score among the performing result score calculation step for explanation, and in the performing result score calculating step and the aging information reduction step, as described above, , the first score, the second score, the third score, the concentration score, and the activity score are all calculated.
구체적으로, 상기 사용자가 가상현실 내에 아바타를 생성한 이후, 상기 VR콘텐츠제공부(2500)의 제1콘텐츠제공부(2510)는 상기 아바타에게 제1콘텐츠를 제공(S100)한다. 상기 제1콘텐츠는, 전술한 바와 같이, 상기 사용자의 인지능력 및 집중도를 강화하기 위한 콘텐츠에 해당한다. 상기 사용자는 상기 가상현실 내에서 상기 아바타를 통해 상기 제1콘텐츠를 수행(S200)한다.Specifically, after the user creates an avatar in virtual reality, the first
상기 아바타가 상기 제1콘텐츠를 수행한 수행결과를 상기 노화정보조절부(2540)가 수신(S300)하면, 상기 노화정보조절부(2540)는 상기 수행결과에 기초하여 제1스코어를 산출(S400)하는 상기 수행결과스코어산출단계를 수행한다.When the aging
상시 노화정보조절부(2540)는, 상기 제1스코어를 참고하여 상기 사용자의 노화정보를 조절(S500)한다. 바람직하게는, 상기 단계 S500은, 전술한 바와 같이, 상기 제1스코어뿐만 아니라, 상기 제1스코어, 상기 제2스코어, 상기 제3스코어, 상기 집중도스코어, 및 상기 활동량스코어를 모두 합한 합산값에 기초하여 상기 사용자의 노화정보를 조절한다.The regular aging
상기 노화정보조절부(2540)는 조절된 노화정보를 상기 아바타외형업데이트부(2550)에 송신(S600)하고, 상기 아바타외형업데이트부(2550)는, 수신한 상기 조절된 노화정보에 따라 상기 아바타의 기본외형에 적용된 제1그래픽효과를 조절(S700)한다. 상기 제1그래픽효과는, 도 6에 대한 설명을 참고하여, 상기 노화정보결정부(2420)에서 산출한 노화정보에 기초하여 상기 컴퓨팅시스템(10000)에 기저장된 복수의 제1그래픽효과 중 상기 노화정보결정부(2420)에서 산출한 노화정보에 상응하는 제1그래픽효과에 해당되며, 상기 아바타외형업데이트부(2550)가 상기 조절된 노화정보를 수신하면, 상기 아바타외형업데이트부(2550)는 상기 컴퓨팅시스템(10000)에 기저장된 복수의 제1그래픽효과 중에서 상기 조절된 노화정보에 상응하는 그래픽효과로 상기 아바타의 외형을 변경(S800)할 수 있다.The aging
도 12는 본 발명의 일 실시예에 따른 제1콘텐츠의 실행화면을 개략적으로 도시한다.12 schematically illustrates an execution screen of first content according to an embodiment of the present invention.
개략적으로, 도 12의 (a)는 상기 사용자에게 제1콘텐츠가 제공될 때의 상기 사용자에게 보여지는 실행화면을 도시하고, 도 12의 (b)는 상기 사용자가 상기 제1콘텐츠를 수행한 이후, 그 수행결과가 상기 사용자에게 보여지는 실행화면을 도시한다. 한편, 도 12는, 본 발명의 일 실시예로서, 상기 사용자에게 보여지는 상기 제1콘텐츠의 실행화면을 도시하나, 상기 제2콘텐츠, 상기 제3콘텐츠 혹은 후술하는 돌발콘텐츠의 실행화면 또한 도 12에 도시된 바와 같은 실행화면이 상기 HMD(1100)를 통해 상기 사용자에게 제공될 수 있다.Schematically, (a) of FIG. 12 shows an execution screen shown to the user when the first content is provided to the user, and (b) of FIG. 12 is after the user performs the first content , shows an execution screen in which the execution result is shown to the user. Meanwhile, FIG. 12 shows an execution screen of the first content shown to the user as an embodiment of the present invention, but also the execution screen of the second content, the third content, or a sudden content to be described later in FIG. An execution screen as shown in may be provided to the user through the
구체적으로, 도 12에 도시된 바와 같이, 상기 VR서비스부(2000)는, 상기 사용자에게 플로팅인터페이스(floating-interface)를 통해 정보를 제공할 수 있다. 도 12의 (a)는 상기 제1콘텐츠제공부(2510)에 의하여 상기 제1콘텐츠가 상기 사용자에게 제공될 때, 상기 사용자가 장착한 HMD(1100)를 통해 제공되는 인터페이스를 도시한다. 상기 사용자는 상기 VR장치(1000)를 조작함으로써 도 12의 (a)에 도시된 상기 플로팅인터페이스에서 “예” 혹은 “아니오”를 선택할 수 있으며, 상기 사용자가 “예”를 선택하면, 상기 사용자는 상기 사용자에게 장착된 상기 VR장치(1000)를 조작하여 상기 제1콘텐츠를 수행할 수 있다.Specifically, as shown in FIG. 12 , the
상기 사용자가 제1콘텐츠를 수행하면, 그 수행결과를 도 12의 (b)에 도시된 바와 같은 플로팅인터페이스를 통해 상기 사용자에게 명시할 수 있다. 한편, 도 12의 (b)에 도시된 수행결과 항목은, 본 발명의 일 실시예로서, 상기 수행결과 항목은 콘텐츠에 종류에 따라 상이할 수 있다. 예를 들어, 상기 사용자에게 제공된 콘텐츠가 제2콘텐츠의 걷기 콘텐츠일 경우, 걷는 시간, 거리, 및 이동 속도가 수행결과 항목으로서 플로팅인터페이스에 명시될 수 있다.When the user performs the first content, the execution result may be indicated to the user through a floating interface as shown in FIG. 12(b). Meanwhile, the execution result item shown in FIG. 12(b) is an embodiment of the present invention, and the execution result item may be different depending on the type of content. For example, when the content provided to the user is the walking content of the second content, walking time, distance, and moving speed may be specified in the floating interface as the execution result items.
도 13은 본 발명의 일 실시예에 따른 집중도스코어 및 활동량스코어가 제1기준값 미만인 경우의 사용자에게 보여지는 가상현실 인터페이스를 개략적으로 도시한다.13 schematically illustrates a virtual reality interface shown to a user when an intensity score and an activity score are less than a first reference value according to an embodiment of the present invention.
개략적으로, 도 12의 (a)는 상기 가상현실 내에 존재하는 객체의 선명도 또는 상기 아바타의 시야가 조절되는 것을 도시하고, 도 12의 (b)는 상기 사용자에게 돌발콘텐츠가 제공될 때의 실행화면을 도시한다.Schematically, FIG. 12(a) shows that the sharpness of an object existing in the virtual reality or the field of view of the avatar is adjusted, and FIG. 12(b) is an execution screen when unexpected content is provided to the user shows
도 13에 도시된 바와 같이, 상기 VR콘텐츠제공부(2500)는, 기설정된 구간 동안의 상기 집중도스코어 및 상기 활동량스코어의 세부합산값이 기설정된 제1기준값 미만인 경우, 상기 가상현실 내에 존재하는 객체의 선명도 또는 아바타의 시야를 조절하고, 기설정된 구간 동안의 상기 집중도스코어 및 상기 활동량스코어의 세부합산값이 상기 제1기준값 미만인 경우, 상기 제1콘텐츠제공부(2510), 상기 제2콘텐츠제공부(2520) 혹은 상기 제3콘텐츠제공부(2530)에 의하여 콘텐츠가 제공되는 중간에 돌발콘텐츠를 제공함으로써, 상기 사용자가 상기 돌발콘텐츠를 수행하였을 때 상기 가상현실 내에 존재하는 객체의 선명도 또는 아바타의 시야를 기본값으로 되돌린다.As shown in FIG. 13 , the VR
구체적으로, 상기 VR콘텐츠제공부(2500)는, 기설정된 구간 동안의 상기 집중도스코어 및 상기 활동량스코어의 세부합산값이 기설정된 제1기준값 미만으로 산출되는 경우, 상기 사용자의 집중도가 떨어졌다고 판단하고, 상기 사용자에게 하기와 같은 방식으로 알릴 수 있다. 도 13의 (a)의 좌측도면에 도시된 바와 같이, 상기 사용자가 장착한 HMD(1100)를 통해 제공되는 가상현실 내에 존재하는 객체의 선명도를 낮추거나, 도 13의 (a)의 우측도면에 도시된 바와 같이, 상기 아바타의 시야를 불투명한 플로팅인터페이스를 통해 조절할 수 있다. Specifically, the VR
상기 VR콘텐츠제공부(2500)는, 상기 세부합산값이 상기 제1기준값 미만으로 산출되는 경우, 상기 사용자에게 돌발콘텐츠를 제공할 수 있다. 상기 돌발콘텐츠는, 상기 사용자가 VR콘텐츠에 대한 집중도를 향상시키기 위해 상기 사용자에게 제공되는 콘텐츠로, 바람직하게는, 제1콘텐츠와 같이, 비교적 쉬운 난이도의 콘텐츠를 제공한다. The VR
도 13의 (b)에 도시된 바와 같이, 상기 돌발콘텐츠가 상기 사용자에게 제공될 때는, 도 12에 대한 설명을 참고하여, 상기 제1 내지 제3콘텐츠와 같이, 가상현실에 플로팅인터페이스를 제공함으로써 상기 사용자에게 상기 돌발콘텐츠를 제공할 수 있다. 상기 사용자가 돌발콘텐츠를 수행할 때 산출되는 집중도스코어 및 활동량스코어의 세부합산값이 기설정된 제1기준값 이상으로 산출되면, 상기 가상현실 내에 존재하는 객체의 선명도가 기본값으로 복구되고, 상기 불투명한 플로팅인터페이스가 사라지게 된다.As shown in (b) of FIG. 13, when the unexpected content is provided to the user, referring to the description of FIG. 12, like the first to third content, by providing a floating interface to virtual reality It is possible to provide the unexpected content to the user. When the detailed sum of the concentration score and the activity score calculated when the user performs the unexpected content is calculated to be greater than or equal to a preset first reference value, the sharpness of the object existing in the virtual reality is restored to the default value, and the opaque floating The interface disappears.
본 발명의 일 실시예로서, 상기 돌발콘텐츠를 수행할 때의 집중도스코어 및 활동량스코어의 세부합산값이 상기 제1기준값 미만인 경우, 상기 VR콘텐츠제공부(2500)는 휴식을 권유하는 플로팅인터페이스를 상기 사용자에게 제공할 수 있다.As an embodiment of the present invention, when the detailed sum of the concentration score and the activity score when performing the unexpected content is less than the first reference value, the VR
2. 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템2. A system that provides virtual reality contents for dementia prevention and self-diagnosis
상술한 바와 같이 본 발명의 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템은 사용자정보에 기초하여 아바타를 생성하고, 콘텐츠 수행에 따른 수행결과, 집중도 및 활동량에 기초하여 아바타의 외형을 업데이트할 수 있다. 한편, 상기 가상현실 재활시스템은 사용자 개인이 가상현실에 접속하여 인지능력 및 신체활동 강화를 위한 콘텐츠를 제공하는 것으로써, 이하에서는, 사용자에게 인지능력 평가에 대한 치매진단테스트를 제공하고, 치매 예방 및 치매 자가진단을 수행할 수 있는 시스템에 대해 설명한다.As described above, the system for providing virtual reality content for dementia prevention and self-diagnosis according to the present invention generates an avatar based on user information, and updates the appearance of the avatar based on the performance result, concentration, and activity amount according to the content execution. can do. On the other hand, the virtual reality rehabilitation system provides content for individual users to access virtual reality to enhance cognitive ability and physical activity. Hereinafter, a dementia diagnosis test for cognitive ability evaluation is provided to the user and dementia prevention and a system capable of performing dementia self-diagnosis will be described.
치매를 앓고 있는 환자는 기억력 및 인지능력이 떨어져 일상생활에 불편함으로 겪을 가능성이 높으나, 일반적으로 치매환자는 고연령층에 속하여 정상인과 대비하여 거동 능력이 떨어지므로 병원, 보건소와 같은 의료기관에 접근하기 어려운 환경에 처해있는 경우가 많다. 따라서, 상기와 같은 문제를 해결하고자 본원 발명에서는 치매고위험군인 연령대에 속하는 고령층 또는 인지장애를 겪고있는 환자에게 인지능력에 대한 테스트를 제공하고, 상기 테스트를 가상현실에서 수행하게 함으로써, 거동 능력이 떨어지는 사용자가 자택에서 치매 예방을 위한 훈련 프로그램을 수행하고, 치매 발병 여부를 용이하게 인지할 수 있는 시스템을 제시한다. 또한, 본원 발명의 시스템은 치매가 발병한 사용자 또는 인지능력이 떨어지는 사용자를 의료전문가와 매칭함으로써, 사용자가 본인의 상태에 대한 피드백을 제공받을 수 있도록 할 수 있다. Patients with dementia are more likely to experience discomfort in daily life due to poor memory and cognitive abilities. are often faced with Therefore, in the present invention to solve the above problems, the present invention provides a test for cognitive ability to the elderly or patients suffering from cognitive impairment belonging to an age group that is a high-risk group for dementia, and by having the test performed in virtual reality, movement ability is reduced A system that enables a user to perform a training program for dementia prevention at home and to easily recognize whether or not dementia occurs is presented. In addition, the system of the present invention can match a user with dementia or a user with low cognitive ability with a medical professional, so that the user can receive feedback on his or her condition.
도 14는 본 발명의 일 실시예에 따른 추가콘텐츠부에서의 수행단계를 개략적으로 도시한다.14 schematically shows the steps performed in the additional content unit according to an embodiment of the present invention.
도 14에 도시된 바와 같이, 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템은 사용자에게 기억력, 집중력, 계산능력 및 공간인지능력에 대한 평가를 수행하는 추가콘텐츠를 제공하여 사용자의 치매 발병 여부를 진단하고 치매 등급을 도출할 수 있는 추가콘텐츠부;를 포함하고, 상기 추가콘텐츠부는, 사용자의 질환정보, 노화정보 및 콘텐츠 수행 중 측정되는 사용자의 집중도 스코어에 기초하여 치매진단테스트 수행여부를 결정하는 테스트결정단계(S1000); 치매진단테스트의 수행이 필요한 사용자에게 기억력, 집중력, 계산능력 및 공간인지능력을 평가할 수 있는 치매진단테스트를 제공하는 테스트제공단계(S1100); 상기 치매진단테스트를 제공받은 사용자가 가상현실에서 기억력, 집중력, 계산능력 및 공간인지능력에 대한 평가를 수행하는 테스트수행단계(S1200); 상기 사용자가 수행한 치매진단테스트의 수행결과에 기초하여 사용자의 치매 발병 여부를 진단하고, 치매 등급을 도출하는 치매진단단계(S1300); 및 상기 치매진단단계에서 치매가 발병한 것으로 진단된 사용자 및 도출된 치매등급이 기설정된 등급을 초과하는 사용자와 정신건강의학 전문의를 매칭하는 전문의매칭단계(S1400);를 수행할 수 있다. As shown in Figure 14, the system for providing virtual reality content for dementia prevention and self-diagnosis provides the user with additional content for evaluating memory, concentration, calculation ability, and spatial recognition ability to prevent the onset of dementia of the user Including; an additional content unit capable of diagnosing whether or not and deriving a dementia rating determining a test decision step (S1000); A test providing step (S1100) of providing a dementia diagnosis test capable of evaluating memory, concentration, calculation ability and spatial cognitive ability to a user who needs to perform a dementia diagnosis test; a test execution step (S1200) in which the user provided with the dementia diagnosis test evaluates memory, concentration, calculation ability and spatial recognition ability in virtual reality; A dementia diagnosis step (S1300) of diagnosing whether the user has dementia and deriving a dementia grade based on the result of the dementia diagnosis test performed by the user; and a specialist matching step (S1400) of matching a user diagnosed with dementia and a user whose dementia grade exceeds a preset grade in the dementia diagnosis step and a psychiatric specialist.
추가콘텐츠부는 테스트결정단계(S1000)를 수행할 수 있다. 구체적으로 테스트결정단계(S1000)는 치매진단테스트를 수행할 필요가 있는 사용자를 선별하는 단계로서, 콘텐츠 수행에 따른 집중도스코어가 치매진단기준 미만인 사용자, 치매고위험군인 연령대에 속하는 사용자 및 인지장애를 겪고 있는 사용자를 치매진단테스트를 수행할 필요가 있는 사용자로 선별할 수 있다. The additional content unit may perform a test determination step (S1000). Specifically, the test determination step (S1000) is a step of selecting users who need to perform a dementia diagnosis test. Users whose concentration scores according to the content performance are less than the dementia diagnosis criteria, users belonging to the high-risk group for dementia, and cognitive impairment. A user with dementia can be selected as a user who needs to perform a dementia diagnosis test.
본 발명의 일 실시예에서는 사용자는 인지능력 및 집중도 강화 훈련에 대한 제1콘텐츠를 수행할 수 있고, 상기 제1콘텐츠의 수행결과와 콘텐츠 수행 중 측정되는 사용자의 뇌파데이터에 기초하여 집중도를 산출할 수 있다. 추가콘텐츠부는 상기 과정에서 산출된 사용자의 수행결과에 대한 스코어 및 집중도가 치매진단기준 미만인 사용자에게 치매진단테스트를 수행하도록 요구할 수 있다. In an embodiment of the present invention, the user can perform the first content for cognitive ability and concentration strengthening training, and the concentration can be calculated based on the result of the first content and the user's EEG data measured during the content execution. can The additional content unit may request a user whose score and concentration for the user's performance result calculated in the above process are less than the dementia diagnosis standard to perform a dementia diagnosis test.
또는, 추가콘텐츠부는 사용자로부터 수신한 사용자정보에 기초하여 연령대가 높은 사용자에게 치매진단테스트를 수행하도록 요구할 수 있다. 구체적으로 1.가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템에서 상술한 바와 같이 본원 발명의 시스템은 사용자정보에 기초하여 사용자의 노화정보를 산출하거나 사용자로부터 사용자의 연령대에 대한 정보를 수신할 수 있고 이 중 연령대가 높아 치매 발병 위험이 높은 사용자에게 치매진단테스트를 수행하도록 요구할 수 있다.Alternatively, the additional content unit may request a user with a higher age to perform a dementia diagnosis test based on user information received from the user. Specifically, 1. As described above in the system for generating an avatar in virtual reality and providing a plurality of contents, the system of the present invention calculates the aging information of the user based on the user information or receives information about the user's age group from the user. Among them, users with a high risk of developing dementia due to their high age may be required to perform a dementia diagnosis test.
또는, 추가콘텐츠부는 사용자로부터 수신한 의료정보에 기초하여 인지 장애를 겪은 이력이 있거나, 치매를 앓고 있는 사용자에게 치매진단테스트를 수행하도록 요구할 수 있다. 구체적으로 의료정보에는 병력 등 사용자의 건강상태에 대한 정보가 포함되어 있고, 상기 의료정보를 조회하여 치매진단테스트를 수행하는 사용자를 선별할 수 있다.Alternatively, the additional content unit may request a user with a history of cognitive impairment or dementia to perform a dementia diagnosis test based on medical information received from the user. Specifically, the medical information includes information on the user's health status, such as medical history, and may select a user who performs a dementia diagnosis test by inquiring the medical information.
결과적으로 테스트결정단계(S1000)는 콘텐츠를 수행하는 중 집중도 및 인지능력이 떨어지는 사용자, 치매고위험군인 고령층에 해당하는 사용자 및 인지능력장애와 관련된 병을 겪은 이력이 있는 사용자를 선별하여 치매진단테스트를 제공할 수 있다.As a result, the test decision step (S1000) selects users with low concentration and cognitive ability while performing content, users corresponding to the elderly who are at high risk of dementia, and users with a history of diseases related to cognitive impairment to perform a dementia diagnosis test. can provide
이어서, 추가콘텐츠부는 테스트제공단계(S1100)를 수행할 수 있다. 구체적으로 테스트제공단계(S1100)는 치매진단테스트의 수행이 필요한 사용자에게 기억력, 집중력, 계산능력 및 공간인지능력을 평가할 수 있는 치매진단테스트를 제공하는 단계로서, 사용자는 가상현실에서 치매진단테스트를 수행할 수 있다. 바람직하게는 치매진단테스트는 상술한 인지능력 및 집중도 강화에 대한 제1콘텐츠에 기초하여 생성되고 주의력, 공간인지능력, 소리인지능력, 계산능력을 측정하기 위한 콘텐츠를 더 포함할 수 있다. 더 바람직하게는 치매진단테스트는 사용자의 인지능력을 도출하기 위해 보다 다양한 분야에 대한 측정을 실시하기 위한 콘텐츠로서 정신건강의학 전문의에 의해 결정되는 1 이상의 콘텐츠일 수 있다.Subsequently, the additional content unit may perform a test providing step (S1100). Specifically, the test providing step (S1100) is a step of providing a dementia diagnosis test that can evaluate memory, concentration, calculation ability and spatial recognition ability to the user who needs to perform the dementia diagnosis test, and the user performs the dementia diagnosis test in virtual reality. can be done Preferably, the dementia diagnosis test is generated based on the first content for the above-described cognitive ability and concentration enhancement, and may further include content for measuring attention, spatial recognition ability, sound recognition ability, and calculation ability. More preferably, the dementia diagnosis test may be one or more contents determined by a psychiatric specialist as contents for measuring more various fields in order to derive the cognitive ability of the user.
이어서, 추가콘텐츠부는 테스트수행단계(S1200)를 수행할 수 있다. 구체적으로 테스트수행단계(S1200)는 치매진단테스트를 제공받은 사용자가 가상현실에서 기억력, 집중력, 계산능력 및 공간인지능력에 대한 평가를 수행하는 단계로서, 사용자는 가상현실에서 구현되는 아바타를 통해 치매진단테스트를 수행할 수 있다. 구체적으로 사용자는 1.가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템에서 상술한 제1콘텐츠, 제2콘텐츠 및 제3콘텐츠를 완료한 후, 치매진단테스트를 더 수행할 수 있다. Subsequently, the additional content unit may perform a test execution step (S1200). Specifically, the test execution step (S1200) is a step in which the user provided with the dementia diagnosis test evaluates memory, concentration, calculation ability, and spatial recognition ability in virtual reality. The user performs dementia through an avatar implemented in virtual reality. Diagnostic tests can be performed. Specifically, the user may perform 1. After completing the first content, the second content, and the third content in a system that creates an avatar in virtual reality and provides a plurality of content, the dementia diagnosis test may be further performed.
이어서, 추가콘텐츠부는 치매진단단계(S1300)를 수행할 수 있다. 구체적으로 치매진단단계(S1300)는 사용자가 수행한 치매진단테스트의 수행결과에 기초하여 사용자의 치매 발병 여부를 진단하고, 치매 등급을 도출하는 단계로서, 사용자가 수행한 치매진단테스트의 정답율 및 수행시간에 기초하여 1 이상의 등급으로 세분화되는 치매 등급을 도출할 수 있다. Subsequently, the additional content unit may perform the dementia diagnosis step (S1300). Specifically, the dementia diagnosis step (S1300) is a step of diagnosing whether the user has dementia and deriving a dementia grade based on the result of the dementia diagnosis test performed by the user. Dementia grades subdivided into one or more grades may be derived based on time.
본 발명의 일 실시예에서 사용자에게 제공되는 치매진단테스트에는 도형 순서 기억하기, 물건 가격 계산하기, 소리구분하기 등 인지능력 평가를 위한 1 이상의 콘텐츠가 포함될 수 있고, 상기 콘텐츠를 수행한 시간 및 정답율에 기초하여 사용자의 치매 발병 여부를 진단하거나, 치매 등급을 도출할 수 있다. 구체적으로 콘텐츠에 대한 정답율이 낮거나 콘텐츠를 수행한 시간이 긴 사용자에게 높은 치매등급을 부여할 수 있다.In an embodiment of the present invention, the dementia diagnosis test provided to the user may include one or more contents for cognitive ability evaluation, such as remembering the order of figures, calculating the price of an object, classifying a sound, etc. based on whether the user has dementia or may derive a dementia grade. Specifically, a high dementia rating can be given to a user with a low correct answer rate for the content or a long time for performing the content.
결과적으로 사용자는 복수의 등급으로 구현되는 치매 등급을 통해 자신의 인지능력 및 건강상태를 확인할 수 있고, 일정 주기로 치매진단테스트를 반복수행함으로써 자신의 상태가 개선되거나 악화되는 지 직관적으로 알 수 있다. As a result, the user can check his or her cognitive ability and health status through dementia grades implemented in multiple grades, and can intuitively know whether his or her condition is improving or worsening by repeating the dementia diagnosis test at regular intervals.
이어서, 추가콘텐츠부는 전문의매칭단계(S1400)를 수행할 수 있다. 구체적으로 전문의매칭단계(S1400)는 상기 치매진단단계에서 치매가 발병한 것으로 진단된 사용자 및 도출된 치매등급이 기설정된 등급을 초과하는 사용자와 정신건강의학 전문의를 매칭하는 단계로서, 사용자는 자택에서 전문의와 상담하고 자신의 상태에 대한 피드백을 제공받을 수 있다. 구체적으로 정신건강의학 전문의는 인지능력 및 치매에 대한 전문적인 소양을 갖춘 전문가로서, 치매진단테스트를 수행한 사용자의 수행결과에 기초하여 원격으로 사용자를 진단하고 피드백을 제공할 수 있다. 또한 상기 과정에서 사용자에게 제공되는 피드백 내용은 사용자의 보호자단말기로 전송될 수 있다.Subsequently, the additional content unit may perform a specialist matching step (S1400). Specifically, the specialist matching step (S1400) is a step of matching a user diagnosed as having dementia in the dementia diagnosis step and a user whose dementia grade exceeds a preset grade and a psychiatric specialist, and the user is at home You can talk to a specialist and get feedback on your condition. Specifically, a mental health specialist is an expert with cognitive ability and specialized knowledge on dementia, and can remotely diagnose the user and provide feedback based on the user's performance result of the dementia diagnosis test. In addition, the feedback provided to the user in the above process may be transmitted to the user's guardian terminal.
본 발명의 일 실시예에서는 정신건강의학 전문의는 피드백 내용을 텍스트 형태로 입력할 수 있고, 상기 피드백 내용은 스마트폰과 같은 사용자단말기 또는 사용자가 착용하고 있는 VR장치로 전송될 수 있다. 바람직하게는 텍스트 형태로 입력된 상기 피드백 내용은 음성 형태로 출력되어 고령층인 사용자가 자신의 건강상태에 대한 피드백 내용을 쉽게 인지할 수 있도록 할 수 있다. In an embodiment of the present invention, the mental health specialist may input the feedback contents in text form, and the feedback contents may be transmitted to a user terminal such as a smart phone or a VR device worn by the user. Preferably, the feedback content input in text form is output in voice form so that an elderly user can easily recognize the feedback content on his or her health condition.
한편, 전문의매칭단계(S1400)는 1 이상의 사용자와 1 이상의 전문의를 매칭할 수 있다. 구체적으로 치매진단단계(S1300)에서 사용자의 치매 등급을 도출할 수 있고, 상기 치매 등급이 동일한 1 이상의 사용자를 그룹화하여 정신건강의학 전문의와 매칭할 수 있다. 또는, 본 발명의 다른 실시예에서는 치매 등급은 치매진단테스트의 정답율 및 수행시간에 기초하여 1 이상의 등급으로 세분화되므로 치매 등급이 유사한 1 이상의 사용자를 그룹화하여 정신건강의학 전문의와 매칭할 수 있다. Meanwhile, in the specialist matching step ( S1400 ), one or more users and one or more specialists may be matched. Specifically, in the dementia diagnosis step (S1300), the user's dementia level may be derived, and one or more users having the same dementia level may be grouped to match the mental health specialist. Alternatively, in another embodiment of the present invention, since the dementia grade is subdivided into one or more grades based on the correct answer rate and execution time of the dementia diagnostic test, one or more users with similar dementia grades may be grouped to match with a psychiatrist.
상기와 같은 방식으로 치매 등급이 같거나 유사한 사용자를 그룹화하여 정신건강의학 전문의를 매칭함으로써, 의료전문가에 대한 수요를 경감할 수 있다. In the same manner as described above, by grouping users with the same or similar dementia grades and matching psychiatric specialists, the demand for medical professionals can be reduced.
도 15는 본 발명의 일 실시예에 따른 치매진단테스트의 수행 및 치매 발병 여부를 진단하는 요소를 개략적으로 도시한다.15 schematically shows elements for performing a dementia diagnosis test and diagnosing whether or not dementia occurs according to an embodiment of the present invention.
도 15의 (a)는 치매진단테스트의 수행여부를 결정하는 데 있어 고려되는 요소를 도시한 것이다. 도 15의 (a)에 도시된 바와 같이, 테스트결정단계(S1000)에서는 콘텐츠 수행에 따른 집중도스코어, 사용자의 노화정보 및 질환정보에 기초하여 치매진단테스트 수행여부를 결정할 수 있다. 구체적으로 가상현실을 수행한 복수의 사용자 중 콘텐츠 수행 중 집중도가 떨어지는 사용자, 고령층에 해당하는 사용자 및 치매를 앓고 있는 사용자를 선별하여 치매진단테스트를 수행하도록 요청할 수 있다. 결과적으로 본원 발명의 시스템은 치매 발병 우려가 높거나, 치매를 앓고 있는 사용자가 인지능력에 대한 테스트를 지속적으로 수행하게 함으로써, 치매를 예방하고, 조기에 진단할 수 있는 효과를 발휘할 수 있다. Figure 15 (a) shows factors to be considered in determining whether to perform the dementia diagnostic test. As shown in (a) of FIG. 15 , in the test determination step ( S1000 ), it is possible to determine whether to perform the dementia diagnosis test based on the concentration score according to the content execution, the user's aging information, and the disease information. Specifically, among a plurality of users who have performed virtual reality, users with low concentration during content execution, users corresponding to the elderly, and users suffering from dementia may be selected and requested to perform a dementia diagnosis test. As a result, the system of the present invention can exhibit the effect of preventing dementia and early diagnosis by continuously performing a cognitive ability test for a user with a high risk of dementia or suffering from dementia.
도 15의 (b)는 치매진단테스트의 수행결과에 기초하여 치매 발병 여부를 진단하고, 치매 등급을 산출하는 요소를 도시한 것이다. 도 15의 (b)에 도시된 바와 같이, 치매진단단계(S1300)에서는 사용자가 수행한 치매진단테스트의 정답율 및 수행시간에 기초하여 치매 발병 여부를 진단하고, 1 이상의 등급으로 세분화되는 치매 등급을 도출할 수 있다. Figure 15 (b) shows the factors for diagnosing the onset of dementia based on the result of the dementia diagnosis test and calculating the dementia grade. As shown in Fig. 15 (b), in the dementia diagnosis step (S1300), based on the correct rate and execution time of the dementia diagnosis test performed by the user, diagnosis is made on whether or not dementia occurs, and the dementia grade subdivided into 1 or more grades can be derived
구체적으로 인지능력이 저하되는 사용자는 치매진단테스트를 수행함에 있어, 정답율이 떨어지고 테스트를 수행하는데 오랜 시간이 소요될 가능성이 크다. 따라서, 상기와 같은 수행결과를 보여준 사용자에게 높은 치매 등급을 부여함이 바람직하고, 상기 치매 등급은 수치로 표현되어 사용자가 자신의 건강상태에 대한 정보를 용이하게 인지하도록 할 수 있다. Specifically, when performing a dementia diagnosis test, a user with reduced cognitive ability is highly likely to have a lower correct answer rate and take a long time to perform the test. Therefore, it is preferable to give a high dementia grade to the user who has shown the performance result as described above, and the dementia grade is expressed as a numerical value so that the user can easily recognize information about his or her health condition.
도 16은 본 발명의 일 실시예에 따른 치매등급에 기초하여 매칭된 사용자와 의료전문가가 접속하는 소셜서버를 도시한다. 16 is a diagram illustrating a social server to which a matched user and a medical professional connect based on a dementia grade according to an embodiment of the present invention.
도 16에 도시된 바와 같이, 본원 발명의 시스템은 1 이상의 사용자와 1 이상의 의료전문가가 매칭되는 1 이상의 소셜서버를 생성할 수 있다. 구체적으로 상기 단계에서 도출된 치매 등급이 같거나 유사한 1 이상의 사용자를 그룹화하여 의료전문가와 매칭할 수 있다. 또는, 치매가 발병하지는 않았으나, 연령대가 높아 치매 고위험군인 1 이상의 사용자를 그룹화하여 의료전문가와 매칭할 수 있다.As shown in FIG. 16 , the system of the present invention may create one or more social servers in which one or more users and one or more medical professionals are matched. Specifically, one or more users having the same or similar dementia grade derived in the above step may be grouped and matched with a medical professional. Alternatively, one or more users who have not developed dementia but are high in age and are at high risk of dementia may be grouped and matched with a medical professional.
상기와 같이 복수의 사용자를 의료전문가와 매칭함으로써, 다수의 치매 환자에 대한 의료전문가의 수요를 경감할 수 있고, 사용자는 본인과 유사한 건강상태를 가진 사용자와 동일한 서버에 접속하여 상호작용함으로써, 정서적 위안을 얻을 수 있다. By matching a plurality of users with a medical professional as described above, it is possible to reduce the demand for a medical professional for a plurality of dementia patients, and the user can connect to and interact with the same server as a user with a health condition similar to that of the user, thereby providing emotional support. You can find comfort
도 17은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.17 exemplarily illustrates an internal configuration of a computing device according to an embodiment of the present invention.
도 17에 도시된 바와 같이, 컴퓨팅장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)의 내부 구성은 도 1에 도시된 컴퓨팅시스템이 포함할 수 있고, 혹은 컴퓨팅장치(11000)은 도 1에 도시된 컴퓨팅시스템의 일 실시예에 해당할 수 있으며, 상기 입/출력 서브시스템(11400)에 의하여 상기 VR서비스부(2000) 및 상기 추가콘텐츠부(4000)에 연결될 수 있다. 상기 프로세서(11100)은 복수로 구성될 수 있고, 전술한 제1프로세서모듈 및 제2프로세서모듈을 포함할 수 있다.17, the
메모리(11200)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그 밖에 다양한 데이터를 포함할 수 있다.The
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.In this case, access to the
주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.The input/output subsystem may couple various input/output peripherals to the
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.The
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.The
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.Alternatively, as described above, if necessary, the
이러한 도 17의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)는 도 17에 도시된 일부 컴포넌트가 생략되거나, 도 17에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 17에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(11600)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.This embodiment of FIG. 17 is only an example of the
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 컴퓨팅장치(11000)에 설치될 수 있다. 일 예로, 파일 배포 시스템은 컴퓨팅장치(11000)의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.Methods according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computing devices and recorded in a computer-readable medium. In particular, the program according to the present embodiment may be configured as a PC-based program or an application dedicated to a mobile terminal. An application to which the present invention is applied may be installed in the
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computing devices, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result. Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (12)
사용자에게 장착되어 가상현실에 대한 영상 및 소리를 제공하고, 상기 사용자의 목소리를 감지하는 HMD; 사용자의 외형을 촬영하여 사용자의 이미지정보를 도출하는 카메라장치; 상기 사용자의 두부에 부착되어 상기 사용자의 뇌파를 측정할 수 있는 뇌파측정기; 상기 사용자의 손목부위에 부착되어 상기 사용자의 맥박을 측정할 수 있는 맥박측정기; 상기 사용자의 움직임을 측정하는 동작센싱장치; 및 상기 사용자의 안구운동을 감지하는 아이트래커;를 포함하는 VR장치;
상기 사용자가 착용하는 VR장치와 통신을 수행하고, 상기 VR장치로 가상현실에 대한 정보를 제공하며, 상기 사용자의 아바타를 생성하여 상기 사용자에게 복수의 가상현실 콘텐츠를 제공하는 VR서비스부; 및
상기 사용자에게 기억력, 집중력, 계산능력 및 공간인지능력에 대한 평가를 수행하는 추가콘텐츠를 제공하여 사용자의 치매 발병 여부를 진단하고 치매 등급을 도출할 수 있는 추가콘텐츠부;를 포함하고,
상기 VR서비스부는,
상기 사용자만 이용 가능하고, 상기 복수의 가상현실 콘텐츠가 제공되는 가상현실을 구현하는, 가상현실구현부;
상기 VR장치와 통신을 수행하여 정보를 주고받는 VR통신부;
상기 VR장치로부터 수신한 사용자의 생체정보; 및 상기 사용자의 스마트폰으로부터 수신한 활동정보 및 의료정보;를 포함하는 사용자정보를 수신하는 사용자정보입력부;
상기 가상현실구현부에 의해 구현된 가상현실 내에 상기 사용자정보에 기초하여 상기 사용자의 아바타를 생성하는 아바타생성부; 및
상기 가상현실에 생성된 아바타에게 상기 복수의 콘텐츠를 제공하고, 이를 수행할 때마다 상기 아바타의 외형을 업데이트할 수 있는 VR콘텐츠제공부;를 포함하고,
상기 생체정보는,
상기 카메라장치를 통해 입력 받은 이미지정보; 상기 뇌파측정기로 측정한 상기 사용자의 뇌파정보; 상기 맥박측정기로 측정한 상기 사용자의 맥박정보; 및 상기 아이트래커로 측정한 상기 사용자의 아이트래킹정보;를 포함하고,
상기 추가콘텐츠부는,
사용자의 질환정보, 노화정보 및 콘텐츠 수행 중 측정되는 사용자의 집중도 스코어에 기초하여 치매진단테스트 수행여부를 결정하는 테스트결정단계;
치매진단테스트의 수행이 필요한 사용자에게 기억력, 집중력, 계산능력 및 공간인지능력을 평가할 수 있는 치매진단테스트를 제공하는 테스트제공단계;
상기 치매진단테스트를 제공받은 사용자가 가상현실에서 기억력, 집중력, 계산능력 및 공간인지능력에 대한 평가를 수행하는 테스트수행단계;
상기 사용자가 수행한 치매진단테스트의 수행결과에 기초하여 사용자의 치매 발병 여부를 진단하고, 치매 등급을 도출하는 치매진단단계; 및
상기 치매진단단계에서 치매가 발병한 것으로 진단된 사용자 및 도출된 치매등급이 기설정된 등급을 초과하는 사용자와 정신건강의학 전문의를 매칭하는 전문의매칭단계;를 수행하는, 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템.
A system that provides virtual reality contents for dementia prevention and self-diagnosis,
an HMD mounted to a user to provide images and sounds for virtual reality, and to sense the user's voice; a camera device that captures the user's appearance and derives image information of the user; an EEG attached to the user's head to measure the user's EEG; a pulse meter attached to the user's wrist to measure the user's pulse; a motion sensing device for measuring the user's movement; and an eye tracker for detecting the user's eye movement; a VR device comprising;
a VR service unit that communicates with the VR device worn by the user, provides information about virtual reality to the VR device, generates an avatar of the user, and provides a plurality of virtual reality contents to the user; and
An additional content unit capable of diagnosing whether the user has dementia and deriving a dementia grade by providing the user with additional content for performing evaluation on memory, concentration, computational ability and spatial cognitive ability to the user; and
The VR service unit,
a virtual reality implementation unit that is available only to the user and implements virtual reality in which the plurality of virtual reality contents are provided;
a VR communication unit that communicates with the VR device to exchange information;
the user's biometric information received from the VR device; and a user information input unit for receiving user information including; and activity information and medical information received from the user's smartphone;
an avatar generating unit for generating an avatar of the user based on the user information in the virtual reality implemented by the virtual reality implementing unit; and
and a VR content providing unit capable of providing the plurality of contents to the avatar generated in the virtual reality and updating the appearance of the avatar whenever the avatar is performed;
The biometric information is
image information received through the camera device; EEG information of the user measured by the EEG meter; the user's pulse information measured by the pulse meter; and the user's eye tracking information measured with the eye tracker.
The additional content unit,
a test decision step of determining whether to perform a dementia diagnosis test based on the user's disease information, aging information, and the user's concentration score measured while performing the contents;
A test providing step of providing a dementia diagnosis test capable of evaluating memory, concentration, calculation ability and spatial cognitive ability to a user who needs to perform a dementia diagnosis test;
a test execution step in which the user provided with the dementia diagnosis test evaluates memory, concentration, calculation ability and spatial recognition ability in virtual reality;
a dementia diagnosis step of diagnosing whether the user has dementia based on the result of the dementia diagnosis test performed by the user and deriving a dementia grade; and
Virtual for dementia prevention and self-diagnosis, performing a specialist matching step of matching a user diagnosed with dementia in the dementia diagnosis step and a user diagnosed with dementia and a user whose dementia grade exceeds a preset grade and a psychiatrist A system that provides real content.
상기 테스트결정단계는,
콘텐츠 수행에 따른 집중도스코어가 치매진단기준 미만인 사용자, 치매고위험군인 연령대에 속하는 사용자 및 인지장애를 겪고 있는 사용자에 대해 치매진단테스트 수행여부를 결정하는, 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템.
The method according to claim 1,
The test decision step is
Provides virtual reality content for dementia prevention and self-diagnosis that determines whether or not to perform a dementia diagnosis test for users whose concentration score is less than the dementia diagnosis criteria, users who are in the high-risk group for dementia, and users with cognitive impairment system that does.
상기 치매진단단계는,
사용자가 수행한 치매진단테스트의 정답율 및 수행시간에 기초하여 1 이상의 등급으로 세분화되는 치매 등급을 도출하고,
상기 전문의매칭단계는,
치매등급이 동일한 1 이상의 사용자를 그룹화하여 정신건강의학 전문의와 매칭하는, 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템.
The method according to claim 1,
The dementia diagnosis step is
Based on the correct rate and execution time of the dementia diagnosis test performed by the user, a dementia grade subdivided into 1 or more grades is derived,
The expert matching step is,
A system that provides virtual reality content for dementia prevention and self-diagnosis by grouping one or more users with the same dementia level and matching with a psychiatrist.
상기 아바타생성부는,
복수의 상기 이미지정보로부터 각각의 외형특징정보를 도출하고, 도출된 복수의 외형특징정보를 평균화하여 1차원 벡터 형태의 캐릭터결정파라미터를 도출하고, 상기 캐릭터결정파라미터에 기초하여, 아바타의 기본외형을 결정하는 기본외형결정부;
상기 생체정보를 1 이상의 인공신경망 모델에 입력하여 상기 아바타의 노화정보를 결정하고, 상기 기본외형에 상기 노화정보에 상응하는 제1그래픽효과를 추가하는 노화정보결정부;
해당 사용자의 스마트폰으로부터 도출되는 기설정된 시간 동안의 이동거리 혹은 걸음수에 기초하여, 이동거리 혹은 걸음수가 클수록 이동속도를 높이는 방식으로 상기 아바타의 이동속도를 결정하는 이동속도결정부; 및
해당 사용자가 입력한 1 이상의 병력을 포함하는 의료정보에 기초하여 아바타의 질환정보를 결정하고, 상기 제1그래픽효과가 추가된 상기 기본외형에 상기 질환정보에 상응하는 제2그래픽효과를 추가하는 질환정보결정부;를 포함하는, 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템.
The method according to claim 1,
The avatar generating unit,
Each of the appearance feature information is derived from a plurality of the image information, and a one-dimensional vector form character determination parameter is derived by averaging the plurality of appearance feature information, and based on the character determination parameter, the basic appearance of the avatar is determined. a basic appearance determining unit to determine;
an aging information determining unit configured to input the biometric information into one or more artificial neural network models to determine aging information of the avatar, and to add a first graphic effect corresponding to the aging information to the basic appearance;
a movement speed determiner configured to determine the movement speed of the avatar in such a way that the movement speed increases as the movement distance or number of steps increases, based on the movement distance or the number of steps for a preset time derived from the user's smartphone; and
A disease in which disease information of an avatar is determined based on medical information including at least one medical history input by the user, and a second graphic effect corresponding to the disease information is added to the basic appearance to which the first graphic effect is added A system for providing virtual reality content for dementia prevention and self-diagnosis, including; an information determination unit.
상기 노화정보결정부는,
상기 카메라장치를 통해 입력 받은 이미지정보를 입력 받아 제1노화정보를 출력하는 제1인공신경망;
상기 뇌파측정기로 측정한 상기 사용자의 뇌파정보를 입력 받아 제2노화정보를 출력하는 제2인공신경망;
상기 맥박측정기로 측정한 상기 사용자의 맥박정보를 입력 받아 제3노화정보를 출력하는 제3인공신경망; 및
상기 제1노화정보, 상기 제2노화정보, 및 상기 제3노화정보를 합산하여, 최종적인 노화정보를 도출하는 종합판단모듈;을 포함하는, 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템.
6. The method of claim 5,
The aging information determining unit,
a first artificial neural network for receiving image information received through the camera device and outputting first aging information;
a second artificial neural network that receives the user's EEG information measured by the EEG and outputs second aging information;
a third artificial neural network for receiving the user's pulse information measured by the pulse meter and outputting third aging information; and
Providing virtual reality contents for dementia prevention and self-diagnosis, including; a comprehensive judgment module that sums up the first aging information, the second aging information, and the third aging information to derive final aging information system.
상기 노화정보에 기초하여, 상기 아바타의 사용자의 피부상태정보, 모발상태정보, 및 골격의 휘어진 정도를 변경하여, 상기 아바타의 외형을 결정하는, 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템.
7. The method of claim 6,
Based on the aging information, the user's skin condition information, hair condition information, and the degree of curvature of the skeleton of the avatar are changed to determine the appearance of the avatar, providing virtual reality content for dementia prevention and self-diagnosis. system.
상기 VR콘텐츠제공부는,
해당 사용자의 상기 노화정보에 기초하여 난이도가 결정되고, 상기 사용자의 인지능력 및 집중도 강화 훈련을 수행할 수 있는 콘텐츠를 제공하는, 제1콘텐츠제공부;
해당 사용자의 상기 활동정보에 기초하여 난이도가 결정되고, 상기 사용자의 신체 활동 강화 훈련을 수행할 수 있는 콘텐츠를 제공하는 제2콘텐츠제공부;
해당 사용자의 상기 질환정보에 기초하여 콘텐츠의 종류가 결정되고 상기 사용자의 재활훈련이 필요한 신체부위 또는 상기 사용자의 인지능력에 대한 훈련을 수행할 수 있는 콘텐츠를 제공하는 제3콘텐츠제공부;
상기 제1콘텐츠제공부, 상기 제2콘텐츠제공부, 및 상기 제3콘텐츠제공부에서 제공한 콘텐츠에 대해 콘텐츠 수행에 따른 수행결과, 콘텐츠에 대한 수행기간 동안 상기 뇌파측정기에 의하여 측정된 뇌파정보, 및 상기 맥박측정기에 의하여 측정된 맥박정보에 기초하여, 1 이상의 스코어를 산출하고, 상기 1 이상의 스코어에 따라 상기 노화정보를 조절하는 노화정보조절부;
상기 노화정보조절부에 의하여, 조절된 노화정보에 따라 상기 제1그래픽효과를 조절하여 해당 사용자의 아바타의 외형을 업데이트하는 아바타외형업데이트부;를 포함하는, 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템.
6. The method of claim 5,
The VR content providing unit,
a first content providing unit, the difficulty level being determined based on the aging information of the user, and providing content capable of performing cognitive ability and concentration enhancement training of the user;
a second content providing unit for providing content for which difficulty is determined based on the activity information of the user and can perform physical activity reinforcement training for the user;
a third content providing unit for providing content for which a type of content is determined based on the user's disease information and training for the user's cognitive ability or body part requiring rehabilitation training of the user is performed;
EEG information measured by the EEG measuring device during the execution period for the first contents providing unit, the second contents providing unit, and the third contents providing unit, And based on the pulse information measured by the pulse meter, calculating one or more scores, aging information control unit for adjusting the aging information according to the one or more scores;
Virtual reality content for dementia prevention and self-diagnosis, including; an avatar appearance update unit that updates the appearance of the user's avatar by adjusting the first graphic effect according to the aging information adjusted by the aging information control unit system that provides
상기 제1콘텐츠제공부에서 사용자에게 제공되는 콘텐츠는,
틀린그림찾기, 산수 및 퍼즐맞추기를 포함하는 사용자의 인지 능력 및 집중도를 강화하기 위한 콘텐츠고,
상기 제2콘텐츠제공부에서 사용자에게 제공되는 콘텐츠는,
걷기, 스트레칭 및 스쿼트를 포함하는 사용자의 신체 활동 강화 훈련을 수행할 수 있는 콘텐츠고,
상기 제3콘텐츠제공부에서 사용자에게 제공되는 콘텐츠는,
허리, 다리 및 팔을 포함하는 사용자가 부상을 입은 신체부위에 대한 집중적인 훈련을 수행하거나 기억력, 판단력, 언어능력 및 시공간을 파악하는 능력을 포함하는 인지 능력 강화에 대한 집중적인 훈련을 수행하여 사용자가 취약한 분야를 훈련하기 위한 콘텐츠인, 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템.
9. The method of claim 8,
The content provided to the user by the first content providing unit is,
Content to enhance the user's cognitive ability and concentration, including finding the wrong picture, arithmetic, and jigsaw puzzles;
The content provided to the user by the second content providing unit is,
Content that allows users to perform physical activity strengthening training including walking, stretching and squats;
The content provided to the user by the third content providing unit is,
Users can perform intensive training on injured body parts, including waist, legs, and arms, or perform intensive training on strengthening cognitive abilities, including memory, judgment, language skills, and the ability to grasp space and time. A system that provides virtual reality content for dementia prevention and self-diagnosis, which is content for training in areas where is weak.
상기 노화정보조절부는,
상기 사용자가 상기 제1콘텐츠를 수행하는 동안 측정되는 상기 사용자의 뇌파정보에 기초하여 집중도스코어를 산출하는 집중도스코어산출단계;
상기 사용자가 상기 제2콘텐츠를 수행하는 동안 측정되는 상기 사용자의 맥박정보 및 근전도정보에 기초하여 활동량스코어를 산출하는 활동량스코어산출단계;
상기 제1콘텐츠의 수행결과, 상기 제2콘텐츠의 수행결과, 및 상기 제3콘텐츠의 수행결과에 기초하여 각각 제1스코어, 제2스코어, 제3스코어를 산출하는 수행결과스코어산출단계; 및
상기 제1스코어, 상기 제2스코어, 상기 제3스코어, 상기 집중도스코어, 및 상기 활동량스코어의 합산값에 기초하여, 노화정보를 감소시키는 노화정보감소단계;를 수행하는, 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템.
9. The method of claim 8,
The aging information control unit,
an intensity score calculation step of calculating an intensity score based on the user's brain wave information measured while the user performs the first content;
an activity score calculating step of calculating an activity score based on the user's pulse information and EMG information measured while the user performs the second content;
an execution result score calculation step of calculating a first score, a second score, and a third score, respectively, based on the execution result of the first content, the execution result of the second content, and the execution result of the third content; and
Based on the sum of the first score, the second score, the third score, the concentration score, and the activity score, an aging information reduction step of reducing aging information; performing dementia prevention and self-diagnosis A system that provides virtual reality contents for
상기 VR콘텐츠제공부는,
기설정된 구간 동안의 상기 집중도스코어 및 상기 활동량스코어의 세부합산값이 기설정된 제1기준값 미만인 경우, 상기 가상현실 내에 존재하는 객체의 선명도 또는 아바타의 시야를 조절하고,
기설정된 구간 동안의 상기 집중도스코어 및 상기 활동량스코어의 세부합산값이 상기 제1기준값 미만인 경우, 상기 제1콘텐츠제공부, 상기 제2콘텐츠제공부 혹은 상기 제3콘텐츠제공부에 의하여 콘텐츠가 제공되는 중간에 돌발콘텐츠를 제공함으로써, 상기 사용자가 상기 돌발콘텐츠를 수행하였을 때 상기 가상현실 내에 존재하는 객체의 선명도 또는 아바타의 시야를 기본값으로 되돌리는, 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템.
11. The method of claim 10,
The VR content providing unit,
When the detailed sum of the concentration score and the activity score during a preset section is less than a preset first reference value, the sharpness of an object existing in the virtual reality or the view of the avatar is adjusted,
When the detailed sum of the concentration score and the activity score during a preset section is less than the first reference value, the content is provided by the first content provider, the second content provider, or the third content provider By providing the unexpected content in the middle, when the user performs the unexpected content, the sharpness of the object existing in the virtual reality or the view of the avatar is returned to the default value, providing virtual reality content for dementia prevention and self-diagnosis system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210180909A KR102453304B1 (en) | 2021-12-16 | 2021-12-16 | A system that provides virtual reality content for dementia prevention and self-diagnosis |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210180909A KR102453304B1 (en) | 2021-12-16 | 2021-12-16 | A system that provides virtual reality content for dementia prevention and self-diagnosis |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102453304B1 true KR102453304B1 (en) | 2022-10-11 |
Family
ID=83599068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210180909A KR102453304B1 (en) | 2021-12-16 | 2021-12-16 | A system that provides virtual reality content for dementia prevention and self-diagnosis |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102453304B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102548304B1 (en) * | 2023-04-20 | 2023-06-28 | 주식회사 비엔비랩스 | Content system that improves brain function and concentration through avatar technology that moves based on brain wave signals in virtual reality games and metaverse environments |
KR102551312B1 (en) | 2023-04-25 | 2023-07-05 | (주)마인즈에이아이 | Method for providing content to user with mild cognitive impairment and computing device using the same |
CN117496787A (en) * | 2024-01-03 | 2024-02-02 | 小白智能科技(长春)股份有限公司 | Six-ability assessment and training system for children |
KR102667890B1 (en) * | 2023-07-03 | 2024-05-29 | 주식회사 지엘 | Mixed reality based cognitive function training system and cognitive function training method using the same |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101943585B1 (en) | 2016-12-23 | 2019-01-30 | 이광순 | System for Psychological Diagnosis using Virtual Reality Environment Configuration |
KR20190074563A (en) * | 2017-12-20 | 2019-06-28 | 대구보건대학교산학협력단 | Evaluation and training apparatus and method for high-patient with dementia and mild cognitive impairment using motion recognition and virtual reality |
KR102130750B1 (en) | 2020-03-23 | 2020-07-06 | 이병관 | Method for providing bigdata and artificial intelligence based counseling and psychological service using bidirectional virtual reality contents |
KR102165590B1 (en) * | 2019-11-15 | 2020-10-14 | 가천대학교 산학협력단 | Social Virtual Reality System for the Treatment of Mild Cognitive Impairment and Social Virtual Reality Providing Method |
KR102313622B1 (en) * | 2019-08-21 | 2021-10-19 | 한국과학기술연구원 | Biosignal-based avatar control system and method |
-
2021
- 2021-12-16 KR KR1020210180909A patent/KR102453304B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101943585B1 (en) | 2016-12-23 | 2019-01-30 | 이광순 | System for Psychological Diagnosis using Virtual Reality Environment Configuration |
KR20190074563A (en) * | 2017-12-20 | 2019-06-28 | 대구보건대학교산학협력단 | Evaluation and training apparatus and method for high-patient with dementia and mild cognitive impairment using motion recognition and virtual reality |
KR102313622B1 (en) * | 2019-08-21 | 2021-10-19 | 한국과학기술연구원 | Biosignal-based avatar control system and method |
KR102165590B1 (en) * | 2019-11-15 | 2020-10-14 | 가천대학교 산학협력단 | Social Virtual Reality System for the Treatment of Mild Cognitive Impairment and Social Virtual Reality Providing Method |
KR102130750B1 (en) | 2020-03-23 | 2020-07-06 | 이병관 | Method for providing bigdata and artificial intelligence based counseling and psychological service using bidirectional virtual reality contents |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102548304B1 (en) * | 2023-04-20 | 2023-06-28 | 주식회사 비엔비랩스 | Content system that improves brain function and concentration through avatar technology that moves based on brain wave signals in virtual reality games and metaverse environments |
KR102551312B1 (en) | 2023-04-25 | 2023-07-05 | (주)마인즈에이아이 | Method for providing content to user with mild cognitive impairment and computing device using the same |
KR102667890B1 (en) * | 2023-07-03 | 2024-05-29 | 주식회사 지엘 | Mixed reality based cognitive function training system and cognitive function training method using the same |
CN117496787A (en) * | 2024-01-03 | 2024-02-02 | 小白智能科技(长春)股份有限公司 | Six-ability assessment and training system for children |
CN117496787B (en) * | 2024-01-03 | 2024-03-19 | 小白智能科技(长春)股份有限公司 | Six-ability assessment and training system for children |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102453304B1 (en) | A system that provides virtual reality content for dementia prevention and self-diagnosis | |
US11375948B2 (en) | Methods and systems for providing a preferred fitness state of a user | |
KR102432248B1 (en) | System And Method For Generating An Avatar And Provides It To An External Metaverse Platform To Update The Avatar And Provide NFT For The Updated Avatar | |
Su et al. | Kinect-enabled home-based rehabilitation system using Dynamic Time Warping and fuzzy logic | |
EP3384437B1 (en) | Systems, computer medium and methods for management training systems | |
CA3147225A1 (en) | Electronic arrangement for therapeutic interventions utilizing virtual or augmented reality and related method | |
JP2021027917A (en) | Information processing device, information processing system, and machine learning device | |
KR102425481B1 (en) | Virtual reality communication system for rehabilitation treatment | |
TW201926234A (en) | Electronic calculating apparatus, system, and method for providing body posture health information | |
KR102429630B1 (en) | A system that creates communication NPC avatars for healthcare | |
KR102445135B1 (en) | System And Method For Providing Forgery And Falsification Verification Of Avatar Information For Avatar Generation On The Metaverse Platform | |
KR102424629B1 (en) | System and method for improving development disorder using deep learning module | |
US20210106290A1 (en) | Systems and methods for the determination of arousal states, calibrated communication signals and monitoring arousal states | |
KR102429627B1 (en) | The System that Generates Avatars in Virtual Reality and Provides Multiple Contents | |
KR102445134B1 (en) | System And Method For Generating An Avatar Based On A User's Information And Providing An NFT For Avatar | |
KR102425479B1 (en) | System And Method For Generating An Avatar With User Information, Providing It To An External Metaverse Platform, And Recommending A User-Customized DTx(Digital Therapeutics) | |
Hong et al. | Adaptive mobile cloud computing on college physical training education based on virtual reality | |
WO2021085231A1 (en) | Emotion estimation method and emotion estimation system | |
KR102437583B1 (en) | System And Method For Providing User-Customized Color Content For Preferred Colors Using Biosignals | |
US20210137450A1 (en) | Breath monitoring and feedback application and methods | |
Sanchez-Valdes et al. | Linguistic and emotional feedback for self-tracking physical activity | |
Zhang et al. | The prediction and error correction of physiological sign during exercise using Bayesian combined predictor and naive Bayesian classifier | |
KR102432251B1 (en) | Virtual reality rehabilitation system performed on social servers | |
KR102432250B1 (en) | The System that Provides Care Chatbot | |
KR102445133B1 (en) | System That Creates An Avatar, Provides It To An External Metaverse Platforms, And Updates The Avatar, And Method Thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |