KR102545185B1 - Apparatus for training and testing to improve cognitive auditory function by sensing, method and program of the same - Google Patents

Apparatus for training and testing to improve cognitive auditory function by sensing, method and program of the same Download PDF

Info

Publication number
KR102545185B1
KR102545185B1 KR1020210074090A KR20210074090A KR102545185B1 KR 102545185 B1 KR102545185 B1 KR 102545185B1 KR 1020210074090 A KR1020210074090 A KR 1020210074090A KR 20210074090 A KR20210074090 A KR 20210074090A KR 102545185 B1 KR102545185 B1 KR 102545185B1
Authority
KR
South Korea
Prior art keywords
training
information
user
music
instrument
Prior art date
Application number
KR1020210074090A
Other languages
Korean (ko)
Other versions
KR20220165456A (en
Inventor
한우재
박시훈
Original Assignee
(주)디지털팜
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)디지털팜 filed Critical (주)디지털팜
Priority to KR1020210074090A priority Critical patent/KR102545185B1/en
Publication of KR20220165456A publication Critical patent/KR20220165456A/en
Priority to KR1020230075563A priority patent/KR102634346B1/en
Priority to KR1020230075564A priority patent/KR102634347B1/en
Priority to KR1020230075562A priority patent/KR102634345B1/en
Application granted granted Critical
Publication of KR102545185B1 publication Critical patent/KR102545185B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/12—Audiometering
    • A61B5/121—Audiometering evaluating hearing capacity
    • A61B5/123—Audiometering evaluating hearing capacity subjective methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video

Abstract

본 발명에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치는 사용자에게 음악을 출력하고, 상기 사용자의 인지 기능 및 청각 기능 중 하나 이상을 개선시키기 위한 훈련을 상기 사용자가 수행하도록 유도하는 훈련 유도 정보를 출력하는 출력부; 상기 훈련을 수행하는 상기 사용자로부터 훈련 수행 정보를 센싱 또는 입력받는 입력부; 및 상기 훈련 수행 정보에 기초하여 훈련 수행 정확도 정보를 산출하고, 상기 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 여부에 기초하여 상기 훈련의 훈련 단계 정보를 설정하는 프로세서;를 포함할 수 있다. An apparatus for training and examining a cognitive function through an input sensed by a sensor according to the present invention outputs music to a user and causes the user to perform training to improve at least one of the cognitive function and hearing function of the user. an output unit outputting training induction information to derive; an input unit that senses or receives training performance information from the user performing the training; and a processor that calculates training performance accuracy information based on the training performance information and sets training step information of the training based on whether or not the training performance accuracy information is greater than or equal to reference training accuracy information.

Description

센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치, 방법 및 프로그램{Apparatus for training and testing to improve cognitive auditory function by sensing, method and program of the same}Apparatus for training and testing to improve cognitive auditory function by sensing, method and program of the same}

본 발명은 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치, 방법 및 프로그램에 관한 것이다.The present invention relates to devices, methods, and programs for training and testing cognitive functions through inputs sensed through sensors.

간의 의사소통 수단 중 대화는 가장 기본적이며 중요한 요소이다. 대화란 타인의 의사가 담긴 말(단어나 문장)을 듣고 자신의 의사를 담은 말(단어나 문장)을 소리를 통해 주고 받는 과정을 의미하며, 그 중 듣기는 귀를 통해 그 울림이 뇌에 전달된 후 뇌에서 말의 의미를 인지하는 프로세스를 갖고 있다. 따라서 정상적인 대화가 가능하기 위해서는 듣기 능력, 즉 말소리 지각과 말 지각이 정상이어야 한다.Among the means of communication between people, conversation is the most basic and important element. Conversation refers to the process of listening to the words (words or sentences) containing the intentions of others and exchanging words (words or sentences) containing one's intentions through sound. It has a process in the brain that recognizes the meaning of words. Therefore, in order for normal conversation to be possible, listening ability, that is, speech perception and speech perception, must be normal.

여기서, 말소리 지각이란 말소리가 귀를 통해 뇌에 정상적으로 전달되는지 여부를 의미하며, 말지각이란 정상적인 말소리 지각을 통해 말의 의미가 뇌에서 정상적으로 인지되었는지 여부를 의미한다.Here, speech sound perception means whether speech sounds are normally transmitted to the brain through the ears, and speech perception means whether or not the meaning of speech is normally recognized in the brain through normal speech sound perception.

결국 말소리 지각이 비정상인 경우 통상적으로 청각능력에 장애가 있는 경우가 대부분이며, 말지각의 즉, 인지 기능은 청각 기능과 밀접한 관련이 있으며, 이를 향상시키기 위해선 현재 대상자의 인지 기능을 단계별로 정확히 파악하여 차츰 훈련의 난이도를 향상시켜 훈련하는 것이 중요하다.After all, if speech perception is abnormal, it is usually the case that hearing ability is impaired, and speech perception, that is, cognitive function, is closely related to hearing function. It is important to gradually increase the difficulty of training.

하지만 종래에는 인지 기능과 청각 기능을 결합하여 인지 기능을 대상자의 기능 단계에 따라 단계별로 훈련시키지 못하여 훈련에 따른 인지 기능의 향상이 미미한 문제점이 있다. However, in the prior art, there is a problem in that the cognitive function is not improved according to the training because the cognitive function cannot be trained step by step according to the functional level of the subject by combining the cognitive function and the auditory function.

삭제delete

한국등록특허 제10-2123869호Korean Patent Registration No. 10-2123869

본 발명은 사용자의 인지 기능에 대응하여 인지 기능을 개선시킬 수 있는 단계별 훈련을 제공하고, 훈련 이후 인지 기능을 검사하여 부족한 훈련의 재훈련을 제공할 수 있다.The present invention provides step-by-step training capable of improving the cognitive function in response to the user's cognitive function, and can provide retraining of insufficient training by examining the cognitive function after training.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다. The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention not mentioned above can be understood by the following description and will be more clearly understood by the examples of the present invention. It will also be readily apparent that the objects and advantages of the present invention may be realized by means of the instrumentalities and combinations indicated in the claims.

본 발명에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치는 사용자에게 음악을 출력하고, 상기 사용자의 인지 기능을 개선시키기 위한 훈련을 상기 사용자가 수행하도록 유도하는 훈련 유도 정보를 출력하는 출력부; 상기 훈련을 수행하는 상기 사용자로부터 훈련 수행 정보를 센싱 또는 입력받는 입력부; 및 상기 훈련 수행 정보에 기초하여 훈련 수행 정확도 정보를 산출하고, 상기 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 여부에 기초하여 상기 훈련의 훈련 단계 정보를 설정하는 프로세서;를 포함할 수 있다.An apparatus for training and examining cognitive function through an input sensed by a sensor according to the present invention outputs music to a user and provides training guidance information for inducing the user to perform training for improving the cognitive function of the user. an output unit that outputs; an input unit that senses or receives training performance information from the user performing the training; and a processor that calculates training performance accuracy information based on the training performance information and sets training step information of the training based on whether or not the training performance accuracy information is greater than or equal to reference training accuracy information.

바람직하게, 상기 프로세서는 상기 훈련의 상기 훈련 단계 정보가 훈련 변경 단계를 나타내는지 여부에 기초하여 복수의 훈련 중 다른 훈련을 상기 사용자가 수행하도록 상기 출력부 및 상기 입력부를 제어할 수 있다.Preferably, the processor may control the output unit and the input unit so that the user performs another training among a plurality of training based on whether the training stage information of the training indicates a training change stage.

바람직하게, 상기 훈련은 음악기반 다중작업 훈련, 악기연주 훈련 및 음악 속 과제 수행 훈련을 포함할 수 있다.Preferably, the training may include music-based multi-task training, musical instrument performance training, and task performance training in music.

바람직하게, 상기 프로세서는 상기 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이고, 최근 수행된 훈련의 상기 훈련 단계 정보가 훈련 변경 단계를 나타내지 않는 경우, 상기 훈련 단계 정보를 상향시켜 설정하고, 상향 설정된 상기 훈련 단계 정보에 대응되는 훈련을 상기 사용자가 수행하도록 상기 출력부 및 상기 입력부를 제어할 수 있다.Preferably, the processor, when the training performance accuracy information is equal to or greater than the reference training accuracy information and the training step information of a recently performed training does not indicate a training change step, sets the training step information upward, and sets the upwardly set The output unit and the input unit may be controlled so that the user performs training corresponding to training step information.

바람직하게, 상기 출력부는 상기 훈련이 음악기반 다중작업 훈련이면 상기 훈련 유도 정보로써 상기 음악 및 상기 음악에 대응되는 악보 정보를 출력하거나 상기 음악 및 손 이미지 정보를 출력할 수 있다.Preferably, if the training is music-based multi-task training, the output unit may output the music and sheet music information corresponding to the music or output the music and hand image information as the training guidance information.

바람직하게, 상기 입력부는 상기 훈련이 음악기반 다중작업 훈련이면 상기 사용자의 손 및 상기 사용자의 발 중 하나 이상의 수족 움직임 정보를 센싱하거나 상기 사용자의 손의 형상 정보를 센싱하여 상기 훈련 수행 정보로 생성할 수 있다.Preferably, if the training is music-based multi-task training, the input unit senses movement information of one or more limbs of the user's hand and the user's foot or senses shape information of the user's hand to generate the training performance information. can

바람직하게, 상기 프로세서는 상기 훈련이 음악기반 다중작업 훈련이면 상기 악보 정보 또는 상기 손 이미지 정보와 상기 수족 움직임 정보 또는 상기 훈련 수행 정보 간의 대응 정도에 기초하여 상기 훈련 수행 정확도 정보를 산출할 수 있다.Preferably, if the training is music-based multi-task training, the processor may calculate the training performance accuracy information based on a degree of correspondence between the score information or the hand image information and the limb movement information or the training performance information.

바람직하게, 상기 출력부는 상기 훈련이 악기연주 훈련이면 상기 훈련 유도 정보로써 상기 음악, 상기 음악에 대응되는 악보 정보 및 악기 이미지 정보를 출력할 수 있다.Preferably, the output unit may output the music, score information corresponding to the music, and instrument image information as the training guidance information when the training is musical instrument playing training.

바람직하게, 상기 입력부는 상기 훈련이 악기연주 훈련이면 상기 사용자에 의해 가상으로 연주되는 가상 악기의 악기 움직임 정보를 센싱하여 상기 훈련 수행 정보로 생성할 수 있다.Preferably, if the training is musical instrument playing training, the input unit may sense musical instrument movement information of a virtual musical instrument virtually played by the user and generate the training execution information.

바람직하게, 상기 프로세서는 상기 훈련이 악기연주 훈련이면 상기 악보 정보 및 상기 악기 이미지 정보와 상기 악기 움직임 정보 간의 대응 정도에 기초하여 상기 훈련 수행 정확도 정보를 산출할 수 있다.Preferably, if the training is musical instrument playing training, the processor may calculate the training performance accuracy information based on a degree of correspondence between the music score information, the musical instrument image information, and the musical instrument motion information.

바람직하게, 상기 출력부는 상기 훈련이 음악 속 과제 수행 훈련이면 상기 훈련 유도 정보로써 상기 음악, 도형 선택 유도 음성 및 보기 도형 이미지를 출력할 수 있다.Preferably, the output unit may output the music, figure selection guidance voice, and example figure image as the training guidance information if the training is task performance training in music.

바람직하게, 상기 입력부는 상기 훈련이 음악 속 과제 수행 훈련이면 상기 사용자로부터 도형 선택 정보를 입력받아 상기 훈련 수행 정보로 생성할 수 있다.Preferably, if the training is task performance training in music, the input unit may receive figure selection information from the user and generate the training performance information.

바람직하게, 상기 프로세서는 상기 훈련이 음악 속 과제 수행 훈련이면 상기 도형 선택 유도 음성 및 상기 보기 도형 이미지와 상기 도형 선택 정보 간의 대응 정도에 기초하여 상기 훈련 수행 정확도 정보를 산출할 수 있다.Preferably, if the training is task performance training in music, the processor may calculate the training performance accuracy information based on the degree of correspondence between the figure selection guidance voice, the example figure image, and the figure selection information.

바람직하게, 상기 프로세서는 상기 훈련의 상기 훈련 단계 정보가 훈련 변경 단계를 나타내면 최근 수행된 훈련과 다른 훈련을 상기 사용자가 수행하도록 상기 출력부 및 상기 입력부를 제어할 수 있다.Preferably, the processor may control the output unit and the input unit so that the user performs training different from a recently performed training when the training stage information of the training indicates a training change stage.

본 발명에 따른 컴퓨터 프로그램은 하드웨어인 컴퓨터와 결합되어, 상기 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장될 수 있다.The computer program according to the present invention may be combined with a computer, which is hardware, and stored in a computer-readable recording medium to perform the method.

상기에서 기재된 바에 따르면, 본 발명은 사용자의 인지 기능에 대응하여 사용자에게 최적화된 인지 기능의 개선 훈련을 단계별로 제공하고, 훈련 이후 인지 기능을 검사함으로써 훈련 성과를 실시간으로 모니터링할 수 있다.According to the above description, the present invention provides the user with step-by-step cognitive function improvement training in response to the user's cognitive function, and monitors the training performance in real time by examining the cognitive function after training.

도 1은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치와 이를 이용하는 사용자의 일 예를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치의 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제1 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제2 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제3 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제4 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 악기연주 훈련을 수행하는 경우를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악 속 과제 수행 훈련을 수행하는 경우를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 가창 훈련을 수행하는 경우를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 악기 변별 훈련을 수행하는 경우를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악속 따라 말하기 훈련을 수행하는 경우를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제5 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제6 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제7 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제8 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 16는 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 방법을 설명하기 위한 순서도이다.1 is a diagram illustrating an example of an apparatus for training and examining a cognitive function through an input detected by a sensor according to an embodiment of the present invention and a user using the same.
2 is a block diagram of an apparatus for training and examining cognitive function through an input sensed through a sensor according to an embodiment of the present invention.
3 is for explaining a case in which a user performs the first step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input detected through a sensor according to an embodiment of the present invention. it is a drawing
4 is for explaining a case in which a user performs a second step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input detected through a sensor according to an embodiment of the present invention. it is a drawing
5 is for explaining a case in which a user performs a third step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input detected through a sensor according to an embodiment of the present invention. it is a drawing
6 is for explaining a case in which a user performs a fourth step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input sensed through a sensor according to an embodiment of the present invention. it is a drawing
FIG. 7 is a diagram for explaining a case in which a user performs musical instrument playing training during training through an apparatus for training and examining cognitive function through an input sensed through a sensor according to an embodiment of the present invention.
FIG. 8 is a diagram for explaining a case in which a user performs task performance training in music during training through an apparatus for training and examining cognitive function through an input sensed through a sensor according to an embodiment of the present invention.
9 is a diagram for explaining a case in which a user performs singing training during training through an apparatus for training and examining cognitive function through an input sensed through a sensor according to an embodiment of the present invention.
FIG. 10 is a diagram for explaining a case in which a user performs instrument discrimination training during training through an apparatus for training and examining a cognitive function through an input sensed through a sensor according to an embodiment of the present invention.
FIG. 11 is a diagram for explaining a case in which a user performs speech training according to a music song during training through an apparatus for training and examining cognitive function through an input sensed through a sensor according to an embodiment of the present invention.
12 is for explaining a case in which a user performs a fifth step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input detected through a sensor according to an embodiment of the present invention. it is a drawing
13 is for explaining a case in which a user performs a sixth step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input detected through a sensor according to an embodiment of the present invention. it is a drawing
14 is for explaining a case in which a user performs a seventh step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input detected through a sensor according to an embodiment of the present invention. it is a drawing
15 is for explaining a case in which a user performs an eighth step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input detected through a sensor according to an embodiment of the present invention. it is a drawing
16 is a flowchart illustrating a method of training and examining a cognitive function through an input sensed by a sensor according to an embodiment of the present invention.

이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형 태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대 해서는 유사한 참조 부호가 사용될 수 있다. Hereinafter, various embodiments of the present invention will be described with reference to the accompanying drawings. However, it should be understood that this is not intended to limit the present invention to specific embodiments, and includes various modifications, equivalents, and/or alternatives of the embodiments of the present invention. In connection with the description of the drawings, like reference numerals may be used for like elements.

본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다. In this document, expressions such as "has", "may have", "includes", or "may include" refer to the presence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.

본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현 은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다. In this document, expressions such as "A or B", "at least one of A and/and B", or "one or more of A or/and B" may include all possible combinations of the items listed together. . For example, "A or B", "at least one of A and B", or "at least one of A or B" includes (1) at least one A, (2) at least one B, Or (3) may refer to all cases including at least one A and at least one B.

본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중 요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.Expressions such as "first", "second", "first", or "second" used in this document may modify various components, regardless of order and/or importance, and refer to a component as It is used only to distinguish it from other components and does not limit the corresponding components. For example, a first user device and a second user device may represent different user devices regardless of order or importance. For example, without departing from the scope of rights described in this document, a first element may be called a second element, and similarly, the second element may also be renamed to the first element.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성 요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 어떤 구성요소와 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다. A component (e.g., a first component) is "(operatively or communicatively) coupled with/to" another component (e.g., a second component); When referred to as "connected to", it should be understood that an element may be directly connected to another element, or may be connected through another element (eg, a third element). On the other hand, when an element (eg, a first element) is referred to as being "directly connected" or "directly connected" to another element (eg, a second element), it is referred to as a component different from a component. It may be understood that there are no other components (eg, third components) between the elements.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합 한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성 (또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서, MCU), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU, AP)를 의미할 수 있다. As used in this document, the expression "configured to" means, depending on the situation, e.g., "suitable for", "having the capacity to" )", "designed to", "adapted to", "made to", or "capable of" . The term "configured (or set) to" may not necessarily mean only "specifically designed to" hardware. Instead, in some contexts, the phrase "a device configured to" may mean that the device is "capable of" in conjunction with other devices or components. For example, the phrase "a processor configured (or set) to perform A, B, and C" may include a dedicated processor (eg, embedded processor, MCU), or one or more software programs stored in memory, to perform those operations. By executing, it may mean a general-purpose processor (eg, CPU, AP) capable of performing corresponding operations.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한 정하려는 의도가 아닐 수 있다. 단수의 표현은 컨텍스트 상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 컨텍스트 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다. Terms used in this document are only used to describe a specific embodiment, and may not be intended to limit the scope of other embodiments. Singular expressions may include plural expressions unless the context clearly dictates otherwise. Terms used herein, including technical or scientific terms, may have the same meaning as commonly understood by a person of ordinary skill in the technical field described in this document. Among the terms used in this document, terms defined in general dictionaries may be interpreted as having the same or similar meaning as the meaning in the context of the related art, and unless explicitly defined in this document, in an ideal or excessively formal meaning. not interpreted In some cases, even terms defined in this document cannot be interpreted to exclude the embodiments of this document.

이하에서는 도면을 참조하여 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치에 관하여 상세히 설명한다.Hereinafter, an apparatus for training and examining a cognitive function through an input sensed through a sensor will be described in detail with reference to the drawings.

도 1은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치와 이를 이용하는 사용자의 일 예를 도시한 도면이고, 도 2는 본 발명의 일 실시 예에 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치의 구성도이다.1 is a diagram showing an example of an apparatus for training and testing cognitive functions through an input sensed by a sensor according to an embodiment of the present invention and a user using the same, and FIG. It is a block diagram of a device that trains and tests cognitive functions through inputs detected through sensors.

도 1 및 도 2를 참조하면, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 출력부(110), 입력부(120), 프로세서(130), 통신부(140) 및 저장부(150)를 포함할 수 있다. 본 발명에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 구성 요소 중에서　사용자의 청력 기능과 인지 기능을 훈련시키고, 청력 기능과 인지 기능을 검사하며, 훈련 결과 및 검사 결과를 제공하는 과정과 관련된 구성요소들만을 기술하기로 한다. 따라서, 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)와 관련된 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.Referring to FIGS. 1 and 2 , an apparatus 100 for training and examining cognitive function through an input sensed by a sensor according to an embodiment of the present invention includes an output unit 110, an input unit 120, a processor ( 130), a communication unit 140 and a storage unit 150. Among the components of the apparatus 100 for training and examining cognitive functions through inputs sensed by sensors according to the present invention, training of the user's hearing function and cognitive function, testing of the hearing function and cognitive function, training results and Only components related to the process of providing inspection results will be described. Therefore, common knowledge in the technical field related to the apparatus 100 for training and testing cognitive functions through inputs sensed through sensors that other general-purpose components may be further included in addition to the components shown in FIG. 2 Anyone who has it can understand.

본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는　사용자에 의해 제어 및 조작되며 일정 장소에 거치되거나 휴대가 가능할 수 있고, 음원을 재생하거나 또는 음원을 재생하기 위한 신호를 출력하며, 훈련과 검사를 위한 다양한 정보를 표시 및 입력받는 장치일 수 있다. 이때, 휴대가 가능하다고 함은 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)를 손에 들거나 몸에 지니고 다니기에 불편함이 없음을 의미한다. 또한, 음원을 재생하는 장치는 디지털 또는 아날로그 신호의 형태로 저장된 데이터로부터 사용자가 청취할 수 있는 소리를 생성하거나, 또는 사용자가 청취할 수 있는 소리를 생성하는 신호를 출력하는 장치를 의미한다. 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 예를 들면, PC(personal computer), 휴대폰(mobile phone), 개인 정보 단말기(Personal Digital Assistant), MP3 플레이어(MPEG Audio layer-3 Player), CD 플레이어(Compact Disc player), 포터블 미디어 플레이어(Portable Media Player) 등이 있고, 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 이에 한정되지 않고, 사용자가 청취할 수 있는 소리를 생성하거나, 사용자가 시청할 수 있는 정보를 표시하거나 또는 사용자로부터 정보를 센싱 및 입력받는 모든 장치를 포함한다.According to an embodiment of the present invention, the apparatus 100 for training and examining cognitive functions through input sensed by a sensor is controlled and manipulated by a user, can be placed in a certain place or can be carried, plays a sound source, or Alternatively, it may be a device that outputs a signal for reproducing a sound source and displays and receives various information for training and inspection. At this time, being portable means that there is no inconvenience in holding the device 100 for training and examining the cognitive function through an input detected through a sensor in the hand or carrying it around the body. Also, a device for reproducing a sound source refers to a device that generates sound audible by a user from data stored in the form of a digital or analog signal or outputs a signal that generates a sound audible by a user. Examples of the device 100 for training and examining cognitive function through an input detected through a sensor include a personal computer (PC), a mobile phone, a personal digital assistant, and an MP3 player (MPEG Audio). layer-3 Player), CD player (Compact Disc player), portable media player (Portable Media Player), and the like, and the apparatus 100 for training and testing cognitive function through an input detected through a sensor is not limited thereto. , It includes all devices that generate sounds that users can hear, display information that users can watch, or sense and receive information from users.

본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 사용자가 인지 기능 및 청각 기능에 대한 선별 검사를 우선 수행하도록 할 수 있다.According to an embodiment of the present invention, the apparatus 100 for training and examining a cognitive function through an input sensed by a sensor allows a user to first perform a screening test for a cognitive function and an auditory function.

여기서, 선별 검사는 순음청력검사(pure-tone audiometry), 한국판 몬트리올 인지기능 평가(Korean-Montreal-Cognitive-Assessment, K-MoCA), 한국판 간이정신상태검사(Korea version of Mini-Mental Status Examination, MMSE-K) 중 하나 이상일 수 있으며, 선별 검사 결과와 개인정보는 서버에 암호화되어 저장되어 이후에 수행되는 검사의 비교 자료로 활용될 수 있다.Here, the screening test is pure-tone audiometry, Korean version of Montreal-Cognitive-Assessment (K-MoCA), Korean version of Mini-Mental Status Examination (MMSE) -K), and screening test results and personal information are encrypted and stored on the server, and can be used as comparison data for future tests.

이후, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 인지 기능 및 청각 기능을 개선시키기 위한 훈련의 제1 내지 제4 단계를 수행하도록 할 수 있다.Thereafter, the apparatus 100 for training and examining the cognitive function through the input sensed by the sensor according to an embodiment of the present invention performs the first to fourth steps of training to improve the cognitive function and the auditory function. can do.

이때, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 각 훈련의 단계에서의 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 훈련의 단계를 다음 단계로 설정하여 사용자가 훈련을 수행하도록 할 수 있다. 여기서, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제1 훈련 카테고리에 포함된 복수의 훈련과 제2 훈련 카테고리에 포함된 복수의 훈련을 제공할 수 있으며, 제1 훈련 카테고리에 대응되는 복수의 훈련 각각은 제1 내지 제4 단계로 구성될 수 있으며, 제2 훈련 카테고리에 대응되는 복수의 훈련 각각은 제5 내지 제8 단계로 구성될 수 있다.At this time, the apparatus 100 for training and examining the cognitive function through the input sensed by the sensor according to an embodiment of the present invention performs the training step if the performance accuracy information in each training step is equal to or greater than the reference training accuracy information. You can set it to the next step and let the user perform the training. Here, the apparatus 100 for training and examining cognitive function through an input sensed by a sensor according to an embodiment of the present invention includes a plurality of training included in the first training category and a plurality of training included in the second training category. Training may be provided, each of a plurality of training corresponding to the first training category may consist of first to fourth steps, and each of the plurality of training corresponding to the second training category may consist of fifth to eighth steps. can be configured.

본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제1 및 제2 훈련 카테고리 각각에 포함된 복수의 훈련 중에서 어느 하나의 훈련에 대해 사용자가 각 단계를 완료할 때마다 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 확인하고, 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인 경우에 단계를 상향시켜 다음 단계의 훈련을 사용자가 수행하도록 할 수 있다.According to an embodiment of the present invention, the apparatus 100 for training and examining cognitive function through an input sensed by a sensor provides a user for any one of a plurality of trainings included in each of the first and second training categories. Each time completion of each step, it is checked whether the training performance accuracy information is equal to or greater than the reference training accuracy information, and if the training performance accuracy information is equal to or greater than the reference training accuracy information, the step is raised so that the user can perform the next step training. .

본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제1 훈련 카테고리에 포함된 복수의 훈련 중 어느 하나의 훈련의 모든 단계를 사용자가 수행한 경우, 제1 훈련 카테고리에 포함된 복수의 훈련 중에서 수행되지 않은 다른 훈련을 사용자가 수행하도록 할 수 있다.According to an embodiment of the present invention, in the apparatus 100 for training and examining cognitive function through an input sensed by a sensor, a user performs all steps of any one of a plurality of trainings included in a first training category. In one case, the user may be allowed to perform other unperformed training among a plurality of training included in the first training category.

또한, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제2 훈련 카테고리에 포함된 복수의 훈련 중 어느 하나의 훈련의 모든 단계를 사용자가 수행한 경우, 제2 훈련 카테고리에 포함된 복수의 훈련 중에서 수행되지 않은 다른 훈련을 사용자가 수행하도록 할 수 있다.In addition, the apparatus 100 for training and examining cognitive function through an input sensed by a sensor according to an embodiment of the present invention allows the user to perform all steps of any one of a plurality of trainings included in the second training category. If has been performed, the user may be allowed to perform other training that has not been performed among a plurality of training included in the second training category.

여기서, 복수의 훈련은 음악기반 다중작업 훈련, 악기연주 훈련, 음악 속 과제 수행 훈련, 가창 훈련, 악기 변별 훈련 및 음악 속 말하기 훈련일 수 있다.Here, the plurality of trainings may be music-based multi-task training, instrument playing training, task performance training in music, singing training, instrument discrimination training, and speaking training in music.

이를 위해, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 출력부(110)는 훈련이 음악기반 다중작업 훈련이면 도 3 내지 도 6에 도시된 바와 같이, 훈련 유도 정보로써 음악 및 음악에 대응되는 악보 정보를 출력하거나 음악 및 손 이미지 정보를 출력할 수 있다.To this end, the output unit 110 of the apparatus 100 for training and examining the cognitive function through the input sensed by the sensor according to an embodiment of the present invention is illustrated in FIGS. 3 to 6 when the training is music-based multi-task training. As shown in , as training guidance information, music and sheet music information corresponding to music may be output, or music and hand image information may be output.

상술된 기능을 수행하기 위해 출력부(110)는 음향 출력 모듈 및 디스플레이모듈을 구비할 수 있다.In order to perform the above functions, the output unit 110 may include a sound output module and a display module.

이후, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 입력부(120)는 훈련이 음악기반 다중작업 훈련이면 도 3 내지 도 6에 도시된 바와 같이, 사용자의 손 및 사용자의 발 중 하나 이상의 수족 움직임 정보를 센싱하거나 사용자의 손의 형상 정보를 센싱하여 훈련 수행 정보로 생성할 수 있다.Thereafter, the input unit 120 of the apparatus 100 for training and examining cognitive functions through inputs sensed by sensors according to an embodiment of the present invention is shown in FIGS. 3 to 6 when the training is music-based multi-task training. As described above, movement information of one or more of the user's hand and the user's foot may be sensed or the shape information of the user's hand may be sensed to generate training performance information.

상술된 기능을 수행하기 위해 입력부(120)는 사용자의 손 및 발의 움직임을 센싱하는 자이로 센서 모듈, 모션 압력 센서 모듈, 사용자의 손 및 발의 형상을 촬영하는 카메라 모듈을 구비할 수 있다.In order to perform the above function, the input unit 120 may include a gyro sensor module that senses movements of the user's hands and feet, a motion pressure sensor module, and a camera module that captures the shapes of the user's hands and feet.

본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 프로세서(130)는 훈련이 음악기반 다중작업 훈련이면 악보 정보 또는 손 이미지 정보와 수족 움직임 정보 또는 훈련 수행 정보 간의 대응 정도에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.According to an embodiment of the present invention, the processor 130 of the apparatus 100 for training and examining cognitive functions through inputs sensed by a sensor may perform musical score information or hand image information and limb movement if the training is music-based multi-task training. Training performance accuracy information may be calculated based on a degree of correspondence between information or training performance information.

도 3을 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제1 단계인 탭핑인 경우, 훈련 유도 정보로써 음악과 함께 악보 정보를 표시하고, 음악의 진행에 따라 사용자가 손가락을 탭핑하도록 유도할 수 있다.Referring further to FIG. 3 , when the training is tapping, which is the first step of music-based multi-task training, the output unit 110 displays sheet music information along with music as training induction information, and the user's fingertips as the music progresses. It can be induced to tap.

이때, 입력부(120)는 사용자가 손가락을 탭핑할 때마다 훈련 수행 정보로써 손가락 움직임 정보를 센싱할 수 있다.In this case, the input unit 120 may sense finger movement information as training performance information whenever a user taps a finger.

프로세서(130)는 손가락 움직임 정보를 통해 탭핑의 시점과 음표의 박자 시점 간에 시간차에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The processor 130 may calculate training performance accuracy information based on the time difference between the time of tapping and the beat of the note through the finger motion information.

또한, 프로세서(130)는 실시간으로 음표의 박자 시점에 대응되는 훈련 수행 정확도 정보를 색상 정보 또는 숫자 정보로 표시하도록 출력부(110)를 제어할 수 있다.In addition, the processor 130 may control the output unit 110 to display training performance accuracy information corresponding to the time point of a beat of a musical note as color information or numerical information in real time.

프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the processor 130 may display training performance accuracy information for the entire time the music is output.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제1 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the processor 130 may allow the user to retrain the first stage of music-based multi-task training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the fourth step. can

도 4를 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제2 단계인 박수인 경우, 훈련 유도 정보로써 음악과 함께 악보 정보를 표시하고, 음악의 진행에 따라 사용자가 박수치도록 유도할 수 있다.Referring further to FIG. 4 , when the training is clap, which is the second step of music-based multi-task training, the output unit 110 displays sheet music information along with music as training induction information, and the user adjusts the clap value according to the progress of the music. can be induced.

이때, 입력부(120)는 사용자가 박수를 칠때마다 훈련 수행 정보로써 박수 여부 정보를 센싱할 수 있다.In this case, the input unit 120 may sense whether or not the user claps information as training performance information whenever the user claps.

프로세서(130)는 박수 여부 정보에 기초하여 박수의 시점과 음표의 박자 시점 간에 시간차에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The processor 130 may calculate training performance accuracy information based on the time difference between the timing of the clap and the beat of the musical note based on the clap information.

또한, 프로세서(130)는 실시간으로 음표의 박자 시점에 대응되는 훈련 수행 정확도 정보를 색상 정보 또는 숫자 정보로 표시하도록 출력부(110)를 제어할 수 있다.In addition, the processor 130 may control the output unit 110 to display training performance accuracy information corresponding to the time point of a beat of a musical note as color information or numerical information in real time.

프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the processor 130 may display training performance accuracy information for the entire time the music is output.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제2 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the processor 130 may allow the user to retrain the second step of the music-based multi-task training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the fourth step. can

도 5를 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제3 단계인 박수 및 발구르기인 경우, 훈련 유도 정보로써 음악과 함께 악보 정보를 표시하고, 음악의 진행에 따라 사용자가 박수치거나 발을 구르도록 유도할 수 있다.Referring further to FIG. 5 , when the training is clapping and kicking, which are the third steps of music-based multi-task training, the output unit 110 displays sheet music information along with music as training induction information, and according to the progress of the music The user can be encouraged to clap or stomp.

이때, 입력부(120)는 사용자가 박수를 치거나 발을 구를때마다 훈련 수행 정보로써 박수 여부 정보 또는 발구르기 여부 정보를 센싱할 수 있다.At this time, the input unit 120 may sense whether or not the user claps or stomps as training performance information whenever the user claps or stomps.

프로세서(130)는 박수 여부 정보 또는 발구르기 여부 정보를 통해 박수 또는 발구르기의 시점과 음표의 박자 시점 간에 시간차에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The processor 130 may calculate training execution accuracy information based on the time difference between the timing of the clap or foot stomp and the timing of the beat of the note through the clap information or the foot stomp information.

또한, 프로세서(130)는 실시간으로 음표의 박자 시점에 대응되는 훈련 수행 정확도 정보를 색상 정보 또는 숫자 정보로 표시하도록 출력부(110)를 제어할 수 있다.In addition, the processor 130 may control the output unit 110 to display training performance accuracy information corresponding to the time point of a beat of a musical note as color information or numerical information in real time.

프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the processor 130 may display training performance accuracy information for the entire time the music is output.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제3 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the processor 130 may allow the user to retrain in the third step of the music-based multi-task training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the fourth step. can

도 6을 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제4 단계인 손가락 마주치기인 경우, 훈련 유도 정보로써 음악과 함께 손가락 중 어느 두 손가락이 접한 손 이미지 정보를 접한 손가락을 변경하여 순차적으로 표시하고, 사용자가 손 이미지 정보의 손 형상과 유사하게 손가락을 마주치도록 유도할 수 있다.Referring further to FIG. 6 , when the training is the fourth step of music-based multi-task training, which is finger encountering, the output unit 110 encounters hand image information with which two of the fingers touched together with music as training induction information. The fingers may be changed and displayed sequentially, and the user may be induced to touch his fingers similarly to the hand shape of the hand image information.

이때, 입력부(120)는 손 이미지 정보가 변경될 때 마다 훈련 수행 정보로써 사용자의 손의 형상 정보를 센싱할 수 있다.At this time, the input unit 120 may sense the user's hand shape information as training performance information whenever the hand image information is changed.

프로세서(130)는 출력된 손 이미지 정보와 센싱된 사용자의 손의 형상 정보 간이 형상 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The processor 130 may calculate training performance accuracy information based on a shape difference between the output hand image information and the sensed user's hand shape information.

또한, 프로세서(130)는 손 이미지 정보가 변경될 때 마다 훈련 수행 정확도 정보를 문자 정보로 표시하도록 출력부(110)를 제어할 수 있다.Also, the processor 130 may control the output unit 110 to display training performance accuracy information as text information whenever hand image information is changed.

프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the processor 130 may display training performance accuracy information for the entire time the music is output.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제4 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the processor 130 may allow the user to retrain in the fourth step of the music-based multi-task training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the fourth step. can

본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 출력부(110)는 훈련이 악기연주 훈련이면 훈련 유도 정보로써 음악, 음악에 대응되는 악보 정보 및 악기 이미지 정보를 출력할 수 있다.According to an embodiment of the present invention, the output unit 110 of the apparatus 100 for training and examining cognitive function through an input sensed by a sensor corresponds to music and music as training guidance information when the training is musical instrument playing training. Sheet music information and instrument image information can be output.

또한, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 입력부(120)는 훈련이 악기연주 훈련이면 사용자에 의해 가상으로 연주되는 가상 악기의 악기 움직임 정보를 센싱하여 훈련 수행 정보로 생성할 수 있다.In addition, the input unit 120 of the apparatus 100 for training and examining cognitive function through an input detected by a sensor according to an embodiment of the present invention is a virtual musical instrument that is virtually played by the user when the training is musical instrument playing training. The movement information of the musical instrument can be sensed and generated as training performance information.

이를 위해, 입력부(120)는 모션 센서 모듈과 가속도 센서 모듈이 포함된 가상 악기를 구비하거나 연결될 수 있다.To this end, the input unit 120 may include or be connected to a virtual instrument including a motion sensor module and an acceleration sensor module.

본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 프로세서(130)는 훈련이 악기연주 훈련이면 악보 정보 및 악기 이미지 정보와 악기 움직임 정보 간의 대응 정도에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.According to an embodiment of the present invention, the processor 130 of the apparatus 100 for training and examining a cognitive function through an input sensed by a sensor, if the training is a musical instrument playing training, provides a linkage between sheet music information, musical instrument image information, and musical instrument movement information. Training performance accuracy information may be calculated based on the degree of correspondence.

도 7을 더 참조하면, 출력부(110)는 훈련이 악기연주 훈련인 경우, 훈련 유도 정보로써 사용자로부터 선택된 악기 종류에 대응되는 음악(악기소리)과 함께 악보 정보를 표시하고, 음악의 진행에 따라 사용자가 가상 악기를 연주하도록 유도할 수 있다.Referring further to FIG. 7 , when the training is musical instrument performance training, the output unit 110 displays sheet music information along with music (instrument sound) corresponding to the type of instrument selected by the user as training induction information, and informs the progress of the music. Accordingly, the user may be induced to play the virtual musical instrument.

이때, 출력부(110)는 악기연주 훈련의 단계가 상향됨에 따라 출력되는 음악의 bpm을 빠르게 설정할 수 있다. 예를 들어, 출력부(110)는 악기연주 훈련의 제1 단계에서는 음악의 bpm을 70으로 설정하고, 한단계가 상향될때마다 bpm을 10씩 증가시킬 수 있다.At this time, the output unit 110 can quickly set the bpm of the output music as the musical instrument playing training level increases. For example, the output unit 110 may set the bpm of music to 70 in the first stage of musical instrument playing training, and increase the bpm by 10 whenever one stage is raised.

이때, 입력부(120)는 사용자가 가상 악기를 연주 즉, 악기를 움직일 때마다 훈련 수행 정보로써 악기 움직임 정보를 센싱할 수 있다.In this case, the input unit 120 may sense musical instrument movement information as training performance information whenever the user plays the virtual musical instrument, that is, moves the musical instrument.

프로세서(130)는 악기 움직임 정보를 통해 가상 악기의 움직임 시점과 음표의 박자 시점 간에 시간차에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The processor 130 may calculate training performance accuracy information based on the time difference between the movement time of the virtual musical instrument and the beat time of the musical note through the musical instrument motion information.

또한, 프로세서(130)는 실시간으로 음표의 박자 시점에 대응되는 훈련 수행 정확도 정보를 색상 정보 또는 숫자 정보로 표시하도록 출력부(110)를 제어할 수 있다.In addition, the processor 130 may control the output unit 110 to display training performance accuracy information corresponding to the time point of a beat of a musical note as color information or numerical information in real time.

프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the processor 130 may display training performance accuracy information for the entire time the music is output.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 악기연주 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the processor 130 may allow the user to retrain the current stage of musical instrument performance training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the fourth step. can

본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 출력부(110)는 훈련이 음악 속 과제 수행 훈련이면 훈련 유도 정보로써 음악, 도형 선택 유도 음성 및 보기 도형 이미지를 출력할 수 있다.According to an embodiment of the present invention, the output unit 110 of the apparatus 100 for training and examining cognitive functions through input sensed by a sensor selects music and a figure as training guidance information when the training is task performance training in music. Guidance voice and viewing figure images can be output.

또한, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 입력부(120)는 훈련이 음악 속 과제 수행 훈련이면 사용자로부터 도형 선택 정보를 입력받아 훈련 수행 정보를 생성할 수 있다.In addition, the input unit 120 of the apparatus 100 for training and examining the cognitive function through an input detected by a sensor according to an embodiment of the present invention inputs figure selection information from the user when the training is task performance training in music. receive and generate training performance information.

이를 위해, 입력부(120)는 모션 센서 모듈과 가속도 센서 모듈이 포함된 가상 악기를 구비하거나 연결될 수 있다.To this end, the input unit 120 may include or be connected to a virtual instrument including a motion sensor module and an acceleration sensor module.

본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 프로세서(130)는 훈련이 음악 속 과제 수행 훈련이면 도형 선택 유도 음성 및 보기 도형 이미지와 도형 선택 정보 간의 대응 정도에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.According to an embodiment of the present invention, the processor 130 of the apparatus 100 for training and examining the cognitive function through the input sensed by the sensor, if the training is task performance training in music, the figure selection guidance voice and view figure image and Training execution accuracy information may be calculated based on the degree of correspondence between figure selection information.

도 8을 더 참조하면, 출력부(110)는 훈련이 음악 속 과제 수행 훈련인 경우, 훈련 유도 정보로써 음악, 도형 선택 유도 음성 및 보기 도형 이미지를 표시하고, 음악의 진행에 따라 사용자가 도형을 선택하도록 유도할 수 있다.Referring further to FIG. 8 , when the training is task performance training in music, the output unit 110 displays music, figure selection guidance voice, and view figure images as training guidance information, and the user selects a figure as the music progresses. can lead you to choose.

이때, 출력부(110)는 음악 속 과제 수행 훈련의 단계가 상향됨에 따라 출력되는 도형 선택 유도 음성이 나타내는 도형 선택의 정답 난이도를 상향시킬 수 있다. 예를 들어, 출력부(110)는 음악 속 과제 수행 훈련의 제1 단계에서는 1개 도형색상, 제2 단계에서는 3개 도형색상, 제3 단계에서는 1개 도형색상과 1개 도형종류, 제4 단계에서는 3개 도형색상과 3개 도형종류를 각각 선택하도록 도형 선택 유도 음성을 출력할 수 있다.At this time, the output unit 110 may increase the level of difficulty of answering the figure selection indicated by the output figure selection guidance voice as the level of task performance training in the music increases. For example, the output unit 110 outputs one figure color in the first step of task performance training in music, three figure colors in the second step, one figure color and one figure type in the third step, and four figure colors in the third step. In the step, a figure selection guidance voice may be output to select three figure colors and three figure types, respectively.

이때, 입력부(120)는 사용자로부터 도형 선택 정보를 입력받을 수 있다.At this time, the input unit 120 may receive figure selection information from the user.

프로세서(130)는 도형 선택 유도 음성이 나타내는 도형 선택의 정답과 도형 선택 정보 간의 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The processor 130 may calculate training execution accuracy information based on a difference between the figure selection information and the correct answer for figure selection indicated by the figure selection guidance voice.

프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the processor 130 may display training performance accuracy information for the entire time the music is output.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악 속 과제 수행 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the processor 130 may cause the user to retrain the current stage of task performance training in music.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the fourth step. can

도 9를 더 참조하면, 출력부(110)는 훈련이 가창 훈련인 경우, 훈련 유도 정보로써 음악(노래의 반주), 가사 정보 및 음정 정보를 표시하고, 음악의 진행에 따라 사용자가 가창하도록 유도할 수 있다.9, when the training is singing training, the output unit 110 displays music (accompaniment of a song), lyric information, and pitch information as training induction information, and induces the user to sing according to the progress of the music can do.

이때, 출력부(110)는 가창 훈련의 단계가 상향됨에 따라 가창 난이도가 상향되도록 출력되는 음악의 종류를 변경할 수 있다. 예를 들어, 출력부(110)는 가창 훈련의 제1 단계에서는 장조의 동요, 제2 단계에서는 단조의 동요, 제3 단계에서는 장조의 성인가요, 제4 단계에서는 단조의 성인가요를 각각 가창하도록 음악을 출력할 수 있다.At this time, the output unit 110 may change the type of music output so that the difficulty of singing increases as the level of singing training increases. For example, the output unit 110 sings a song in a major key in the first step of singing training, a song in a minor key in the second step, an adult in a major key in the third step, and an adult in a minor key in the fourth step. Music can be output.

이때, 입력부(120)는 사용자로부터 가창되는 노래의 음향 정보를 입력받을 수 있다.At this time, the input unit 120 may receive sound information of the song being sung from the user.

이를 위해, 입력부(120)는 음성 인식 모듈을 구비할 수 있다.To this end, the input unit 120 may include a voice recognition module.

프로세서(130)는 노래의 음정 정보와 사용자로부터 가창되는 노래의 음정 정보 간의 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The processor 130 may calculate training performance accuracy information based on a difference between pitch information of a song and pitch information of a song sung by a user.

프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the processor 130 may display training performance accuracy information for the entire time the music is output.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 가창 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.The processor 130 may cause the user to retrain the current stage of singing training if the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%).

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the fourth step. can

도 10을 더 참조하면, 출력부(110)는 훈련이 악기변별 훈련인 경우, 훈련 유도 정보로써 악기 소리를 출력하고, 악기 이미지 정보를 표시하며, 사용자가 악기 소리에 따라 악기 종류를 선택하도록 유도할 수 있다.Referring further to FIG. 10 , when the training is instrument discrimination training, the output unit 110 outputs a musical instrument sound as training induction information, displays musical instrument image information, and induces the user to select a musical instrument type according to the musical instrument sound. can do.

이때, 출력부(110)는 악기변별 훈련의 단계가 상향됨에 따라 악기 선택 난이도가 상향되도록 출력되는 악기 소리의 종류와 개수를 변경할 수 있다. 예를 들어, 출력부(110)는 악기변별 훈련의 제1 단계에서는 1개의 악기 소리, 제2 단계에서는 서로 다른 악기류의 2개의 악기 소리, 제3 단계에서는 서로 다른 악기류의 3개의 악기 소리, 제4 단계에서는 같은 악기류이지만 서로 다른 2개의 악기 소리를 출력할 수 있다.In this case, the output unit 110 may change the type and number of output musical instrument sounds so that the level of difficulty in selecting the musical instrument increases as the instrument discrimination training level increases. For example, the output unit 110 outputs one instrument sound in the first stage of instrument discrimination training, two musical instrument sounds of different musical instruments in the second stage, and three musical instrument sounds of different musical instruments in the third stage. In step 4, it is possible to output the sound of two different instruments of the same instrument.

여기서, 악기류는 악기의 분류일 수 있으며 예를 들어, 관악기, 타악기, 현악기를 포함할 수 있다. 한편, 세부 악기류는 하나의 악기류에서 악기의 종류를 세분화한 분류로써, 예를 들어, 악기류 관악기는 세부 악기류로 목관악기 및 금관악기를 포함할 수 있다.Here, musical instruments may be a classification of musical instruments and may include, for example, wind instruments, percussion instruments, and string instruments. On the other hand, detailed musical instruments are classifications in which types of musical instruments are subdivided in one musical instrument category. For example, musical instrument wind instruments may include woodwind instruments and brass instruments as detailed musical instruments.

이때, 입력부(120)는 사용자로부터 악기 선택 정보를 입력받을 수 있다.At this time, the input unit 120 may receive musical instrument selection information from the user.

프로세서(130)는 출력된 악기 소리와 사용자로부터 입력된 악기 선택 정보 간의 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The processor 130 may calculate training performance accuracy information based on a difference between the output instrument sound and the instrument selection information input from the user.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 악기변별 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the processor 130 may allow the user to retrain the current stage of instrument discrimination training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the fourth step. can

도 11을 더 참조하면, 출력부(110)는 훈련이 음악 속 따라 말하기 훈련인 경우, 훈련 유도 정보로써 음악, 사용자가 따라서 말할 아나운서 음성과 아나운서 음성을 나타내는 음성 문자 정보를 출력하고, 사용자가 아나운서 음성을 따라서 말하도록 유도할 수 있다.Referring further to FIG. 11 , when the training is speaking along with music, the output unit 110 outputs music as training guidance information, an announcer voice that the user will follow along with, and voice text information representing the announcer voice, and allows the user to speak along with the announcer. It can be induced to speak according to the voice.

이때, 출력부(110)는 음악 속 따라 말하기 훈련의 단계가 상향됨에 따라 말하기의 난이도가 상향되도록 출력되는 음악의 크기 대비 아나운서 음성의 크기의 비율(SNR)을 감소시킬 수 있다. 예를 들어, 출력부(110)는 음악 속 따라 말하기 훈련의 제1 단계에서는 23dB SNR, 제2 단계에서는 20dB SNR, 제3 단계에서는 16dB SNR, 제4 단계에서는 13dB SNR이 되도록 음악과 아나운서 음성을 출력할 수 있다.At this time, the output unit 110 may reduce the ratio (SNR) of the loudness of the announcer's voice to the loudness of the output music so that the level of speaking difficulty increases as the level of speech-in-the-music training increases. For example, the output unit 110 outputs music and an announcer's voice so that 23dB SNR is 23dB SNR in the first stage, 20dB SNR in the second stage, 16dB SNR in the third stage, and 13dB SNR in the fourth stage of the speaking along in music training. can be printed out.

이때, 입력부(120)는 사용자로부터 사용자 음성를 입력받을 수 있다.At this time, the input unit 120 may receive a user voice from the user.

프로세서(130)는 출력된 아나운서 음성과 사용자 음성 간의 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The processor 130 may calculate training performance accuracy information based on a difference between the output announcer voice and the user voice.

프로세서(130)는 음악의 출력 동안 또는 미리 정해진 아나운서 음성 출력 회수(10회) 동안에 대한 훈련 수행 정확도 정보를 표시할 수 있다.The processor 130 may display training performance accuracy information for a predetermined number of announcer voice outputs (10 times) or during music output.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악 속 따라 말하기 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the processor 130 may allow the user to retrain the current stage of speech-in-music training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the fourth step. can

이를 통해, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제1 훈련 카테고리에 포함된 음악기반 다중작업 훈련, 악기연주 훈련, 음악 속 과제 수행 훈련, 가창 훈련, 악기변별 훈련 및 음악속 따라 말하기 훈련 각각의 제1 내지 제4 단계를 사용자가 수행하도록 할 수 있다.Through this, the apparatus 100 for training and examining the cognitive function through the input sensed by the sensor according to an embodiment of the present invention includes music-based multi-task training, instrument playing training, and music in the first training category. The first to fourth steps of each of task performance training, singing training, musical instrument discrimination training, and speaking along with the music can be performed by the user.

한편, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제1 훈련 카테고리에 포함된 복수의 훈련 각각의 단계 중에서 복수의 훈련 별로 2개의 단계씩을 사용자의 인지 기능 및 청각 기능 중 하나 이상을 확인하기 위한 검사로써 사용자가 수행하도록 할 수 있다.On the other hand, the apparatus 100 for training and examining the cognitive function through an input sensed by a sensor according to an embodiment of the present invention provides two types of training for each of a plurality of training steps included in the first training category. Each step may be performed by the user as a test to check one or more of the user's cognitive function and auditory function.

이후, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 사용자의 검사 수행에 따른 검사 수행 정확도 정보의 평균 정확도 정보를 산출하고, 평균 정확도 정보가 기준 검사 정확도 정보 이상이면 제2 훈련 카테고리에 포함된 훈련을 사용자가 수행하도록 할 수 있다.Thereafter, the apparatus 100 for training and testing the cognitive function through the input sensed by the sensor according to an embodiment of the present invention calculates average accuracy information of test performance accuracy information according to the user's test performance, and average accuracy If the information is equal to or greater than the reference test accuracy information, the user may be allowed to perform training included in the second training category.

반대로, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 평균 정확도 정보가 기준 검사 정확도 정보 미만이면 해당 훈련을 사용자가 재수행하도록 한다.Conversely, if the average accuracy information is less than the reference test accuracy information, the device 100 for training and testing the cognitive function through an input sensed by a sensor according to an embodiment of the present invention allows the user to re-perform the corresponding training.

본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)가 제2 훈련 카테고리에 포함된 복수의 훈련을 사용자가 수행하도록 하는 과정을 설명하도록 한다.A process in which the apparatus 100 for training and examining cognitive function through an input sensed by a sensor according to an embodiment of the present invention allows a user to perform a plurality of exercises included in the second training category will be described.

도 12를 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제5 단계인 손가락 분리하기인 경우, 훈련 유도 정보로써 음악과 함께 악보 정보를 표시하고, 음악의 진행에 따라 사용자가 엄지와 새끼손가락을 분리하도록 유도할 수 있다.Referring further to FIG. 12, when the training is finger separation, which is the fifth step of music-based multi-task training, the output unit 110 displays sheet music information along with music as training induction information, and according to the progress of the music, the user can be induced to separate the thumb and little finger.

이때, 입력부(120)는 사용자가 엄지와 새끼손가락을 분리할 때마다 훈련 수행 정보로써 손가락 분리 정보를 센싱할 수 있다.In this case, the input unit 120 may sense finger separation information as training performance information whenever the user separates the thumb and little finger.

프로세서(130)는 손가락 분리 정보를 통해 분리의 시점과 음표의 박자 시점 간에 시간차에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The processor 130 may calculate training performance accuracy information based on the time difference between the time of separation and the beat of the note through the finger separation information.

또한, 프로세서(130)는 실시간으로 음표의 박자 시점에 대응되는 훈련 수행 정확도 정보를 색상 정보 또는 숫자 정보로 표시하도록 출력부(110)를 제어할 수 있다.In addition, the processor 130 may control the output unit 110 to display training performance accuracy information corresponding to the time point of a beat of a musical note as color information or numerical information in real time.

프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the processor 130 may display training performance accuracy information for the entire time the music is output.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제5 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the processor 130 may allow the user to retrain the fifth step of the music-based multi-task training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제8 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the eighth step. can

도 13를 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제6 단계인 가위바위보인 경우, 훈련 유도 정보로써 상대방 손 이미지 정보와 함께 승패 정보를 표시하고, 음악의 진행에 따라 사용자가 상대방 손 이미지 정보 및 승패 정보에 맞춰 가위바위보를 하도록 유도할 수 있다.Referring further to FIG. 13 , when the training is rock-paper-scissors, which is the sixth step of music-based multi-task training, the output unit 110 displays win-loss information along with opponent's hand image information as training induction information, Accordingly, the user may be induced to play rock-paper-scissors according to the opponent's hand image information and win/loss information.

이때, 입력부(120)는 상대방 손 이미지가 출력될 때마다 사용자의 훈련 수행 정보로써 사용자의 손의 형상 정보를 센싱할 수 있다.At this time, the input unit 120 may sense the user's hand shape information as the user's training performance information whenever an image of the opponent's hand is output.

프로세서(130)는 출력된 상대방 손 이미지 정보와 센싱된 사용자의 손의 형상 정보에 기초하여 가위바위보 승패를 판단하고 표시된 승패 정보와 판단된 승패 간의 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The processor 130 may determine the win or loss of rock paper scissors based on the output image information of the opponent's hand and the sensed shape information of the user's hand, and calculate training performance accuracy information based on the difference between the displayed win or loss information and the determined win or loss. there is.

또한, 프로세서(130)는 손 이미지 정보가 변경될 때 마다 훈련 수행 정확도 정보를 문자 정보로 표시하도록 출력부(110)를 제어할 수 있다.Also, the processor 130 may control the output unit 110 to display training performance accuracy information as text information whenever hand image information is changed.

프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the processor 130 may display training performance accuracy information for the entire time the music is output.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제6 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the processor 130 may allow the user to retrain the sixth step of the music-based multi-task training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제8 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the eighth step. can

도 14를 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제7 단계인 도형 그리기인 경우, 훈련 유도 정보로써 음악과 함께 도형 그리기 유도선 정보를 표시하고, 음악의 진행에 따라 사용자가 도형을 그리도록 유도할 수 있다.14, when the training is figure drawing, which is the seventh step of music-based multi-task training, the output unit 110 displays figure drawing guide line information along with music as training guidance information, Accordingly, the user can be induced to draw a figure.

이때, 입력부(120)는 도형 그리기 유도선 정보를 출력할 때마다 사용자의 손의 형상 정보 및 위치 정보를 센싱할 수 있다.In this case, the input unit 120 may sense shape information and position information of the user's hand whenever drawing guide line information is output.

프로세서(130)는 도형 그리기 유도선 정보가 나타내는 도형 그리기 유도선과 사용자 손의 위치 간의 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The processor 130 may calculate training performance accuracy information based on a difference between a figure drawing guide line indicated by the figure drawing guide line information and a position of the user's hand.

또한, 프로세서(130)는 도형 그리기 유도선 정보가 변경될 때 마다 수행 정확도 정보를 색상 정보 또는 문자 정보로 표시하도록 출력부(110)를 제어할 수 있다.Also, the processor 130 may control the output unit 110 to display performance accuracy information as color information or text information whenever figure drawing guide line information is changed.

프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the processor 130 may display training performance accuracy information for the entire time the music is output.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제7 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the processor 130 may allow the user to retrain in the seventh step of the music-based multi-task training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 8단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, if the training performance accuracy information is equal to or greater than the reference training accuracy information, the processor 130 allows the user to perform the next training step, but if the most recently performed training step is 8 steps, the user can perform other training. there is.

도 15를 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제8 단계인 복잡한 손동작 따라하기인 경우, 훈련 유도 정보로써 음악과 함께 손동작 이미지 정보를 표시하고, 음악의 진행에 따라 사용자가 손동작 이미지와 유사하고 손동작을 취하도록 유도할 수 있다.15, the output unit 110 displays hand motion image information along with music as training induction information when the training is following complex hand motions, which is the eighth step of music-based multi-task training. Accordingly, the user can be induced to make a hand gesture similar to the hand gesture image.

이때, 입력부(120)는 손동작 이미지 정보를 출력할 때마다 사용자의 손의 형상 정보를 센싱할 수 있다.In this case, the input unit 120 may sense the shape information of the user's hand whenever hand motion image information is output.

프로세서(130)는 손동작 이미지 정보가 나타내는 손동작과 센싱된 형상 정보가 나타내는 손동작 간의 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The processor 130 may calculate training performance accuracy information based on a difference between a hand gesture represented by the hand gesture image information and a hand gesture represented by the sensed shape information.

또한, 프로세서(130)는 손동작 이미지 정보가 변경될 때 마다 수행 정확도 정보를 색상 정보 또는 문자 정보로 표시하도록 출력부(110)를 제어할 수 있다.Also, the processor 130 may control the output unit 110 to display performance accuracy information as color information or text information whenever hand motion image information is changed.

프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the processor 130 may display training performance accuracy information for the entire time the music is output.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제8 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the processor 130 may allow the user to retrain the eighth step of the music-based multi-task training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 8단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, if the training performance accuracy information is equal to or greater than the reference training accuracy information, the processor 130 allows the user to perform the next training step, but if the most recently performed training step is 8 steps, the user can perform other training. there is.

본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 악기연주 훈련의 제5 내지 제8 단계를 사용자가 수행하도록 할 수 있다.According to an embodiment of the present invention, the apparatus 100 for training and examining a cognitive function through an input sensed by a sensor allows a user to perform the fifth to eighth steps of musical instrument playing training.

이때, 출력부(110)는 악기연주 훈련의 단계가 상향됨에 따라 출력되는 음악의 bpm을 빠르게 설정할 수 있다. 예를 들어, 출력부(110)는 악기연주 훈련의 제5 단계에서는 음악의 bpm을 80으로 설정하고, 한단계가 상향될때마다 bpm을 10씩 증가시킬 수 있다.At this time, the output unit 110 can quickly set the bpm of the output music as the musical instrument playing training level increases. For example, the output unit 110 may set the bpm of music to 80 in the fifth stage of musical instrument playing training, and increase the bpm by 10 whenever one stage is raised.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 악기연주 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the processor 130 may allow the user to retrain the current stage of musical instrument performance training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제8 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the eighth step. can

본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 음악 속 과제 수행 훈련의 제5 내지 제8 단계를 사용자가 수행하도록 할 수 있다.According to an embodiment of the present invention, the apparatus 100 for training and examining a cognitive function through an input sensed by a sensor allows a user to perform fifth to eighth steps of task performance training in music.

이때, 출력부(110)는 음악 속 과제 수행 훈련의 제5 단계에서는 특정 도형색상과 특정 도형종류를 제외한 5개의 도형색상 및 5개의 도형종류, 제6 단계에서는 특정 도형색상과 특정 도형종류를 제외한 5개의 도형색상 및 5개의 도형종류(3개의 도형색상과 3개의 도형종류를 연속하여 출력), 제7 단계에서는 5개의 카드색상, 5개의 도형종류, 5개의 도형색상, 제8 단계에서는 5개의 카드색상, 5개의 도형종류, 5개의 도형색상(3개의 도형색상과 3개의 도형종류를 연속하여 출력)를 각각 선택하도록 도형 선택 유도 음성을 출력할 수 있다.At this time, the output unit 110 outputs 5 figure colors and 5 figure types excluding specific figure colors and specific figure types in the fifth step of task performance training in music, and excluding specific figure colors and specific figure types in the sixth step. 5 figure colors and 5 figure types (three figure colors and 3 figure types are continuously output), 5 card colors, 5 figure types, 5 figure colors in the 7th step, 5 figure colors in the 8th step A figure selection guide voice can be output to select card color, 5 figure types, and 5 figure colors (three figure colors and three figure types are continuously output).

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 악기연주 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the processor 130 may allow the user to retrain the current stage of musical instrument performance training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제8 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the eighth step. can

본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 가창 훈련의 제5 내지 제8 단계를 사용자가 수행하도록 할 수 있다.According to an embodiment of the present invention, the apparatus 100 for training and examining cognitive function through an input sensed by a sensor allows the user to perform the fifth to eighth steps of singing training.

이때, 출력부(110)는 가창 훈련의 단계가 상향됨에 따라 가창 난이도가 상향되도록 출력되는 음악의 종류를 변경할 수 있다. 예를 들어, 출력부(110)는 가창 훈련의 제5 단계에서는 장조의 연도별 인기가요, 제6 단계에서는 단조의 연도별 인기가요, 제7 단계에서는 장조와 단조의 최신가요, 제8 단계에서는 장조, 단조 및 전조의 최신가요를 각각 가창하도록 음악을 출력할 수 있다.At this time, the output unit 110 may change the type of music output so that the difficulty of singing increases as the level of singing training increases. For example, the output unit 110 is a popular song by year in a major key in the fifth step of singing training, a popular song by year in a minor key in the sixth step, the latest songs in a major key and a minor key in the seventh step, and in the eighth step Music can be output to sing the latest songs in major, minor, and key keys, respectively.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 악기연주 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the processor 130 may allow the user to retrain the current stage of musical instrument performance training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제8 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the eighth step. can

본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 악기변별 훈련의 제5 내지 제8 단계를 사용자가 수행하도록 할 수 있다.According to an embodiment of the present invention, the apparatus 100 for training and examining a cognitive function through an input sensed by a sensor allows a user to perform fifth to eighth steps of instrument discrimination training.

이때, 출력부(110)는 악기변별 훈련의 단계가 상향됨에 따라 악기 선택 난이도가 상향되도록 출력되는 악기 소리의 종류와 개수를 변경할 수 있다. 예를 들어, 출력부(110)는 악기변별 훈련의 제5 단계에서는 서로 다른 악기류의 3개의 악기 소리, 제6 단계에서는 동일한 세부 악기류의 2개의 악기 소리, 제7 단계에서는 동일한 세부 악기류의 3개의 악기 소리, 제8 단계에서는 서로 다른 악기류의 4개의 악기 소리를 출력할 수 있다.In this case, the output unit 110 may change the type and number of output musical instrument sounds so that the level of difficulty in selecting the musical instrument increases as the instrument discrimination training level increases. For example, the output unit 110 outputs three musical instrument sounds of different musical instruments in the fifth step of the instrument discrimination training, two instrument sounds of the same detailed musical instrument in the sixth step, and three identical detailed musical instruments in the seventh step. Musical instrument sounds, in the eighth step, four musical instrument sounds of different musical instruments can be output.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 악기연주 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the processor 130 may allow the user to retrain the current stage of musical instrument performance training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제8 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the eighth step. can

본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 음악 속 따라 말하기 훈련의 제5 내지 제8 단계를 사용자가 수행하도록 할 수 있다.According to an embodiment of the present invention, the apparatus 100 for training and examining a cognitive function through an input sensed by a sensor allows a user to perform the fifth to eighth steps of speech-in-music training.

이때, 출력부(110)는 음악 속 따라 말하기 훈련의 단계가 상향됨에 따라 말하기의 난이도가 상향되도록 출력되는 음악의 크기 대비 아나운서 음성의 크기의 비율(SNR)을 감소시킬 수 있다. 예를 들어, 출력부(110)는 음악 속 따라 말하기 훈련의 제5 단계에서는 10dB SNR, 제6 단계에서는 6dB SNR, 제7 단계에서는 3dB SNR, 제8 단계에서는 0dB SNR이 되도록 음악과 아나운서 음성을 출력할 수 있다.At this time, the output unit 110 may reduce the ratio (SNR) of the loudness of the announcer's voice to the loudness of the output music so that the level of speaking difficulty increases as the level of speech-in-the-music training increases. For example, the output unit 110 outputs music and an announcer's voice so that 10dB SNR is 10dB SNR in the 5th step, 6dB SNR is 6dB SNR in the 6th step, 3dB SNR is 3dB SNR in the 7th step, and 0dB SNR is 0dB SNR in the 8th step. can be printed out.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 악기연주 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the processor 130 may allow the user to retrain the current stage of musical instrument performance training.

한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제8 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the processor 130 allows the user to perform the next training step when the training performance accuracy information is equal to or greater than the reference training accuracy information, but allows the user to perform other training when the latest training step is the eighth step. can

이를 통해, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제2 훈련 카테고리에 포함된 음악기반 다중작업 훈련, 악기연주 훈련, 음악 속 과제 수행 훈련, 가창 훈련, 악기변별 훈련 및 음악속 따라 말하기 훈련 각각의 제5 내지 제8 단계를 사용자가 수행하도록 할 수 있다.Through this, the apparatus 100 for training and examining the cognitive function through the input sensed by the sensor according to an embodiment of the present invention includes music-based multi-task training, instrument playing training, and music in the second training category. The user may perform the fifth to eighth steps of task performance training, singing training, musical instrument discrimination training, and speaking along with the music.

한편, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제2 훈련 카테고리에 포함된 복수의 훈련 각각의 단계 중에서 복수의 훈련 별로 2개의 단계씩을 사용자의 인지 기능 및 청각 기능 중 하나 이상을 확인하기 위한 검사로써 사용자가 수행하도록 할 수 있다.On the other hand, the apparatus 100 for training and examining the cognitive function through an input sensed by a sensor according to an embodiment of the present invention provides two types of training for each of a plurality of training stages included in the second training category. Each step may be performed by the user as a test to check one or more of the user's cognitive function and auditory function.

이후, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 사용자의 검사 수행에 따른 검사 수행 정확도 정보의 평균 정확도 정보를 산출하고, 평균 정확도 정보가 기준 검사 정확도 정보 이상이면 훈련 및 검사를 종료한다.Thereafter, the apparatus 100 for training and testing the cognitive function through the input sensed by the sensor according to an embodiment of the present invention calculates average accuracy information of test performance accuracy information according to the user's test performance, and average accuracy If the information is equal to or greater than the reference test accuracy information, training and testing are terminated.

반대로, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 평균 정확도 정보가 기준 검사 정확도 정보 미만이면 해당 훈련을 사용자가 재수행하도록 한다.Conversely, if the average accuracy information is less than the reference test accuracy information, the device 100 for training and testing the cognitive function through an input sensed by a sensor according to an embodiment of the present invention allows the user to re-perform the corresponding training.

통신부(140)는 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)와 외부기기 간에 데이터를 송수신한다. 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 사용 환경에 따라 통신부(140)는 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)에 존재하지 않을 수 있다.The communication unit 140 transmits and receives data between the device 100 for training and testing cognitive functions and an external device through an input sensed through a sensor. Depending on the usage environment of the device 100 for training and testing cognitive functions through inputs detected through sensors, the communication unit 140 is present in the device 100 for training and testing cognitive functions through inputs detected through sensors. may not

저장부(150)는 통상적인 저장매체로서　청력을　검사하는 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)와 관련된 기술 분야에서 통상의 지식을 가진 자라면, 저장부(150)는 하드디스크드라이브(Hard Disk Drive, HDD), ROM(Read Only Memory), RAM(Random Access Memory), 플래쉬메모리(Flash Memory) 및 메모리카드(Memory Card)를 모두 포함함을 알 수 있다.The storage unit 150 is a typical storage medium, and if you have ordinary knowledge in the technical field related to the device 100 for training and testing cognitive functions through inputs detected through a sensor that tests hearing, the storage unit ( 150) includes a hard disk drive (HDD), a read only memory (ROM), a random access memory (RAM), a flash memory, and a memory card.

한편, 본 발명에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 사용자에게 음악을 출력하고, 사용자의 인지 기능을 개선시키기 위한 훈련을 사용자가 수행하도록 유도하는 훈련 유도 정보를 출력하는 출력부(110); 훈련을 수행하는 사용자로부터 훈련 수행 정보를 센싱 또는 입력받는 입력부(120); 및 훈련 수행 정보에 기초하여 훈련 수행 정확도 정보를 산출하고, 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 여부에 기초하여 훈련의 훈련 단계 정보를 설정하는 프로세서(130);를 포함할 수 있다.On the other hand, the apparatus 100 for training and examining cognitive function through input sensed by a sensor according to the present invention outputs music to the user and induces the user to perform training to improve the user's cognitive function. an output unit 110 outputting induction information; an input unit 120 that senses or receives training performance information from a user performing training; and a processor 130 that calculates training performance accuracy information based on the training performance information and sets training stage information of training based on whether or not the training performance accuracy information is equal to or greater than the reference training accuracy information.

프로세서(130)는 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내는지 여부에 기초하여 복수의 훈련 중 다른 훈련을 사용자가 수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.The processor 130 may control the output unit 110 and the input unit 120 so that the user performs another training among a plurality of training based on whether the training stage information of the training indicates a training change stage.

훈련은 음악기반 다중작업 훈련, 악기연주 훈련 및 음악 속 과제 수행 훈련을 포함할 수 있다.Training may include music-based multitasking training, instrument playing training, and task performance training in music.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이고, 최근 수행된 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내지 않는 경우, 훈련 단계 정보를 상향시켜 설정하고, 상향 설정된 훈련 단계 정보에 대응되는 훈련을 사용자가 수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.When the training performance accuracy information is greater than or equal to the reference training accuracy information and the training stage information of the recently performed training does not indicate a training change stage, the processor 130 sets the training stage information upward and responds to the upwardly set training stage information. The output unit 110 and the input unit 120 may be controlled so that the user performs training.

출력부(110)는 훈련이 음악기반 다중작업 훈련이면 훈련 유도 정보로써 음악 및 음악에 대응되는 악보 정보를 출력하거나 음악 및 손 이미지 정보를 출력할 수 있다.If the training is music-based multi-task training, the output unit 110 may output music and sheet music information corresponding to the music or output music and hand image information as training induction information.

입력부(120)는 훈련이 음악기반 다중작업 훈련이면 사용자의 손 및 사용자의 발 중 하나 이상의 수족 움직임 정보를 센싱하거나 사용자의 손의 형상 정보를 센싱하여 훈련 수행 정보로 생성할 수 있다.If the training is music-based multi-task training, the input unit 120 may sense motion information of one or more limbs of the user's hands and feet or sense information on the shape of the user's hands to generate training performance information.

프로세서(130)는 훈련이 음악기반 다중작업 훈련이면 악보 정보 또는 손 이미지 정보와 수족 움직임 정보 또는 훈련 수행 정보 간의 대응 정도에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.If the training is music-based multi-task training, the processor 130 may calculate training performance accuracy information based on a degree of correspondence between sheet music information or hand image information and limb movement information or training performance information.

출력부(110)는 훈련이 악기연주 훈련이면 훈련 유도 정보로써 음악, 음악에 대응되는 악보 정보 및 악기 이미지 정보를 출력할 수 있다.If the training is musical instrument playing training, the output unit 110 may output music, sheet music information corresponding to the music, and musical instrument image information as training induction information.

입력부(120)는 훈련이 악기연주 훈련이면 사용자에 의해 가상으로 연주되는 가상 악기의 악기 움직임 정보를 센싱하여 훈련 수행 정보로 생성할 수 있다.If the training is musical instrument playing training, the input unit 120 may sense musical instrument motion information of a virtual musical instrument virtually played by the user and generate training performance information.

프로세서(130)는 훈련이 악기연주 훈련이면 악보 정보 및 악기 이미지 정보와 악기 움직임 정보 간의 대응 정도에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.If the training is musical instrument playing training, the processor 130 may calculate training performance accuracy information based on the degree of correspondence between sheet music information, musical instrument image information, and musical instrument motion information.

출력부(110)는 훈련이 음악 속 과제 수행 훈련이면 훈련 유도 정보로써 음악, 도형 선택 유도 음성 및 보기 도형 이미지를 출력할 수 있다.If the training is task performance training in music, the output unit 110 may output music, figure selection guidance voice, and example figure images as training guidance information.

입력부(120)는 훈련이 음악 속 과제 수행 훈련이면 사용자로부터 도형 선택 정보를 입력받아 훈련 수행 정보로 생성할 수 있다.If the training is task performance training in music, the input unit 120 may receive figure selection information from the user and generate it as training performance information.

프로세서(130)는 훈련이 음악 속 과제 수행 훈련이면 도형 선택 유도 음성 및 보기 도형 이미지와 도형 선택 정보 간의 대응 정도에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.If the training is task performance training in music, the processor 130 may calculate training execution accuracy information based on the degree of correspondence between the figure selection guidance voice, the example figure image, and the figure selection information.

프로세서(130)는 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내면 최근 수행된 훈련과 다른 훈련을 사용자가 수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.The processor 130 may control the output unit 110 and the input unit 120 to allow the user to perform training different from the recently performed training when training stage information of training indicates a training change stage.

한편, 본 발명에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 방법은 출력부가 사용자에게 음악을 출력하고, 사용자의 인지 기능을 개선시키기 위한 훈련을 사용자가 수행하도록 유도하는 훈련 유도 정보를 출력하는 단계; 입력부가 훈련을 수행하는 사용자로부터 훈련 수행 정보를 센싱 또는 입력받는 단계; 및 프로세서가 훈련 수행 정보에 기초하여 훈련 수행 정확도 정보를 산출하고, 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 여부에 기초하여 훈련의 훈련 단계 정보를 설정하는 단계;를 포함할 수 있다.On the other hand, in the method for training and examining cognitive functions through inputs sensed by sensors according to the present invention, the output unit outputs music to the user and induces training inducing the user to perform training to improve the user's cognitive function. outputting information; sensing or receiving training performance information from a user performing training by an input unit; and calculating, by a processor, training performance accuracy information based on the training performance information, and setting training stage information of training based on whether or not the training performance accuracy information is greater than or equal to reference training accuracy information.

본 발명에 따른 인지 기능 및 청각 기능 개선을 위한 단계별 훈련 및 검사를 제공하는 방법은 프로세서가 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내는지 여부에 기초하여 복수의 훈련 중 다른 훈련을 사용자가 수행하도록 출력부 및 입력부를 제어하는 단계;를 더 포함할 수 있다.A method for providing step-by-step training and testing for cognitive function and auditory function improvement according to the present invention allows a processor to perform another training among a plurality of training exercises based on whether training step information of training indicates a training change step. Controlling the output unit and the input unit; may further include.

한편, 본 발명의 다른 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 사용자에게 음악을 출력하고, 사용자의 인지 기능 및 청각 기능 중 하나 이상을 개선시키기 위한 훈련을 사용자가 수행하도록 유도하는 훈련 유도 정보를 출력하는 출력부(110); 훈련을 수행하는 사용자로부터 훈련 수행 정보를 센싱 또는 입력받는 입력부(120); 및 훈련 수행 정보에 기초하여 훈련 수행 정확도 정보를 산출하고, 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 여부에 기초하여 훈련의 훈련 단계 정보를 설정하는 프로세서(130);를 포함할 수 있다. Meanwhile, according to another embodiment of the present invention, the apparatus 100 for training and examining a cognitive function through an input sensed by a sensor outputs music to a user and improves one or more of the user's cognitive function and auditory function. an output unit 110 that outputs training induction information for inducing a user to perform training for the purpose; an input unit 120 that senses or receives training performance information from a user performing training; and a processor 130 that calculates training performance accuracy information based on the training performance information and sets training stage information of training based on whether or not the training performance accuracy information is equal to or greater than the reference training accuracy information.

프로세서(130)는 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내는지 여부에 기초하여 복수의 훈련 중 다른 훈련을 사용자가 수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.The processor 130 may control the output unit 110 and the input unit 120 so that the user performs another training among a plurality of training based on whether training stage information of training indicates a training change stage.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이고, 최근 수행된 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내지 않는 경우, 훈련 단계 정보를 상향시켜 설정하고, 상향 설정된 훈련 단계 정보에 대응되는 훈련을 사용자가 수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.When the training performance accuracy information is greater than or equal to the reference training accuracy information and the training stage information of the recently performed training does not indicate a training change stage, the processor 130 sets the training stage information upward and responds to the upwardly set training stage information. The output unit 110 and the input unit 120 may be controlled so that the user performs training.

프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 미만이면 최근 수행된 훈련을 사용자가 재수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.The processor 130 may control the output unit 110 and the input unit 120 so that the user re-performs the recently performed training when the training performance accuracy information is less than the reference training accuracy information.

프로세서(130)는 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내면 최근 수행된 훈련과 다른 훈련을 사용자가 수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.The processor 130 may control the output unit 110 and the input unit 120 to allow the user to perform training different from the recently performed training when training stage information of training indicates a training change stage.

출력부(110)는 사용자의 인지 기능 및 청각 기능 중 하나 이상을 확인하기 위한 검사를 사용자가 수행하도록 유도하는 검사 유도 정보를 출력할 수 있다.The output unit 110 may output test guidance information for inducing the user to perform a test for checking one or more of the user's cognitive function and auditory function.

입력부(120)는 검사 유도 정보에 대응하여 검사를 수행하는 사용자로부터 검사 수행 정보를 센싱 또는 입력받을 수 있다.The input unit 120 may sense or receive test execution information from a user performing an examination corresponding to the examination guidance information.

프로세서(130)는 검사 수행 정보에 기초하여 검사 수행 정확도 정보 및 검사 수행 정확도 정보의 평균 정확도 정보를 산출하고, 평균 정확도 정보가 기준 검사 정확도 정보 이상인지 여부에 기초하여 훈련의 재수행 여부를 판단할 수 있다.The processor 130 calculates test performance accuracy information and average accuracy information of the test performance accuracy information based on the test performance information, and determines whether to re-execute the training based on whether the average accuracy information is equal to or greater than the reference test accuracy information. can

프로세서(130)는 평균 정확도 정보가 기준 검사 정확도 정보 미만이면 평균 정확도 정보가 산출된 검사와 대응되는 훈련을 사용자가 재수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.If the average accuracy information is less than the reference test accuracy information, the processor 130 may control the output unit 110 and the input unit 120 so that the user re-performs the training corresponding to the test for which the average accuracy information was calculated.

한편, 본 발명의 다른 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 방법은 출력부가 사용자에게 음악을 출력하고, 사용자의 인지 기능 및 청각 기능 중 하나 이상을 개선시키기 위한 훈련을 사용자가 수행하도록 유도하는 훈련 유도 정보를 출력하는 단계; 입력부가 훈련을 수행하는 사용자로부터 훈련 수행 정보를 센싱 또는 입력받는 단계; 및 프로세서가 훈련 수행 정보에 기초하여 훈련 수행 정확도 정보를 산출하고, 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 여부에 기초하여 훈련의 훈련 단계 정보를 설정하는 단계;를 포함할 수 있다.Meanwhile, a method for training and examining a cognitive function through an input sensed by a sensor according to another embodiment of the present invention is for the output unit to output music to the user and to improve one or more of the user's cognitive function and auditory function. outputting training induction information for inducing a user to perform training; sensing or receiving training performance information from a user performing training by an input unit; and calculating, by a processor, training performance accuracy information based on the training performance information, and setting training stage information of training based on whether or not the training performance accuracy information is greater than or equal to reference training accuracy information.

본 발명에 따른 인지 기능 및 청각 기능 개선을 위한 단계별 훈련 및 검사를 제공하는 방법은 프로세서가 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내는지 여부에 기초하여 복수의 훈련 중 다른 훈련을 사용자가 수행하도록 출력부(110) 및 입력부(120)를 제어하는 단계;를 더 포함할 수 있다.A method for providing step-by-step training and testing for cognitive function and auditory function improvement according to the present invention allows a processor to perform another training among a plurality of training exercises based on whether training step information of training indicates a training change step. Controlling the output unit 110 and the input unit 120; may further include.

본 발명의 다른 실시 예에 따른 인지 기능 및 청각 기능 개선을 위한 단계별 훈련 및 검사를 제공하는 방법은 출력부가 사용자의 인지 기능 및 청각 기능 중 하나 이상을 확인하기 위한 검사를 사용자가 수행하도록 유도하는 검사 유도 정보를 출력하는 단계; 입력부가 검사 유도 정보에 대응하여 검사를 수행하는 사용자로부터 검사 수행 정보를 센싱 또는 입력받는 단계; 및 프로세서가 검사 수행 정보에 기초하여 검사 수행 정확도 정보 및 검사 수행 정확도 정보의 평균 정확도 정보를 산출하고, 평균 정확도 정보가 기준 검사 정확도 정보 이상인지 여부에 기초하여 훈련의 재수행 여부를 판단하는 단계;를 더 포함할 수 있다.A method for providing step-by-step training and testing for improving cognitive function and auditory function according to another embodiment of the present invention is a test in which an output unit induces a user to perform a test to check at least one of the user's cognitive function and auditory function. outputting guidance information; sensing or receiving test execution information from a user performing an examination in response to the examination guidance information by an input unit; and calculating, by a processor, test performance accuracy information and average accuracy information of the test performance accuracy information based on the test performance information, and determining whether to re-perform the training based on whether the average accuracy information is greater than or equal to the reference test accuracy information; may further include.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.So far, the present invention has been mainly looked at with respect to preferred embodiments. Those skilled in the art to which the present invention belongs will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from a descriptive point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent scope should be construed as being included in the present invention.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.As described above, although the present invention has been described by the limited embodiments and drawings, the present invention is not limited thereto, and the technical spirit of the present invention and the following by those skilled in the art to which the present invention belongs Of course, various modifications and variations are possible within the scope of equivalents of the claims to be described.

Claims (8)

사용자에게 음악을 출력하고, 상기 사용자의 인지 기능을 개선시키기 위한 훈련을 상기 사용자가 수행하도록 유도하는 훈련 유도 정보를 출력하는 출력부;
상기 훈련을 수행하는 상기 사용자로부터 훈련 수행 정보를 센싱 또는 입력받는 입력부; 및
상기 훈련 수행 정보에 기초하여 훈련 수행 정확도 정보를 산출하고, 상기 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 여부에 기초하여 상기 훈련의 훈련 단계 정보를 설정하는 프로세서;를 포함하고,
상기 프로세서는
상기 훈련의 상기 훈련 단계 정보가 훈련 변경 단계를 나타내는지 여부에 기초하여 복수의 훈련 중 다른 훈련을 상기 사용자가 수행하도록 상기 출력부 및 상기 입력부를 제어하고,
상기 훈련은
음악기반 다중작업 훈련, 악기연주 훈련, 음악 속 과제 수행 훈련, 가창 훈련 및 악기변별 훈련을 포함하고,
상기 출력부는
상기 훈련이 음악기반 다중작업 훈련이면 상기 훈련 유도 정보로써 상기 음악 및 상기 음악에 대응되는 악보 정보를 출력하거나 상기 음악 및 손 이미지 정보를 출력하고,
상기 입력부는
상기 훈련이 음악기반 다중작업 훈련이면 상기 사용자의 손 및 상기 사용자의 발 중 하나 이상의 수족 움직임 정보를 센싱하거나 상기 사용자의 손의 형상 정보를 센싱하여 상기 훈련 수행 정보로 생성하고,
상기 프로세서는
상기 훈련이 음악기반 다중작업 훈련이면 상기 악보 정보 또는 상기 손 이미지 정보와 상기 수족 움직임 정보 또는 상기 훈련 수행 정보 간의 대응 정도에 기초하여 상기 훈련 수행 정확도 정보를 산출하고,
상기 출력부는
상기 훈련이 음악기반 다중작업 훈련의 제1 단계 내지 제8 단계 중에서 제6 단계인 경우, 상기 훈련 유도 정보로써 가위바위보 게임의 상대방 손 이미지 정보와 함께 승패 정보를 출력하여 상기 사용자가 상기 상대방 손 이미지 정보 및 상기 승패 정보에 맞춰 가위바위보 게임을 하도록 유도하고,
상기 입력부는
상기 훈련이 음악기반 다중작업 훈련의 제1 단계 내지 제8 단계 중에서 제6 단계인 경우, 상기 상대방 손 이미지가 출력될 때마다 상기 사용자의 상기 훈련 수행 정보로써 상기 사용자의 손의 형상 정보를 센싱하여 상기 훈련 수행 정보로 생성하고,
상기 프로세서는
상기 훈련이 음악기반 다중작업 훈련의 제1 단계 내지 제8 단계 중에서 제6 단계인 경우, 출력된 상기 상대방 손 이미지 정보와 센싱된 상기 사용자의 상기 손의 형상 정보에 기초하여 가위바위보 게임의 승패를 판단하고, 표시된 상기 승패 정보와 판단된 상기 승패 간의 차이에 기초하여 상기 훈련 수행 정확도 정보를 산출하고,
상기 출력부는
상기 훈련이 가창 훈련인 경우, 상기 훈련 유도 정보로써 음악, 가사 정보 및 음정 정보를 출력하고, 상기 음악의 진행에 따라 상기 사용자가 가창하도록 유도하고,
상기 출력부는
상기 훈련이 상기 가창 훈련인 경우, 상기 가창 훈련의 단계가 상향됨에 따라 가창 난이도가 상향되도록 출력되는 상기 음악의 종류를 변경하되, 상기 가창 훈련의 제1 단계에서는 장조의 동요를, 상기 가창 훈련의 제2 단계에서는 단조의 동요를, 상기 가창 훈련의 제3 단계에서는 장조의 성인가요를, 상기 가창 훈련의 제4 단계에서는 단조의 성인가요를, 상기 가창 훈련의 제5 단계에서는 장조의 연도별 인기가요를, 상기 가창 훈련의 제6 단계에서는 단조의 연도별 인기가요를, 상기 가창 훈련의 제7 단계에서는 장조와 단조의 최신가요를, 상기 가창 훈련의 제8 단계에서는 장조, 단조 및 전보의 최신가요를, 상기 사용자가 가창하도록 상기 음악을 출력하고,
상기 입력부는
상기 훈련이 상기 가창 훈련인 경우, 상기 사용자로부터 가창되는 노래의 음향 정보를 입력받고,
상기 프로세서는
상기 훈련이 상기 가창 훈련인 경우, 출력된 상기 음악의 노래의 음정 정보와 상기 사용자로부터 가창되는 노래의 음정 정보 간의 차이에 기초하여 상기 훈련 수행 정확도 정보를 산출하고,
상기 출력부는
상기 훈련이 악기변별 훈련인 경우, 상기 훈련 유도 정보로써 악기 소리를 출력하고, 악기 이미지 정보를 표시함으로써, 상기 사용자가 상기 악기 소리에 따라 악기 종류를 선택하도록 유도하고,
상기 출력부는
상기 훈련이 상기 악기변별 훈련인 경우, 상기 악기변별 훈련의 단계가 상향됨에 따라 악기 선택 난이도가 상향되도록 출력되는 상기 악기 소리의 종류와 개수를 변경하되, 상기 악기변별 훈련의 제1 단계에서는 1개의 악기 소리를, 상기 악기변별 훈련의 제2 단계에서는 서로 다른 악기류의 2개의 악기 소리를, 상기 악기변별 훈련의 제3 단계에서는 서로 다른 악기 류의 3개의 악기 소리를, 상기 악기변별 훈련의 제4 단계에서는 같은 악기류이지만 서로 다른 2개의 악기 소리를, 상기 악기변별 훈련의 제5 단계에서는 서로 다른 악기류의 3 개의 악기 소리를, 상기 악기변별 훈련의 제6 단계에서는 동일한 세부 악기류의 2개의 악기 소리를, 상기 악기변별 훈련의 제7 단계에서는 세부 악기류의 3개의 악기 소리를, 상기 악기변별 훈련의 제8 단계에서는 서로 다른 악기류의 4개의 악기 소리를, 출력하고,
상기 악기류는
악기의 분류이고,
상기 세부 악기류는
하나의 악기류에 포함된 악기의 종류를 세분화한 분류이고,
상기 입력부는
상기 훈련이 상기 악기변별 훈련인 경우, 상기 사용자로부터 악기 선택 정보를 입력받고,
상기 프로세서는
상기 훈련이 상기 악기변별 훈련인 경우, 출력된 상기 악기 소리와 상기 사용자로부터 입력된 상기 악기 선택 정보 간의 차이에 기초하여 상기 훈련 수행 정확도 정보를 산출하는 것을 특징으로 하는
센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치.
an output unit which outputs music to a user and outputs training induction information for inducing the user to perform training to improve the user's cognitive function;
an input unit that senses or receives training performance information from the user performing the training; and
A processor for calculating training performance accuracy information based on the training performance information and setting training step information of the training based on whether the training performance accuracy information is greater than or equal to reference training accuracy information;
The processor
Controlling the output unit and the input unit so that the user performs another training among a plurality of training based on whether the training stage information of the training indicates a training change stage;
The training
Including music-based multitasking training, instrument playing training, task performance training in music, singing training and instrument discrimination training,
the output section
If the training is music-based multi-task training, outputting the music and score information corresponding to the music or outputting the music and hand image information as the training guidance information;
the input part
If the training is music-based multi-task training, generating the training performance information by sensing motion information of one or more limbs of the user's hand and the user's foot or sensing the shape information of the user's hand;
The processor
If the training is music-based multi-task training, calculating the training performance accuracy information based on the degree of correspondence between the score information or the hand image information and the limb movement information or the training performance information;
the output section
If the training is the 6th step among the 1st to 8th steps of music-based multi-task training, win/loss information is output together with the opponent's hand image information of the rock-paper-scissors game as the training guidance information so that the user can use the opponent's hand. Induce to play the rock-paper-scissors game according to the image information and the win/loss information,
the input part
When the training is the 6th step among the 1st to 8th steps of music-based multi-task training, the user's hand shape information is sensed as the user's training performance information whenever the other party's hand image is output. Created with the training performance information,
The processor
When the training is the 6th step among the 1st to 8th steps of the music-based multi-task training, the outcome of the rock-paper-scissors game is won or lost based on the output image information of the opponent's hand and the sensed shape information of the user's hand. and calculating the training performance accuracy information based on the difference between the displayed win/loss information and the determined win/loss information;
the output section
When the training is singing training, outputting music, lyric information, and pitch information as the training guidance information, and inducing the user to sing according to the progress of the music,
the output section
If the training is the song training, change the type of music output so that the song difficulty level increases as the stage of the song training increases, but in the first stage of the song training, the nursery rhyme in a major key, the song training In the second stage, children's songs in a minor key, in the third stage of the singing training, adult songs in a major key, in the fourth stage of the singing training, adult songs in a minor key, in the fifth stage of the singing training, popularity by year of major keys In the 6th stage of the singing training, popular songs by year in minor keys, in the 7th stage of the singing training, the latest songs in major and minor keys, in the 8th stage of the singing training, the latest songs in major keys, minor keys and telegrams Outputting the music so that the user sings a song,
the input part
When the training is the singing training, receiving sound information of the song being sung from the user,
The processor
When the training is the singing training, calculating the training performance accuracy information based on the difference between the output pitch information of the song of the music and the pitch information of the song sung by the user;
the output section
When the training is instrument discrimination training, the sound of the instrument is output as the training guidance information and image information of the instrument is displayed to induce the user to select a type of instrument according to the sound of the instrument;
the output section
When the training is the instrument discrimination training, the type and number of output musical instrument sounds are changed so that the musical instrument selection difficulty increases as the instrument discrimination training step increases, but in the first stage of the instrument discrimination training, one In the second stage of the instrument discrimination training, two musical instrument sounds of different musical instrument types were used, in the third stage of the instrument discrimination training, three musical instrument sounds of different musical instrument types were used, and in the fourth stage of the musical instrument discrimination training, In step 5, the sounds of two different musical instruments of the same instrument type are used, in the fifth step of the instrument discrimination training, the sounds of three different musical instruments are used, and in the sixth step of the instrument discrimination training, the sounds of two musical instruments of the same sub-instrument are used. In the seventh step of the instrument discrimination training, three musical instrument sounds of detailed musical instruments are output, and in the eighth step of the instrument discrimination training, four musical instrument sounds of different musical instruments are output,
The musical instruments
It is a classification of instruments,
The detailed musical instruments are
It is a subdivided classification of the types of musical instruments included in one musical instrument,
the input part
When the training is the instrument discrimination training, receiving instrument selection information from the user;
The processor
When the training is the instrument discrimination training, calculating the training performance accuracy information based on the difference between the output sound of the instrument and the instrument selection information input from the user
A device that trains and tests cognitive functions through inputs sensed by sensors.
 ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈◈Claim 2 was abandoned when the registration fee was paid.◈ 제1항에 있어서,
상기 프로세서는
상기 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이고, 최근 수행된 훈련의 상기 훈련 단계 정보가 훈련 변경 단계를 나타내지 않는 경우, 상기 훈련 단계 정보를 상향시켜 설정하고, 상향 설정된 상기 훈련 단계 정보에 대응되는 훈련을 상기 사용자가 수행하도록 상기 출력부 및 상기 입력부를 제어하는 것을 특징으로 하는
센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치.
According to claim 1,
The processor
When the training performance accuracy information is equal to or greater than the reference training accuracy information, and the training step information of the recently performed training does not indicate a training change step, the training step information is set upward, and the training step information corresponding to the upwardly set training step information Characterized in that for controlling the output unit and the input unit so that the user performs training
A device that trains and tests cognitive functions through inputs sensed by sensors.
 삭제delete ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈◈Claim 4 was abandoned when the registration fee was paid.◈ 제1항에 있어서,
상기 출력부는
상기 훈련이 악기연주 훈련이면 상기 훈련 유도 정보로써 상기 음악, 상기 음악에 대응되는 악보 정보 및 악기 이미지 정보를 출력하고,
상기 입력부는
상기 훈련이 악기연주 훈련이면 상기 사용자에 의해 가상으로 연주되는 가상 악기의 악기 움직임 정보를 센싱하여 상기 훈련 수행 정보로 생성하고,
상기 프로세서는
상기 훈련이 악기연주 훈련이면 상기 악보 정보 및 상기 악기 이미지 정보와 상기 악기 움직임 정보 간의 대응 정도에 기초하여 상기 훈련 수행 정확도 정보를 산출하는 것을 특징으로 하는
센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치.
According to claim 1,
the output section
If the training is musical instrument performance training, outputting the music, score information and instrument image information corresponding to the music as the training guidance information;
the input part
If the training is musical instrument playing training, sensing musical instrument movement information of a virtual musical instrument virtually played by the user to generate the training performance information;
The processor
If the training is musical instrument playing training, calculating the training performance accuracy information based on the degree of correspondence between the musical score information, the instrument image information, and the musical instrument motion information
A device that trains and tests cognitive functions through inputs sensed by sensors.
 ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈◈Claim 5 was abandoned when the registration fee was paid.◈ 제1항에 있어서,
상기 출력부는
상기 훈련이 음악 속 과제 수행 훈련이면 상기 훈련 유도 정보로써 상기 음악, 도형 선택 유도 음성 및 보기 도형 이미지를 출력하고,
상기 입력부는
상기 훈련이 음악 속 과제 수행 훈련이면 상기 사용자로부터 도형 선택 정보를 입력받아 상기 훈련 수행 정보로 생성하고,
상기 프로세서는
상기 훈련이 음악 속 과제 수행 훈련이면 상기 도형 선택 유도 음성 및 상기 보기 도형 이미지와 상기 도형 선택 정보 간의 대응 정도에 기초하여 상기 훈련 수행 정확도 정보를 산출하는 것을 특징으로 하는
센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치.
According to claim 1,
the output section
If the training is task performance training in music, outputting the music, figure selection guidance voice, and viewing figure images as the training guidance information;
the input part
If the training is task performance training in music, shape selection information is received from the user and generated as the training performance information;
The processor
If the training is task performance training in music, calculating the training performance accuracy information based on the degree of correspondence between the figure selection guidance voice, the example figure image, and the figure selection information
A device that trains and tests cognitive functions through inputs sensed by sensors.
 제1항에 있어서,
상기 프로세서는
상기 훈련의 상기 훈련 단계 정보가 훈련 변경 단계를 나타내면 최근 수행된 훈련과 다른 훈련을 상기 사용자가 수행하도록 상기 출력부 및 상기 입력부를 제어하는 것을 특징으로 하는
센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치.
According to claim 1,
The processor
When the training step information of the training indicates a training change step, controlling the output unit and the input unit so that the user performs training different from the recently performed training.
A device that trains and tests cognitive functions through inputs sensed by sensors.
 출력부가 사용자에게 음악을 출력하고, 상기 사용자의 인지 기능을 개선시키기 위한 훈련을 상기 사용자가 수행하도록 유도하는 훈련 유도 정보를 출력하는 단계;
입력부가 상기 훈련을 수행하는 상기 사용자로부터 훈련 수행 정보를 센싱 또는 입력받는 단계; 및
프로세서가 상기 훈련 수행 정보에 기초하여 훈련 수행 정확도 정보를 산출하는 단계;
상기 프로세서가 상기 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 여부에 기초하여 상기 훈련의 훈련 단계 정보를 설정하는 단계; 및
상기 프로세서가 상기 훈련의 상기 훈련 단계 정보가 훈련 변경 단계를 나타내는지 여부에 기초하여 복수의 훈련 중 다른 훈련을 상기 사용자가 수행하도록 상기 출력부 및 상기 입력부를 제어하는 단계;를 포함하고,
상기 훈련은
음악기반 다중작업 훈련, 악기연주 훈련, 음악 속 과제 수행 훈련, 가창 훈련 및 악기변별 훈련을 포함하고,
상기 훈련 유도 정보를 출력하는 단계는
상기 훈련이 음악기반 다중작업 훈련이면 상기 훈련 유도 정보로써 상기 음악 및 상기 음악에 대응되는 악보 정보를 출력하거나 상기 음악 및 손 이미지 정보를 출력하는 단계;를 포함하고,
상기 훈련 수행 정보를 센싱 또는 입력받는 단계는
상기 훈련이 음악기반 다중작업 훈련이면 상기 사용자의 손 및 상기 사용자의 발 중 하나 이상의 수족 움직임 정보를 센싱하거나 상기 사용자의 손의 형상 정보를 센싱하여 상기 훈련 수행 정보로 생성하는 단계;를 포함하고,
상기 훈련 수행 정확도 정보를 산출하는 단계는
상기 훈련이 음악기반 다중작업 훈련이면 상기 악보 정보 또는 상기 손 이미지 정보와 상기 수족 움직임 정보 또는 상기 훈련 수행 정보 간의 대응 정도에 기초하여 상기 훈련 수행 정확도 정보를 산출하는 단계;를 포함하고,
상기 훈련 유도 정보를 출력하는 단계는
상기 훈련이 음악기반 다중작업 훈련의 제1 단계 내지 제8 단계 중에서 제6 단계인 경우, 상기 출력부가 상기 훈련 유도 정보로써 가위바위보 게임의 상대방 손 이미지 정보와 함께 승패 정보를 출력하여 상기 사용자가 상기 상대방 손 이미지 정보 및 상기 승패 정보에 맞춰 가위바위보 게임을 하도록 유도하는 단계;를 포함하고,
상기 훈련 수행 정보를 센싱 또는 입력받는 단계는
상기 훈련이 음악기반 다중작업 훈련의 제1 단계 내지 제8 단계 중에서 제6 단계인 경우, 상기 입력부가 상기 상대방 손 이미지가 출력될 때마다 상기 사용자의 상기 훈련 수행 정보로써 상기 사용자의 손의 형상 정보를 센싱하여 상기 훈련 수행 정보로 생성하는 단계;를 포함하고,
상기 훈련 수행 정확도 정보를 산출하는 단계는
상기 훈련이 음악기반 다중작업 훈련의 제1 단계 내지 제8 단계 중에서 제6 단계인 경우, 상기 프로세서가 출력된 상기 상대방 손 이미지 정보와 센싱된 상기 사용자의 상기 손의 형상 정보에 기초하여 가위바위보 게임의 승패를 판단하고, 표시된 상기 승패 정보와 판단된 상기 승패 간의 차이에 기초하여 상기 훈련 수행 정확도 정보를 산출하는 단계;를 포함하고,
상기 훈련 유도 정보를 출력하는 단계는
상기 훈련이 가창 훈련인 경우, 상기 출력부가 상기 훈련 유도 정보로써 음악, 가사 정보 및 음정 정보를 출력하고, 상기 음악의 진행에 따라 상기 사용자가 가창하도록 유도하는 단계; 및
상기 훈련이 상기 가창 훈련인 경우, 상기 출력부가 상기 가창 훈련의 단계가 상향됨에 따라 가창 난이도가 상향되도록 출력되는 상기 음악의 종류를 변경하되, 상기 가창 훈련의 제1 단계에서는 장조의 동요를, 상기 가창 훈련의 제2 단계에서는 단조의 동요를, 상기 가창 훈련의 제3 단계에서는 장조의 성인가요를, 상기 가창 훈련의 제4 단계에서는 단조의 성인가요를, 상기 가창 훈련의 제5 단계에서는 장조의 연도별 인기가요를, 상기 가창 훈련의 제6 단계에서는 단조의 연도별 인기가요를, 상기 가창 훈련의 제7 단계에서는 장조와 단조의 최신가요를, 상기 가창 훈련의 제8 단계에서는 장조, 단조 및 전보의 최신가요를, 상기 사용자가 가창하도록 상기 음악을 출력하는 단계;를 더 포함하고,
상기 훈련 수행 정보를 센싱 또는 입력받는 단계는
상기 훈련이 상기 가창 훈련인 경우, 상기 입력부가 상기 사용자로부터 가창되는 노래의 음향 정보를 입력받는 단계;를 더 포함하고,
상기 훈련 수행 정확도 정보를 산출하는 단계는
상기 훈련이 상기 가창 훈련인 경우, 상기 프로세서가 출력된 상기 음악의 노래의 음정 정보와 상기 사용자로부터 가창되는 노래의 음정 정보 간의 차이에 기초하여 상기 훈련 수행 정확도 정보를 산출하는 단계;를 더 포함하고,
상기 훈련 유도 정보를 출력하는 단계는
상기 훈련이 악기변별 훈련인 경우, 상기 출력부가 상기 훈련 유도 정보로써 악기 소리를 출력하고, 악기 이미지 정보를 표시함으로써, 상기 사용자가 상기 악기 소리에 따라 악기 종류를 선택하도록 유도하는 단계; 및
상기 훈련이 상기 악기변별 훈련인 경우, 상기 출력부가 상기 악기변별 훈련의 단계가 상향됨에 따라 악기 선택 난이도가 상향되도록 출력되는 상기 악기 소리의 종류와 개수를 변경하되, 상기 악기변별 훈련의 제1 단계에서는 1개의 악기 소리를, 상기 악기변별 훈련의 제2 단계에서는 서로 다른 악기류의 2개의 악기 소리를, 상기 악기변별 훈련의 제3 단계에서는 서로 다른 악기 류의 3개의 악기 소리를, 상기 악기변별 훈련의 제4 단계에서는 같은 악기류이지만 서로 다른 2개의 악기 소리를, 상기 악기변별 훈련의 제5 단계에서는 서로 다른 악기류의 3 개의 악기 소리를, 상기 악기변별 훈련의 제6 단계에서는 동일한 세부 악기류의 2개의 악기 소리를, 상기 악기변별 훈련의 제7 단계에서는 세부 악기류의 3개의 악기 소리를, 상기 악기변별 훈련의 제8 단계에서는 서로 다른 악기류의 4개의 악기 소리를, 출력하는 단계;를 더 포함하고,
상기 훈련 수행 정보를 센싱 또는 입력받는 단계는
상기 훈련이 상기 악기변별 훈련인 경우, 상기 입력부가 상기 사용자로부터 악기 선택 정보를 입력받는 단계;를 더 포함하고,
상기 훈련 수행 정확도 정보를 산출하는 단계는
상기 훈련이 상기 악기변별 훈련인 경우, 상기 프로세서가 출력된 상기 악기 소리와 상기 사용자로부터 입력된 상기 악기 선택 정보 간의 차이에 기초하여 상기 훈련 수행 정확도 정보를 산출하는 단계;를 더 포함하고,
상기 악기류는
악기의 분류이고,
상기 세부 악기류는
하나의 악기류에 포함된 악기의 종류를 세분화한 분류인 것을 특징으로 하는
센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 방법.
outputting, by an output unit, music to a user and outputting training induction information for inducing the user to perform training for improving the cognitive function of the user;
an input unit sensing or receiving training execution information from the user performing the training; and
Calculating, by a processor, training performance accuracy information based on the training performance information;
setting, by the processor, training step information of the training based on whether the training performance accuracy information is greater than or equal to reference training accuracy information; and
Controlling, by the processor, the output unit and the input unit so that the user performs another training among a plurality of training based on whether the training stage information of the training indicates a training change stage;
The training
Including music-based multitasking training, instrument playing training, task performance training in music, singing training and instrument discrimination training,
The step of outputting the training guidance information is
If the training is music-based multi-task training, outputting the music and sheet music information corresponding to the music or outputting the music and hand image information as the training guidance information,
The step of sensing or receiving the training performance information
If the training is music-based multi-task training, generating the training performance information by sensing motion information of one or more limbs of the user's hand and the user's foot or sensing the shape information of the user's hand,
Calculating the training performance accuracy information
If the training is music-based multi-task training, calculating the training performance accuracy information based on a degree of correspondence between the musical score information or the hand image information and the limb movement information or the training performance information,
The step of outputting the training guidance information is
When the training is the 6th step among the 1st to 8th steps of music-based multi-task training, the output unit outputs win/loss information together with the opponent's hand image information of the rock-paper-scissors game as the training guidance information so that the user can Inducing to play a rock-paper-scissors game according to the opponent's hand image information and the win/loss information,
The step of sensing or receiving the training performance information
When the training is the sixth step among the first to eighth steps of music-based multi-task training, the user's hand shape information is used as the training performance information of the user whenever the input unit outputs the other party's hand image. Including; sensing and generating the training performance information;
Calculating the training performance accuracy information
When the training is the 6th step among the 1st to 8th steps of the music-based multi-task training, the processor performs rock, paper, scissors based on the output image information of the other party's hand and the sensed shape information of the user's hand. Determining the win or loss of the game, and calculating the training performance accuracy information based on the difference between the displayed win or loss information and the determined win or loss;
The step of outputting the training guidance information is
If the training is singing training, the step of outputting music, lyric information, and pitch information as the training guidance information by the output unit, and inducing the user to sing according to the progress of the music; and
If the training is the song training, the output unit changes the type of music output so that the song difficulty level increases as the stage of the song training increases, but in the first stage of the song training, the song in a major key, In the second stage of singing training, children's songs in a minor key, in the third stage of singing training, adult in a major key, in the fourth stage of singing training, in a minor key, in the fifth stage of singing training, in a major key Popular songs by year, popular songs by year in minor keys in the sixth stage of the singing training, latest songs in major and minor keys in the seventh stage of the singing training, and major, minor and minor keys in the eighth stage of the singing training Further comprising: outputting the music so that the user sings the latest song of the telegram;
The step of sensing or receiving the training performance information
When the training is the singing training, the step of receiving the sound information of the song being sung by the input unit from the user; further comprising,
Calculating the training performance accuracy information
If the training is the singing training, calculating the training performance accuracy information based on the difference between the pitch information of the song of the music output by the processor and the pitch information of the song sung by the user; Further comprising ,
The step of outputting the training guidance information is
inducing the user to select a type of musical instrument according to the sound of the musical instrument by outputting a musical instrument sound as the training guidance information and displaying musical instrument image information, when the training is instrument discrimination training; and
When the training is the instrument discrimination training, the output unit changes the type and number of musical instrument sounds output so that the musical instrument selection difficulty increases as the instrument discrimination training step increases, and the first step of the instrument discrimination training In the second step of the instrument discrimination training, two musical instrument sounds of different musical instrument types are used, and in the third step of the instrument discrimination training, three musical instrument sounds of different musical instrument types are used. In the fourth step of the same musical instrument, but two different musical instrument sounds, in the fifth step of the instrument discrimination training, three musical instrument sounds of different musical instruments, and in the sixth step of the instrument discrimination training, two sounds of the same sub-instrument. Outputting musical instrument sounds, three musical instrument sounds of detailed musical instruments in the seventh step of the instrument discrimination training, and outputting four musical instrument sounds of different musical instruments in the eighth step of the instrument discrimination training;
The step of sensing or receiving the training performance information
When the training is the instrument discrimination training, the step of receiving musical instrument selection information from the user by the input unit; further comprising,
Calculating the training performance accuracy information
When the training is the instrument discrimination training, calculating, by the processor, the training performance accuracy information based on a difference between the output sound of the instrument and the instrument selection information input from the user;
The musical instruments
It is a classification of instruments,
The detailed musical instruments are
Characterized in that it is a subdivided classification of the types of instruments included in one musical instrument
A method for training and examining cognitive functions through input sensed by sensors.
 하드웨어인 컴퓨터와 결합되어, 제7항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터 프로그램.A computer program stored in a computer-readable recording medium to be combined with a computer, which is hardware, to perform the method of claim 7.
KR1020210074090A 2021-06-08 2021-06-08 Apparatus for training and testing to improve cognitive auditory function by sensing, method and program of the same KR102545185B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210074090A KR102545185B1 (en) 2021-06-08 2021-06-08 Apparatus for training and testing to improve cognitive auditory function by sensing, method and program of the same
KR1020230075563A KR102634346B1 (en) 2021-06-08 2023-06-13 Apparatus for training and testing to cognitive function that changes training difficulty according to training performance accuracy
KR1020230075564A KR102634347B1 (en) 2021-06-08 2023-06-13 Apparatus for training and testing to cognitive function using user interaction
KR1020230075562A KR102634345B1 (en) 2021-06-08 2023-06-13 Apparatus for training and testing to cognitive function using music-based multi-task training, singing training, and instrument discrimination training

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210074090A KR102545185B1 (en) 2021-06-08 2021-06-08 Apparatus for training and testing to improve cognitive auditory function by sensing, method and program of the same

Related Child Applications (3)

Application Number Title Priority Date Filing Date
KR1020230075562A Division KR102634345B1 (en) 2021-06-08 2023-06-13 Apparatus for training and testing to cognitive function using music-based multi-task training, singing training, and instrument discrimination training
KR1020230075564A Division KR102634347B1 (en) 2021-06-08 2023-06-13 Apparatus for training and testing to cognitive function using user interaction
KR1020230075563A Division KR102634346B1 (en) 2021-06-08 2023-06-13 Apparatus for training and testing to cognitive function that changes training difficulty according to training performance accuracy

Publications (2)

Publication Number Publication Date
KR20220165456A KR20220165456A (en) 2022-12-15
KR102545185B1 true KR102545185B1 (en) 2023-06-20

Family

ID=84439660

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020210074090A KR102545185B1 (en) 2021-06-08 2021-06-08 Apparatus for training and testing to improve cognitive auditory function by sensing, method and program of the same
KR1020230075563A KR102634346B1 (en) 2021-06-08 2023-06-13 Apparatus for training and testing to cognitive function that changes training difficulty according to training performance accuracy
KR1020230075564A KR102634347B1 (en) 2021-06-08 2023-06-13 Apparatus for training and testing to cognitive function using user interaction
KR1020230075562A KR102634345B1 (en) 2021-06-08 2023-06-13 Apparatus for training and testing to cognitive function using music-based multi-task training, singing training, and instrument discrimination training

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020230075563A KR102634346B1 (en) 2021-06-08 2023-06-13 Apparatus for training and testing to cognitive function that changes training difficulty according to training performance accuracy
KR1020230075564A KR102634347B1 (en) 2021-06-08 2023-06-13 Apparatus for training and testing to cognitive function using user interaction
KR1020230075562A KR102634345B1 (en) 2021-06-08 2023-06-13 Apparatus for training and testing to cognitive function using music-based multi-task training, singing training, and instrument discrimination training

Country Status (1)

Country Link
KR (4) KR102545185B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507700B1 (en) * 2015-01-27 2015-04-07 박찬흠 Computer rehabilitation method by hand motion recognition
KR102050917B1 (en) * 2019-06-03 2019-12-02 (주)인스파이어팩토리 System and device for dementia rehabilitation training using virtual reality
KR102123869B1 (en) * 2019-02-12 2020-06-23 장성철 Training device and method for improving cognitive response

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150010430A (en) * 2013-07-19 2015-01-28 (주)가바플러스 Improvement-effect of brain-function system for dementia prevention and method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507700B1 (en) * 2015-01-27 2015-04-07 박찬흠 Computer rehabilitation method by hand motion recognition
KR102123869B1 (en) * 2019-02-12 2020-06-23 장성철 Training device and method for improving cognitive response
KR102050917B1 (en) * 2019-06-03 2019-12-02 (주)인스파이어팩토리 System and device for dementia rehabilitation training using virtual reality

Also Published As

Publication number Publication date
KR102634346B1 (en) 2024-02-06
KR20230088882A (en) 2023-06-20
KR20220165456A (en) 2022-12-15
KR102634345B1 (en) 2024-02-06
KR102634347B1 (en) 2024-02-06
KR20230088667A (en) 2023-06-20
KR20230092849A (en) 2023-06-26

Similar Documents

Publication Publication Date Title
CN105027192B (en) Enhance the device and method of digital music expressive force
CN103514866B (en) A kind of method and device of instrument playing scoring
US7893337B2 (en) System and method for learning music in a computer game
Baba et al. " VirtualPhilharmony": A Conducting System with Heuristics of Conducting an Orchestra.
US20130005470A1 (en) Method of obtaining a user selection
WO2017125006A1 (en) Rhythm controllable method of electronic musical instrument, and improvement of karaoke thereof
JP2007264569A (en) Retrieval device, control method, and program
JP2006259471A (en) Singing practice system and program for singing practice system
JP2013083845A (en) Device, method, and program for processing information
JP3147888B2 (en) Game device and computer-readable recording medium
KR102545185B1 (en) Apparatus for training and testing to improve cognitive auditory function by sensing, method and program of the same
KR102556571B1 (en) Apparatus for training and testing to improve cognitive and auditory function, method and program of the same
JP2007304489A (en) Musical piece practice supporting device, control method, and program
Yeh et al. AutoRhythm: a music game with automatic hit-timing generation and percussion identification
KR101131823B1 (en) Apparatus and method for studying of chinese language
US20230245586A1 (en) Device, system and method for providing a singing teaching and/or vocal training lesson
Soszynski et al. Music games as a tool supporting music education
KR102429108B1 (en) Electronic apparatus for performing auditory training based on singing, method, and computer program
JP5270053B1 (en) SOUND CONTROL DEVICE, SOUND CONTROL METHOD, AND PROGRAM
Lazcano Sonifying Physical Gesture: Sensor Augmented Electric Guitar
Lui A Compact Spectrum-Assisted Human Beatboxing Reinforcement Learning Tool On Smartphone.
KR200420857Y1 (en) An apparatus for correcting a pitch
WO2014020652A1 (en) Sound control device, sound control method and program
Lui A MUSIC TIMBRE SELF-TRAINING TOOL ON MOBILE DEVICE USING VOLUME NORMALIZED SIMPLIFIED SPECTRAL INFORMATION
JP2007334169A (en) Keystroke practice device and computer program for keystroke practice

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant