KR102546207B1 - Method and device for providing ai-based online learning using wearable devices - Google Patents

Method and device for providing ai-based online learning using wearable devices Download PDF

Info

Publication number
KR102546207B1
KR102546207B1 KR1020210127346A KR20210127346A KR102546207B1 KR 102546207 B1 KR102546207 B1 KR 102546207B1 KR 1020210127346 A KR1020210127346 A KR 1020210127346A KR 20210127346 A KR20210127346 A KR 20210127346A KR 102546207 B1 KR102546207 B1 KR 102546207B1
Authority
KR
South Korea
Prior art keywords
learning
user
state
information
customized
Prior art date
Application number
KR1020210127346A
Other languages
Korean (ko)
Other versions
KR20230045681A (en
Inventor
김성태
Original Assignee
주식회사 에이블에듀테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이블에듀테크 filed Critical 주식회사 에이블에듀테크
Priority to KR1020210127346A priority Critical patent/KR102546207B1/en
Publication of KR20230045681A publication Critical patent/KR20230045681A/en
Application granted granted Critical
Publication of KR102546207B1 publication Critical patent/KR102546207B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • G06Q50/2057Career enhancement or continuing education service
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • A61B5/0533Measuring galvanic skin response
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12Healthy persons not otherwise provided for, e.g. subjects of a marketing survey

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Educational Administration (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Psychology (AREA)
  • Dermatology (AREA)
  • Artificial Intelligence (AREA)
  • Developmental Disabilities (AREA)
  • Cardiology (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Social Psychology (AREA)
  • Primary Health Care (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Child & Adolescent Psychology (AREA)

Abstract

웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치 및 방법이 개시된다. 웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치는, 사용자로부터 사용자 정보를 입력받고, 입력받은 상기 사용자 정보를 기반으로 상기 사용자를 등록하는 정보 관리부; PPG 신호와 GSR 신호를 포함하는 생체 정보를 감지하는 생체신호 감지부; 움직임 가속도와 방향을 포함하는 움직임 정보를 감지하는 움직임 감지부; 상기 생체 정보와 상기 움직임 정보를 기초로 상기 사용자의 뇌파 상태를 예측하는 뇌파 예측부; 예측된 상기 뇌파 상태로부터 집중도 및 피로도를 도출하고, 도출된 상기 집중도 및 상기 피로도를 기초로 학습 콘텐츠에 대한 상기 사용자의 학습상태를 판단하는 학습상태 결정부; 및 결정된 상기 학습상태 및 상기 사용자 정보에 따라 맞춤 학습환경 및 맞춤 학습 콘텐츠를 결정하고, 결정된 상기 맞춤 학습환경 및 상기 맞춤 학습 콘텐츠를 상기 사용자에게 제공하는 맞춤환경 및 맞춤콘텐츠 제공부를 포함한다.An AI-based online learning providing device and method using a wearable device are disclosed. An AI-based online learning providing apparatus using a wearable device includes: an information management unit that receives user information from a user and registers the user based on the received user information; a bio-signal detector for sensing bio-information including a PPG signal and a GSR signal; a motion detector for sensing motion information including motion acceleration and direction; an EEG prediction unit that predicts an EEG state of the user based on the biometric information and the motion information; a learning state determining unit for deriving a degree of concentration and fatigue from the predicted brain wave state, and determining a learning state of the user with respect to learning content based on the derived degree of concentration and the degree of fatigue; and a customized environment and customized content providing unit that determines a customized learning environment and customized learning contents according to the determined learning state and the user information, and provides the determined customized learning environment and customized learning contents to the user.

Description

웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치 및 방법{METHOD AND DEVICE FOR PROVIDING AI-BASED ONLINE LEARNING USING WEARABLE DEVICES}Apparatus and method for providing AI-based online learning using wearable devices {METHOD AND DEVICE FOR PROVIDING AI-BASED ONLINE LEARNING USING WEARABLE DEVICES}

본 발명은 웨어러블 기기를 이용하여 AI 기반의 온라인 학습을 제공하는 기술에 관한 것이다.The present invention relates to a technology for providing AI-based online learning using a wearable device.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.Unless otherwise indicated herein, material described in this section is not prior art to the claims in this application, and inclusion in this section is not an admission that it is prior art.

기존의 인공지능을 활용한 온라인 학습 솔루션 및 플랫폼은 학습자의 학습결과를 인공지능 기술을 이용하여 분석하고, 학습자에게 필요한 개인화된 맞춤형 교육과정 및 콘텐츠를 제공하는 서비스로, '문제 풀이 정답 여부', '문제 풀이 시간', '오답 종류', '오답 문항들의 공통점' 등 온라인 학습과정에서 수집할 수 있는 정보만을 활용하여 분석하고 있다.Online learning solutions and platforms using existing artificial intelligence are services that analyze learners' learning results using artificial intelligence technology and provide personalized and customized curriculum and contents necessary for learners. Only the information that can be collected in the online learning process, such as 'problem solving time', 'types of incorrect answers', and 'common points of incorrect answers', is used for analysis.

온라인 학습과정에서 수집할 수 있는 정보뿐만 아니라, 학습자의 생체정보 및 손목 움직임 정보를 활용하여 학습자의 실제 학습역량을 정확하게 예측하는 생체신호 기반 인공지능 온라인 학습 솔루션 서비스의 필요성이 대두되었다.The need for a biosignal-based artificial intelligence online learning solution service that accurately predicts the learner's actual learning ability by using not only the information that can be collected in the online learning process but also the learner's biometric information and wrist movement information has emerged.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치 및 방법을 제공하는 데 있다.An object of the present invention to solve the above problems is to provide an AI-based online learning providing apparatus and method using a wearable device.

상기 목적을 달성하기 위한 본 발명의 일 측면은, 웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치를 제공한다.One aspect of the present invention for achieving the above object provides an AI-based online learning providing device using a wearable device.

웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치는, 사용자로부터 사용자 정보를 입력받고, 입력받은 상기 사용자 정보를 기반으로 상기 사용자를 등록하는 정보 관리부; PPG 신호와 GSR 신호를 포함하는 생체 정보를 감지하는 생체신호 감지부; 움직임 가속도와 방향을 포함하는 움직임 정보를 감지하는 움직임 감지부; 상기 생체 정보와 상기 움직임 정보를 기초로 상기 사용자의 뇌파 상태를 예측하는 뇌파 예측부; 예측된 상기 뇌파 상태로부터 집중도 및 피로도를 도출하고, 도출된 상기 집중도 및 상기 피로도를 기초로 학습 콘텐츠에 대한 상기 사용자의 학습상태를 판단하는 학습상태 결정부; 및 결정된 상기 학습상태 및 상기 사용자 정보에 따라 맞춤 학습환경 및 맞춤 학습 콘텐츠를 결정하고, 결정된 상기 맞춤 학습환경 및 상기 맞춤 학습 콘텐츠를 상기 사용자에게 제공하는 맞춤환경 및 맞춤콘텐츠 제공부를 포함한다.An AI-based online learning providing apparatus using a wearable device includes: an information management unit that receives user information from a user and registers the user based on the received user information; a bio-signal detector for sensing bio-information including a PPG signal and a GSR signal; a motion detector for sensing motion information including motion acceleration and direction; an EEG prediction unit that predicts an EEG state of the user based on the biometric information and the motion information; a learning state determining unit for deriving a degree of concentration and fatigue from the predicted brain wave state, and determining a learning state of the user with respect to learning content based on the derived degree of concentration and the degree of fatigue; and a customized environment and customized content providing unit that determines a customized learning environment and customized learning contents according to the determined learning state and the user information, and provides the determined customized learning environment and customized learning contents to the user.

상기 뇌파 예측부는, 상기 생체 정보와 상기 움직임 정보를 미리 지도학습(supervised learning)된 뇌파 예측 모델에 입력하여 상기 사용자의 뇌파 상태를 예측할 수 있다.The EEG prediction unit may predict the EEG state of the user by inputting the biometric information and the motion information to a pre-supervised EEG prediction model.

상기 뇌파 상태는, 뇌전도 신호(EEG, electroencephalogram)에서 미리 정의된 주파수 대역들 각각에 대한 수치적분 값으로 얻어지는, SMR파, Mid-베타파, 세타파, 알파파 각각에 대한 크기를 포함할 수 있다.The brain wave state may include magnitudes for each of the SMR wave, mid-beta wave, theta wave, and alpha wave, which are obtained as numerical integration values for each of predefined frequency bands in an electroencephalogram (EEG) signal.

상기 뇌파 예측 모델은, 생체 정보 및 움직임 정보를 변환하여 얻어지는 제1 특징 벡터를 입력값으로 하고, 뇌파 상태를 변환하여 얻어지는 제2 특징 벡터를 출력값으로 하는 학습 데이터를 이용하여 미리 지도학습될 수 있다.The brain wave prediction model may be trained in advance using learning data having a first feature vector obtained by converting biometric information and motion information as an input value and a second feature vector obtained by converting the brain wave state as an output value. .

상기 학습상태 결정부는, 상기 집중도 및 피로도에 기초하여 학습 콘텐츠에 대한 사용자의 학습상태를 집중, 산만, 인지스트레스, 몰입의 4가지 학습상태 중 하나의 학습상태로 결정할 수 있다.The learning state determiner may determine the user's learning state for the learning content as one of four learning states of concentration, distraction, cognitive stress, and immersion based on the degree of concentration and fatigue.

본 발명은 학습자의 생체 정보 및 손목 움직임 정보를 통하여 뇌파 상태를 예측하고, 예측된 뇌파 상태에 따라서 학습자의 집중도와 피로도를 산출할 수 있는 효과가 있다.The present invention has the effect of predicting the brain wave state through the learner's biometric information and wrist movement information, and calculating the degree of concentration and fatigue of the learner according to the predicted brain wave state.

또한, 본 발명은 산출된 학습자의 집중도와 피로도에 따라서, 학습자에게 적합한 맞춤 학습환경 및 맞춤 학습콘텐츠를 제공하여, 학습자의 학습 효과성과 효율성을 극대화할 수 있다.In addition, the present invention can maximize the learning effectiveness and efficiency of the learner by providing a customized learning environment and customized learning contents suitable for the learner according to the calculated degree of concentration and fatigue of the learner.

실시예들로부터 얻을 수 있는 효과들은 이상에서 언급된 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 이하의 상세한 설명을 기반으로 당해 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다.Effects obtainable from the embodiments are not limited to the effects mentioned above, and other effects not mentioned are clearly derived and understood by those skilled in the art based on the detailed description below. It can be.

실시예들에 대한 이해를 돕기 위해 상세한 설명의 일부로 포함된, 첨부 도면은 다양한 실시예들을 제공하고, 상세한 설명과 함께 다양한 실시예들의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른 웨어러블 기기를 이용한 AI기반의 온라인 제공 방법 및 장치에 대한 개요도이다.
도 2는 도 1에 따른 웨어러블 기기의 기능적 모듈을 예시적으로 나타낸 블록도이다.
도 3은 일 실시 예에 따른 뇌파 예측 모델을 설명하기 위한 도면이다.
도 4는 도 1에 따른 웨어러블 기기(예: 뇌파 예측 모델)에서 이용하는 인공 신경망의 구조와 동작을 설명하기 위한 개념도이다.
도 5은 본 발명의 일 실시예에 따른 웨어러블 기기의 하드웨어 구성을 예시적으로 나타낸 도면이다.
BRIEF DESCRIPTION OF THE DRAWINGS Included as part of the detailed description to aid understanding of the embodiments, the accompanying drawings provide various embodiments and, together with the detailed description, describe technical features of the various embodiments.
1 is a schematic diagram of an AI-based online providing method and apparatus using a wearable device according to an embodiment of the present invention.
FIG. 2 is a block diagram showing functional modules of the wearable device according to FIG. 1 as an example.
3 is a diagram for explaining an EEG prediction model according to an embodiment.
FIG. 4 is a conceptual diagram for explaining the structure and operation of an artificial neural network used in the wearable device (eg, brain wave prediction model) according to FIG. 1 .
5 is a diagram showing a hardware configuration of a wearable device according to an embodiment of the present invention by way of example.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. Like reference numerals have been used for like elements throughout the description of each figure.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention. The terms and/or include any combination of a plurality of related recited items or any of a plurality of related recited items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요가 존재하지 않는 것으로 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that it does not preclude the possibility of addition or existence of numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 웨어러블 기기를 이용한 AI기반의 온라인 제공 방법 및 장치에 대한 개요도이다.1 is a schematic diagram of an AI-based online providing method and apparatus using a wearable device according to an embodiment of the present invention.

도 1을 참조하면, 웨어러블 기기를 이용한 AI기반의 온라인 제공 장치(이하 '웨어러블 기기', 100)는 사용자의 생체 정보 및 움직임 정보를 감지하고, 감지된 생체 정보 및 움직임 정보를 기초로 하여 사용자에게 맞춤 학습 콘텐츠 및 맞춤 학습환경을 제공할 수 있다.Referring to FIG. 1, an AI-based online providing device using a wearable device (hereinafter, 'wearable device', 100) detects user's biometric information and motion information, and provides information to the user based on the detected biometric information and motion information. Customized learning content and customized learning environment can be provided.

웨어러블 기기(100)는, 인공 신경망(10)을 내부 저장소에 저장하고, 인공 신경망(10)을 구동시킬 수 있으나, 인공 신경망(10)을 구동하는 독립한 서버와 통신함으로써 인공 신경망(10)에 생체 정보와 움직임 정보를 입력하고, 인공 신경망(10)의 출력으로 뇌파 상태에 대한 예측 결과를 수신할 수도 있다.The wearable device 100 can store the artificial neural network 10 in internal storage and drive the artificial neural network 10, but communicates with an independent server that drives the artificial neural network 10, thereby providing information to the artificial neural network 10. Biometric information and motion information may be input, and a prediction result of an brain wave state may be received as an output of the artificial neural network 10 .

또한, 웨어러블 기기(100)는 미리 획득된 생체 정보, 움직임 정보, 뇌파 상태를 포함한 학습 데이터를 이용하여 인공신경망(10)을 미리 지도학습(supervised learning)시킬 수 있다.In addition, the wearable device 100 may perform supervised learning on the artificial neural network 10 in advance by using pre-obtained learning data including biometric information, motion information, and brain wave states.

도 2는 도 1에 따른 웨어러블 기기의 기능적 모듈을 예시적으로 나타낸 블록도이다.FIG. 2 is a block diagram showing functional modules of the wearable device according to FIG. 1 as an example.

도 2를 참조하면, 웨어러블 기기(100)는, 정보 관리부(101), 생체신호 감지부(102), 움직임 감지부(103), 뇌파 예측부(104), 학습상태 결정부(105), 환경 및 콘텐츠 제공부(106)를 포함할 수 있다.Referring to FIG. 2 , the wearable device 100 includes an information management unit 101, a bio-signal detection unit 102, a motion detection unit 103, an EEG prediction unit 104, a learning state determination unit 105, an environment and a content providing unit 106 .

정보 관리부(101)는 사용자로부터 사용자 정보를 입력받고, 입력받은 사용자 정보를 기반으로 상기 사용자를 등록할 수 있다. 이때, 사용자는 웨어러블 기기(100)를 이용하고자 하는 사용자(학습자)이다.The information management unit 101 may receive user information from a user and register the user based on the received user information. At this time, the user is a user (learner) who wants to use the wearable device 100 .

생체신호 감지부(102)는, 사용자의 생체 정보를 감지하는 기능을 수행한다. 예를 들어 생체 정보는, PPG(맥파), GSR(피부 전기 전도도)를 포함한다. The biosignal detector 102 performs a function of detecting user's biometric information. For example, biometric information includes PPG (pulse wave) and GSR (skin electrical conductivity).

또한, 생체신호 감지부(102)는, 사용자의 학습상황에서 생체 정보를 감지할 수 있다. 이때, 생체신호 감지부(102)는, 사용자의 입력 신호(학습을 시작한다는 신호)에 따라서 생체 정보를 감지하기 시작할 수 있고, 사용자의 입력 신호(학습을 종료한다는 신호)에 따라서 생체 정보에 대한 감지를 종료할 수 있다. In addition, the biosignal detector 102 may detect biometric information in a user's learning situation. At this time, the biosignal detector 102 may start to detect biometric information according to the user's input signal (signal to start learning), and to detect biometric information according to the user's input signal (signal to end learning). detection can be terminated.

생체신호 감지부(102)는 PPG(맥파)를 검출하기 위해서 발광부(빛을 발광하는 기능을 수행하는 장치) 및 수광부(예로 포토다이오드 또는 포토센서)를 포함할 수 있으며, 발광부로부터 출사된 광이 체내 혈류들에서 반사된 광을 수광부에서 검출하여 전기적 신호로 변환하며, 이 전기적 신호를 맥파로서 출력할 수 있다. 특히, PPG 신호의 PPI(Peak to Peak Interval)는 스트레스 정도에 따라 변화되는 간격을 나타낼 수 있는데, 스트레스 상태에서는 심장박도수가 증가하므로 PPI는 감소하고, 이완상태에서는 심장박동수가 감소하므로 PPI는 증가한다. 즉, 스트레스자극에 따라 변화하는 PPI를 변화하여 스트레스 정도를 평가할 수 있다.The bio-signal detector 102 may include a light emitting unit (a device that emits light) and a light receiving unit (for example, a photodiode or photosensor) in order to detect a PPG (pulse wave). The light reflected from blood streams in the body is detected by the light receiver and converted into an electrical signal, and the electrical signal can be output as a pulse wave. In particular, the PPI (Peak to Peak Interval) of the PPG signal may indicate an interval that changes according to the degree of stress. In a state of stress, the heart rate increases, so the PPI decreases, and in a state of relaxation, the heart rate decreases, so the PPI increases. . That is, the degree of stress can be evaluated by changing the PPI that changes according to the stress stimulus.

생체신호 감지부(102)는 GSR(피부 전기 전도도)를 검출하기 위해서 피부에 미세전류를 흘리는 전류전극과, 상기 미세전류에 반응된 피부 전압을 검출하는 전압전극을 포함할 수 있으며, 상기 전류전극이 피부에 미세전류를 흘려 상기 전압전극이 미세전류에 반응된 피부 전압을 측정함으로써 피부 전기 전도도를 검출할 수 있다.The biosignal detector 102 may include a current electrode for flowing a microcurrent through the skin to detect GSR (skin electrical conductivity) and a voltage electrode for detecting a skin voltage in response to the microcurrent, wherein the current electrode Skin electrical conductivity can be detected by flowing a microcurrent to the skin and measuring the skin voltage at which the voltage electrode reacts to the microcurrent.

움직임 감지부(103)는 사용자의 움직임 정보를 감지하는 기능을 수행한다. 예를 들어, 움직임 정보는, 웨어러블 기기가 사용자의 손목에 착용될 경우, 손목의 움직임 가속도와 방향을 포함할 수 있다. 움직임 감지부(103)는 사용자의 움직임 정보를 감지하기 위해서 자이로 센서와 가속도 센서를 구비할 수 있다.The motion detection unit 103 performs a function of detecting user motion information. For example, the motion information may include motion acceleration and direction of the wrist when the wearable device is worn on the user's wrist. The motion sensor 103 may include a gyro sensor and an acceleration sensor to detect user motion information.

움직임 감지부(103)는 각속도를 측정하는 자이로 센서를 구비하여, 한 축을 기준으로 단위시간 동안 웨어러블 기기(100)가 회전한 각도의 값을 구할 수 있다. 상기 각속도는 단위시간당 회전하는 각도를 의미하고, 통상적인 방법으로 측정할 수 있다. 또한, 상기 자이로 센서는 온도의 변화에 따라 데이터 값이 상이해질 우려가 있어, 필요에 따라, 온도의 변화를 확인하여 데이터 값을 보정하기 위한 온도 센서를 더욱 구비할 수 있다.The motion sensor 103 may include a gyro sensor that measures an angular velocity, and may obtain a value of an angle rotated by the wearable device 100 for a unit time based on one axis. The angular velocity means an angle that rotates per unit time, and can be measured by a conventional method. In addition, since the gyro sensor may have different data values depending on a change in temperature, a temperature sensor may be further included to check the change in temperature and correct the data value, if necessary.

움직임 감지부(103)는 선형 가속도를 측정하는 가속도 센서를 구비하여, 웨어러블 기기(100)가 3차원에서 움직일 때, x축, y축, z축의 방향의 가속도를 측정할 수 있다.The motion sensor 103 includes an acceleration sensor that measures linear acceleration, and when the wearable device 100 moves in 3D, it can measure acceleration in the x-axis, y-axis, and z-axis directions.

움직임 감지부(103)는 자이로 센서와 가속도 센서로부터 감지한 테이터 값을 분석하여 움직임 가속도와 방향을 포함하는 움직임 정보를 획득할 수 있다.The motion detection unit 103 may obtain motion information including motion acceleration and direction by analyzing data values detected by the gyro sensor and the acceleration sensor.

또한, 움직임 감지부(103)는, 사용자의 학습상황에서 움직임 정보를 감지할 수 있다. 이때, 움직임 감지부(103)는, 사용자의 입력 신호(학습을 시작한다는 신호)에 따라서 움직임 정보를 감지하기 시작할 수 있고, 사용자의 입력 신호(학습을 종료한다는 신호)에 따라서 움직임 정보에 대한 감지를 종료할 수 있다. 이때, 사용자의 입력 신호는, 사용자가 서버가 운영하는 온라인 AI 수학 교육 솔루션 또는 플랫폼에 로그인하는 행위에 대응하여, 상기 서버에서 보내오는 신호일 수 있다.Also, the motion detection unit 103 may detect motion information in a user's learning situation. At this time, the motion detection unit 103 may start sensing motion information according to the user's input signal (signal to start learning), and detect motion information according to the user's input signal (signal to end learning). can be terminated. At this time, the user's input signal may be a signal sent from the server in response to the user's act of logging in to the online AI math education solution or platform operated by the server.

뇌파 예측부(104)는 생체 정보와 움직임 정보를 기초로 사용자의 뇌파 상태를 예측하는 기능을 수행한다.The brain wave prediction unit 104 performs a function of predicting a user's brain wave state based on biometric information and motion information.

뇌파 예측부(104)는 생체신호 감지부(102)로부터 수신된 생체 정보 및 움직임 감지부(103)로부터 수신된 움직임 정보를 이용하여 뇌파 상태를 예측한다. 이때, 뇌파 상태는, 뇌전도 신호(EEG, electroencephalogram)에서 미리 정의된 주파수 대역들 각각에 대한 수치적분 값으로 얻어지는, SMR파, Mid-베타파, 세타파, 알파파 각각에 대한 크기(또는 강도)를 포함한다.The brain wave prediction unit 104 predicts the brain wave state by using the bio information received from the bio signal sensor 102 and the motion information received from the motion sensor 103. At this time, the brain wave state is the magnitude (or intensity) of each of the SMR wave, Mid-beta wave, theta wave, and alpha wave, which is obtained as a numerical integration value for each of the predefined frequency bands in the electroencephalogram (EEG). include

관련하여, SMR파(Sensory Motor Rhythm)는 12~15Hz 주파수 대역을 갖으며, 주의 상태로 외부정보에 대한 집중력이 강화될 때 나타나는 뇌파이다. 또한, Mid 베타파는 16~20Hz 주파수 대역을 갖으며, 각성상태로 과제 수행시에 나타나는 뇌파이다. 즉, Mid 베타파는 계산이나 암산과 같이 한 가지 주제에 집중하면서 비교적 정신부하가 높은 사고활동을 수행할 때 우세해진다. 또한, 세타파는 4~8Hz 주파수 대역을 갖으며, 졸리거나 의식이 흐릿할 때 나타나는 뇌파이다. 또한, 알파파는 8~13Hz 주파수 대역을 갖으며, 시각 영역과 매우 밀접한 관계를 갖으며, 알파파에 대한 크기 증가는 시각 주의 기능 및 인식 저하로 해석할 수 있다.In relation to this, SMR waves (Sensory Motor Rhythm) have a frequency band of 12 to 15 Hz and are brain waves that appear when concentration on external information is strengthened in a state of attention. In addition, Mid beta waves have a frequency band of 16 to 20 Hz and are brain waves that appear when performing tasks in an awake state. In other words, mid beta waves become dominant when performing thinking activities with relatively high mental load while concentrating on one subject, such as calculation or mental arithmetic. In addition, theta waves have a frequency band of 4 to 8 Hz and are brain waves that appear when you are sleepy or unconscious. In addition, alpha waves have a frequency band of 8 to 13 Hz and have a very close relationship with the visual area, and an increase in the size of alpha waves can be interpreted as visual attention function and cognitive decline.

관련하여, 예측된 뇌파 상태에서 각 주파수 성분이 얼마만큼의 비중을 차지하고 있는 지를 정량적으로 파악하기 위해서 파워스펙트럼에 의해 분석될 수 있다. 파워스펙트럼이란, 자기상관함수를 퓨리에변환하는 것으로, 일반적으로 뇌파신호를 단기 퓨리에 변환(STFT)나 웨이블릿 변환(wavelet transform) 등을 행하여. Log 스케일의 파워(단위는 dB)로 나타낸 것을 말한다. In this regard, in order to quantitatively determine how much weight each frequency component occupies in the predicted EEG state, power spectrum analysis may be used. A power spectrum is a Fourier transform of an autocorrelation function, and in general, an EEG signal is subjected to short-term Fourier transform (STFT) or wavelet transform. It refers to the power expressed in log scale (unit: dB).

일 실시예에서, 뇌파 예측부(104)는 미리 지도학습된 뇌파 예측 모델(104b)을 이용하여 뇌파 상태를 예측할 수 있다. 즉, 뇌파 예측부(104)는 생체 정보 및 움직임 정보를 미리 지도학습된 뇌파 예측 모델(104b)에 입력하여 사용자의 뇌파 상태를 예측할 수 있다.In one embodiment, the brain wave prediction unit 104 may predict the state of the brain wave using the pre-trained brain wave prediction model 104b. That is, the brain wave prediction unit 104 may predict the user's brain wave state by inputting biometric information and motion information to the pre-supervised brain wave prediction model 104b.

도 3은 일 실시 예에 따른 뇌파 예측 모델을 설명하기 위한 도면이다.3 is a diagram for explaining an EEG prediction model according to an embodiment.

도 3을 참고하면, 뇌파 예측부(104)는 뇌파 예측 모델 학습부(104a) 및 뇌파 예측 모델(104b)를 포함할 수 있다. 뇌파 예측 모델 학습부(104a) 및 뇌파 에측 모델(104b)는 뇌파 예측부(104)의 기능에 따라 나눠진 구성으로, 뇌파 예측부(104)는 해당 기능을 모두 실시 가능함은 자명하다 하겠다.Referring to FIG. 3 , the EEG prediction unit 104 may include an EEG prediction model learning unit 104a and an EEG prediction model 104b. The EEG prediction model learning unit 104a and the EEG prediction model 104b are configured according to the functions of the EEG prediction unit 104, and it is obvious that the EEG prediction unit 104 can implement all of the corresponding functions.

뇌파 예측 모델 학습부(104a)는 복수의 사용자들이 학습 시에 검출되는, 미리 획득된 생체 정보, 움직임 정보, 및 뇌파 상태를 학습 데이터로 사용하여 뇌파 예측 모델(104b)을 미리 지도학습시킬 수 있다. 일 실시 예의 뇌파 예측 모델(104b)로서 인공 신경망(Artificial Neural Network)이 이용될 수 있다. 인공 신경망은 많은 수의 인공 뉴런(또는, 노드)들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 소프트웨어나 하드웨어로 구현된 예측 모델이다. The EEG prediction model learning unit 104a may pre-train the EEG prediction model 104b by using pre-obtained biometric information, motion information, and EEG states detected during learning by a plurality of users as learning data. . An artificial neural network may be used as an EEG prediction model 104b according to an embodiment. An artificial neural network is a predictive model implemented in software or hardware that mimics the computational power of a biological system using a large number of artificial neurons (or nodes).

이때, 생체 정보, 움직임 정보, 뇌파 상태는 미리 획득될 수 있는데, 관리자의 입력에 의해 획득되거나, 웨어러블 기기(100)가 뇌파 검출부를 더 포함하여 생체 정보 및 움직임 정보에 따른 뇌파 상태를 웨어러블 기기(100)가 직접 획득할 수도 있다.In this case, the biometric information, motion information, and brainwave state may be obtained in advance. They are obtained by input from a manager, or the wearable device 100 further includes an brainwave detector to transmit the brainwave state according to the biometric information and the motion information to the wearable device ( 100) can also be obtained directly.

뇌파 예측 모델 학습부(104a)는, 뇌파 예측 모델(104b)이 생체 정보 및 움직임 정보를 입력 받아 뇌파 상태를 예측할 수 있도록, 생체 정보 및 움직임 정보를 변환하여 얻어지는 제1 특징 벡터를 입력값으로 하고, 뇌파 상태를 변환하여 얻어지는 제2 특징 벡터를 출력값으로 하는 학습 데이터를 사용하여 뇌파 예측 모델(104b)을 지도학습시킬 수 있다. The EEG prediction model learning unit 104a uses a first feature vector obtained by converting the biometric information and motion information as an input value so that the EEG prediction model 104b can receive the biometric information and motion information and predict the EEG state. , the EEG prediction model 104b may be supervised using learning data having the second feature vector obtained by converting the EEG state as an output value.

이때, 지도학습이란, 입력값과 그에 따른 출력값이 있는 데이터를 학습 데이터로 이용하여 주어진 입력값에 따른 출력값을 찾는 학습을 의미하며, 정답을 알고 있는 상태에서 이루어지는 학습을 의미한다. 지도 학습에서 주어지는 입력값과 출력값 세트를 학습 데이터(Training Data)라고 한다. 즉, 상술한 생체 정보 및 움직임 정보를 변환한 제1 특징 벡터와 뇌파 상태를 변환한 제2 특징 벡터는 각각 입력값과 출력값으로서, 뇌파 예측 모델(104b)의 지도학습을 위한 학습 데이터로 사용될 수 있다.At this time, supervised learning means learning to find an output value according to a given input value by using data with input values and corresponding output values as learning data, and means learning that takes place in a state where the correct answer is known. The set of input values and output values given in supervised learning is called training data. That is, the first feature vector obtained by converting the aforementioned biometric information and motion information and the second feature vector obtained by converting the EEG state are input values and output values, respectively, and can be used as learning data for supervised learning of the EEG prediction model 104b. there is.

도 4는 도 1에 따른 웨어러블 기기(예: 뇌파 예측 모델)에서 이용하는 인공 신경망의 구조와 동작을 설명하기 위한 개념도이다.FIG. 4 is a conceptual diagram for explaining the structure and operation of an artificial neural network used in the wearable device (eg, brain wave prediction model) according to FIG. 1 .

도 4를 참조하면, 인공신경망(10)은 입력층(11), 은닉층(12), 및 출력층(13)을 포함할 수 있다.Referring to FIG. 4 , the artificial neural network 10 may include an input layer 11, a hidden layer 12, and an output layer 13.

일 실시 예에서, 뇌파 예측 모델(104b)은, 입력값을 입력받고 제1 특징 벡터의 성분갯수에 상응하는 노드들을 갖는 입력층(10), 입력층(10)의 출력값 각각에 대하여 연결강도(또는 가중치)를 곱하고, 바이어스(bias)를 더하여 출력하는 하나 이상의 은닉층(hidden layer, 12); 및 은닉층(12)의 출력값 각각에 대하여 연결강도(또는 가중치)를 곱하고, 그 결과를 활성화 함수를 이용하여 출력하는 출력층(output layer, 13)을 포함할 수 있다. 예를 들어, 활성화 함수는 LeRU 함수 또는 Softmax 함수일 수 있으나 이에 한정되는 것은 아니다. 연결강도와 바이어스는 지도학습에 의해 지속적으로 갱신될 수 있다.In one embodiment, the brain wave prediction model 104b receives an input value, and the input layer 10 having nodes corresponding to the number of components of the first feature vector and the connection strength (for each output value of the input layer 10) or weights), one or more hidden layers (12) for outputting after adding a bias; and an output layer 13 that multiplies each output value of the hidden layer 12 by a connection strength (or weight) and outputs the result using an activation function. For example, the activation function may be a LeRU function or a Softmax function, but is not limited thereto. Connection strength and bias can be continuously updated by supervised learning.

구체적으로, 뇌파 예측 모델(104b)은, 주어진 입력값(제1 특징 벡터)와 출력값(제2 특징 벡터)에 따른 손실 함수(loss function)의 출력값이 최소화되도록 지도학습될 수 있다. 예를 들어, 손실 함수(H(Y,Y`))는, 다음의 수학식 1과 같이 정의될 수 있다.Specifically, the EEG prediction model 104b may be supervised so that an output value of a loss function according to a given input value (first feature vector) and output value (second feature vector) is minimized. For example, the loss function H(Y,Y′) may be defined as in Equation 1 below.

Figure 112021110739772-pat00001
Figure 112021110739772-pat00001

수학식 1에서 Ym은 제2 특징 벡터의 m번째 성분이고, Y`m은 뇌파 예측 모델(104b)에서 제1 특징 벡터를 입력받아 출력된 출력 벡터의 m번째 성분일 수 있다.In Equation 1, Ym may be the m-th component of the second feature vector, and Y'm may be the m-th component of the output vector that is output by receiving the first feature vector from the EEG prediction model 104b.

종합하면, 뇌파 예측부(104)는 사용자에 대한 생체 정보 및 움직임 정보를 입력 벡터로 변환하여 미리 지도학습된 뇌파 예측 모델(104b)에 입력하고, 뇌파 예측 모델의 출력으로 얻어지는 출력 벡터를 변환하여 상기 사용자에 대한 뇌파 상태를 예측할 수 있다. 이때, 뇌파 상태는, 뇌전도 신호(EEG, electroencephalogram)에서 미리 정의된 주파수 대역들 각각에 대한 수치적분 값으로 얻어지는, SMR파, Mid-베타파, 세타파, 알파파 각각에 대한 크기(또는 강도)를 포함한다.In summary, the brain wave prediction unit 104 converts the biometric information and motion information of the user into input vectors, inputs them to the pre-supervised brain wave prediction model 104b, converts the output vector obtained as the output of the brain wave prediction model, An EEG state of the user may be predicted. At this time, the brain wave state is the magnitude (or intensity) of each of the SMR wave, Mid-beta wave, theta wave, and alpha wave, which is obtained as a numerical integration value for each of the predefined frequency bands in the electroencephalogram (EEG). include

학습상태 결정부(105)는 예측된 뇌파 상태를 기초로 집중도, 피로도를 포함하는 학습상태를 판단하는 기능을 수행한다. 이때 집중도는 학습자가 학습 능력을 유지하는 정도를 의미하며, 피로도는 학습자의 학습 능력을 감소시키는 정도를 의미한다.The learning state determination unit 105 performs a function of determining a learning state including concentration and fatigue based on the predicted EEG state. In this case, the degree of concentration means the degree to which the learner maintains the learning ability, and the degree of fatigue means the degree to which the learner's learning ability is reduced.

학습상태 결정부(105)는 생체 정보와 움직임 정보를 감지 시 사용자에게 제공된 학습 콘텐츠를 획득하고, 획득된 학습 콘텐츠 및 상기 예측된 뇌파 상태에 기초하여 제공된 학습 콘텐츠에 대한 학습상태를 판단할 수 있다. 이때, 사용자에게 제공된 학습 콘텐츠는 웨어러블 기기가 사용자에게 제공한 콘텐츠일 수도 있고, 사용자가 임의로 학습한 콘텐츠를 웨어러블 기기에 입력한 콘텐츠일 수 있다. 또한, 사용자에게 제공된 학습 콘텐츠는, 서버가 운영하는 온라인 AI 학습 솔루션 또는 플랫폼에서 학습 콘텐츠를 사용자 단말에 제공하여, 사용자의 사용자 단말에서 제공되는 콘텐츠일 수 있다.The learning state determining unit 105 may obtain learning content provided to the user when sensing biometric information and motion information, and determine the learning state of the provided learning content based on the acquired learning content and the predicted EEG state. . In this case, the learning content provided to the user may be content provided to the user by the wearable device, or content learned by the user and input to the wearable device. In addition, the learning content provided to the user may be content provided to the user terminal by providing the learning content to the user terminal in an online AI learning solution or platform operated by the server.

학습상태 결정부(105)는 예측된 뇌파 상태로부터 집중도 및 피로도를 도출하고, 도출된 집중도 및 피로도를 기초로 학습 콘텐츠에 대한 사용자의 학습상태를 판단할 수 있다.The learning state determination unit 105 may derive concentration and fatigue from the predicted brain wave state, and determine the user's learning state for the learning content based on the derived concentration and fatigue.

관련하여, 학습상태 결정부(105)는 SMR파에 대한 크기, Mid 베타파에 대한 크기, 및 세타파에 대한 크기를 포함한 예측된 뇌파 상태를 기초로 학습 콘텐츠에 대한 집중도를 판단할 수 있다. 이때 집중도는 다음의 수학식 2에 의하여 결정된다.In this regard, the learning state determiner 105 may determine the degree of concentration for the learning content based on the predicted EEG state including the magnitude of the SMR wave, the magnitude of the mid beta wave, and the magnitude of the theta wave. At this time, the degree of concentration is determined by Equation 2 below.

Figure 112021110739772-pat00002
Figure 112021110739772-pat00002

또한, 학습상태 결정부(105)는 세타파에 대한 크기 및 알파파에 대한 크기를 포함한 예측된 뇌파 상태를 기초로 학습 콘텐츠에 대한 피로도를 판단할 수 있다. 이때 피로도는 세타파 및 알파파와 관련성이 높은 것으로 알려져 있으나, 피로도가 높을수록 집중도는 상대적으로 낮게 측정될 가능성이 높으므로, 본 발명의 경우 집중도와 알파파 및 세타파 사이의 상관관계를 나타내는 상관 계수를 산출하고, 산출된 상관 계수를 기반으로 피로도를 정의한다.In addition, the learning state determining unit 105 may determine the degree of fatigue with respect to the learning content based on the predicted EEG state including the magnitude of theta wave and the magnitude of the alpha wave. At this time, it is known that the degree of fatigue is highly related to theta and alpha waves, but the higher the degree of fatigue, the higher the possibility that the degree of concentration is measured relatively low. Therefore, in the present invention, the correlation coefficient representing the correlation between the degree of concentration and the alpha and theta waves is calculated. and define the degree of fatigue based on the calculated correlation coefficient.

알파파 및 세타파와 수학식 2에 따른 집중도 사이의 상관관계를 나타내는 상관계수를 산출하면, 다음의 표 1과 같다.A correlation coefficient representing a correlation between alpha waves and theta waves and concentration according to Equation 2 is calculated as shown in Table 1 below.

측정 횟수number of measurements Alpha(8-13Hz)Alpha (8-13 Hz) Theta(4~8Hz)Theta (4-8Hz) 1One 0.840.84 2.892.89 22 0.820.82 2.762.76 33 0.840.84 2.872.87 44 0.830.83 2.902.90 55 0.860.86 3.263.26

표 1을 참조하면, 알파파와 집중도 사이의 상관계수는, 5회의 측정결과에 대한 평균값인 0.84로 결정할 수 있으며, 세타파와 집중도 사이의 상관계수는, 5회의 측정결과에 대한 평균값인 2.94로 결정할 수 있다.상술한 표에 의해 결정되는 상관계수를 기초로, 피로도는 다음의 수학식 3에 따라 산출될 수 있다.Referring to Table 1, the correlation coefficient between alpha waves and concentration can be determined as 0.84, which is the average value for 5 measurement results, and the correlation coefficient between theta waves and concentration can be determined as 2.94, which is the average value for 5 measurement results. Based on the correlation coefficient determined by the above table, the degree of fatigue can be calculated according to Equation 3 below.

Figure 112021110739772-pat00003
Figure 112021110739772-pat00003

일 실시 예에서, 학습상태 결정부(105)는 예측된 뇌파 상태로부터 도출된 학습 콘텐츠에 대한 집중도 및 피로도에 따라서 학습 콘텐츠에 대한 사용자의 학습상태를 집중, 산만, 인지스트레스, 몰입의 4가지 학습상태 중 하나의 학습상태로 결정할 수 있다. 이때, 몰입은 고도의 집중된 상태, 학습에 깊이 빠져든 상태를 의미한다.In one embodiment, the learning state determiner 105 determines the user's learning state for the learning content according to the degree of concentration and fatigue for the learning content derived from the predicted brain wave state into four learning states: concentration, distraction, cognitive stress, and immersion. One of the states can be determined as a learning state. At this time, immersion means a state of high concentration, a state of being deeply immersed in learning.

구체적으로, 학습상태 결정부(105)는 상기 집중도가 미리 설정된 제1 값보다 크고 상기 피로도가 미리 설정된 제2 값보다 큰 경우 학습 콘텐츠에 대한 사용자의 학습상태를 '몰입'으로 판단할 수 있고, 상기 집중도가 미리 설정된 제1 값보다 크고, 상기 피로도가 미리 설정된 제3 값보다 작은 경우 학습 콘텐츠에 대한 사용자의 학습상태를 '집중'으로 판단할 수 있고, 상기 집중도가 미리 설정된 제4 값보다 작고, 상기 피로도가 미리 설정된 제2 값보다 큰 경우 학습 콘텐츠에 대한 사용자의 학습상태를 '인지스트레스'로 판단할 수 있고, 상기 집중도가 미리 설정된 제4 값보다 작고, 상기 피로도가 미리 설정된 제3 값보다 작은 경우 학습 콘텐츠에 대한 사용자의 학습상태를 '산만'으로 판단할 수 있다. 이때, 제1 값이 제4 값보다 크게 설정되고, 제2 값이 제3 값보다 크게 설정되는 것이 바람직하다.Specifically, the learning state determining unit 105 may determine the user's learning state for the learning content as 'immersion' when the degree of concentration is greater than a preset first value and the degree of fatigue is greater than a preset second value, When the degree of concentration is greater than a preset first value and the degree of fatigue is less than a preset third value, the user's learning state for the learning content may be determined as 'concentration', and the degree of concentration is less than a preset fourth value and , When the degree of fatigue is greater than a preset second value, the user's learning state for the learning content may be determined as 'cognitive stress', the degree of concentration is less than the preset fourth value, and the fatigue degree is a preset third value. If the value is less than , the user's learning state for the learning content may be determined as 'distracted'. At this time, it is preferable that the first value is set higher than the fourth value, and the second value is set higher than the third value.

즉, 학습상태 결정부(105)는, 학습 콘텐츠에 대한 사용자의 학습상태 관련하여, 집중도와 피로도가 둘다 낮으면 산만으로, 집중도가 높고 피로도가 낮으면 집중으로, 집중도가 낮고 피로도가 높으면 인지스트레스로, 집중도가 높고 피로도가 높으면 몰입으로 결정할 수 있다.That is, in relation to the learning state of the user with respect to the learning content, the learning state determining unit 105 determines distraction when both concentration and fatigue are low, concentration when concentration is high and fatigue is low, and cognitive stress when concentration is low and fatigue is high. Therefore, if the degree of concentration is high and the degree of fatigue is high, it can be determined as immersion.

맞춤환경 및 맞춤콘텐츠 제공부(106)는 결정된 학습상태 및 사용자 정보에 따라 맞춤 학습환경 및 맞춤 학습 콘텐츠를 결정하고, 결정된 맞춤 학습환경 및 맞춤 학습 콘텐츠 중 적어도 하나를 사용자에게 제공하는 기능을 수행한다.The customized environment and customized content providing unit 106 performs a function of determining a customized learning environment and customized learning contents according to the determined learning state and user information, and providing at least one of the determined customized learning environment and customized learning contents to the user. .

맞춤환경 및 맞춤콘텐츠 제공부(106)는 복수의 사용자에게 다양한 학습 콘텐츠들을 제공하고, 제공된 학습 콘텐츠들 각각에 대한 복수의 사용자들 각각의 뇌파 상태를 예측하고, 예측된 뇌파 상태로부터 도출된 학습상태들을 모아 놓은 데이터베이스를 미리 생성할 수 있다. The customized environment and customized content providing unit 106 provides various learning contents to a plurality of users, predicts the brain wave state of each of the plurality of users for each of the provided learning contents, and the learning state derived from the predicted brain wave state. You can create a database in advance that collects them.

즉, 사용자마다 학습 콘텐츠로부터 도출되는 학습상태가 다양하게 존재하므로, 맞춤환경 및 맞춤 콘텐츠 제공부(106)는 데이터베이스에 사용자 정보에 기반하여 학습 콘텐츠마다 학습상태를 매핑하여 학습 콘텐츠를 저장할 수 있다.That is, since there are various learning states derived from learning content for each user, the customized environment and customized content providing unit 106 may store the learning content by mapping the learning state for each learning content based on user information in the database.

맞춤환경 및 맞춤콘텐츠 제공부(106)는 미리 생성된 데이터베이스에서 사용자와 유사한 사용자를 도출하고, 유사한 사용자의 학습이력에 기초하여 맞춤학습 콘텐츠를 결정하고, 결정된 맞춤학습 콘텐츠를 사용자에게 제공할 수 있다. 예를 들어, 학습이력은, 사용자가 과거에 학습했던 학습 콘텐츠에 관련된 정보로, 학습과정, 학습문항, 문항난도, 풀이시간 등을 포함한다.The customized environment and customized content provider 106 may derive users similar to the user from a pre-generated database, determine customized learning content based on the similar user's learning history, and provide the determined customized learning content to the user. . For example, the learning history is information related to the learning contents that the user has learned in the past, and includes learning process, learning questions, question difficulty, solving time, and the like.

예를 들어, 사용자의 학습상태가 '산만' 또는 '인지스트레스'또는 '몰입'으로 판단된 경우, 맞춤환경 및 맞춤콘텐츠 제공부(106)는 미리 생성된 데이터베이스에서 사용자와 유사한 사용자가 학습했던 학습 콘텐츠들 중에서 '집중'인 학습상태로 매핑된 학습 콘텐츠를 맞춤학습 콘텐츠로 결정할 수 있다.For example, when the user's learning state is determined to be 'distraction', 'cognitive stress', or 'immersion', the customized environment and customized content providing unit 106 performs the learning that a user similar to the user has learned in a pre-generated database. Among contents, learning contents mapped to a learning state of 'concentration' may be determined as customized learning contents.

이때, 사용자와 유사한 사용자를 도출하는 방법은, 사용자 정보들을 표현한 벡터들 사이의 유사도를 계산하는 방식으로 이루어질 수 있다. In this case, a method of deriving a user similar to the user may be performed by calculating a degree of similarity between vectors expressing user information.

예를 들어, 사용자 정보는 사용자를 다른 사용자와 구분하기 위해, 사용자의 특성을 나타내는 정보로서, 나이, 성별, 기존 학습 이력, 지능 지수(IQ) 등 다양한 정보가 포함될 수 있다.For example, the user information is information indicating the characteristics of the user in order to distinguish the user from other users, and may include various information such as age, gender, previous learning history, and intelligence quotient (IQ).

유사도는 수학식 4에 의하여 결정될 수 있다. The degree of similarity can be determined by Equation 4.

Figure 112021110739772-pat00004
Figure 112021110739772-pat00004

여기서, SA,B는 사용자 A와 사용자 B 사이의 유사도를 의미하고, A는 사용자 A에 대한 정보를 표현한 벡터를 의미하고, B는 사용자 B에 대한 정보를 표현한 벡터를 의미한다. 계산된 SA,B가 미리 설정된 값보다 높은 경우, A와 B는 유사하다고 판단할 수 있다.Here, S A,B denote similarities between user A and user B, A denotes a vector representing information about user A, and B denotes a vector representing information about user B. When the calculated S A and B are higher than preset values, it can be determined that A and B are similar.

또한, 맞춤환경 및 맞춤콘텐츠 제공부(106)가 사용자에게 제공하는 맞춤 학습환경 및 맞춤 학습 콘텐츠는 다양하게 존재할 수 있다.In addition, the customized learning environment and customized learning contents provided to the user by the customized environment and customized content providing unit 106 may exist in various ways.

일 실시 예에서, 맞춤환경 및 맞춤콘텐츠 제공부(106)는 학습 콘텐츠에 대한 사용자의 학습상태가 '산만'으로 판단된 경우, 상기 사용자에게 집중도를 올릴 수 있는 시각적인 학습 콘텐츠를 제공할 수 있다.In one embodiment, the customized environment and customized content providing unit 106 may provide visual learning content that can increase concentration to the user when the user's learning state for the learning content is determined to be 'distracted'. .

다른 실시 예에서, 맞춤환경 및 맞춤콘텐츠 제공부(106)는 학습 콘텐츠에 대한 사용자의 학습상태가 '집중'으로 판단된 경우, 상기 사용자에게 난도가 한단계 높은 학습 콘텐츠를 제공할 수 있다.In another embodiment, the customized environment and customized content providing unit 106 may provide the user with learning content having a higher level of difficulty when it is determined that the user's learning state for the learning content is 'concentrated'.

또 다른 실시 예에서, 맞춤환경 및 맞춤콘텐츠 제공부(106)는 학습 콘텐츠에 대한 사용자의 학습상태가 '인지스트레스'로 판단된 경우, 상기 사용자에게 피로도를 낮출 수 있도록 난도가 한단계 낮은 학습 콘텐츠를 제공할 수 있다.In another embodiment, the customized environment and customized content providing unit 106, when the user's learning status for the learning content is determined to be 'cognitive stress', provides learning content with a level of difficulty lowered by one level to reduce fatigue to the user. can provide

또 다른 실시 예에서, 맞춤환경 및 맞춤콘텐츠 제공부(106)는 학습 콘텐츠에 대한 사용자의 학습상태가 '몰입'으로 판단된 경우, 상기 사용자에게 휴식을 취할 수 있게 학습 환경을 재조정하라는 내용의 정보를 제공할 수 있다. 예를 들어, 사용자에게 적합한 학습환경에 대한 정보에는, 집중력 향상을 위해서 조명 밝기를 특정 밝기로 조절하는 내용이나, 백색소음을 발생시키는 내용 등이 포함될 수 있다.In another embodiment, the customized environment and customized content providing unit 106, when the user's learning status for the learning content is determined to be 'immersion', information instructing the user to readjust the learning environment so that the user can take a break. can provide. For example, the information about the learning environment suitable for the user may include information about adjusting the brightness of lighting to a specific brightness in order to improve concentration or information about generating white noise.

도 5은 본 발명의 일 실시예에 따른 웨어러블 기기의 하드웨어 구성을 예시적으로 나타낸 도면이다.5 is a diagram showing a hardware configuration of a wearable device according to an embodiment of the present invention by way of example.

도 5을 참조하면, 웨어러블 기기(100)는, 적어도 하나의 프로세서(110); 및 상기 적어도 하나의 프로세서(110)가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.Referring to FIG. 5 , the wearable device 100 includes at least one processor 110; and a memory for storing instructions instructing the at least one processor 110 to perform at least one operation.

상기 적어도 하나의 동작은, 도 1 내지 도 4를 참조하여 설명한 웨어러블 기기(100)의 동작을 포함할 수 있다.The at least one operation may include the operation of the wearable device 100 described with reference to FIGS. 1 to 4 .

여기서 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.Here, the at least one processor 110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor for performing methods according to embodiments of the present invention. can

메모리(120)는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.The memory 120 may include at least one of volatile storage media and non-volatile storage media. For example, the memory 120 may include at least one of a read only memory (ROM) and a random access memory (RAM).

저장 장치(160)는, 예를 들어 HDD(hard disk drive), SSD(solid state drive) 등일 수 있다.The storage device 160 may be, for example, a hard disk drive (HDD) or a solid state drive (SSD).

또한, 웨어러블 기기(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(130)를 포함할 수 있다. 또한, 웨어러블 기기(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 웨어러블 기기(100)에 포함된 각각의 구성 요소들은 버스(bus, 170)에 의해 연결되어 서로 통신을 수행할 수 있다.Also, the wearable device 100 may include a transceiver 130 that performs communication through a wireless network. In addition, the wearable device 100 may further include an input interface device 140 , an output interface device 150 , a storage device 160 , and the like. Each component included in the wearable device 100 may be connected by a bus 170 to communicate with each other.

웨어러블 기기(100)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant), 디지털 팬(Digital Pen) 등일 수 있다.For example, the wearable device 100 includes a communicable desktop computer, a laptop computer, a notebook, a smart phone, a tablet PC, and a mobile phone. ), smart watch, smart glass, e-book reader, portable multimedia player (PMP), portable game device, navigation device, digital camera, digital multimedia broadcasting (DMB) player, digital audio recorder, digital audio player, digital video recorder, digital video player, personal digital assistant (PDA), digital pen ) and the like.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The methods according to the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded on a computer readable medium. Computer readable media may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on a computer readable medium may be specially designed and configured for the present invention or may be known and usable to those skilled in computer software.

컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer readable media may include hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions may include not only machine language codes generated by a compiler but also high-level language codes that can be executed by a computer using an interpreter and the like. The hardware device described above may be configured to operate with at least one software module to perform the operations of the present invention, and vice versa.

또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다. In addition, the above-described method or device may be implemented by combining all or some of its components or functions, or may be implemented separately.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. You will understand that it can be done.

100: 웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치
101: 정보 관리부 102: 생체신호 감지부
103: 움직임 감지부 104: 뇌파 예측부
105: 학습상태 결정부 106: 맞춤환경 및 맞춤콘텐츠 제공부
100: AI-based online learning providing device using a wearable device
101: information management unit 102: biosignal detection unit
103: motion sensor 104: EEG prediction unit
105: learning state determining unit 106: customized environment and customized content providing unit

Claims (5)

웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치로서,
사용자로부터 사용자 정보를 입력받고, 입력받은 상기 사용자 정보를 기반으로 상기 사용자를 등록하는 정보 관리부;
PPG 신호와 GSR 신호를 포함하는 생체 정보를 감지하는 생체신호 감지부;
움직임 가속도와 방향을 포함하는 움직임 정보를 감지하는 움직임 감지부;
상기 생체 정보와 상기 움직임 정보를 기초로 상기 사용자의 뇌파 상태를 예측하는 뇌파 예측부;
예측된 상기 뇌파 상태로부터 집중도 및 피로도를 도출하고, 도출된 상기 집중도 및 상기 피로도를 기초로 학습 콘텐츠에 대한 상기 사용자의 학습상태를 판단하는 학습상태 결정부; 및
결정된 상기 학습상태 및 상기 사용자 정보에 따라 맞춤 학습환경 및 맞춤 학습 콘텐츠를 결정하고, 결정된 상기 맞춤 학습환경 및 상기 맞춤 학습 콘텐츠를 상기 사용자에게 제공하는 맞춤환경 및 맞춤콘텐츠 제공부를 포함하고,
상기 뇌파 예측부는,
상기 생체 정보와 상기 움직임 정보를 미리 지도학습(supervised learning)된 뇌파 예측 모델에 입력하여 상기 사용자의 뇌파 상태를 예측하되,
상기 뇌파 상태는,
뇌전도 신호(EEG, electroencephalogram)에서 미리 정의된 주파수 대역들 각각에 대한 수치적분 값으로 얻어지는, SMR파, Mid-베타파, 세타파, 알파파 각각에 대한 크기를 포함하며,
상기 뇌파 예측 모델은,
생체 정보 및 움직임 정보를 변환하여 얻어지는 제1 특징 벡터를 입력값으로 하고, 상기 뇌파 상태를 변환하여 얻어지는 제2 특징 벡터를 출력값으로 하는 학습 데이터를 이용하여 미리 지도학습되고,
상기 학습상태 결정부는, 하기 수학식 1에 기초하여 상기 집중도를 결정하고,
[수학식 1]
Figure 112022077522966-pat00010

상기 수학식 1에서 SMR파의 크기는, Mid베타파의 크기, 및 세타파의 크기는 상기 뇌파 예측 모델에 의해 예측된 상기 뇌파 상태에 포함된 값이고,
상기 학습상태 결정부는, 하기 수학식 2에 기초하여 상기 피로도를 결정하고,
[수학식 2]
Figure 112022077522966-pat00011

상기 수학식 2에서, 세타파의 크기 및 알파파의 크기는 상기 뇌파 예측 모델에 의해 예측된 상기 뇌파 상태에 포함된 값이고, 세타파와 상기 집중도 사이의 상관계수 및 알파파와 상기 집중도 사이의 상관계수는 상기 수학식 1에 따른 집중도와 상기 뇌파 상태에 포함된 세타파와 알파파 사이의 상관계수를 실험적으로 산출한 값으로 결정되는, 웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치.
As an AI-based online learning providing device using a wearable device,
an information management unit that receives user information from a user and registers the user based on the received user information;
a bio-signal detector for sensing bio-information including a PPG signal and a GSR signal;
a motion detector for sensing motion information including motion acceleration and direction;
an EEG prediction unit that predicts an EEG state of the user based on the biometric information and the motion information;
a learning state determining unit for deriving a degree of concentration and fatigue from the predicted brain wave state, and determining a learning state of the user with respect to learning content based on the derived degree of concentration and the degree of fatigue; and
A customized environment and customized content providing unit determining a customized learning environment and customized learning contents according to the determined learning state and the user information, and providing the determined customized learning environment and customized learning contents to the user,
The brain wave prediction unit,
Predicting the user's brain wave state by inputting the biometric information and the motion information to a supervised learning EEG prediction model,
The brain wave state,
Including the magnitude of each of the SMR wave, Mid-beta wave, theta wave, and alpha wave, obtained as a numerical integral value for each of the predefined frequency bands in the electroencephalogram (EEG),
The brain wave prediction model,
Supervised learning in advance using learning data having a first feature vector obtained by converting biometric information and motion information as an input value and a second feature vector obtained by converting the brain wave state as an output value,
The learning state determination unit determines the concentration based on Equation 1 below,
[Equation 1]
Figure 112022077522966-pat00010

In Equation 1, the magnitude of the SMR wave, the magnitude of the Mid beta wave, and the magnitude of the theta wave are values included in the EEG state predicted by the EEG prediction model,
The learning state determination unit determines the degree of fatigue based on Equation 2 below,
[Equation 2]
Figure 112022077522966-pat00011

In Equation 2, the magnitude of the theta wave and the magnitude of the alpha wave are values included in the EEG state predicted by the EEG prediction model, and the correlation coefficient between the theta wave and the concentration and the correlation coefficient between the alpha wave and the concentration are An AI-based online learning providing device using a wearable device, which is determined by an experimentally calculated value of a correlation coefficient between the degree of concentration according to Equation 1 and theta and alpha waves included in the brain wave state.
삭제delete 삭제delete 삭제delete 청구항 1에서,
상기 학습상태 결정부는,
상기 집중도 및 피로도에 기초하여 학습 콘텐츠에 대한 사용자의 학습상태를 집중, 산만, 인지스트레스, 몰입의 4가지 학습상태 중 하나의 학습상태로 결정하는, 웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치.
In claim 1,
The learning state determination unit,
Based on the degree of concentration and fatigue, the user's learning state for the learning content is determined as one of four learning states of concentration, distraction, cognitive stress, and immersion. An AI-based online learning providing device using a wearable device.
KR1020210127346A 2021-09-27 2021-09-27 Method and device for providing ai-based online learning using wearable devices KR102546207B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210127346A KR102546207B1 (en) 2021-09-27 2021-09-27 Method and device for providing ai-based online learning using wearable devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210127346A KR102546207B1 (en) 2021-09-27 2021-09-27 Method and device for providing ai-based online learning using wearable devices

Publications (2)

Publication Number Publication Date
KR20230045681A KR20230045681A (en) 2023-04-05
KR102546207B1 true KR102546207B1 (en) 2023-06-22

Family

ID=85884322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210127346A KR102546207B1 (en) 2021-09-27 2021-09-27 Method and device for providing ai-based online learning using wearable devices

Country Status (1)

Country Link
KR (1) KR102546207B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102265734B1 (en) * 2020-08-25 2021-06-16 라이트하우스(주) Method, device, and system of generating and reconstructing learning content based on eeg analysis

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102143343B1 (en) * 2018-05-15 2020-08-13 연세대학교 원주산학협력단 Attention/fatigue/drowsiness monitoring system based on autonomic nervous system signal reflecting brain activity

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102265734B1 (en) * 2020-08-25 2021-06-16 라이트하우스(주) Method, device, and system of generating and reconstructing learning content based on eeg analysis

Also Published As

Publication number Publication date
KR20230045681A (en) 2023-04-05

Similar Documents

Publication Publication Date Title
Nahavandi et al. Application of artificial intelligence in wearable devices: Opportunities and challenges
Balli et al. Human activity recognition from smart watch sensor data using a hybrid of principal component analysis and random forest algorithm
US10561321B2 (en) Continuous monitoring of a user's health with a mobile device
Lin et al. Advanced artificial intelligence in heart rate and blood pressure monitoring for stress management
Mishra et al. Continuous detection of physiological stress with commodity hardware
Khowaja et al. Toward soft real-time stress detection using wrist-worn devices for human workspaces
CN109480835B (en) Mental fatigue detection method based on long-term and short-term memory neural network
Ajenaghughrure et al. Predictive model to assess user trust: a psycho-physiological approach
Sharma et al. Modeling a stress signal
Long et al. A scoping review on monitoring mental health using smart wearable devices
US20130172693A1 (en) Diagnosing system for consciousness level measurement and method thereof
RU2741934C2 (en) Device for detecting intention, method of detecting intention and program for detecting intention
Kim et al. Data Analysis for Emotion Classification Based on Bio‐Information in Self‐Driving Vehicles
Chandra et al. Comparative study of physiological signals from empatica e4 wristband for stress classification
Phukan et al. Convolutional neural network-based human activity recognition for edge fitness and context-aware health monitoring devices
KR102546207B1 (en) Method and device for providing ai-based online learning using wearable devices
Chahal The critical application of internet of things (IoT) in the overall development of education
Cernian et al. Mood detector-on using machine learning to identify moods and emotions
Thanasekhar et al. Machine learning based academic stress management system
Husom et al. Machine learning for fatigue detection using Fitbit fitness trackers
Poli et al. Exploiting blood volume pulse and skin conductance for driver drowsiness detection
Pramodhani et al. Stress Prediction and Detection in Internet of Things using Learning Methods
Ogbuabor et al. Context-aware support for cardiac health monitoring using federated machine learning
US20230000446A1 (en) Apparatus and method for estimating lipid concentration
Lahane Brain computer interfaces techniques for stress management