KR20230118736A - Artificial intelligence-based customized content creation method for the treatment of autism spectrum disorder - Google Patents
Artificial intelligence-based customized content creation method for the treatment of autism spectrum disorder Download PDFInfo
- Publication number
- KR20230118736A KR20230118736A KR1020220014847A KR20220014847A KR20230118736A KR 20230118736 A KR20230118736 A KR 20230118736A KR 1020220014847 A KR1020220014847 A KR 1020220014847A KR 20220014847 A KR20220014847 A KR 20220014847A KR 20230118736 A KR20230118736 A KR 20230118736A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- content
- artificial intelligence
- user
- autism spectrum
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 59
- 238000011282 treatment Methods 0.000 title claims abstract description 54
- 208000029560 autism spectrum disease Diseases 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000008451 emotion Effects 0.000 claims abstract description 38
- 230000002996 emotional effect Effects 0.000 claims description 26
- 230000008921 facial expression Effects 0.000 claims description 24
- 238000002630 speech therapy Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 11
- 230000008449 language Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000010195 expression analysis Methods 0.000 claims description 5
- 238000007519 figuring Methods 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 description 23
- 238000002560 therapeutic procedure Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 239000003814 drug Substances 0.000 description 7
- 229940124597 therapeutic agent Drugs 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013542 behavioral therapy Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000029726 Neurodevelopmental disease Diseases 0.000 description 1
- 230000007488 abnormal function Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000002651 drug therapy Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 208000013403 hyperactivity Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011866 long-term treatment Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000009245 play therapy Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
- A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Psychology (AREA)
- Surgery (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Mathematical Physics (AREA)
- Developmental Disabilities (AREA)
- Artificial Intelligence (AREA)
- Hospice & Palliative Care (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Social Psychology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Hematology (AREA)
- Acoustics & Sound (AREA)
- Anesthesiology (AREA)
- Dentistry (AREA)
- Educational Technology (AREA)
Abstract
본 발명은, 자폐 스펙트럼 장애가 있는 사용자에게 소정 콘텐츠를 노출시키는 단계, 소정 콘텐츠에 대한 사용자의 반응을 데이터화하는 반응 데이터 획득 단계, 인공지능에 의해 반응 데이터로부터 감정 데이터와 의미 데이터를 추출하는 단계, 감정 데이터와 의미 데이터를 장애가 없는 사람이 소정 콘텐츠에 노출되었을 때 획득되는 기준 데이터와 비교하여 평가하는 단계를 포함하는 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법에 관한 것이다.The present invention provides a step of exposing certain content to a user with autism spectrum disorder, a step of obtaining reaction data to convert a user's reaction to certain content into data, a step of extracting emotion data and semantic data from reaction data by artificial intelligence, A method for generating customized content based on artificial intelligence for treatment of autism spectrum disorder, comprising evaluating data and semantic data by comparing them with reference data obtained when a person without a disability is exposed to predetermined content.
Description
본 발명은 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법에 관한 것이며, 보다 상세하게는 자폐 스펙트럼 장애 치료를 위해 맞춤형 디지털 콘텐츠를 생성하는 방법에 관한 것이다.The present invention relates to an artificial intelligence-based method for generating customized content for the treatment of autism spectrum disorder, and more particularly, to a method for generating customized digital content for the treatment of autism spectrum disorder.
자폐 스펙트럼 장애(Autism Spectrum Disorder)란 초기 아동기부터 상호 교환적인 사회적 의사소통과 사회적 상호작용에 지속적인 손상을 보이는 한편 행동 패턴, 관심사 및 활동의 범위가 한정되어 있고 반복적인 것이 특징인 신경 발달 장애의 한 범주이다.Autism Spectrum Disorder is a neurodevelopmental disorder characterized by persistent impairment in interactive social communication and social interaction from early childhood and limited and repetitive patterns of behavior, interests and activities. is a category
자폐 스펙트럼 장애가 있는 아동들은 초기 발달 단계에서부터 대인 관계에 관심이 부족하고 사회 기술, 언어, 의사소통 발달에 있어서 지연되거나 비정상적인 기능을 보이고 있다.Children with autism spectrum disorder show a lack of interest in interpersonal relationships from an early stage of development and delayed or abnormal functions in the development of social skills, language, and communication.
기존의 자폐 스펙트럼 장애는 현재까지 완치할 수 있는 수단은 확인되지 않고 있다. 자폐 스펙트럼 장애의 치료는 통합적 치료(ntegrative treatmen)로서 사회적 상호 작용 촉진에 기초를 둔 행동치료와 놀이치료, 그리고 언어적 훈련을 수행하며, 또한 과잉행동의 억제를 하기 위한 훈련을 수행하고 있다. 이와 같은 행동 치료와 별개로 약물 치료를 수행하기도 한다.Autism spectrum disorder has not yet been identified as a means to cure it. The treatment of autism spectrum disorder is an integrative treatment that includes behavior therapy based on social interaction promotion, play therapy, and verbal training, as well as training to suppress hyperactivity. In addition to such behavioral therapy, drug therapy may also be performed.
전술한 자폐 스펙트럼 장애의 약물치료를 위한 종래기술이 대한민국 공개특허 제10-2018-0029967호가 개시되어 있다. 그러나 이러한 종래의 자폐 스펙트럼 장애의 치료 방법은 현재까지 의료계에서 일주일에 20 내지 40 시간의 오프라인 치료를 권하고 있지만, 장기간 치료를 받아야 한다는 점을 고려할 때 통원치료를 받는 것은 비용적, 시간적 측면에서 많은 부담이 따르는 문제점이 있었다.Korean Patent Publication No. 10-2018-0029967 discloses prior art for drug treatment of the autism spectrum disorder described above. However, these conventional treatment methods for autism spectrum disorder have so far recommended offline treatment for 20 to 40 hours a week in the medical field, but considering that long-term treatment is required, receiving outpatient treatment is a burden in terms of cost and time. There were problems following this.
본 발명은 종래의 자폐 스펙트럼 장애 치료의 문제점을 해결하는 온라인상의 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법을 제공하는 것에 그 목적이 있다.An object of the present invention is to provide an artificial intelligence-based customized content generation method for online treatment of autism spectrum disorder, which solves the problems of conventional autism spectrum disorder treatment.
상기 과제의 해결 수단으로서, 자폐 스펙트럼 장애가 있는 사용자에게 소정 콘텐츠를 노출시키는 단계, 소정 콘텐츠에 대한 사용자의 반응을 데이터화하는 반응 데이터 획득 단계, 인공지능에 의해 반응 데이터로부터 감정 데이터와 의미 데이터를 추출하는 단계, 감정 데이터와 의미 데이터를 장애가 없는 사람이 소정 콘텐츠에 노출되었을 때 획득되는 기준 데이터와 비교하여 평가하는 단계를 포함하는 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법이 제공될 수 있다.As a means of solving the above problems, exposing certain content to a user with autism spectrum disorder, acquiring reaction data to convert the user's reaction to the prescribed content into data, extracting emotional data and semantic data from the reaction data by artificial intelligence An artificial intelligence-based customized content creation method for treating autism spectrum disorder may be provided, including the step of comparing and evaluating emotional data and semantic data with reference data obtained when a person without a disability is exposed to predetermined content.
한편, 평가하는 단계에서 획득한 평가 데이터를 기반으로 사용자에게 노출시키는 콘텐츠의 종류 및 빈도 중 적어도 하나를 결정하는 치료 콘텐츠 시퀀스 생성 단계를 더 포함할 수 있다. Meanwhile, the method may further include a treatment content sequence generation step of determining at least one of the type and frequency of content to be exposed to the user based on the evaluation data obtained in the evaluation step.
또한, 콘텐츠는 자폐 스펙트럼 장애가 있는 사용자와 의사소통을 위한 적어도 하나의 영상을 포함할 수 있다. Also, the content may include at least one image for communication with a user with autism spectrum disorder.
한편, 반응 데이터는 사용자가 콘텐츠에 노출되었을 때 사용자로부터 획득된 음성 데이터 및 얼굴 표정 데이터를 포함할 수 있다. Meanwhile, the response data may include voice data and facial expression data acquired from the user when the user is exposed to content.
한편, 감정 데이터와 의미 데이터를 추출하는 단계는 얼굴 표정으로부터 감정을 추출하도록 학습된 표정분석 인공지능 및 음색에 따른 감정을 추출하도록 학습된 음색 분석 인공지능을 이용하여 감정 데이터를 획득할 수 있다. Meanwhile, in the step of extracting emotion data and semantic data, emotion data may be obtained using facial expression analysis artificial intelligence learned to extract emotions from facial expressions and tone analysis artificial intelligence learned to extract emotions according to tones.
한편, 감정 데이터와 의미 데이터를 추출하는 단계는 음성 인식 인공지능을 이용하여 음성 데이터로부터 의미를 획득할 수 있다. Meanwhile, in the step of extracting emotion data and semantic data, meaning may be obtained from voice data using voice recognition artificial intelligence.
한편, 콘텐츠는 감정 표현력 치료 콘텐츠 및 언어 치료 콘텐츠를 포함할 수 있다. Meanwhile, the content may include emotional expression therapy content and speech therapy content.
또한, 언어 치료 콘텐츠는 물체 그림을 보여주고 호명하기, 사용자의 이름을 부르기, 질문에 대답하기, 의사를 요구하기, 주어진 문장의 뜻을 파악하기 중 적어도 하나를 포함할 수 있다. In addition, the speech therapy content may include at least one of showing and calling an object picture, calling the user's name, answering a question, requesting a doctor, and understanding the meaning of a given sentence.
한편, 감정 표현력 치료 콘텐츠는, 특정 감정을 유발하는 상황에 대한 영상을 포함할 수 있다. Meanwhile, the emotional expressiveness treatment content may include an image of a situation that induces a specific emotion.
또한, 평가하는 단계에서 사용자의 음색과 표정이 기준 데이터와 비교하여 부정확한 것으로 판단한 경우 기준 데이터에 의한 기준 표정 및 기준 음성을 생성하는 단계 및 기준 표정 및 기준 음성을 영상에 시현하는 단계를 더 포함할 수 있다. In addition, in the evaluation step, if it is determined that the user's tone and expression are inaccurate compared to the reference data, the steps of generating a reference expression and voice based on the reference data and displaying the reference expression and voice on an image are further included. can do.
본 개시에 의해 AI를 이용하여 분석한 환자의 발달수준, 언어능력을 나이에 맞춰 최적의 디지털 치료제를 제공할 수 있다. 따라서 사용자는 디지털 치료를 통해 환자는 사회적 의사소통 능력을 기를 수 있다.According to the present disclosure, it is possible to provide an optimal digital therapeutic agent according to the age of the patient's developmental level and language ability analyzed using AI. Therefore, patients can develop social communication skills through digital therapy.
또한 가정에서 수행이 가능하므로 통원치료에 비해 접근성이 높아 충분한 치료 시간을 확보할 수 있으며, 나아가 치료 중 전문 의료인이 동석하지 않아도 되어 치료비 부담을 줄일 수 있는 효과가 있다.In addition, since it can be performed at home, it is more accessible than outpatient treatment, so it is possible to secure sufficient treatment time, and furthermore, there is an effect of reducing the burden of treatment expenses because a professional medical practitioner does not have to be present during treatment.
도 1은 본 발명의 일 실시예에 따른 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법을 수행하는 시스템을 나타낸 블록도이다.
도 2는 도 1의 인공지능부의 상세한 블록도이다.
도 3은 사용자 인터페이스의 예를 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법의 순서도이다.
도 5는 본 발명의 또 다른 실시예에 따른 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법의 순서도이다.
도 6은 언어 치료 콘텐츠의 일 예를 도시한 개념도이다.
도 7은 언어 치료 콘텐츠의 다른 예를 도시한 개념도이다.1 is a block diagram showing a system for performing an artificial intelligence-based customized content generation method for treating autism spectrum disorder according to an embodiment of the present invention.
Figure 2 is a detailed block diagram of the artificial intelligence unit of Figure 1;
3 is a diagram illustrating an example of a user interface.
4 is a flowchart of an AI-based customized content generation method for treating autism spectrum disorder according to another embodiment of the present invention.
5 is a flowchart of an AI-based customized content generation method for treating autism spectrum disorder according to another embodiment of the present invention.
6 is a conceptual diagram illustrating an example of speech therapy content.
7 is a conceptual diagram illustrating another example of speech therapy content.
이하, 본 발명의 실시 예에 따른 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법에 대하여, 첨부된 도면을 참조하여 상세히 설명한다. 그리고 이하의 실시예의 설명에서 각각의 구성요소의 명칭은 당업계에서 다른 명칭으로 호칭될 수 있다. 그러나 이들의 기능적 유사성 및 동일성이 있다면 변형된 실시예를 채용하더라도 균등한 구성으로 볼 수 있다. 또한 각각의 구성요소에 부가된 부호는 설명의 편의를 위하여 기재된다. 그러나 이들 부호가 기재된 도면상의 도시 내용이 각각의 구성요소를 도면내의 범위로 한정하지 않는다. 마찬가지로 도면상의 구성을 일부 변형한 실시예가 채용되더라도 기능적 유사성 및 동일성이 있다면 균등한 구성으로 볼 수 있다. 또한 당해 기술 분야의 일반적인 기술자 수준에 비추어 보아, 당연히 포함되어야 할 구성요소로 인정되는 경우, 이에 대하여는 설명을 생략한다.Hereinafter, an artificial intelligence-based customized content generation method for treating autism spectrum disorder according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In addition, in the description of the following embodiments, the name of each component may be called a different name in the art. However, if they have functional similarity and identity, even if a modified embodiment is employed, it can be regarded as an equivalent configuration. In addition, signs added to each component are described for convenience of description. However, the contents of the drawings in which these symbols are written do not limit each component to the scope in the drawings. Likewise, even if an embodiment in which the configuration in the drawings is partially modified is employed, it can be regarded as an equivalent configuration if there is functional similarity and identity. In addition, in light of the level of a general technician in the relevant technical field, if it is recognized as a component that should be included, the description thereof will be omitted.
도 1은 본 발명의 일 실시예에 따른 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법을 수행하는 시스템을 나타낸 블록도이다.1 is a block diagram showing a system for performing an artificial intelligence-based customized content generation method for treating autism spectrum disorder according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법을 수행하는 시스템은 사용자 인터페이스(100), 디지털 치료 콘텐츠 및 기준 데이터 DB(200), 디지털 치료제 생성부(300) 및 인공지능부(300)(AI부)를 포함하여 구성될 수 있다.Referring to FIG. 1, a system for performing an artificial intelligence-based customized content generation method for autism spectrum disorder treatment according to an embodiment of the present invention includes a
사용자 인터페이스(100)는 사용자와 상호작용할 수 있도록 구성된다. 사용자 인터페이스(100)는 사용자에게 치료 콘텐츠를 노출시키며, 사용자의 반응을 데이터화 할 수 있도록 구성된다. The
사용자 인터페이스(100)는 디스플레이부(110), 스피커(120), 카메라(130) 및 마이크(140)를 포함할 수 있다. 디스플레이부(110) 및 스피커(120)는 디지털 치료 콘텐츠를 시현할 수 있도록 구성된다. 카메라(130) 및 마이크(140)는 사용자의 얼굴 표정 및 사용자의 음성을 기록할 수 있도록 구성된다. 즉 사용자 인터페이스(100)는 특정 상황에 대한 콘텐츠를 사용자에게 노출시킨 후 사용자의 반응을 기록하게 된다.The
디지털 치료 콘텐츠 및 기준데이터 DB(400), 디지털 치료제 생성부(300) 및 인공지능부(300)(AI부)는 서버에 구비될 수 있다. 사용자 인터페이스(100)는 서버와 유/무선 통신으로 데이터를 전송하거나 전송 받을 수 있다.The digital treatment content and
디지털 치료 콘텐츠 및 기준 데이터 DB(Data Base, 400)는 다양한 디지털 치료 콘텐츠를 포함할 수 있다. The digital treatment contents and reference data DB (Data Base, 400) may include various digital treatment contents.
디지털 치료 콘텐츠는 언어 치료 콘텐츠 및 감정 표현 치료 콘텐츠를 포함할 수 있다. Digital therapy content may include speech therapy content and emotional expression therapy content.
언어 치료 콘텐츠는 자신의 요구를 정확하고 빠르게 전달하는 능력을 키우고, 언어의 행각에 숨은 속뜻, 예를 들어 소위 반어법, 빈정거림, 은유 등에 대한 속뜻을 파악하는 능력을 향상시키기 위하여 구성된다. Speech therapy contents are designed to increase the ability to accurately and quickly convey one's needs and to improve the ability to grasp the inner meaning hidden in the behavior of language, for example, so-called irony, sarcasm, and metaphor.
언어 치료 콘텐츠는 일 예로서, i)물체 그림을 보여주고 호명을 유도하기, ii)사용자 자신의 이름을 부를 때 반응하기, iii)질문에 대답하기, iv)의사 전달을 요구하기 v)주어진 문자의 뜻을 파악하기를 포함할 수 있다. Speech therapy content includes, for example, i) showing a picture of an object and prompting a call, ii) responding when the user's own name is called, iii) answering a question, iv) requesting communication v) given text It may include figuring out the meaning of
감정 표현 치료 콘텐츠는 자폐 스펙트럼 장애가 있는 사용자의 음성 및 표정을 통한 제한적인 감정표현 능력을 향상시킬 수 있도록 구성된다. 감정 표현 치료 콘텐츠는 특정 감정을 유발하게 하는 영상을 보여주고 주어진 대사를 따라 반응하도록 요구하는 콘텐츠를 포함할 수 있다. Emotional expression therapy content is configured to improve the limited ability to express emotions through voice and facial expressions of users with autism spectrum disorders. Emotional expression therapy content may include content that shows an image that induces a specific emotion and requires a user to react according to a given line.
기준 데이터는 자폐 스펙트럼 장애를 갖는 사용자로부터 획득된 반응 데이터가 적절하고 정상범위에 해당하는지 여부를 판단하기 위한 데이터를 포함할 수 있다. The reference data may include data for determining whether response data obtained from a user with autism spectrum disorder is appropriate and falls within a normal range.
기준 데이터는 자폐 스펙트럼 장애를 가지지 않은 정상인으로부터 획득된 데이터를 포함할 수 있다. 기준 데이터에는 정상인의 연령별 수준에 적합한 어휘, 주제 등 의사소통과 관련된 정보를 포함할 수 있다. 또한 정상인에게 특정 감정이 나타날 때 표정의 변화에 대한 정보를 포함할 수 있다. The reference data may include data obtained from a normal person without an autism spectrum disorder. The reference data may include information related to communication, such as vocabulary and topics suitable for the level of each age of a normal person. In addition, information about changes in facial expression when a specific emotion appears in a normal person may be included.
디지털 치료제 생성부(300)는 현재 자폐 스펙트럼 장애가 있는 사용자의 나이와 현재 상태를 기반으로 디지털 콘텐츠 시퀀스를 생성할 수 있도록 구성된다. 디지털 치료제 생성부(300)는 현재 상태에 따라 언어 치료 콘텐츠 및/또는 감정 표현 치료 콘텐츠의 종류 및 빈도를 결정하여 치료 콘텐츠의 시퀀스를 생성할 수 있다. 또한 사용자의 나이를 근거로 전체 치료 콘텐츠 시퀀스의 시간을 결정할 수 있다. 디지털 치료제 생성부(300)는 치료 콘텐츠 시퀀스에 따라 전술한 디지털 치료 콘텐츠 및 기준 데이터 DB(400)로부터 특정 상황을 연출하는 콘텐츠를 사용자 인터페이스(100)에 전송하여 시현할 수 있다.The digital therapeutic
인공지능부(300)(AI부)는 자폐 스펙트럼 장애가 있는 사용자의 현재 상태를 추출하기 위하여 구성된다. 인공지능부(300)는 사용자에게 특정 콘텐츠를 노출시켰을 때 반응하여 획득된 반응 데이터를 근거로 언어의 의미, 감정, 표정 등을 추출할 수 있다.The artificial intelligence unit 300 (AI unit) is configured to extract the current state of a user with autism spectrum disorder. The
한편, 디지털 치료제 생성부(300)는 인공지능부(300)에 의해 획득된 자폐 스펙트럼 장애가 있는 사용자의 현재 상태를 근거로 현재 진행중인 치료 콘텐츠 시퀀스를 갱신할 수 있다. 예를 들어 디지털 치료제 생성부(300)는 인공지능부(300)에서 획득한 사용자의 표정에 대한 정보와 기준 데이터를 비교하여 적절한 감정 표현이 이루어진 경우, 예를 들어 '기쁨'에 대한 감정 표현이 원활해진 경우 치료 콘텐츠 시퀀스에서 '기쁨'의 감정 표현을 향상시키기 위한 빈도를 줄이고 다른 감정 표현의 향상을 위한 감정 표현 치료 콘텐츠의 빈도를 증가시킬 수 있다.Meanwhile, the digital therapeutic
도 2는 도 1의 인공지능부(300)의 상세한 블록도이다. 도 2를 참조하면, 본 개시에서 인공지능부(300)는 표정 분석 인공지능(210), 음색 분석 인공지능(220) 및 음성 분석 인공지능(230)을 포함할 수 있다.FIG. 2 is a detailed block diagram of the
표정 분석 인공지능(210)은 카메라(130)로부터 획득된 사용자의 얼굴 이미지 또는 영상 데이터를 분석하여 사용자의 얼굴 표정이 일반적인 범주 내에서 어떠한 감정으로 분류되는지를 판단할 수 있다. 표정 분석 인공지능(210)은 감정 분석을 위하여, 일 예로서 합성곱 신경망(Convolutional neural network, CNN)을 이용하여 미리 학습될 수 있다. 이때 인공지능의 학습은 정상인의 표정이 나타난 이미지 또는 영상 데이터를 이용하여 이루어질 수 있다. The facial expression analysis
음색 분석 인공지능(220)은 마이크(140)로부터 전송받은 음성 데이터를 기반으로 감정을 특정할 수 있도록 구성된다. 음색 분석 인공지능(220)은 음성 데이터로부터 소리의 2D wave 형태에서, 푸리에 트랜스폼 및 mel 스케일 변환을 수행하고, 또한 음성 데이터의 주파수 분포를 추출할 수 있다. 이때 OpenSMILE 툴 킷과 같은 상용 프로그램이 사용될 수 있다. The voice analysis
음성 분석 인공지능(230)은 STT(Speech to Text) 기반의 딥러닝 모델을 포함할 수 있다. 음성 분석 인공지능(230)은, 일 예로서 wav2vec을 기반으로 구성되어 음성으로부터 의미를 파악할 수 있다. 일 예로써 RNN(recurrent Neural Network) 및 LSTM(Long short Term Memory) 알고리즘을 이용할 수 있다. 이때 음성 분석 인공지능(230)은 전술한 다른 인공지능(210, 220)과 유사하게 정상인으로부터 획득된 음성 데이터를 이용하여 학습될 수 있다.The voice analysis
한편, 앞서 설명하지는 않았으나, 인공지능의 학습 및 판단을 위해 카메라(130)로 획득되는 영상/이미지 데이터 및 마이크(140)로 획득되는 음성 데이터는 각각 전처리되어 각각의 인공지능에 입력될 수 있다.Meanwhile, although not described above, video/image data acquired by the
도 3은 사용자 인터페이스의 예를 도시한 도면이다.3 is a diagram illustrating an example of a user interface.
도 3을 참조하면, 사용자 인터페이스는 HMD(Head Mount Display) 타입(도 3(a)) 또는 태블릿(도 3(b)) 등이 사용될 수 있다. HMD 타입의 경우 몰입감을 향상시킬 수 있다. 태블릿(도 3(b))의 경우 사용자의 얼굴을 촬영할 수 있으므로 표정에 대한 이미지/영상 데이터를 확보할 수 있다. 다만, 사용자 인터페이스에 대하여 태블릿을 예를 들어 설명하였으나, 사용자 인터페이스로서 디스플레이와 카메라가 구비된 PC, 스마트폰 등의 다양한 디바이스가 사용될 수 있다.Referring to FIG. 3 , a head mount display (HMD) type (FIG. 3(a)) or a tablet (FIG. 3(b)) may be used as the user interface. In the case of the HMD type, immersion can be improved. In the case of a tablet (FIG. 3(b)), since a user's face can be photographed, image/video data on facial expressions can be obtained. However, although a tablet has been described as an example for the user interface, various devices such as a PC equipped with a display and a camera, and a smartphone may be used as the user interface.
사용자 인터페이스가 HMD 타입으로 구성된 경우 언어 치료 콘텐츠를 수행하기 용이하다. 반면 태블릿(도 3(b))과 같이 카메라가 구비된 디바이스의 경우 감정 표현 치료 콘텐츠를 제공하기에 용이하다. 즉, 태블릿(도 3(b))의 경우 감정 표현 치료 콘텐츠에 노출시킴과 동시에 사용자의 표정에 대한 데이터를 확보할 수 있다.When the user interface is configured as an HMD type, it is easy to perform speech therapy content. On the other hand, in the case of a device equipped with a camera, such as a tablet (FIG. 3(b)), it is easy to provide emotional expression treatment content. That is, in the case of a tablet (FIG. 3(b)), it is possible to secure data on the user's facial expression while exposing the user to emotional expression treatment content.
이하에서는 도 4 내지 도 7을 참조하여 본 발명의 다른 실시예에 따른 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법에 대하여 설명하도록 한다.Hereinafter, an AI-based customized content generation method for treating autism spectrum disorder according to another embodiment of the present invention will be described with reference to FIGS. 4 to 7 .
도 4는 본 발명의 다른 실시예에 따른 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법의 순서도이다.4 is a flowchart of an AI-based customized content generation method for treating autism spectrum disorder according to another embodiment of the present invention.
도 4를 참조하면, 본 발명의 다른 실시예에 따른 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법은 자폐 스펙트럼 장애가 있는 사용자에게 소정 콘텐츠를 노출시키는 단계(S100), 소정 콘텐츠에 대한 사용자의 반응을 데이터화하는 반응 데이터 획득 단계(S200), 인공지능에 의해 반응 데이터로부터 감정 데이터와 의미 데이터를 추출하는 단계(S300), 감정 데이터와 의미 데이터를 기준 데이터와 비교하여 평가하는 단계(S400) 및 콘텐츠의 종류 및 빈도 중 적어도 하나를 결정하는 치료 콘텐츠 시퀀스 생성 단계(S500)를 포함할 수 있다.Referring to FIG. 4 , an artificial intelligence-based customized content generation method for treating autism spectrum disorder according to another embodiment of the present invention includes exposing certain content to a user with autism spectrum disorder (S100), Reaction data acquisition step of converting the response into data (S200), extracting emotion data and semantic data from the response data by artificial intelligence (S300), evaluating the emotion data and semantic data by comparing them with reference data (S400), and It may include a treatment content sequence generation step (S500) of determining at least one of the type and frequency of the content.
자폐 스펙트럼 장애가 있는 사용자에게 소정 콘텐츠를 노출시키는 단계(S100)는 영상 또는 소리를 통하여 특정 상황이나 의사소통을 수행하는 환경을 생성하여 사용자에게 노출시키는 단계에 해당한다. 본 단계(S100)에서 콘텐츠는 언어 치료 콘텐츠 및/또는 감정 표현 치료 콘텐츠를 포함할 수 있다. 본 단계에서 콘텐츠는 가상의 환경(VR)로 구현하여 시현하거나, 디스플레이상에 영상으로 시현할 수 있다.The step of exposing predetermined content to a user with autism spectrum disorder (S100) corresponds to a step of generating a specific situation or communication environment through video or sound and exposing it to the user. In this step (S100), the content may include language therapy content and/or emotional expression therapy content. In this step, the content can be implemented and displayed in a virtual environment (VR) or displayed as an image on a display.
소정 콘텐츠에 대한 사용자의 반응을 데이터화하는 반응 데이터 획득 단계(S200)는 콘텐츠에 노출된 사용자의 반응을 기록하는 단계에 해당한다. 본 단계는 사용자가 특정 콘텐츠에 노출되었을 때 음성에 의한 응답 및/또는 얼굴 표정의 변화를 데이터화 할 수 있다. 본 단계는 마이크를 통하여 사용자의 음성 데이터를 획득하거나, 카메라를 이용하여 사용자의 얼굴을 촬영한 영상 데이터를 획득할 수 있다.The reaction data acquisition step (S200) of converting a user's reaction to a predetermined content into data corresponds to a step of recording the user's reaction exposed to the content. In this step, when the user is exposed to specific content, a voice response and/or a change in facial expression may be converted into data. In this step, voice data of the user may be obtained through a microphone, or image data obtained by photographing the user's face may be obtained using a camera.
인공지능에 의해 반응 데이터로부터 감정 데이터와 의미 데이터를 추출하는 단계(S300)는 학습된 인공지능을 이용하여 음성 데이터 및 영상 데이터를 기반으로 현재 사용자의 음성에 담긴 의미, 감정, 그리고 얼굴 표정을 추출할 수 있도록 구성된다.In the step of extracting emotion data and semantic data from response data by artificial intelligence (S300), meaning, emotion, and facial expression contained in the voice of the current user are extracted based on the voice data and image data using the learned artificial intelligence. configured to be able to
감정 데이터와 의미 데이터를 기준 데이터와 비교하여 평가하는 단계(S400)는 자폐 스펙트럼 장애가 없는 정상인으로부터 획득한 음성 및 표정에 대한 데이터가 포함된 기준 데이터와 인공지능에 의해 분석된 의미, 감정, 얼굴 표정을 비교하는 단계에 해당한다. 본 단계에서 사용자의 언어 능력이나 감정 표현 능력이 나이에 근거하여 평가될 수 있다. Evaluating the emotional data and semantic data by comparing them with the reference data (S400) includes reference data including voice and facial expression data acquired from normal people without autism spectrum disorder and semantics, emotions, and facial expressions analyzed by artificial intelligence. corresponds to the step of comparing In this step, the user's ability to express language or express emotions may be evaluated based on age.
콘텐츠의 종류 및 빈도 중 적어도 하나를 결정하는 치료 콘텐츠 시퀀스 생성 단계(S500)는 전 단계(S400)에서 획득된 평가결과를 기반으로 부족한 능력을 향상시키기 위한 치료 콘텐츠 시퀀스를 생성하는 단계에 해당한다. 즉 본 단계에서 두 가지 카테고리로 분류되는 언어 치료 콘텐츠와 감정 표현 치료 콘텐츠 중 어떤 치료 콘텐츠를 어떤 순서로 진행할지를 결정하게 된다. 또한 콘텐츠의 빈도와 전체 치료 시간을 결정할 수 있게 된다. The treatment content sequence generating step (S500) of determining at least one of the type and frequency of content corresponds to a step of generating a treatment content sequence for improving insufficient abilities based on the evaluation result obtained in the previous step (S400). That is, in this step, it is determined which of the language therapy content and the emotional expression therapy content classified into two categories, in which order to proceed. You will also be able to determine the frequency of content and the total treatment time.
한편, 본 단계(S500)에서 치료 콘텐츠 시퀀스는 사용자의 지속적인 치료 콘텐츠 노출에 따라 향상되는 능력을 기반으로 새롭게 갱신될 수 있다.Meanwhile, in this step (S500), the treatment content sequence may be newly updated based on the user's ability to be improved according to the user's continuous exposure to the treatment content.
도 5는 본 발명의 또 다른 실시예에 따른 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법의 순서도이다.5 is a flowchart of an AI-based customized content generation method for treating autism spectrum disorder according to another embodiment of the present invention.
본 실시예에서는 도 4를 참조하여 설명한 실시예에서 감정 데이터와 의미 데이터를 기준 데이터와 비교하여 평가하는 단계(S400)가 구체화 될 수 있다.In this embodiment, in the embodiment described with reference to FIG. 4 , the step of evaluating emotion data and semantic data by comparing them with reference data ( S400 ) may be embodied.
본 실시예에서 감정 데이터와 의미 데이터를 기준 데이터와 비교하여 평가하는 단계(S400)는 현재 사용자에게 노출된 콘텐츠의 종류를 판단하는 단계(S410)를 포함할 수 있다. 즉 획득된 반응 데이터가 어떠한 콘텐츠를 제공하여 획득된 데이터인지 판단할 수 있다. 사용자에게 노출된 콘텐츠가 감정 표현력 치료 콘텐츠인지, 언어 치료 콘텐츠 인지에 따라 이후 평가하는 과정이 달라질 수 있다. 감정 표현력 치료 콘텐츠는 일 예로서, 특정 감정을 유발하게 하는 영상을 보여주고, 주어진 대사를 따라하며 반응하도록 요구하는 영상일 수 있다. In the present embodiment, comparing and evaluating emotion data and semantic data with reference data (S400) may include determining the type of content currently exposed to the user (S410). That is, it is possible to determine what kind of content the obtained response data is obtained by providing. A subsequent evaluation process may be different depending on whether the content exposed to the user is emotional expression therapy content or speech therapy content. As an example, the emotional expressiveness treatment content may be an image that shows an image that induces a specific emotion and requires the user to respond while following a given line.
본 단계(S410)에서 감정 표현력 치료 콘텐츠를 사용자에게 노출시킨 것으로 판단된 경우 사용자의 감정 데이터와 기준 데이터를 비교하여 평가하는 단계(S420)가 수행될 수 있다. 감정 데이터와 기준 데이터를 비교하여 평가하는 단계(S420)는 인공지능을 이용하여 현재 사용자의 감정이 일반적인 정상인의 감정과 얼마나 유사한지, 얼굴 표정은 감정에 따라 적절하게 나타났지는를 판단할 수 있게 된다. 한편, 본 단계(S420)에서 사용자의 감정 표현이 적절하게 나타나지 않은 경우 기준 데이터로부터 현재 시현된 콘텐츠에 따라 나타나야 하는 정상 범위내의 기준 표정 및 기준 음성을 생성하여 사용자에게 노출시킬 수 있다. 결국 사용자에게는 마치 실제 치료사가 감정 표현을 치료하기 위해 지도하는 것과 같은 효과를 발휘할 수 있다.If it is determined in step S410 that the content for treating emotional expression is exposed to the user, a step of comparing and evaluating the user's emotion data and reference data (S420) may be performed. In the step of comparing and evaluating the emotion data and the reference data (S420), it is possible to determine how similar the emotion of the current user is to that of a general normal person using artificial intelligence, and whether the facial expression appears appropriately according to the emotion. . Meanwhile, in this step S420, when the user's emotional expression is not properly displayed, a standard expression and a standard voice within a normal range that should appear according to the currently displayed content may be generated from the standard data and exposed to the user. As a result, it can exert the same effect as a real therapist guiding to treat emotional expression for the user.
한편, 감정 데이터와 기준 데이터와 비교하여 평가하는 단계(S420)에서 본 단계에서 사용자의 감정이 적절하거나, 또는 적절하지 않게 경우 콘텐츠의 종류 및 빈도 중 적어도 하나를 결정하는 치료 콘텐츠 시퀀스 생성 단계(500)로 수행되어 판단 결과를 반영하여 시퀀스를 갱신할 수 있다. On the other hand, in the step of comparing and evaluating the emotion data with the reference data (S420), if the user's emotion is appropriate or not appropriate in this step, at least one of the type and frequency of the content is determined. ), the sequence can be updated by reflecting the judgment result.
한편, 사용자에게 노출된 콘텐츠의 종류를 판단하는 단계(S410)에서 현재 콘텐츠가 언어 치료 콘텐츠로 판단된 경우 의미 데이터를 기준 데이터와 비교하여 평가하는 단계(S440)가 수행될 수 있다. 본 단계(S440)에서는 인공지능에 의해 획득된 음성의 의미에 관한 정보를 근거로 기준 데이터와 비교하여 평가할 수 있게 된다. 본 단계(S440)에서의 평가 결과는 콘텐츠의 종류 및 빈도 중 적어도 하나를 결정하는 치료 콘텐츠 시퀀스 생성 단계(500)에 전달되어 치료 콘텐츠 시퀀스 갱신에 영향을 줄 수 있다.Meanwhile, when the current content is determined to be speech therapy content in the step of determining the type of content exposed to the user (S410), the step of comparing semantic data with reference data and evaluating it (S440) may be performed. In this step (S440), based on the information about the meaning of the voice obtained by artificial intelligence, it is possible to evaluate by comparing with reference data. The evaluation result in this step (S440) may be transmitted to the treatment content sequence generation step 500 that determines at least one of the type and frequency of the content, and may affect the update of the treatment content sequence.
도 6은 언어 치료 콘텐츠의 일 예를 도시한 개념도이다.6 is a conceptual diagram illustrating an example of speech therapy content.
도 6을 참조하면, 언어 치료 콘텐츠는 i)물체 그림을 보여주고 호명을 유도하기(도 6(a)), ii)사용자 자신의 이름을 부를 때 반응하기(도 6(b)), iii)질문에 대답하기(도 6(c)), iv)의사 전달을 요구하기(도 6(d))를 포함할 수 있다. 언어 치료 콘텐츠는 몰입감을 위하여 HMD를 이용하여 VR 환경에서 사용자에게 노출시킬 수 있다.Referring to FIG. 6, speech therapy content i) shows an object picture and induces a call (FIG. 6(a)), ii) responds when the user calls his or her name (FIG. 6(b)), iii) It may include answering questions (Fig. 6(c)), iv) requesting communication (Fig. 6(d)). Speech therapy content can be exposed to the user in a VR environment using an HMD for a sense of immersion.
도 7은 언어 치료 콘텐츠의 다른 예를 도시한 개념도이다.7 is a conceptual diagram illustrating another example of speech therapy content.
도 7을 참조하면, 화면상에 특정 상황에 대한 설명을 글자로 시현한 영상이 나타나 있다. 본 예시에서 선생님께서 "참 잘했네"라고 이야기한 상황은 문자 그대로 인식한 것과 숨은뜻은 서로 다르다. 이와 같은 반어법, 빈정거림, 은유가 있는 상황을 제시하여 언어 능력을 향상시킬 수 있게 된다. 한편, 이러한 문자 기반 치료는 사용자의 연령과 학습 수준을 고려하여 문자를 읽지 못하는 경우 치료 콘텐츠 시퀀스에서 제외시킬 수 있다.Referring to FIG. 7 , an image showing a description of a specific situation in letters is displayed on the screen. In this example, the situation in which the teacher said "You did a great job" is different from the literal recognition and the hidden meaning. You can improve your language skills by presenting situations with irony, sarcasm, and metaphors. Meanwhile, such character-based treatment can be excluded from the treatment content sequence when the user cannot read the text in consideration of the user's age and learning level.
이상에서 설명한 바와 같이, 본 발명에 따른 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법은 AI를 이용하여 분석한 환자의 발달수준, 언어능력을 나이에 맞춰 최적의 디지털 치료제를 제공한다. 따라서 사용자는 디지털 치료를 통해 환자는 사회적 의사소통 능력을 기를 수 있다.As described above, the artificial intelligence-based customized content creation method for the treatment of autism spectrum disorder according to the present invention provides an optimal digital therapeutic agent according to the age of the patient's developmental level and language ability analyzed using AI. Therefore, patients can develop social communication skills through digital therapy.
S100: 자폐스펙트럼장애가 있는 사용자에게 소정 콘텐츠를 노출시키는 단계
S200: 소정 콘텐츠에 대한 사용자의 반응을 데이터화하는 반응 데이터 획득 단계
S300: 인공지능에 의해 반응 데이터로부터 감정 데이터와 의미 데이터를 추출하는 단계
S400: 감정 데이터와 의미 데이터를 기준 데이터와 비교하여 평가하는 단계
S500: 콘텐츠의 종류 및 빈도 중 적어도 하나를 결정하는 치료 컨텐츠 시퀀스 생성 단계S100: Step of exposing predetermined content to a user with autism spectrum disorder
S200: Reaction data acquisition step of converting user's reaction to predetermined content into data
S300: Step of extracting emotion data and meaning data from response data by artificial intelligence
S400: Evaluating emotion data and semantic data by comparing them with reference data
S500: Treatment content sequence generation step of determining at least one of content type and frequency
Claims (10)
상기 소정 콘텐츠에 대한 상기 사용자의 반응을 데이터화하는 반응 데이터 획득 단계;
인공지능에 의해 상기 반응 데이터로부터 감정 데이터와 의미 데이터를 추출하는 단계;
상기 감정 데이터와 상기 의미 데이터를 장애가 없는 사람이 상기 소정 콘텐츠에 노출되었을 때 획득되는 기준 데이터와 비교하여 평가하는 단계를 포함하는 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법.Exposing predetermined content to a user with autism spectrum disorder;
a reaction data acquisition step of converting the user's reaction to the predetermined content into data;
extracting emotion data and semantic data from the reaction data by artificial intelligence;
An artificial intelligence-based customized content creation method for treating autism spectrum disorder, comprising evaluating the emotional data and the semantic data by comparing them with reference data obtained when a person without a disability is exposed to the predetermined content.
상기 평가하는 단계에서 획득한 평가 데이터를 기반으로 상기 사용자에게 노출시키는 콘텐츠의 종류 및 빈도 중 적어도 하나를 결정하는 치료 콘텐츠 시퀀스 생성 단계를 더 포함하는 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법.According to claim 1,
An artificial intelligence-based customized content generation method for treating autism spectrum disorder, further comprising a step of generating a treatment content sequence of determining at least one of the type and frequency of content to be exposed to the user based on the evaluation data obtained in the step of evaluating. .
상기 콘텐츠는 상기 자폐 스펙트럼 장애가 있는 사용자와 의사소통을 위한 적어도 하나의 영상을 포함하는 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법.According to claim 2,
The artificial intelligence-based customized content creation method for treating autism spectrum disorder, wherein the content includes at least one image for communication with the user with the autism spectrum disorder.
상기 반응 데이터는 상기 사용자가 상기 콘텐츠에 노출되었을 때 상기 사용자로부터 획득된 음성 데이터 및 얼굴 표정 데이터를 포함하는 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법.According to claim 3,
Wherein the response data includes voice data and facial expression data obtained from the user when the user is exposed to the content.
상기 감정 데이터와 의미 데이터를 추출하는 단계는,
얼굴 표정으로부터 감정을 추출하도록 학습된 표정분석 인공지능 및 음색에 따른 감정을 추출하도록 학습된 음색 분석 인공지능을 이용하여 상기 감정 데이터를 획득하는 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법.According to claim 4,
The step of extracting the emotion data and semantic data,
An artificial intelligence-based customized content creation method for the treatment of autism spectrum disorder in which the emotion data is obtained using expression analysis artificial intelligence learned to extract emotions from facial expressions and tone analysis artificial intelligence learned to extract emotions according to tones.
상기 감정 데이터와 의미 데이터를 추출하는 단계는,
음성 인식 인공지능을 이용하여 상기 음성 데이터로부터 의미를 획득하는 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법.According to claim 5,
The step of extracting the emotion data and semantic data,
An artificial intelligence-based customized content generation method for autism spectrum disorder treatment in which meaning is obtained from the voice data using speech recognition artificial intelligence.
상기 콘텐츠는 감정 표현력 치료 콘텐츠 및 언어 치료 콘텐츠를 포함하는 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법.According to claim 6,
The artificial intelligence-based customized content creation method for treating autism spectrum disorder, wherein the content includes emotional expressiveness treatment content and language treatment content.
상기 언어 치료 콘텐츠는 물체 그림을 보여주고 호명하기, 사용자의 이름을 부르기, 질문에 대답하기, 의사를 요구하기, 주어진 문장의 뜻을 파악하기 중 적어도 하나를 포함하는 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법.According to claim 7,
The speech therapy content is artificial intelligence for treating autism spectrum disorder, including at least one of showing and calling an object picture, calling a user's name, answering a question, asking a doctor, and figuring out the meaning of a given sentence. Based on how to create custom content.
상기 감정 표현력 치료 콘텐츠는, 특정 감정을 유발하는 상황에 대한 영상을 포함하는 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법.According to claim 7,
The artificial intelligence-based customized content creation method for treating autism spectrum disorder, wherein the emotional expressiveness treatment content includes an image of a situation that induces a specific emotion.
상기 평가하는 단계에서 상기 사용자의 상기 음색과 상기 표정이 상기 기준 데이터와 비교하여 부정확한 것으로 판단한 경우 상기 기준 데이터에 의한 기준 표정 및 기준 음성을 생성하는 단계; 및
상기 기준 표정 및 기준 음성을 영상에 시현하는 단계를 더 포함하는 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법.According to claim 9,
generating a reference facial expression and a reference voice based on the reference data when it is determined that the tone of voice and the facial expression of the user are inaccurate compared to the reference data in the evaluating step; and
An artificial intelligence-based customized content creation method for treating autism spectrum disorder, further comprising displaying the reference facial expression and reference voice on an image.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220014847A KR20230118736A (en) | 2022-02-04 | 2022-02-04 | Artificial intelligence-based customized content creation method for the treatment of autism spectrum disorder |
| PCT/KR2022/020414 WO2023149652A1 (en) | 2022-02-04 | 2022-12-15 | Artificial intelligence-based customized content generating method for treating autism spectrum disorder |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220014847A KR20230118736A (en) | 2022-02-04 | 2022-02-04 | Artificial intelligence-based customized content creation method for the treatment of autism spectrum disorder |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230118736A true KR20230118736A (en) | 2023-08-14 |
Family
ID=87552584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220014847A KR20230118736A (en) | 2022-02-04 | 2022-02-04 | Artificial intelligence-based customized content creation method for the treatment of autism spectrum disorder |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230118736A (en) |
| WO (1) | WO2023149652A1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180029967A (en) | 2015-05-22 | 2018-03-21 | 아리조나 보드 오브 리젠츠 온 비하프 오브 아리조나 스테이트 유니버시티 | How to Treat Autism Spectrum Disorders and Related Symptoms |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101397287B1 (en) * | 2012-02-16 | 2014-05-21 | 충남대학교산학협력단 | Emotion induction system regularited emotion intensity level and inducing emotion method thereof |
| KR101276097B1 (en) * | 2012-11-16 | 2013-06-18 | (주) 피디케이리미티드 | Simulator and simulation method for treating adhd |
| CN111326253A (en) * | 2018-12-14 | 2020-06-23 | 深圳先进技术研究院 | Method for evaluating multi-modal emotional cognitive ability of patients with autism spectrum disorder |
| KR102350752B1 (en) * | 2019-11-20 | 2022-01-13 | 장은영 | Caring device using robot |
| KR102337008B1 (en) * | 2021-02-24 | 2021-12-17 | 에이아이큐브 주식회사 | Method for sensing pain of newborn baby using convolution neural network |
-
2022
- 2022-02-04 KR KR1020220014847A patent/KR20230118736A/en not_active Application Discontinuation
- 2022-12-15 WO PCT/KR2022/020414 patent/WO2023149652A1/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180029967A (en) | 2015-05-22 | 2018-03-21 | 아리조나 보드 오브 리젠츠 온 비하프 오브 아리조나 스테이트 유니버시티 | How to Treat Autism Spectrum Disorders and Related Symptoms |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023149652A1 (en) | 2023-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240168933A1 (en) | Ai story platform with customizable personality for education, entertainment, and therapy | |
| US20150072322A1 (en) | Situated simulation for training, education, and therapy | |
| EP2384499A2 (en) | A method and system for developing language and speech | |
| Catania et al. | CORK: A COnversational agent framewoRK exploiting both rational and emotional intelligence | |
| WO2022182064A1 (en) | Conversation learning system using artificial intelligence avatar tutor, and method therefor | |
| CN117635383A (en) | Virtual teacher and multi-person cooperative talent training system, method and equipment | |
| KR20230118736A (en) | Artificial intelligence-based customized content creation method for the treatment of autism spectrum disorder | |
| KR102468833B1 (en) | Artificial Intelligence-based Mirror Counseling Method for Depression Treatment | |
| KR102325506B1 (en) | Virtual reality-based communication improvement system and method | |
| KR102503488B1 (en) | Collaborative methods and systems for the diagnosis and treatment of developmental disorders | |
| KR20210151714A (en) | Virtual therapist's developmental disorder diagnosis/treatment method and system | |
| KR102245941B1 (en) | Continuous conversation-based developmental disability testing system and method | |
| JP2023534799A (en) | Conversation-based mental disorder screening method and apparatus | |
| Alhinti et al. | The Dysarthric expressed emotional database (DEED): An audio-visual database in British English | |
| Walker et al. | Automatic speech recognition for CALL: A task-specific application for training nurses | |
| Viviani et al. | The perception of visible speech: estimation of speech rate and detection of time reversals | |
| Ots | Cognitive constraints on advance planning of sentence intonation | |
| US20240127824A1 (en) | Identifying silent speech using recorded speech | |
| US20240079012A1 (en) | Providing private answers to non-vocal questions | |
| CN112908362B (en) | System based on acquisition robot terminal, method and medium | |
| Shen | Effectiveness of Audiovisual Training on Non-Native English Speech Production and Perception | |
| Teófilo | Enabling deaf or hard of hearing accessibility in live theaters through virtual reality | |
| Huttunen et al. | Enhancing Independent Auditory and Speechreading Training–Two Finnish Free Mobile Applications Constructed for Deaf and Hard of Hearing Children and Adults | |
| Alhinti | Dysarthric speech emotion classification | |
| JP2024008205A (en) | Evaluation method, evaluation device, and evaluation program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |