CN111326253A - 自闭症谱系障碍患者的多模态情感认知能力的评估方法 - Google Patents

自闭症谱系障碍患者的多模态情感认知能力的评估方法 Download PDF

Info

Publication number
CN111326253A
CN111326253A CN201811531585.4A CN201811531585A CN111326253A CN 111326253 A CN111326253 A CN 111326253A CN 201811531585 A CN201811531585 A CN 201811531585A CN 111326253 A CN111326253 A CN 111326253A
Authority
CN
China
Prior art keywords
scene
autism spectrum
emotion
statistical analysis
patients
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811531585.4A
Other languages
English (en)
Inventor
王岚
燕楠
王建英
苏琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201811531585.4A priority Critical patent/CN111326253A/zh
Priority to PCT/CN2019/117032 priority patent/WO2020119355A1/zh
Priority to US16/980,854 priority patent/US20210015416A1/en
Priority to EP19897520.3A priority patent/EP3748649A4/en
Publication of CN111326253A publication Critical patent/CN111326253A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/167Personality evaluation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4803Speech analysis specially adapted for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)

Abstract

本发明涉及一种自闭症谱系障碍患者的多模态情感认知能力的评估方法,主要包括以下步骤:1)设置多模态评估环境;所述多模态评估环境用于对被测对象进行刺激,所述多模态评估环境包括:视觉场景、言语交流场景、情感交流场景;2)采集多模态评估信息;所述评估信息包括:被测对象的智力信息、行为数据和眼动数据;3)进行统计分析,得出被测对象的情感认知能力;进行统计分析包括:对行为数据进行统计分析,对眼动数据统计分析,对行为数据和眼动数据相结合进行统计分析。本发明一种自闭症谱系障碍患者的多模态情感认知能力的评估方法,在原本人工评估的基础上增加了客观评估的途径,为精确而有效地评估患者社会交往、情感认知能力提供证据。

Description

自闭症谱系障碍患者的多模态情感认知能力的评估方法
技术领域
本发明涉及一种基于眼动技术的自闭症谱系障碍患者的多模态情感认知能力的评估方法。
背景技术
近年来,在对自闭症谱系障碍的研究中普遍认为自闭症谱系障碍患者具有行为刻板、社交障碍等特征,而社交障碍又和情绪感知紧密相连,社交障碍导致自闭症谱系障碍患者具有一定的情绪感知缺陷,而这一缺陷又反过来加剧了自闭症谱系障碍患者的社交障碍。所以越来越多的研究开始关注自闭症谱系障碍患者的社会交往、情感识别的能力。
目前,最普遍的评估方式为人工评估方法,人工评估过程耗时较长,对医生的能力水平要求较高,评估时由于患者的配合程度、个体差异经常会出现患者不配合的情况,难以打分;同时由于自闭症谱系障碍患者具有异质性,无法通过某一项检查来确诊,只能根据症状学特征、病史资料和社会功能来确诊,所以评估结果的主观因素和不可控因素较多。
发明内容
为解决上述背景技术中存在的问题,本发明提出一种自闭症谱系障碍患者的多模态情感认知能力的评估方法,在原本人工评估的基础上增加了客观评估的途径,为精确而有效地评估患者社会交往、情感认知能力提供证据。
本发明解决上述问题的技术方案是:一种自闭症谱系障碍患者的多模态情感认知能力的评估方法,其特殊之处在于,包括以下步骤:
1)设置多模态评估环境
所述多模态评估环境用于对被测对象进行刺激,
所述多模态评估环境包括:视觉场景、言语交流场景、情感交流场景;
2)采集多模态评估信息
所述评估信息包括:被测对象的智力信息、行为数据和眼动数据;
3)进行统计分析,得出被测对象的情感认知能力;
进行统计分析包括:对行为数据进行统计分析,对眼动数据统计分析,对行为数据和眼动数据相结合进行统计分析。
进一步地,上述步骤1)中,
所述视觉场景包括真实场景和/或虚拟场景;在真实场景中,使用生活化的动态的视频作为刺激材料,能够展现人物在现实生活中真实的情感;虚拟场景,利用一个灵活的,自动合成的三维虚拟说话人头像作为刺激材料,能够真实的模拟人机交互过程中,人与机器人之间实时的、动态的言语表达并带有相对应面部表情的交流。
进一步地,上述步骤1)中,
所述言语交流场景包括单人说话场景和/或多人交流场景;单人说话场景指只出现一个人的视频作为刺激材料,是以特写的方式描述,能够细微地表现人物的面部表情;在多人交流场景中,使用场景中出现多人言语交流和情感表达的视频作为刺激材料,能够体现人与人之间是通过言语交流或互动进行情感交流。
进一步地,上述步骤1)中,
所述情感交流场景包括单句场景和/或对话场景;单句场景是指在视频材料中,不同的刺激材料的话是相互独立的,通过只说一句话就能体现出人物内心的情感;对话场景是指在视频材料中,人物之间是有对话的、有语境的,根据不同的情境,体现不同的情感。
进一步地,上述步骤2)中,
采集智力信息具体为:通过询问方式记录被测对象本人或其监护人关于性别、实际年龄、心理年龄、言语能力的基本信息,以及以智力测评的方式获得智力信息和认知信息等。
进一步地,上述步骤2)中,
采集行为数据具体为:利用音视频采集设备全程记录自闭症谱系障碍患者在进行不同场景下进行情绪识别时的行为动作,包括某些特殊行为,如自言自语、情绪失控、重复性语言等,同时,记录自闭症谱系障碍患者在进行情绪识别时做出的判断。
进一步地,上述步骤2)中,
采集眼动数据具体为:被测对象在观看视频材料时的眼动数据,眼动数据包括焦点图、热点图、眼动轨迹和瞳孔大小。
进一步地,上述步骤3)中,
对行为数据进行统计分析具体为:根据自闭症谱系障碍患者在进行情绪识别时做出的判断,统计自闭症谱系障碍患者在不同情绪下的情绪感知判断准确率;利用统计分析方法分析自闭症谱系障碍患者在观看正面情绪和负面情绪之间的差异性;同时,利用相关性分析方法分析自闭症谱系障碍患者的智力信息与情绪感知判断准确率之间的相关性。
进一步地,上述步骤3)中,
对眼动数据统计分析,根据采集到的眼动数据,计算自闭症谱系障碍患者在观看视频刺激材料中的兴趣区(如眼睛、嘴巴和脸等兴趣区)的进入时间、注视时间和注视点个数;利用统计分析方法分析自闭症谱系障碍患者对不同兴趣区的进入时间、注视时间和注视点个数的差异性;同时,利用相关性分析方法分析自闭症谱系障碍患者的智力信息与自闭症谱系障碍患者对不同兴趣区的进入时间、注视时间和注视点个数的相关性。
进一步地,上述步骤3)中,
对行为数据和眼动数据相结合进行统计分析具体为:根据行为数据中统计的自闭症谱系障碍患者在不同情绪下的情绪感知判断准确率以及自闭症谱系障碍患者对不同兴趣区的进入时间、注视时间和注视点个数等眼动生理数据,利用统计分析方法分析情绪感知判断准确率和在不同兴趣区的进入时间、注视时间和注视点个数等的差异性;同时,利用相关性分析方法分析情绪感知判断准确率与在不同兴趣区的进入时间、注视时间和注视点个数等之间的相关性。
本发明的优点:
1)在刺激材料的设计中,采用真实场景、虚拟场景、多人场景、单人场景、单句场景以及具有上下文的场景等多种设计,而且在以上各类场景的基础上调节场景中人物面部的不同的情绪强度,全方位的,综合的评估自闭症谱系障碍患者的社会认知和情绪识别的能力,从不同的角度,可以看到自闭症谱系障碍患者在情绪识别的多方面存在缺陷或某一方面具有明显缺陷;
2)由于眼动跟踪是非侵入性的,被评估者不需要佩戴任何装置,在评估过程中,不会感到不适而放弃评估,同时,记录的生理数据为被评估者在自然状态下的反应,更能真实反映被评估者的社交能力;
3)主观和客观的评估相结合,采用客观的统计学分析方法分析自闭症谱系障碍患者的生理数据,与传统的评估量表相比较,具有流程简单,易操作,周期性短,不受医生的能力和经验以及当地医疗水平的限制,可作为评定标准进行评估;
4)眼动数据和行为数据的多模态信息融合评估,可充分利用眼动数据和行为数据各自进行评估时所展现的优势综合评估自闭症谱系障碍患者的社交能力,使得评估方法可靠,结果准确;
5)自闭症谱系障碍患者的社会认知和情绪识别的评估结果表现在主观感知判断正确率明显低于正常发展对照组,更少的关注情绪识别的眼睛、面部等核心区域,且自闭症谱系障碍患者的心理年龄与主观感知判断正确率具有正相关,面部区域的注视点和注意时间都和心理年龄呈正相关。
附图说明
图1是本发明一种自闭症谱系障碍患者的多模态情感认知能力的评估方法流程图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。因此,以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
一种自闭症谱系障碍患者的多模态情感认知能力的评估方法,其特殊之处在于,包括以下步骤:
1)设置多模态评估环境
所述多模态评估环境用于对被测对象进行刺激,
所述多模态评估环境包括:视觉场景、言语交流场景、情感交流场景;
为了能够客观的评估自闭症谱系障碍患者在社会认知和情绪识别的能力,而且能够适用于不同年龄段,不同发育水平,又能够受当地医疗水平的局限,即使是医生能力不足或者经验不够的情况下,也能够准确的评估自闭症谱系障碍患者,本发明在刺激材料的设计中,采用动态、特定和人为加工的场景作为刺激材料,具体为:
上述步骤1)中,所述视觉场景包括真实场景和/或虚拟场景;在真实场景中,使用生活化的动态的视频作为刺激材料,能够展现人物在现实生活中真实的情感;虚拟场景,利用一个灵活的,自动合成的三维虚拟说话人头像作为刺激材料,能够真实的模拟人机交互过程中,人与机器人之间实时的、动态的言语表达并带有相对应面部表情的交流。自闭症谱系障碍患者无法像普通人一样与别人进行眼神接触,但是通过创造的虚拟场景,自闭症谱系障碍患者能在与虚拟人物的互动中获得锻炼,从而探索模拟的相对真实场景较简单的虚拟场景是否能够在自闭症谱系障碍患者的情感识别的过程中提供更有效的信息。
上述步骤1)中,所述言语交流场景包括单人说话场景和/或多人交流场景;单人说话场景指只出现一个人的视频作为刺激材料,是以特写的方式描述,能够细微地表现人物的面部表情;在多人交流场景中,使用场景中出现多人言语交流和情感表达的视频作为刺激材料,能够体现人与人之间是通过言语交流或互动进行情感交流。设计此类场景作为刺激材料探索自闭症谱系障碍患者在单一与多人两种场景下的情绪识别和社会交往能力的异同。
上述步骤1)中,所述情感交流场景包括单句场景和/或对话场景;单句场景是指在视频材料中,不同的刺激材料的话是相互独立的,通过只说一句话就能体现出人物内心的情感;对话场景是指在视频材料中,人物之间是有对话的、有语境的,根据不同的情境,体现不同的情感。设计此类场景作为刺激材料,探索自闭症谱系障碍患者在理解说话的内容上以及在不同情境下每句话中所表达的情感上的能力。
本发明在以上的各类场景的基础上,调节场景中人物的不同的表情强度,其中,表情强度分为低强度、中强度和高强度三种强度等级。使用不同表情强度的视频作为刺激材料,通过分析不同表情强度对自闭症谱系障碍患者的影响,不同强度下的刺激材料也会对自闭症谱系障碍患者有更加全面的评估,能够准确的了解到自闭症谱系障碍患者在哪一层面存在缺陷,使得评估更加精细化。
本发明通过设计不同的刺激材料,进行全方位的,综合的评估自闭症谱系障碍患者的社会认知和情绪识别的能力。根据不同的角度,可以看到自闭症谱系障碍患者在情绪识别的多方面存在缺陷或某一方面具有明显缺陷。在数据获取方案初步设之后,本发明进行了数据获取的预实验,在预实验的结果分析中进一步调整实验方案和刺激材料的设计,最终形成实验方案。
2)采集多模态评估信息
本发明旨在采集自闭症谱系障碍患者的主观数据和客观数据,主客观数据主要从以下三个方面来进行采集:
本发明采集自闭症谱系障碍患者的智力信息:通过询问方式记录自闭症谱系障碍患者本人或其监护人关于性别、实际年龄、心理年龄、言语能力等的一些基本信息,以及以智力测评的方式获得自闭症谱系障碍患者智力信息和认知信息等;
本发明采集自闭症谱系障碍患者的行为数据:利用一个音视频采集设备全程记录自闭症谱系障碍患者在进行不同场景下进行情绪识别时的行为动作,包括某些特殊行为,如自言自语、情绪失控、重复性语言等,同时,记录自闭症谱系障碍患者在进行情绪识别时做出的判断;
本发明采集自闭症谱系障碍患者的眼动数据:利用眼动技术实时记录自闭症谱系障碍患者的注视信息,实验在独立安静的房间内进行,在正式实验开始前,自闭症谱系障碍患者眼睛与屏幕中心持平,距离约为60cm,每次实验之前进行校准,校准成功后才能进行正式实验。在正式实验过程中,被试显示屏上会呈现一系列某一场景下的视频刺激材料,自闭症谱系障碍患者被要求观看视频刺激材料,每当观看完一个视频刺激材料之后,需要判断视频刺激材料所表达的情感,并选择标签为对应情绪的按键,眼动仪采集被试在观看视频材料时的眼动数据,包括焦点图、热点图、眼动轨迹和瞳孔大小等。
3)进行统计分析,得出被测对象的情感认知能力;
本发明旨在将主观和客观相结合,来综合评估自闭症谱系障碍患者的社会认知和情绪识别的能力。数据分析主要从以下三个方面:
1、行为数据统计分析:根据自闭症谱系障碍患者在进行情绪识别时做出的判断,统计自闭症谱系障碍患者在不同情绪下的情绪感知判断准确率。利用统计分析方法分析自闭症谱系障碍患者在观看正面情绪和负面情绪之间的差异性。同时,利用相关性分析方法分析自闭症谱系障碍患者的智力信息与情绪感知判断准确率之间的相关性。
2、眼动数据统计分析:根据采集到的眼动数据,计算自闭症谱系障碍患者在观看视频刺激材料中的兴趣区(如眼睛、嘴巴和脸等兴趣区)的进入时间、注视时间和注视点个数。利用统计分析方法分析自闭症谱系障碍患者对不同兴趣区的进入时间、注视时间和注视点个数等的差异性。同时,利用相关性分析方法分析自闭症谱系障碍患者的智力信息与自闭症谱系障碍患者对不同兴趣区的进入时间、注视时间和注视点个数等的相关性。
3、行为数据和眼动数据相结合进行统计分析:根据行为数据中统计的自闭症谱系障碍患者在不同情绪下的情绪感知判断准确率以及自闭症谱系障碍患者对不同兴趣区的进入时间、注视时间和注视点个数等眼动生理数据,利用统计分析方法分析情绪感知判断准确率和在不同兴趣区的进入时间、注视时间和注视点个数等的差异性。同时,利用相关性分析方法分析情绪感知判断准确率与在不同兴趣区的进入时间、注视时间和注视点个数等之间的相关性。
在自闭症谱系障碍患者评估过程中,通过融合大自闭症谱系障碍患者的智力信息、行为数据以及眼动数据三者,通过运用大量的数据分析得出规律来进行评估。在各地区医疗发展不平衡而受到限制的情况下,可作为评定标准进行评估。
本发明经过三次实验验证:
第一次使用生活化的动态的视频对中等功能的自闭症谱系障碍儿童患者进行评估测试,实验结果显示出自闭症谱系障碍患者的情绪识别障碍以及与正常对照组的眼动生理数据之间的差异,与正常对照组相比自闭症谱系障碍患者对眼睛、嘴巴、面部其他区域的注视和兴趣明显减少,更加偏向于社会认知以及情绪识别中不具有社会性意义的背景中,而且自闭症谱系障碍患者对不同类别的情绪,具有不同的表现,自闭症谱系障碍患者更加擅长正面情绪的认知,负面情绪也需要更多的注意力去解读。
第二次同样使用生活化的动态的视频,对高功能的自闭症谱系障碍儿童患者进行评估测试,同时增加卡式智力测评来探索本专利的可靠性和普适性,实验结果表明自闭症谱系障碍患者具有社会认知和情绪识别的缺陷,主观感知判断正确率明显低于对照组。眼动数据分析表明,自闭症谱系障碍患者在情绪识别的过程中与典型发展被试相比更少的关注情绪识别的某些核心区域(眼睛、面部),但是在嘴巴上并无差异。而且自闭症谱系障碍患者的心理年龄(卡式智力测评得分)与主观感知判断正确率具有正相关。面部区域的注视点和注意时间都和心理年龄呈正相关,心理年龄分数越高,判断正确率越高,面部的注视时间及注视点越多,再一次证明的本发明的可靠性。
第三次使用有上下文对话和强度变化的动态的不同情绪的三维虚拟说话人头像视频,对自闭症谱系障碍儿童患者进行评估测试,三维虚拟说话人头像由一个灵活的,自动合成的,它是实时的、动态的和带言语交流功能的三维情感面部表达系统,能够真实的模拟人机交互过程中人与机器人之间的带言语的并有面部表情的情感交流。采集自闭症患者观看有上下文对话和强度变化的动态的三维虚拟说话人头像视频时的眼动生理数据,采用数学统计分析方法分析和比较自闭症患者和正常对照组在观看3D虚拟说话人头像视频时的注视方式与正常对照组的差异性以及自闭症患者的主观感知判断正确率与动态的3D虚拟说话人头像的情感强度变化的关系,得到自闭症患者对有上下文对话和强度变化的动态的3D虚拟说话人头像的情感感知情况,从而对自闭症患者进行合理化评估社会认知能力和情感感知程度。
以上所述仅为本发明的实施例,并非以此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的系统领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种自闭症谱系障碍患者的多模态情感认知能力的评估方法,其特征在于,包括以下步骤:
1)设置多模态评估环境
所述多模态评估环境用于对被测对象进行刺激,
所述多模态评估环境包括:视觉场景、言语交流场景、情感交流场景;
2)采集多模态评估信息
所述评估信息包括:被测对象的智力信息、行为数据和眼动数据;
3)进行统计分析,得出被测对象的情感认知能力;
进行统计分析包括:对行为数据进行统计分析,对眼动数据统计分析,对行为数据和眼动数据相结合进行统计分析。
2.根据权利要求1所述的一种自闭症谱系障碍患者的多模态情感认知能力的评估方法,其特征在于:步骤1)中,
所述视觉场景包括真实场景和/或虚拟场景;在真实场景中,使用生活化的动态的视频作为刺激材料,展现人物在现实生活中真实的情感;虚拟场景,利用自动合成的三维虚拟说话人头像作为刺激材料,能够真实的模拟人机交互过程中,人与机器人之间实时的、动态的言语表达并带有相对应面部表情的交流。
3.根据权利要求1所述的一种自闭症谱系障碍患者的多模态情感认知能力的评估方法,其特征在于:步骤1)中,
所述言语交流场景包括单人说话场景和/或多人交流场景;单人说话场景指只出现一个人的视频作为刺激材料,是以特写的方式描述,能够细微地表现人物的面部表情;在多人交流场景中,使用场景中出现多人言语交流和情感表达的视频作为刺激材料,能够体现人与人之间是通过言语交流或互动进行情感交流。
4.根据权利要求1所述的一种自闭症谱系障碍患者的多模态情感认知能力的评估方法,其特征在于:步骤1)中,
所述情感交流场景包括单句场景和/或对话场景;单句场景是指在视频材料中,不同的刺激材料的话是相互独立的,通过只说一句话就能体现出人物内心的情感;对话场景是指在视频材料中,人物之间是有对话的、有语境的,根据不同的情境,体现不同的情感。
5.根据权利要求1-4任一所述的一种自闭症谱系障碍患者的多模态情感认知能力的评估方法,其特征在于:步骤2)中,
采集智力信息具体为:通过询问方式记录被测对象本人或其监护人关于性别、实际年龄、心理年龄、言语能力的基本信息,以及以智力测评的方式获得智力信息和认知信息。
6.根据权利要求5所述的一种自闭症谱系障碍患者的多模态情感认知能力的评估方法,其特征在于:步骤2)中,
采集行为数据具体为:利用一个音视频采集设备全程记录被测对象在进行不同场景下进行情绪识别时的行为动作,包括自言自语、情绪失控、重复性语言,同时,记录被测对象在进行情绪识别时做出的判断。
7.根据权利要求6所述的一种自闭症谱系障碍患者的多模态情感认知能力的评估方法,其特征在于:步骤2)中,
采集眼动数据具体为:被测对象在观看视频材料时的眼动数据,眼动数据包括焦点图、热点图、眼动轨迹和瞳孔大小。
8.根据权利要求7所述的一种自闭症谱系障碍患者的多模态情感认知能力的评估方法,其特征在于:步骤3)中,
对行为数据进行统计分析具体为:根据被测对象在进行情绪识别时做出的判断,统计被测对象在不同情绪下的情绪感知判断准确率;利用统计分析方法分析被测对象在观看正面情绪和负面情绪之间的差异性;同时,利用相关性分析方法分析被测对象的智力信息与情绪感知判断准确率之间的相关性。
9.根据权利要求8所述的一种自闭症谱系障碍患者的多模态情感认知能力的评估方法,其特征在于:步骤3)中,
对眼动数据统计分析,根据采集到的眼动数据,计算被测对象在观看视频刺激材料中的兴趣区的进入时间、注视时间和注视点个数;利用统计分析方法分析被测对象对不同兴趣区的进入时间、注视时间和注视点个数的差异性;同时,利用相关性分析方法分析被测对象的智力信息与被测对象对不同兴趣区的进入时间、注视时间和注视点个数的相关性。
10.根据权利要求9所述的一种自闭症谱系障碍患者的多模态情感认知能力的评估方法,其特征在于:步骤3)中,
对行为数据和眼动数据相结合进行统计分析具体为:根据行为数据中统计的被测对象在不同情绪下的情绪感知判断准确率以及被测对象对不同兴趣区的进入时间、注视时间和注视点个数眼动生理数据,利用统计分析方法分析情绪感知判断准确率和在不同兴趣区的进入时间、注视时间和注视点个数等的差异性;同时,利用相关性分析方法分析情绪感知判断准确率与在不同兴趣区的进入时间、注视时间和注视点个数之间的相关性。
CN201811531585.4A 2018-12-14 2018-12-14 自闭症谱系障碍患者的多模态情感认知能力的评估方法 Pending CN111326253A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811531585.4A CN111326253A (zh) 2018-12-14 2018-12-14 自闭症谱系障碍患者的多模态情感认知能力的评估方法
PCT/CN2019/117032 WO2020119355A1 (zh) 2018-12-14 2019-11-11 自闭症谱系障碍患者的多模态情感认知能力的评估方法
US16/980,854 US20210015416A1 (en) 2018-12-14 2019-11-11 Method for evaluating multi-modal emotion cognition capability of patient with autism spectrum disorder
EP19897520.3A EP3748649A4 (en) 2018-12-14 2019-11-11 METHOD OF EVALUATING THE ABILITY OF MULTIMODAL EMOTIONAL UNDERSTANDING OF A PATIENT WITH A SPECTRUM AUTISM DISORDER

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811531585.4A CN111326253A (zh) 2018-12-14 2018-12-14 自闭症谱系障碍患者的多模态情感认知能力的评估方法

Publications (1)

Publication Number Publication Date
CN111326253A true CN111326253A (zh) 2020-06-23

Family

ID=71075387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811531585.4A Pending CN111326253A (zh) 2018-12-14 2018-12-14 自闭症谱系障碍患者的多模态情感认知能力的评估方法

Country Status (4)

Country Link
US (1) US20210015416A1 (zh)
EP (1) EP3748649A4 (zh)
CN (1) CN111326253A (zh)
WO (1) WO2020119355A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113080964A (zh) * 2021-03-12 2021-07-09 广州市启路健康科技有限公司 一种基于干预机器人的自闭数据处理方法及装置
CN113269079A (zh) * 2021-05-20 2021-08-17 北京阿叟阿巴科技有限公司 基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置及系统
CN113729710A (zh) * 2021-09-26 2021-12-03 华南师范大学 一种融合多生理模态的实时注意力评估方法及系统
CN117954100A (zh) * 2024-03-26 2024-04-30 天津市品茗科技有限公司 一种基于用户行为的认知能力测试和训练方法及系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112674770B (zh) * 2020-12-22 2021-09-21 北京科技大学 基于图像的显著性差异和情绪分析的抑郁人群眼动鉴别方法
CN113082448A (zh) * 2021-04-02 2021-07-09 北方工业大学 基于脑电信号和眼动仪的虚拟沉浸式自闭症儿童治疗系统
CN113143296B (zh) * 2021-04-20 2022-08-30 上海外国语大学 沟通障碍的智能评估方法及评估系统
CN113392918A (zh) * 2021-06-24 2021-09-14 哈尔滨理工大学 一种基于多源信息融合的抑郁障碍相关因素识别方法
CN113974631A (zh) * 2021-12-03 2022-01-28 中国科学院心理研究所 一种基于生理信号识别与分析的孤独症计算机辅助诊断系统
CN114305420A (zh) * 2021-12-30 2022-04-12 上海卓道医疗科技有限公司 一种认知康复训练评估系统及方法
CN114469091A (zh) * 2022-01-27 2022-05-13 杭州行熠科技有限公司 一种自闭症辅助诊断方法、系统、设备及介质
KR20230118736A (ko) * 2022-02-04 2023-08-14 주식회사 히포티앤씨 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법
US11903711B2 (en) 2022-06-09 2024-02-20 EarliTec Diagnostics, Inc. Assessing developmental disorders via eye tracking
CN115607800B (zh) * 2022-10-18 2024-01-23 北京中科心研科技有限公司 一种标准化多模态心理压力诱发装置及方法
CN115990016B (zh) * 2022-12-02 2024-04-19 天津大学 一种基于眼动特征的孤独特质程度检测装置
CN117854714B (zh) * 2024-03-07 2024-05-24 之江实验室 一种基于眼动追踪的信息推荐方法以及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050019734A1 (en) * 2001-11-20 2005-01-27 Avi Peled System and method for diagnosis of mental disorders
CN102354349A (zh) * 2011-10-26 2012-02-15 华中师范大学 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统
CN103177170A (zh) * 2011-12-21 2013-06-26 中国移动通信集团四川有限公司 一种采集用户眼动的热点分析方法和系统
CN103258450A (zh) * 2013-03-22 2013-08-21 华中师范大学 面向孤独症儿童的智能学习平台
CN103680246A (zh) * 2013-12-17 2014-03-26 西南交通大学 基于视觉注意分配的驾驶安全性考核测评系统
US20150099946A1 (en) * 2013-10-09 2015-04-09 Nedim T. SAHIN Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
CN106529467A (zh) * 2016-11-07 2017-03-22 南京邮电大学 基于多特征融合的群体行为识别方法
US20170188930A1 (en) * 2014-09-10 2017-07-06 Oregon Health & Science University Animation-based autism spectrum disorder assessment
CN107015633A (zh) * 2015-10-14 2017-08-04 国立民用航空学院 凝视跟踪界面中的历史表示
US20170319123A1 (en) * 2016-05-06 2017-11-09 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Using Mobile and Wearable Video Capture and Feedback Plat-Forms for Therapy of Mental Disorders
CN108937970A (zh) * 2018-06-06 2018-12-07 姜涵予 一种评测情感状态的方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180184964A1 (en) * 2014-06-30 2018-07-05 Cerora, Inc. System and signatures for a multi-modal physiological periodic biomarker assessment
CN105279387B (zh) * 2015-11-17 2018-08-21 东南大学 一种面向孤独症谱系障碍儿童的执行功能评测与训练系统
CN108919950A (zh) * 2018-06-26 2018-11-30 上海理工大学 基于Kinect的孤独症儿童互动影像装置及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050019734A1 (en) * 2001-11-20 2005-01-27 Avi Peled System and method for diagnosis of mental disorders
CN102354349A (zh) * 2011-10-26 2012-02-15 华中师范大学 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统
CN103177170A (zh) * 2011-12-21 2013-06-26 中国移动通信集团四川有限公司 一种采集用户眼动的热点分析方法和系统
CN103258450A (zh) * 2013-03-22 2013-08-21 华中师范大学 面向孤独症儿童的智能学习平台
US20150099946A1 (en) * 2013-10-09 2015-04-09 Nedim T. SAHIN Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
CN103680246A (zh) * 2013-12-17 2014-03-26 西南交通大学 基于视觉注意分配的驾驶安全性考核测评系统
US20170188930A1 (en) * 2014-09-10 2017-07-06 Oregon Health & Science University Animation-based autism spectrum disorder assessment
CN107015633A (zh) * 2015-10-14 2017-08-04 国立民用航空学院 凝视跟踪界面中的历史表示
US20170319123A1 (en) * 2016-05-06 2017-11-09 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Using Mobile and Wearable Video Capture and Feedback Plat-Forms for Therapy of Mental Disorders
CN106529467A (zh) * 2016-11-07 2017-03-22 南京邮电大学 基于多特征融合的群体行为识别方法
CN108937970A (zh) * 2018-06-06 2018-12-07 姜涵予 一种评测情感状态的方法及装置

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
刘翠娟;刘箴;刘婷婷;陆涛;方昊;刘良平;: "虚拟现实在焦虑症和自闭症治疗中的应用研究" *
刘艳丽,郭庆兰,田英军,许贵刚,李忠祥,刘禄明,付新峰,都基权,项志勇,徐希国: "新兵心理检测表的编制和应用", 中国行为医学科学 *
李佳婧;周燕珉;: "失智特殊护理单元公共空间设计对老人行为的影响――以北京市两所养老设施为例", 南方建筑 *
毛艳;: "多感官刺激对老年期痴呆患者精神行为症状、认知功能及生活质量的影响分析", 中国医学前沿杂志(电子版) *
白玲玲;郭津;: "儿童感觉统合失调及其治疗的研究进展", 现代医药卫生 *
邹冰;: "儿童孤独症与特定性言语和语言发育障碍的鉴别诊断", 中国儿童保健杂志 *
陈靓影 等: "为提高孤独症儿童社会互动能力的人机交互学习活动设计与实现" *
饶元;吴连伟;王一鸣;冯聪;: "基于语义分析的情感计算技术研究进展" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113080964A (zh) * 2021-03-12 2021-07-09 广州市启路健康科技有限公司 一种基于干预机器人的自闭数据处理方法及装置
CN113269079A (zh) * 2021-05-20 2021-08-17 北京阿叟阿巴科技有限公司 基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置及系统
CN113269079B (zh) * 2021-05-20 2024-01-05 北京阿叟阿巴科技有限公司 基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置及系统
CN113729710A (zh) * 2021-09-26 2021-12-03 华南师范大学 一种融合多生理模态的实时注意力评估方法及系统
CN117954100A (zh) * 2024-03-26 2024-04-30 天津市品茗科技有限公司 一种基于用户行为的认知能力测试和训练方法及系统

Also Published As

Publication number Publication date
WO2020119355A1 (zh) 2020-06-18
EP3748649A1 (en) 2020-12-09
US20210015416A1 (en) 2021-01-21
EP3748649A4 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
CN111326253A (zh) 自闭症谱系障碍患者的多模态情感认知能力的评估方法
CN110890140B (zh) 基于虚拟现实的自闭症康复训练及能力评估系统及方法
CN106691476B (zh) 基于眼动特征的图像认知心理分析系统
CN110428908B (zh) 一种基于人工智能的眼睑运动功能评估系统
CN108065942B (zh) 一种针对东方人格特征的刺激信息的编制方法
CN110507334A (zh) 一种成人心理评测方法
US20150305662A1 (en) Remote assessment of emotional status
CN109805944B (zh) 一种儿童共情能力分析系统
US11417045B2 (en) Dialog-based testing using avatar virtual assistant
CN108078574A (zh) 一种区别人与智能机器的方法
CN112890815A (zh) 一种基于深度学习的孤独症辅助评估系统和方法
CN112472089A (zh) 一种基于眼动技术判断心理测试可靠性的系统及方法
CN117438048B (zh) 一种精神科患者用心理障碍测评方法及系统
CN111222464B (zh) 情感分析方法以及系统
CN112675405A (zh) 基于虚拟现实的军人心理训练方法、设备及装置
Su et al. Multimodal emotion perception in children with autism spectrum disorder by eye tracking study
CN112674770B (zh) 基于图像的显著性差异和情绪分析的抑郁人群眼动鉴别方法
CN112515674B (zh) 心理危机预警系统
CN111724896A (zh) 一种基于多刺激图片或视频erp的毒瘾评估系统
CN115813343A (zh) 儿童行为异常评估方法和系统
CN113855021B (zh) 抑郁倾向评估方法及装置
CN115497621A (zh) 一种老年人认知状况测评系统
CN108777171A (zh) 一种评测感觉状态的方法及装置
KR101940673B1 (ko) 인체 미동을 이용한 공감도 평가 방법 및 장치
Ronca et al. Low-invasive neurophysiological evaluation of human emotional state on teleworkers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200623

RJ01 Rejection of invention patent application after publication