CN109620265A - 识别方法及相关装置 - Google Patents
识别方法及相关装置 Download PDFInfo
- Publication number
- CN109620265A CN109620265A CN201811599540.0A CN201811599540A CN109620265A CN 109620265 A CN109620265 A CN 109620265A CN 201811599540 A CN201811599540 A CN 201811599540A CN 109620265 A CN109620265 A CN 109620265A
- Authority
- CN
- China
- Prior art keywords
- eye
- machine learning
- learning model
- brain response
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000004044 response Effects 0.000 claims abstract description 159
- 210000004556 brain Anatomy 0.000 claims abstract description 149
- 238000010801 machine learning Methods 0.000 claims abstract description 96
- 230000008451 emotion Effects 0.000 claims abstract description 51
- 230000019771 cognition Effects 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 25
- 210000001508 eye Anatomy 0.000 claims description 142
- 238000006243 chemical reaction Methods 0.000 claims description 68
- 238000012549 training Methods 0.000 claims description 61
- 230000036647 reaction Effects 0.000 claims description 55
- 230000008909 emotion recognition Effects 0.000 claims description 46
- 238000012360 testing method Methods 0.000 claims description 41
- 239000011521 glass Substances 0.000 claims description 38
- 238000012937 correction Methods 0.000 claims description 28
- 239000004984 smart glass Substances 0.000 claims description 23
- 210000004129 prosencephalon Anatomy 0.000 claims description 22
- 230000036651 mood Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 18
- 230000001149 cognitive effect Effects 0.000 claims description 15
- 230000002996 emotional effect Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 230000001054 cortical effect Effects 0.000 claims description 8
- 230000004397 blinking Effects 0.000 claims description 6
- 230000004118 muscle contraction Effects 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 230000004424 eye movement Effects 0.000 claims description 4
- 210000004709 eyebrow Anatomy 0.000 claims description 4
- 230000004439 pupillary reactions Effects 0.000 claims description 4
- 241000282414 Homo sapiens Species 0.000 description 17
- 238000013186 photoplethysmography Methods 0.000 description 15
- 230000003993 interaction Effects 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 208000019901 Anxiety disease Diseases 0.000 description 6
- 230000036506 anxiety Effects 0.000 description 6
- 230000006998 cognitive state Effects 0.000 description 6
- 230000001575 pathological effect Effects 0.000 description 6
- 208000020016 psychiatric disease Diseases 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000007774 longterm Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000006996 mental state Effects 0.000 description 3
- 238000004377 microelectronic Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003938 response to stress Effects 0.000 description 3
- 206010003805 Autism Diseases 0.000 description 2
- 208000020706 Autistic disease Diseases 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 2
- 206010012374 Depressed mood Diseases 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 210000003710 cerebral cortex Anatomy 0.000 description 2
- 230000001684 chronic effect Effects 0.000 description 2
- 208000010877 cognitive disease Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 230000005059 dormancy Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 210000001259 mesencephalon Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000036387 respiratory rate Effects 0.000 description 2
- 210000001202 rhombencephalon Anatomy 0.000 description 2
- 201000000980 schizophrenia Diseases 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 208000023105 Huntington disease Diseases 0.000 description 1
- 208000019022 Mood disease Diseases 0.000 description 1
- 208000008348 Post-Concussion Syndrome Diseases 0.000 description 1
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013542 behavioral therapy Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036995 brain health Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Educational Technology (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Fuzzy Systems (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供识别方法及相关装置。上述方法包括：采集使用者的脑部反应数据；对所述脑部反应数据进行数据处理，得到脑部反应参数值；其中，所述脑部反应数据至少包括眼部反应数据；所述脑部反应参数值至少包括眼部反应参数值；所述眼部反应参数值包括各眼部反应参数对应的参数值；将所述脑部反应参数值输入机器学习模型，由所述机器学习模型输出情感认知的识别结果。在本发明实施例中，在采集到脑部反应数据后(主要是眼部反应数据)，会对其进行数据处理，得到包含眼部反应参数值的脑部反应参数值，将脑部反应参数值输入机器学习模型，由人工智能算法基于脑部反应参数值进行分析，得到情感认知的识别结果，从而实现了对人类的情感认知的智能化识别。
Description
技术领域
本发明涉及计算机领域，特别涉及识别方法及相关装置。
背景技术
我们一直在努力探求智能化、科学性检测/评估人类大脑的情感认知状况的方法。
针对目前脑认知或脑疾病状态的即时解读和长期监测，传统方式上是采用脑电波检测和核磁扫描。然而，脑电波检测主要检测到的是大脑皮层的信号，检测到的很多信号还无法准确解读。至于核磁扫描，其对于人类大脑的情感认知方面的有效信息并不多。
发明内容
有鉴于此，本发明实施例提供识别方法及相关装置，以对人类的情感认知进行智能化、科学性地识别。
为实现上述目的，本发明实施例提供如下技术方案：
一种识别方法，应用于用户侧，包括：
采集使用者的脑部反应数据；
对所述脑部反应数据进行数据处理，得到脑部反应参数值；其中，所述脑部反应数据至少包括眼部反应数据；所述脑部反应参数值至少包括眼部反应参数值；所述眼部反应参数值包括各眼部反应参数对应的参数值；
将所述脑部反应参数值输入机器学习模型，由所述机器学习模型输出情感认知的识别结果。
可选的，所述由所述机器学习模型输出情感认知的识别结果包括：所述机器学习模型根据所述眼部反应参数值和眼部反应参数阈值，识别出情感认知类型以及对应的分值；所述机器学习模型根据所述情感认知类型对应的状态阈值以及所述分值，确定所述情感认知类型对应的状态信息；所述机器学习模型输出识别出的情感认知类型及所对应的状态信息；所述识别结果包括：所述情感认知类型及对应的状态信息。
可选的，所述方法还包括：使用所述使用者的眼部反应数据，对所述眼部反应参数阈值进行个性化修正。
可选的，所述方法还包括：接收所述使用者输入的校正数据；使用所述校正数据修正情感认知类型、状态信息以及状态阈值中的至少一种。
可选的，所述情感认知类型包括情感类型和认知类型中的至少一种；其中：所述情感类型包括：心情子类型和疲劳度子类型；所述认知类型包括注意力子类型和压力子类型；所述机器学习模型是使用带标签的训练样本进行训练的；其中，所述训练样本包括来自健康个体或病患个体的脑部反应参数；所述标签包括心情状态信息标签、疲劳度状态信息标签、注意力状态信息标签和压力状态信息标签。
可选的，在训练结束后，所述方法还包括：使用带标签的测试样本测试所述机器学习模型的识别精度和识别速度；所述测试样本；其中，所述测试样本包括来自健康个体或病患个体的脑部反应参数；所述标签包括：心情状态信息标签、疲劳度状态信息标签、注意力状态信息标签和压力状态信息标签；若所述机器学习模型不满足预设条件，执行下述操作中的一种或多种，并重新进行训练：重新选定眼部反应参数；调整所述机器学习模型的权重值；调整状态阈值；调整标签的类型和内容中的至少一种；其中，所述预设条件包括：所述机器学习模型的识别精度不低于精度阈值且识别速度不低于速度阈值。
可选的，所述方法还包括：上传情感认知的识别结果以及相应的脑部反应参数值至云端或后台；上传的脑部反应参数值将在训练过程中作为训练样本或测试样本，所述情感认知的识别结果用于标记相应的训练样本或测试样本；或者，上传情感认知的识别结果以及相应的脑部反应数据至云端或后台；上传的脑部反应数据用于生成训练过程中的训练样本或测试样本，所述情感认知的识别结果用于标记相应的训练样本或测试样本；所述云端或后台优化所述机器学习模型后，优化后的机器学习模型将同步至所述用户侧。
可选的，所述眼部反应参数包括以下一种或多种：眼睛的对比度和亮度；眼球运动的速度、方向和频率；瞳孔反应的幅度和速度；瞳孔间距；眨眼的速度、幅度和频率；眼部的肌肉收缩情况，所述眼部包括眼周和眉毛。
可选的，所述眼部反应数据包括：眼部视频或眼部图像；所述脑部反应数据还包括前脑皮层信号和皮肤电信号中的至少一种；所述脑部反应参数值还包括：前脑皮层参数值和皮肤电参数值中的至少一种；其中，所述前脑皮层参数值包括各前脑皮层参数对应的参数值，所述皮肤电参数值包括各皮肤电参数对应的参数值。
一种识别系统，包括采集装置和中央控制系统；所述中央控制系统至少包括识别装置；其中：
所述采集装置用于：采集使用者的脑部反应数据；
所述识别装置用于：对所述脑部反应数据进行数据处理，得到脑部反应参数值；其中，所述脑部反应数据至少包括眼部反应数据；所述脑部反应参数值至少包括眼部反应参数值；所述眼部反应参数值包括各眼部反应参数对应的参数值；
将所述脑部反应参数值输入机器学习模型，由所述机器学习模型输出情感认知的识别结果。
可选的，所述中央控制系统还包括云端或后台；所述识别装置还用于：上传情感认知的识别结果以及相应的脑部反应参数值至所述云端或后台；上传的脑部反应参数值将在训练过程中作为训练样本或测试样本，所述情感认知的识别结果用于标记相应的训练样本或测试样本；或者，上传情感认知的识别结果以及相应的脑部反应数据至云端或后台；上传的脑部反应数据用于生成训练过程中的训练样本或测试样本，所述情感认知的识别结果用于标记相应的训练样本或测试样本；所述云端或后台用于：使用带标签的训练样本和测试样本对机器学习模型进行训练；优化后的机器学习模型将同步至所述识别装置。
可选的，所述采集装置包括智能终端上的摄像装置，所述识别装置具体为所述智能终端；或者，所述采集装置包括：具有眼部摄像功能的可穿戴式装置；所述识别装置为智能终端。
可选的，所述可穿戴式装置包括：采集眼部反应数据的摄像装置；采集前脑皮层信号的前脑皮层信号传感器，以及，采集皮肤电信号的皮肤电信号传感器。
可选的，所述可穿戴式智能设备为智能眼镜；所述摄像装置为微型电子摄像头；其中：所述微型电子摄像头设置在所述智能眼镜的镜片与镜柄交界处；所述皮肤电信号传感器设置在镜柄内侧和耳朵接触的部位；所述前脑皮层信号传感器设置在所述镜柄的中部。
可选的，所述智能眼镜的镜腿的后内侧为柔性生物电极，所述智能眼镜的两个鼻托为柔性生物电极。
一种智能终端，包括：
获取单元，用于获取使用者的脑部反应数据；
识别单元，用于：
对所述脑部反应数据进行数据处理，得到脑部反应参数值；其中，所述脑部反应数据至少包括眼部反应数据；所述脑部反应参数值至少包括眼部反应参数值；所述眼部反应参数值包括各眼部反应参数对应的参数值；
将所述脑部反应参数值输入机器学习模型，由所述机器学习模型输出情感认知的识别结果。
一种可穿戴式智能设备，包括：
采集眼部反应数据的摄像装置；
采集前脑皮层信号的前脑皮层信号传感器，以及，采集皮肤电信号的皮肤电信号传感器。
可选的，还包括：数据输出装置。
可选的，还包括：健康指数监测仪。
可选的，所述可穿戴式智能设备为智能眼镜；所述摄像装置为微型电子摄像头；其中：所述微型电子摄像头设置在所述智能眼镜的镜片与镜柄交界处；所述皮肤电信号传感器设置在镜柄内侧和耳朵接触的部位；所述前脑皮层信号传感器设置在所述镜柄的中部。
可选的，所述智能眼镜的镜腿的后内侧为柔性生物电极，所述智能眼镜的两个鼻托为柔性生物电极。
可选的，还包括：机械休眠开关或定时开关；所述机械休眠开关或定时开关设置在所述智能眼镜的镜腿与镜框连接处。
可选的，还包括：触摸屏；所述触摸屏设置在所述镜柄外侧。
可选的，还包括：可充电电池。
可选的，所述数据输出装置包括蓝牙芯片，所述蓝牙芯片内置于任一镜柄中。
可选的，所述数据输出装置包括WiFi芯片。
一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行上述的识别方法中的步骤。
一种芯片系统，所述芯片系统包括处理器，用于支持所述识别装置或所述智能终端执行上述的识别方法。
在本发明实施例中，在采集到脑部反应数据后(主要是眼部反应数据)，会对其进行数据处理，得到包含眼部反应参数值的脑部反应参数值，将脑部反应参数值输入机器学习模型，由人工智能算法基于脑部反应参数值进行分析，得到情感认知的识别结果，从而实现了对人类的情感认知的智能化识别。
同时，需要说明的是，人类大脑获取的信息大约80％来自于视觉系统，因此，大脑的情感和认知状况可通过视觉系统处理视觉信号输入的状态和水平得以判断。尤其是通过眼睛和嘴巴为主的人脸表情去判断人们的心理和精神状态，是人类交流时都在自动做的事情，因此通过人工智能算法基于包含眼部反应参数值的脑部反应参数值，去识别情感认知状态是科学可行的。
附图说明
图1a为本发明实施例提供的识别系统结构示例图；
图1b为本发明实施例提供的智能终端示例性结构图；
图2、3、6、7、9为本发明实施例提供的识别方法示例性流程图；
图4为本发明实施例提供的数据上传示意图；
图5为本发明实施例提供的训练过程示例性流程图；
图8为本发明实施例提供的智能眼镜示例性结构图。
具体实施方式
本发明提供识别方法及相关装置(例如识别系统、智能终端、存储介质、可穿戴式智能设备、芯片系统等)，以在多种场景下对人类的情感认知进行智能化、科学性地识别。
请参见图1a，上述识别系统可包括：采集装置101和中央控制系统，其中的中央控制系统至少包括识别装置102。
上述识别系统所执行的识别方法的核心思想是：在采集到脑部反应数据后(主要是眼部反应数据)，会对其进行数据处理，得到包含眼部反应参数值的脑部反应参数值，将脑部反应参数值输入机器学习模型，由人工智能算法基于脑部反应参数值进行分析，得到情感认知的识别结果。
在一个示例中，采集装置101可包括智能终端的高像素摄像头，识别装置装置102可包括该智能终端。
图1b示出了上述智能终端的一种示例性结构，包括：
获取单元1021：用于获取使用者的脑部反应数据；
识别单元1022：用于对上述脑部反应数据进行数据处理，得到脑部反应参数值，并将脑部反应参数值输入机器学习模型，由机器学习模型输出情感认知的识别结果。
具体的，眼部反应数据可由智能终端的高像素摄像头采集(也即，获取单元1021具体可包括高像素摄像头)。智能终端包括但不限于智能手机、ipad、笔记本电脑等。
除眼部反应数据外，脑部反应数据还可包括前脑皮层信号和皮肤电信号中的至少一种。其中，前脑皮层信号，可由前脑皮层信号传感器采集，而皮肤电信号可由皮肤电信号传感器采集。前脑皮层信号传感器和皮肤电信号传感器可安装在可穿戴设备上(例如智能眼镜)，由可穿戴设备通过无线方式传输给智能终端。则在此种场景下，上述获取单元1021还可包括无线接收装置，以获取可穿戴设备传输的数据。
智能终端在硬件上可包含处理器和存储介质。其中存储介质上存储有多种指令，该指令适于处理器加载，处理器加载存储介质中的指令后可实现识别单元1022的功能：对上述脑部反应数据进行数据处理，得到脑部反应参数值，并将脑部反应参数值输入机器学习模型，由机器学习模型输出情感认知的识别结果。
从使用者角度看，可由安装在智能终端的应用软件(例如APP)来实现识别单元1022的功能。
在另一个示例中，采集装置101可包括可穿戴设备上的微型摄像头，而识别装置装置102可包括智能终端。此外，可穿戴设备上还可设置前脑皮层信号传感器和皮肤电信号传感器中的至少一种。
具体的，上述的眼部反应数据可由可穿戴设备上的微型摄像头采集，前脑皮层信号和皮肤电信号也可由可穿戴设备上采集。可穿戴设备将采集到的数据通过蓝牙、WiFi等无线方式传输至智能终端，由智能终端来执行后续步骤。
则在此场景下，智能终端的获取单元1021包括无线接收装置，以获取可穿戴设备传输的数据。而前述的识别单元1022的功能，可由智能终端的处理器加载存储介质中的指令实现。
从使用者角度看，可由安装在智能终端的应用软件(例如APP)来实现识别单元1022的功能。
在本发明其他实施例中，上述采集装置还可包括各类健康指数监测仪，从而可将脑部反应数据范围扩大到涵盖各类健康指数数据，从而可采用更全面的数据得到更为精准的识别结果。
由于识别系统所包括的采集装置和识别装置操作起来方便快捷，也便于携带或佩载，因此可用于对大脑的情感认知进行长期监测或即时评估。
举例来讲，上述识别系统可用于评估、监测甚至预测一些脑认知相关的疾病，从而可用于慢性精神疾病的长期监测和护理。当然，也可用于对精神疾病病情恶化或发作进行即时监测。识别系统甚至可以输出干预调节措施和建议，例如但不限于输出呼吸调整建议、音乐治疗措施/建议、光感治疗措施/建议或认知行为治疗措施/建议等。
至于即时监测，除前述提及的，对精神疾病病情恶化或发作进行即时监测，上述识别系统也可即时评估和监测使用者的注意力和疲劳度，输出干预调节措施和建议，以提醒使用者健康、科学地用脑，从而提高使用者的工作或学习效率。
此外，上述识别系统还可用于监测使用者观看商业广告的心理反应(即商品广告效应的检测)、是否疲劳驾驶、进行心理测谎等。
使用者还可输入当前场合(场景)或即将进入的场合(场景)，识别系统可结合场合给出针对性的建议。例如，使用者输入面试场合，若识别出使用者当前的注意力不够集中，可提醒使用者集中注意力。
因此，本发明提供的识别方法和相关装置具有相当广泛的使用前景。
下面将基于以上描述中本发明涉及的共性方面，对本发明实施例做进一步详细说明。
图2示出了上述识别方法的一种示例性流程，包括：
S1：采集装置采集使用者的脑部反应数据。
在一个示例中，上述脑部反应数据至少包括眼部反应数据，眼部反应数据可进一步包括眼部视频，或从眼部视频中提取的图片数据(可称为眼部图像)。
除眼部反应数据外，在另一个示例中，上述脑部反应数据还可包括前脑皮层信号和皮肤电信号中的至少一种。
其中，前脑皮层信号具体可为通过EEG(Electroencephalogram，脑电波)技术获得的EEG信号；而皮肤电信号具体可为通过PPG(Photoplethymography,光电容积描记法)技术获得的PPG信号。
前脑皮层信号携带了前脑信息，眼部反应数据携带了中脑信息，而皮肤电信号携带了后脑信息，若使用来自中脑、前脑以及后脑的大脑综合信息参与后续的识别步骤，有利于全面、精准和即时解读人类大脑的情感和认知状态。
S1可由前述的获取单元1021或采集装置101执行。
S2：识别装置对上述脑部反应数据进行数据处理，得到脑部反应参数值。
在一个示例中，脑部反应数据至少包括眼部反应数据，相应的，脑部反应参数值至少包括眼部反应参数值。
眼部反应参数值则包括各眼部反应参数对应的参数值，眼部反应参数示例性地包括但不限下以下一种或多种：
(1)眼睛的对比度和亮度；
眼睛的对比度可具体指：眼白(巩膜部分)跟眼珠(虹膜部分)的对比度。
眼睛的亮度会受眼内毛细血管血液状态影响，例如，毛细血管充血，则亮度会相对不充血时暗。
(2)眼球运动的速度、方向和频率；
具体的，眼球运动频率可包括眼球上下、左右运动的频率。
(3)瞳孔反应的幅度和速度；
这里的瞳孔反应包括：瞳孔收缩或变大。
(4)瞳孔间距；
(5)眨眼的速度、幅度和频率；
(6)眼部(包括眉毛部位)的肌肉收缩情况。
举例来讲，微笑和皱眉时所使用的眼部肌肉是明显不同，因此，可使用眼部肌肉收缩情况来分析人类的情感和认知。更具体的，眼部的肌肉收缩情况可使用计算机视觉的点阵变化表示。
在另一个示例中，若脑部反应数据还包括前脑皮层信号和皮肤电信号，则相应的，脑部反应参数值还包括：前脑皮层参数值和皮肤电参数值中的至少一种。
其中，前脑皮层参数值包括各前脑皮层参数对应的参数值。
与之类似，皮肤电参数值包括各皮肤电参数对应的参数值，皮肤电参数可进一步包括心率、血压、温度和呼吸频率中的至少一种。
S3：识别装置使用机器学习模型(也可称为AI模型)分析上述脑部反应参数值，得到情感认知的识别结果。
在一个示例中，步骤S2-S3可由前述的识别单元1022执行。
上述机器学习模型可包括深度学习模型。深度机器学习方法也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同。例如，卷积神经网络(Convolutional neural networks，简称CNNs)就是一种深度的监督学习下的机器学习模型，而深度置信网(Deep Belief Nets，简称DBNs)就是一种无监督学习下的机器学习模型。
具体的，可将脑部反应参数值输入机器学习模型，由机器学习模型输出情感认知的识别结果。
除了脑部反应参数值，还可输入双眼竞争等参数。双眼竞争参数可由其他辅助装置采集。
情感认知的识别结果进一步可包括识别出的情感认知类型及相应的状态信息。
在一个示例中，情感认知类型可包括情感类型和认知类型中的至少一种。
其中：情感类型至少包括：“心情”和“疲劳度”子类型。
进一步的，“心情”子类型示例性得包括：高兴、悲伤、恐惧、兴奋、抑郁、焦虑或忧伤等心情子类型(或称为子心情)，可以使用编号、二进制编码等方式对各心情子类型进行表示。
示例性的，状态信息可包含文字描述，或者可包括分值；或者，状态信息也可同时包括分值和文字描述，而最终展示给使用者的情感认知类型也可为文字形式。
以识别结果为“注意力差”为例，其包含了识别出的情感认知类型的文字形式——“注意力”，以及状态信息的文字描述——“差”。
需要指出的是，上述“注意力差”中的状态信息是显式表达的。此外，状态信息也可为隐式或间接表达，例如“眼神充满焦虑和忧伤”，其包含了识别出的情感认知类型——“焦虑”以及“忧伤”，但其状态信息是通过“眼神充满焦虑和忧伤”来整体表达的。
可见，在本发明实施例中，在采集到脑部反应数据后(主要是眼部反应数据)，会对其进行数据处理，得到包含眼部反应参数值的脑部反应参数值，将脑部反应参数值输入机器学习模型，由人工智能算法基于脑部反应参数值进行分析，得到情感认知的识别结果，从而实现了对人类的情感认知的智能化识别。
同时，需要说明的是，人类大脑获取的信息大约80％来自于视觉系统，因此，大脑的情感和认知状况可通过视觉系统处理视觉信号输入的状态和水平得以判断。尤其是通过眼睛和嘴巴为主的人脸表情去判断人们的心理和精神状态，是人类交流时都在自动做的事情，因此通过人工智能算法基于包含眼部反应参数值的脑部反应参数值，去识别情感认知是科学可行的。
下面以眼部反应参数值为例，介绍机器学习模型输出情感认知的识别结果的具体过程，其可包括如下步骤：
步骤a：机器学习模型根据眼部反应参数值和眼部反应参数阈值，识别出情感认知类型以及对应的分值。
分值可理解为评分或等级值。举例来讲，机器学习模型可识别得出：兴奋值5分；恐惧值4分等。
而认知类型则至少包括“注意力”和“压力”子类型。
步骤b：机器学习模型根据情感认知类型对应的状态阈值以及分值，确定情感认知类型对应的状态信息。
前述提及了状态信息可包含文字描述，或者可包括分值；或者，状态信息也可同时包括分值和文字描述。其中的文字描述可根据状态阈值和步骤S31计算出的分值确定。
仍以“注意力”为例，举例来讲，假定在步骤S31中得到注意力值为x，再假定分值在状态阈值a和状态阈值b之间时，对应的文字描述为“差”。若a≤x≤b，则可确定“注意力”这一子类型对应的状态信息的文字描述为“差”。
在本发明其他实施例中，上述状态阈值中可包括极限阈值以区分正常状态和病态(正常状态、病态属于状态信息)。举例来讲，计算得到的分值不小于极限阈值，可判定处于正常状态，而低于极限阈值可判定处于病态。
此外，状态阈值还可包括病态程度阈值来进一步确定病态程度(病态程度也属于状态信息)。
同理，状态阈值还可包括正常状态程度阈值，以将正常状态划分为多个程度。举例来讲，假定“心情愉悦”对应的初始阈值是5-7分，分值位于3-4分会判定为情绪低落。则若对用户A，识别装置识别出心情状态(例如“高兴”)这一情感类型，相应的分值为4，则输出的状态信息为“情绪低落”。
其他子类型对应的状态信息的确定方式与之类似，在此不作赘述。
步骤c：机器学习模型输出识别出的情感认知类型及所对应的状态信息。
情感认知类型及所对应的状态信息的输出方式可是视觉输出或语音播报输出。
此外，机器学习模型还可输出反映眼部状态的描述，例如，其可输出“双眼无神灰暗”、“眉头紧锁”之类的描述来反映眼部状态。
由于个体差异，识别系统初期输出的识别结果未必与使用者的真实情况相符。则请参见图3，在步骤S3之后，上述识别方法还可包括如下步骤：
S4：识别装置接收使用者输入的校正数据；
在展示识别结果后或展示识别结果的同时，上述识别装置可提供用于校正的人机交互界面，以便于使用者人工输入校正数据。
在一个示例中，上述校正数据可用于校正情感认知类型、状态信息和状态阈值中的至少一项。
以校正情感认知类型为例，若使用者眼部流出泪水，机器学习模型可能识别出的情感类型具体为“悲伤”。但若使用者是“喜极而泣”的情况，则使用者可将识别出的情感类型更改为“快乐”、“高兴”等。
具体的，使用者可向人机交互界面中手工输入文字，由系统将文字转化为相应的类型。
当然，考虑到不同使用者对情感的描述可能不尽相同，为了方便统一处理，人机交互界面中可提供多个情感认知类型选项，使用者对其中一项或几项选中即可。
以校正“状态信息”为例，假定系统向使用者展示的是“心情不错”，但使用者可能觉得自己当前的心情一般，有校正的需求。针对此种情况，使用者可向人机交互界面中手工输入文字“一般”。
当然，考虑到不同使用者对同一状态可能有不同的描述，为了方便统一处理，针对一情感认知类型，人机交互界面可提供多个状态信息供使用者选择，使用者对其中一项选中即可实现输入。
以校正分值为例，若系统向使用者展示了分值，使用者可能有校正其的需求。针对此种情况，使用者可向人机交互界面中手工输入具体的分值，或者，人机交互界面可提供多个分值供使用者选择，使用者对其中一项选中即可实现输入。
S5：识别装置使用校正数据修正情感认知类型、状态信息以及状态阈值中的至少一种。
在一个示例中，S4-S5可由前述的识别单元1022执行。
前述提及了，状态信息可进一步包括文字描述和分值中的至少一种。
以文字描述为例，由于文字描述是根据状态阈值确定的，所以校正状态信息中的文字描述，实际修正的是文字描述与状态阈值间的对应关系，或者可理解为：最终修正的是状态阈值。
举例来讲，假定“心情愉悦”对应的初始阈值是5-7分，分值位于3-4分会判定为情绪低落。则若对用户A，识别装置识别出“高兴”这一情感类型，相应的分值为4，则输出的状态信息为“情绪低落”。
若用户A将文字描述由“情绪低落”校正为“心情愉悦”，则可将“心情愉悦”对应的状态阈值修改为4-7分。
需要说明的是，状态阈值中的极限阈值和病态程度阈值，一般不使用校正数据进行修正。
可见，在本实施例中，可根据使用者输入的校正数据来修正情感认知类型、状态信息以及状态阈值，从而令识别结果与个体更相贴切，更精准。
前述提及了，可根据眼部反应参数值和眼部反应参数阈值，识别出情感认知类型以及对应的分值。在实际中，不同个体其眼部的形状、大小，眨眼最高、最低频率是有差异的。
因此，仍请参见图3，在上述步骤S3之后，上述识别方法还可包括如下步骤：
S6：识别装置使用使用者的眼部反应数据，对眼部反应参数阈值进行个性化修正。
在一个示例中，S6可由前述的识别单元1022执行。
具体的，可通过一段时间(例如几天、一周等)内采集眼部反应数据来提取出使用者的用眼习惯(如本身的眨眼最高、最低频率等)、瞳孔大小等，来修正机器学习模型中的参数阈值。
或在数据处理中，对眼部反应参数值(例如瞳孔间距、眼高、眼宽、虹膜颜色等)进行尺寸变换等。
可见，在本实施例中，可根据使用者的眼部反应数据来修正参数阈值，从而令识别结果与个体更相贴切，更精准。
在本明其他实施例中，前述的中央控制系统除识别装置外，还可包括云端或后台。
在一个示例中，识别装置可上传情感认知的识别结果以及相应的脑部反应参数值至云端或后台。
在另一个示例中，识别装置可上传情感认知的识别结果以及相应的脑部反应数据至云端或后台。
识别装置可定期上传脑部反应参数值/脑部反应数据。更具体的，识别装置可直接定期自动上传脑部反应参数值/脑部反应数据，或在使用者授权后，定期自动上传脑部反应参数值/脑部反应数据。
云端或后台会在保护用户隐私的情况下整合海量数据，使用上传的脑部反应参数值/脑部反应数据生成训练样本或测试样本，来训练机器学习模型，以及进行参数(例如前述的参数阈值、状态阈值)优化；而上传的情感认知的识别结果可用于标记相应的训练样本或测试样本；最后，优化后的机器学习模型将同步至识别装置。
在同步至识别装置后，识别装置可能会重新对眼部反应参数阈值进行个性化修正，以及使用校正数据修正情感认知类型、状态信息以及状态阈值等。
识别装置与云端或后台的交互流程可参见图4。
上述机器学习模型可基于训练样本进行训练得到的，在机器学习模型训练结束后，还会测试训练出的机器学习模型是否满足预期性能要求(包含识别精度和识别速度方面的要求)，若不满足，会进行相应的调整，直至满足预期性能要求。
需要说明的是，第一次训练可得到机器学习模型，后续的训练可实现对机器学习模型的优化。
下面重点介绍机器学习模型的训练过程。请参见图5，由云端或后台服务器执行的机器学习模型的训练过程可至少包括如下步骤：
S501：获取样本。
任一样本可包括来自健康个体或病患个体的脑部反应参数。上述病患种类包括但不限于自闭症、抑郁症、阿兹海默症、亨廷顿症、精神分裂症、创伤后遗症。
当然，对于识别装置上传的是脑部反应数据的情况，还会对脑部反应数据进行数据处理，得到训练样本。
S502：对上述样本进行标记。
需要说明，数据源建立初期，可人工对训练样本进行标记，作为机器学习模型的先验知识。而在后期，特别是机器学习模型正式投入使用后，可根据情感认知的识别结果自动标记。
所谓的标记，可指为训练样本添加一个或多个标签。例如，可添加心情状态信息标签、疲劳度状态信息标签、注意力状态信息标签和压力状态信息标签。
上述几类标签的内容包括：情感子类型或认知子类型，以及相应的状态信息。
此外，还可添加表征样本是来自健康个体还是病患个体的标签(更具体的，可以“0”表示健康，以“1”表示病患)。对于病患个体的样本还可进一步添加病情标签，甚至可添加医生的诊断报告作为标签。
S503:使用标记后的样本构成训练样例集和测试样例集。
在一个示例中，可将任一标记后的样本放入训练样例集或测试样例集。其中，训练样例集中的样本用于训练机器学习模型，可称为训练样本，而测试样例集中的样本用于对机器学习模型进行测试，可称为测试样本。
S504：使用训练样例集训练机器学习模型。
具体的，可将训练样例集中的训练样本作为输入进行训练。
示例性的，上述机器学习模型可为神经网络算法模型，例如CNN(ConvolutionalNeural Network,卷积神经网络)模型。
S504：使用测试样例集测试机器学习模型的诊断性能。
具体的，是将测试样例集中的测试样本输入机器学习模型，根据机器学习模型的输出来统计其诊断性能。
其中，模型的诊断性能可包括识别精度和识别速度。
可令CNN结合GAN(Generative adversarial networks，生成式对抗网络)进行测试，在此不作赘述。
S505：若机器学习模型不满足预设条件，执行下述操作中的一种或多种，并重新训练(返回S501)：
重新选定眼部反应参数的种类；
调整机器学习模型的权重值；
调整状态阈值；
调整标签的类型和内容中的至少一种。
在一个示例中，上述预设条件可包括：机器学习模型的识别精度不低于识别精度阈值(95％或98％等)，且识别速度不低于速度阈值(例如10秒)，以此得到测试识别精度和识别速度兼顾的机器学习模型。
其中，识别精度阈值和速度阈值可根据不同的需要而设定，例如，可设定识别精度阈值为95％，设定速度阈值为10秒处理1000个样本。
在机器学习模型投入使用后，还会持续会对其进行训练，以对机器学习模型进行。
下面将介绍使用不同物理实体来执行的识别方法。
请参见图6，先介绍由智能终端的高像素摄像头采集眼部反应数据，由安装在智能终端的APP软件进行数据处理和输出情感认知的识别结果的实施例，其具体包括如下步骤：
S601：智能终端(的高像素摄像头)采集眼部反应数据。
在本实施例中，眼部反应数据具体为眼部视频，也可以是由此衍生出来的图片数据。使用者可手持智能终端，令摄像头对准双眼，距离眼睛大约30-40厘米，使用者注视摄像头拍摄一段视频。
需要说明的是，眼部视频应为高清晰度(400万以上像素)的视频，甚至可看到眼睛瞳孔部位反射出来的物体。
前述提及了可通过一段时间(例如几天、一周等)内采集眼部反应数据来提取出使用者的用眼习惯(如本身的眨眼最高、最低频率等)、瞳孔大小等，来修正机器学习模型中的参数阈值(个性化修正)。
这种个性化修正一般会在识别系统的使用初期(或机器学习模型优化后最初的一段时间内)进行。
为了更好得进行个性化修正，在一个示例中，可使用智能终端自带的摄像头定期摄取眼部视频。例如，每天摄取两次，每次采集大约1分钟的眼部视频，以分别摄取每天最佳状态和最差状态时的眼部视频。
更具体的，可在早上起床后约一小时摄取每天最佳状态时的眼部视频，在临近下班摄取每天最差状态时的眼部视频。
在持续三四天后，基本可建立以天为周期的自身情感和认知的动态变化值。
在一个示例中，智能终端可在两个工作模式间切换：固定时间记录模式和非固定时间记录模式。
在固定时间记录模式下，可如前述所提及的那样，每天固定两次摄取眼部视频；而在非固定时间记录模式下，可依使用者的操作随时随地摄取眼部视频。
S602：智能终端的语音采集装置采集语音数据。
语音采集装置具体可为麦克风。
语音数据的内容可包括使用者对“心情”、“疲劳度”、“注意力”和“压力”中的至少一种的具体状态描述。
示例性的，使用者可说“我好开心”，“感觉压力好大”，“好累啊”，“大脑已经变成一团浆糊”等。
或者，语音数据的内容也可是对情感类型或认知类型的自我评分。例如，使用者可语音输入“压力7分”等。
S603：智能终端的APP对语音数据进行识别，得到语音识别结果。
需要说明的是，语音识别结果可用于生成训练过程中使用的心情状态信息标签、疲劳度状态信息标签、注意力状态信息标签和压力状态信息标签中的至少一种。再加上健康人群和病患人群如抑郁症患者的横向数据比对，可训练出机器学习模型的智能分类的功能。
需要说明的是，S602和S603可在识别系统的使用初期(或机器学习模型优化后最初的一段时间内)执行，并不需要在每一次的识别过程均执行。
在过了初期使用之后，后期基于人工智能的算法优化，可以算出使用者任何时刻的精神认知状态，而且只要即时提供30秒的眼部视频即可。
S604：智能终端的APP对眼部反应数据进行数据处理，得到眼部反应参数值。
详细内容请参见前述介绍，在此不作赘述。
在具体实现时，可将数据处理跟智能终端的人脸识别功能整合在一起，识别出眼部反应参数值。
此外，还可借助智能终端的角度传感器、距离传感器来确定摄像头与眼睛的角度和距离，进而根据确定的角度和距离来推算出眼睛的实际大小，以还原不同距离、不同角度下的采集图像比例，或对眼部反应参数值进行尺寸变换等。
S605：APP使用机器学习模型分析上述眼部反应参数值，得到情感认知的识别结果并展示。
输出方式可是视觉输出或语音播报输出。
关于如何得到情感认知结果请参见本文前述记载，在此不作赘述。
S606：APP提示是否手工校正，若使用者选择“是”，进入步骤S607，否则进入步骤S609。
在一个示例中，在展示识别结果后或展示识别结果的同时，上述识别装置可人机交互界面，以提示是否手工校正。
S607：接收使用者输入的校正数据。
校正数据可包括情感认知类型状态信息中的至少一种，而状态信息又可进一步包括文字描述和分值中的至少一种。
S607与前述S4相类似，在此不作赘述。
S608：使用校正数据修正情感认知类型、状态信息以及状态阈值中的至少一种，至S609。
需要说明的是，若使用校正数据修正了情感认知类型、状态信息以及状态阈值中的至少一种，则步骤S605中得到的识别结果也会随之修正。
S608与前述S5相类似，在此不作赘述。
S609：使用使用者的眼部反应数据，对眼部反应参数阈值进行个性化修正。
具体的，可通过一段时间(例如几天、一周等)内采集眼部反应数据来提取出使用者的用眼习惯(如本身的眨眼最高、最低频率等)、瞳孔大小等，来修正机器学习模型中的参数阈值。
S603-S609可由前述的识别单元1022执行。
S610：定期上传眼部反应数据和相应的识别数据至云端或后台。
需要说明的是，识别数据可包括情感认知的识别结果和语音识别结果中的至少一种。
在上传前，可对识别结果可进行脱敏处理，以过滤掉敏感信息，敏感信息示例性地包括但不限于：姓名、年龄、居住地、身份证号、联系方式、邮箱等。
上传的数据可用于机器学习模型的训练，识别数据可用于生成标签。训练具体过程以及标签的相关介绍请参见本文前述介绍，在此不作赘述。
云端或后台与用户侧的互动请参见图7。
S610可由前述的识别单元1022执行。
此外，在本发明其他实施例中，用户侧也可仅用于采集数据、展示识别结果以及提供人机交互界面，数据处理、识别、使用校正数据修正情感认知类型、状态信息以及状态阈值、个性化修正等，可由云端或后台实现。
此外，上述APP还可基于健康大数据的算法基础，计算出基于个人数据的身心状态，并提出具有个体针对性的建议以及有益的干预策略，例如提供呼吸调整建议、休息建议、播放音乐等。
上述实施例基于智能终端，结合了现有的高分辨率摄像技术、成熟的计算视觉技术以及先进的人工智能算法来实现对人类情感和认知的识别。由于智能终端的使用范围广泛，因此具有大众普适性，可用于即时评估使用者的情绪、注意力、疲劳度等，适应于大众(例如上班族)调节压力，科学用脑，维持身心健康和平衡。
下面，介绍基于智能穿戴式设备所执行的识别方法。在本实施例中，由智能穿戴式设备(例如智能眼镜)的微型摄像头采集眼部反应数据，并通过无线传输方式传输给智能终端，由安装在智能终端的APP软件进行数据处理和输出情感认知的识别结果。
当然，在识别系统包括后台或云端的情况下，智能穿戴式设备和智能终端都属于用户侧。
以智能眼镜为例，请参见图8，在智能眼镜的镜片两侧，即镜片跟镜柄交界处各有一个微型电子摄像头801。
微型电子摄像头801可持续近距离摄取眼部视频。当然，智能眼镜可工作在两个工作模式间切换：固定时间记录模式和持续记录模式。
当工作在固定时间记录模式，微型电子摄像头801可每天固定两次摄取眼部视频，具体介绍请参见前述S601的记载；而当工作在持续记录模式下，微型电子摄像头801将持续摄取眼部视频。
微型电子摄像头801可具有双向摄影的镜头。
除微型摄像头801外，在镜柄内侧和耳朵接触的部位还可设置皮肤电信号传感器(例如对皮肤生物电敏感的电子元件)。
皮肤电信号传感器具体可为PPG传感器，其采用PPG技术采集跟自主神经系统相关的PPG数据，包括心率、血压和呼吸频率等。PPG技术多采用绿光或红光能作为测量光源。PPG传感器进一步包括LED灯802，以及光电传感器。
上述LED灯具体可包括红光LED与红外LED灯，当然，也可将红光LED与红外LED灯替换为绿光LED灯。
此外，镜柄中间段可设置前脑皮层信号传感器(例如对脑电信号敏感的元件)，前脑皮层信号传感器具体可为EEG传感器，其采用EEG技术收集相关脑电波信号。
目前EEG信号的精准度主要取决于导线的数量，市场上的EEG产品很多只有2根导线(简称2导)，很难提高准确率，以达到医学要求。
可选的，智能眼镜的两镜腿与鼻托均为柔性生物电极设计，具体的，镜腿的后内侧为柔性生物电极803，两个鼻托804为柔性生物电极。此种设计在保证眼镜的舒适性同时，保证了电信号的3导设计，而多导相对于单导和双导设计来说，可以有效降低噪声干扰、提升采集信号的精度和后续算法的准确度。
除了结合EEG和PPG技术外，也可以再结合其它相关技术，比如但不限于EOG(眼动电图)、ERG(视网膜电图)、EMG(肌电图)等技术。
可选的，在智能眼镜的镜腿与镜框连接处，还可设置机械休眠开关或定时开关805。
设置机械休眠开关可实现在眼镜折叠合上后，可自动进入休眠状态。
而设置定时开关，可实现由使用者手动设置定时时间，到达定时时间进入休眠状态。
可在一侧设置机械休眠开关或定时开关，也可在两侧设置机械休眠开关或定时开关。
在镜柄外侧可设置触摸屏806，使用者可通过点击、双击、向前滑动、向后没去等不同手势来操作不同功能。
前述提及的输入校正数据可通过使用者的不同手势来实现。
此外，在镜框与镜腿的交接处，还可设置开关感应器(开关传感器)，以检测镜腿的开合状态。
上述智能眼镜包含了多种传感器，可以相互弥补不同的传感器缺陷，做到精确度的多重保障。
此外，利用上述多种传感器，还可检测使用者是否佩戴着智能眼镜：
例如，可检测镜腿的开合；显然，当检测到处于关闭状态时，使用者并未佩戴智能眼镜；
再例如，可通过双侧的PPG传感器接收红光与红外光吸收率不同来检测是否接触皮肤，因PPG传感器位于镜柄内侧和耳朵接触的部位，所以当智能眼镜放在腿上时并不会产生PPG信号，这样可避免出现眼镜放在腿上的时候被误以为仍在佩戴眼镜从而记录不实数据的情况。
可在同时检测到PPG信号和EEG信号，并且检测到镜腿处于开启状态时，判定使用者佩戴着智能眼镜。
此外，智能眼镜还可包括物理输出装置。物理输出装置可包括电源系统和数据输出装置。其中，电源系统包括但不限于可充电电池807。在一个示例中，可充电电池807设置在眼镜柄端，一次充完电至少可以持续工作2小时。
而数据输出装置包括但不限于蓝牙或WiFi装置，具体的，可在镜柄中内置蓝牙芯片808。
此外，智能眼镜还可包括语音采集装置(例如微型麦克风)。
请参见图9，基于智能眼镜所执行的识别方法包括如下步骤：
S901：智能眼镜采集脑部反应数据。
在本实施例中，智能眼镜采集的数据包括眼部微视频、PPG和EEG数据，可通过蓝牙传送至智能终端(例如手机)。
S902：智能眼镜采集语音数据。
S902与前述的S602相类似，在此不作赘述。
语音数据也可通过蓝牙传送至智能终端。
S903：智能终端的APP对语音数据进行识别，得到语音识别结果。
S903与前述的S603相类似，在此不作赘述。
S904：智能终端的APP对脑部反应数据进行数据处理，得到脑部反应参数值。
在数据处理过程中，可通过智能眼镜上的左右摄像头来计算智能眼镜与眼睛的角度和距离，进而根据智能眼镜与眼睛的角度和距离来推算出眼睛的实际大小，以还原不同佩戴情况下的采集图像比例，或对眼部反应参数值进行尺寸变换等。
S904的相关内容请参见前述的S604和S2，在此不作赘述。
S905：智能终端的APP使用机器学习模型分析上述脑部反应参数值，得到情感认知的识别结果。
上述情感认知的识别结果可由智能终端展示。智能终端也可将识别结果传输至智能眼镜，由智能眼镜以图像或语音形式展示给使用者。
或者，可将情感认知的识别结果上传至预先设定的手机端、云端或后台。
S905与前述的S3相类似，在此不作赘述。
S906-S910与前述的S606-S610相类似，在此不作赘述。
本实施例中的智能眼镜以计算机视觉精扫眼部反应的技术为主，同时结合检测脑电信号的EEG技术、皮肤电信号的PPG技术等进行数据采集。、
当然，由智能终端APP所执行的步骤也可由智能眼镜或者云端、后台来执行。
智能眼镜可长时间佩戴，从而可用于慢性精神疾病的长期监测和护理。当然，也可用于对精神疾病病情恶化或发作进行即时监测。可给常见精神疾病患者，包括抑郁症、自闭症、创伤后遗症和精神分裂症患者佩戴，以提供日常生活中及时预测、监测和干预疾病动态的功能。
智能终端还可通过智能眼镜输出干预调节措施和建议，例如但不限于输出呼吸调整建议、音乐治疗措施/建议、光感治疗措施/建议或认知行为治疗措施/建议、提出吃药建议等。
此外，基于智能眼镜的识别方法还可用于即时摄取和解读针对观察某一物体或场景的眼部应激反应。
例如，通过双向摄影的镜头，可对眼部和外部环境同时取景，从而有利于即时摄取和解读针对观察某一物体或场景的眼部应激反应。
举例来讲，可在心理测谎或商业广告效应的测试上，通过双向摄影的镜头同时摄取外部环境和眼部视频，将识别结果与外部环境一同解读，可了解佩戴者观察某一物体或场景时的情感或认知变化。
再举例，上述识别方法可在人们对特定场景和物体的应激反应的检测上使用。
例如，在战后创作后遗症治疗中，向佩戴者展示不同的物体(例如照片)或讲述不同的事件，采用双向摄影镜头同时摄像，可建立针对不同物体与情感认知的识别结果之间的关联，判断哪一或哪些物体或事件会带来过大的反应，从而有利于医生进行有针对性的治疗。
再例如，可基于智能眼镜持续监测佩戴者在驾驶过程中是否为疲劳驾驶(根据疲劳度判断)，若监测到接近疲劳驾驶或已然疲劳驾驶，可进行提示。
综上，本发明提供的识别系统和识别方法，结合了现有的高分辨率摄像技术、成熟的计算视觉技术以及先进的人工智能算法，以精确扫描眼部反应为主，实现精准化、智能化、即时性和科学性检测以及评估人类大脑的情感状况和认知状态，并且及时、高效以及容易操作。
而目前市面上还缺少具有相似功能的脑健康产品。以智能眼镜为例，目前市面上的智能眼镜虽然具有摄像功能，但并不用于脑认知状态的解读和监测上。
针对目前脑认知或脑疾病状态的即时解读和长期监测，传统方式上是采用脑电波检测和核磁扫描。
然而，在脑电波(EEG)检测技术方面，电极通过接触头皮接收到来自大脑皮层的微弱电信号，往往噪音很大，不容易解析清楚具体的脑电信号。脑电信号目前可以根据不同频率分出几个波段，包括δ、θ、α、β波。在人们处于睡眠状态时，脑电波的信号解析比较清楚；但是人们在白天清醒状态时，产生的脑电信号异常复杂，难于解析。尤其在人类情感和认知状态的解读上，脑电信号的研究一直难以得到重大突破。
功能性核磁扫描(fMRI)技术虽然在鉴别各脑区不同程度参与人类各种情感活动方面具有优势，但是操作很不方便，尤其还要受试者保持平躺和头部固定；并且，具体到检测人类大脑认知状态或情感障碍，目前的研究也非常有限。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及模型步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或模型的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、WD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (17)
1.一种识别方法，其特征在于，应用于用户侧，包括：
采集使用者的脑部反应数据；
对所述脑部反应数据进行数据处理，得到脑部反应参数值；其中，所述脑部反应数据至少包括眼部反应数据；所述脑部反应参数值至少包括眼部反应参数值；所述眼部反应参数值包括各眼部反应参数对应的参数值；
将所述脑部反应参数值输入机器学习模型，由所述机器学习模型输出情感认知的识别结果。
2.如权利要求1所述的方法，其特征在于，
所述由所述机器学习模型输出情感认知的识别结果包括：
所述机器学习模型根据所述眼部反应参数值和眼部反应参数阈值，识别出情感认知类型以及对应的分值；
所述机器学习模型根据所述情感认知类型对应的状态阈值以及所述分值，确定所述情感认知类型对应的状态信息；
所述机器学习模型输出识别出的情感认知类型及所对应的状态信息；
所述识别结果包括：所述情感认知类型及对应的状态信息。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
使用所述使用者的眼部反应数据，对所述眼部反应参数阈值进行个性化修正。
4.如权利要求2所述的方法，其特征在于，所述方法还包括：
接收所述使用者输入的校正数据；
使用所述校正数据修正情感认知类型、状态信息以及状态阈值中的至少一种。
5.如权利要求1-4任一项所述的方法，其特征在于，
所述情感认知类型包括情感类型和认知类型中的至少一种；
其中：所述情感类型包括：心情子类型和疲劳度子类型；所述认知类型包括注意力子类型和压力子类型；
所述机器学习模型是使用带标签的训练样本进行训练的；其中，所述训练样本包括来自健康个体或病患个体的脑部反应参数；所述标签包括心情状态信息标签、疲劳度状态信息标签、注意力状态信息标签和压力状态信息标签。
6.如权利要求5所述的方法，其特征在于，在训练结束后，所述方法还包括：
使用带标签的测试样本测试所述机器学习模型的识别精度和识别速度；所述测试样本；其中，所述测试样本包括来自健康个体或病患个体的脑部反应参数；所述标签包括：心情状态信息标签、疲劳度状态信息标签、注意力状态信息标签和压力状态信息标签；
若所述机器学习模型不满足预设条件，执行下述操作中的一种或多种，并重新进行训练：
重新选定眼部反应参数；
调整所述机器学习模型的权重值；
调整状态阈值；
调整标签的类型和内容中的至少一种；
其中，所述预设条件包括：所述机器学习模型的识别精度不低于精度阈值且识别速度不低于速度阈值。
7.如权利要求5所述的方法，其特征在于，还包括：
上传情感认知的识别结果以及相应的脑部反应参数值至云端或后台；上传的脑部反应参数值将在训练过程中作为训练样本或测试样本，所述情感认知的识别结果用于标记相应的训练样本或测试样本；
或者，上传情感认知的识别结果以及相应的脑部反应数据至云端或后台；上传的脑部反应数据用于生成训练过程中的训练样本或测试样本，所述情感认知的识别结果用于标记相应的训练样本或测试样本；
所述云端或后台优化所述机器学习模型后，优化后的机器学习模型将同步至所述用户侧。
8.如权利要求1所述的方法，其特征在于，所述眼部反应参数包括以下一种或多种：
眼睛的对比度和亮度；
眼球运动的速度、方向和频率；
瞳孔反应的幅度和速度；
瞳孔间距；
眨眼的速度、幅度和频率；
眼部的肌肉收缩情况，所述眼部包括眼周和眉毛。
9.如权利要求1所述的方法，其特征在于，
所述眼部反应数据包括：眼部视频或眼部图像；
所述脑部反应数据还包括前脑皮层信号和皮肤电信号中的至少一种；
所述脑部反应参数值还包括：前脑皮层参数值和皮肤电参数值中的至少一种；其中，所述前脑皮层参数值包括各前脑皮层参数对应的参数值，所述皮肤电参数值包括各皮肤电参数对应的参数值。
10.一种识别系统，其特征在于，包括采集装置和中央控制系统；所述中央控制系统至少包括识别装置；其中：
所述采集装置用于：采集使用者的脑部反应数据；
所述识别装置用于：对所述脑部反应数据进行数据处理，得到脑部反应参数值；其中，所述脑部反应数据至少包括眼部反应数据；所述脑部反应参数值至少包括眼部反应参数值；所述眼部反应参数值包括各眼部反应参数对应的参数值；
将所述脑部反应参数值输入机器学习模型，由所述机器学习模型输出情感认知的识别结果。
11.如权利要求10所述的系统，其特征在于，所述中央控制系统还包括云端或后台；
所述识别装置还用于：
上传情感认知的识别结果以及相应的脑部反应参数值至所述云端或后台；上传的脑部反应参数值将在训练过程中作为训练样本或测试样本，所述情感认知的识别结果用于标记相应的训练样本或测试样本；
或者，上传情感认知的识别结果以及相应的脑部反应数据至云端或后台；上传的脑部反应数据用于生成训练过程中的训练样本或测试样本，所述情感认知的识别结果用于标记相应的训练样本或测试样本；
所述云端或后台用于：使用带标签的训练样本和测试样本对机器学习模型进行训练；优化后的机器学习模型将同步至所述识别装置。
12.如权利要求10或11所述的系统，其特征在于，
所述采集装置包括智能终端上的摄像装置，所述识别装置具体为所述智能终端；
或者，
所述采集装置包括：具有眼部摄像功能的可穿戴式装置；所述识别装置为智能终端。
13.如权利要求12所述的系统，所述可穿戴式装置包括：
采集眼部反应数据的摄像装置；
采集前脑皮层信号的前脑皮层信号传感器，以及，采集皮肤电信号的皮肤电信号传感器。
14.如权利要求13所述的系统，其特征在于，所述可穿戴式智能设备为智能眼镜；所述摄像装置为微型电子摄像头；其中：
所述微型电子摄像头设置在所述智能眼镜的镜片与镜柄交界处；
所述皮肤电信号传感器设置在镜柄内侧和耳朵接触的部位；
所述前脑皮层信号传感器设置在所述镜柄的中部。
15.如权利要求14所述的系统，其特征在于，所述智能眼镜的镜腿的后内侧为柔性生物电极，所述智能眼镜的两个鼻托为柔性生物电极。
16.一种智能终端，其特征在于，包括：
获取单元，用于获取使用者的脑部反应数据；
识别单元，用于：
对所述脑部反应数据进行数据处理，得到脑部反应参数值；其中，所述脑部反应数据至少包括眼部反应数据；所述脑部反应参数值至少包括眼部反应参数值；所述眼部反应参数值包括各眼部反应参数对应的参数值；
将所述脑部反应参数值输入机器学习模型，由所述机器学习模型输出情感认知的识别结果。
17.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行如权利要求1-9任一项所述的识别方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811599540.0A CN109620265A (zh) | 2018-12-26 | 2018-12-26 | 识别方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811599540.0A CN109620265A (zh) | 2018-12-26 | 2018-12-26 | 识别方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109620265A true CN109620265A (zh) | 2019-04-16 |
Family
ID=66077693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811599540.0A Pending CN109620265A (zh) | 2018-12-26 | 2018-12-26 | 识别方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109620265A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110638472A (zh) * | 2019-09-27 | 2020-01-03 | 新华网股份有限公司 | 情感识别方法、装置、电子设备及计算机可读存储介质 |
| CN110916635A (zh) * | 2019-11-15 | 2020-03-27 | 北京点滴灵犀科技有限公司 | 一种心理压力分级与训练方法和装置 |
| CN111012307A (zh) * | 2019-11-26 | 2020-04-17 | 清华大学 | 基于多模态信息评估患者训练投入程度的方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104217095A (zh) * | 2014-05-23 | 2014-12-17 | 陈立典 | 人体健康功能状态评估模型 |
| CN104665849A (zh) * | 2014-12-11 | 2015-06-03 | 西南交通大学 | 一种基于多生理信号多模型交互的高铁调度员应激检测方法 |
| CN104835507A (zh) * | 2015-03-30 | 2015-08-12 | 渤海大学 | 一种串并结合的多模式情感信息融合与识别方法 |
| CN105147248A (zh) * | 2015-07-30 | 2015-12-16 | 华南理工大学 | 基于生理信息的抑郁症评估系统及其评估方法 |
| CN106037705A (zh) * | 2016-05-23 | 2016-10-26 | 韩剑 | 基于可穿戴设备的数据检测方法及系统 |
| CN106650633A (zh) * | 2016-11-29 | 2017-05-10 | 上海智臻智能网络科技股份有限公司 | 一种驾驶员情绪识别方法和装置 |
| CN107256332A (zh) * | 2017-05-24 | 2017-10-17 | 上海交通大学 | 基于眼动数据的脑电实验评估系统及方法 |
| CN107256392A (zh) * | 2017-06-05 | 2017-10-17 | 南京邮电大学 | 一种联合图像、语音的全面情绪识别方法 |
| CN108577865A (zh) * | 2018-03-14 | 2018-09-28 | 天使智心（北京）科技有限公司 | 一种心理状态确定方法及装置 |
-
2018
- 2018-12-26 CN CN201811599540.0A patent/CN109620265A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104217095A (zh) * | 2014-05-23 | 2014-12-17 | 陈立典 | 人体健康功能状态评估模型 |
| CN104665849A (zh) * | 2014-12-11 | 2015-06-03 | 西南交通大学 | 一种基于多生理信号多模型交互的高铁调度员应激检测方法 |
| CN104835507A (zh) * | 2015-03-30 | 2015-08-12 | 渤海大学 | 一种串并结合的多模式情感信息融合与识别方法 |
| CN105147248A (zh) * | 2015-07-30 | 2015-12-16 | 华南理工大学 | 基于生理信息的抑郁症评估系统及其评估方法 |
| CN106037705A (zh) * | 2016-05-23 | 2016-10-26 | 韩剑 | 基于可穿戴设备的数据检测方法及系统 |
| CN106650633A (zh) * | 2016-11-29 | 2017-05-10 | 上海智臻智能网络科技股份有限公司 | 一种驾驶员情绪识别方法和装置 |
| CN107256332A (zh) * | 2017-05-24 | 2017-10-17 | 上海交通大学 | 基于眼动数据的脑电实验评估系统及方法 |
| CN107256392A (zh) * | 2017-06-05 | 2017-10-17 | 南京邮电大学 | 一种联合图像、语音的全面情绪识别方法 |
| CN108577865A (zh) * | 2018-03-14 | 2018-09-28 | 天使智心（北京）科技有限公司 | 一种心理状态确定方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110638472A (zh) * | 2019-09-27 | 2020-01-03 | 新华网股份有限公司 | 情感识别方法、装置、电子设备及计算机可读存储介质 |
| CN110638472B (zh) * | 2019-09-27 | 2022-07-05 | 新华网股份有限公司 | 情感识别方法、装置、电子设备及计算机可读存储介质 |
| CN110916635A (zh) * | 2019-11-15 | 2020-03-27 | 北京点滴灵犀科技有限公司 | 一种心理压力分级与训练方法和装置 |
| CN111012307A (zh) * | 2019-11-26 | 2020-04-17 | 清华大学 | 基于多模态信息评估患者训练投入程度的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10524667B2 (en) | Respiration-based estimation of an aerobic activity parameter | |
| US10799122B2 (en) | Utilizing correlations between PPG signals and iPPG signals to improve detection of physiological responses | |
| US11064892B2 (en) | Detecting a transient ischemic attack using photoplethysmogram signals | |
| US11103139B2 (en) | Detecting fever from video images and a baseline | |
| Lamonaca et al. | Health parameters monitoring by smartphone for quality of life improvement | |
| US20170293356A1 (en) | Methods and Systems for Obtaining, Analyzing, and Generating Vision Performance Data and Modifying Media Based on the Vision Performance Data | |
| US10064559B2 (en) | Identification of the dominant nostril using thermal measurements | |
| US20180103917A1 (en) | Head-mounted display eeg device | |
| US10080861B2 (en) | Breathing biofeedback eyeglasses | |
| JP7097012B2 (ja) | 感性推定装置、感性推定システム、感性推定方法およびプログラム | |
| US10045699B2 (en) | Determining a state of a user based on thermal measurements of the forehead | |
| KR20160055103A (ko) | 뇌 건강의 다중-모드 생리적 자극 및 평가를 위한 시스템 및 시그너처 | |
| JP2015533559A (ja) | 知覚および認知プロファイリングのためのシステムおよび方法 | |
| KR20160095464A (ko) | 얼굴 감정 인식 방법을 적용한 사이니지용 콘텐츠 추천 장치 및 그 동작 방법 | |
| CN110600103B (zh) | 一种提升视力的可穿戴智能服务系统 | |
| US10092232B2 (en) | User state selection based on the shape of the exhale stream | |
| CN109620265A (zh) | 识别方法及相关装置 | |
| US20180092588A1 (en) | Suggest activities according to the dominant nostril | |
| Nie et al. | SPIDERS: Low-cost wireless glasses for continuous in-situ bio-signal acquisition and emotion recognition | |
| JP2016522731A (ja) | 精神生理学的評価基準を用いた痒みの程度を定量化するための客観的かつ非侵襲的な方法 | |
| WO2020132941A1 (zh) | 识别方法及相关装置 | |
| IL268575A (en) | Patient monitoring system and method | |
| Nie et al. | SPIDERS+: A light-weight, wireless, and low-cost glasses-based wearable platform for emotion sensing and bio-signal acquisition | |
| KR20210140808A (ko) | 인공 지능 기반의 스마트 안진 검사 시스템, 방법 및 프로그램 | |
| US10130299B2 (en) | Neurofeedback eyeglasses |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |