CN111160239A - 专注度评估方法和装置 - Google Patents

专注度评估方法和装置 Download PDF

Info

Publication number
CN111160239A
CN111160239A CN201911378695.6A CN201911378695A CN111160239A CN 111160239 A CN111160239 A CN 111160239A CN 201911378695 A CN201911378695 A CN 201911378695A CN 111160239 A CN111160239 A CN 111160239A
Authority
CN
China
Prior art keywords
matrix
concentration
data
elements
degree evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911378695.6A
Other languages
English (en)
Inventor
王玉婷
林晓伯
郭真
曹岱宗
常乐
魏星
翟颖奇
张雨驰
朱磊
谢露
冯毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201911378695.6A priority Critical patent/CN111160239A/zh
Publication of CN111160239A publication Critical patent/CN111160239A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Abstract

本发明实施例提供一种专注度评估方法和装置，涉及生物信号技术领域，用于检测专注度评估装置的用户的专注度，提高了专注度评估的准确性。该方法包括：专注度评估装置获取多模态信息；多模态信息包括专注度评估装置的用户的脑电波数据、用户的头部姿态数据和用户的眼部数据；专注度评估装置根据多模态信息和预设模型，获得专注度评估值；预设模型用于根据多模态信息确定专注度评估值；专注度评估值用于描述用户的注意力集中情况。本发明用于评估专注度评估装置的用户的专注度。

Description

专注度评估方法和装置
技术领域
本发明涉及生物信号技术领域，尤其涉及一种专注度评估方法和装置。
背景技术
专注度是感知觉、记忆、思维和想象等心理活动的一种共同心理特征，是心理活动对某一对象的指向和集中。在学习中，学生的专注度集中与否与学习质量有着直接关系。目前，学生专注度的评测有单一模态评测和多模态评测两种方法，单一模态评测是针对单一感官的信息处理，多模态评测则是针对多个感官信息的综合处理。
单一模态评测可以是基于面部表情或头部姿态的感官信息评测，多模态评测可以是对面部表情、头部姿态和眼动数据等多个感官信息的综合评测。虽然多模态评测相对单一模态评测的准确度较高，但由于面部表情、头部姿态和眼动数据这些外部感官易受到肤色、光照和遮挡等因素的影响，因此利用面部表情、头部姿态和眼动数据外部感官信息作为综合评测向量时，专注度评测的准确度仍然较低，不足以完全评估学生的专注度。
发明内容
本发明的实施例提供一种专注度评估方法和装置，用于检测专注度评估装置的用户的专注度，提高了专注度评估的准确性。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，提供一种专注度评估方法，包括：专注度评估装置获取多模态信息；多模态信息包括专注度评估装置的用户的脑电波数据、用户的头部姿态数据和用户的眼部数据；专注度评估装置根据多模态信息和预设模型，获得专注度评估值；预设模型用于根据多模态信息确定专注度评估值；专注度评估值用于描述用户的注意力集中情况。
第二方面，提供一种专注度评估装置，包括：获取模块，用于获取多模态信息；多模态信息包括专注度评估装置的用户的脑电波数据、用户的头部姿态数据和用户的眼部数据；处理模块，用于根据获取模块获取的多模态信息和预设模型，获得专注度评估值；预设模型用于根据多模态信息确定专注度评估值；专注度评估值用于描述用户的注意力集中情况。
第三方面，提供一种专注度评估装置，包括：存储器、处理器、总线和通信接口；存储器用于存储计算机执行指令，处理器与存储器通过总线连接；当专注度评估装置运行时，处理器执行存储器存储的计算机执行指令，以使专注度评估装置执行如第一方面提供的专注度评估方法。
第四方面，提供一种计算机可读存储介质，计算机可读存储介质包括计算机执行指令，当计算机执行指令在计算机上运行时，使得计算机执行如第一方面提供的专注度评估方法。
本发明实施例提供一种专注度评估方法和装置，该方法包括：专注度评估装置获取多模态信息；多模态信息包括专注度评估装置的用户的脑电波数据、用户的头部姿态数据和用户的眼部数据；专注度评估装置根据多模态信息和预设模型，获得专注度评估值；预设模型用于根据多模态信息确定专注度评估值；专注度评估值用于描述用户的注意力集中情况。本发明实施例不仅通过用户的外部特征，如头部姿态数据和眼部数据确定用户的专注度，还结合用户的内部特征，如脑电波数据确定用户的专注度，避免了仅通过头部姿态和眼部数据等外部特征确定专注度时易受外部环境影响的问题，专注度评估更为准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种专注度评估方法流程示意图一；
图2为本发明实施例提供的一种脑电波数据示意图；
图3为本发明实施例提供的一种眼部数据示意图；
图4为本发明实施例提供的一种确定头部姿态角度的方法示意图；
图5为本发明实施例提供的一种专注度评估方法流程示意图二；
图6为本发明实施例提供的一种专注度评估方法流程示意图三；
图7为本发明实施例提供的一种卷积神经网络的结构示意图；
图8为本发明实施例提供的一种卷积神经网络的全连接层的输入示意图；
图9为本发明实施例提供的一种池化层的池化方法示意图；
图10为本发明实施例提供的一种专注度评估方法流程示意图四；
图11为本发明实施例提供的一种获得第三矩阵的方法示意图；
图12为本发明实施例提供的一种获得第四矩阵的方法示意图；
图13为本发明实施例提供的一种卷积神经网络的分类方法示意图；
图14为本发明实施例提供的一种训练卷积神经网络模型的损失函数样本示意图；
图15为本发明实施例提供的一种专注度评估装置的结构示意图一；
图16为本发明实施例提供的一种专注度评估装置的结构示意图二；
图17为本发明实施例提供的一种专注度评估装置的结构示意图三。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
还需要说明的是，本发明实施例中，“的(英文：of)”，“相应的(英文：corresponding，relevant)”和“对应的(英文：corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。
为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。
目前对于学生专注度的评估方法中，主要根据学生的头部姿态和眼动数据进行评估，但由于通过视频工具采集头部姿态和眼动数据时，易受肤色、光照和遮挡等因素的影响，因此根据头部姿态和眼动数据评估学生的专注度准确度较低，且受外界影响较大。
针对上述问题，如图1所示，本发明实施例提供一种专注度评估方法，包括：
101、专注度评估装置获取多模态信息。
其中，多模态信息包括专注度评估装置的用户的脑电波数据、用户的头部姿态数据和用户的眼部数据。
具体的，脑电波数据可以通过脑电波采集器获得，头部姿态数据可以通过视频采集器获得，眼部数据可以通过人脸识别采集器获得，脑电波采集器、视频采集器和人脸识别采集器可以为专注度评估装置中的一个模块。
其中，脑电波数据为一组频率数据，如图2所示；头部姿态数据为一组角度数据，本发明实施例中将头部姿态的角度分为-90°、-45°、0°、45°和90°，-90°和-45°表示头部向左转动的角度，0°表示头部朝向正前方，45°和90°表示头部向右转动的角度；眼部数据为一组眼部的图片，包括左眼图片和右眼图片，如图3所示，以一只眼睛图片为例，当眼睛向前看时，专注度评估装置的用户的专注度可能较好；当眼睛向上、下、左和右看时，专注度评估装置的用户的专注度可能较差。专注度评估装置的用户可以学生，也可以是司机等。
头部姿态数据为头部姿态的转动角度，因为本发明实施例中仅将头部姿态分为5种不同的姿态，因此在通过视频采集器获得头部姿态图片后，可以根据流形嵌入的方法确定头部姿态的角度，如图4所示，通过将视频采集器获得的头部姿态图片与预先训练的头部姿态图片进行对比从而确定头部姿态的角度，如采集的头部姿态位于A区域，则确定头部姿态的角度为-90°，若采集的头部姿态位于D区域或E区域，则确定头部姿态的角度为0°。当然，若专注度评估装置包括陀螺仪，则头部姿态的角度也可以通过专注度评估装置中的陀螺仪确定。
左眼图片和右眼图片可以通过开源计算机视觉库(open source computervision library，OpenCV)提供的分区域检测算法提取人脸图片得到，人脸图片可以由人脸识别采集器获得。
需要注意的是，在获得脑电波数据、头部姿态图片和人脸图片后可以采集的数据进行过滤，脑电波数据的过滤可以是过滤脑电波数据中明显异于其他脑电波数据的数据，如图2中a点和b点的脑电波数据；头部姿态图片的过滤可以是过滤一些模糊的图片，或头部姿态图片中头部姿态的角度不在上述角度范围的图片；人脸图片的过滤可以是过滤一些模糊的图片，或眼部图片中眼球不明显的图片。
102、专注度评估装置根据多模态信息和预设模型，获得专注度评估值。
其中，预设模型用于根据多模态信息确定专注度评估值，专注度评估值用于描述用户的注意力集中情况。
可选的，如图5所示，在步骤102之前，还包括：
101A、计算第一脑电波数据和脑电波数据的平均值的第一差值，并根据第一差值与脑电波数据的标准差的第一比值确定第一元素。
其中，第一脑电波数据为脑电波数据中的任一值。
具体的，第一元素可以根据以下算法确定：
Figure BDA0002341691110000051
Figure BDA0002341691110000052
Figure BDA0002341691110000053
其中，X为第一脑电波数据，μ为所有采集的脑电波数据的平均值，σ为所有采集的脑电波数据的标准差，N为所有采集的脑电波数据的个数，Xi为所有采集的脑电波数据中的第i个脑电波数据，X'为第一元素。
示例性的，若采集的脑电波数据包括5Hz、6Hz、7Hz、8Hz和9Hz，则μ＝7，σ＝1.581；若X＝8，则X'＝0.633，即第一元素为0.633。
101B、计算第一头部姿态数据和头部姿态数据的平均值的第二差值，并根据第二差值与头部姿态数据的标准差确定第二元素。
其中，第一头部姿态数据为头部姿态数据中的任一值。
具体的，第二元素同样可以根据上述公式确定，具体为：
Figure BDA0002341691110000061
Figure BDA0002341691110000062
Figure BDA0002341691110000063
其中，X1为第一头部姿态数据，μ1为所有采集的头部姿态数据的平均值，σ1为所有采集的头部姿态数据的标准差，N1为所有采集的头部姿态数据的个数，X1i为所有采集的头部姿态数据中的第i个头部姿态数据，X1'为第二元素。
示例性的，若步骤101获得的头部姿态数据包括-90°、-45°、0°、0°和45°，则μ1＝-18，σ1＝-51.308；若X1＝0，则X1'＝0.351，即第二元素为0.351。
可选的，眼部数据包括左眼数据和右眼数据，如图6所示，步骤102包括：
1021、提取左眼数据的第一特征，并根据第一特征获得第一矩阵。
其中，第一特征用于指示左眼的视线方向，第一矩阵由第一特征的元素组成。
具体的，左眼数据实际为步骤101中获得的左眼图片，提取左眼图片的第一特征可以通过卷积神经网络(convolutional neural networks，CNN)实现。如图7所示，卷积神经网络包括输入层、卷积层、池化层和全连接层，输入层用于输入待处理图片，如本发明实施例的左眼图片；卷积层用于提取左眼图片的特征；池化层用于降低卷积层提取的特征的维度，压缩数据和参数的数量，避免过拟合；全连接层用于对卷积层和池化层处理后的数据进行分类。图7所示的卷积神经网络仅为示例性的，实际中卷积神经网络中的卷积层、池化层和全连接层的层数也可以与图7所示不同，对此本发明实施例不作限定。这里用于提取左眼图片的第一特征的卷积神经网络为预先训练的卷积神经网络，用于提取眼睛的眼球特征，通过眼球确定用户的视线方向，进而确定用户的专注度情况。
示例性的，若输入层的输入图片的尺寸为32*32*3，即左眼图片的尺寸为32*32*3，第一层卷积层的卷积核的尺寸为5*5*3，卷积核个数为1，则左眼图片经过卷积核处理后得到图片尺寸为28*28*1的图片。卷积层输出图片的尺寸可以根据以下公式确定：
Figure BDA0002341691110000071
Figure BDA0002341691110000072
D2＝K。
其中，W2、H2和D2为卷积层输出图片的尺寸，如上述的28*28*3，W1、H1和D1为卷积层输入图片的尺寸，如上述的32*32*3，F1为卷积核的尺寸，P1为边界填充数，S1为卷积核调整步长，K为卷积核个数。
输入图片经第一层卷积层处理获得28*28*1的图片后，将该图片输入第一层池化层。若第一层池化层的卷积核尺寸为2*2，调整步长为2，则第一层池化层的输出图片的尺寸为14*14*1。池化层的输出图片尺寸可以由以下公式确定：
Figure BDA0002341691110000073
Figure BDA0002341691110000074
D3＝D2。
其中，W2、H2和D2为池化层的输入图片的尺寸，如上述的28*28*3，W3、H3和D3为池化层的输出图片的尺寸，F2为池化层的卷积核尺寸，S2为池化层的调整步长。
若第二层卷积层的卷积核尺寸为3*3*3，卷积核个数为1，边界填充数为0，调整步长为1，则第二层卷积层的输出图片尺寸W4、H4和D4为12*12*1；若第二层池化层的卷积核尺寸为2*2，调整步长为1，则第二层池化层的输出图片尺寸W5、H5和D5为11*11*1。
若第三层卷积层的卷积核尺寸为3*3*3，卷积核个数为1，边界填充数为0，调整步长为2，则第三层卷积层的输出图片尺寸W6、H6和D6为5*5*1；若第三层池化层的卷积核尺寸为2*2，调整步长为2，则第三层池化层的输出图片尺寸W7、H7和D7为2*2*1。
若第三层池化层的输出图片如图8所示，将第三层池化层的输出图片平铺作为全连接层的输入，如图8中所示的[4，3，6，5]，即第一矩阵为[4，3，6，5]T。
需要说明的是，上述卷积层和池化层的输入图片尺寸和输出图片尺寸可以由W*H表示，表示图片的长*宽；根据输入层的输入图片不同，卷积层和池化层的输入图片尺寸和输出图片尺寸还包括D，表示图片的通道数，如彩色图片的通道数D为3，灰色图片的通道数D为1。本发明实施例中以W*H*D表示图片的尺寸，如上述的32*32*3。
因为本发明实施例中的卷积神经网络用于处理图片，而图片的的识别为非线性的。因此，卷积神经网络中还包括激活层，用于为卷积神经网络中的各个结构层的输入提供非线性扭曲力，使的卷积神经网络可以对输入数据进行非线性化操作。激活层中包括激活函数，激活函数具体为：
f(x)＝max(0,x)；
其中，f(x)为激活函数的输出，x为激活层的上一结构层的输出。激活层位于每一个卷积层和池化层之后，如卷积神经网络结构为：输入层、卷积层、激活层、池化层、激活层和全连接层。
池化层的池化函数包括最大值池化和平均值池化，最大值池化和平均值池化可以如图9所示，本发明实施例的池化层使用最大值池化对输入图片进行处理。当然，本领域的技术人员也可以使用其他池化函数对池化层的输入图片进行处理，本发明不作限定。
1022、提取右眼数据的第二特征，并根据第二特征获得第二矩阵。
其中，第二特征用于指示右眼的视线方向，第二矩阵由第二特征的元素组成。
具体的，右眼数据的处理流程与步骤1021中左眼数据的处理流程相同，在此不再赘述。
示例性的，第二矩阵可以为[6，1，8，3]T。
需要说明的是，步骤101A、101B、1021和1022处理的脑电波数据、头部姿态数据、左眼数据和右眼数据为同一时间点获得的数据。
1023、根据第一预设算法处理第一元素、第二元素、第一矩阵和第二矩阵，获得专注度评估值。
其中，第一预设算法用于根据第一元素、第二元素、第一矩阵和第二矩阵确定用户的专注度评估值，第一预设算法为分类器Softmax算法。
可选的，如图10所示，步骤1023包括：
1023-1、根据第一元素、第二元素和第一矩阵的元素确定第三矩阵。
其中，第三矩阵包括第一元素、第二元素和第一矩阵的元素。
具体的，这里根据第一元素、第二元素和第一矩阵的元素确定第三矩阵的过程实际是将第一元素、第二元素和第一矩阵的元素组合至一个矩阵中，获得一个包括N+2个元素的矩阵，N为第一矩阵的元素个数，N为正整数。
示例性的，如图11所示，若第一元素为0.633，第二元素为0.351，第一矩阵为[4，3，6，5]T，则将第一矩阵的元素和第二矩阵的元素添加至第三矩阵中得到的第三矩阵为[4，3，6，5，0.633，0.351]T。
1023-2、根据第一元素、第二元素和第二矩阵的元素确定第四矩阵。
其中，第四矩阵包括第一元素、第二元素和第二矩阵的元素。
具体的，第二矩阵的元素个数也为N，根据第一元素、第二元素和第二矩阵的元素确定第四矩阵的过程与上述步骤1023-1中获得第三矩阵的过程相同，获得的第四矩阵的元素个数也为N+2个，在此不再赘述。
示例性的，如图12所示，若第一元素为0.633，第二元素为0.351，第二矩阵为[6，1，8，3]T，则将第一元素和第二元素添加至第二矩阵中得到的第四矩阵为[6，1，8，3，0.633，0.351]T。
1023-3、根据第三矩阵的元素和第四矩阵的元素获得第五矩阵。
其中，第五矩阵中的元素为第三矩阵中对应元素和第四矩阵中对应元素的平均值。因为第三矩阵、第四矩阵的元素个数相同，因此这里的对应元素是指矩阵中相同位置的元素，如第三矩阵中的第一个元素与第四矩阵中的第一个元素对应，第三矩阵中的第二个元素与第四矩阵中的第二个元素对应。
具体的，本发明实施例中将第三矩阵和第四矩阵结合的方法是将第三矩阵中的元素和第四矩阵中对应的元素的平均值作为第五矩阵中的元素。当然，以第三矩阵中的元素和第四矩阵中的元素的平均值作为第五矩阵的元素仅是示例性的，本领域的技术人员也可以以其他方式将第三矩阵和四六矩阵结合，对此本发明实施例不作限定。
示例性的，若第三矩阵为[4，3，6，5，0.633，0.351]T，第四矩阵为[6，1，8，3，0.633，0.351]T，则第五矩阵为[5，2，7，4，0.633，0.351]T。
1023-4、根据第五矩阵和第一预设算法获得专注度评估值。
具体的，全连接层包括第一预设算法，用于对全连接层的输入进行分类，第一预设算法具体为：
Figure BDA0002341691110000101
其中，w为全连接层的权重，b为全连接层的偏移量，R为全连接层的输入，j为输入的个数，wi为第i个权重，bi为第i个偏移量。
示例性的，如图13所示，本发明实施例将专注度级别分为瞌睡、疲劳、走神和专注四个类别，若全连接层的输入为第五矩阵[5，2，7，4，0.633，0.351]T，w为图13中的权重矩阵，偏移量b为0，则wiR+bi为[11，9.351，7.351，11.633]T，根据上述的第一预设算法可得P＝(0.319，0.073，0.008，0.6)。由第一预设算法得到的P的概率可知，专注度评估值分别为0.319、0.073、0.008和0.6，即对应的专注度为瞌睡的概率为0.319，为疲劳的概率为0.073，为走神的概率为0.008，为专注的概率为0.6。此时专注度的类别为专注，因为专注的概率最大。
需要注意的是，Softmax算法中还包括损失函数，用于确定评估值和真实值之间的差异。
损失函数具体为：
Figure BDA0002341691110000102
其中，J为损失值，Sn为训练的最小样本数，zi为期望输出的标签，di为评估值。这里的Sn和zi为预先训练专注度评估模型时获得，zi还表示卷积神经网络期望输出的分类，可以为0或1。
示例性的，di可以如图14所示的卷积神经网络输出，zi可以如图14所示的期望输出的标签，最小样本数为4，则图14所示的第一样本损失函数为：
J＝-(0*ln0.1+0*ln0.1+0*ln0.2+1*ln0.6)＝-ln0.6；
卷积神经网络的损失函数为：
Figure BDA0002341691110000111
需要说明的是，通过Softmax算法确定的多个概率值的和为1，如0.319+0.073+0.008+0.6＝1。上述的权重矩阵仅为示例性的，实际中，全连接层的权重矩阵是由卷积神经网络根据大量的训练样本进行训练得到。损失函数用于训练样本模型时预测训练模型的健壮性，损失函数越小，则训练的模型健壮性越好。
本发明实施例提供一种专注度评估方法，该方法包括：专注度评估装置获取多模态信息；多模态信息包括专注度评估装置的用户的脑电波数据、用户的头部姿态数据和用户的眼部数据；专注度评估装置根据多模态信息和预设模型，获得专注度评估值；预设模型用于根据多模态信息确定专注度评估值；专注度评估值用于描述用户的注意力集中情况。本发明实施例不仅通过用户的外部特征，如头部姿态数据和眼部数据确定用户的专注度，还结合用户的内部特征，如脑电波数据确定用户的专注度，避免了仅通过头部姿态和眼部数据等外部特征确定专注度时易受外部环境影响的问题，专注度评估更为准确。
如图15所示，本发明实施例还提供一种专注度评估装置20，包括：
获取模块201，用于获取多模态信息；多模态信息包括专注度评估装置的用户的脑电波数据、用户的头部姿态数据和用户的眼部数据。
处理模块202，用于根据获取模块201获取的多模态信息和预设模型，获得专注度评估值；预设模型用于根据多模态信息确定专注度评估值；专注度评估值用于描述用户的注意力集中情况。
可选的，如图16所示，专注度评估装置20还包括计算模块203：
计算模块203，用于计算第一脑电波数据和脑电波数据的平均值的第一差值，并根据第一差值与脑电波数据的标准差的第一比值确定第一元素；第一脑电波数据为脑电波数据中的任一值。
计算模块203，还用于计算第一头部姿态数据和头部姿态数据的平均值的第二差值，并根据第二差值与头部姿态数据的标准差确定第二元素；第一头部姿态数据为头部姿态数据中的任一值。
可选的，眼部数据包括左眼数据和右眼数据。
处理模块202具体用于：提取左眼数据的第一特征，并根据第一特征获得第一矩阵；第一特征用于指示左眼的视线方向，第一矩阵由第一特征的元素组成；提取右眼数据的第二特征，并根据第二特征获得第二矩阵；第二特征用于指示右眼的视线方向，第二矩阵由第二特征的元素组成；根据第一预设算法处理第一元素、第二元素、第一矩阵和第二矩阵，获得专注度评估值；第一预设算法用于根据第一元素、第二元素、第一矩阵和第二矩阵确定用户的专注度评估值。
可选的，处理模块202还具体用于：根据第一元素、第二元素和第一矩阵的元素确定第三矩阵；第三矩阵包括第一元素、第二元素和第一矩阵的元素；根据第一元素、第二元素和第二矩阵的元素确定获得第四矩阵；第四矩阵包括第一元素、第二元素和第二矩阵的元素；根据第三矩阵的元素和第四矩阵的元素获得第五矩阵；第五矩阵中的元素为第三矩阵中对应元素和第四矩阵中对应元素的平均值；根据第五矩阵和第一预设算法获得专注度评估值。
本发明实施例提供一种专注度评估装置，该装置包括：获取模块，用于获取多模态信息；多模态信息包括专注度评估装置的用户的脑电波数据、用户的头部姿态数据和用户的眼部数据；处理模块，用于根据获取模块获取的多模态信息和预设模型，获得专注度评估值；预设模型用于根据多模态信息确定专注度评估值；专注度评估值用于描述用户的注意力集中情况。本发明实施例不仅通过用户的外部特征，如头部姿态数据和眼部数据确定用户的专注度，还结合用户的内部特征，如脑电波数据确定用户的专注度，避免了仅通过头部姿态和眼部数据等外部特征确定专注度时易受外部环境影响的问题，专注度评估更为准确。
参照图17所示，本发明实施例还提供另一种专注度评估装置，包括存储器31、处理器32、总线33和通信接口34；存储器31用于存储计算机执行指令，处理器32与存储器31通过总线33连接；当专注度评估装置运行时，处理器32执行存储器31存储的计算机执行指令，以使专注度评估装置执行如上述实施例提供的专注度评估方法。
在具体的实现中，作为一种实施例，处理器32(32-1和32-2)可以包括一个或多个CPU，例如图17中所示的CPU0和CPU1。且作为一种实施例，专注度评估装置可以包括多个处理器32，例如图17中所示的处理器32-1和处理器32-2。这些处理器32中的每一个CPU可以是一个单核处理器(single-CPU)，也可以是一个多核处理器(multi-CPU)。这里的处理器32可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
存储器31可以是只读存储器31(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器31可以是独立存在，通过总线33与处理器32相连接。存储器31也可以和处理器32集成在一起。
在具体的实现中，存储器31，用于存储本申请中的数据和执行本申请的软件程序对应的计算机执行指令。处理器32可以通过运行或执行存储在存储器31内的软件程序，以及调用存储在存储器31内的数据，专注度评估装置的各种功能。
通信接口34，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如控制系统、无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。通信接口34可以包括接收单元实现接收功能，以及发送单元实现发送功能。
总线33，可以是工业标准体系结构(industry standard architecture，ISA)总线、外部设备互连(peripheral component interconnect，PCI)总线或扩展工业标准体系结构(extended industry standard architecture，EISA)总线等。该总线33可以分为地址总线、数据总线、控制总线等。为便于表示，图17中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质包括计算机执行指令，当计算机执行指令在计算机上运行时，使得计算机执行如上述实施例提供的专注度评估方法。
本发明实施例还提供一种计算机程序，该计算机程序可直接加载到存储器中，并含有软件代码，该计算机程序经由计算机载入并执行后能够实现上述实施例提供的专注度评估方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种专注度评估方法，其特征在于，包括：
专注度评估装置获取多模态信息；所述多模态信息包括所述专注度评估装置的用户的脑电波数据、所述用户的头部姿态数据和所述用户的眼部数据；
所述专注度评估装置根据所述多模态信息和预设模型，获得专注度评估值；所述预设模型用于根据所述多模态信息确定所述专注度评估值；所述专注度评估值用于描述所述用户的注意力集中情况。
2.根据权利要求1所述的专注度评估方法，其特征在于，所述专注度评估装置根据所述多模态信息和预设模型，获得专注度评估值之前，还包括：
计算第一脑电波数据和所述脑电波数据的平均值的第一差值，并根据所述第一差值与所述脑电波数据的标准差的第一比值确定第一元素；所述第一脑电波数据为所述脑电波数据中的任一值；
计算第一头部姿态数据和所述头部姿态数据的平均值的第二差值，并根据所述第二差值与所述头部姿态数据的标准差确定第二元素；所述第一头部姿态数据为所述头部姿态数据中的任一值。
3.根据权利要求2所述的专注度评估方法，其特征在于，所述眼部数据包括左眼数据和右眼数据；所述专注度评估装置根据所述多模态信息和预设模型，获得专注度评估值包括：
提取所述左眼数据的第一特征，并根据所述第一特征获得第一矩阵；所述第一特征用于指示左眼的视线方向，所述第一矩阵由所述第一特征的元素组成；
提取所述右眼数据的第二特征，并根据所述第二特征获得第二矩阵；所述第二特征用于指示右眼的视线方向，所述第二矩阵由所述第二特征的元素组成；
根据第一预设算法处理所述第一元素、所述第二元素、所述第一矩阵和所述第二矩阵，获得所述专注度评估值；所述第一预设算法用于根据所述第一元素、所述第二元素、所述第一矩阵和所述第二矩阵确定所述用户的专注度评估值。
4.根据权利要求3所述的专注度评估方法，其特征在于，所述根据第一预设算法处理所述第一元素、所述第二元素、所述第一矩阵和所述第二矩阵，获得所述专注度评估值包括：
根据所述第一元素、所述第二元素和所述第一矩阵的元素确定第三矩阵；所述第三矩阵包括所述第一元素、所述第二元素和所述第一矩阵的元素；
根据所述第一元素、所述第二元素和所述第二矩阵的元素确定第四矩阵；所述第四矩阵包括所述第一元素、所述第二元素和所述第二矩阵的元素；
根据所述第三矩阵的元素和所述第四矩阵的元素获得第五矩阵；所述第五矩阵中的元素为所述第三矩阵中对应元素和所述第四矩阵中对应元素的平均值；
根据所述第五矩阵和所述第一预设算法获得所述专注度评估值。
5.一种专注度评估装置，其特征在于，包括：
获取模块，用于获取多模态信息；所述多模态信息包括所述专注度评估装置的用户的脑电波数据、所述用户的头部姿态数据和所述用户的眼部数据；
处理模块，用于根据所述获取模块获取的所述多模态信息和预设模型，获得专注度评估值；所述预设模型用于根据所述多模态信息确定所述专注度评估值；所述专注度评估值用于描述所述用户的注意力集中情况。
6.根据权利要求5所述的专注度评估装置，其特征在于，还包括计算模块：
所述计算模块，用于计算第一脑电波数据和所述脑电波数据的平均值的第一差值，并根据所述第一差值与所述脑电波数据的标准差的第一比值确定第一元素；所述第一脑电波数据为所述脑电波数据中的任一值；
所述计算模块，还用于计算第一头部姿态数据和所述头部姿态数据的平均值的第二差值，并根据所述第二差值与所述头部姿态数据的标准差确定第二元素；所述第一头部姿态数据为所述头部姿态数据中的任一值。
7.根据权利要求6所述的专注度评估装置，其特征在于，所述眼部数据包括左眼数据和右眼数据；所述处理模块具体用于：
提取所述左眼数据的第一特征，并根据所述第一特征获得第一矩阵；所述第一特征用于指示左眼的视线方向，所述第一矩阵由所述第一特征的元素组成；
提取所述右眼数据的第二特征，并根据所述第二特征获得第二矩阵；所述第二特征用于指示右眼的视线方向，所述第二矩阵由所述第二特征的元素组成；
根据第一预设算法处理所述第一元素、所述第二元素、所述第一矩阵和所述第二矩阵，获得所述专注度评估值；所述第一预设算法用于根据所述第一元素、所述第二元素、所述第一矩阵和所述第二矩阵确定所述用户的专注度评估值。
8.根据权利要求7所述的专注度评估装置，其特征在于，所述处理模块还具体用于：
根据所述第一元素、所述第二元素和所述第一矩阵的元素确定第三矩阵；所述第三矩阵包括所述第一元素、所述第二元素和所述第一矩阵的元素；
根据所述第一元素、所述第二元素和所述第二矩阵的元素确定获得第四矩阵；所述第四矩阵包括所述第一元素、所述第二元素和所述第二矩阵的元素；
根据所述第三矩阵的元素和所述第四矩阵的元素获得第五矩阵；所述第五矩阵中的元素为所述第三矩阵中对应元素和所述第四矩阵中对应元素的平均值；
根据所述第五矩阵和所述第一预设算法获得所述专注度评估值。
9.一种专注度评估装置，其特征在于，包括存储器、处理器、总线和通信接口；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接；当所述专注度评估装置运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述专注度评估装置执行如权利要求1-4任一项所述的专注度评估方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机执行指令，当所述计算机执行指令在计算机上运行时，使得所述计算机执行如权利要求1-4任一项所述的专注度评估方法。
CN201911378695.6A 2019-12-27 2019-12-27 专注度评估方法和装置 Pending CN111160239A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911378695.6A CN111160239A (zh) 2019-12-27 2019-12-27 专注度评估方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911378695.6A CN111160239A (zh) 2019-12-27 2019-12-27 专注度评估方法和装置

Publications (1)

Publication Number Publication Date
CN111160239A true CN111160239A (zh) 2020-05-15

Family

ID=70558635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911378695.6A Pending CN111160239A (zh) 2019-12-27 2019-12-27 专注度评估方法和装置

Country Status (1)

Country Link
CN (1) CN111160239A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970471A (zh) * 2020-06-30 2020-11-20 视联动力信息技术股份有限公司 基于视频会议的参会人员评分方法、装置、设备及介质
CN113331839A (zh) * 2021-05-28 2021-09-03 武汉科技大学 一种基于多源信息融合的网络学习注意力监测方法及系统
CN113729710A (zh) * 2021-09-26 2021-12-03 华南师范大学 一种融合多生理模态的实时注意力评估方法及系统
CN114366103A (zh) * 2022-01-07 2022-04-19 北京师范大学 注意力评估方法、装置及电子设备
CN116383618A (zh) * 2023-03-01 2023-07-04 北京师范大学 一种基于多模态数据的学习专注度评估方法及装置
CN116671938A (zh) * 2023-07-27 2023-09-01 之江实验室 一种任务执行方法、装置、存储介质及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101049236A (zh) * 2007-05-09 2007-10-10 西安电子科技大学 基于脑机交互的注意力状态即时检测系统及检测方法
CN105893980A (zh) * 2016-04-26 2016-08-24 北京科技大学 一种注意力专注度评价方法及系统
JP2017217486A (ja) * 2016-06-08 2017-12-14 株式会社脳機能研究所 集中度評価装置、集中度評価方法、及びプログラム
CN108319643A (zh) * 2017-12-22 2018-07-24 新华网股份有限公司 多媒体信息的评测方法和系统
CN108805009A (zh) * 2018-04-20 2018-11-13 华中师范大学 基于多模态信息融合的课堂学习状态监测方法及系统
CN108932461A (zh) * 2017-05-27 2018-12-04 杭州海康威视数字技术股份有限公司 一种疲劳检测方法及装置
CN109359539A (zh) * 2018-09-17 2019-02-19 中国科学院深圳先进技术研究院 注意力评估方法、装置、终端设备及计算机可读存储介质
CN109522815A (zh) * 2018-10-26 2019-03-26 深圳博为教育科技有限公司 一种专注度评估方法、装置及电子设备
CN109646022A (zh) * 2019-01-10 2019-04-19 杭州电子科技大学 儿童注意力评估系统及其方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101049236A (zh) * 2007-05-09 2007-10-10 西安电子科技大学 基于脑机交互的注意力状态即时检测系统及检测方法
CN105893980A (zh) * 2016-04-26 2016-08-24 北京科技大学 一种注意力专注度评价方法及系统
JP2017217486A (ja) * 2016-06-08 2017-12-14 株式会社脳機能研究所 集中度評価装置、集中度評価方法、及びプログラム
CN108932461A (zh) * 2017-05-27 2018-12-04 杭州海康威视数字技术股份有限公司 一种疲劳检测方法及装置
CN108319643A (zh) * 2017-12-22 2018-07-24 新华网股份有限公司 多媒体信息的评测方法和系统
CN108805009A (zh) * 2018-04-20 2018-11-13 华中师范大学 基于多模态信息融合的课堂学习状态监测方法及系统
CN109359539A (zh) * 2018-09-17 2019-02-19 中国科学院深圳先进技术研究院 注意力评估方法、装置、终端设备及计算机可读存储介质
CN109522815A (zh) * 2018-10-26 2019-03-26 深圳博为教育科技有限公司 一种专注度评估方法、装置及电子设备
CN109646022A (zh) * 2019-01-10 2019-04-19 杭州电子科技大学 儿童注意力评估系统及其方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970471A (zh) * 2020-06-30 2020-11-20 视联动力信息技术股份有限公司 基于视频会议的参会人员评分方法、装置、设备及介质
CN113331839A (zh) * 2021-05-28 2021-09-03 武汉科技大学 一种基于多源信息融合的网络学习注意力监测方法及系统
CN113729710A (zh) * 2021-09-26 2021-12-03 华南师范大学 一种融合多生理模态的实时注意力评估方法及系统
CN114366103A (zh) * 2022-01-07 2022-04-19 北京师范大学 注意力评估方法、装置及电子设备
CN116383618A (zh) * 2023-03-01 2023-07-04 北京师范大学 一种基于多模态数据的学习专注度评估方法及装置
CN116671938A (zh) * 2023-07-27 2023-09-01 之江实验室 一种任务执行方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN111160239A (zh) 专注度评估方法和装置
CN109196526B (zh) 用于生成多模态数字图像的方法和系统
CN107273845B (zh) 一种基于置信区域和多特征加权融合的人脸表情识别方法
US10049262B2 (en) Method and system for extracting characteristic of three-dimensional face image
US20210081754A1 (en) Error correction in convolutional neural networks
WO2021196738A1 (zh) 儿童状态检测方法及装置、电子设备、存储介质
Rangesh et al. Driver gaze estimation in the real world: Overcoming the eyeglass challenge
JP2019517693A (ja) 表情の認識および注釈付けのためのシステムおよび方法
WO2016008354A1 (en) System and method for display enhancement
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
US20210224977A1 (en) Fundus image processing method, computer apparatus, and storage medium
US20220148333A1 (en) Method and system for estimating eye-related geometric parameters of a user
CN110400288B (zh) 一种融合双眼特征的糖网病识别方法及装置
CN111046734B (zh) 基于膨胀卷积的多模态融合视线估计方法
EP4024270A1 (en) Gesture recognition method, electronic device, computer-readable storage medium, and chip
CN104182723B (zh) 一种视线估计的方法和装置
CN113240655B (zh) 一种自动检测眼底图像类型的方法、存储介质及装置
CN114677730A (zh) 活体检测方法、装置、电子设备及存储介质
CN113269010B (zh) 一种人脸活体检测模型的训练方法和相关装置
Rwelli et al. Gesture based Arabic sign language recognition for impaired people based on convolution neural network
CN115331205A (zh) 一种云边协同的驾驶员疲劳检测系统
CN112069887A (zh) 一种人脸识别方法、装置、终端设备及存储介质
Sukhavasi et al. Deep neural network approach for pose, illumination, and occlusion invariant driver emotion detection
Clawson et al. Human centric facial expression recognition
Aslam et al. Wavelet-based convolutional neural networks for gender classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination