CN115358605A - 一种基于多模态融合的职业规划辅助方法、设备及介质 - Google Patents
一种基于多模态融合的职业规划辅助方法、设备及介质 Download PDFInfo
- Publication number
- CN115358605A CN115358605A CN202211029946.1A CN202211029946A CN115358605A CN 115358605 A CN115358605 A CN 115358605A CN 202211029946 A CN202211029946 A CN 202211029946A CN 115358605 A CN115358605 A CN 115358605A
- Authority
- CN
- China
- Prior art keywords
- user
- occupational
- professional
- data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 title claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 claims abstract description 55
- 230000000694 effects Effects 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 37
- 230000008921 facial expression Effects 0.000 claims description 32
- 210000003128 head Anatomy 0.000 claims description 32
- 230000004044 response Effects 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 15
- 230000004424 eye movement Effects 0.000 claims description 14
- 230000004434 saccadic eye movement Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000010344 pupil dilation Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000007637 random forest analysis Methods 0.000 claims description 6
- 208000025967 Dissociative Identity disease Diseases 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 4
- 230000001711 saccadic effect Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 210000001747 pupil Anatomy 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 9
- 238000012545 processing Methods 0.000 abstract description 6
- 238000007726 management method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000001755 vocal effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 240000001114 Aniseia martinicensis Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004870 electrical engineering Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012956 testing procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Medical Informatics (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Cardiology (AREA)
- Surgery (AREA)
- Marketing (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physiology (AREA)
- Human Computer Interaction (AREA)
Abstract
本申请公开了一种基于多模态融合的职业规划辅助方法、设备及介质，涉及专门适用于行政管理的数据处理领域，方法包括：获取用户对应的专业信息；向用户展示第一图像，得到用户对应的职业兴趣指标；向用户展示第二图像，得到用户对应的职业知识技能指标；获取用户进行自我介绍的视频数据，以得到用户对应的职业性格指标；基于建立的贝叶斯模型，得到用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划。能够更加全面的对用户的真实想法进行识别。并且针对不同的因素，通过用户的生理特征的反应等方式进行获取，规避了用户主观心理想法对识别结果的影响，保证了识别过程的规范化，提高了识别效率。
Description
技术领域
本申请涉及专门适用于行政管理的数据处理领域，具体涉及一种基于多模态融合的职业规划辅助方法、设备及介质。
背景技术
随着技术的发展，逐渐出现了一些方法，能够对人们的职业进行自动规划。
然而，这些职业规划的方法中，往往只考虑单一因素或者少量几项因素，并没有对职业规划进行全面考虑，导致最终的规划结果往往并不符合人们的真实情况。
发明内容
为了解决上述问题，本申请提出了一种基于多模态融合的职业规划辅助方法，包括：
获取用户对应的专业信息；
向所述用户展示第一图像，所述第一图像包含多个类型的职业活动场景，并根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，并根据所述第一反应得到所述用户对应的职业兴趣指标；
向所述用户展示第二图像，所述第二图像包含多个类型的职业知识技能场景，并根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，并根据所述第二反应得到所述用户对应的职业知识技能指标；
获取所述用户进行自我介绍的视频数据，并根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标；
基于建立的贝叶斯模型，通过所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标的分布特征，得到所述用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划。
在一个示例中，根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，具体包括：
采集所述用户观看所述第一图像时的头部姿态数据、面部表情数据；
将所述头部姿态数据、所述面部表情数据进行特征提取，并根据提取到的特征进行特征融合；
将融合后的特征输入至预先训练的神经网络模型中，输出得到所述用户对各职业活动的第一反应，所述第一反应包括趋近、回避、无反应中的至少一种。
在一个示例中，将所述头部姿态数据、所述面部表情数据进行特征提取，并根据提取到的特征进行特征融合，具体包括：
对所述头部姿态数据进行位置信息计算，得到其在三维空间中的定位信息，作为所述头部姿态数据对应的特征，所述定位信息包括三个维度的向量；
对所述面部表情数据进行类型计算，得到其在积极程度、活跃程度两个维度上的向量，作为所述面部表情数据对应的特征；
分别提取所述头部姿态数据对应的特征、所述面部表情数据对应的特征中各维度的向量，并将提取到的各维度的向量进行融合。
在一个示例中，根据所述第一反应得到所述用户对应的职业兴趣指标，具体包括：
针对同一种类型的职业活动场景对应的第一图像，若所述用户在第一预设数量的第一图像的第一反应均为无反应，则继续向所述用户展示同一种类型的第一图像，直至达到第二预设数量；
若所述第二预设数量的第一图像的第一反应均为无反应，则确定所述用户对该职业类型的职业兴趣指标为中等。
在一个示例中，所述眼动数据包括：瞳孔扩张程度、扫视模式，所述心率数据包括：心率、心率变异性；
根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，具体包括：
若所述瞳孔扩张程度持续增大、所述心率升高、所述心率变异性降低且所述扫视模式为逐行扫视，则确定所述用户对所述第二图像对应的职业知识技能的第二反应为有难度；
若所述瞳孔扩张程度只在第一预设时间短暂增大、所述心率只在第二预设时间短暂升高且所述扫视模式为快速扫视，则确定所述用户对所述第二图像对应的职业知识技能的第二反应为无难度。
在一个示例中，根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标，具体包括：
根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，其中，所述影像特征为基于多维向量在时间序列上的分布特征，所述语音特征基于MFCC算法进行特征提取得到；
将所述影像特征和所述语音特征进行特征融合；
将融合后的特征输入至随机森林模型中，输出得到所述自我介绍对应的多项人格指标因素，所述随机森林模型的构造参数由预先采集的已标注的样本，与专家经验对应的投票计分之间的吻合度最高时的参数确定；
根据所述多项人格指标因素，得到所述用户对应的职业性格指标。
在一个示例中，基于建立的贝叶斯模型，通过所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标的分布特征，得到所述用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划，具体包括：
在预先设置的数据集中，添加第一行向量，所述第一行向量中包括所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标，并在所述第一行向量中添加职业稳定性、绩效增长率，得到第二行向量；
建立贝叶斯推断模型，通过所述第一行向量中的各向量的分布特征，推断得到得到所述职业稳定性、所述绩效增长率的各分数值的概率，并确定概率最高时，所述第一行向量中各指标对应的数值，以根据所述各指标分别对应的数值的结论，提取对应的内容描述，作为推荐的职业岗位。
在一个示例中，获取用户对应的专业信息，具体包括：
获取用户输入的待识别数据；
若所述待识别数据为所述用户在预设的多个预设选项中选择出的选项，则根据所述选择出的选项对应的专业类，确定所述用户对应的专业信息；
若所述待识别数据为用户输入的文本数据，则对所述文本数据进行噪声消除后，通过模糊匹配以及精确匹配确定所述用户对应的专业信息。
另一方面，本申请还提出了一种基于多模态融合的职业规划辅助设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取用户对应的专业信息；
向所述用户展示第一图像，所述第一图像包含多个类型的职业活动场景，并根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，并根据所述第一反应得到所述用户对应的职业兴趣指标；
向所述用户展示第二图像，所述第二图像包含多个类型的职业知识技能场景，并根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，并根据所述第二反应得到所述用户对应的职业知识技能指标；
获取所述用户进行自我介绍的视频数据，并根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标；
基于建立的贝叶斯模型，通过所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标的分布特征，得到所述用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划。
另一方面，本申请还提出了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：
获取用户对应的专业信息；
向所述用户展示第一图像，所述第一图像包含多个类型的职业活动场景，并根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，并根据所述第一反应得到所述用户对应的职业兴趣指标；
向所述用户展示第二图像，所述第二图像包含多个类型的职业知识技能场景，并根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，并根据所述第二反应得到所述用户对应的职业知识技能指标；
获取所述用户进行自我介绍的视频数据，并根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标；
基于建立的贝叶斯模型，通过所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标的分布特征，得到所述用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划。
通过本申请提出的方法能够带来如下有益效果：
通过考察用户的专业信息、职业兴趣指标、职业知识技能指标、职业性格指标等多重因素，能够更加全面的对用户的真实想法进行识别。并且针对不同的因素，通过用户的生理特征的反应等方式进行获取，规避了用户主观心理想法对识别结果的影响，保证了识别过程的规范化，提高了识别效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中基于多模态融合的职业规划辅助方法的流程示意图；
图2为本申请实施例中，一种场景下的基于多模态融合的职业规划辅助方法的示意图；
图3为本申请实施例中基于多模态融合的职业规划辅助设备的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
如图1所示，本申请实施例提供一种基于多模态融合的职业规划辅助方法，如图2所示，提供本申请实施例中，一种场景下的基于多模态融合的职业规划辅助方法的示意图；
如图1和图2所示，方法包括：
S101：获取用户对应的专业信息。
专业信息指的是用户在校期间所学习的专业类别的信息，比如，电气工程、机械工程、金融数学等，将其定义在校学习专业信息为M（Major）。
具体地，可以通过两种方式获取用户的专利信息。第一种，用户在系统预设置的12个门类、93个专业类中进行选择，用户输入的待识别数据为选择的选项，由此可以根据选择出的选项对应的专业类，确定用户对应的专业信息。第二种，用户可以通过随意输入的方式输入专业名称，预先配置了基于人工智能自然语言处理技术开发的“专业名称实体名词识别系统”，其对用户输入的待识别数据进行消除词汇噪声、消除词汇歧义之后，将识别出的用户任意输入内容进行模糊匹配与精确匹配，得到用户对应的在校学习专业。
S102：向所述用户展示第一图像，所述第一图像包含多个类型的职业活动场景，并根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，并根据所述第一反应得到所述用户对应的职业兴趣指标。
在此将职业兴趣指标定义为OI（Occupational Interest）。第一图像中包含有职业活动场景，职业活动场景指的是，作为从事该职业的人员，正在从事职业相关的活动。在向用户展示时，通常展示一组第一图像，其数量不确定，可以根据用户本身的测试过程具有自适应推荐的特性。
第一图像中职业活动场景的类别可以包括以下六种类型，第一种是包含了工程技术类活动的图像刺激，例如：制作一辆手工汽车外壳、调试一个工业机械手臂、研磨一种新型材料等；第二种是包含了科学研究类活动的图像刺激，例如：一个穿着白大褂的科研人员研究动物、一个科研人员使用显微镜、一个科研人员在分析数据等；第三种是包含了艺术创造类活动的图像刺激，例如：一个艺术家在绘制图画、一个音乐家在弹钢琴等；第四种是包含了社会服务类活动的图像刺激，例如：一个人在社区进行反诈宣传、一个人在向福利院老人讲解健康知识等；第五种是包含了商业性活动的图像刺激，例如：一个人在向客户推荐公司服务、一个人在销售商品等；第六种是包含了传统活动类的图像刺激，例如：一个人在做会计记录、一个人在计算机前写工作总结等。
展示上述图像过程中，图像数量总数不确定，但是上述六种图像类型至少每一种展示3张第一图像。
通过具有相应功能的摄像机采集用户观看第一图像时的头部姿态数据（HP：HeadPose）、面部表情数据（FE：Facial Expression）。将头部姿态数据、面部表情数据进行特征提取，并根据提取到的特征进行特征融合。将融合后的特征输入至预先训练的神经网络模型中，输出得到用户对各职业活动的第一反应，第一反应包括趋近、回避、无反应中的至少一种。用户在观看每个第一图像时，输出一个对应的第一反应。
具体地，在进行特征融合时，对头部姿态数据进行位置信息计算，得到其在三维空间中的定位信息，作为头部姿态数据对应的特征，其中，定位信息包括三个维度的向量，可以描述为HP={x，y，z}，分别对应HP在三维空间中的坐标点位，HP的数据为模态融合的第一个模态。
对面部表情数据进行类型计算，得到其在积极程度、活跃程度两个维度上的向量，作为面部表情数据对应的特征；对FE进行类型计算，得到FE在V和A两个坐标上的数值，描述为FE={V，A}，其中，V是valence的简称，表示为积极程度，比如，高兴就是V为正数值，悲伤就是V为负数值；A是arousal的简称，表示为活跃程度，比如，生气就是A为正数，疲惫低落就是A为负数，FE的数据为模态融合的第二个模态。
分别提取头部姿态数据对应的特征、面部表情数据对应的特征中各维度的向量，并将提取到的各维度的向量进行融合。具体融合的计算方式可以通过32层的神经网络模型实现，模态融合为早融合策略，即在分别提取HP的三维坐标的三维数据以及FE的二维数值之后，对上述五维特征数据进行融合，其计算方式描述为：
。
进一步地，在确定职业兴趣指标时，针对同一种类型的职业活动场景对应的第一图像，若用户在第一预设数量（比如前三张）的第一图像的第一反应均为无反应，则继续向用户展示同一种类型的第一图像，直至达到第二预设数量（比如达到五张）。若第二预设数量的第一图像的第一反应均为无反应，则确定用户对该职业类型的职业兴趣指标为中等。否则，根据趋近、回避的出现次数来判断职业兴趣指标，趋近的出现次数越多，等级越高。
S103：向所述用户展示第二图像，所述第二图像包含多个类型的职业知识技能场景，并根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，并根据所述第二反应得到所述用户对应的职业知识技能指标。
将职业知识技能指标定义为OS（Occupational Skills）。预先设置了37项职业相关的知识与技能的真实场景的第二图像，第二图像中包含的职业知识技能，指的是职业活动中所需要用到的知识、技能，在第二图像中，并非要一定出现人物正在工作的场景，可以只包含相关的知识或技能，例如：Python代码编写技能，呈现一组需要调试的涵盖错误在内的代码。
具体地，安装了眼动追踪设备以及心率、心率变异性监测设备。眼动数据包括：瞳孔扩张程度（PD）、扫视模式（SM），心率数据包括：心率（RR）、心率变异性（HRV）。
若瞳孔扩张程度持续增大、心率升高、心率变异性降低且扫视模式为逐行扫视，则确定用户对第二图像对应的职业知识技能的第二反应为有难度。
若瞳孔扩张程度只在第一预设时间（10ms-100ms）短暂增大、心率只在第二预设时间短暂升高且扫视模式为快速扫视，则确定用户对第二图像对应的职业知识技能的第二反应为无难度。
S104：获取所述用户进行自我介绍的视频数据，并根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标。
职业性格指标定义为OP（Occupational Personality）。用户在进行职业性格测试时，面向摄像头进行长度至少为17秒的自我介绍，自我介绍要按照用户平时的正常状态进行介绍，不能刻意改变自我介绍的表述过程。摄像头采集用户的影像特征、语音采集分析器采集用户的语音特征。
将影像特征建立了基于多维向量（比如，34维度）在时间序列上的分布特征，将语音特征基于MFCC算法进行特征提取得到。将影像特征和语音特征进行特征融合，特征融合可以参考步骤S102中的特征融合过程。将融合后的特征输入至随机森林模型中，输出得到自我介绍对应的多项（比如，五项）人格指标因素。
其中，预先训练的多模态人工智能分析模型，前期采用了23584人的数据样本进行预训练，与专家经验中的专业人力资源专家投票计分的吻合度达到96.3%以上。此时，随机森林模型的构造参数由预先采集的已标注的样本，与专家经验对应的投票计分之间的吻合度最高时的参数确定，由此可以根据多项人格指标因素，得到用户对应的职业性格指标。
S105：基于建立的贝叶斯模型，通过所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标的分布特征，得到所述用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划。
需要说明的是，步骤S101~步骤S104之间，分别对应于获取不同的模态数据，其并没有严格的先后顺序。在得到上述四个模态的指标数据后，结合上述多方面因素，共同推断用户适合的岗位。如图2所示，可以将其分别称作4个子模块，子模块1~子模块4，分别对应步骤S101~步骤S104的内容。
具体地，通过先期调研的情况，预先设置了数据集。数据集的行向量包括：M，OI，OS，OP。在此将该用户对应的行向量称作第一行向量。同时，在第一行向量中新增加的两个向量，定义为“职业稳定性”（OSta）和“绩效增长率”（PI），将得到的行向量称作第二行向量。建立贝叶斯推断模型，通过M，OI，OS，OP的分布特征分别推断OSta和PI分数值高的概率，按照概率值从高到低排列岗位名称。并确定概率最高时，对应的M，OI，OS，OP的数值，然后根据数值对应的结论，提取对应的内容描述（比如，对应某类型职业的职业兴趣等级为中等），从而作为推荐的职业岗位。其中，具体地计算方式可以包括：
其中，职业规划内容和职业岗位的推荐可以包括：工作描述、工作职责、工作技能、职业知识、工作风格与职业发展建议等。
通过考察用户的专业信息、职业兴趣指标、职业知识技能指标、职业性格指标等多重因素，能够更加全面的对用户的真实想法进行识别。并且针对不同的因素，通过用户的生理特征的反应等方式进行获取，规避了用户主观心理想法对识别结果的影响，保证了识别过程的规范化，提高了识别效率。
如图3所示，本申请实施例提出了一种基于多模态融合的职业规划辅助设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取用户对应的专业信息；
向所述用户展示第一图像，所述第一图像包含多个类型的职业活动场景，并根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，并根据所述第一反应得到所述用户对应的职业兴趣指标；
向所述用户展示第二图像，所述第二图像包含多个类型的职业知识技能场景，并根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，并根据所述第二反应得到所述用户对应的职业知识技能指标；
获取所述用户进行自我介绍的视频数据，并根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标；
基于建立的贝叶斯模型，通过所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标的分布特征，得到所述用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划。
本申请实施例提出了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：
获取用户对应的专业信息；
向所述用户展示第一图像，所述第一图像包含多个类型的职业活动场景，并根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，并根据所述第一反应得到所述用户对应的职业兴趣指标；
向所述用户展示第二图像，所述第二图像包含多个类型的职业知识技能场景，并根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，并根据所述第二反应得到所述用户对应的职业知识技能指标；
获取所述用户进行自我介绍的视频数据，并根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标；
基于建立的贝叶斯模型，通过所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标的分布特征，得到所述用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于多模态融合的职业规划辅助方法，其特征在于，包括：
获取用户对应的专业信息；
向所述用户展示第一图像，所述第一图像包含多个类型的职业活动场景，并根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，并根据所述第一反应得到所述用户对应的职业兴趣指标；
向所述用户展示第二图像，所述第二图像包含多个类型的职业知识技能场景，并根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，并根据所述第二反应得到所述用户对应的职业知识技能指标；
获取所述用户进行自我介绍的视频数据，并根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标；
基于建立的贝叶斯模型，通过所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标的分布特征，得到所述用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划。
2.根据权利要求1所述的方法，其特征在于，根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，具体包括：
采集所述用户观看所述第一图像时的头部姿态数据、面部表情数据；
将所述头部姿态数据、所述面部表情数据进行特征提取，并根据提取到的特征进行特征融合；
将融合后的特征输入至预先训练的神经网络模型中，输出得到所述用户对各职业活动的第一反应，所述第一反应包括趋近、回避、无反应中的至少一种。
3.根据权利要求2所述的方法，其特征在于，将所述头部姿态数据、所述面部表情数据进行特征提取，并根据提取到的特征进行特征融合，具体包括：
对所述头部姿态数据进行位置信息计算，得到其在三维空间中的定位信息，作为所述头部姿态数据对应的特征，所述定位信息包括三个维度的向量；
对所述面部表情数据进行类型计算，得到其在积极程度、活跃程度两个维度上的向量，作为所述面部表情数据对应的特征；
分别提取所述头部姿态数据对应的特征、所述面部表情数据对应的特征中各维度的向量，并将提取到的各维度的向量进行融合。
4.根据权利要求2所述的方法，其特征在于，根据所述第一反应得到所述用户对应的职业兴趣指标，具体包括：
针对同一种类型的职业活动场景对应的第一图像，若所述用户在第一预设数量的第一图像的第一反应均为无反应，则继续向所述用户展示同一种类型的第一图像，直至达到第二预设数量；
若所述第二预设数量的第一图像的第一反应均为无反应，则确定所述用户对该职业类型的职业兴趣指标为中等。
5.根据权利要求1所述的方法，其特征在于，所述眼动数据包括：瞳孔扩张程度、扫视模式，所述心率数据包括：心率、心率变异性；
根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，具体包括：
若所述瞳孔扩张程度持续增大、所述心率升高、所述心率变异性降低且所述扫视模式为逐行扫视，则确定所述用户对所述第二图像对应的职业知识技能的第二反应为有难度；
若所述瞳孔扩张程度只在第一预设时间短暂增大、所述心率只在第二预设时间短暂升高且所述扫视模式为快速扫视，则确定所述用户对所述第二图像对应的职业知识技能的第二反应为无难度。
6.根据权利要求1所述的方法，其特征在于，根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标，具体包括：
根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，其中，所述影像特征为基于多维向量在时间序列上的分布特征，所述语音特征基于MFCC算法进行特征提取得到；
将所述影像特征和所述语音特征进行特征融合；
将融合后的特征输入至随机森林模型中，输出得到所述自我介绍对应的多项人格指标因素，所述随机森林模型的构造参数由预先采集的已标注的样本，与专家经验对应的投票计分之间的吻合度最高时的参数确定；
根据所述多项人格指标因素，得到所述用户对应的职业性格指标。
7.根据权利要求1所述的方法，其特征在于，基于建立的贝叶斯模型，通过所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标的分布特征，得到所述用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划，具体包括：
在预先设置的数据集中，添加第一行向量，所述第一行向量中包括所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标，并在所述第一行向量中添加职业稳定性、绩效增长率，得到第二行向量；
建立贝叶斯推断模型，通过所述第一行向量中的各向量的分布特征，推断得到得到所述职业稳定性、所述绩效增长率的各分数值的概率，并确定概率最高时，所述第一行向量中各指标对应的数值，以根据所述各指标分别对应的数值的结论，提取对应的内容描述，作为推荐的职业岗位。
8.根据权利要求1所述的方法，其特征在于，获取用户对应的专业信息，具体包括：
获取用户输入的待识别数据；
若所述待识别数据为所述用户在预设的多个预设选项中选择出的选项，则根据所述选择出的选项对应的专业类，确定所述用户对应的专业信息；
若所述待识别数据为用户输入的文本数据，则对所述文本数据进行噪声消除后，通过模糊匹配以及精确匹配确定所述用户对应的专业信息。
9.一种基于多模态融合的职业规划辅助设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取用户对应的专业信息；
向所述用户展示第一图像，所述第一图像包含多个类型的职业活动场景，并根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，并根据所述第一反应得到所述用户对应的职业兴趣指标；
向所述用户展示第二图像，所述第二图像包含多个类型的职业知识技能场景，并根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，并根据所述第二反应得到所述用户对应的职业知识技能指标；
获取所述用户进行自我介绍的视频数据，并根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标；
基于建立的贝叶斯模型，通过所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标的分布特征，得到所述用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划。
10.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：
获取用户对应的专业信息；
向所述用户展示第一图像，所述第一图像包含多个类型的职业活动场景，并根据采集的所述用户观看所述第一图像时的头部姿态数据、面部表情数据，确定所述用户对各职业活动的第一反应，并根据所述第一反应得到所述用户对应的职业兴趣指标；
向所述用户展示第二图像，所述第二图像包含多个类型的职业知识技能场景，并根据采集的所述用户观看所述第二图像时的眼动数据、心率数据，确定用户对各职业知识技能的第二反应，并根据所述第二反应得到所述用户对应的职业知识技能指标；
获取所述用户进行自我介绍的视频数据，并根据所述视频数据采集所述用户进行自我介绍时的影像特征、语音特征，以得到所述用户对应的职业性格指标；
基于建立的贝叶斯模型，通过所述专业信息、所述职业兴趣指标、所示职业知识技能指标、所述职业性格指标的分布特征，得到所述用户对应的职业稳定性和绩效增长率对应的各分数值的概率，并根据概率最高的分数值进行职业规划。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211029946.1A CN115358605B (zh) | 2022-08-26 | 2022-08-26 | 一种基于多模态融合的职业规划辅助方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211029946.1A CN115358605B (zh) | 2022-08-26 | 2022-08-26 | 一种基于多模态融合的职业规划辅助方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115358605A true CN115358605A (zh) | 2022-11-18 |
| CN115358605B CN115358605B (zh) | 2023-05-05 |
Family
ID=84004968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211029946.1A Active CN115358605B (zh) | 2022-08-26 | 2022-08-26 | 一种基于多模态融合的职业规划辅助方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115358605B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005083609A1 (en) * | 2004-01-30 | 2005-09-09 | Scully Helen M | Improved method and system for career assessment |
| CN111144512A (zh) * | 2019-12-31 | 2020-05-12 | 郑州轻工业大学 | 基于EMLo预训练模型的职业指导方法、装置及存储介质 |
| CN111598479A (zh) * | 2020-05-25 | 2020-08-28 | 时机(重庆)教育科技有限公司 | 一种基于大数据的生涯规划分析方法、系统、终端及介质 |
| CN112101823A (zh) * | 2020-11-03 | 2020-12-18 | 四川大汇大数据服务有限公司 | 多维度情绪识别管理方法、系统、处理器、终端及介质 |
| CN112330510A (zh) * | 2020-11-20 | 2021-02-05 | 龙马智芯（珠海横琴）科技有限公司 | 一种志愿推荐方法、装置、服务器及计算机可读存储介质 |
| CN114399827A (zh) * | 2022-03-14 | 2022-04-26 | 潍坊护理职业学院 | 基于面部微表情的高校毕业生职业性格测试方法及系统 |
-
2022
- 2022-08-26 CN CN202211029946.1A patent/CN115358605B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005083609A1 (en) * | 2004-01-30 | 2005-09-09 | Scully Helen M | Improved method and system for career assessment |
| CN111144512A (zh) * | 2019-12-31 | 2020-05-12 | 郑州轻工业大学 | 基于EMLo预训练模型的职业指导方法、装置及存储介质 |
| CN111598479A (zh) * | 2020-05-25 | 2020-08-28 | 时机(重庆)教育科技有限公司 | 一种基于大数据的生涯规划分析方法、系统、终端及介质 |
| CN112101823A (zh) * | 2020-11-03 | 2020-12-18 | 四川大汇大数据服务有限公司 | 多维度情绪识别管理方法、系统、处理器、终端及介质 |
| CN112330510A (zh) * | 2020-11-20 | 2021-02-05 | 龙马智芯（珠海横琴）科技有限公司 | 一种志愿推荐方法、装置、服务器及计算机可读存储介质 |
| CN114399827A (zh) * | 2022-03-14 | 2022-04-26 | 潍坊护理职业学院 | 基于面部微表情的高校毕业生职业性格测试方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| NASSIR NAVAB等: "Personalized, relevance-based Multimodal Robotic Imaging and augmented reality for Computer Assisted Interventions" * |
| 肖传亮;丁雯;: "知识员工职业生涯规划帮助功能的实现及其路径整合探索" * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115358605B (zh) | 2023-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3885965B1 (en) | Image recognition method based on micro facial expressions, apparatus and related device | |
| Heisz et al. | More efficient scanning for familiar faces | |
| Yu et al. | Modeling context in referring expressions | |
| Vinola et al. | A survey on human emotion recognition approaches, databases and applications | |
| US20230098296A1 (en) | Method and system for generating data set relating to facial expressions, and non-transitory computer-readable recording medium | |
| CN115205764B (zh) | 基于机器视觉的在线学习专注度监测方法、系统及介质 | |
| CN112307975A (zh) | 融合语音与微表情的多模态情感识别方法及系统 | |
| CN111553436A (zh) | 训练数据生成方法、模型训练方法及设备 | |
| CN115909443A (zh) | 基于多头注意力机制的表情识别模型及其训练方法 | |
| US11573432B2 (en) | Fitting orthokeratology lenses | |
| Panetta et al. | Software architecture for automating cognitive science eye-tracking data analysis and object annotation | |
| Szczapa et al. | Automatic estimation of self-reported pain by interpretable representations of motion dynamics | |
| CN117668202A (zh) | 一种回答生成方法、系统设备及存储介质 | |
| CN115358605B (zh) | 一种基于多模态融合的职业规划辅助方法、设备及介质 | |
| Wei | Development and evaluation of an emotional lexicon system for young children | |
| CN115120240A (zh) | 特殊行业目标感知技能的敏感性评估方法、设备及介质 | |
| Zelinsky | Specifying the components of attention in a visual search task | |
| CN114328864A (zh) | 基于人工智能和知识图谱的眼科问答系统 | |
| JP2015219698A (ja) | パーツの影響度に基づいて感情を推定する装置、プログラム及び方法 | |
| CN114463816A (zh) | 满意度确定方法、装置、处理器及电子设备 | |
| Xiong et al. | CNN-Transformer: A deep learning method for automatically identifying learning engagement | |
| Maddu et al. | Online learners’ engagement detection via facial emotion recognition in online learning context using hybrid classification model | |
| Ilham et al. | A review of face expression recognition system recommendation for psychiatric disease | |
| CN115363581B (zh) | 一种面向低龄儿童的阅读障碍预测方法、设备及介质 | |
| Képešiová et al. | Application of Advanced Machine Learning Algorithms for Early Detection of Mild Cognitive Impairment and Alzheimer’s Disease |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |