CN114694206A - 情绪指标预测方法与系统 - Google Patents

情绪指标预测方法与系统 Download PDF

Info

Publication number
CN114694206A
CN114694206A CN202110931855.6A CN202110931855A CN114694206A CN 114694206 A CN114694206 A CN 114694206A CN 202110931855 A CN202110931855 A CN 202110931855A CN 114694206 A CN114694206 A CN 114694206A
Authority
CN
China
Prior art keywords
emotion
prediction
integrated
processor
prediction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110931855.6A
Other languages
English (en)
Inventor
李俊贤
王思捷
何亮融
陈亮恭
陈骏宏
彭莉甯
杨宗翰
詹韵玄
蔡宗宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acer Inc
Original Assignee
Acer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acer Inc filed Critical Acer Inc
Publication of CN114694206A publication Critical patent/CN114694206A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Developmental Disabilities (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • Quality & Reliability (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明提供一种情绪指标预测方法与系统。所述方法包括下列步骤。获取受测者的多张图像。分析于图像之中受测者的多个情绪标记。依据图像各自对应的情绪标记计算多个预定时间周期内的多个整合情绪标记。依据整合情绪标记决定多个优选特征。依据优选特征建立情绪指标预测模型，以依据情绪指标预测模型预测情绪指标。

Description

情绪指标预测方法与系统
技术领域
本发明涉及一种情绪预测方法，尤其涉及一种基于拍摄图像的情绪指标 预测方法与系统。
背景技术
近年来，由于生活质量的提升、医疗技术的快速发展及少子化等因素的 影响，使得高龄人口数快速增加，占总人口的比例亦逐年提高。因此，年长 者的精神、心理健康状态是现今社会关注的议题之一。年长者的心理状况评 估目前大部分仍然要依靠医疗人员进行定期评估，并可能搭配使用各种可量 化的评估列表，例如常见的有Behave-AD量表、柯恩-曼斯菲尔德激动情绪行 为量表(Cohen-Mansfield Agitation Inventory，CMAI)及神经精神评估量表 (Neuropsychiatric Inventory，NPI)，其中这些量表可包含高达百分之五十占 比与情绪相关的评量因子。但是，许多年长者不愿意表达、未察觉自身异常 的情绪变化或已经遗忘过去的实际情绪，加上身体机能退化，可能逐渐地导 致忧郁症、失智症、认知功能障碍等疾病的发生。
因此，若能通过科技的方式，持续观察年长者的情绪，提早发现生活中 情绪的变化，便能实时的做出处置，像是心理咨商、药物治疗等，推迟各种 精神疾病的症状，改善年长者的日常生活，以协助达到更良好的生活质量。
发明内容
本公开有关于一种情绪指标预测方法与系统，其可通过持续观察受测者 的情绪表现来预测受测者的情绪指标，进而可协助判定受测者是否患有精神 相关疾病。
本发明实施例提供一种情绪指标预测方法，适用于包括处理器的情绪指 标预测系统。所述方法包括下列步骤：获取受测者的多张图像；分析于图像 之中受测者的多个情绪标记；依据图像各自对应的情绪标记计算多个预定时 间周期内的多个整合情绪标记；依据整合情绪标记决定多个优选特征；以及 依据优选特征建立情绪指标预测模型，以依据情绪指标预测模型预测情绪指 标。
本发明实施例提供一种情绪指标预测系统，其包括存储装置以及处理器。 所述存储装置记录有多个指令。处理器耦接及存储装置，经配置以执行所述 指令以：获取受测者的多张图像；分析于图像之中受测者的多个情绪标记； 依据图像各自对应的情绪标记计算多个预定时间周期内的多个整合情绪标记； 依据整合情绪标记决定多个优选特征；以及依据优选特征建立情绪指标预测 模型，以依据情绪指标预测模型预测情绪指标。
基于上述，于本发明实施例中，图像获取设备可架设在受测者的活动范 围，以持续获取受测者的脸部表情信息。多张图像中受测者的情绪标记可基 于受测者的脸部表情信息而产生，并进而获取分别属于多个预定时间周期的 多个整合情绪标记。基此，在基于这些整合情绪标记而萃取出与预测结果具 有高度相关性的多个优选特征后，可依据这些优选特征建立出准确的情绪指 标预测模型，以依据情绪指标预测模型预测情绪指标。于是，本发明实施例 所预测的情绪指标是依据长时间持续观察受测者而产生，其具有相当的可信 赖度，进而可协助精神疾病的诊断。
附图说明
图1是依照本发明一实施例的情绪指标预测系统的功能方块图；
图2是依照本发明一实施例的情绪指标预测方法的流程图；
图3是依照本发明一实施例的情绪指标预测方法的流程图；
图4是依照本发明一实施例的建立情绪指标预测模型的流程图。
附图标记说明
10:情绪指标预测系统；
110:图像获取设备；
120:存储装置；
130:处理器；
S201～S205,S301～S305,S401～S411:步骤。
具体实施方式
现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附 图中。只要有可能，相同组件符号在附图和描述中用来表示相同或相似部分。
图1是依照本发明一实施例的情绪指标预测系统的功能方块图。但此仅 是为了方便说明，并不用以限制本发明。首先图1先介绍情绪指标预测系统 所有构件以及配置关系，详细功能将配合后续实施例一并公开。
请参照图1，情绪指标预测系统10包括图像获取设备110、存储装置120， 以及处理器130。处理器130耦接至图像获取设备110以及存储装置120。在 一些实施例中，情绪指标预测系统10可包括具有存储装置120与处理器130 的计算器装置，以及连接于上述计算器装置的图像获取设备110。例如，基 于图像的情绪指标预测系统10可以是由计算机与外接摄影机而构成，本发明 不在此设限。又或者，于一些实施例中，情绪指标预测系统10还可包括通讯 接口(communication interface)，其可将图像获取设备110所获取的图像数据 通过网络(例如因特网)传送至具有存储装置120与处理器130的计算器装 置，例如服务器。
图像获取设备110用以朝受测者获取图像，并且包括具有透镜以及感光 组件的摄像镜头。感光组件用以感测进入透镜的光线强度，进而产生图像。 感光组件可以例如是电荷耦合组件(charge coupled device，CCD)、互补性氧 化金属半导体(complementarymetal-oxide semiconductor，CMOS)组件或其 他组件，本发明不在此设限。
存储装置120用以存储文件、图像、指令、程序代码、软件组件等等数 据，其可以例如是任意型式的固定式或可移动式随机存取内存(random access memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)、 硬盘或其他类似装置、集成电路及其组合。
处理器130用以执行所提出的情绪指标预测方法，其例如是中央处理单 元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用 途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor， DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可程序化逻辑设备(Programmable Logic Device，PLD)、 图形处理器(Graphics Processing Unit，GPU)或其他类似装置或这些装置的 组合。处理器130可执行记录于存储装置120中的程序代码、软件模块、指 令等等，以实现本发明实施例的情绪指标预测方法。
图2是依照本发明一实施例的情绪指标预测方法的流程图。请参照图2， 本实施例的方式适用于上述实施例中的情绪指标预测系统10，以下即搭配情 绪指标预测系统10中的各项组件说明本实施例方法的详细步骤。
于步骤S201，处理器130从图像获取设备110获取受测者的多张图像。 于一些实施例中，图像获取设备110可架设在受测者的日常活动范围内，以 获取受测者的多张图像。
于步骤S202，处理器130分析于这些图像之中受测者的多个情绪标记。 于一些实施例中，处理器130可利用人脸检测技术来检测多张图像之中受测 者的多个脸部图像区块。举例而言，处理器130可利用人脸检测模型从各张 图像中定位出受测者的一脸部图像区块，并利用机器学习、深度学习或其他 合适的算法自脸部区块检测出用以标记脸部轮廓、五官形状与五官位置的多 个脸部特征点(facial landmarks)。于一些实施例中，处理器130可以基于脸 部图像区块的尺寸与人脸偏转角度对图像进行筛选操作，以保留脸部图像区 块足够大且人脸偏转角度够小的图像。基此，人脸信息不足的图像可以被淘 汰而避免以可信度不高的训练数据去建立情绪指标预测模型。此外，于一些 实施例中，处理器130还可依据图像中的脸部图像区块进行受测者的身份验 证，以避免取用的他人的脸部信息。
接着，于一些实施例中，处理器130可分别将这些脸部图像区块输入至 表情分类模型而获取这些图像各自对应的情绪标记。此表情分类模型是已经 以机器学习的方式预先训练好的分类器，其可对各张图像中受测者的脸部情 绪进行分类标记。举例而言，处理器130可利用表情分类模型将脸部图像区 块中的脸部情绪分类为多种情绪类别，并依据上述分类结果获取各张图像所 对应的情绪标记。于一些实施例中，上述情绪标记可以是离散型的数值，例 如为1、2、3、4等等，而此数值与情绪的正面程度成正相关。也就是说，情 绪标记越高则受测者的情绪越正面，情绪标记越低则受测者的情绪越负面。 然而，本发明对于情绪标记的种类数目与实际数值并不加以限制，其可视实 际需求而设计。
于步骤S203，处理器130依据图像各自对应的情绪标记计算多个预定时 间周期内的多个整合情绪标记。于一些实施例中，处理器130对各预定时间 周期的情绪标进行统计运算，而获取各预定时间周期内的整合情绪标记其中 之一。上述统计运算例如是平均运算或取众数处理等等。具体而言，上述的 预定时间周期的时间长度例如是以“一日”为单位，因此这些预定时间周期 即为多个日期，但本发明不限制于此。图像获取设备110可每日获取到受测 者的多张图像，而处理器130可依据受测者的多张图像获取每日的多个情绪 标记。并且，处理器130可统合每日的所有情绪标记而获取分别对应至不同 日的多个整合情绪标记。举例而言，表1为某一受测者的情绪标记，而表2 为该受测者的整合情绪标记。于此，假设情绪标记有4种，其分别为‘1’、‘2’、 ‘3’、‘4’。
受测者编号 日期 情绪标记
A 2019/3/6 3
A 2019/3/6 4
A 2019/3/6 3
A 2019/3/7 1
A 2019/3/7 1
… … …
表1
受测者编号 日期 整合情绪标记
A 2019/3/6 3({0,0,2,1})
A 2019/3/7 1({2,0,0,0})
… … …
表2
需说明的是，于一些实施例中，情绪指标预测模型可用以依据受测者的 日常情绪表现来预测NPI分数。换言之，用以训练情绪指标预测模型的真实 信息为受测者实际回答NPI量表内的问题而产生的NPI分数。因此，处理器 130可统整实际进行NPI检测的受检日的前N天的N个整合情绪标记，并将 这N个整合情绪标记作为训练情绪指标预测模型的训练数据集。举例而言， 表3为关于某一受测者的用以训练情绪指标预测模型的训练数据集。
Figure BDA0003211426970000061
表3
于步骤S204，处理器130依据整合情绪标记决定多个优选特征。于一些 实施例中，处理器130可依据预定义的多种特征产生规则与多个整合情绪标 记来产生多个初始特征。于一些实施例中，处理器130可依据这些整合情绪 标记获取部份或全部的多个初始特征。于一些实施例中，这些初始特征可包 括这些整合情绪标记与其统计运算结果。于一些实施例中，处理器130可直 接将这些初始特征作为优选特征。于一些实施例中，处理器130可对这些初 始特征进行特征萃取程序而提取出较为重要的优选特征，而这些优选特征对 应至预定义的特征产生规则其中之部份。也就是说，于一些实施例中，优选 特征可包括这些整合情绪标记。于一些实施例中，优选特征可包括这些整合 情绪标记的统计运算结果。于一些实施例中，优选特征可包括这些整合情绪 标记与其统计运算结果。这些整合情绪标记的运算统计运算结果可包括平均 值、标准偏差，以及其他统计信息。后续实施例将有详细说明。附带一提的 是，于其他实施例中，可以被挑选为优选特征的初始特征还可包括依据这些 图像所估测的受测者的睡眠质量指标与活动量指标。后续实施例将有详细说 明。
于步骤S205，处理器130依据优选特征建立情绪指标预测模型，以依据 情绪指标预测模型预测情绪指标。于一些实施例中，处理器130可依据真实 的情绪指标(例如是实际进行NPI检测而获取的NPI分数)与挑选出来的优 选特征作为监督式机器学习算法的训练数据而建立情绪指标预测模型。也就 是说，处理器130可依据一机器学习算法与训练数据来建立情绪指标预测模 型。像是，上述机器学习算法可包括是回归分析算法、多元适应性云形回归 模型(Multivariate Adaptive Regression Splines，MARS)算法、引导聚集(Bootstrap aggregating，Bagged)算法、神经网络算法、随机森林(Random Forest)算法、弹性网络(Elastic Net)算法、最小绝对值收敛和选择算子(least absolute shrinkageand selection operator，LASSO)算法、k近邻分类(k-nearest neighborclassification，KNN)算法或支持向量回归(SVR)算法等等，本发 明对此不限制。
详细而言，在情绪指标预测模型的训练阶段，处理器130可基于真实的 NPI分数来标记多个整合情绪指标组成的数据集，并将这些已标记的数据集 的优选特征作为机器学习的训练素材。以表3为范例，处理器130可依据于 2019年3月9日进行NPI检测而获取的NPI分数来标记包括受测日前N天的 N个整合情绪指标的数据集，并将这N个整合情绪指标所建立的优选特征作 为机器学习的训练素材。基此，于一些实施例中，处理器130可依据一或多个受测者的资料来训练出用以预测情绪指标的情绪指标预测模型。藉此，此 情绪指标预测模型可依据受测者持续的日常情绪表现来预估受测者的一个情 绪指标，进而协助精神相关疾病的诊断。然而，虽然上述实施例是以预测NPI 分数为范例进行说明，但于其他实施例中，所述精神指标可以是基于其他量 表或检测方式而产生的指标数值。
图3是依照本发明一实施例的情绪指标预测方法的流程图。请参照图3， 本实施例的方式适用于上述实施例中的情绪指标预测系统10，以下即搭配情 绪指标预测系统10中的各项组件说明本实施例方法的详细步骤。
于步骤S301，处理器130从图像获取设备110获取受测者的多张图像。 于步骤S302，处理器130分析于这些图像之中受测者的多个情绪标记。于步 骤S303，处理器130依据图像各自对应的情绪标记计算多个预定时间周期内 的多个整合情绪标记。上述步骤S301～步骤S303与图2所示步骤S201～S203 的操作原理相似，于此不再赘述。
于步骤S304，处理器130依据整合情绪标记决定多个优选特征。于本实 施例中，步骤S304可实施为步骤S3041～步骤S3045。于本实施例中，处理 器130可先建立多个初始特征，再对这些初始特征进行特征萃取程序而挑选 出优选特征。于本实施例中，这些初始特征可包括整合情绪标记、整合情绪 标记的统计运算结果、受测者的睡眠质量指标，以及受测者的活动量指标。
于是，于步骤S3041，处理器130将整合情绪标记设定为部份的初始特 征。举例而言，处理器130可直接将NPI受检日前7天的7个整合情绪标记 设定为7个初始特征。
于步骤S3042，处理器130对整合情绪标记进行至少一统计运算处理而 获取部份的初始特征。假设NPI受检日前7天的7个整合情绪标记分别为E1、 E2、E3、E4、E5、E6、E7。为了方便说明，以下以整合情绪标记可分类为4 种情绪，且分别为‘1’、‘2’、‘3’、‘4’为范例进行说明。于一些实施例中，处理 器130可计算这些整合情绪标记E1～E7的平均值Mn而获取一个初始特征。 于一些实施例中，处理器130可依据这些整合情绪标记E1～E7统计这4种情绪‘1’、‘2’、‘3’、‘4’各自的出现次数C1～C4以获取4个初始特征。于一些 实施例中，处理器130可计算这些整合情绪标记E1～E7的标准偏差SD而获 取一个初始特征。
于一些实施例中，假设情绪‘1’、‘2’为正面情绪，且情绪‘3’、‘4’为负面情 绪。处理器130可计算正面情绪‘1’、‘2’的出现次数C1～C2的总和Pos而获 取一个初始特征。处理器130可计算负面情绪‘3’、‘4’的出现次数C3～C4的 总和Neg而获取一个初始特征。于一些实施例中，处理器130还可计算正面 情绪的总和Pos与负面情绪的总和Neg之间的差距Diff而获取一个初始特征。 此外，于一些实施例中，处理器130还依据相邻两天的情绪变化来建立初始 特征。像是，于一些实施例中，处理器130可计算相邻两日的整合情绪标记 的差距的总和Diff_sum，而获取一个初始特征，其中此初始特征可表示为 |E1-E2|+|E2-E3|+|E3-E4|+|E4-E5|+|E5-E6|+|E6-E7|。于一些实施例中，处理器 130可计算相邻两日的整合情绪标记的差距的全距Range而获取一个初始特 征，此初始特征可表示为Max(|E1-E2|,|E2-E3|,|E3-E4|,|E4-E5|,|E5-E6|, |E6-E7|)-Min(|E1-E2|,|E2-E3|,|E3-E4|,|E4-E5|,|E5-E6|,|E6-E7|)。
举例而言，假设E1、E2、E3、E4、E5、E6、E7分别为1、2、2、3、2、 4、1，则处理器130可依据多个统计运算而获取如表4所示的多个初始特征。
受测者编号 Mn C1 C2 C3 C4 SD
A 2.14 2 3 1 1 1.07
受测者编号 Pos Neg Diff Diff_sum Range
A 5 2 3 8 3
表4
于步骤S3043，处理器130依据图像获取受测者的至少一活动量指标， 并将至少一活动量指标设定为部份的初始特征。于一些实施例中，从受测者 所取得的图像，不仅限于取得与情绪相关特征，也可以依据图像估测图像中 受测者的活动量，例如：移动距离、肢体骨架的变化量、单日跨多张图像的 行走轨迹变化幅度等。以移动距离为例，处理器130可以判定图像中受测者 为站立或非站立以及是否为行走状态，从而计算累积行走时间，则移动距离 可为上述行走时间与受测者平均行走速度的乘积。受测者平均行走速度可依 据年龄与性别而设定。换言之，于一些实施例中，活动量指标可包括受测者 的移动距离、骨架变化量或行走轨迹变化幅度等等。上述活动量指标可以是 依据一日或多日为单位进行估测而获取。于一些实施例中，处理器130也可 对不同日的活动量指标进行统计运算而获取其他初始特征。
于步骤S3044，处理器130依据图像或其他仪器获取受测者的至少一睡 眠质量指标，并将至少一睡眠质量指标设定为部份的初始特征。于一些实施 例中，可通过智能仪器，例如智能床垫或穿戴式电子装置来检测受测者的睡 眠质量。例如，单日睡眠时间长度、深/浅眠占睡眠时间比率、离床/翻身次数 等。上述睡眠质量指标可以是依据一日或多日为单位进行估测而获取。于一 些实施例中，处理器130也可对不同日的睡眠质量指标进行统计运算而获取 其他初始特征。
于步骤S3045，处理器130对初始特征进行特征萃取程序而提取出优选 特征。具体而言，处理器130可依据上述所有的初始特征与多种机器学习算 法来训练对应的预测模型，并进而依据各初始特征的特征权重、特征重要性 或特征相关性进行各个初始特征的排序动作而选择出排序前几名的一些特征。 举例而言，对应于不同的机器学习算法，处理器130可依据各初始特征的P 值(P-value)、赤池信息准则(Akaike information criterion，AIC)度量或特征重要 性(feature importance)来进行各个初始特征的排序动作。依据各初始特征被选 择到的次数或比率，处理器130可自K个初始特征中选择L个优选特征，其 中L≦K。
于步骤S305，处理器130依据优选特征建立情绪指标预测模型，以依据 情绪指标预测模型预测情绪指标。上述步骤S305与图2所示步骤S205的操 作原理相似，于此不再赘述。藉此，有别于传统单纯使用特定量表判定受测 者有无精神相关疾病，例如忧郁症或失智症，本发明实施例可依据每日的情 绪表现、活动量与睡眠质量的变化，预测未来的情绪指标，因而可有效协助 精神相关疾病的诊断准确性。
图4是依照本发明一实施例的建立情绪指标预测模型的流程图。请参照 图4，本实施例的方式适用于上述实施例中的情绪指标预测系统10，以下即 搭配情绪指标预测系统10中的各项组件说明本实施例方法的详细步骤。
于步骤S401，处理器130从图像获取设备110获取受测者的多张图像。 于步骤S402，处理器130分析于这些图像之中受测者的多个情绪标记。于步 骤S403，处理器130依据图像各自对应的情绪标记计算多个预定时间周期内 的多个整合情绪标记。于步骤S404，处理器130根据整合情绪标记、整合情 绪标记的统计运算结果、活动量指标以及睡眠质量指标获取多个初始特征。 上述步骤S401～步骤S404的操作原理已于前述图2与图3的实施例清楚说 明，于此不再赘述。
于步骤S405，处理器130切分模型训练数据与模型验证数据。不重复切 分模型训练数据与模型验证数据的方式例如是K-fold算法，可重复切分模型 训练数据与模型验证数据的方式例如是Bootstrap算法，但本发明并不在此限。 于步骤S406，处理器130利用模型训练数据对初始特征进行特征萃取程序而 提取出多个优选特征。如同图3的实施例的说明，处理器130可基于多种不 同机器学习算法来进行初始特征的特征萃取程序，以从这些初始特征中挑选 出与模型输出量较为相关的多个优选特征。
需特别说明的是，于一些实施例中，处理器130可依据这些优选特征建 立多个预测模型，并获取各预测模型的预测误差。接着，处理器130可依据 各预测模型的预测误差，选择预测模型其中之一作为最终的情绪指标预测模 型。于一些实施例中，这些预测模型可包括第一预测模型、第二预测模型， 以及整合预测模型。其中，整合预测模型的预测结果为第一预测模型的预测 结果与第二预测模型的预测结果的加权总和。
请参照图4，于本实施例中，于步骤S407，处理器130可依据第一机器 学习算法与多个优选特征来建立第一预测模型。举例而言，处理器130可依 据传统的统计学习算法，像是MARS算法、LASSO算法或LM算法来建立 第一预测模型。
于步骤S408，处理器130可依据第二机器学习算法与多个优选特征来建 立第二预测模型。举例而言，处理器130可依据支持向量回归(SVR)算法 来建立第二预测模型。
于步骤S409，处理器130可依据第三机器学习算法与多个优选特征来建 立第三预测模型。举例而言，处理器130可依据深度神经网络算法来建立第 三预测模型。
于步骤S410，处理器130依据第四机器学习算法与多个优选特征来建立 第四预测模型。于此，第四预测模型可为整合预测模型，其预测结果为第一 预测模型的预测结果、第二预测模型的预测结果与第三预测模型的预测结果 的加权总和。
在第一/第二/第三/第四预测模型的建立阶段(训练阶段)，处理器130可依 据真实信息(例如，真实的NPI分数)来计算模型输出与真实信息之间的预测 误差，上述预测误差例如是平均绝对百分比误差(Mean Absolute Percent Error， MAPE)。于是，于步骤S411，处理器130依据各预测模型的预测误差，选择 预测模型其中之一作为情绪指标预测模型。处理器130可挑选第一/第二/第三 /第四预测模型其中具有最小预测误差的一者作为情绪指标预测模型。
综上所述，于本发明实施例中，多张图像中受测者的情绪标记可基于受 测者的脸部表情信息而产生，并进而获取分别属于多个预定时间周期的多个 整合情绪标记。用以预测情绪指标的情绪指标预测模型可通过将这些整合情 绪标记作为训练数据集而建立。亦即，此情绪指标预测模型可依据受测者连 日来的日常情绪表现而预测出受测者的情绪指标。因此，本发明实施例所预 测的情绪指标是依据长时间持续观察受测者而产生，其具有相当的可信赖度， 进而可协助精神相关疾病的诊断，以避免受测者不愿表态病情而延迟精神相 关疾病诊断的情况发生。此外，用以建立情绪指标预测模型的优选特征是经 过特征萃取程序而决定，因而可提升模型可信度与降低运算量。除此之外， 通过将基于图像或其他仪器而估测的睡眠质量指标与活动量指标作为建立情 绪指标预测模型的输入特征，也可协助预测受测者未来的情绪发展，而有效 协助精神相关疾病的诊断。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对 其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并 不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (20)

1.一种情绪指标预测方法，适用于包括处理器的情绪指标预测系统，其特征在于，包括：
获取受测者的多张图像；
分析于所述图像之中所述受测者的多个情绪标记；
依据所述图像各自对应的所述情绪标记计算多个预定时间周期内的多个整合情绪标记；
依据所述整合情绪标记决定多个优选特征；以及
依据所述优选特征建立情绪指标预测模型，以依据所述情绪指标预测模型预测情绪指标。
2.根据权利要求1所述的情绪指标预测方法，其特征在于，分析于所述图像之中所述受测者的所述情绪标记的步骤包括：
检测所述图像之中所述受测者的脸部图像区块；以及
分别将所述脸部图像区块输入至表情分类模型而获取所述图像各自对应的所述情绪标记。
3.根据权利要求1所述的情绪指标预测方法，其特征在于，依据所述图像各自对应的所述情绪标记计算所述预定时间周期内的所述整合情绪标记的步骤包括：
对各所述预定时间周期的所述情绪标进行统计运算，而获取各所述预定时间周期内的所述整合情绪标记其中之一。
4.根据权利要求1所述的情绪指标预测方法，其特征在于，依据所述整合情绪标记决定所述优选特征的步骤包括：
依据所述整合情绪标记获取部份或全部的多个初始特征；以及
对所述初始特征进行特征萃取程序而提取出所述优选特征。
5.根据权利要求4所述的情绪指标预测方法，其特征在于，依据所述整合情绪标记获取部份或全部的所述初始特征的步骤包括：
将所述整合情绪标记设定为部份或全部的所述初始特征。
6.根据权利要求4所述的情绪指标预测方法，其特征在于，依据所述整合情绪标记获取部份或全部的所述初始特征的步骤包括：
对所述整合情绪标记进行至少一统计运算处理而获取部份或全部的所述初始特征。
7.根据权利要求4所述的情绪指标预测方法，其特征在于，还包括：
依据所述图像获取所述受测者的至少一活动量指标；以及
将所述至少一活动量指标设定为另一部份的所述初始特征。
8.根据权利要求4所述的情绪指标预测方法，其特征在于，还包括：
依据所述图像或其他仪器获取所述受测者的至少一睡眠质量指标；以及
将所述至少一睡眠质量指标设定为另一部份的所述初始特征。
9.根据权利要求1所述的情绪指标预测方法，其特征在于，依据所述优选特征建立所述情绪指标预测模型的步骤包括：
依据所述优选特征建立多个预测模型，并获取各所述预测模型的预测误差；以及
依据各所述预测模型的预测误差，选择所述预测模型其中之一作为所述情绪指标预测模型。
10.根据权利要求9所述的情绪指标预测方法，其特征在于，所述预测模型包括第一预测模型、第二预测模型，以及整合预测模型，所述整合预测模型的预测结果为所述第一预测模型的预测结果与所述第二预测模型的预测结果的加权总和。
11.一种情绪指标预测系统，其特征在于，包括：
存储装置，记录有多个指令；以及
处理器，耦接所述存储装置，经配置以执行所述指令以：
获取受测者的多张图像；
分析于所述图像之中所述受测者的所述情绪标记；
依据所述图像各自对应的所述情绪标记计算多个预定时间周期内的多个整合情绪标记；
依据所述整合情绪标记决定多个优选特征；以及
依据所述优选特征建立情绪指标预测模型，以依据所述情绪指标预测模型预测情绪指标。
12.根据权利要求11所述的情绪指标预测系统，其特征在于，所述处理器更经配置以：
检测所述图像之中所述受测者的脸部图像区块；以及
分别将所述脸部图像区块输入至表情分类模型而获取所述图像各自对应的所述情绪标记。
13.根据权利要求11所述的情绪指标预测系统，其特征在于，所述处理器更经配置以：
对各所述预定时间周期的所述情绪标进行统计运算，而获取各所述预定时间周期内的所述整合情绪标记其中之一。
14.根据权利要求11所述的情绪指标预测系统，其特征在于，所述处理器更经配置以：
依据所述整合情绪标记获取部份或全部的多个初始特征；以及
对所述初始特征进行特征萃取程序而提取出所述优选特征。
15.根据权利要求14所述的情绪指标预测系统，其特征在于，所述处理器更经配置以：
将所述整合情绪标记设定为部份或全部的所述初始特征。
16.根据权利要求14所述的情绪指标预测系统，其特征在于，所述处理器更经配置以：
对所述整合情绪标记进行至少一统计运算处理而获取部份或全部的所述初始特征。
17.根据权利要求14所述的情绪指标预测系统，其特征在于，所述处理器更经配置以：
依据所述图像获取所述受测者的至少一活动量指标；以及
将所述至少一活动量指标设定为另一部份的所述初始特征。
18.根据权利要求14所述的情绪指标预测系统，其特征在于，所述处理器更经配置以：
依据所述图像或其他仪器获取所述受测者的至少一睡眠质量指标；以及
将所述至少一睡眠质量指标设定为另一部份的所述初始特征。
19.根据权利要求11所述的情绪指标预测系统，其特征在于，所述处理器更经配置以：
依据所述优选特征建立多个预测模型，并获取各所述预测模型的预测误差；以及
依据各所述预测模型的预测误差，选择所述预测模型其中之一作为所述情绪指标预测模型。
20.根据权利要求19所述的情绪指标预测系统，其特征在于，所述预测模型包括第一预测模型、第二预测模型，以及整合预测模型，所述整合预测模型的预测结果为所述第一预测模型的预测结果与所述第二预测模型的预测结果的加权总和。
CN202110931855.6A 2020-12-31 2021-08-13 情绪指标预测方法与系统 Pending CN114694206A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109147021A TWI811605B (zh) 2020-12-31 2020-12-31 情緒指標預測方法與系統
TW109147021 2020-12-31

Publications (1)

Publication Number Publication Date
CN114694206A true CN114694206A (zh) 2022-07-01

Family

ID=77249730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110931855.6A Pending CN114694206A (zh) 2020-12-31 2021-08-13 情绪指标预测方法与系统

Country Status (4)

Country Link
US (1) US11955245B2 (zh)
EP (1) EP4024403A1 (zh)
CN (1) CN114694206A (zh)
TW (1) TWI811605B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117038074B (zh) * 2023-08-01 2024-10-01 中国工业互联网研究院 基于大数据的用户管理方法、装置、设备及存储介质
CN117995399B (zh) * 2024-01-25 2024-08-13 徐州医科大学 基于多模态数据的大规模心理健康智能评价方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1666967B1 (en) * 2004-12-03 2013-05-08 Magix AG System and method of creating an emotional controlled soundtrack
CN103530788A (zh) * 2012-07-02 2014-01-22 纬创资通股份有限公司 多媒体评价系统、多媒体评价装置以及多媒体评价方法
WO2015074116A1 (en) * 2013-11-20 2015-05-28 The Council Of The Queensland Institute Of Medical Research Burst analysis
US10191920B1 (en) * 2015-08-24 2019-01-29 Google Llc Graphical image retrieval based on emotional state of a user of a computing device
US10242034B1 (en) * 2015-12-28 2019-03-26 Amazon Technologies, Inc. Intelligent selection of images to create image narratives
US10467290B1 (en) * 2015-12-29 2019-11-05 Amazon Technologies, Inc. Generating and refining a knowledge graph
TWI642407B (zh) * 2016-10-11 2018-12-01 國立臺北護理健康大學 腦波偵測情緒裝置
CN106650621A (zh) * 2016-11-18 2017-05-10 广东技术师范学院 一种基于深度学习的情绪识别方法及系统
CN107463888B (zh) * 2017-07-21 2020-05-19 竹间智能科技（上海）有限公司 基于多任务学习与深度学习的人脸情绪分析方法及系统
CN107633203A (zh) * 2017-08-17 2018-01-26 平安科技（深圳）有限公司 面部情绪识别方法、装置及存储介质
US10511888B2 (en) * 2017-09-19 2019-12-17 Sony Corporation Calibration system for audience response capture and analysis of media content
US11083398B2 (en) * 2017-12-07 2021-08-10 Neucogs Ltd. Methods and systems for determining mental load
US10522143B2 (en) * 2018-02-27 2019-12-31 Microsoft Technology Licensing, Llc Empathetic personal virtual digital assistant
CN109190487A (zh) 2018-08-07 2019-01-11 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
KR102675289B1 (ko) * 2018-10-29 2024-06-17 현대자동차주식회사 차량 및 그 제어 방법
US20200138356A1 (en) * 2018-11-01 2020-05-07 Moodify Ltd. Emotional state monitoring and modification system
CN109816141A (zh) 2018-12-13 2019-05-28 平安科技（深圳）有限公司 基于数据分析的产品数据预测方法、装置、计算机设备
CN109583431A (zh) 2019-01-02 2019-04-05 上海极链网络科技有限公司 一种人脸情绪识别模型、方法及其电子装置
TWM579360U (zh) 2019-03-21 2019-06-11 嘉藥學校財團法人嘉南藥理大學 Questioning system for detecting facial expressions
GB2588747B (en) * 2019-06-28 2021-12-08 Huawei Tech Co Ltd Facial behaviour analysis
US11188718B2 (en) * 2019-09-27 2021-11-30 International Business Machines Corporation Collective emotional engagement detection in group conversations
US11778309B2 (en) * 2020-09-11 2023-10-03 International Business Machines Corporation Recommending location and content aware filters for digital photographs

Also Published As

Publication number Publication date
EP4024403A1 (en) 2022-07-06
US20220208383A1 (en) 2022-06-30
TWI811605B (zh) 2023-08-11
US11955245B2 (en) 2024-04-09
TW202228150A (zh) 2022-07-16

Similar Documents

Publication Publication Date Title
US9510756B2 (en) Method and system for diagnosis of attention deficit hyperactivity disorder from magnetic resonance images
Song et al. Simultaneous cell detection and classification in bone marrow histology images
Kaur et al. A vision-based framework for predicting multiple sclerosis and Parkinson's disease gait dysfunctions—A deep learning approach
US10610109B2 (en) Emotion representative image to derive health rating
CN114694206A (zh) 情绪指标预测方法与系统
CN115607156B (zh) 基于多模态的心理认知筛查测评方法、系统及存储介质
CN110111323B (zh) 髋关节检测方法及装置
Maulana et al. Performance analysis and feature extraction for classifying the severity of atopic dermatitis diseases
Luo et al. Exploring adaptive graph topologies and temporal graph networks for EEG-based depression detection
Fu’adah et al. Computer Aided Diagnosis for Early Detection of Glaucoma Using Convolutional Neural Network (CNN)
Paulo et al. Trajectory-based gait pattern shift detection for assistive robotics applications
Dumphart et al. Robust deep learning-based gait event detection across various pathologies
Raghav et al. Autism Spectrum Disorder Detection in Children Using Transfer Learning Techniques
Sengar et al. An efficient artificial intelligence-based approach for diagnosis of media haze disease
Dey et al. Depression detection using intelligent algorithms from social media context-state of the art, trends and future roadmap
Bevilacqua et al. Rehabilitation exercise segmentation for autonomous biofeedback systems with ConvFSM
CN113537407B (zh) 基于机器学习的图像数据评价处理方法及装置
KR20200120365A (ko) 파킨슨 환자 영상의 구분 동작으로부터 중증 정도를 자동으로 채점하는 학습 방법 및 장치
Gonzales et al. Bmi estimation from 2d face images using support vector machine
Lysenko et al. Towards automated emotion classification of atypically and typically developing infants
Gholami et al. Diagnosis of Gastric Cancer via Classification of the Tongue Images using Deep Convolutional Networks
Kumar et al. Disease Detection Based on Nail Color Analysis Using Image Processing
EP3925520A1 (en) Method for selecting features from electroencephalogram signals
Jadah et al. Breast Cancer Image Classification Using Deep Convolutional Neural Networks
Gamage et al. Academic depression detection using behavioral aspects for Sri Lankan university students

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination