CN117257302A - 人员心理健康状态评估方法及系统 - Google Patents
人员心理健康状态评估方法及系统 Download PDFInfo
- Publication number
- CN117257302A CN117257302A CN202311216974.9A CN202311216974A CN117257302A CN 117257302 A CN117257302 A CN 117257302A CN 202311216974 A CN202311216974 A CN 202311216974A CN 117257302 A CN117257302 A CN 117257302A
- Authority
- CN
- China
- Prior art keywords
- behavior
- semantic
- full
- time domain
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000004630 mental health Effects 0.000 title claims description 40
- 238000012544 monitoring process Methods 0.000 claims abstract description 106
- 230000009323 psychological health Effects 0.000 claims abstract description 24
- 239000013598 vector Substances 0.000 claims description 118
- 230000003542 behavioural effect Effects 0.000 claims description 32
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000006996 mental state Effects 0.000 claims description 5
- 238000004378 air conditioning Methods 0.000 claims 1
- 230000006399 behavior Effects 0.000 abstract description 117
- 238000004422 calculation algorithm Methods 0.000 abstract description 11
- 230000008569 process Effects 0.000 abstract description 11
- 238000013135 deep learning Methods 0.000 abstract description 7
- 239000010410 layer Substances 0.000 description 31
- 230000006870 function Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 230000004913 activation Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Social Psychology (AREA)
- Physiology (AREA)
- Child & Adolescent Psychology (AREA)
- Human Computer Interaction (AREA)
- Psychology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请公开了一种人员心理健康状态评估方法及系统,其通过结合深度学习算法,对被监控对象的行为监控视频进行处理与分析,从而智能化地判断被监控对象的心理健康状态是否正常。
Description
技术领域
本申请涉及智能评估领域,且更为具体地,涉及一种人员心理健康状态评估方法及系统。
背景技术
人员的心理健康状态对于管理和社会稳定具有重要的意义。然而,由于人员的特殊身份和环境,他们往往面临着较大的心理压力和困扰,导致他们的心理健康状况可能出现异常或恶化。
传统的人员心理健康状态评估方法主要依赖于问卷调查、心理咨询等主观性较强的手段,这些手段不仅耗时耗力,而且容易受到人员的隐瞒或情绪波动的影响,导致评估结果不准确。
因此,期待一种优化的人员心理健康状态评估方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种人员心理健康状态评估方法及系统,其通过结合深度学习算法,对被监控对象的行为监控视频进行处理与分析,从而智能化地判断被监控对象的心理健康状态是否正常。
根据本申请的一个方面,提供了一种人员心理健康状态评估方法,其包括:
获取由摄像头采集的被监控对象的行为监控视频;
对所述行为监控视频进行局部分析以得到行为语义监控特征向量的序列;
提取所述行为语义监控特征向量的序列之间的语义关联特征以得到行为全时域语义编码特征向量;以及
基于所述行为全时域语义编码特征向量,确定所述被监控对象的心理健康状态是否正常。
根据本申请的另一个方面,提供了一种人员心理健康状态评估系统,其包括:
监控视频获取模块,用于获取由摄像头采集的被监控对象的行为监控视频;
局部分析模块,用于对所述行为监控视频进行局部分析以得到行为语义监控特征向量的序列;
语义关联特征提取模块,用于提取所述行为语义监控特征向量的序列之间的语义关联特征以得到行为全时域语义编码特征向量;以及
状态结果生成模块,用于基于所述行为全时域语义编码特征向量,确定所述被监控对象的心理健康状态是否正常。
与现有技术相比,本申请提供的一种人员心理健康状态评估方法及系统,其结合深度学习算法,对被监控对象的行为监控视频进行处理与分析,从而智能化地判断被监控对象的心理健康状态是否正常。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的人员心理健康状态评估方法的流程图;
图2为根据本申请实施例的人员心理健康状态评估方法的系统架构图;
图3为根据本申请实施例的人员心理健康状态评估方法的子步骤S2的流程图;
图4为根据本申请实施例的人员心理健康状态评估方法的子步骤S4的流程图;
图5为根据本申请实施例的人员心理健康状态评估系统的框图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
传统的人员心理健康状态评估方法主要依赖于问卷调查、心理咨询等主观性较强的手段,这些手段不仅耗时耗力,而且容易受到人员的隐瞒或情绪波动的影响,导致评估结果不准确。因此,期待一种优化的人员心理健康状态评估方案。
在本申请的技术方案中,提出了一种人员心理健康状态评估方法。图1为根据本申请实施例的人员心理健康状态评估方法的流程图。图2为根据本申请实施例的人员心理健康状态评估方法的系统架构图。如图1和图2所示,根据本申请的实施例的人员心理健康状态评估方法,包括步骤:S1,获取由摄像头采集的被监控对象的行为监控视频;S2,对所述行为监控视频进行局部分析以得到行为语义监控特征向量的序列;S3,提取所述行为语义监控特征向量的序列之间的语义关联特征以得到行为全时域语义编码特征向量;以及,S4,基于所述行为全时域语义编码特征向量,确定所述被监控对象的心理健康状态是否正常。
特别地,所述S1,获取由摄像头采集的被监控对象的行为监控视频。应可以理解,行为是心理的外在表现,通过对行为的监测和分析,可以反映出被监控对象的心理特征和状态。
相应的,在一种可能的实现方式中,可通过以下步骤获取由摄像头采集的被监控对象的行为监控视频,例如:确定需要监控的区域,并安装摄像头。确定摄像头的数量和位置可以根据监控需求和区域大小来决定;连接监控摄像头到监控系统,确保摄像头正常工作。监控系统可以是一个独立的设备或者是计算机上的软件;根据监控需求,设置监控系统的参数,如录像时间间隔、录像质量、存储位置等;启动监控系统,开始录像监控。监控系统会根据设置的参数定期或连续录制摄像头的视频;监控系统会将录制的视频保存到指定的存储位置,可以是本地存储设备或者网络存储设备;当需要查看某个时间段的监控视频时,可以通过监控系统提供的界面或命令来检索视频。根据时间和摄像头的位置,选择相应的视频文件进行查看;选择需要回放的监控视频文件,并使用监控系统提供的播放功能进行回放。可以通过控制播放速度、暂停、快进等功能来查看视频的具体内容;如果需要将监控视频导出,可以使用监控系统提供的导出功能将视频文件保存到指定的位置。导出的视频可以用于备份、存档或与他人分享。
特别地,所述S2,对所述行为监控视频进行局部分析以得到行为语义监控特征向量的序列。特别的,在本申请的一个具体示例中,如图3所示,所述S2,包括:S21,对所述行为监控视频进行稀疏化采样以得到行为监控关键帧的序列;及,S22,将所述行为监控关键帧的序列通过基于卷积神经网络模型的行为语义特征提取器以得到所述行为语义监控特征向量的序列。
具体地,所述S21,对所述行为监控视频进行稀疏化采样以得到行为监控关键帧的序列。应可以理解,行为监控视频通常是大量的连续帧图像组成的序列,占用大量的存储空间。通过稀疏化采样,可以选择性地保留部分视频片段,减少存储需求,降低存储成本,行为监控视频通常是实时生成的,需要及时进行处理和分析。通过稀疏化采样,可以减少需要处理的视频片段数量,从而加速数据处理的速度,更快地获取行为信息。
值得注意的是,稀疏化采样是一种数据采样方法,其目的是通过选择性地保留数据样本来减少数据量。在稀疏化采样中,只有一部分数据样本被选择并保留,而其他数据样本则被丢弃或跳过。稀疏化采样的概念可以应用于各种数据类型和领域,包括图像、视频、文本、传感器数据等。它在数据处理和分析中具有重要的作用,可以帮助解决存储空间占用大、计算开销高和处理效率低等问题。
相应的,在一种可能的实现方式中,可通过以下步骤对所述行为监控视频进行稀疏化采样以得到行为监控关键帧的序列,例如:将行为监控视频按照时间段或事件切割成较短的片段。切割的长度可以根据需要和实际情况来确定,一般可以选择几秒或几分钟为一个片段;确定稀疏化采样的采样率,即选择保留哪些视频片段作为关键帧。采样率可以根据需求和资源限制来确定,例如可以选择每隔几个片段采样一个片段作为关键帧;根据确定的采样率,选择要保留的视频片段作为关键帧。可以根据时间顺序或随机选择的方式进行采样。被选择的视频片段将作为关键帧,用于后续的行为监控和分析;从采样的视频片段中提取关键帧。关键帧是视频序列中具有代表性和重要性的帧图像,可以通过图像质量评估、运动分析、目标检测等方法来确定关键帧;将提取到的关键帧按照时间顺序组成关键帧序列。关键帧序列是行为监控视频中的重要帧图像的有序集合,用于后续的行为分析和监控任务;将得到的行为监控关键帧序列存储起来,可以用于后续的行为分析、模式识别、异常检测等任务。可以使用机器学习、深度学习或其他相关方法对关键帧序列进行进一步的分析和处理。
具体地,所述S22,将所述行为监控关键帧的序列通过基于卷积神经网络模型的行为语义特征提取器以得到所述行为语义监控特征向量的序列。行为监控关键帧的序列可以通过基于卷积神经网络模型的行为语义特征提取器进行特征提取和分析。应可以理解,卷积神经网络是一种深度学习模型,擅长处理图像和视频数据,能够从中学习到丰富的语义特征。具体地,使用所述基于卷积神经网络模型的行为语义特征提取器的各层在层的正向传递中分别对输入数据进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述基于卷积神经网络模型的行为语义特征提取器的最后一层的输出为所述行为语义监控特征向量的序列,所述基于卷积神经网络模型的行为语义特征提取器的第一层的输入为所述行为监控关键帧的序列。
值得注意的是,卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习模型,专门用于处理具有网格结构的数据,如图像和视频。它在计算机视觉领域取得了巨大的成功,并广泛应用于图像分类、物体检测、图像分割等任务。卷积神经网络的核心思想是通过卷积操作来提取输入数据的局部特征,并通过层层堆叠的方式逐渐学习到更高级别的抽象特征。以下是卷积神经网络的关键组成部分和特点:卷积层:卷积层是卷积神经网络的核心层。它通过滑动窗口的方式对输入数据进行卷积操作,提取局部特征。每个卷积层通常包含多个卷积核(filter),每个卷积核学习不同的特征。卷积操作可以有效地捕捉到输入数据的空间结构和纹理等信息;池化层:池化层用于降低卷积层输出的空间维度,并减少模型对输入数据的敏感性。常用的池化操作包括最大池化和平均池化,它们通过在局部区域内选择最大值或平均值来减少特征图的尺寸;激活函数(Activation Function):激活函数引入非线性变换,增加模型的表达能力。常用的激活函数包括ReLU、Sigmoid和Tanh等。ReLU是最常用的激活函数,它在正区间上保持输入值不变,在负区间上将输入值置为零;全连接层:全连接层将前一层的所有神经元与当前层的所有神经元相连接。它通常位于卷积层和输出层之间,用于将卷积层提取到的特征映射转换为最终的输出结果;Dropout层:Dropout层用于随机丢弃一部分神经元,以减少模型的过拟合。在训练过程中,Dropout层会随机丢弃一定比例的神经元,并将剩余的神经元的输出值按比例缩放卷积神经网络通过层层堆叠的方式逐渐提取输入数据的抽象特征,并通过反向传播算法进行训练。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式对所述行为监控视频进行局部分析以得到行为语义监控特征向量的序列,例如:首先,对行为监控视频进行预处理,包括视频解码、帧提取和尺寸调整等操作。可以使用视频处理库来完成这些任务;构建基于卷积神经网络的行为语义特征提取器。这个特征提取器可以是预训练的卷积神经网络模型,如VGG、ResNet、Inception等,也可以是自定义的网络结构。特征提取器的目标是将视频帧映射到行为语义特征空间中;对视频的每个帧应用行为语义特征提取器,提取帧的行为语义特征。通过将每个帧输入到特征提取器的前向传播过程,可以得到每个帧的特征向量;将视频帧的特征向量按时间顺序组合,生成行为语义监控特征向量的序列。这个序列可以捕捉到行为的时序信息和动态变化。
特别地,所述S3,提取所述行为语义监控特征向量的序列之间的语义关联特征以得到行为全时域语义编码特征向量。也就是,提取所述行为语义监控特征向量的序列之间的语义关联特征以得到行为全时域语义编码特征向量。考虑到被监控对象的各个行为在时间维度上呈现隐含的时序关联关系。例如,某些行为可能会在特定的时间段内频繁出现,或者某些行为可能会与其他行为有一定的先后顺序或条件关系。这些时序关联关系可以反映出被监控对象的心理健康状态是否正常,例如,如果被监控对象经常表现出焦虑、抑郁、暴力等异常行为,或者与其他被监控对象之间有冲突或隔离等不良互动,那么可能说明他们的心理健康状态存在问题。在本申请的一个具体示例中,提取所述行为语义监控特征向量的序列之间的语义关联特征以得到行为全时域语义编码特征向量的实现方式是将所述行为语义监控特征向量的序列通过基于转换器模块的上下文编码器以得到行为全时域语义编码特征向量。更具体地,将所述行为语义监控特征向量的序列进行一维排列以得到全局行为语义监控特征向量;计算所述全局行为语义监控特征向量与所述行为语义监控特征向量的序列中各个行为语义监控特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵;分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵;将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值;分别以所述多个概率值中各个概率值作为权重对所述行为语义监控特征向量的序列中各个行为语义监控特征向量进行加权以得到所述多个上下文语义行为语义监控特征向量;以及,将所述多个上下文语义行为语义监控特征向量进行级联以得到所述行为全时域语义编码特征向量。
值得注意的是,基于转换器的上下文编码器是一种使用转换器模块(Transformer)来建模上下文信息的神经网络模型。该模型广泛应用于自然语言处理任务,如机器翻译、语言生成和文本分类等。基于转换器的上下文编码器在处理序列数据时具有较强的建模能力,能够捕捉到元素之间的长距离依赖关系,并生成具有丰富语义信息的特征表示。它在自然语言处理、语音识别、图像处理等领域都取得了显著的成果,并在行为监控、视频分析等领域中也有广泛应用。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式提取所述行为语义监控特征向量的序列之间的语义关联特征以得到行为全时域语义编码特征向量,例如:准备行为语义监控特征向量的序列,这些特征向量是通过前面步骤中的特征提取过程得到的。每个特征向量代表一个时间点的行为语义信息;构建用于提取语义关联特征的模型或方法。这个特征提取器可以是循环神经网络(如LSTM、GRU)、注意力机制、卷积神经网络(如3D卷积)、自注意力机制(如Transformer)等。其目标是从行为语义特征向量序列中提取全时域的语义关联特征;将行为语义特征向量序列输入到语义关联特征提取器中,提取全时域的语义关联特征。这个过程可以是逐帧进行,也可以是对整个序列进行批处理;将提取到的语义关联特征按照一定的方式进行聚合或编码,生成行为全时域语义编码特征向量。这个特征向量可以看作是对整个行为序列的高级语义表示。
特别地,所述S4,基于所述行为全时域语义编码特征向量,确定所述被监控对象的心理健康状态是否正常。特别地,在本申请的一个具体示例中,如图4所示,所述S4,包括:S41,对所述行为全时域语义编码特征向量进行特征分布优化以得到优化行为全时域语义编码特征向量;以及,S42,将所述优化行为全时域语义编码特征向量通过分类器以得到分类结果,所述分类结果用于表示所述被监控对象的心理健康状态是否正常。
具体地,所述S41,对所述行为全时域语义编码特征向量进行特征分布优化以得到优化行为全时域语义编码特征向量。这里,所述行为语义监控特征向量的序列中的每个行为语义监控特征向量用于表达局部时域下的所述行为监控关键帧的图像语义特征,由此,将所述行为语义监控特征向量的序列通过基于转换器模块的上下文编码器时,可以提取全局时域下的局部时域间的图像语义特征的时序上下文关联,从而使得所述行为全时域语义编码特征向量具有对应于不同时域空间尺度下的图像语义特征的多样化特征表示,这样,将所述行为全时域语义编码特征向量通过分类器时,就会影响所述行为全时域语义编码特征向量作为整体在分类回归域内的泛化效果,也就是,影响分类结果的准确性。基于此,本申请的申请人在对所述行为全时域语义编码特征向量进行分类时,优选地对所述行为全时域语义编码特征向量,例如记为V进行希尔伯特正交空间域表示解耦,表示为:
其中V表示所述行为全时域语义编码特征向量,是所述行为全时域语义编码特征向量的全局特征均值,||V||2是所述行为全时域语义编码特征向量的二范数,L是所述行为全时域语义编码特征向量的长度,且I是单位向量,/>表示按位置作差。这里,所述希尔伯特正交空间域表示解耦用于通过强调所述行为全时域语义编码特征向量V的多样化特征表达内的本质域特定(domain-specific)信息,即,通过基于向量自空间度量和向量自内积表示下的希尔伯特空间度量,来从所述行为全时域语义编码特征向量V的整体域表示内进行域恒定(domain-invariant)表征的正交空间域解耦,以提升所述行为全时域语义编码特征向量V在分类回归域内的域自适应泛化性能,从而提升所述行为全时域语义编码特征向量通过分类器得到的分类结果的准确性。
具体地,所述S42,将所述优化行为全时域语义编码特征向量通过分类器以得到分类结果,所述分类结果用于表示所述被监控对象的心理健康状态是否正常。也就是,在得到所述优化行为全时域语义编码特征向量后,将其作为分类特征向量通过分类器以得到用于表示所述被监控对象的心理健康状态是否正常的分类结果。具体地,使用所述分类器的多个全连接层对所述优化行为全时域语义编码特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
分类器是指一种机器学习模型或算法,用于将输入数据分为不同的类别或标签。分类器是监督学习的一部分,它通过学习从输入数据到输出类别的映射关系来进行分类任务。
全连接层是神经网络中常见的一种层类型。在全连接层中,每个神经元都与上一层的所有神经元相连接,每个连接都有一个权重。这意味着全连接层中的每个神经元都接收来自上一层所有神经元的输入,并通过权重对这些输入进行加权求和,然后将结果传递给下一层。
Softmax分类函数是一种常用的激活函数,用于多分类问题。它将输入向量的每个元素转化为一个介于0和1之间的概率值,并且这些概率值的和等于1。Softmax函数常用于神经网络的输出层,特别适用于多分类问题,因为它能够将网络输出映射为各个类别的概率分布。在训练过程中,Softmax函数的输出可以用于计算损失函数,并通过反向传播算法来更新网络参数。值得注意的是,Softmax函数的输出并不会改变元素之间的相对大小关系,只是对其进行了归一化处理。因此,Softmax函数并不改变输入向量的特性,只是将其转化为概率分布形式。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式基于所述行为全时域语义编码特征向量,确定所述被监控对象的心理健康状态是否正常,例如:通过行为监控系统获取被监控对象的视频数据。这些视频数据可以包含对象的行为、动作和表情等信息;对于每个时间步长的视频帧,使用卷积神经网络(CNN)或其他适用的模型提取行为特征。这些特征可以是低级的视觉特征,如颜色、纹理和形状,也可以是高级的语义特征,如对象的姿态、动作和表情;将提取的行为特征序列化为时序数据,形成行为全时域语义编码特征向量序列。可以使用时间窗口或滑动窗口的方式来组织特征向量序列,以捕捉行为的时序信息;使用机器学习方法,如循环神经网络(RNN)、长短期记忆网络(LSTM)或转换器模块等,对行为全时域语义编码特征向量序列进行建模和学习。这些模型可以捕捉到特征向量序列中的时间依赖关系和语义信息;使用监督学习方法,使用已标记的心理健康状态数据作为训练集,建立一个心理健康状态模型。可以使用分类模型,如支持向量机(SVM)、随机森林(Random Forest)或深度学习模型,如卷积神经网络(CNN)或循环神经网络(RNN)等;将被监控对象的行为全时域语义编码特征向量序列输入训练好的心理健康状态模型中,进行心理健康状态的分类预测。根据模型的输出结果,判断被监控对象的心理健康状态是否正常;根据分类结果,对被监控对象的心理健康状态进行分析和评估。如果心理健康状态异常,可以采取相应的措施,如提供心理支持、调整环境或引导行为等。
综上,根据本申请实施例的人员心理健康状态评估方法被阐明,其通过结合深度学习算法,对被监控对象的行为监控视频进行处理与分析,从而智能化地判断被监控对象的心理健康状态是否正常。
进一步地,还提供一种人员心理健康状态评估系统。
图5为根据本申请实施例的人员心理健康状态评估系统的框图。如图5所示,根据本申请实施例的人员心理健康状态评估系统300,包括:监控视频获取模块310,用于获取由摄像头采集的被监控对象的行为监控视频;局部分析模块320,用于对所述行为监控视频进行局部分析以得到行为语义监控特征向量的序列;语义关联特征提取模块330,用于提取所述行为语义监控特征向量的序列之间的语义关联特征以得到行为全时域语义编码特征向量;以及,状态结果生成模块340,用于基于所述行为全时域语义编码特征向量,确定所述被监控对象的心理健康状态是否正常。
如上所述,根据本申请实施例的人员心理健康状态评估系统300可以实现在各种无线终端中,例如具有人员心理健康状态评估算法的服务器等。在一种可能的实现方式中,根据本申请实施例的人员心理健康状态评估系统300可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如,该人员心理健康状态评估系统300可以是该无线终端的操作系统中的一个软件模块,或者可以是针对于该无线终端所开发的一个应用程序;当然,该人员心理健康状态评估系统300同样可以是该无线终端的众多硬件模块之一。
替换地,在另一示例中,该人员心理健康状态评估系统300与该无线终端也可以是分立的设备,并且该人员心理健康状态评估系统300可以通过有线和/或无线网络连接到该无线终端,并且按照约定的数据格式来传输交互信息。
在一个具体示例中,以专业心理健康量表为测算手段,从情绪力、控制力、意志力等多维度采集数据作为输入,以与之匹配的一、二、三级心理健康指标为数据的量化归集池,通过正态分布等统计学方法,对数据进行预处理,佐以人工智能工具、围绕一人一档进行全周期心理状态跟踪与评估,实时预判,创新家所共辅的方式,构建针对特定人群的心理健康测试、评价体系。
数据收集和处理:为了训练AI神经网络,需要收集大量的人员的行为数据。这些数据可以来自于监控设备、患者日志、医生报告等多种来源。数据收集完成后,需要进行数据清洗和预处理,以确保数据的准确性和完整性。
视频监控数据模块:该模块主要利用视频监控数据,对人员行为进行识别分析。具体内容包括:
1)视频监控采集通过摄像头采集视频监控数据。
2)视频数据处理对采集到的视频数据进行处理和分析,提取有用的信息。
3)行为识别算法利用AI技术对视频数据进行行为识别分析,实现人员的行为识别。
4)预警机制根据行为识别结果,实现智能预警,提高管理效果。
AI神经网络的深度学习算法模块:利用收集到的数据,可以使用深度学习算法来训练AI神经网络。这个模块可以根据人员的行为模式和历史数据,预测他们未来的行动和趋势。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (6)
1.一种人员心理健康状态评估方法,其特征在于,包括:
获取由摄像头采集的被监控对象的行为监控视频;
对所述行为监控视频进行局部分析以得到行为语义监控特征向量的序列;
提取所述行为语义监控特征向量的序列之间的语义关联特征以得到行为全时域语义编码特征向量;以及
基于所述行为全时域语义编码特征向量,确定所述被监控对象的心理健康状态是否正常。
2.根据权利要求1所述的人员心理健康状态评估方法,其特征在于,对所述行为监控视频进行局部分析以得到行为语义监控特征向量的序列,包括:
对所述行为监控视频进行稀疏化采样以得到行为监控关键帧的序列;及
将所述行为监控关键帧的序列通过基于卷积神经网络模型的行为语义特征提取器以得到所述行为语义监控特征向量的序列。
3.根据权利要求2所述的人员心理健康状态评估方法,其特征在于,提取所述行为语义监控特征向量的序列之间的语义关联特征以得到行为全时域语义编码特征向量,包括:
将所述行为语义监控特征向量的序列通过基于转换器模块的上下文编码器以得到所述行为全时域语义编码特征向量。
4.根据权利要求3所述的人员心理健康状态评估方法,其特征在于,基于所述行为全时域语义编码特征向量,确定所述被监控对象的心理健康状态是否正常,包括:
对所述行为全时域语义编码特征向量进行特征分布优化以得到优化行为全时域语义编码特征向量;以及
将所述优化行为全时域语义编码特征向量通过分类器以得到分类结果,所述分类结果用于表示所述被监控对象的心理健康状态是否正常。
5.根据权利要求4所述的人员心理健康状态评估方法,其特征在于,对所述行为全时域语义编码特征向量进行特征分布优化以得到优化行为全时域语义编码特征向量,包括:以如下优化公式对所述行为全时域语义编码特征向量进行特征分布优化以得到优化行为全时域语义编码特征向量;其中,所述公式为:
其中V表示所述行为全时域语义编码特征向量,是所述行为全时域语义编码特征向量的全局特征均值,||V||2是所述行为全时域语义编码特征向量的二范数,L是所述行为全时域语义编码特征向量的长度,且I是单位向量,/>表示按位置作差。
6.一种人员心理健康状态评估系统,其特征在于,包括:
监控视频获取模块,用于获取由摄像头采集的被监控对象的行为监控视频;
局部分析模块,用于对所述行为监控视频进行局部分析以得到行为语义监控特征向量的序列;
语义关联特征提取模块,用于提取所述行为语义监控特征向量的序列之间的语义关联特征以得到行为全时域语义编码特征向量;以及
状态结果生成模块,用于基于所述行为全时域语义编码特征向量,确定所述被监控对象的心理健康状态是否正常。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311216974.9A CN117257302A (zh) | 2023-09-20 | 2023-09-20 | 人员心理健康状态评估方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311216974.9A CN117257302A (zh) | 2023-09-20 | 2023-09-20 | 人员心理健康状态评估方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117257302A true CN117257302A (zh) | 2023-12-22 |
Family
ID=89213710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311216974.9A Pending CN117257302A (zh) | 2023-09-20 | 2023-09-20 | 人员心理健康状态评估方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117257302A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117828335A (zh) * | 2024-01-12 | 2024-04-05 | 浙江浙能嘉兴海上风力发电有限公司 | 海上升压站远程作业人员轨迹管控系统及方法 |
CN117828335B (zh) * | 2024-01-12 | 2024-06-04 | 浙江浙能嘉兴海上风力发电有限公司 | 海上升压站远程作业人员轨迹管控系统及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103905486A (zh) * | 2012-12-26 | 2014-07-02 | 中国科学院心理研究所 | 一种心理健康状态评估方法 |
CN104715129A (zh) * | 2013-12-13 | 2015-06-17 | 中国科学院心理研究所 | 基于移动设备使用行为的心理健康状态评估系统和方法 |
CN115221318A (zh) * | 2022-06-15 | 2022-10-21 | 国网湖南省电力有限公司 | 基于数据统一语义表征的设备健康档案库构建方法及系统 |
CN115359522A (zh) * | 2022-07-29 | 2022-11-18 | 河海大学 | 一种基于表情情感计算的老年人健康监测方法及系统 |
CN116503785A (zh) * | 2023-05-06 | 2023-07-28 | 吉林体育学院 | 游泳馆监管系统及其方法 |
CN116665086A (zh) * | 2023-04-12 | 2023-08-29 | 杭州睿数科技有限公司 | 一种基于学习行为智能分析的教学方法及系统 |
-
2023
- 2023-09-20 CN CN202311216974.9A patent/CN117257302A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103905486A (zh) * | 2012-12-26 | 2014-07-02 | 中国科学院心理研究所 | 一种心理健康状态评估方法 |
CN104715129A (zh) * | 2013-12-13 | 2015-06-17 | 中国科学院心理研究所 | 基于移动设备使用行为的心理健康状态评估系统和方法 |
CN115221318A (zh) * | 2022-06-15 | 2022-10-21 | 国网湖南省电力有限公司 | 基于数据统一语义表征的设备健康档案库构建方法及系统 |
CN115359522A (zh) * | 2022-07-29 | 2022-11-18 | 河海大学 | 一种基于表情情感计算的老年人健康监测方法及系统 |
CN116665086A (zh) * | 2023-04-12 | 2023-08-29 | 杭州睿数科技有限公司 | 一种基于学习行为智能分析的教学方法及系统 |
CN116503785A (zh) * | 2023-05-06 | 2023-07-28 | 吉林体育学院 | 游泳馆监管系统及其方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117828335A (zh) * | 2024-01-12 | 2024-04-05 | 浙江浙能嘉兴海上风力发电有限公司 | 海上升压站远程作业人员轨迹管控系统及方法 |
CN117828335B (zh) * | 2024-01-12 | 2024-06-04 | 浙江浙能嘉兴海上风力发电有限公司 | 海上升压站远程作业人员轨迹管控系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111652066B (zh) | 基于多自注意力机制深度学习的医疗行为识别方法 | |
WO2021093468A1 (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
Singh et al. | Deep learning and machine learning based facial emotion detection using CNN | |
CN111079658B (zh) | 基于视频的多目标连续行为分析方法、系统、装置 | |
CN111523421B (zh) | 基于深度学习融合各种交互信息的多人行为检测方法及系统 | |
CN112529149A (zh) | 一种数据处理方法及相关装置 | |
Ousmane et al. | Automatic recognition system of emotions expressed through the face using machine learning: Application to police interrogation simulation | |
CN112380924A (zh) | 一种基于面部微表情动态识别的抑郁倾向检测方法 | |
CN110210380B (zh) | 基于表情识别与心理学测试生成性格的分析方法 | |
CN117198468A (zh) | 基于行为识别和数据分析的干预方案智慧化管理系统 | |
CN116864128A (zh) | 基于身体活动行为模式监测的心理状态评估系统及其方法 | |
CN112381213A (zh) | 一种基于双向长短期记忆网络的工业设备剩余寿命预测方法 | |
CN117257302A (zh) | 人员心理健康状态评估方法及系统 | |
CN113935413A (zh) | 一种基于卷积神经网的配网录波文件波形识别方法 | |
CN113643283A (zh) | 一种人体衰老状况的检测方法、装置、设备及存储介质 | |
CN113705328A (zh) | 基于面部特征点与面部运动单元的抑郁检测方法和系统 | |
Sheikh et al. | Framework for deep learning based model for human activity recognition (HAR) using adapted PSRA6 dataset | |
CN117158904B (zh) | 基于行为分析的老年人认知障碍检测系统及方法 | |
Dubey | 5 Mental disorder prediction using facial expression based on machine learning techniques | |
CN116611022B (zh) | 智慧校园教育大数据融合方法及平台 | |
Sultana et al. | Human Emotion Recognition from Facial Images Using Convolutional Neural Network | |
Momin et al. | Recognizing facial expressions in the wild using multi-architectural representations based ensemble learning with distillation | |
CN117274694A (zh) | 情绪评分确定模型构建和情绪评分确定方法、装置及设备 | |
Setiaji et al. | Emotional Classification Based on Facial Expression Recognition Using Convolutional Neural Network Method | |
Johri et al. | A Deep Learning Model for Automatic Recognition of Facial Expressions Using Haar Cascade Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |