CN117198468A - 基于行为识别和数据分析的干预方案智慧化管理系统 - Google Patents

Abstract

公开了一种基于行为识别和数据分析的干预方案智慧化管理系统。其首先获取由摄像头和录音设备采集的被监控对象的行为监控视频和声音监控信号，接着，对所述行为监控视频进行行为特征提取以得到行为语义特征图，然后，对所述声音监控信号进行声强特征提取以得到声强时序特征向量，最后，基于所述行为语义特征图和所述声强时序特征向量，为所述被监控对象匹配治疗方案。这样，可以实现心理状态的精准判断，并根据相应的心理状态动态地调整和匹配干预方案。

Description

基于行为识别和数据分析的干预方案智慧化管理系统

技术领域

本公开涉及智慧化管理领域，且更为具体地，涉及一种基于行为识别和数据分析的干预方案智慧化管理系统。

背景技术

随着社会的发展和人口的增长，心理健康问题日益突出，给个人和社会带来了巨大的负担。心理健康问题不仅影响个人的幸福感、生活质量和工作效率，还可能导致家庭矛盾和社会冲突。

为了能够有效地预防和治疗心理疾病，需要对患者的心理状态进行准确的识别和评估，并根据其具体情况提供个性化的干预方案。然而，传统的心理评估方法通常依赖于主观的问卷调查和精神症状自评量表，缺乏客观性。

因此，期待一种优化的解决方案。

发明内容

有鉴于此，本公开提出了一种基于行为识别和数据分析的干预方案智慧化管理系统，其可以实现心理状态的精准判断，并根据相应的心理状态动态地调整和匹配干预方案。

根据本公开的一方面，提供了一种基于行为识别和数据分析的干预方案智慧化管理系统，其包括：

数据采集模块，用于获取由摄像头和录音设备采集的被监控对象的行为监控视频和声音监控信号；

行为特征提取模块，用于对所述行为监控视频进行行为特征提取以得到行为语义特征图；

声强特征提取模块，用于对所述声音监控信号进行声强特征提取以得到声强时序特征向量；以及

治疗方案匹配模块，用于基于所述行为语义特征图和所述声强时序特征向量，为所述被监控对象匹配治疗方案。

根据本公开的实施例，其首先获取由摄像头和录音设备采集的被监控对象的行为监控视频和声音监控信号，接着，对所述行为监控视频进行行为特征提取以得到行为语义特征图，然后，对所述声音监控信号进行声强特征提取以得到声强时序特征向量，最后，基于所述行为语义特征图和所述声强时序特征向量，为所述被监控对象匹配治疗方案。这样，可以实现心理状态的精准判断，并根据相应的心理状态动态地调整和匹配干预方案。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开的实施例的基于行为识别和数据分析的干预方案智慧化管理系统的框图。

图2示出根据本公开的实施例的基于行为识别和数据分析的干预方案智慧化管理系统中所述行为特征提取模块的框图。

图3示出根据本公开的实施例的基于行为识别和数据分析的干预方案智慧化管理系统中所述治疗方案匹配模块的框图。

图4示出根据本公开的实施例的基于行为识别和数据分析的干预方案智慧化管理方法的流程图。

图5示出根据本公开的实施例的基于行为识别和数据分析的干预方案智慧化管理方法的架构示意图。

图6示出根据本公开的实施例的基于行为识别和数据分析的干预方案智慧化管理系统的应用场景图。

图7示出了利用AI神经网络完善管理服务方案的流程示意图。

实施方式

下面将结合附图对本公开实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本公开的部分实施例，而不是全部的实施例。基于本公开实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本公开保护的范围。

如本公开和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

针对上述技术问题，本申请的技术构思是利用现代信息技术手段，对患者的行为和声音进行自动化的采集、分析和识别，实现对其心理状态的精准判断，并根据相应的心理状态动态地调整和匹配干预方案。

基于此，图1示出根据本公开的实施例的基于行为识别和数据分析的干预方案智慧化管理系统的框图示意图。如图1所示，根据本公开实施例的基于行为识别和数据分析的干预方案智慧化管理系统100，包括：数据采集模块110，用于获取由摄像头和录音设备采集的被监控对象的行为监控视频和声音监控信号；行为特征提取模块120，用于对所述行为监控视频进行行为特征提取以得到行为语义特征图；声强特征提取模块130，用于对所述声音监控信号进行声强特征提取以得到声强时序特征向量；以及，治疗方案匹配模块140，用于基于所述行为语义特征图和所述声强时序特征向量，为所述被监控对象匹配治疗方案。

具体地，在本申请的技术方案中，首先，获取由摄像头和录音设备采集的被监控对象的行为监控视频和声音监控信号。应可以理解，这两种数据都能够反映出被监控对象的情绪、情感和心理活动。行为监控视频可以捕捉到被监控对象的面部表情、肢体动作、眼神和姿态等非语言行为，这些行为都是情绪和心理状态的重要指标。声音监控信号可以分析出被监控对象的语音特征，如音高、音量、语速和语调等，这些特征也能够反映出被监控对象的情绪变化和心理压力。

然后，对所述行为监控视频进行行为特征提取以得到行为语义特征图。也就是，从所述行为监控视频中捕捉被监控对象的行为语义特征，例如表情、姿势、动作、眼神等。这些行为语义特征能够用于描述被监控对象的情绪、性格、态度、意图等心理属性。

在本申请的一个具体示例中，对所述行为监控视频进行行为特征提取以得到行为语义特征图的编码过程，包括：先对所述行为监控视频进行稀疏化采样以得到行为监控关键帧的序列；再将所述行为监控关键帧的序列通过基于三维卷积神经网络模型的行为语义编码器以得到行为语义特征图。

接着，对所述声音监控信号进行声强特征提取以得到声强时序特征向量。也就是，从所述声音监控信号中捕捉声强的动态变化特征，并以此反映被监控患者的情绪变化。

在本申请的一个具体示例中，对所述声音监控信号进行声强特征提取以得到声强时序特征向量的实现过程是将所述声音监控信号通过基于一维卷积神经网络模型的声强时序特征提取器以得到声强时序特征向量。

进而，将所述行为语义特征图和所述声强时序特征向量通过基于MetaNet的数据融合模块以得到声音模式引导行为语义强化特征图。也就是，将行为语义特征和声强变化特征进行融合，以更贴合地表征被监控对象的心理状态特征信息。

更具体地，在本申请的实施例中，将所述行为语义特征图和所述声强时序特征向量通过基于MetaNet的数据融合模块以得到声音模式引导行为语义强化特征图的编码过程，包括：先将所述声强时序特征向量通过点卷积层以得到第一卷积特征向量；再将所述第一卷积特征向量通过基于ReLU函数的修正线性单元以得到第一修正卷积特征向量；随后，将所述第一修正卷积特征向量通过点卷积层以得到第二卷积特征向量；接着，将所述第二卷积特征向量通过基于Sigmoid函数的修正线性单元以得到第二修正卷积特征向量；进一步地，将所述行为语义特征图通过CNN模型以得到高维隐含特征图；最后，融合所述第二修正卷积特征向量与所述高维隐含特征图以得到所述声音模式引导行为语义强化特征图。

相应地，如图2所示，所述行为特征提取模块120，包括：稀疏化采样单元121，用于对所述行为监控视频进行稀疏化采样以得到行为监控关键帧的序列；以及，行为语义编码单元122，用于将所述行为监控关键帧的序列通过基于三维卷积神经网络模型的行为语义编码器以得到所述行为语义特征图。应可以理解，所述行为特征提取模块120是一个用于从行为监控视频中提取行为特征的模块，该模块包括稀疏化采样单元121和行为语义编码单元122两个主要单元。稀疏化采样单元121对行为监控视频进行稀疏化采样，以获取行为监控关键帧的序列，稀疏化采样是一种从视频序列中选择少数重要帧的技术，可以减少计算量并提高处理效率，通过选择关键帧，可以捕捉到行为监控视频中的重要动作和变化。行为语义编码单元122使用基于三维卷积神经网络模型的行为语义编码器，对行为监控关键帧的序列进行处理，以获取行为语义特征图，行为语义编码器是一种深度学习模型，可以学习视频中的语义信息和动作特征，通过将关键帧序列输入行为语义编码器，可以提取出描述行为特征的高级语义表示，例如人物的姿势、动作类型等。综合来说，稀疏化采样单元121用于选择行为监控视频中的关键帧，而行为语义编码单元122用于提取这些关键帧的语义特征。这些特征可以用于进一步的行为分析、行为识别或其他相关任务。

值得一提的是，三维卷积神经网络（3D Convolutional Neural Network，3D CNN）是一种深度学习模型，用于处理视频、体积数据或其他具有时间维度的数据。与传统的二维卷积神经网络（2D CNN）相比，三维卷积神经网络在卷积操作中考虑了时间维度的信息。在传统的二维卷积神经网络中，卷积操作是在图像的宽度和高度上进行的，用于提取图像中的空间特征。而在三维卷积神经网络中，卷积操作在图像的宽度、高度和时间（或深度）上进行，用于提取视频或时间序列数据中的空间和时间特征。三维卷积神经网络通常由多个卷积层、池化层和全连接层组成。卷积层用于提取输入数据的特征，池化层用于减少特征图的尺寸和参数数量，全连接层用于将提取到的特征映射到具体的输出类别或进行其他任务。通过在时间维度上进行卷积操作，三维卷积神经网络可以捕捉到视频中的运动模式、动作特征和时序信息。这使得三维卷积神经网络在视频分析、行为识别、动作检测等任务中具有优势，能够更好地理解和处理时间序列数据。

相应地，所述声强特征提取模块130，用于：将所述声音监控信号通过基于一维卷积神经网络模型的声强时序特征提取器以得到所述声强时序特征向量。值得一提的是，所述声强特征提取模块130是一个用于从声音监控信号中提取声强时序特征的模块，该模块使用基于一维卷积神经网络模型的声强时序特征提取器来实现这一目标。一维卷积神经网络（1D CNN）是一种深度学习模型，用于处理具有时间序列结构的数据，例如声音、语音、文本等。与传统的卷积神经网络不同，一维卷积神经网络的卷积操作是在时间维度上进行的，而不是在图像的宽度和高度上。一维卷积神经网络通过在时间维度上进行卷积操作，可以捕捉到时间序列数据中的局部模式和时序特征。它可以自动学习输入数据中的时序依赖关系，从而提取出具有语义含义的特征表示。在声强特征提取模块中，基于一维卷积神经网络的声强时序特征提取器被用于处理声音监控信号。通过对声音信号进行一维卷积操作，该模型可以从声音信号中提取出与声强变化相关的特征。这些声强时序特征可以用于声音分析、声音识别、事件检测等任务，从而进一步提高对声音监控数据的理解和利用能力。

继而，将所述声音模式引导行为语义强化特征图通过分类器以得到分类结果，所述分类结果用于表示被监控对象的心理状态标签；并基于所述分类结果，为所述被监控对象匹配治疗方案。

相应地，如图3所示，所述治疗方案匹配模块140，包括：联合分析单元141，用于对所述行为语义特征图和所述声强时序特征向量进行联合分析以得到声音模式引导行为语义强化特征图；特征分布优化单元142，用于对所述声音模式引导行为语义强化特征图进行特征分布优化以得到优化声音模式引导行为语义强化特征图；分类单元143，用于将所述优化声音模式引导行为语义强化特征图通过分类器以得到分类结果，所述分类结果用于表示被监控对象的心理状态标签；以及，治疗方案确认单元144，用于基于所述分类结果，为所述被监控对象匹配治疗方案。应可以理解，联合分析单元141将行为语义特征图和声强时序特征向量进行融合和关联，从而获得更加综合和丰富的特征表示，这样做的目的是将行为语义和声音信息相结合，以更好地描述被监控对象的行为和状态。特征分布优化单元142通过对特征分布进行优化，可以增强特征的区分度和表达能力，使得特征更好地反映被监控对象的行为特征和心理状态。分类单元143用于将优化的声音模式引导行为语义强化特征图通过分类器，以得到分类结果，分类结果用于表示被监控对象的心理状态标签，例如情绪状态、认知状态等。分类单元通过学习和判别特征与标签之间的关系，将输入的特征图映射到相应的心理状态类别，从而实现对被监控对象心理状态的分类。治疗方案确认单元144根据被监控对象的心理状态标签，治疗方案确认单元选择适合的治疗方案，以帮助被监控对象改善心理状态或提供相应的支持和干预措施。该单元的目标是根据监测到的心理状态，为被监控对象提供个性化的治疗和支持，以促进其心理健康和福祉。

更具体地，所述联合分析单元141，用于：将所述行为语义特征图和所述声强时序特征向量通过基于MetaNet的数据融合模块以得到所述声音模式引导行为语义强化特征图；其中，将所述行为语义特征图和所述声强时序特征向量通过基于MetaNet的数据融合模块以得到所述声音模式引导行为语义强化特征图，包括：将所述声强时序特征向量通过点卷积层以得到第一卷积特征向量；将所述第一卷积特征向量通过基于ReLU函数的修正线性单元以得到第一修正卷积特征向量；将所述第一修正卷积特征向量通过点卷积层以得到第二卷积特征向量；将所述第二卷积特征向量通过基于Sigmoid函数的修正线性单元以得到第二修正卷积特征向量；将所述行为语义特征图通过CNN模型以得到高维隐含特征图；以及，融合所述第二修正卷积特征向量与所述高维隐含特征图以得到所述声音模式引导行为语义强化特征图。应可以理解，基于MetaNet的数据融合模块用于将行为语义特征图和声强时序特征向量融合，以得到声音模式引导行为语义强化特征图。其中，将声强时序特征向量通过点卷积层得到第一卷积特征向量步骤通过应用点卷积操作，可以对声强时序特征向量进行局部感知，提取出与声音模式相关的低级特征，这一步骤有助于捕捉声音的时序信息。将第一卷积特征向量通过修正线性单元（ReLU）函数得到第一修正卷积特征向量步骤中，ReLU函数对输入进行非线性映射，将负值置零并保留正值，这一步骤可以增强特征的非线性表达能力，使得特征更加鲁棒和有判别性。将第一修正卷积特征向量通过点卷积层得到第二卷积特征向量步骤通过再次应用点卷积操作，可以进一步提取出与声音模式相关的高级特征，这一步骤有助于捕捉声音模式的更复杂和抽象的特征。将第二卷积特征向量通过修正线性单元（Sigmoid）函数得到第二修正卷积特征向量步骤中，Sigmoid函数将输入映射到[0,1]的范围内，可以用于对特征进行归一化和激活，这一步骤有助于进一步优化特征的表达和区分能力。将行为语义特征图通过CNN模型得到高维隐含特征图步骤中，通过将行为语义特征图输入到卷积神经网络（CNN）模型中，可以提取出行为语义的高级特征表示，CNN模型能够捕捉图像数据中的空间相关性和局部模式，从而提取出有关行为的语义信息。融合第二修正卷积特征向量与高维隐含特征图，得到声音模式引导行为语义强化特征图步骤中，通过将第二修正卷积特征向量和高维隐含特征图进行融合，可以将声音模式的信息与行为语义的信息相结合，从而得到更加丰富和强化的特征表示，这一步骤有助于提高特征的表达能力和判别性，以更好地描述被监控对象的行为特征。

在本申请的技术方案中，将所述行为语义特征图和所述声强时序特征向量通过基于MetaNet的数据融合模块以得到声音模式引导行为语义强化特征图时，由于所述行为语义特征图的每个特征矩阵表达所述行为监控关键帧的时序关联的图像语义特征，而所述声强时序特征向量表达声强的时序关联特征，所述声音模式引导行为语义强化特征图的各个特征矩阵间也会遵循时序分布，因此，在将所述声音模式引导行为语义强化特征图的每个特征矩阵的图像语义空间分布特征表示作为前景对象特征表示的情况下，在进行基于声强的时序关联特征的特征矩阵间分布关联表示的同时，也会引入背景分布噪声，并且，由于所述MetaNet模块进行的时序向量-图像语义特征矩阵间高秩分布表示，也会引入所述声音模式引导行为语义强化特征图的各个特征矩阵的高维特征的时序-空间维度异质分布，从而引起所述声音模式引导行为语义强化特征图的各个特征矩阵在分类器的概率空间内的概率密度映射误差，影响了所述声音模式引导行为语义强化特征图通过分类器得到的分类结果的准确性。基于此，本申请的申请人对所述声音模式引导行为语义强化特征图的每个特征矩阵，例如记为进行特征尺度作为模仿掩码的秩排列分布软匹配。

相应地，在一个具体示例中，所述特征分布优化单元142，用于：以如下优化公式对所述声音模式引导行为语义强化特征图进行特征分布优化以得到所述优化声音模式引导行为语义强化特征图；其中，所述优化公式为：其中，是所述声音模式引导行为语义强化特征图的每个特征矩阵，/>是所述声音模式引导行为语义强化特征图的每个特征矩阵的第/>位置的特征值，/>是所述声音模式引导行为语义强化特征图的每个特征矩阵的尺度，即宽度乘以高度，/>表示所述声音模式引导行为语义强化特征图的每个特征矩阵的Frobenius范数的平方，/>表示所述声音模式引导行为语义强化特征图的每个特征矩阵的二范数，即谱范数/>，/>是/>的最大本征值，且/>是加权超参数，/>表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值，/>是所述优化声音模式引导行为语义强化特征图的每个特征矩阵的第/>位置的特征值。

这里，所述特征尺度作为模仿掩码的秩排列分布软匹配可以将高维特征映射到概率密度空间内时，将特征尺度作为用于映射的模仿掩码来聚焦于前景对象特征而忽略背景分布噪声，并通过所述特征矩阵的不同范数进行的金字塔式秩排列分布的分布软匹配，来有效捕捉概率密度分布的中心区域和尾部区域之间的相关性，避免了由于所述特征矩阵的高维特征的时序-空间维度异质分布导致的概率密度映射偏差，从而提升所述声音模式引导行为语义强化特征图通过分类器得到的分类结果的准确性。

更具体地，分类单元143，用于：将所述优化声音模式引导行为语义强化特征图按照行向量或者列向量展开为优化分类特征向量；使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。

值得一提的是，全连接编码是指将输入特征向量通过全连接层进行编码的过程。在深度学习中，全连接层是一种常见的神经网络层类型，其中每个神经元与前一层的所有神经元相连接。在分类单元143中，优化声音模式引导行为语义强化特征图经过特征分布优化后，可以按照行向量或列向量展开为优化分类特征向量。然后，这些优化分类特征向量被输入到分类器的全连接层中进行编码。全连接层的每个神经元都与前一层的所有神经元相连接，每个连接都有一个权重，用于调整输入特征的影响力。全连接层通过对输入特征向量进行线性变换和非线性激活函数的处理，将输入特征向量转换为更高级的表示。这个过程可以看作是对输入特征的编码，提取出更具有表达能力和判别性的特征表示。在全连接编码的过程中，输入的优化分类特征向量被传递给全连接层的神经元，并通过权重和偏置进行线性变换。然后，经过线性变换的结果被输入到激活函数中，以引入非线性性质。常用的激活函数包括ReLU、Sigmoid和Tanh等。最后，经过激活函数的输出被传递给下一层或用于最终的分类结果预测。全连接编码的目的是通过多个全连接层的组合，对输入特征进行非线性变换和抽象，从而提取出更具有判别性和表达能力的特征表示，以支持后续的分类任务。

综上，基于本公开实施例的基于行为识别和数据分析的干预方案智慧化管理系统100被阐明，其可以实现心理状态的精准判断，并根据相应的心理状态动态地调整和匹配干预方案。

如上所述，根据本公开实施例的所述基于行为识别和数据分析的干预方案智慧化管理系统100可以实现在各种终端设备中，例如具有基于行为识别和数据分析的干预方案智慧化管理算法的服务器等。在一个示例中，基于行为识别和数据分析的干预方案智慧化管理系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于行为识别和数据分析的干预方案智慧化管理系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于行为识别和数据分析的干预方案智慧化管理系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该基于行为识别和数据分析的干预方案智慧化管理系统100与该终端设备也可以是分立的设备，并且该基于行为识别和数据分析的干预方案智慧化管理系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

图4示出根据本公开的实施例的基于行为识别和数据分析的干预方案智慧化管理方法的流程图。图5示出根据本公开的实施例的基于行为识别和数据分析的干预方案智慧化管理方法的系统架构的示意图。如图4和图5所示，根据本公开实施例的基于行为识别和数据分析的干预方案智慧化管理方法，其包括：S110，获取由摄像头和录音设备采集的被监控对象的行为监控视频和声音监控信号；S120，对所述行为监控视频进行行为特征提取以得到行为语义特征图；S130，对所述声音监控信号进行声强特征提取以得到声强时序特征向量；以及，S140，基于所述行为语义特征图和所述声强时序特征向量，为所述被监控对象匹配治疗方案。

在一种可能的实现方式中，对所述行为监控视频进行行为特征提取以得到行为语义特征图，包括：对所述行为监控视频进行稀疏化采样以得到行为监控关键帧的序列；以及，将所述行为监控关键帧的序列通过基于三维卷积神经网络模型的行为语义编码器以得到所述行为语义特征图。

在一种可能的实现方式中，对所述声音监控信号进行声强特征提取以得到声强时序特征向量，包括：将所述声音监控信号通过基于一维卷积神经网络模型的声强时序特征提取器以得到所述声强时序特征向量。

在一种可能的实现方式中，基于所述行为语义特征图和所述声强时序特征向量，为所述被监控对象匹配治疗方案，包括：对所述行为语义特征图和所述声强时序特征向量进行联合分析以得到声音模式引导行为语义强化特征图；对所述声音模式引导行为语义强化特征图进行特征分布优化以得到优化声音模式引导行为语义强化特征图；将所述优化声音模式引导行为语义强化特征图通过分类器以得到分类结果，所述分类结果用于表示被监控对象的心理状态标签；以及，基于所述分类结果，为所述被监控对象匹配治疗方案。

这里，本领域技术人员可以理解，上述基于行为识别和数据分析的干预方案智慧化管理方法中的各个步骤的具体操作已经在上面参考图1到图3的基于行为识别和数据分析的干预方案智慧化管理系统的描述中得到了详细介绍，并因此，将省略其重复描述。

图6示出根据本公开的实施例的基于行为识别和数据分析的干预方案智慧化管理系统的应用场景图。如图6所示，在该应用场景中，首先，获取由摄像头（例如，图6中所示意的L1）和录音设备（例如，图6中所示意的L2）采集的被监控对象的行为监控视频（例如，图6中所示意的D1）和声音监控信号（例如，图6中所示意的D2），然后，将所述行为监控视频和所述声音监控信号输入至部署有基于行为识别和数据分析的干预方案智慧化管理算法的服务器中（例如，图6中所示意的S），其中，所述服务器能够使用所述基于行为识别和数据分析的干预方案智慧化管理算法对所述行为监控视频和所述声音监控信号进行处理以得到用于表示被监控对象的心理状态标签的分类结果。

值得一提的是，本公开的技术方案使用多样化的测量手段对强制戒毒人员的心理健康进行研究，打破地域、年龄、性别等数据维度的限制，从优化量表、检测手段出发，结合人工智能技术的深入研究与应用，极大拓展了针对强制戒毒人员的心理健康研究思路和技术路线的深度与广度。具体地，可以以专业心理健康量表为测算手段，从情绪力、控制力、意志力等多维度采集数据作为输入，以与之匹配的一、二、三级心理健康指标为数据的量化归集池，通过正态分布等统计学方法，对数据进行预处理，佐以人工智能工具、围绕一人一档进行全周期心理状态跟踪与评估，实时预判，创新家所共辅的方式，构建针对特定人群的心理健康测试、评价体系。

其中，关于数据收集和处理，为了训练AI神经网络，需要收集大量的戒毒人员的行为数据。这些数据可以来自于监控设备、患者日志、医生报告等多种来源。数据收集完成后，需要进行数据清洗和预处理，以确保数据的准确性和完整性。视频监控数据模块主要利用视频监控数据，对戒毒所的人员行为进行识别分析，具体内容包括：视频监控采集通过摄像头采集戒毒所内的视频监控数据；视频数据处理对采集到的视频数据进行处理和分析，提取有用的信息；行为识别算法利用AI技术对视频数据进行行为识别分析，实现戒毒人员的行为识别；预警机制根据行为识别结果，实现智能预警，提高戒毒所的管理效果。AI神经网络的深度学习算法模块利用收集到的数据，可以使用深度学习算法来训练AI神经网络。这个模块可以根据戒毒人员的行为模式和历史数据，预测他们未来的行动和趋势。

进一步地，图7示出了利用AI神经网络完善管理服务方案的流程示意图。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (6)

1.一种基于行为识别和数据分析的干预方案智慧化管理系统，其特征在于，包括：

数据采集模块，用于获取由摄像头和录音设备采集的被监控对象的行为监控视频和声音监控信号；

行为特征提取模块，用于对所述行为监控视频进行行为特征提取以得到行为语义特征图；

声强特征提取模块，用于对所述声音监控信号进行声强特征提取以得到声强时序特征向量；以及

治疗方案匹配模块，用于基于所述行为语义特征图和所述声强时序特征向量，为所述被监控对象匹配治疗方案。

2.根据权利要求1所述的基于行为识别和数据分析的干预方案智慧化管理系统，其特征在于，所述行为特征提取模块，包括：

稀疏化采样单元，用于对所述行为监控视频进行稀疏化采样以得到行为监控关键帧的序列；以及

行为语义编码单元，用于将所述行为监控关键帧的序列通过基于三维卷积神经网络模型的行为语义编码器以得到所述行为语义特征图。

3.根据权利要求2所述的基于行为识别和数据分析的干预方案智慧化管理系统，其特征在于，所述声强特征提取模块，用于：

将所述声音监控信号通过基于一维卷积神经网络模型的声强时序特征提取器以得到所述声强时序特征向量。

4.根据权利要求3所述的基于行为识别和数据分析的干预方案智慧化管理系统，其特征在于，所述治疗方案匹配模块，包括：

联合分析单元，用于对所述行为语义特征图和所述声强时序特征向量进行联合分析以得到声音模式引导行为语义强化特征图；

特征分布优化单元，用于对所述声音模式引导行为语义强化特征图进行特征分布优化以得到优化声音模式引导行为语义强化特征图；

分类单元，用于将所述优化声音模式引导行为语义强化特征图通过分类器以得到分类结果，所述分类结果用于表示被监控对象的心理状态标签；以及

治疗方案确认单元，用于基于所述分类结果，为所述被监控对象匹配治疗方案。

5.根据权利要求4所述的基于行为识别和数据分析的干预方案智慧化管理系统，其特征在于，所述联合分析单元，用于：将所述行为语义特征图和所述声强时序特征向量通过基于MetaNet的数据融合模块以得到所述声音模式引导行为语义强化特征图；

其中，将所述行为语义特征图和所述声强时序特征向量通过基于MetaNet的数据融合模块以得到所述声音模式引导行为语义强化特征图，包括：

将所述声强时序特征向量通过点卷积层以得到第一卷积特征向量；

将所述第一卷积特征向量通过基于ReLU函数的修正线性单元以得到第一修正卷积特征向量；

将所述第一修正卷积特征向量通过点卷积层以得到第二卷积特征向量；

将所述第二卷积特征向量通过基于Sigmoid函数的修正线性单元以得到第二修正卷积特征向量；

将所述行为语义特征图通过CNN模型以得到高维隐含特征图；以及

融合所述第二修正卷积特征向量与所述高维隐含特征图以得到所述声音模式引导行为语义强化特征图。

6.根据权利要求5所述的基于行为识别和数据分析的干预方案智慧化管理系统，其特征在于，所述特征分布优化单元，用于：

以如下优化公式对所述声音模式引导行为语义强化特征图进行特征分布优化以得到所述优化声音模式引导行为语义强化特征图；

其中，所述优化公式为：其中，/>是所述声音模式引导行为语义强化特征图的每个特征矩阵，/>是所述声音模式引导行为语义强化特征图的每个特征矩阵的第/>位置的特征值，/>是所述声音模式引导行为语义强化特征图的每个特征矩阵的尺度， />表示所述声音模式引导行为语义强化特征图的每个特征矩阵的Frobenius范数的平方，/>表示所述声音模式引导行为语义强化特征图的每个特征矩阵的二范数，且/>是加权超参数，/>表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值，/>是所述优化声音模式引导行为语义强化特征图的每个特征矩阵的第/>位置的特征值。