CN117158904B - 基于行为分析的老年人认知障碍检测系统及方法 - Google Patents
基于行为分析的老年人认知障碍检测系统及方法 Download PDFInfo
- Publication number
- CN117158904B CN117158904B CN202311157881.3A CN202311157881A CN117158904B CN 117158904 B CN117158904 B CN 117158904B CN 202311157881 A CN202311157881 A CN 202311157881A CN 117158904 B CN117158904 B CN 117158904B
- Authority
- CN
- China
- Prior art keywords
- behavior
- feature vector
- time sequence
- senile
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000010877 cognitive disease Diseases 0.000 title claims abstract description 97
- 238000004458 analytical method Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 title claims description 45
- 239000013598 vector Substances 0.000 claims abstract description 151
- 208000028698 Cognitive impairment Diseases 0.000 claims abstract description 69
- 238000012544 monitoring process Methods 0.000 claims abstract description 64
- 230000003542 behavioural effect Effects 0.000 claims abstract description 63
- 238000000605 extraction Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000012300 Sequence Analysis Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 4
- 238000012731 temporal analysis Methods 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 230000006399 behavior Effects 0.000 description 162
- 238000010586 diagram Methods 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 238000013507 mapping Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 238000000265 homogenisation Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004770 neurodegeneration Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Alarm Systems (AREA)
Abstract
公开了一种基于行为分析的老年人认知障碍检测系统及方法。其首先获取由摄像头采集的被分析老年人对象的行为监控视频,接着,提取所述行为监控视频的局部时序行为特征以得到行为全感知特征向量的序列,然后,提取所述行为全感知特征向量的序列之间的全局语义特征以得到老年人对象行为时序语义编码特征向量,最后,基于所述老年人对象行为时序语义编码特征向量,确定所述被分析老年人对象是否存在认知障碍。这样,可以智能化地判断老年人对象是否存在认知障碍,进而为医生提供有价值的辅助诊断信息。
Description
技术领域
本公开涉及辅助诊断领域,且更为具体地,涉及一种基于行为分析的老年人认知障碍检测系统及方法。
背景技术
老年人认知障碍是一种常见的神经退行性疾病,主要表现为记忆力、思维能力、判断力等方面的下降,严重影响老年人的生活质量和社会功能。
目前,老年人认知障碍的诊断主要依赖于临床评估和神经影像学检查,这些方法存在一定的局限性,如主观性强、成本高、侵入性大等。
因此,开发一种基于行为分析的老年人认知障碍检测方案,具有重要的理论意义和实际价值。
发明内容
有鉴于此,本公开提出了一种基于行为分析的老年人认知障碍检测系统及方法,其可以智能化地判断老年人对象是否存在认知障碍,进而为医生提供有价值的辅助诊断信息。
根据本公开的一方面,提供了一种基于行为分析的老年人认知障碍检测系统,其包括:
监控视频获取模块,用于获取由摄像头采集的被分析老年人对象的行为监控视频;
局部特征提取模块,用于提取所述行为监控视频的局部时序行为特征以得到行为全感知特征向量的序列;
全局特征提取模块,用于提取所述行为全感知特征向量的序列之间的全局语义特征以得到老年人对象行为时序语义编码特征向量;以及
认知障碍判断模块,用于基于所述老年人对象行为时序语义编码特征向量,确定所述被分析老年人对象是否存在认知障碍。
根据本公开的另一方面,提供了一种基于行为分析的老年人认知障碍检测方法,其包括:
获取由摄像头采集的被分析老年人对象的行为监控视频;
提取所述行为监控视频的局部时序行为特征以得到行为全感知特征向量的序列;
提取所述行为全感知特征向量的序列之间的全局语义特征以得到老年人对象行为时序语义编码特征向量;以及
基于所述老年人对象行为时序语义编码特征向量,确定所述被分析老年人对象是否存在认知障碍。
根据本公开的实施例,其首先获取由摄像头采集的被分析老年人对象的行为监控视频,接着,提取所述行为监控视频的局部时序行为特征以得到行为全感知特征向量的序列,然后,提取所述行为全感知特征向量的序列之间的全局语义特征以得到老年人对象行为时序语义编码特征向量,最后,基于所述老年人对象行为时序语义编码特征向量,确定所述被分析老年人对象是否存在认知障碍。这样,可以智能化地判断老年人对象是否存在认知障碍,进而为医生提供有价值的辅助诊断信息。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1示出根据本公开的实施例的基于行为分析的老年人认知障碍检测系统的框图。
图2示出根据本公开的实施例的基于行为分析的老年人认知障碍检测系统中所述局部特征提取模块的框图。
图3示出根据本公开的实施例的基于行为分析的老年人认知障碍检测系统中所述时序分析单元的框图。
图4示出根据本公开的实施例的基于行为分析的老年人认知障碍检测系统中所述认知障碍判断模块的框图。
图5示出根据本公开的实施例的基于行为分析的老年人认知障碍检测方法的流程图。
图6示出根据本公开的实施例的基于行为分析的老年人认知障碍检测方法的架构示意图。
图7示出根据本公开的实施例的基于行为分析的老年人认知障碍检测系统的应用场景图。
具体实施方式
下面将结合附图对本公开实施例中的技术方案进行清楚、完整地描述,显而易见地,所描述的实施例仅仅是本公开的部分实施例,而不是全部的实施例。基于本公开实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,也属于本公开保护的范围。
如本公开和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
针对上述技术问题,本公开的技术构思为利用摄像头采集老年人对象的行为监控视频,通过深度学习技术提取视频中的行为特征,并以此来智能化地判断老年人对象是否存在认知障碍,进而为医生提供有价值的辅助诊断信息。
基于此,图1示出根据本公开的实施例的基于行为分析的老年人认知障碍检测系统的框图示意图。如图1所示,根据本公开实施例的基于行为分析的老年人认知障碍检测系统100,包括:监控视频获取模块110,用于获取由摄像头采集的被分析老年人对象的行为监控视频;局部特征提取模块120,用于提取所述行为监控视频的局部时序行为特征以得到行为全感知特征向量的序列;全局特征提取模块130,用于提取所述行为全感知特征向量的序列之间的全局语义特征以得到老年人对象行为时序语义编码特征向量;以及,认知障碍判断模块140,用于基于所述老年人对象行为时序语义编码特征向量,确定所述被分析老年人对象是否存在认知障碍。应可以理解,监控视频获取模块110负责从摄像头或其他视频源中接收视频流,并将视频数据传递给后续的处理模块。局部特征提取模块120可以分析视频中的每一帧或一小段连续的帧,提取局部的行为特征,例如人的运动轨迹、姿势、目标物体的位置等,通过提取这些局部特征并组合起来,可以形成行为全感知特征向量的序列。全局特征提取模块130可以对局部特征向量序列进行进一步的分析和处理,提取全局的语义特征,例如行为的模式、频率、持续时间等,这些全局特征可以帮助更好地表示老年人对象的行为模式和行为变化。认知障碍判断模块140可以使用机器学习算法或其他判别方法,通过对行为特征向量进行分类或回归分析,来判断老年人对象是否存在认知障碍,该模块可以根据预先训练好的模型或规则进行判断,并输出相应的结果或建议。这些模块共同构成了基于行为分析的老年人认知障碍检测系统。通过监控视频获取模块获取视频数据,局部特征提取模块和全局特征提取模块对视频数据进行特征提取和分析,最后通过认知障碍判断模块进行认知障碍的判断。这个系统可以通过对老年人的行为进行分析,提供早期认知障碍的诊断和预警,以便及时采取干预措施。
具体地,在本公开的技术方案中,首先,获取由摄像头采集的被分析老年人对象的行为监控视频。然后,提取所述行为监控视频的局部时序行为特征以得到行为全感知特征向量的序列。应可以理解,所述行为监控视频通常是较长的连续录像,对整个视频直接进行处理与分析可能会导致计算和存储资源的浪费。先对所述行为监控视频进行局部分析,可以提高处理效率,并在一定程度上凸显细节信息。
在本公开的一个具体示例中,提取所述行为监控视频的局部时序行为特征以得到行为全感知特征向量的序列的编码过程,包括:先对所述行为监控视频进行视频片段切分以得到行为监控视频片段的序列;再将所述行为监控视频片段的序列分别通过基于三维卷积神经网络模型的行为特征提取器以得到行为特征图的序列;随后,将所述行为特征图的序列分别通过基于全连接层的特征全感知器以得到行为全感知特征向量的序列。这里,将每个片段视为一个独立的行为事件,并对各个片段进行时序分析与全感知特征提取,减少因视频中可能存在多个不同行为而导致的特征混淆。
值得一提的是,通过全连接层构建的所述特征全感知器,可以将各个行为特征图的转化为固定维度的行为全感知特征向量,以便于表达行为序列的语义信息,实现维度上的匹配与对齐。
应可以理解,所述行为全感知特征向量的序列之间存在动态的时序关联关系。具体来说,老年人的行为通常具有时序关系,不同行为之间存在时间上的依赖和顺序。因此,在本公开的技术方案中,提取所述行为全感知特征向量的序列之间的全局语义特征以得到老年人对象行为时序语义编码特征向量。通过这样的方式,以所述老年人对象行为时序语义编码特征向量来表征行为序列中的时序相关性和依赖性。
在本公开的一个具体示例中,提取所述行为全感知特征向量的序列之间的全局语义特征以得到老年人对象行为时序语义编码特征向量的编码过程,包括:将所述行为全感知特征向量的序列通过基于转换器模块的行为语义编码器以得到老年人对象行为时序语义编码特征向量。
相应地,如图2所示,所述局部特征提取模块120,包括:视频片段切分单元121,用于对所述行为监控视频进行视频片段切分以得到行为监控视频片段的序列;以及,时序分析单元122,用于对所述行为监控视频片段的序列进行时序分析以得到所述行为全感知特征向量的序列。应可以理解,所述局部特征提取模块120是一个用于从行为监控视频中提取局部特征的模块,该模块包括视频片段切分单元121和时序分析单元122两个主要单元。视频片段切分单元121用于将行为监控视频切分成多个视频片段,生成行为监控视频片段的序列,这个单元的主要功能是将整个行为监控视频分割成更小的连续片段,以便后续处理。切分视频片段的方法可以根据具体的应用场景和需求进行设计,例如按时间间隔切分或者根据行为的变化切分。时序分析单元122用于对行为监控视频片段的序列进行时序分析,提取行为全感知特征向量的序列,这个单元的主要功能是对每个视频片段进行特征提取,并将这些特征按照时间顺序组合成一个特征向量序列。时序分析可以包括各种方法,如光流分析、运动检测、物体识别等,根据具体的任务和应用场景选择适合的方法。综合的说,视频片段切分单元用于将行为监控视频切分成片段序列,而时序分析单元用于对这些视频片段进行时序分析,提取行为全感知特征向量的序列。这两个单元的协同工作可以帮助提取行为监控视频的局部特征,为后续的行为识别、行为分析等任务提供基础。
更具体地,如图3所示,所述时序分析单元122,包括:行为特征提取子单元1221,用于将所述行为监控视频片段的序列分别通过基于三维卷积神经网络模型的行为特征提取器以得到行为特征图的序列;以及,全连接编码子单元1222,用于将所述行为特征图的序列分别通过基于全连接层的特征全感知器以得到所述行为全感知特征向量的序列。应可以理解,在所述时序分析单元122中,包括行为特征提取子单元1221和全连接编码子单元1222两个子单元,这些子单元用于对行为监控视频片段的序列进行进一步的特征提取和编码。行为特征提取子单元1221使用基于三维卷积神经网络(3D CNN)模型的行为特征提取器。三维卷积神经网络是一种扩展自传统卷积神经网络的模型,可以有效地处理视频数据,它在时间维度上引入了卷积操作,以捕捉视频中的时序信息。通过对行为监控视频片段的序列进行三维卷积操作,行为特征提取器可以提取出每个视频片段的行为特征图的序列。这些行为特征图可以包含关于行为动作、运动方向、空间位置等信息。全连接编码子单元1222使用基于全连接层的特征全感知器。全连接层是神经网络中的一种常见层类型,其中每个神经元都与前一层的所有神经元相连接。在这个子单元中,行为特征图的序列通过全连接层进行编码,以得到行为全感知特征向量的序列。全连接层可以对输入特征进行非线性映射和组合,从而提取更高级别的特征表示。综合的说,行为特征提取子单元1221使用基于三维卷积神经网络模型的行为特征提取器对行为监控视频片段的序列进行特征提取,得到行为特征图的序列。全连接编码子单元1222使用基于全连接层的特征全感知器对行为特征图的序列进行编码,得到行为全感知特征向量的序列。这些子单元的组合可以帮助提取行为监控视频的时序特征,并转化为更高级别的特征表示,以支持后续的行为分析和识别任务。
相应地,所述全局特征提取模块130,用于:将所述行为全感知特征向量的序列通过基于转换器模块的行为语义编码器以得到所述老年人对象行为时序语义编码特征向量。值得一提的是,所述全局特征提取模块130是一个用于从行为全感知特征向量序列中提取全局特征的模块,该模块包括一个转换器模块,用于将行为全感知特征向量序列转换为老年人对象行为时序语义编码特征向量。转换器模块是一个用于特征转换和编码的组件,其主要功能是将行为全感知特征向量序列转化为具有更高级别语义信息的特征向量表示。它可以通过各种方法来实现,如循环神经网络(Recurrent Neural Network,RNN)、长短期记忆网络(Long Short-Term Memory,LSTM)、注意力机制(Attention Mechanism)等。转换器模块的作用是对行为全感知特征向量序列进行建模和编码,以捕捉序列中的时序依赖和语义信息。它可以通过对特征序列进行逐步处理,从而获取更高级别的语义特征表示。这种编码后的特征向量可以更好地表示老年人对象的行为时序语义,有助于后续的行为分析、行为识别等任务。即,转换器模块是全局特征提取模块中的一个组件,用于将行为全感知特征向量序列转换为老年人对象行为时序语义编码特征向量。它通过对特征序列进行建模和编码,提取出更高级别的语义信息,为后续的行为分析和识别提供更具有表达能力的特征表示。
进一步地,将所述老年人对象行为时序语义编码特征向量通过分类器以得到分类结果,所述分类结果用于表示所述被分析老年人对象是否存在认知障碍。通过这样的方式,无需依赖于专业医生或设备,可以在家庭或社区环境中进行检测,并且可以提供客观、量化的检测结果,有利于评估认知障碍的程度和进展。
相应地,如图4所示,所述认知障碍判断模块140,包括:特征分布优化单元141,用于对所述老年人对象行为时序语义编码特征向量进行特征分布优化以得到优化老年人对象行为时序语义编码特征向量;以及,认知障碍检测单元142,用于将所述优化老年人对象行为时序语义编码特征向量通过分类器以得到分类结果,所述分类结果用于表示所述被分析老年人对象是否存在认知障碍。应可以理解,所述认知障碍判断模块140包括特征分布优化单元141和认知障碍检测单元142两个单元,这些单元用于对老年人对象的行为时序语义编码特征向量进行处理和分析,以判断是否存在认知障碍。特征分布优化单元141用于对老年人对象的行为时序语义编码特征向量进行特征分布优化。这个单元的目的是通过对特征向量的分布进行调整和优化,使得特征在不同维度上的取值更具有区分度和重要性,通过优化后的特征分布,可以提高后续认知障碍检测的准确性和鲁棒性。认知障碍检测单元142使用分类器对优化后的老年人对象行为时序语义编码特征向量进行分类,以判断被分析的老年人对象是否存在认知障碍。分类器可以是各种机器学习算法,如支持向量机(SupportVector Machine,SVM)、随机森林(Random Forest)、深度神经网络(Deep Neural Network)等。它通过学习特征向量与认知障碍之间的关联,从而进行分类预测。综合的说,特征分布优化单元141用于优化老年人对象行为时序语义编码特征向量的分布,以提高特征的区分度和重要性;认知障碍检测单元142使用分类器对优化后的特征向量进行分类,以判断被分析的老年人对象是否存在认知障碍。这些单元的组合可以帮助进行认知障碍的判断和诊断,为老年人的健康管理提供支持。
在本公开的技术方案中,所述行为全感知特征向量的序列中的每个行为全感知特征向量表达相应的监控视频片段的局部时域下的时序关联的图像语义特征,因此,在将所述行为全感知特征向量的序列通过基于转换器模块的行为语义编码器后,可以进行全局时域下的局部时域间的图像特征语义上下文编码,由此,所述老年人对象行为时序语义编码特征向量也会具有基于局部时域的表达尺度的时空混合图像语义特征表示,从而在将所述老年人对象行为时序语义编码特征向量通过分类器进行分类回归时,会基于局部时域表达尺度下的特征表示来进行尺度启发式的回归概率映射,但是考虑到在局部时域表达尺度上,所述老年人对象行为时序语义编码特征向量实质上也包含了局部时域-全局时域下的混合时域空间内的时空混合图像语义特征表示,这会导致所述分类器的训练效率降低。
基于此,本公开的申请人在将所述老年人对象行为时序语义编码特征向量通过分类器进行分类时,对所述老年人对象行为时序语义编码特征向量,例如记为进行特征秩表达的语义信息均一化激活。
相应地,在一个具体示例中,所述特征分布优化单元141,用于:以如下优化公式对所述老年人对象行为时序语义编码特征向量进行特征分布优化以得到所述优化老年人对象行为时序语义编码特征向量;其中,所述优化公式为:其中,/>是所述老年人对象行为时序语义编码特征向量,/>是所述老年人对象行为时序语义编码特征向量的第/>个特征值,/>表示所述老年人对象行为时序语义编码特征向量/>的二范数,/>是以2为底的对数函数,且/>是权重超参数,/>是所述优化老年人对象行为时序语义编码特征向量的第/>个特征值。
这里,考虑到所述老年人对象行为时序语义编码特征向量的特征分布在高维特征空间到分类回归空间时的特征分布映射,在基于混合时域空间内的时空混合图像语义特征的不同的特征分布级别上会呈现不同的映射模式,导致基于尺度启发式的映射策略无法获得最优效率,因而基于特征向量范数的秩表达语义信息均一化而不是尺度进行特征匹配,可以将相似特征秩表达以类似方式激活,并降低差异较大的特征秩表达之间的相关性,从而解决所述老年人对象行为时序语义编码特征向量/>的特征分布在不同空间秩表达下的概率表达映射效率低下的问题,提升所述老年人对象行为时序语义编码特征向量通过分类器进行分类回归时的训练效率。
进一步地,所述认知障碍检测单元142,用于:使用所述分类器的全连接层对所述优化老年人对象行为时序语义编码特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
也就是,在本公开的技术方案中,所述分类器的标签包括所述被分析老年人对象存在认知障碍(第一标签),以及,所述被分析老年人对象不存在认知障碍(第二标签),其中,所述分类器通过软最大值函数来确定所述优化老年人对象行为时序语义编码特征向量属于哪个分类标签。值得注意的是,这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念,实际上在训练过程当中,计算机模型并没有“所述被分析老年人对象是否存在认知障碍”这种概念,其只是有两种分类标签且输出特征在这两个分类标签下的概率,即p1和p2之和为一。因此,所述被分析老年人对象是否存在认知障碍的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布,实质上用到的是标签的自然概率分布的物理意义,而不是“所述被分析老年人对象是否存在认知障碍”的语言文本意义。
应可以理解,分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器,然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题,对于多分类问题(multi-class classification),同样也可以用逻辑回归或SVM,只是需要多个二分类来组成多分类,但这样容易出错且效率不高,常用的多分类方法有Softmax分类函数。
值得一提的是,全连接编码是指将输入向量通过全连接层进行线性变换和非线性激活,得到编码分类特征向量的过程。在认知障碍检测单元142中,优化后的老年人对象行为时序语义编码特征向量将通过全连接层进行编码,得到编码分类特征向量,然后输入到分类器的Softmax分类函数中进行分类预测。全连接层是一种神经网络层,其中每个神经元都与前一层的所有神经元相连。在全连接层中,输入特征向量的每个维度都与每个神经元相连,通过权重和偏置进行线性变换,然后通过非线性激活函数(如ReLU、Sigmoid等)进行非线性变换。这样可以将输入特征向量映射到高维特征空间中,提取更复杂的特征表示。全连接编码的作用是通过全连接层对特征向量进行非线性变换和映射,从而捕捉更高级别的特征表示。通过引入非线性激活函数,全连接层可以学习到更复杂的特征组合和抽象,提高模型的表达能力。编码分类特征向量是经过全连接层处理后的特征向量,具有更丰富的语义信息和更好的区分能力,适合输入到分类器中进行分类任务。在认知障碍检测中,全连接编码可以帮助模型从优化后的特征向量中提取更具有判别能力的特征表示。通过全连接层的线性变换和非线性激活,可以捕捉到更复杂的特征模式,提高分类器对认知障碍的判断准确性。最后,编码分类特征向量将输入到分类器的Softmax分类函数中,通过对不同类别的概率分布进行建模,得到最终的分类结果。换言之,全连接编码是通过全连接层对特征向量进行线性变换和非线性激活,提取更高级别的特征表示,它在认知障碍检测中起到了提取判别特征、提高分类准确性的作用。
综上,基于本公开实施例的基于行为分析的老年人认知障碍检测系统100被阐明,其可以智能化地判断老年人对象是否存在认知障碍,进而为医生提供有价值的辅助诊断信息。
如上所述,根据本公开实施例的所述基于行为分析的老年人认知障碍检测系统100可以实现在各种终端设备中,例如具有基于行为分析的老年人认知障碍检测算法的服务器等。在一个示例中,基于行为分析的老年人认知障碍检测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该基于行为分析的老年人认知障碍检测系统100可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该基于行为分析的老年人认知障碍检测系统100同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该基于行为分析的老年人认知障碍检测系统100与该终端设备也可以是分立的设备,并且该基于行为分析的老年人认知障碍检测系统100可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
图5示出根据本公开的实施例的基于行为分析的老年人认知障碍检测方法的流程图。图6示出根据本公开的实施例的基于行为分析的老年人认知障碍检测方法的系统架构的示意图。如图5和图6所示,根据本公开实施例的基于行为分析的老年人认知障碍检测方法,其包括:S110,获取由摄像头采集的被分析老年人对象的行为监控视频;S120,提取所述行为监控视频的局部时序行为特征以得到行为全感知特征向量的序列;S130,提取所述行为全感知特征向量的序列之间的全局语义特征以得到老年人对象行为时序语义编码特征向量;以及,S140,基于所述老年人对象行为时序语义编码特征向量,确定所述被分析老年人对象是否存在认知障碍。
在一种可能的实现方式中,提取所述行为监控视频的局部时序行为特征以得到行为全感知特征向量的序列,包括:对所述行为监控视频进行视频片段切分以得到行为监控视频片段的序列;以及,对所述行为监控视频片段的序列进行时序分析以得到所述行为全感知特征向量的序列。
在一种可能的实现方式中,对所述行为监控视频片段的序列进行时序分析以得到所述行为全感知特征向量的序列,包括:将所述行为监控视频片段的序列分别通过基于三维卷积神经网络模型的行为特征提取器以得到行为特征图的序列;以及,将所述行为特征图的序列分别通过基于全连接层的特征全感知器以得到所述行为全感知特征向量的序列。
在一种可能的实现方式中,提取所述行为全感知特征向量的序列之间的全局语义特征以得到老年人对象行为时序语义编码特征向量,包括:将所述行为全感知特征向量的序列通过基于转换器模块的行为语义编码器以得到所述老年人对象行为时序语义编码特征向量。
这里,本领域技术人员可以理解,上述基于行为分析的老年人认知障碍检测方法中的各个步骤的具体操作已经在上面参考图1到图4的基于行为分析的老年人认知障碍检测系统的描述中得到了详细介绍,并因此,将省略其重复描述。
图7示出根据本公开的实施例的基于行为分析的老年人认知障碍检测系统的应用场景图。如图7所示,在该应用场景中,首先,获取由摄像头采集的被分析老年人对象的行为监控视频(例如,图7中所示意的D),然后,将所述行为监控视频输入至部署有基于行为分析的老年人认知障碍检测算法的服务器中(例如,图7中所示意的S),其中,所述服务器能够使用所述基于行为分析的老年人认知障碍检测算法对所述行为监控视频进行处理以得到用于表示所述被分析老年人对象是否存在认知障碍的分类结果。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (8)
1.一种基于行为分析的老年人认知障碍检测系统,其特征在于,包括:
监控视频获取模块,用于获取由摄像头采集的被分析老年人对象的行为监控视频;
局部特征提取模块,用于提取所述行为监控视频的局部时序行为特征以得到行为全感知特征向量的序列;
全局特征提取模块,用于提取所述行为全感知特征向量的序列之间的全局语义特征以得到老年人对象行为时序语义编码特征向量;以及
认知障碍判断模块,用于基于所述老年人对象行为时序语义编码特征向量,确定所述被分析老年人对象是否存在认知障碍;
其中,所述认知障碍判断模块,包括:
特征分布优化单元,用于对所述老年人对象行为时序语义编码特征向量进行特征分布优化以得到优化老年人对象行为时序语义编码特征向量;以及
认知障碍检测单元,用于将所述优化老年人对象行为时序语义编码特征向量通过分类器以得到分类结果,所述分类结果用于表示所述被分析老年人对象是否存在认知障碍;
其中,所述特征分布优化单元,用于:
以如下优化公式对所述老年人对象行为时序语义编码特征向量进行特征分布优化以得到所述优化老年人对象行为时序语义编码特征向量;
其中,所述优化公式为:其中,/>是所述老年人对象行为时序语义编码特征向量,/>是所述老年人对象行为时序语义编码特征向量的第/>个特征值,/> 表示所述老年人对象行为时序语义编码特征向量/>的二范数,/>是以2为底的对数函数,且 />是权重超参数,/>是所述优化老年人对象行为时序语义编码特征向量的第/>个特征值。
2.根据权利要求1所述的基于行为分析的老年人认知障碍检测系统,其特征在于,所述局部特征提取模块,包括:
视频片段切分单元,用于对所述行为监控视频进行视频片段切分以得到行为监控视频片段的序列;以及
时序分析单元,用于对所述行为监控视频片段的序列进行时序分析以得到所述行为全感知特征向量的序列。
3.根据权利要求2所述的基于行为分析的老年人认知障碍检测系统,其特征在于,所述时序分析单元,包括:
行为特征提取子单元,用于将所述行为监控视频片段的序列分别通过基于三维卷积神经网络模型的行为特征提取器以得到行为特征图的序列;以及
全连接编码子单元,用于将所述行为特征图的序列分别通过基于全连接层的特征全感知器以得到所述行为全感知特征向量的序列。
4.根据权利要求3所述的基于行为分析的老年人认知障碍检测系统,其特征在于,所述全局特征提取模块,用于:
将所述行为全感知特征向量的序列通过基于转换器模块的行为语义编码器以得到所述老年人对象行为时序语义编码特征向量。
5.一种基于行为分析的老年人认知障碍检测方法,其特征在于,包括:
获取由摄像头采集的被分析老年人对象的行为监控视频;
提取所述行为监控视频的局部时序行为特征以得到行为全感知特征向量的序列;
提取所述行为全感知特征向量的序列之间的全局语义特征以得到老年人对象行为时序语义编码特征向量;以及
基于所述老年人对象行为时序语义编码特征向量,确定所述被分析老年人对象是否存在认知障碍;
其中,基于所述老年人对象行为时序语义编码特征向量,确定所述被分析老年人对象是否存在认知障碍,包括:
对所述老年人对象行为时序语义编码特征向量进行特征分布优化以得到优化老年人对象行为时序语义编码特征向量;以及
将所述优化老年人对象行为时序语义编码特征向量通过分类器以得到分类结果,所述分类结果用于表示所述被分析老年人对象是否存在认知障碍;
其中,对所述老年人对象行为时序语义编码特征向量进行特征分布优化以得到优化老年人对象行为时序语义编码特征向量,包括:
以如下优化公式对所述老年人对象行为时序语义编码特征向量进行特征分布优化以得到所述优化老年人对象行为时序语义编码特征向量;
其中,所述优化公式为:其中,/>是所述老年人对象行为时序语义编码特征向量,/>是所述老年人对象行为时序语义编码特征向量的第 />个特征值,/> 表示所述老年人对象行为时序语义编码特征向量/>的二范数,/>是以2为底的对数函数,且 />是权重超参数,/>是所述优化老年人对象行为时序语义编码特征向量的第/>个特征值。
6.根据权利要求5所述的基于行为分析的老年人认知障碍检测方法,其特征在于,提取所述行为监控视频的局部时序行为特征以得到行为全感知特征向量的序列,包括:
对所述行为监控视频进行视频片段切分以得到行为监控视频片段的序列;以及
对所述行为监控视频片段的序列进行时序分析以得到所述行为全感知特征向量的序列。
7.根据权利要求6所述的基于行为分析的老年人认知障碍检测方法,其特征在于,对所述行为监控视频片段的序列进行时序分析以得到所述行为全感知特征向量的序列,包括:
将所述行为监控视频片段的序列分别通过基于三维卷积神经网络模型的行为特征提取器以得到行为特征图的序列;以及
将所述行为特征图的序列分别通过基于全连接层的特征全感知器以得到所述行为全感知特征向量的序列。
8.根据权利要求7所述的基于行为分析的老年人认知障碍检测方法,其特征在于,提取所述行为全感知特征向量的序列之间的全局语义特征以得到老年人对象行为时序语义编码特征向量,包括:
将所述行为全感知特征向量的序列通过基于转换器模块的行为语义编码器以得到所述老年人对象行为时序语义编码特征向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311157881.3A CN117158904B (zh) | 2023-09-08 | 2023-09-08 | 基于行为分析的老年人认知障碍检测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311157881.3A CN117158904B (zh) | 2023-09-08 | 2023-09-08 | 基于行为分析的老年人认知障碍检测系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117158904A CN117158904A (zh) | 2023-12-05 |
CN117158904B true CN117158904B (zh) | 2024-05-24 |
Family
ID=88936048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311157881.3A Active CN117158904B (zh) | 2023-09-08 | 2023-09-08 | 基于行为分析的老年人认知障碍检测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117158904B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647591A (zh) * | 2018-04-25 | 2018-10-12 | 长沙学院 | 一种基于视觉-语义特征的视频中行为识别方法和系统 |
CN109473173A (zh) * | 2018-09-30 | 2019-03-15 | 华中科技大学 | 一种基于视频的老年人认知功能缺陷评估系统及装置 |
CN109697434A (zh) * | 2019-01-07 | 2019-04-30 | 腾讯科技(深圳)有限公司 | 一种行为识别方法、装置和存储介质 |
CN115482498A (zh) * | 2022-10-28 | 2022-12-16 | 台州科技职业学院 | 基于视频的智慧养老监控系统及其方法 |
CN116311005A (zh) * | 2023-05-25 | 2023-06-23 | 成都睿瞳科技有限责任公司 | 一种用于运动图像处理装置、方法及存储介质 |
CN116486308A (zh) * | 2023-05-10 | 2023-07-25 | 浙江晓扬科技有限公司 | 基于智慧教育的教学管理系统及其方法 |
CN116597377A (zh) * | 2023-05-11 | 2023-08-15 | 新疆汗庭牧元养殖科技有限责任公司 | 牛养殖的智能监控管理方法及其系统 |
CN116665086A (zh) * | 2023-04-12 | 2023-08-29 | 杭州睿数科技有限公司 | 一种基于学习行为智能分析的教学方法及系统 |
CN116686737A (zh) * | 2023-05-26 | 2023-09-05 | 新疆汗庭牧元养殖科技有限责任公司 | 用于牛养殖的疾病防控方法及其系统 |
-
2023
- 2023-09-08 CN CN202311157881.3A patent/CN117158904B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647591A (zh) * | 2018-04-25 | 2018-10-12 | 长沙学院 | 一种基于视觉-语义特征的视频中行为识别方法和系统 |
CN109473173A (zh) * | 2018-09-30 | 2019-03-15 | 华中科技大学 | 一种基于视频的老年人认知功能缺陷评估系统及装置 |
CN109697434A (zh) * | 2019-01-07 | 2019-04-30 | 腾讯科技(深圳)有限公司 | 一种行为识别方法、装置和存储介质 |
CN115482498A (zh) * | 2022-10-28 | 2022-12-16 | 台州科技职业学院 | 基于视频的智慧养老监控系统及其方法 |
CN116665086A (zh) * | 2023-04-12 | 2023-08-29 | 杭州睿数科技有限公司 | 一种基于学习行为智能分析的教学方法及系统 |
CN116486308A (zh) * | 2023-05-10 | 2023-07-25 | 浙江晓扬科技有限公司 | 基于智慧教育的教学管理系统及其方法 |
CN116597377A (zh) * | 2023-05-11 | 2023-08-15 | 新疆汗庭牧元养殖科技有限责任公司 | 牛养殖的智能监控管理方法及其系统 |
CN116311005A (zh) * | 2023-05-25 | 2023-06-23 | 成都睿瞳科技有限责任公司 | 一种用于运动图像处理装置、方法及存储介质 |
CN116686737A (zh) * | 2023-05-26 | 2023-09-05 | 新疆汗庭牧元养殖科技有限责任公司 | 用于牛养殖的疾病防控方法及其系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117158904A (zh) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112085012B (zh) | 项目名称和类别识别方法及装置 | |
Che et al. | Hybrid multimodal fusion with deep learning for rolling bearing fault diagnosis | |
KR102309111B1 (ko) | 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법 | |
CN115100709B (zh) | 一种特征分离的图像人脸识别与年龄估计方法 | |
CN113283282B (zh) | 一种基于时域语义特征的弱监督时序动作检测方法 | |
Kim et al. | Human activity recognition by using convolutional neural network | |
CN116703642A (zh) | 基于数字孪生技术的产品制造生产线智能管理系统 | |
CN117392604A (zh) | 物联网实时信息监控管理系统及方法 | |
CN117676099B (zh) | 基于物联网的安全预警方法及系统 | |
Rajawat et al. | Fusion fuzzy logic and deep learning for depression detection using facial expressions | |
Manocha et al. | A novel deep fusion strategy for COVID-19 prediction using multimodality approach | |
Shuai et al. | Multi-source feature fusion and entropy feature lightweight neural network for constrained multi-state heterogeneous iris recognition | |
CN117257302A (zh) | 人员心理健康状态评估方法及系统 | |
CN117158904B (zh) | 基于行为分析的老年人认知障碍检测系统及方法 | |
Putri et al. | Detection of Facial Mask Using Deep Learning Classification Algorithm | |
Alharthi et al. | Do it the transformer way: a comprehensive review of brain and vision transformers for autism spectrum disorder diagnosis and classification | |
Sravanthi et al. | An efficient classifier using machine learning technique for individual action identification | |
Kailash et al. | Deep learning based detection of mobility aids using yolov5 | |
Alzawali et al. | Facial Emotion Images Recognition Based On Binarized Genetic Algorithm-Random Forest | |
CN113496251A (zh) | 确定用于识别图像中的物体的分类器的装置、识别图像中的物体的装置和相应方法 | |
Jere et al. | Deep learning-based architecture for social anxiety diagnosis | |
CN117198468B (zh) | 基于行为识别和数据分析的干预方案智慧化管理系统 | |
CN118098603B (zh) | 用于eicu的重症监护临床信息系统及方法 | |
Al-Atroshi et al. | Improving Facial Expression Recognition Using HOG with SVM and Modified Datasets Classified by Alexnet. | |
Ding et al. | A learnable end-edge-cloud cooperative network for driving emotion sensing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |