CN115862151A - 基于游戏预测老年人反应能力的数据处理系统及方法 - Google Patents
基于游戏预测老年人反应能力的数据处理系统及方法 Download PDFInfo
- Publication number
- CN115862151A CN115862151A CN202310110809.9A CN202310110809A CN115862151A CN 115862151 A CN115862151 A CN 115862151A CN 202310110809 A CN202310110809 A CN 202310110809A CN 115862151 A CN115862151 A CN 115862151A
- Authority
- CN
- China
- Prior art keywords
- feature map
- feature
- game
- classification
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004044 response Effects 0.000 title claims abstract description 94
- 238000012545 processing Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title abstract description 16
- 230000009471 action Effects 0.000 claims abstract description 183
- 238000012544 monitoring process Methods 0.000 claims abstract description 102
- 238000009826 distribution Methods 0.000 claims abstract description 43
- 238000013527 convolutional neural network Methods 0.000 claims description 65
- 239000013598 vector Substances 0.000 claims description 40
- 238000006243 chemical reaction Methods 0.000 claims description 37
- 238000003062 neural network model Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000003672 processing method Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 230000004043 responsiveness Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 239000000284 extract Substances 0.000 abstract description 5
- 230000008859 change Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 9
- 230000003863 physical function Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 208000024827 Alzheimer disease Diseases 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 208000010877 cognitive disease Diseases 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 208000027061 mild cognitive impairment Diseases 0.000 description 3
- 238000011158 quantitative evaluation Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002650 habitual effect Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010039966 Senile dementia Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
公开了一种基于游戏预测老年人反应能力的数据处理系统及方法，其采用基于机器视觉的人工智能检测技术，以提取出所述待评估老年人的游戏监控视频中各个关键帧的关于老年人动作的隐含特征分布信息，并在对于所述各个关键帧下的关于老年人的动作特征进行时序排列后，进一步提取出其在时间维度上的多尺度动作关联的语义理解特征，并以此来进行所述待评估老年人的反应能力等级评估。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估。
Description
技术领域
本申请涉及智能数据处理技术领域，且更为具体地，涉及一种基于游戏预测老年人反应能力的数据处理系统及方法。
背景技术
近年来，慢性疾病正在慢慢威胁着老年人健康。
根据研究表明，阿尔茨海默病（Alzheimer’s disease，AD）已成为中老年人继心脏病，癌症之后的第三大“疾病杀手”之一。轻度认知功能损害（Mild Cognition Impairment，MCI）是AD的早期状态，由于AD具有不可逆性，且患病人数逐年上升，因此对MCI的早期评估预防和训练尤为重要。
目前，大多数的早期评估预防和训练方案都是依靠传统的方法来进行，传统的方法不仅方式复杂，需要耗费大量的人力物力，而且需要去正规的医院且训练的结果也难以达到预期的效果。现今出现了一种通过以游戏来预测老年人反应能力的方法，其可以通过游戏来对老年人反应进行评估，同时促进老年人的反应能力，预防老年性痴呆。
但是，虽然有研究表明通过游戏可以提高老年人的反应能力，但游戏水平与老年人之间的反应能力之间的量性评估却没有方案，导致无法为老年人提供适配的游戏活动，也就无法最大化地适配于老年人的反应能力和身体机能。
因此，期望一种优化的基于游戏预测老年人反应能力的数据处理系统。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于游戏预测老年人反应能力的数据处理系统及方法，其采用基于机器视觉的人工智能检测技术，以提取出所述待评估老年人的游戏监控视频中各个关键帧的关于老年人动作的隐含特征分布信息，并在对于所述各个关键帧下的关于老年人的动作特征进行时序排列后，进一步提取出其在时间维度上的多尺度动作关联的语义理解特征，并以此来进行所述待评估老年人的反应能力等级评估。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估。
相应地，根据本申请的一个方面，提供了一种基于游戏预测老年人反应能力的数据处理系统，其包括：
监控数据采集模块，用于获取待评估老年人的游戏监控视频；
采样模块，用于从所述游戏监控视频提取多个游戏监控关键帧；
监控帧图像特征提取模块，用于将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵；
图像特征聚合模块，用于将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量；
第一尺度关联特征提取模块，用于将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图；
第二尺度关联特征提取模块，用于将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图；
多尺度融合模块，用于融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；
特征分布校正模块，用于对所述分类特征图进行特征分布校正以得到校正后分类特征图；以及
评估结果生成模块，用于将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。
在上述基于游戏预测老年人反应能力的数据处理系统中，所述采样模块，用于以预定采样频率从所述游戏监控视频中提取多个游戏监控关键帧。
在上述基于游戏预测老年人反应能力的数据处理系统中，所述监控帧图像特征提取模块，进一步用于：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述游戏动作特征矩阵，所述第一卷积神经网络模型的第一层的输入为所述游戏监控关键帧。
在上述基于游戏预测老年人反应能力的数据处理系统中，所述第一尺度关联特征提取模块，进一步用于：使用所述具有第一尺度的三维卷积核的第二卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第一尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述第一游戏动作理解特征图，所述第二卷积神经网络模型的第一层的输入为所述三维特征张量。
在上述基于游戏预测老年人反应能力的数据处理系统中，所述第二尺度关联特征提取模块，进一步用于：使用所述具有第二尺度的三维卷积核的第三卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第二尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第三卷积神经网络模型的最后一层的输出为所述第二游戏动作理解特征图，所述第三卷积神经网络模型的第一层的输入为所述三维特征张量。
在上述基于游戏预测老年人反应能力的数据处理系统中，所述多尺度融合模块，进一步用于：以如下公式来融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；其中，所述公式为：
其中，
为所述分类特征图，/>
为所述第一游戏动作理解特征图，/>
为所述第二游戏动作理解特征图，“/>
”表示所述第一游戏动作理解特征图和所述第二游戏动作理解特征图相对应位置处的元素相加，/>
和/>
为用于控制所述分类特征图中所述第一游戏动作理解特征图和所述第二游戏动作理解特征图之间的平衡的加权参数。
在上述基于游戏预测老年人反应能力的数据处理系统中，所述特征分布校正模块，进一步用于：以如下公式对所述分类特征图进行特征分布校正以得到所述校正后分类特征图；其中，所述公式为：
其中
和/>
是所述分类特征图的各个位置的特征值，且/>
是所述分类特征图的所有特征值的均值，且/>
是所述分类特征图的尺度，/>
表示数值的指数运算，所述数值的指数运算表示以数值为幂的自然指数函数值，/>
是所述校正后分类特征图的各个位置的特征值。
在上述基于游戏预测老年人反应能力的数据处理系统中，所述评估结果生成模块，包括：展开单元，用于将所述校正后分类特征图中各个校正后分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一方面，还提供了一种基于游戏预测老年人反应能力的数据处理方法，其包括：
获取待评估老年人的游戏监控视频；
从所述游戏监控视频提取多个游戏监控关键帧；
将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵；
将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量；
将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图；
将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图；
融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；
对所述分类特征图进行特征分布校正以得到校正后分类特征图；以及
将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。
在上述基于游戏预测老年人反应能力的数据处理方法中，所述从所述游戏监控视频提取多个游戏监控关键帧，包括：以预定采样频率从所述游戏监控视频中提取多个游戏监控关键帧。
在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵，包括：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述游戏动作特征矩阵，所述第一卷积神经网络模型的第一层的输入为所述游戏监控关键帧。
在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图，包括：使用所述具有第一尺度的三维卷积核的第二卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第一尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述第一游戏动作理解特征图，所述第二卷积神经网络模型的第一层的输入为所述三维特征张量。
在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图，包括：使用所述具有第二尺度的三维卷积核的第三卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第二尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第三卷积神经网络模型的最后一层的输出为所述第二游戏动作理解特征图，所述第三卷积神经网络模型的第一层的输入为所述三维特征张量。
在上述基于游戏预测老年人反应能力的数据处理方法中，所述融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图，包括：以如下公式来融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；其中，所述公式为：
其中，
为所述分类特征图，/>
为所述第一游戏动作理解特征图，/>
为所述第二游戏动作理解特征图，“/>
”表示所述第一游戏动作理解特征图和所述第二游戏动作理解特征图相对应位置处的元素相加，/>
和/>
为用于控制所述分类特征图中所述第一游戏动作理解特征图和所述第二游戏动作理解特征图之间的平衡的加权参数。
在上述基于游戏预测老年人反应能力的数据处理方法中，所述对所述分类特征图进行特征分布校正以得到校正后分类特征图，包括：以如下公式对所述分类特征图进行特征分布校正以得到所述校正后分类特征图；其中，所述公式为：
其中
和/>
是所述分类特征图的各个位置的特征值，且/>
是所述分类特征图的所有特征值的均值，且/>
是所述分类特征图的尺度，/>
表示数值的指数运算，所述数值的指数运算表示以数值为幂的自然指数函数值，/>
是所述校正后分类特征图的各个位置的特征值。
在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签，包括：将所述校正后分类特征图中各个校正后分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于游戏预测老年人反应能力的数据处理方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于游戏预测老年人反应能力的数据处理方法。
与现有技术相比，本申请提供的基于游戏预测老年人反应能力的数据处理系统及方法，其采用基于机器视觉的人工智能检测技术，以提取出所述待评估老年人的游戏监控视频中各个关键帧的关于老年人动作的隐含特征分布信息，并在对于所述各个关键帧下的关于老年人的动作特征进行时序排列后，进一步提取出其在时间维度上的多尺度动作关联的语义理解特征，并以此来进行所述待评估老年人的反应能力等级评估。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的基于游戏预测老年人反应能力的数据处理系统的框图。
图2为根据本申请实施例的基于游戏预测老年人反应能力的数据处理系统的架构示意图。
图3为根据本申请实施例的基于游戏预测老年人反应能力的数据处理系统中评估结果生成模块的框图。
图4为根据本申请实施例的基于游戏预测老年人反应能力的数据处理方法的流程图。
图5为根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上述背景技术所言，虽然有研究表明通过游戏可以提高老年人的反应能力，但游戏水平与老年人之间的反应能力之间的量性评估却没有方案，导致无法为老年人提供适配的游戏活动，也就无法最大化地适配于老年人的反应能力和身体机能。因此，期望一种优化的基于游戏预测老年人反应能力的数据处理系统。
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
近年来，深度学习以及神经网络的发展为老年人的反应能力评估提供了新的解决思路和方案。
相应地，考虑到在对于老年人的反应能力与游戏的适配性进行评估判断时，最关键的在于对游戏中老年人的反应能力进行等级评估检测，这可以通过对于待评估老年人的游戏监控视频进行分析处理得到。但是，由于在所述监控视频中具有较多的信息数据，并且每个老年人具有不同的习惯动作，这导致对于视频中老年人的动作语义理解信息也难以掌握。
基于此，在本申请的技术方案中，通过采用基于机器视觉的人工智能检测技术，以提取出所述待评估老年人的游戏监控视频中各个关键帧的关于老年人动作的隐含特征分布信息，并在对于所述各个关键帧下的关于老年人的动作特征进行时序排列后，进一步提取出其在时间维度上的多尺度动作关联的语义理解特征，并以此来进行所述待评估老年人的反应能力等级评估。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估，以使得所述游戏能够最大化地适配于老年人的反应能力和身体机能。
具体地，在本申请的技术方案中，首先，通过摄像头获取待评估老年人的游戏监控视频。接着，考虑到在所述游戏监控视频中，老年人的动作变化特征可以通过所述游戏监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示老年人的动作变化情况。但是，考虑到所述游戏监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计量算，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述游戏监控视频进行关键帧采样，以从所述游戏监控视频提取多个游戏监控关键帧。这里，值得一提的是，所述采样频率可基于实际场景的应用需求做出调整，而不是默认值。
然后，使用在图像的局部隐含关联特征提取方面具有优异表现的作为特征提取器的第一卷积神经网络模型来进行所述多个游戏监控关键帧的特征挖掘，以分别提取出所述多个游戏监控关键帧中的各个游戏监控关键帧关于老年人动作的局部隐含关联特征分布信息，从而得到多个游戏动作特征矩阵。
进一步地，由于老年人的动作在时序上具有着动态性的变化特征，并且考虑到其在时间维度上的动作变化特征具有不同尺度的关联性，也就是说，所述老年人的动作动态特征在不同的时间周期跨度下具有不同的动作语义理解。因此，为了能够充分地对于所述待评估老年人的动作进行时间维度上的动作语义理解，进而来准确地进行老年人反应能力的评估，在本申请的技术方案中，进一步将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量，以整合所述各个关键帧下的关于所述待评估老年人的动作特征在时序上的特征分布信息。然后，再使用具有不同尺度的三维卷积核的卷积神经网络模型来进行所述三维特征张量的特征提取，以提取出所述三维特征张量中关于所述待评估老年人的动作动态变化特征在不同时间跨度下的多尺度动作语义理解特征信息。也就是，具体地，将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图，并将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图。
接着，再融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图来表示所述待评估老年人的动作动态变化特征在时序上的多尺度动作语义理解特征信息，并以此作为分类特征图通过分类器中进行分类处理，以得到用于表示待评估老年人的反应能力的等级标签的分类结果。这样，能够对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估。
特别地，在本申请的技术方案中，通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型和具有第二尺度的三维卷积核的第三卷积神经网络模型，可以从所述多个游戏动作特征矩阵沿着通道维度排列为的所述三维特征张量提取不同尺度下的所述多个游戏动作特征矩阵的图像语义沿通道的关联特征，从而使得所述分类特征图的特征分布充分表达不同尺度下的图像维度和通道维度的交叉关联特征。
但是，由于所述分类特征图的特征分布需要包含表达多个不同维度-尺度下的特征关联的特征分布，使得所述分类特征图在分类器中展开为特征向量之后，与所述分类器的权重矩阵之间的拟合负担重，从而影响所述分类器的训练速度和分类结果的准确性。
因此，本申请的申请人对所述分类特征图进行类表征平展化，具体表示为：
这里，所述特征图的类表征平展化将用于高维特征空间内的特征分布的类表征的有限多面体流形进行平展，同时保持流形的各平面之间的固有距离，并基于空间直观地避免交叉，其实质上是将该有限多面体流形分解为基于直角面相交和同顶点相交的立方体晶格，从而获得类平面的平展的“切片”连续性，以增强所述分类特征图对于分类器的权重矩阵的拟合性能。这样，就提升了所述分类特征图通过分类器进行分类的训练速度和分类结果的准确性。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估，以使得所述游戏能够最大化地适配于老年人的反应能力和身体机能。
基于此，本申请提供了一种基于游戏预测老年人反应能力的数据处理系统，其包括：监控数据采集模块，用于获取待评估老年人的游戏监控视频；采样模块，用于从所述游戏监控视频提取多个游戏监控关键帧；监控帧图像特征提取模块，用于将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵；图像特征聚合模块，用于将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量；第一尺度关联特征提取模块，用于将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图；第二尺度关联特征提取模块，用于将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图；多尺度融合模块，用于融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；特征分布校正模块，用于对所述分类特征图进行特征分布校正以得到校正后分类特征图；以及，评估结果生成模块，用于将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图1为根据本申请实施例的基于游戏预测老年人反应能力的数据处理系统的框图。如图1所示，根据本申请实施例的基于游戏预测老年人反应能力的数据处理系统100，包括：监控数据采集模块110，用于获取待评估老年人的游戏监控视频；采样模块120，用于从所述游戏监控视频提取多个游戏监控关键帧；监控帧图像特征提取模块130，用于将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵；图像特征聚合模块140，用于将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量；第一尺度关联特征提取模块150，用于将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图；第二尺度关联特征提取模块160，用于将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图；多尺度融合模块170，用于融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；特征分布校正模块180，用于对所述分类特征图进行特征分布校正以得到校正后分类特征图；以及，评估结果生成模块190，用于将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。
图2为根据本申请实施例的基于游戏预测老年人反应能力的数据处理系统的架构示意图。如图2所示，首先，获取待评估老年人的游戏监控视频。接着，从所述游戏监控视频提取多个游戏监控关键帧。然后，将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵。进一步地，将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量。然后，将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图，同时，将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图。接着，融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图。然后，对所述分类特征图进行特征分布校正以得到校正后分类特征图。进而，将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。
在上述基于游戏预测老年人反应能力的数据处理系统100中，所述监控数据采集模块110，用于获取待评估老年人的游戏监控视频。如上述背景技术所言，虽然有研究表明通过游戏可以提高老年人的反应能力，但游戏水平与老年人之间的反应能力之间的量性评估却没有方案，导致无法为老年人提供适配的游戏活动，也就无法最大化地适配于老年人的反应能力和身体机能。因此，期望一种优化的基于游戏预测老年人反应能力的数据处理系统。
基于此，在本申请的技术方案中，通过采用基于机器视觉的人工智能检测技术，以提取出所述待评估老年人的游戏监控视频中关于老年人动作的隐含特征分布信息，并在对于关于老年人的动作特征进行时序排列后，进一步提取出其在时间维度上的多尺度动作关联的语义理解特征，并以此来进行所述待评估老年人的反应能力等级评估。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估，以使得所述游戏能够最大化地适配于老年人的反应能力和身体机能。具体地，在本申请的技术方案中，首先，通过摄像头获取待评估老年人的游戏监控视频。
在一个具体示例中，在游戏机器人做动作游戏的开始时刻，检测被测老年人做相应动作的应对时间，通过多次检测到的应对时间作为上述基于游戏预测老年人反应能力的数据处理系统100的输入，用来判断待评估老年人的反应能力。
在上述基于游戏预测老年人反应能力的数据处理系统100中，所述采样模块120，用于从所述游戏监控视频提取多个游戏监控关键帧。相应地，考虑到在对于老年人的反应能力与游戏的适配性进行评估判断时，最关键的在于对游戏中老年人的反应能力进行等级评估检测，这可以通过对于待评估老年人的游戏监控视频进行分析处理得到。但是，由于在所述监控视频中具有较多的信息数据，并且每个老年人具有不同的习惯动作，这导致对于视频中老年人的动作语义理解信息也难以掌握。
基于此，将老年人的动作变化特征通过所述游戏监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示老年人的动作变化情况。但是，考虑到所述游戏监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计量算，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述游戏监控视频进行关键帧采样，以从所述游戏监控视频提取多个游戏监控关键帧。这里，值得一提的是，所述采样频率可基于实际场景的应用需求做出调整，而不是默认值。
在上述基于游戏预测老年人反应能力的数据处理系统100中，所述监控帧图像特征提取模块130，用于将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵。也就是，使用在图像的局部隐含关联特征提取方面具有优异表现的作为特征提取器的第一卷积神经网络模型来进行所述多个游戏监控关键帧的特征挖掘，以分别提取出所述多个游戏监控关键帧中的各个游戏监控关键帧关于老年人动作的局部隐含关联特征分布信息，从而得到多个游戏动作特征矩阵。
在一个具体示例中，所述第一卷积神经网络模型包括相互级联的多个神经网络层，其中各个神经网络层包括卷积层、池化层和激活层。其中，在所述第一卷积神经网络模型的编码过程中，所述第一卷积神经网络模型的各层在层的正向传递过程中对输入数据使用所述卷积层进行基于卷积核的卷积处理、使用所述池化层对由所述卷积层输出的卷积特征图进行池化处理和使用所述激活层对由所述池化层输出的池化特征图进行激活处理，其中，所述第一卷积神经网络模型的最后一层的输出为所述游戏动作特征矩阵，所述第一卷积神经网络模型的第一层的输入为所述游戏监控关键帧。这里，所述第一卷积神经网络模型的各层都可以输出特征图。
在上述基于游戏预测老年人反应能力的数据处理系统100中，所述图像特征聚合模块140，用于将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量。由于老年人的动作在时序上具有着动态性的变化特征，并且考虑到其在时间维度上的动作变化特征具有不同尺度的关联性，也就是说，所述老年人的动作动态特征在不同的时间周期跨度下具有不同的动作语义理解。因此，为了能够充分地对于所述待评估老年人的动作进行时间维度上的动作语义理解，进而来准确地进行老年人反应能力的评估，在本申请的技术方案中，进一步将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量，以整合所述各个关键帧下的关于所述待评估老年人的动作特征在时序上的特征分布信息。
在上述基于游戏预测老年人反应能力的数据处理系统100中，所述第一尺度关联特征提取模块150，用于将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图。在本申请的技术方案中，使用具有不同尺度的三维卷积核的卷积神经网络模型来进行所述三维特征张量的特征提取，以提取出所述三维特征张量中关于所述待评估老年人的动作动态变化特征在不同时间跨度下的多尺度动作语义理解特征信息。也就是，具体地，首先将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图。
具体地，在本申请实施例中，所述第一尺度关联特征提取模块150，进一步用于：使用所述具有第一尺度的三维卷积核的第二卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第一尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述第一游戏动作理解特征图，所述第二卷积神经网络模型的第一层的输入为所述三维特征张量。
在上述基于游戏预测老年人反应能力的数据处理系统100中，所述第二尺度关联特征提取模块160，用于将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图。也就是，在将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图的同时，将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图。
具体地，在本申请实施例中，所述第二尺度关联特征提取模块160，进一步用于：使用所述具有第二尺度的三维卷积核的第三卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第二尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第三卷积神经网络模型的最后一层的输出为所述第二游戏动作理解特征图，所述第三卷积神经网络模型的第一层的输入为所述三维特征张量。
在上述基于游戏预测老年人反应能力的数据处理系统100中，所述多尺度融合模块170，用于融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图。也就是，融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图来表示所述待评估老年人的动作动态变化特征在时序上的多尺度动作语义理解特征信息，并以此作为分类特征图。
具体地，在本申请实施例中，所述多尺度融合模块170，进一步用于：以如下公式来融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；其中，所述公式为：
其中，
为所述分类特征图，/>
为所述第一游戏动作理解特征图，/>
为所述第二游戏动作理解特征图，“/>
”表示所述第一游戏动作理解特征图和所述第二游戏动作理解特征图相对应位置处的元素相加，/>
和/>
为用于控制所述分类特征图中所述第一游戏动作理解特征图和所述第二游戏动作理解特征图之间的平衡的加权参数。
在上述基于游戏预测老年人反应能力的数据处理系统100中，所述特征分布校正模块180，用于对所述分类特征图进行特征分布校正以得到校正后分类特征图。特别地，在本申请的技术方案中，通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型和具有第二尺度的三维卷积核的第三卷积神经网络模型，可以从所述多个游戏动作特征矩阵沿着通道维度排列为的所述三维特征张量提取不同尺度下的所述多个游戏动作特征矩阵的图像语义沿通道的关联特征，从而使得所述分类特征图的特征分布充分表达不同尺度下的图像维度和通道维度的交叉关联特征。
但是，由于所述分类特征图的特征分布需要包含表达多个不同维度-尺度下的特征关联的特征分布，使得所述分类特征图在分类器中展开为特征向量之后，与所述分类器的权重矩阵之间的拟合负担重，从而影响所述分类器的训练速度和分类结果的准确性。因此，本申请的申请人对所述分类特征图进行类表征平展化。
具体地，在本申请实施例中，所述特征分布校正模块180，进一步用于：以如下公式对所述分类特征图进行特征分布校正以得到所述校正后分类特征图；其中，所述公式为：
其中
和/>
是所述分类特征图的各个位置的特征值，且/>
是所述分类特征图的所有特征值的均值，且/>
是所述分类特征图的尺度，即宽度乘以高度乘以通道数，/>
表示数值的指数运算，所述数值的指数运算表示以数值为幂的自然指数函数值，/>
是所述校正后分类特征图的各个位置的特征值。
这里，所述特征图的类表征平展化将用于高维特征空间内的特征分布的类表征的有限多面体流形进行平展，同时保持流形的各平面之间的固有距离，并基于空间直观地避免交叉，其实质上是将该有限多面体流形分解为基于直角面相交和同顶点相交的立方体晶格，从而获得类平面的平展的“切片”连续性，以增强所述分类特征图对于分类器的权重矩阵的拟合性能。这样，就提升了所述分类特征图通过分类器进行分类的训练速度和分类结果的准确性。
在上述基于游戏预测老年人反应能力的数据处理系统100中，所述评估结果生成模块190，用于将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。也就是，以所述分类器对所述分类特征图的高维数据流形进行类边界划分和确定以得到所述分类结果。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估，以使得所述游戏能够最大化地适配于老年人的反应能力和身体机能。
图3为根据本申请实施例的基于游戏预测老年人反应能力的数据处理系统中评估结果生成模块的框图。如图3所示，所述评估结果生成模块190，包括：展开单元191，用于将所述校正后分类特征图中各个校正后分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；全连接编码单元192，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元193，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
综上，基于本申请实施例的基于游戏预测老年人反应能力的数据处理系统100被阐明，其采用基于机器视觉的人工智能检测技术，以提取出所述待评估老年人的游戏监控视频中各个关键帧的关于老年人动作的隐含特征分布信息，并在对于所述各个关键帧下的关于老年人的动作特征进行时序排列后，进一步提取出其在时间维度上的多尺度动作关联的语义理解特征，并以此来进行所述待评估老年人的反应能力等级评估。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估。
如上所述，根据本申请实施例的基于游戏预测老年人反应能力的数据处理系统100可以实现在各种终端设备中，例如用于基于游戏预测老年人反应能力的数据处理的服务器等。在一个示例中，根据本申请实施例的基于游戏预测老年人反应能力的数据处理系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于游戏预测老年人反应能力的数据处理系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于游戏预测老年人反应能力的数据处理系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于游戏预测老年人反应能力的数据处理系统100与该终端设备也可以是分立的设备，并且该基于游戏预测老年人反应能力的数据处理系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图4为根据本申请实施例的基于游戏预测老年人反应能力的数据处理方法的流程图。如图4所示，根据本申请实施例的基于游戏预测老年人反应能力的数据处理方法，包括：S110，获取待评估老年人的游戏监控视频；S120，从所述游戏监控视频提取多个游戏监控关键帧；S130，将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵；S140，将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量；S150，将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图；S160，将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图；S170，融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；S180，对所述分类特征图进行特征分布校正以得到校正后分类特征图；以及，S190，将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。
在一个示例中，在上述基于游戏预测老年人反应能力的数据处理方法中，所述从所述游戏监控视频提取多个游戏监控关键帧，包括：以预定采样频率从所述游戏监控视频中提取多个游戏监控关键帧。
在一个示例中，在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵，包括：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述游戏动作特征矩阵，所述第一卷积神经网络模型的第一层的输入为所述游戏监控关键帧。
在一个示例中，在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图，包括：使用所述具有第一尺度的三维卷积核的第二卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第一尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述第一游戏动作理解特征图，所述第二卷积神经网络模型的第一层的输入为所述三维特征张量。
在一个示例中，在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图，包括：使用所述具有第二尺度的三维卷积核的第三卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第二尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第三卷积神经网络模型的最后一层的输出为所述第二游戏动作理解特征图，所述第三卷积神经网络模型的第一层的输入为所述三维特征张量。
在一个示例中，在上述基于游戏预测老年人反应能力的数据处理方法中，所述融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图，包括：以如下公式来融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；其中，所述公式为：
其中，
为所述分类特征图，/>
为所述第一游戏动作理解特征图，/>
为所述第二游戏动作理解特征图，“/>
”表示所述第一游戏动作理解特征图和所述第二游戏动作理解特征图相对应位置处的元素相加，/>
和/>
为用于控制所述分类特征图中所述第一游戏动作理解特征图和所述第二游戏动作理解特征图之间的平衡的加权参数。
在一个示例中，在上述基于游戏预测老年人反应能力的数据处理方法中，所述对所述分类特征图进行特征分布校正以得到校正后分类特征图，包括：以如下公式对所述分类特征图进行特征分布校正以得到所述校正后分类特征图；其中，所述公式为：
其中
和/>
是所述分类特征图的各个位置的特征值，且/>
是所述分类特征图的所有特征值的均值，且/>
是所述分类特征图的尺度，/>
表示数值的指数运算，所述数值的指数运算表示以数值为幂的自然指数函数值，/>
是所述校正后分类特征图的各个位置的特征值。
在一个示例中，在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签，包括：将所述校正后分类特征图中各个校正后分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
综上，本申请实施例的基于游戏预测老年人反应能力的数据处理方法被阐明，其采用基于机器视觉的人工智能检测技术，以提取出所述待评估老年人的游戏监控视频中各个关键帧的关于老年人动作的隐含特征分布信息，并在对于所述各个关键帧下的关于老年人的动作特征进行时序排列后，进一步提取出其在时间维度上的多尺度动作关联的语义理解特征，并以此来进行所述待评估老年人的反应能力等级评估。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估。
示例性电子设备
下面，参考图5来描述根据本申请实施例的电子设备。图5为根据本申请实施例的电子设备的框图。如图5所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的基于游戏预测老年人反应能力的数据处理方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如游戏监控视频等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图5中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于游戏预测老年人反应能力的数据处理方法中的功能中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于游戏预测老年人反应能力的数据处理方法中的功能中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种基于游戏预测老年人反应能力的数据处理系统，其特征在于，包括：
监控数据采集模块，用于获取待评估老年人的游戏监控视频；
采样模块，用于从所述游戏监控视频提取多个游戏监控关键帧；
监控帧图像特征提取模块，用于将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵；
图像特征聚合模块，用于将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量；
第一尺度关联特征提取模块，用于将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图；
第二尺度关联特征提取模块，用于将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图；
多尺度融合模块，用于融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；
特征分布校正模块，用于对所述分类特征图进行特征分布校正以得到校正后分类特征图；以及
评估结果生成模块，用于将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。
2.根据权利要求1所述的基于游戏预测老年人反应能力的数据处理系统，其特征在于，所述采样模块，用于以预定采样频率从所述游戏监控视频中提取多个游戏监控关键帧。
3.根据权利要求2所述的基于游戏预测老年人反应能力的数据处理系统，其特征在于，所述监控帧图像特征提取模块，进一步用于：
使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述第一卷积神经网络模型的最后一层的输出为所述游戏动作特征矩阵，所述第一卷积神经网络模型的第一层的输入为所述游戏监控关键帧。
4.根据权利要求3所述的基于游戏预测老年人反应能力的数据处理系统，其特征在于，所述第一尺度关联特征提取模块，进一步用于：
使用所述具有第一尺度的三维卷积核的第二卷积神经网络模型在层的正向传递中对输入数据分别进行：
基于所述具有第一尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述第二卷积神经网络模型的最后一层的输出为所述第一游戏动作理解特征图，所述第二卷积神经网络模型的第一层的输入为所述三维特征张量。
5.根据权利要求4所述的基于游戏预测老年人反应能力的数据处理系统，其特征在于，所述第二尺度关联特征提取模块，进一步用于：
使用所述具有第二尺度的三维卷积核的第三卷积神经网络模型在层的正向传递中对输入数据分别进行：
基于所述具有第二尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述第三卷积神经网络模型的最后一层的输出为所述第二游戏动作理解特征图，所述第三卷积神经网络模型的第一层的输入为所述三维特征张量。
6.根据权利要求5所述的基于游戏预测老年人反应能力的数据处理系统，其特征在于，所述多尺度融合模块，进一步用于：
以如下公式来融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；
其中，所述公式为：
其中，
为所述分类特征图，/>
为所述第一游戏动作理解特征图，/>
为所述第二游戏动作理解特征图，“/>
”表示所述第一游戏动作理解特征图和所述第二游戏动作理解特征图相对应位置处的元素相加，/>
和/>
为用于控制所述分类特征图中所述第一游戏动作理解特征图和所述第二游戏动作理解特征图之间的平衡的加权参数。
7.根据权利要求6所述的基于游戏预测老年人反应能力的数据处理系统，其特征在于，所述特征分布校正模块，进一步用于：以如下公式对所述分类特征图进行特征分布校正以得到所述校正后分类特征图；
其中，所述公式为：
其中
和/>
是所述分类特征图的各个位置的特征值，/>
为所述分类特征图中第/>
个位置的特征值，/>
为所述分类特征图中第/>
个位置的特征值，其中，/>
，且/>
是所述分类特征图的所有特征值的均值，且/>
是所述分类特征图的尺度，/>
表示数值的指数运算，所述数值的指数运算表示以数值为幂的自然指数函数值，/>
是所述校正后分类特征图的各个位置的特征值。
8.根据权利要求7所述的基于游戏预测老年人反应能力的数据处理系统，其特征在于，所述评估结果生成模块，包括：
展开单元，用于将所述校正后分类特征图中各个校正后分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；
全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
9.一种基于游戏预测老年人反应能力的数据处理方法，其特征在于，包括：
获取待评估老年人的游戏监控视频；
从所述游戏监控视频提取多个游戏监控关键帧；
将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵；
将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量；
将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图；
将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图；
融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；
对所述分类特征图进行特征分布校正以得到校正后分类特征图；以及
将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。
10.根据权利要求9所述的基于游戏预测老年人反应能力的数据处理方法，其特征在于，所述从所述游戏监控视频提取多个游戏监控关键帧，包括：以预定采样频率从所述游戏监控视频中提取多个游戏监控关键帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310110809.9A CN115862151B (zh) | 2023-02-14 | 2023-02-14 | 基于游戏预测老年人反应能力的数据处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310110809.9A CN115862151B (zh) | 2023-02-14 | 2023-02-14 | 基于游戏预测老年人反应能力的数据处理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115862151A true CN115862151A (zh) | 2023-03-28 |
| CN115862151B CN115862151B (zh) | 2023-05-26 |
Family
ID=85658016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310110809.9A Active CN115862151B (zh) | 2023-02-14 | 2023-02-14 | 基于游戏预测老年人反应能力的数据处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115862151B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116311005A (zh) * | 2023-05-25 | 2023-06-23 | 成都睿瞳科技有限责任公司 | 一种用于运动图像处理装置、方法及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215185A (zh) * | 2020-10-21 | 2021-01-12 | 成都信息工程大学 | 一种从监控视频中检测跌倒行为的系统及方法 |
| CN112232231A (zh) * | 2020-10-20 | 2021-01-15 | 城云科技（中国）有限公司 | 行人属性的识别方法、系统、计算机设备和存储介质 |
| WO2021180030A1 (zh) * | 2020-03-09 | 2021-09-16 | 北京灵汐科技有限公司 | 行为识别方法及系统、电子设备和计算机可读存储介质 |
| CN115205788A (zh) * | 2022-07-27 | 2022-10-18 | 浙江旅游职业学院 | 食材质量监控系统 |
| CN115482498A (zh) * | 2022-10-28 | 2022-12-16 | 台州科技职业学院 | 基于视频的智慧养老监控系统及其方法 |
| CN115660569A (zh) * | 2022-09-07 | 2023-01-31 | 杭州聚医智联科技有限公司 | 居家养老智慧管理平台及其方法 |
-
2023
- 2023-02-14 CN CN202310110809.9A patent/CN115862151B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021180030A1 (zh) * | 2020-03-09 | 2021-09-16 | 北京灵汐科技有限公司 | 行为识别方法及系统、电子设备和计算机可读存储介质 |
| CN112232231A (zh) * | 2020-10-20 | 2021-01-15 | 城云科技（中国）有限公司 | 行人属性的识别方法、系统、计算机设备和存储介质 |
| CN112215185A (zh) * | 2020-10-21 | 2021-01-12 | 成都信息工程大学 | 一种从监控视频中检测跌倒行为的系统及方法 |
| CN115205788A (zh) * | 2022-07-27 | 2022-10-18 | 浙江旅游职业学院 | 食材质量监控系统 |
| CN115660569A (zh) * | 2022-09-07 | 2023-01-31 | 杭州聚医智联科技有限公司 | 居家养老智慧管理平台及其方法 |
| CN115482498A (zh) * | 2022-10-28 | 2022-12-16 | 台州科技职业学院 | 基于视频的智慧养老监控系统及其方法 |
Non-Patent Citations (1)
| Title |
|---|
| 唐志伟 等: "一种采用Transformer网络的视觉人格识别方法" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116311005A (zh) * | 2023-05-25 | 2023-06-23 | 成都睿瞳科技有限责任公司 | 一种用于运动图像处理装置、方法及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115862151B (zh) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Human fall detection in surveillance video based on PCANet | |
| Dhiman et al. | A review of state-of-the-art techniques for abnormal human activity recognition | |
| Rastgoo et al. | Video-based isolated hand sign language recognition using a deep cascaded model | |
| Muhammad et al. | Convolutional neural networks based fire detection in surveillance videos | |
| CN115203380B (zh) | 基于多模态数据融合的文本处理系统及其方法 | |
| US10430690B1 (en) | Machine learning predictive labeling system | |
| Wang et al. | Kernel cross-modal factor analysis for information fusion with application to bimodal emotion recognition | |
| CN108875708A (zh) | 基于视频的行为分析方法、装置、设备、系统及存储介质 | |
| KR102036955B1 (ko) | 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치 | |
| CN110929622A (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
| Lozano-Monasor et al. | Facial expression recognition in ageing adults: from lab to ambient assisted living | |
| CN107784282A (zh) | 对象属性的识别方法、装置及系统 | |
| CN111368672A (zh) | 一种用于遗传病面部识别模型的构建方法及装置 | |
| CN115482498A (zh) | 基于视频的智慧养老监控系统及其方法 | |
| CN115082745A (zh) | 基于图像的电缆绞线质量检测方法及其系统 | |
| CN111797589A (zh) | 一种文本处理网络、神经网络训练的方法以及相关设备 | |
| CN116015837A (zh) | 用于计算机网络信息安全的入侵检测方法及系统 | |
| CN115471216B (zh) | 智慧实验室管理平台的数据管理方法 | |
| CN117251699A (zh) | 基于人工智能的医疗大数据分析方法及系统 | |
| Kallipolitis et al. | Affective analysis of patients in homecare video-assisted telemedicine using computational intelligence | |
| Khowaja et al. | Facial expression recognition using two-tier classification and its application to smart home automation system | |
| CN116503785A (zh) | 游泳馆监管系统及其方法 | |
| CN115862151A (zh) | 基于游戏预测老年人反应能力的数据处理系统及方法 | |
| Hua et al. | Falls prediction based on body keypoints and seq2seq architecture | |
| CN116759053A (zh) | 基于物联网系统的医疗体系防控方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |