CN114067435A - 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和系统 - Google Patents
一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和系统 Download PDFInfo
- Publication number
- CN114067435A CN114067435A CN202111348558.5A CN202111348558A CN114067435A CN 114067435 A CN114067435 A CN 114067435A CN 202111348558 A CN202111348558 A CN 202111348558A CN 114067435 A CN114067435 A CN 114067435A
- Authority
- CN
- China
- Prior art keywords
- sleep
- pseudo
- attention mechanism
- sleep behavior
- sleeping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007958 sleep Effects 0.000 title claims abstract description 128
- 230000006399 behavior Effects 0.000 title claims abstract description 124
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 230000007246 mechanism Effects 0.000 title claims abstract description 52
- 238000012544 monitoring process Methods 0.000 claims abstract description 41
- 238000003062 neural network model Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000003860 sleep quality Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 21
- 230000005284 excitation Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000009432 framing Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000007306 turnover Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000006996 mental state Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000000474 nursing effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004622 sleep time Effects 0.000 description 1
- 230000036578 sleeping time Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Abstract
本发明涉及一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法和系统，包括：将实时获取的睡眠行为监控画面预处理后输入训练好的神经网络模型中，训练好的神经网络模型对被检测者进行睡眠行为识别，判断其在睡眠期间的行为。本方法采用无感的方式进行视频分析，相对于已有的利用多导睡眠图与传感器检测方法，不需要大量硬件设备支持，避免了对被测者佩戴繁重的设备和物联终端，避免影响被测者的睡眠舒适度。并且，本发明还可以判断其整晚的睡眠状况，同时检测到坠床行为并提供及时的报警，减少危险后果的发生。本发明能够客观精准地研判被测者的睡眠行为，为推断被测者的身体和精神状态提供了一种有效的判断依据。
Description
技术领域
本发明涉及一种基于伪3D与注意力机制的睡眠行为检测方法和系统，属于人工智能、模式识别领域。
背景技术
睡眠与人的身心健康存在着密不可分的关系，拥有充足的睡眠时间和高质量的睡眠状态则是人们保持良好精神状态的必要条件。针对养老院或居家养老、儿童看护、医院或居家疾病康复、抑郁症患者治疗、监所特殊人员监管矫治等应用领域，检测特定人员的睡眠状况能够揭示其身体或心理状态，及时给予针对性的医学治疗和心理辅导，减少身心损害和危险性事件的发生。
早期的睡眠状态检测通常是通过多导睡眠图(PSG)来评估的。PSG是一个庞大且复杂的系统，需要专门的技术人员或者医生进行专业操作，未经培训人员难以操控。对于被检测者来说，PSG需要佩戴大量繁重复杂的装备，降低了睡眠的舒适度。随后，人们发明了利用传感器测量并记录手腕加速度的活动记录仪，虽然利用传感器可以测出翻身次数，并以此来判断有效睡眠的时间，但被测者睡眠时仍需要佩戴终端设备，高昂的实验成本与用户不友好的佩戴体验限制了其应用。最近几年，利用人工神经网络进行人员行为智能分析的诸多方法应运而生，如：循环神经网络RNN、卷积神经网络CNN、残差网络ResNet等被广泛地应用于如打架斗殴、跌倒等人体异常行为检测。
基于3D卷积的视频行为识别方法得到了广泛研究，3D卷积是2D卷积的扩展，将平面空间卷积扩展到立体空时卷积，实现了视频中图像帧的空间特征和连续图像帧之间的时间特征的同步提取，提高了人员动作识别的准确率，但是其计算量大且内存占用量高，对硬件性能要求也很高，在实施过程中面临计算困难的问题。基于3D卷积空时特征的提取思路，学者提出了伪3D卷积，核心思想是将3×3×3的3D卷积拆分为1×3×3的空间域卷积与3×1×1的时间域卷积，在获得与3D卷积相似性能的同时大大降低了计算量。注意力机制是模仿人的视觉特点，当人们观看图片或视频时，总是聚焦关键区域及显著特征的变化，对于背景因素及非关键区域的关注度较低，这提高了人们识别对象的效率和准确率，同时降低了人的精力损耗。将注意力机制应用到人工神经网络中，能够有效地关注关键特征，并为其分配较高的权重，而忽略非关键因素的干扰，提高行为识别的准确率。
发明内容
针对现有技术的不足，本发明提供了一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法和系统。
本发明通过分析被测人员夜晚睡眠时的监控视频，检测翻身、起夜的次数和频率以及看手机时长来判断被测者的睡眠状况，发掘睡眠异常背后的原因，有助于提供有针对性的帮扶措施，同时可以检测出坠床行为并及时报警，给予及时的救助，减少危险性事件的发生。
为了不影响被测者的睡眠舒适度，本发明采用监控摄像头观察并研判被测者的睡眠行为。为了充分提升监控视频的在线实时分析效率，挖掘关键通道特征的影响，本发明构建基于伪3D卷积与注意力机制相结合的深度学习网络，构建了双路特征提取结构并融合不同支路上伪3D卷积所提取到的特征图，采用残差网络实现特征的跨层传输，全面深入挖掘视频中所蕴含的空时特征，精准识别五种睡眠行为，包含翻转、起夜、看手机、坠床、正常睡眠。相较于传统的3D卷积网络，伪3D卷积将3D卷积拆分为空间和时间级联的二维卷积，在基本不损害网络性能的前提下，大大减少了卷积网络的计算量，提高了网络的计算速度。并且，其中的二维卷积核可以使用图像数据进行预处理，减少了对视频数据标注的需求。引入注意力机制则使伪3D卷积网络在训练时更有侧重点，更加关注视频中发生翻转、起夜、看手机、坠床、正常睡眠等五种动作的特征图，使得训练出来的模型性能、准确率进一步提升。
本发明的技术方案如下：
一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，包括：将实时获取的睡眠行为监控画面预处理后输入训练好的神经网络模型中，训练好的神经网络模型对被检测者进行睡眠行为识别，判断其在睡眠期间的行为，包括翻身、起夜、看手机、坠床、正常睡眠。
根据本发明优选的，神经网络模型包括依次连接的6个由双路伪3D卷积网络与注意力机制即SE模块结合的结构、最大池化层、全连接层、softmax函数层；
双路伪3D卷积网络与注意力机制结合的结构包括两路，一路包括依次连接的3×1×1时间域卷积层、SE模块、1×3×3空间域卷积层，另一路包括依次连接的1×3×3空间域卷积层、3×1×1时间域卷积层、SE模块，并通过加和操作融合两路所提取的不同特征图；
双路伪3D卷积网络与注意力机制结合的结构还包括残差单元，残差单元以跳层连接的方式将由双路伪3D卷积网络与注意力机制(SE模块)结合的结构的输入与输出直接相连。
根据本发明优选的，残差单元中，计算公式如式(I)所示：
xt+1＝h(xt)+F(xt) (I)
式(I)中，xt表示残差单元的输入，xt+1表示残差单元的输出；h(xt)＝xt表示恒等映射关系；F是非线性残差函数。
根据本发明优选的，注意力机制中进行压缩操作和激发操作；压缩操作通过一个全局平均池化层将输入图像空间维度进行压缩，将每个二维的特征通道变为一个实数；激发操作则是通过两个全连接层组成一个瓶颈结构来建模特征通道间的相关性，并输出和输入同样数目的权重，最后将输出的权重与原输入相乘，得到带有通道权重的特征图。
根据本发明优选的，神经网络模型的训练过程如下：
步骤一：数据采集与预处理：采集被检测人员的睡眠视频，并划分为片段，对带有翻身、起夜、看手机、正常睡眠、坠床动作的片段进行分帧、标注，将连续的图像帧输入神经网络模型进行监督训练；
步骤二：步骤一获取的训练集中的数据输入神经网络模型进行监督训练，获取训练好的神经网络模型，具体实现过程如下：
将步骤一获取的连续的图像帧即数据集划分为训练集和测试集；
采用多周期后向传播算法实现神经网络模型的网络参数的迭代调整，逐步收敛到局部最优值；
在每个训练周期中，将训练集中所有的样本划归为S个集合，每个集合包含相同的样本数，在第一个训练周期中，神经网络模型中的每个网络参数均独立地初始化为0-1之间的随机值；
按照前向传播算法计算每个样本所产生的输出值，并与标签值相比计算损失函数值，计算该样本集合中所有损失函数值的平均值，采用后向传播算法调整网络参数；
进行多个周期的训练后，当损失函数值不能进一步降低时，采用测试集测试神经网络模型对睡眠行为检测的准确率；如果准确率不满足实际需求，则调整训练过程中的超参数，包括学习率、正则化参数等，进一步进行多周期训练，并采用训练集检验不同超参数对神经网络模型检测准确率的效果。
根据本发明优选的，若检测到有翻身、起夜、看手机的行为，则记录对应的行为、发生时间及持续时间，若检测到有坠床行为，在做好记录的同时发出警报。
根据本发明优选的，所述预处理，具体实现过程包括：
(1)对实时获取的睡眠行为监控画面进行降维、分帧、彩色图片转黑白图片的处理；
(2)每隔N帧取一帧，每次截取M帧作为一个视频片段，输入训练好的神经网络模型。
根据本发明优选的，当前视频片段分析完成后，丢弃前T帧，继续按每N帧取1帧的方法截取T帧，组成新的M帧视频片段，继续进行睡眠行为检测。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于伪3D卷积网络与注意力机制的睡眠行为检测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于伪3D卷积网络与注意力机制的睡眠行为检测方法的步骤。
一种基于伪3D卷积网络与注意力机制的睡眠行为检测系统，包括无线传输模块、用户控制中心、睡眠行为检测模块、睡眠行为轨迹显示模块、历史睡眠数据查询调取模块、坠床报警模块、睡眠质量评级模块；
所述无线传输模块用于：采用无线传输的方式将监控视频传送到睡眠行为检测模块中，将睡眠行为检测结果实时发送至可用用户；
所述用户控制中心用于；用户注册并登录睡眠行为检测系统，配置睡眠检测时间段和摄像头的角度、监控清晰度、监控视频存储名称及路径参数，查看实时监控与当前时刻已绘出来的睡眠行为轨迹曲线，若被检测者睡眠结束，用户还查看被测者当晚睡眠质量的评级；
所述睡眠行为检测模块用于：基于监控摄像头采集的睡眠视频，实时分析被测人员的睡眠行为，包括翻身、起夜、看手机、坠床、正常睡眠，并记录除正常睡眠外其他行为发生的时间；
所述睡眠行为轨迹显示模块用于：在用户界面中，根据被测者当晚睡眠的行为，绘制出睡眠行为轨迹曲线，并统计发生某些行为的次数；
所述历史睡眠数据查询调取模块用于：按照编号、姓名、年龄参数查询满足要求的人员信息，调取过去若干天内被测者的监控视频画面与睡眠行为轨迹曲线；
所述坠床报警模块用于：若被检测者发生坠床行为，则发出声光及文字闪动警报来提醒监管者；
所述睡眠质量评级模块用于：根据当晚被检测着发生翻转、起夜次数以及玩手机时长来对被检测者的睡眠状况进行一个等级评定，评定有三个等级，包括良好、中等、较差；等级评定方法定义如下：计算整晚被测人员翻身、起夜、看手机的持续时长，获取整晚被测人员翻身、起夜、看手机的持续时长与总的睡眠时长的比值，如果比值小于10％，为睡眠状况良好；如果比值为10％-20％，为睡眠状况中等；如果比值大于20％，为睡眠状况较差。
本发明的有益效果为：
1、在被测者知情和同意的前提下，采用监控摄像头录取被测者的睡眠视频，配置灵活简单且操作方便，采用本发明的方法实时分析五种睡眠行为，包括翻身、起夜、看手机、坠床、正常睡眠。当检测到人员发生坠床时及时发出警报，提醒监管者及时救助。本方法采用无感的方式进行视频分析，相对于已有的利用多导睡眠图(PSG)与传感器检测方法，本发明不需要大量硬件设备支持，避免了对被测者佩戴繁重的设备和物联终端，避免影响被测者的睡眠舒适度。并且，本发明还可以根据被测者翻身、起夜的频率以及看手机的时长来判断其整晚的睡眠状况，同时本发明可以检测到坠床行为并提供及时的报警，减少危险后果的发生。该系统能够客观精准地研判被测者的睡眠行为，为推断被测者的身体和精神状态提供了一种有效的判断依据。
2、本发明提供了基于伪3D卷积和注意力机制结合的卷积神经网络，将3D卷积拆封为3×1×1时间域卷积与1×3×3空间域二维卷积方式达到3D卷积的效果；同时在伪3D网络中引入了通道注意力机制(SE模块)来对时间域卷积的特征图分配权重。与传统的基于3D卷积的神经网络模型相比，本方法计算量小，对硬件要求低，计算效率高，检测准确率高。
3、由于先进行1×3×3空间域卷积再进行3×1×1时间域卷积与先进行3×1×1时间域卷积再进行1×3×3空间域卷积所带来的效果不同，本发明将卷积网络基本结构设计为双路卷积并行，最后通过相加操作融合卷积得到的不同特征图，相比单路方式，更有助于挖掘视频深层次的语义特征，提高检测精度。
4、在监控视频遍布的现代化社会，本发明适用于家庭、学校、养老院、医院、监所、精神病院等广泛配备监控摄像头的场景，提高了睡眠中异常行为检测的准确率，在不影响被测者睡眠质量的前提下，及时发现睡眠异常现象，统计睡眠异常发生的频率和时间，采取有针对性的健康帮扶措施，有助于为睡眠异常者提供有针对性的医疗协助或心理辅导措施，保障其身体及心理的健康，降低危险性事件发生的概率。
5、相比传统的3D卷积，本发明睡眠行为检测方法采用伪3D卷积，大幅减少了计算量，采用双路注意力机制能够更好地聚焦关键特征，更充分地提取视频中的底层空时特征信息，实现特征的跨层传输，在不损害计算效率的同时，大幅提升睡眠行为识别的准确率。
附图说明
图1为本发明神经网络模型的结构示意图；
图2为本发明双路伪3D卷积网络与注意力机制即SE模块结合的结构的结构示意图；
图3为本发明双路伪3D卷积网络与注意力机制结合的结构与残差单元连接的结构示意图；
图4为本发明SE模块结构示意图；
图5为本发明SE模块中压缩操作和激发操作的示意图；
图6为本发明基于伪3D卷积网络与注意力机制的睡眠行为检测系统的结构示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，包括：将实时获取的睡眠行为监控画面预处理后输入训练好的神经网络模型中，训练好的神经网络模型对被检测者进行睡眠行为识别，判断其在睡眠期间的行为，包括翻身、起夜、看手机、坠床、正常睡眠。
实施例2
根据实施例1所述的一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，其区别在于：
如图1所示，神经网络模型包括依次连接的6个由双路伪3D卷积网络与注意力机制即SE模块结合的结构(伪3D结构)、最大池化层、全连接层、softmax函数层；
如图2所示，双路伪3D卷积网络与注意力机制结合的结构包括两路，一路包括依次连接的3×1×1时间域卷积层、SE模块、1×3×3空间域卷积层，另一路包括依次连接的1×3×3空间域卷积层、3×1×1时间域卷积层、SE模块，并通过加和操作融合两路所提取的不同特征图；
双路伪3D卷积网络是将3×3×3的3D卷积网络分解为1×3×3的二维空间卷积与3×1×1的一维时间域卷积来模拟3D卷积，有级联、并联、级联+并联三种方式，在达到3D卷积效果的前提下降低计算量，加快训练速度。由于先进行1×3×3空间域卷积再进行3×1×1时间域卷积，与先进行3×1×1时间域卷积再进行1×3×3空间域卷积所带来的效果不同，因此本发明在伪3D基本结构中设置了两路卷积，最后通过加和操作融合所提取的不同特征图。本发明将卷积网络基本结构设计为双路卷积并行，最后通过相加操作融合卷积得到的不同特征图，相比单路方式，更有助于挖掘视频深层次的语义特征，提高检测精度。通过在伪3D卷网络中引入通道注意力机制，能够对不同的卷积核的特征通道分配权重，提高对重点特征的关注度。将残差网络思想融入所构建的网络模型，能更好地实现特征的跨层传输，减少梯度消失的问题。因此，与传统的基于3D卷积的神经网络模型相比，本方法在保证检测准确率的前提下，具有计算量小，对硬件要求低，计算效率高的优势。
如图3所示，双路伪3D卷积网络与注意力机制结合的结构还包括残差单元，残差单元以跳层连接的方式将由双路伪3D卷积网络与注意力机制(SE模块)结合的结构的输入与输出直接相连。在前向传播时，输入信号从任意低层直接传播到高层。由于包含了一个天然的恒等映射，可在一定程度上解决深度神经网络的退化问题；在反向传播过程中，高层错误的信号不经过中间权重矩阵变换直接传播到低层，一定程度上缓解了梯度弥散问题。一路包括依次连接的3×1×1时间域卷积层、SE模块、1×3×3空间域卷积层，另一路包括依次连接的1×3×3空间域卷积层、3×1×1时间域卷积层、SE模块，并通过加和操作融合两路所提取的不同特征图；
3×1×1时间域卷积层用于：对输入的连续视频帧进行时间维度的卷积来提取时间特征，即帧与帧之间的时序特征；1×3×3空间域卷积层用于：对每帧图片进行2D卷积来提取空间特征，即每帧图片中动作的空间特征；SE模块为通道注意力机制模块，用于：通过压缩(squeeze)与激发(excitation)操作对特征通道施加权重，重点关注对识别结果有明显影响的关键通道，提高网络检测准确率，减少参数计算；残差单元用于：在前向传播时，输入信号从低层直接传播到高一层次；解决网络的退化问题。反向传播时，错误信号不经过任何中间权重矩阵变换直接传播到低层；一定程度上可以缓解梯度弥散问题；最大池化层(max pooling)用于：取卷积特征图中最大值作为输出，对图像信息做进一步的降维，减少计算量同时增加图像在偏移、旋转方面的鲁棒性；全连接层用于：把所有特征整合到一起输出为单个检测值，减小特征位置对分类带来的影响。softmax函数层用于：在神经网络中作为分类函数，在多分类的场景中将输入类别映射为0-1之间的实数，并且保证归一化和为1。
残差单元如图3所示；残差单元中，计算公式如式(I)所示：
xt+1＝h(xt)+F(xt) (I)
式(I)中，xt表示残差单元的输入，xt+1表示残差单元的输出；h(xt)＝xt表示恒等映射关系；F是非线性残差函数。
本发明还引入了通道注意力机制(SE模块)，图4为SE模块整体示意图。此注意力机制最关键的就是压缩(Squeeze)和激发操作(Excitation)，如图5。
图4中，Ftr为正常卷积操作，对输入连续帧进行卷积。Fsq(·)为压缩(Squeeze)操作，Fex(·,W)为激发(Excitation)操作，Fscale(·,·)是与原输入进行相乘操作。输入数据先进行基本的卷积，之后通过压缩Fsq(·)与激发Fex(·,W)得到带有权重值的1×1×C向量与原输入进行相乘Fscale(·,·)，将权重值赋予到各个通道上。
注意力机制中进行压缩操作和激发操作；压缩操作通过一个全局平均池化层(Globalaveragepooling)将输入图像空间维度进行压缩，将每个二维的特征通道变为一个实数；激发操作则是通过两个全连接层组成一个瓶颈结构来建模特征通道间的相关性，并输出和输入同样数目的权重，最后将输出的权重与原输入相乘，得到带有通道权重的特征图。
SE模块主要分为压缩(Squeeze)和激发(Excitation)两部分，在图5中，给出了两步操作的具体结构：Squeeze操作主要通过一个全局平均池化(global average pooling)对输入的特征图宽高进行压缩操作，将b×C×h×w压缩为b×C×1×1的特征图；Excitation操作由两个全连接层与Relu激活函数以及Sigmoid函数组成，被压缩的特征图先经过一层全连接层将通道数缩减为
再经过Relu函数之后再经过第二个全连接层将通道维度回复为C，经过Sigmoid函数后与原输入相乘，实现对通道赋予权重值。
神经网络模型的训练过程如下：
步骤一：数据采集与预处理：采集被检测人员的睡眠视频，并使用ffmpeg将监控摄像头所采集的被检测人员的睡眠视频按照每段时长五秒钟划分为片段，使用vott软件对带有翻身、起夜、看手机、正常睡眠、坠床动作的片段进行分帧、标注，每个视频片段每间隔4帧选取一帧，将每帧图片像素大小设置为160×160，目的是减少冗余并降低数据量，将所选取的帧组合起来，并做好睡眠行为的标注，将其归入数据集，将连续的图像帧输入神经网络模型进行监督训练；
对神经网络进行监督训练所用的数据集为真实录取志愿者夜晚睡眠时的视频，监控摄像头采用俯视的角度录取睡眠视频。在现实场景中，受遮挡物的影响或摄像头角度的影响，有的监控摄像头只能照到被测人员的部分身体。因此，为了让数据集能够更真实的反应实际场景，提高数据集的代表性，同时提升神经网络对不同场景睡眠行为检测的普适性和准确性，需要调整监控摄像头的角度，广泛录取不同视角下的睡眠视频，包括摄像头监控范围覆盖志愿者全身及半身，半身视频包括上半身、下半身、侧半身的视频。采用红外摄像头录取志愿者的睡眠视频，在夜晚黑暗的场景录取的视频图像为黑白色，在早晨或者开灯的场景中，摄像头录取的视频图像为彩色，因此需要广泛采集不同亮度下的视频，将彩色的RGB视频统一转换为黑白色的视频，使得网络能够处理不同亮度下所采集的视频。
步骤二：步骤一获取的训练集中的数据输入神经网络模型进行监督训练，获取训练好的神经网络模型，具体实现过程如下：
将步骤一获取的连续的图像帧即数据集按照6：4的比例划分为训练集和测试集；
采用多周期后向传播算法实现神经网络模型的网络参数的迭代调整，逐步收敛到局部最优值；
在每个训练周期中，将训练集中所有的样本划归为S个集合，每个集合包含相同的样本数，在第一个训练周期中，神经网络模型中的每个网络参数均独立地初始化为0-1之间的随机值；
按照前向传播算法计算每个样本所产生的输出值，并与标签值相比计算损失函数值，计算该样本集合中所有损失函数值的平均值，采用后向传播算法调整网络参数；
进行多个周期的训练后，当损失函数值不能进一步降低时，采用测试集测试神经网络模型对睡眠行为检测的准确率；如果准确率不满足实际需求，则调整训练过程中的超参数，包括学习率、正则化参数等，进一步进行多周期训练，并采用训练集检验不同超参数对神经网络模型检测准确率的效果。
若检测到有翻身、起夜、看手机的行为，则记录对应的行为、发生时间及持续时间，若检测到有坠床行为，在做好记录的同时发出警报。
预处理，具体实现过程包括：
(1)对实时获取的睡眠行为监控画面进行降维、分帧、彩色图片转黑白图片的处理；
(2)每隔N(N＝4)帧取一帧，每次截取M(M＝16)帧作为一个视频片段，输入训练好的神经网络模型。
当前视频片段分析完成后，丢弃前T(T＝12)帧，继续按每N帧取1帧的方法截取T帧，组成新的M帧视频片段，继续进行睡眠行为检测。此处采用滑动窗口方式截取视频帧的目的是减少视频片段边界处发生睡眠异常行为而无法检测到的情况发生。
实施例3
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现实施例1或2所述的基于伪3D卷积网络与注意力机制的睡眠行为检测方法的步骤。
实施例4
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实施例1或2所述的基于伪3D卷积网络与注意力机制的睡眠行为检测方法的步骤。
实施例5
一种基于伪3D卷积网络与注意力机制的睡眠行为检测系统，如图6所示，包括无线传输模块、用户控制中心、睡眠行为检测模块、睡眠行为轨迹显示模块、历史睡眠数据查询调取模块、坠床报警模块、睡眠质量评级模块；
无线传输模块用于：采用无线传输的方式(模拟微波传输)将监控视频传送到睡眠行为检测模块中，供算法进行实时睡眠行为检测，将睡眠行为检测结果实时发送至可用用户；
用户控制中心用于；用户注册并登录睡眠行为检测系统，配置睡眠检测时间段和摄像头的角度、监控清晰度、监控视频存储名称及路径参数，查看实时监控与当前时刻已绘出来的睡眠行为轨迹曲线，若被检测者睡眠结束，用户还查看被测者当晚睡眠质量的评级；
睡眠行为检测模块用于：基于监控摄像头采集的睡眠视频，实时分析被测人员的睡眠行为，包括翻身、起夜、看手机、坠床、正常睡眠，并记录除正常睡眠外其他行为发生的时间；
睡眠行为轨迹显示模块用于：在用户界面中，根据被测者当晚睡眠的行为，绘制出睡眠行为轨迹曲线，并统计发生某些行为的次数；如：在哪个时间点发生翻身、起夜，在什么时间段玩手机等都会在睡眠轨迹曲线中显示出来。绘制行为轨迹曲线横轴为睡眠行为检测时间段(例如，晚上9点～早上7点)，纵轴为值1、2、3、4、5(1代表正常睡眠，2代表玩手机，3代表翻转，4代表起夜，5代表坠床)。当被检测者在某一时间点发生对应行为时，曲线就会上升到对应位置，被检测者行为结束后曲线回归1值。
历史睡眠数据查询调取模块用于：按照编号、姓名、年龄参数查询满足要求的人员信息，调取过去若干天内被测者的监控视频画面与睡眠行为轨迹曲线；
坠床报警模块用于：若被检测者发生坠床行为，则发出声光及文字闪动警报来提醒监管者；避免造成更大的危害。
睡眠质量评级模块用于：根据当晚被检测着发生翻转、起夜次数以及玩手机时长来对被检测者的睡眠状况进行一个等级评定，评定有三个等级，包括良好、中等、较差；等级评定方法定义如下：计算整晚被测人员翻身、起夜、看手机的持续时长，获取整晚被测人员翻身、起夜、看手机的持续时长与总的睡眠时长的比值，如果比值小于10％，为睡眠状况良好；如果比值为10％-20％，为睡眠状况中等；如果比值大于20％，为睡眠状况较差。
Claims (10)
1.一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，其特征在于，包括：将实时获取的睡眠行为监控画面预处理后输入训练好的神经网络模型中，训练好的神经网络模型对被检测者进行睡眠行为识别，判断其在睡眠期间的行为，包括翻身、起夜、看手机、坠床、正常睡眠。
2.根据权利要求1所述的一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，其特征在于，神经网络模型包括依次连接的6个由双路伪3D卷积网络与注意力机制即SE模块结合的结构、最大池化层、全连接层、softmax函数层；
双路伪3D卷积网络与注意力机制结合的结构包括两路，一路包括依次连接的3×1×1时间域卷积层、SE模块、1×3×3空间域卷积层，另一路包括依次连接的1×3×3空间域卷积层、3×1×1时间域卷积层、SE模块，并通过加和操作融合两路所提取的不同特征图；
双路伪3D卷积网络与注意力机制结合的结构还包括残差单元，残差单元以跳层连接的方式将由双路伪3D卷积网络与注意力机制结合的结构的输入与输出直接相连。
3.根据权利要求2所述的一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，其特征在于，残差单元中，计算公式如式(I)所示：
xt+1＝h(xt)+F(xt) (I)
式(I)中，xt表示残差单元的输入，xt+1表示残差单元的输出；h(xt)＝xt表示恒等映射关系；F是非线性残差函数。
4.根据权利要求1所述的一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，其特征在于，注意力机制中进行压缩操作和激发操作；压缩操作通过一个全局平均池化层将输入图像空间维度进行压缩，将每个二维的特征通道变为一个实数；激发操作则是通过两个全连接层组成一个瓶颈结构来建模特征通道间的相关性，并输出和输入同样数目的权重，最后将输出的权重与原输入相乘，得到带有通道权重的特征图。
5.根据权利要求1所述的一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，其特征在于，神经网络模型的训练过程如下：
步骤一：数据采集与预处理：采集被检测人员的睡眠视频，并划分为片段，对带有翻身、起夜、看手机、正常睡眠、坠床动作的片段进行分帧、标注，将连续的图像帧输入神经网络模型进行监督训练；
步骤二：步骤一获取的训练集中的数据输入神经网络模型进行监督训练，获取训练好的神经网络模型，具体实现过程如下：
将步骤一获取的连续的图像帧即数据集划分为训练集和测试集；
采用多周期后向传播算法实现神经网络模型的网络参数的迭代调整，逐步收敛到局部最优值；
在每个训练周期中，将训练集中所有的样本划归为S个集合，每个集合包含相同的样本数，在第一个训练周期中，神经网络模型中的每个网络参数均独立地初始化为0-1之间的随机值；
按照前向传播算法计算每个样本所产生的输出值，并与标签值相比计算损失函数值，计算该样本集合中所有损失函数值的平均值，采用后向传播算法调整网络参数；
进行多个周期的训练后，当损失函数值不能进一步降低时，采用测试集测试神经网络模型对睡眠行为检测的准确率；如果准确率不满足实际需求，则调整训练过程中的超参数，包括学习率、正则化参数等，进一步进行多周期训练，并采用训练集检验不同超参数对神经网络模型检测准确率的效果。
6.根据权利要求1所述的一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，其特征在于，若检测到有翻身、起夜、看手机的行为，则记录对应的行为、发生时间及持续时间，若检测到有坠床行为，在做好记录的同时发出警报；
当前视频片段分析完成后，丢弃前T帧，继续按每N帧取1帧的方法截取T帧，组成新的M帧视频片段，继续进行睡眠行为检测。
7.根据权利要求1所述的一种基于伪3D卷积网络与注意力机制的睡眠行为检测方法，其特征在于，所述预处理，具体实现过程包括：
(1)对实时获取的睡眠行为监控画面进行降维、分帧、彩色图片转黑白图片的处理；
(2)每隔N帧取一帧，每次截取M帧作为一个视频片段，输入训练好的神经网络模型。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7任一所述的基于伪3D卷积网络与注意力机制的睡眠行为检测方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一所述的基于伪3D卷积网络与注意力机制的睡眠行为检测方法的步骤。
10.一种基于伪3D卷积网络与注意力机制的睡眠行为检测系统，其特征在于，包括无线传输模块、用户控制中心、睡眠行为检测模块、睡眠行为轨迹显示模块、历史睡眠数据查询调取模块、坠床报警模块、睡眠质量评级模块；
所述无线传输模块用于：采用无线传输的方式将监控视频传送到睡眠行为检测模块中，将睡眠行为检测结果实时发送至可用用户；
所述用户控制中心用于；用户注册并登录睡眠行为检测系统，配置睡眠检测时间段和摄像头的角度、监控清晰度、监控视频存储名称及路径参数，查看实时监控与当前时刻已绘出来的睡眠行为轨迹曲线，若被检测者睡眠结束，用户还查看被测者当晚睡眠质量的评级；
所述睡眠行为检测模块用于：基于监控摄像头采集的睡眠视频，实时分析被测人员的睡眠行为，包括翻身、起夜、看手机、坠床、正常睡眠，并记录除正常睡眠外其他行为发生的时间；
所述睡眠行为轨迹显示模块用于：在用户界面中，根据被测者当晚睡眠的行为，绘制出睡眠行为轨迹曲线，并统计发生某些行为的次数；
所述历史睡眠数据查询调取模块用于：按照编号、姓名、年龄参数查询满足要求的人员信息，调取过去若干天内被测者的监控视频画面与睡眠行为轨迹曲线；
所述坠床报警模块用于：若被检测者发生坠床行为，则发出声光及文字闪动警报来提醒监管者；
所述睡眠质量评级模块用于：根据当晚被检测着发生翻转、起夜次数以及玩手机时长来对被检测者的睡眠状况进行一个等级评定，评定有三个等级，包括良好、中等、较差；等级评定方法定义如下：计算整晚被测人员翻身、起夜、看手机的持续时长，获取整晚被测人员翻身、起夜、看手机的持续时长与总的睡眠时长的比值，如果比值小于10％，为睡眠状况良好；如果比值为10％-20％，为睡眠状况中等；如果比值大于20％，为睡眠状况较差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111348558.5A CN114067435A (zh) | 2021-11-15 | 2021-11-15 | 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111348558.5A CN114067435A (zh) | 2021-11-15 | 2021-11-15 | 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114067435A true CN114067435A (zh) | 2022-02-18 |
Family
ID=80272236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111348558.5A Pending CN114067435A (zh) | 2021-11-15 | 2021-11-15 | 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114067435A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115581435A (zh) * | 2022-08-30 | 2023-01-10 | 湖南万脉医疗科技有限公司 | 一种基于多传感器的睡眠监测方法和设备 |
| CN116152739A (zh) * | 2023-02-20 | 2023-05-23 | 山东大学 | 一种基于多窗口滑动Transformer与循环神经网络的睡眠行为检测方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107788976A (zh) * | 2017-09-22 | 2018-03-13 | 复旦大学 | 基于振幅整合脑电图的睡眠监测系统 |
| CN108937861A (zh) * | 2018-06-06 | 2018-12-07 | 姜涵予 | 一种评测睡眠状态的方法及装置 |
| CN110188637A (zh) * | 2019-05-17 | 2019-08-30 | 西安电子科技大学 | 一种基于深度学习的行为识别技术方法 |
| CN110751063A (zh) * | 2019-09-29 | 2020-02-04 | 四川工商学院 | 一种基于深度学习的幼儿防踢被子识别装置及方法 |
| CN111325155A (zh) * | 2020-02-21 | 2020-06-23 | 重庆邮电大学 | 基于残差式3d cnn和多模态特征融合策略的视频动作识别方法 |
| CN112800894A (zh) * | 2021-01-18 | 2021-05-14 | 南京邮电大学 | 一种基于时空流间注意力机制的动态表情识别方法及系统 |
| CN113158747A (zh) * | 2021-02-03 | 2021-07-23 | 广州市云景信息科技有限公司 | 一种黑烟车夜间抓拍识别方法 |
| CN113158937A (zh) * | 2021-04-28 | 2021-07-23 | 合肥移瑞通信技术有限公司 | 睡眠监测的方法、装置、设备、可读存储介质 |
| CN113476022A (zh) * | 2020-11-24 | 2021-10-08 | 四川远邦益安科技有限公司 | 一种住校生用睡眠监测系统 |
-
2021
- 2021-11-15 CN CN202111348558.5A patent/CN114067435A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107788976A (zh) * | 2017-09-22 | 2018-03-13 | 复旦大学 | 基于振幅整合脑电图的睡眠监测系统 |
| CN108937861A (zh) * | 2018-06-06 | 2018-12-07 | 姜涵予 | 一种评测睡眠状态的方法及装置 |
| CN110188637A (zh) * | 2019-05-17 | 2019-08-30 | 西安电子科技大学 | 一种基于深度学习的行为识别技术方法 |
| CN110751063A (zh) * | 2019-09-29 | 2020-02-04 | 四川工商学院 | 一种基于深度学习的幼儿防踢被子识别装置及方法 |
| CN111325155A (zh) * | 2020-02-21 | 2020-06-23 | 重庆邮电大学 | 基于残差式3d cnn和多模态特征融合策略的视频动作识别方法 |
| CN113476022A (zh) * | 2020-11-24 | 2021-10-08 | 四川远邦益安科技有限公司 | 一种住校生用睡眠监测系统 |
| CN112800894A (zh) * | 2021-01-18 | 2021-05-14 | 南京邮电大学 | 一种基于时空流间注意力机制的动态表情识别方法及系统 |
| CN113158747A (zh) * | 2021-02-03 | 2021-07-23 | 广州市云景信息科技有限公司 | 一种黑烟车夜间抓拍识别方法 |
| CN113158937A (zh) * | 2021-04-28 | 2021-07-23 | 合肥移瑞通信技术有限公司 | 睡眠监测的方法、装置、设备、可读存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115581435A (zh) * | 2022-08-30 | 2023-01-10 | 湖南万脉医疗科技有限公司 | 一种基于多传感器的睡眠监测方法和设备 |
| CN116152739A (zh) * | 2023-02-20 | 2023-05-23 | 山东大学 | 一种基于多窗口滑动Transformer与循环神经网络的睡眠行为检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Niu et al. | Rhythmnet: End-to-end heart rate estimation from face via spatial-temporal representation | |
| Liao et al. | Deep facial spatiotemporal network for engagement prediction in online learning | |
| Gideon et al. | The way to my heart is through contrastive learning: Remote photoplethysmography from unlabelled video | |
| Yu et al. | An online one class support vector machine-based person-specific fall detection system for monitoring an elderly individual in a room environment | |
| CN102473238B (zh) | 用于图像分析的系统和方法 | |
| CN103211605B (zh) | 一种心理测试系统及心理测试方法 | |
| CN110151203B (zh) | 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法 | |
| CN114067435A (zh) | 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和系统 | |
| CN112587153A (zh) | 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法 | |
| CN110269587B (zh) | 婴幼儿动作分析系统和基于动作的婴幼儿视力分析系统 | |
| CN110007366A (zh) | 一种基于多传感器融合的生命搜寻方法以及系统 | |
| CN110414607A (zh) | 胶囊内窥镜图像的分类方法、装置、设备及介质 | |
| CN109508755B (zh) | 一种基于图像认知的心理测评方法 | |
| CN112043260B (zh) | 基于局部模式变换的心电图分类方法 | |
| CN108898079A (zh) | 一种监控方法及装置、存储介质、拍摄终端 | |
| Li et al. | Non-contact ppg signal and heart rate estimation with multi-hierarchical convolutional network | |
| CN108983966B (zh) | 基于虚拟现实和眼动技术的罪犯改造评估系统和方法 | |
| CN113378649A (zh) | 身份、位置和动作识别方法、系统、电子设备及存储介质 | |
| CN116343284A (zh) | 基于注意力机制的多特征户外环境情绪识别方法 | |
| CN114821753A (zh) | 一种基于视觉图像信息的眼动交互系统 | |
| CN113064490B (zh) | 一种基于眼动轨迹的虚拟增强设备的识别方法 | |
| CN116758619A (zh) | 基于面部视频的情感分类方法、系统、存储介质及设备 | |
| CN113598741B (zh) | 一种房颤评价模型训练方法、房颤评价方法和装置 | |
| CN110321781A (zh) | 一种用于无接触式测量的信号处理方法及装置 | |
| CN115581435A (zh) | 一种基于多传感器的睡眠监测方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |