CN114898261A - 一种基于视频和生理数据融合的睡眠质量评估方法及系统 - Google Patents

一种基于视频和生理数据融合的睡眠质量评估方法及系统 Download PDF

Info

Publication number
CN114898261A
CN114898261A CN202210491273.5A CN202210491273A CN114898261A CN 114898261 A CN114898261 A CN 114898261A CN 202210491273 A CN202210491273 A CN 202210491273A CN 114898261 A CN114898261 A CN 114898261A
Authority
CN
China
Prior art keywords
image
data
sleep state
curve
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210491273.5A
Other languages
English (en)
Inventor
李玉军
郑逸凡
杨阳
陈正晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210491273.5A priority Critical patent/CN114898261A/zh
Publication of CN114898261A publication Critical patent/CN114898261A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供了一种基于视频和生理数据融合的睡眠质量评估方法及系统，所述方法包括获取被监测人员的监控视频数据和生理数据；对监控视频数据通过手动选择或自动选择的方式得到视频数据图像掩膜；读取监控视频数据中一帧的图像，通过与视频数据图像掩膜进行逻辑与运算，得到感兴趣区域；通过对感兴趣区域进行图像处理后绘制睡眠状态曲线；将睡眠状态曲线与生理数据融合，生成综合睡眠状态曲线；通过曲线相似度计算综合睡眠状态曲线和平均睡眠曲线的差异，得到被监测人员睡眠质量评估结果。本发明可以经过手动和自动两种方式来对掩膜坐标进行选择，能依据被监测人员的身份不同来选择，使目标区域更加精确。同时使用感兴趣区域减少数字图像处理的工作量，提高了检测效率。

Description

一种基于视频和生理数据融合的睡眠质量评估方法及系统
技术领域
本发明涉及数据处理技术领域，尤其是涉及一种基于视频和生理数据融合的睡眠质量评估方法及系统。
背景技术
当前对于被监管人员的管理有一个严峻的问题，就是部分心理承受压力差的人员会产生极端的想法，从而出现偏激行为例如自残或报复伤害他人等行为，这对管制机构的监管工作带来的极大的挑战。
此类过激行为难以杜绝，同时管制机构的看管人员数量有限，无法实现监管每一个被监管人员近期的心理变化情况，解决此类问题最好的方式就是通过技术手段，及时发现在某段时间内活动异于正常状态的被监管人员，此类被监管人员有潜在做出过激行为的隐患，及时告知工作人员对此类人员重点关注，确认核查，发现问题及时教导解决，防止其做出过激行为对自身或他人造成危害。
同时针对管制机构是一个特殊的场所，所有的被监管人员24小时都会处于监控下，考虑到白天的监控视频数据有一定数量的工作人员进行实时的监控，并且被监管人员决定进行某些危险行为或有过激想法时其睡眠状态也将大概率出现反常，故本方法重点处理被监管人员睡眠时的监控数据和生理数据，从而通过分析被监管人员睡眠时的状态是否异常，进而缩小排查范围，减少看管人员的监管工作量。
然而，只依靠生理数据对被监管人员的睡眠状态进行质量评估不能实现较高的准确率，且没有将图像的目标检测技术融入于各种视频监控的场景中，使得检测效率不能得到提升。
因此亟需一种基于视频和生理数据融合的睡眠质量评估方法及系统。
发明内容
针对现有技术的不足，本发明提供一种基于视频和生理数据融合的睡眠质量评估方法及系统，本发明能够极大的提高睡眠监测效率，进行有效的人员睡眠质量监测，从而对被监测人员的潜在极端行为进行一定程度的预测。
术语解释：
YOLO3：是基于一种基于darknet深度学习框架的目标检测算法，能够实现快速和准确的实时对象检测，核心为一个实现了回归功能的深度卷积神经网络。
睡眠状态曲线：通过被监管人员监控视频初步处理得到的以时间为轴的数据画出的曲线，每个采样点的数据本质是视频图像中变化的图像区域和选择的感兴趣区域的面积之比。
睡眠状态指标：表示睡眠状态好坏的指标，分别是：睡眠时长、翻身次数和起夜次数。
感兴趣区域：在进行监控数据初步处理时，为了减少计算量，通过手动或自动选择的处理的图像的部分，通常情况下为四边形的区域，后续计算只针对区域内部的图像数据。
本发明的技术方案为：
一种基于视频和生理数据融合的睡眠质量评估方法，包括步骤如下：
S1.获取被监测人员的监控视频数据和生理数据；
S2.对监控视频数据通过手动选择或自动选择的方式得到视频数据图像掩膜；
S3.读取监控视频数据中一帧的图像，通过与视频数据图像掩膜进行逻辑与运算，得到感兴趣区域；
S4.通过对感兴趣区域进行图像处理后绘制睡眠状态曲线；
S5.将睡眠状态曲线与生理数据融合，生成综合睡眠状态曲线；
S6.通过曲线相似度计算综合睡眠状态曲线和平均睡眠曲线的差异，得到被监测人员睡眠质量评估结果。
进一步地，所述获取被监测人员的监控视频数据和生理数据，包括通过摄像头采集被监测人员的监控视频数据，通过手环采集被监测人员的生理数据，包括心率数据和以3轴加速度组合的运动数据。
进一步地，所述S2中，对监控视频数据通过手动选择或自动选择的方式得到视频数据图像掩膜，包括自动选择，即通过深度学习目标检测模型识别监控视频数据内人员，并输出识别人员的边界框坐标；手动选择，即根据被监测人员身份，于监控视频中通过手动点击框定目标区域，并反馈区域坐标，其中，手动和自动选择的目标区域为掩膜中数值为255的区域，掩膜和视频图像进行逻辑与运算后的为感兴趣区域。
进一步地，所述S3中，读取监控视频数据中一帧的图像，通过与视频数据图像掩膜进行逻辑与运算，得到感兴趣区域，包括通过读取监控视频数据中的第一帧的图像获得的图像帧的尺寸，重新创建同样尺寸大小的零数组矩阵，并将零数组矩阵中目标区域的全部像素点设置为255，再与读取的监控视频数据的一帧图像进行逻辑位与运算,即目标区域内部全部设置为255的数组矩阵和视频数据进行逻辑位与运算，进而得到感兴趣区域。
进一步地，所述S4中，通过对感兴趣区域进行图像处理后得到睡眠状态曲线，包括：
(1)设立背景帧；
(2)将感兴趣区域进行图像灰度转换；
(3)通过高斯滤波对转换后的图像进行降噪处理；
(4)通过对背景帧和当前帧进行差分运算，得到差分图像；
(5)通过对差分图像进行阀值二值化操作，获得感兴趣区域内的图像变化；
(6)对经过阀值二值化的差分图像进行形态学膨胀，用于消除噪声，连接活动区域图像，并得到膨胀后的图像数据；其中，膨胀的作用是连接活动区域图像，腐蚀为分割活动区域图像。
具体包括，使用3x3的方形结构数据(即元素全部为1的3x3的数组矩阵)来对二值化的图像进行运算。设图像数据为A，结构数据为B，则计算定义为：
Figure BDA0003631035880000031
(7)根据膨胀后的图像数据，包括步骤(6)中的经过膨胀计算后的图像数据，以感兴趣区域中数值为255的像素数量和感兴趣区域中所有像素数量的比值作为绘制睡眠状态曲线的数据，以时间为轴，绘制睡眠状态曲线。
进一步地，所述S5中，将睡眠状态曲线与生理数据融合，包括：
通过设定分布范围将被监测人员的生理数据进行去除极端数据；
将去除极端数据后的生理数据归一化后与睡眠状态曲线加权平均，即绘制得到综合睡眠状态曲线。
进一步地，所述S6中，通过曲线相似度计算综合睡眠状态曲线和平均睡眠曲线的差异，包括：计算综合睡眠状态曲线和平均睡眠曲线的皮尔逊相关系数比较曲线相似度、欧氏距离比较曲线相似度和曼哈顿距离比较曲线相似度三项指标，其中，
皮尔逊相关系数计算公式如下：
Figure BDA0003631035880000032
欧氏距离计算公式如下：
Figure BDA0003631035880000033
曼哈顿距离计算公式如下：
Figure BDA0003631035880000034
三种距离指标结果
通过设置三种距离指标的阈值方式对超过或低于阈值的数据进行睡眠质量预警。
一种基于视频和生理数据融合的睡眠质量评估系统，包括
数据获取模块，被配置为，获取被监测人员的监控视频数据和生理数据；
图像掩膜模块，被配置为，对监控视频数据通过手动选择或自动选择的方式得到视频数据图像掩膜；
逻辑运算模块，被配置为，读取监控视频数据中一帧的图像，通过与视频数据图像掩膜进行逻辑与运算，得到感兴趣区域；
曲线模块，被配置为，通过对感兴趣区域进行图像处理后得到睡眠状态曲线；
融合模块，被配置为，将睡眠状态曲线与生理数据融合，生成综合睡眠状态曲线；
评估模块，被配置为，通过曲线相似度计算综合睡眠状态曲线和平均睡眠曲线的差异，得到被监测人员睡眠质量评估结果。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于视频和生理数据融合的睡眠质量评估方法。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于视频和生理数据融合的睡眠质量评估方法。
与现有技术相比，本发明的有益效果为：
(1)本发明中，可以经过手动和自动两种方式来对掩膜坐标进行选择，能依据被监测人员的身份不同来选择，使目标区域更加精确。同时使用感兴趣区域减少数字图像处理的工作量，提高了检测效率。
(2)结合被监管人员监控视频数据和生理数据生成对应人员的睡眠状态曲线，进一步提升检测准确率。
(3)可及时检测并预警睡眠状态异常的被监管人员，帮助看管人员缩小监视排查范围，以便及时发现有潜在过激行为的被监管人员以便对其重点关注、核查确认和教导帮助，防止被监管人员有过激行为对自身或他人造成伤害。
(4)此方案从实际需求出发，通过分析场景的特点，设计了一种基于视频和生理数据融合的睡眠质量评估方法，可实现的缩小排查有心理过激倾向的被监管人员范围，此方案成本低，并且对硬件平台计算性能要求极低，能够大量减少人力投入。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本实施例的流程图；
图2是本实施例的YOLO3网络架构图；
图3为本发明根据综合睡眠状态曲线对睡眠质量进行判定流程图；
图4为本发明正常状态睡眠状态曲线及睡眠指标图；
图5为本发明异常状态睡眠状态曲线及睡眠指标图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1.
如图1所示，本实例提供了一种监控视频数据转化为睡眠状态曲线的方法，具体包括：
S1.获得监控视频数据：
被看管中的被监管人员处于24小时的监控下，考虑到人在某段时间谋划思考某些违规行为或抑郁思考有过激想法时其睡眠状态也将大概率出现反常，故本发明中从被监管人员睡眠时的监控视频数据入手。本发明引入了被监管人员手环采集到的呼吸率和手环3轴加速度运动数据，呼吸率数据每分钟采集一次，手环3轴加速度运动数据使用每分钟的平均数值，将数据采集频率变为每分钟采集一次。
S2.获得掩膜区域：
在数字图像处理中，掩膜主要通过二维数组矩阵或多值图像实现，主要作用是提取数字图像处理的感兴趣区域，目的是减少对视频图像数据处理的数据量。
在一般情况下，使用对应剪枝后的YOLO3目标识别网络识别区域内的人员，输出识别人员的边界框坐标，YOLO3网络架构图2所示。Yolov3是基于Darknet-53架构的网络，一共有103层网络，整个网络会输出三个尺寸的特征图，分别是第79层外加两个卷积层输出的尺寸为13*13的特征图，分别是第91层外加两个卷积层输出的尺寸为26*26的特征图和最后输出的尺寸为52*52的特征图。Yolov3网络模型高层网络使用低层网络特征映射，因此高层网络可以使用细粒化特征和更多的语义信息，最后一个尺寸输出的特征图使用了前两个尺寸计算的特征映射，从而使得最后的输出特征图也可以使用细粒度特征。
Yolo3通道剪枝的方式目前主要有三种策略：正常剪枝、规整剪枝、极限剪枝，本发明中使用第一种，正常剪枝方法，这是一种比较保守的剪枝策略，Yolov3有五组共23处直连，与之相应的是特征向量的相加操作，为保证直连两个输入特征向量维度一致，正常剪枝对直连的层不进行剪枝，但仍能大幅减少了的模型参数。
根据实际情况和被监控人员的身份，在使用目标识别网络不能够精准识别目标人员时，可以使用手动选择的方式在图像上用鼠标选择对应的区域。
其中，yolo3网络整体结构上的流程，包括：
YOLO3识别流程：
(1).输入的图像数据会自动调整为416*416的大小，经过darknet特征提取网络计算后得到三种不同尺寸的特征图：13*13*255、26*26*255、52*52*255。
(2).使用上采样进行特征图的融合，融合成一个52*52*255的特征图，具体为52*52*3*(5+80)，其中5代表4种坐标的信息和置信度的预测值，80为80个类别的预测，两种数据均归一化处理。
(3).使用Logistic分类器进行结果分类，输出检测结果。
S3.图像灰度处理：
为了减少处理的数据量，在获取到视频数据把图像转换成灰度图像，可以把原来的三通道图像转换为单通道图像，可以有效的提高运算速度。
S4.获得感兴趣区域：
把灰度处理和高斯滤波降噪处理后的图像和获得的掩膜区域进行逻辑与运算，就可以获得对应感兴趣区域的视频图像数据，后期处理只针对这一部分的数据进行睡眠状态的检测。其中，逻辑与运算，即图像的每个像素的数值与掩膜对应位置的数值进行逻辑与运算，如：1·1＝1，1·0＝0，0·0＝0。
处理后的图像中每个像素点对应的灰度值范围为0-255，对应8位二进制数据，将像素数据与掩膜(建立的同尺寸数组矩阵)进行逻辑与运算。掩膜区域选择的区域内数据为全部为255，对应二进制为11111111，图像像素数据与之运算之后保持不变，掩膜区域非选择区域数据全部为0，对应二进制为00000000，图像像素数据与之运算之后全部为00000000，表现在图像上为显示黑色。
S5.输出睡眠状态曲线：
首先设立背景帧，读取进入睡眠状态的图像帧作为背景帧，用于与后续图像进行差分运算。后续图像帧读取后，通过灰度转换将图像转化为灰度图，灰度转换是将原彩色RGB三通道图像转换为单通道的灰度图像，可以减少计算的数据量，大大加快图像处理的速度。对于图像中的噪声采用高斯滤波来进行一定程度的消除。
高斯滤波的基本原理是：通过对图像中的每一个像素点自身和领域像素点进行加权平均，如同神经网络中的卷积操作，一个卷积核扫描图像的每一个像素点进行加权平均操作，从而通过高斯滤波操作实现平滑图像的效果。将背景帧与当前帧进行图像的差分操作，再对差分图像进行阈值二值化操作，便能够获得感兴趣区域内的图像变化情况，最后对经过阈值二值化后的图像进行形态学膨胀，进一步消除噪声，分割链接活动区域图像，最后通过图像的变化情况获得被监测人员的睡眠状态曲线。
实施例2.
如图3所示，本实例提供了一种根据融合生理数据的睡眠状态曲线对睡眠质量进行判定的方法，具体包括：
统一数据频率：初步计算得到的睡眠状态曲线的数据和监控视频的帧率一致，为25hz，在与手环收集到的生理数据融合时无法对应上，首先需要统一数据频率，心率数据和3轴加速度运动数据的频率。本发明中将睡眠状态数据DV和加速度运动数据DA降采样，把数据频率变为1秒1次，心率数据DH的原始频率为1分钟1次，因此需要插值计算来把数据频率提升到1秒1次，在融合之前需要把三种数据都进行归一化处理。在实际使用中，发明人发现视频数据在睡眠质量的判别中起到更大的作用，最后调整得到综合睡眠状态数据的加权计算公式为：
D＝0.5*DV+0.3*DA+0.2*DH
最后得到频率为1秒1次的融合睡眠状态数据，并以此来得出综合睡眠状态曲线。
睡眠状态曲线的正常程度使用皮尔逊相关系数、欧氏距离、曼哈顿距离这三个指标来表示，从而实现睡眠状态的异常判别，主要通过实时睡眠状态曲线与其正常状态下统计规律睡眠状态曲线拟合度和睡眠状态指标。皮尔逊相关系数越大则两条曲线的相似度越大，皮尔逊相关系数越小则两条曲线的相似度越小。皮尔逊相关系数取值在-1到+1之间，即可以通过皮尔逊系数归一化公式：ρN＝0.5+0.5*ρX，Y来将值调整归一化到0到1之间。根据皮尔逊相关系数结果我们可以看出某一天的睡眠曲线与平均规律睡眠曲线的相似度，并设置自动警报的阈值参数，当曲线相似度小于阈值时自动报警。其中，根据实验，皮尔逊相关系数的阈值参数设置为0.52和0.85，计算结果小于0.52或大于0.85的时候报警。
同理，欧氏距离和曼哈顿距离也可以用来作为曲线相似度的衡量标准，两者的数值都与曲线相似度成反比。根据欧氏距离和曼哈顿距离可以看出某一天的睡眠曲线与平均规律睡眠曲线的相似度，并设置自动警报的阈值参数，当曲线相似度大于阈值时自动报警。
为了方便计算，首先将欧式距离和曼哈顿距离进行归一化处理，由于综合睡眠曲线数值的取值范围为0-1，所以可以直接通过:
Figure BDA0003631035880000081
Figure BDA0003631035880000082
进行归一化。根据实验，欧式距离的阈值参数设置为0.31，大于0.31时报警；曼哈顿距离设置为0.22，大于0.22时报警
在对睡眠状态之前进行判断之前，要先统计规律的睡眠状态曲线，通过程序获取正常状态下100天的睡眠波动曲线，去掉20％的最大值和20％的最小值，对剩下数值求平均值即为此时刻的值，从而得到统计日均睡眠波动曲线。原理是通过对指定人员多日正常状态的睡眠状态进行统计，获取其睡眠状态的规律。从而通过计算每日获取的睡眠状态曲线与统计规律睡眠状态曲线的拟合度，判断睡眠状态是否存在异常。反映一个人睡眠状态好坏的三个重要指标分别是睡眠时长、翻身次数和起夜次数，通过感兴趣区域图像变化程度设定判断阀值计算被监护人员的翻身次数和起夜次数，统计计算此人员正常状态下的平均睡眠时长、翻身次数和起夜次数，通过这三个睡眠指标的变化计算睡眠质量。通过与统计平均指标进行比较，睡觉时长相差大于45分钟或翻身次数相差大于四次或起床次数相差大于三次，判定睡眠质量状况为差，此人员睡眠状态出现异常，系统会告知工作人员进行查看确认人员状态，睡觉时长相差小于15分钟，翻身次数相差小于两次，起床次数相差小于两次，此时判定为优，其他情况判定为良。
实施例3.
一种基于视频和生理数据融合的睡眠质量评估系统，包括
数据获取模块，被配置为，获取被监测人员的监控视频数据和生理数据；
图像掩膜模块，被配置为，对监控视频数据通过手动选择或自动选择的方式得到视频数据图像掩膜；
逻辑运算模块，被配置为，读取监控视频数据中一帧的图像，通过与视频数据图像掩膜进行逻辑与运算，得到感兴趣区域；
曲线模块，被配置为，通过对感兴趣区域进行图像处理后得到睡眠状态曲线；
融合模块，被配置为，将睡眠状态曲线与生理数据融合，生成综合睡眠状态曲线；
评估模块，被配置为，通过曲线相似度计算综合睡眠状态曲线和平均睡眠曲线的差异，得到被监测人员睡眠质量评估结果。
实施例4.
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行本实施例提供的一种基于视频和生理数据融合的睡眠质量评估方法。
实施例5.
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行本实施例提供的一种基于视频和生理数据融合的睡眠质量评估方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于视频和生理数据融合的睡眠质量评估方法，其特征在于，包括步骤如下：
S1.获取被监测人员的监控视频数据和生理数据；
S2.对监控视频数据通过手动选择或自动选择的方式得到视频数据图像掩膜；
S3.读取监控视频数据中一帧的图像，通过与视频数据图像掩膜进行逻辑与运算，得到感兴趣区域；
S4.通过对感兴趣区域进行图像处理后绘制睡眠状态曲线；
S5.将睡眠状态曲线与生理数据融合，生成综合睡眠状态曲线；
S6.通过曲线相似度计算综合睡眠状态曲线和平均睡眠曲线的差异，得到被监测人员睡眠质量评估结果。
2.如权利要求1所述的一种基于视频和生理数据融合的睡眠质量评估方法，其特征在于，所述获取被监测人员的监控视频数据和生理数据，包括通过摄像头采集被监测人员的监控视频数据，通过手环采集被监测人员的生理数据，包括心率数据和以3轴加速度组合的运动数据。
3.如权利要求1所述的一种基于视频和生理数据融合的睡眠质量评估方法，其特征在于，所述S2中，对监控视频数据通过手动选择或自动选择的方式得到视频数据图像掩膜，包括自动选择，即通过深度学习目标检测模型识别监控视频数据内人员，并输出识别人员的边界框坐标；手动选择，即根据被监测人员身份,于监控视频中通过手动点击框定感兴趣区域，并反馈区域坐标。
4.如权利要求1所述的一种基于视频和生理数据融合的睡眠质量评估方法，其特征在于，所述S3中，读取监控视频数据中的第一帧图像，通过与视频数据图像掩膜进行逻辑与运算，得到感兴趣区域，包括通过读取监控视频数据中一帧的图像获得的图像帧的尺寸，重新创建同样尺寸大小的零数组矩阵，并将数组矩阵中目标区域的全部像素点设置为255，再与监控视频数据进行逻辑位与运算，进而得到感兴趣区域。
5.如权利要求1所述的一种基于视频和生理数据融合的睡眠质量评估方法，其特征在于，所述S4中，通过对感兴趣区域进行图像处理后得到睡眠状态曲线，包括：
(1)设立背景帧；
(2)将感兴趣区域进行图像灰度转换；
(3)通过高斯滤波对转换后的图像进行降噪处理；
(4)通过对背景帧和当前帧进行差分运算，得到差分图像；
(5)通过对差分图像进行阀值二值化操作，获得感兴趣区域内的图像变化；
(6)对经过阀值二值化的差分图像进行形态学膨胀，用于消除噪声，分割连接活动区域图像，并得到膨胀后的图像数据；
(7)根据膨胀后的图像数据，以时间为轴，绘制睡眠状态曲线。
6.如权利要求1所述的一种基于视频和生理数据融合的睡眠质量评估方法，其特征在于，所述S5中，将睡眠状态曲线与生理数据融合，包括：
通过设定分布范围将被监测人员的生理数据进行去除极端数据；
将去除极端数据后的生理数据归一化后与睡眠状态曲线加权平均，即绘制得到综合睡眠状态曲线。
7.如权利要求1所述的一种基于视频和生理数据融合的睡眠质量评估方法，其特征在于，所述S6中，通过曲线相似度计算综合睡眠状态曲线和平均睡眠曲线的差异，包括：计算综合睡眠状态曲线和平均睡眠曲线的皮尔逊相关系数比较曲线相似度、欧氏距离比较曲线相似度和曼哈顿距离比较曲线相似度三项指标，通过设置阈值方式对超过或低于阈值的数据进行睡眠质量预警。
8.一种基于视频和生理数据融合的睡眠质量评估系统，其特征在于，包括：
数据获取模块，被配置为，获取被监测人员的监控视频数据和生理数据；
图像掩膜模块，被配置为，对监控视频数据通过手动选择或自动选择的方式得到视频数据图像掩膜；
逻辑运算模块，被配置为，读取监控视频数据中一帧的图像，通过与视频数据图像掩膜进行逻辑与运算，得到感兴趣区域；
曲线模块，被配置为，通过对感兴趣区域进行图像处理后得到睡眠状态曲线；
融合模块，被配置为，将睡眠状态曲线与生理数据融合，生成综合睡眠状态曲线；
评估模块，被配置为，通过曲线相似度计算综合睡眠状态曲线和平均睡眠曲线的差异，得到被监测人员睡眠质量评估结果。
9.一种计算机可读存储介质，其特征在于，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的一种基于视频和生理数据融合的睡眠质量评估方法。
10.一种终端设备，其特征在于，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-7中任一项所述的一种基于视频和生理数据融合的睡眠质量评估方法。
CN202210491273.5A 2022-05-07 2022-05-07 一种基于视频和生理数据融合的睡眠质量评估方法及系统 Pending CN114898261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210491273.5A CN114898261A (zh) 2022-05-07 2022-05-07 一种基于视频和生理数据融合的睡眠质量评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210491273.5A CN114898261A (zh) 2022-05-07 2022-05-07 一种基于视频和生理数据融合的睡眠质量评估方法及系统

Publications (1)

Publication Number Publication Date
CN114898261A true CN114898261A (zh) 2022-08-12

Family

ID=82718912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210491273.5A Pending CN114898261A (zh) 2022-05-07 2022-05-07 一种基于视频和生理数据融合的睡眠质量评估方法及系统

Country Status (1)

Country Link
CN (1) CN114898261A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115581435A (zh) * 2022-08-30 2023-01-10 湖南万脉医疗科技有限公司 一种基于多传感器的睡眠监测方法和设备
CN116013470A (zh) * 2023-03-30 2023-04-25 安徽星辰智跃科技有限责任公司 一种睡眠行为活跃水平动态调节的方法、系统和装置
CN116682535A (zh) * 2023-08-03 2023-09-01 安徽星辰智跃科技有限责任公司 基于数值拟合的睡眠可持续性检测调节方法、系统和装置
CN116705247A (zh) * 2023-08-07 2023-09-05 安徽星辰智跃科技有限责任公司 基于局部分解的睡眠可持续性检测调节方法、系统和装置
CN117942039A (zh) * 2024-01-30 2024-04-30 深圳市迈远科技有限公司 睡眠质量监控方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077881A (zh) * 2014-06-30 2014-10-01 天津大学 一种基于机器视觉的婴幼儿监测方法及装置
CN104834946A (zh) * 2015-04-09 2015-08-12 清华大学 一种非接触式睡眠监测方法及系统
US20160213308A1 (en) * 2015-01-23 2016-07-28 Hello Inc. Room monitoring device and sleep analysis methods
CN108852283A (zh) * 2017-03-11 2018-11-23 菲特比特公司 基于生理信息的睡眠评分
CN109222896A (zh) * 2018-07-20 2019-01-18 渝新智能科技（上海）有限公司 一种睡眠状态报警方法、装置及设备
CN110169756A (zh) * 2019-07-01 2019-08-27 南京国科医工科技发展有限公司 一种无感式睡眠监测装置和监测系统
US20210212630A1 (en) * 2018-08-27 2021-07-15 Jiangsu Garea Health Technology Co., Ltd Wearable device with improved sleep monitoring accuracy

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077881A (zh) * 2014-06-30 2014-10-01 天津大学 一种基于机器视觉的婴幼儿监测方法及装置
US20160213308A1 (en) * 2015-01-23 2016-07-28 Hello Inc. Room monitoring device and sleep analysis methods
CN104834946A (zh) * 2015-04-09 2015-08-12 清华大学 一种非接触式睡眠监测方法及系统
CN108852283A (zh) * 2017-03-11 2018-11-23 菲特比特公司 基于生理信息的睡眠评分
CN109222896A (zh) * 2018-07-20 2019-01-18 渝新智能科技（上海）有限公司 一种睡眠状态报警方法、装置及设备
US20210212630A1 (en) * 2018-08-27 2021-07-15 Jiangsu Garea Health Technology Co., Ltd Wearable device with improved sleep monitoring accuracy
CN110169756A (zh) * 2019-07-01 2019-08-27 南京国科医工科技发展有限公司 一种无感式睡眠监测装置和监测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
REZA SADEGHI等: "《2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)》", 24 August 2020, PREDICTING SLEEP QUALITY IN OSTEOPOROSIS PATIENTS USING ELECTRONIC HEALTH RECORDS AND HEART RATE VARIABILITY *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115581435A (zh) * 2022-08-30 2023-01-10 湖南万脉医疗科技有限公司 一种基于多传感器的睡眠监测方法和设备
CN116013470A (zh) * 2023-03-30 2023-04-25 安徽星辰智跃科技有限责任公司 一种睡眠行为活跃水平动态调节的方法、系统和装置
CN116682535A (zh) * 2023-08-03 2023-09-01 安徽星辰智跃科技有限责任公司 基于数值拟合的睡眠可持续性检测调节方法、系统和装置
CN116682535B (zh) * 2023-08-03 2024-05-10 安徽星辰智跃科技有限责任公司 基于数值拟合的睡眠可持续性检测调节方法、系统和装置
CN116705247A (zh) * 2023-08-07 2023-09-05 安徽星辰智跃科技有限责任公司 基于局部分解的睡眠可持续性检测调节方法、系统和装置
CN116705247B (zh) * 2023-08-07 2024-04-02 安徽星辰智跃科技有限责任公司 基于局部分解的睡眠可持续性检测调节方法、系统和装置
CN117942039A (zh) * 2024-01-30 2024-04-30 深圳市迈远科技有限公司 睡眠质量监控方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN114898261A (zh) 一种基于视频和生理数据融合的睡眠质量评估方法及系统
CN110348312A (zh) 一种区域视频人体动作行为实时识别方法
CN111881730A (zh) 一种火电厂现场安全帽佩戴检测方法
CN110390229B (zh) 一种人脸图片筛选方法、装置、电子设备及存储介质
CN113409362B (zh) 高空抛物检测方法和装置、设备及计算机存储介质
CN111223263A (zh) 一种全自动综合型火灾预警响应系统
CN107330414A (zh) 暴力行为监控方法
CN113392765A (zh) 一种基于机器视觉的摔倒检测方法和系统
CN116386120B (zh) 一种用于智慧校园宿舍的无感监控管理系统
CN117809379B (zh) 一种基于监控摄像机的智能人形识别报警系统及方法
CN112417955A (zh) 巡检视频流处理方法及装置
CN118097160B (zh) 基于视觉技术的危急重症病患状态监测系统
CN116681923A (zh) 一种基于人工智能的眼科疾病自动分类方法及系统
CN114707577A (zh) 一种基于自对抗变分自编码器的异常检测方法及系统
CN110427894A (zh) 一种人群异常运动监控方法、系统、设备及介质
CN113343926A (zh) 一种基于卷积神经网络的驾驶员疲劳检测方法
CN111723869A (zh) 一种面向特殊人员的行为风险智能预警方法及系统
CN108960181B (zh) 基于多尺度分块lbp和隐马尔科夫模型的黑烟车检测方法
CN116363578A (zh) 一种基于视觉的船舶封闭舱室人员监测方法和系统
CN115830701A (zh) 一种基于小样本学习的人员违规行为预测方法
CN115995097A (zh) 一种基于深度学习的安全头盔佩戴标准判断方法
CN115910338A (zh) 一种基于多模态生物特征的人体健康状态评估方法和装置
CN115719428A (zh) 基于分类模型的人脸图像聚类方法、装置、设备及介质
CN117354495B (zh) 基于深度学习的视频监控质量诊断方法及系统
CN116958707B (zh) 一种基于球机监控设备的图像分类方法、装置及相关介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination