CN115581435A - 一种基于多传感器的睡眠监测方法和设备 - Google Patents

一种基于多传感器的睡眠监测方法和设备 Download PDF

Info

Publication number
CN115581435A
CN115581435A CN202211048966.3A CN202211048966A CN115581435A CN 115581435 A CN115581435 A CN 115581435A CN 202211048966 A CN202211048966 A CN 202211048966A CN 115581435 A CN115581435 A CN 115581435A
Authority
CN
China
Prior art keywords
data
lying
sleep
image
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211048966.3A
Other languages
English (en)
Inventor
刘哲
宋元林
杜春玲
唐聪能
黄絮
徐德祥
粟锦平
袁再鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Ventmed Medical Technology Co Ltd
Original Assignee
Hunan Ventmed Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Ventmed Medical Technology Co Ltd filed Critical Hunan Ventmed Medical Technology Co Ltd
Priority to CN202211048966.3A priority Critical patent/CN115581435A/zh
Publication of CN115581435A publication Critical patent/CN115581435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4815—Sleep quality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4818—Sleep apnoea
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases

Abstract

本发明公开了一种基于多传感器数据融合的睡眠监测方法和设备，该方法通过视频基于随机森林分类器识别用户睡眠姿态，监测用户翻身和起夜次数，通过音频识别用户呼吸频率，打鼾频率和大小，通过手环获取用户心率和血氧饱和度。本发明还提供了一种睡眠监测设备。本发明改进了睡眠监测方法，减轻了睡眠监测中的设备接触负担，降低监测设备成本；同时基于粒子群算法改进的神经网络实现多传感器数据融合算法融合多个数据，提高了睡眠监测中的睡眠质量分类准确性。

Description

一种基于多传感器的睡眠监测方法和设备
技术领域
本发明涉及睡眠监测领域，尤其是一种基于多传感器的睡眠监测方法和设备。
背景技术
随着科学与医学技术的飞快发展，人们对健康问题的重视与日俱增，希望能在疾病出现前就能够被预防或及时治疗。在生物医学工程与大数据等相关技术逐渐应用于临床后，人们发现整夜睡眠信息能在一定程度上映射出人体的健康状况，从而进行疾病的预防和治疗。
目前发现的睡眠疾病有100多种，睡眠呼吸疾病也有20余种，因此睡眠疾病是多种疾病的上游病因。睡眠中出现的常见疾病包括失眠、梦游、呼吸暂停综合征和睡眠窒息等。研究表明，睡眠过程中出现的一些潜在疾病会引起一系列综合病症，睡眠监测产品应运而生。这些睡眠监测产品多采用接触式监测，需要在受试者身体的多个部位贴数个电极，佩戴口鼻气流管和腹部绑带。接触式的监测在很大程度上影响了受试者的生理和心理情况，且测试环境复杂，需要专业医护人员操作，价格相对昂贵，导致此类设备无法在生活中普及，也无法进行长期的睡眠监测。且在监测过程，也是通过多个单一传感器分别监测，没有对传感器之间进行数据的融合，数据的可靠性较差。
发明内容
(一)解决的技术问题
为了解决上述技术问题，本发明提供一种基于多传感器数据融合的睡眠监测方法和设备，该方法通过视频识别用户睡眠姿态，监测用户翻身和起夜次数，通过音频识别用户呼吸频率，打鼾频率和大小，通过手环获取用户心率和血氧饱和度，减轻了睡眠监测中的设备接触负担；同时基于多传感器数据融合算法融合多个数据，提高了睡眠监测中的睡眠质量分类准确性。
(二)技术方案
为了解决上述存在的技术问题，实现发明目的，本发明是通过以下技术方案实现的：
一种基于多传感器的睡眠监测方法，包括以下步骤：
S1：传感器数据获取，通过摄像头采集视频数据，通过麦克风采集音频数据，通过智能手环采集心率和血氧饱和度；
S2：视频数据处理，视频数据处理部分主要包括对视频数据进行处理，通过姿态分类识别用户翻身和起夜次数
S3：多数据融合
基于视频得到翻身次数，起夜次数；通过音频得到打鼾频率，声音大小，呼吸频率；
通过智能手环测量心率、血氧饱和度。将上述数据进行数据融合，采用基于PSO结合RBF神经网络模型进行数据融合
S4：监测结果输出
将步骤S3获得的睡眠质量结果输出到显示设备，包括显示屏或手机APP。
进一步地：
步骤S2还包括：
S21：基于帧间差分法进行运动目标检测
其工作原理过程如下，第一步先对图像进行灰度差分运算，具体方法为：选取相邻两帧图像，将其相同位置的像素点相减，得出灰度差分图像后并进行二值化操作。然后将所得结果的绝对值与设定的阈值进行比较，若大于阈值，那么就判断为是运动对象，相反，则判断为静止对象。最后，输出做差分运算后的二值化灰度图像。
设视频中连续第t帧和第t-1帧图像分别为Nt，Nt-1，那么两帧的减法差分运算如下式所示：
Figure BDA0003822984110000021
其中，D(x，y)为差分运算后的像素值，(x，y)为当前帧的像素点，T表示图像二值化过程中用到的阈值。
帧间差分法的优点是简单快速，在运算时能迅速得出结果。
S22：特征提取
采用HOG特征提取，对图像f(x，y)HOG特征提取的步骤如下：
(1)颜色空间归一化。对图像进行灰度化处理和Gamma校正，可以降低光照变化和局部阴影所造成的影响，尽可能抑制噪声干扰。Gamma压缩公式如下：
f(x，y)＝f(x，y)a
其中，a一般取0.5。
(2)计算图像中每个像素点的梯度幅值和方向，以获取轮廓信息，同时减弱光照的影响。计算图像f(x，y)，中每个像素点(x，y)\的梯度，再根据梯度计算出每个像素点的梯度幅值和方向，其计算公式为：
Gx(x，y)＝f(x+1，y)-f(x-1，y)
Gy(x，y)＝f(x，y+1)-f(x，y-1)
Figure BDA0003822984110000022
Figure BDA0003822984110000023
其中，Gx(x，y)表示像素点(x，y)处水平方向梯度值，Gy(x，y)表示像素点(x，y)垂直方向梯度值，G(x，y)表示像素点(x，y)的梯度幅值，θ(x，y)表示像素点(x，y)的梯度方向。
(3)将图像分割成多个小区域，每个小区域包含9个直方图通道，相连的4个小区域组成一个子块，每个子块内全部小区域的特征向量串联起来获得HOG特征描述。
(4)特征向量归一化。对子块内特征向量进行归一化处理，减弱图像与子块之间光照和阴影的差别，归一化方式如下：
L1-norm：
Figure BDA0003822984110000024
L2-norm：
Figure BDA0003822984110000025
L1-sqrt：
Figure BDA0003822984110000026
其中，ε为很小的常数
(5)生成特征向量。将图像内所有子块的HOG特征描述子线性连接起来得到最终分类的特征向量。对于特征维数计算，图像分为m*n个小区域，且一个子块单元由s*s个小区域构成，最终得到HOG维数为(m-s+1)×(n-s+1)×(s×s×N)。
S23：睡眠姿态识别
基于随机森林人体姿态识别，识别睡眠姿态包括：仰卧、趴卧、左侧卧、右侧卧、坐起五种常见姿态，包括如下步骤：
(1)在睡眠姿态训练样本中用Bagging方法形成n个子样本，此处样本为经过多HOG特征提取和融合后的睡眠姿态特征向量。
(2)对于每个子样本用如下方法形成一棵决策树：
a)从子样本中随机选取p个属性作为节点分裂的候选属性。
b)在候选属性中计算吉尼指数，选择基尼指数最大的属性对决策树进行分裂。
基尼系数作为选择最优的划分属性可以理解为降低误分类概率的标准。数据集
D的纯度可用基尼值来度量，定义为：
Figure BDA0003822984110000031
其中，p(vi，j)表示Ai中包含vk的概率，p(yi)表示yi类的概率，p(yi/vi，j)表示yi类包含特征Ai并且包含vk的概率。
c)重复步骤b)，直到基尼指数小于规定阈值。
(3)重复步骤(1)-(2)，直至生成n棵决策树。
(4)对未知样本分类时随机森林输出为决策树多数投票结果。
根据分类结果对视频中的图像进行睡眠姿态的识别，获得仰卧、趴卧、左侧卧、右侧卧、坐起几种姿态，并记录用户睡眠中翻身次数和起夜次数，其中，睡眠姿态由仰卧、趴卧、左侧卧、右侧卧之一转换为另一种姿态的判断为一次翻身，由卧姿(包含仰卧、趴卧、左侧卧、右侧卧)转换为坐姿的判断为一次起夜。
进一步地，步骤S3还包括：
(1)数据预处理
数据预处理是对多传感器系统数据融合的重要前提。未经处理的原始各个传感器数据会出现：数据缺失错乱、个别数据不符合常理以及计算量大等问题，导致分析复杂。预处理主要是对采集到的数据进行规范化处理，进行记录，去除故障数据。
(2)通过粒子群算法获得RBF神经网络的权值和阈值。
在实际应用过程中，网络隐藏层函数中心是在输入样本集中选取的，在许多情况下难以反映出系统真正输入输出的关系，并且初始中心点数太多，优选过程会出现数据病态现象。针对RBF神经网络在隐藏层函数中心上选取的弱势，采用基于粒子群算法改进神经网络模型的多传感器数据融合的方法。利用粒子群优化算法的寻优能力进行RBF神经网络参数：隐含层神经元中心及宽度、输出连接权值的调整，使得RBF神经网络发挥其出色的函数逼近能力，在数据融合领域更具优势。
(3)建立网络模型并训练网络
选择神经网络参数，网络包括输入层，输出层，隐含层，高斯函数为隐含层的传递函数；输入层包括7个节点，分别对应翻身次数、起夜次数、打鼾频率、声音大小、呼吸频率、心率、血氧饱和度共7个参数，输出层包括1个节点，对应睡眠质量分类，结果包括优、良好、中等、中下、不健康、非常不健康。并对网络进行训练。
(4)进行数据融合
将音视频处理结果以及手环输出结果包含的七个参数输入到已经训练好的神经网络中进行数据融合，得到用户睡眠质量结果。
本发明还提供一种睡眠监测设备，其具体包括：监测摄像头、麦克风、包含心率测量和血氧饱和度测量功能的智能手环以及数据处理模块，其中，数据处理模块还包括：
视频处理模块，其用于对监测摄像头采集的视频进行处理，获得用户翻身次数和起夜次数；
音频处理模块，其用于对麦克风采集的音频数据进行处理，获得用户呼吸频率信息和打鼾频率、声音分贝大小信息；
数据融合模块，其采用粒子群算法改进的神经网络对音视频数据以及心率和血氧饱和度进行融合处理，得到用户睡眠质量等级输出。
(三)有益效果
(1)通过视频对睡眠姿态进行非接触式检测，避免了接触式测量影响用户的睡眠状态，并且，通过视频监测自动识别睡眠姿态，提高了姿态分辨的准确度。
(2)通过多传感器数据融合，将多种传感器得到的数据进行融合，提高睡眠状态评价的科学性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的睡眠监测方法的流程图；
图2是根据本申请实施例的睡眠姿态识别方法的示意图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
现有技术存在问题：在对被测者的睡眠监测过程中，被测试者需要身上佩戴多达10多种电极导联设备进行睡眠监测。存在设备繁多，且价格昂贵，监测方法复杂，本发明采用结合音视频处理的睡眠监测方法，实现监测方法简单化，可以用于家庭长期监测，且结合多种传感器数据的融合，对睡眠质量的监测更加科学化。，解决了传统睡眠监测系统操作难度大，价格昂贵的特点。使得睡眠监测更有利于推广，进入普通家庭。
本发明的睡眠监测方法如图1，包括如下步骤：
S1：传感器数据获取
考虑到目前手环对于睡眠姿态监测获取不准确，而在心率和血氧饱和度上监测较为准确的情况下，采用非接触式传感器为主，接触式传感器轻量化的监测方式，采用音视频结合手环的方式进行数据的采集，具体包括：监测摄像头、麦克风以及包含心率测量和血氧饱和度测量功能的智能手环。
通过监测摄像头获取用户睡眠时的视频信息，通过麦克风获取用户呼吸频率信息和打鼾频率、声音分贝大小信息，通过智能手环获取用户心率和血氧饱和度数据；通过对视频图像进行处理获取用户翻身次数和起夜次数的数据。
S2：视频数据处理
视频数据处理部分主要包括对视频数据进行处理，通过姿态分类识别用户翻身和起夜次数，识别流程如图2所示，具体包括如下步骤：
S21：基于帧间差分法进行运动目标检测
帧间差分法是通过比较视频序列中连续的两帧图像做差分运算的方法，这种方法能够获取到运动对象的轮廓。帧间差分法的主要思想是，假设存在一个运动的物体，那么在视频的两帧之间此物体所处的位置是不一样的，也就意味着相对应的像素不同，只要求出连续两帧之间的像素差，并且此像素差能够达到设定的阈值，那么便可以轻松勾画出视频里处于运动状态物体的轮廓。而若是没有运动对象，那么在连续帧中便不会出现变化。
其工作原理过程如下，第一步先对图像进行灰度差分运算，具体方法为：
选取相邻两帧图像，将其相同位置的像素点相减，得出灰度差分图像后并进行二值化操作。然后将所得结果的绝对值与设定的阈值进行比较，若大于阈值，那么就判断为是运动对象，相反，则判断为静止对象。最后，输出做差分运算后的二值化灰度图像。
设视频中连续第t帧和第t-1帧图像分别为Nt，Nt-1，那么两帧的减法差分运算如下式所示：
Figure BDA0003822984110000051
其中，D(x，y)为差分运算后的像素值，(x，y)为当前帧的像素点，T表示图像二值化过程中用到的阈值。
帧间差分法的优点是简单快速，在运算时能迅速得出结果。
S22：特征提取
采用HOG特征提取，对图像f(x，y)HOG特征提取的步骤如下：
(1)颜色空间归一化。对图像进行灰度化处理和Gamma校正，可以降低光照变化和局部阴影所造成的影响，尽可能抑制噪声干扰。Gamma压缩公式如下：
f(x，y)＝f(x，y)a
其中，a一般取0.5。
(2)计算图像中每个像素点的梯度幅值和方向，以获取轮廓信息，同时减弱光照的影响。计算图像f(x，y)，中每个像素点(x，y)\的梯度，再根据梯度计算出每个像素点的梯度幅值和方向，其计算公式为：
Gx(x，y)＝f(x+1，y)-f(x-1，y)
Gy(x，y)＝f(x，y+1)-f(x，y-1)
Figure BDA0003822984110000052
Figure BDA0003822984110000053
其中，Gx(x，y)表示像素点(x，y)处水平方向梯度值，Gy(x，y)表示像素点(x，y)垂直方向梯度值，G(x，y)表示像素点(x，y)的梯度幅值，θ(x，y)表示像素点(x，y)的梯度方向。
(3)将图像分割成多个小区域，每个小区域包含9个直方图通道，相连的4个小区域组成一个子块，每个子块内全部小区域的特征向量串联起来获得HOG特征描述。
(4)特征向量归一化。对子块内特征向量进行归一化处理，减弱图像与子块之间光照和阴影的差别，归一化方式如下：
L1-norm：
Figure BDA0003822984110000061
L2-norm：
Figure BDA0003822984110000062
L1-sqrt：
Figure BDA0003822984110000063
其中，ε为很小的常数
(5)生成特征向量。将图像内所有子块的HOG特征描述子线性连接起来得到最终分类的特征向量。对于特征维数计算，图像分为m*n个小区域，且一个子块单元由s*s个小区域构成，最终得到HOG维数为(m-s+1)×(n-s+1)×(s×s×N)。
S23：睡眠姿态识别
随机森林的基本原理是通过对数据集进行采样来生成多个不同的数据子集，并在每个数据子集上训练分类树，最后，结合各分类树的预测结果，以多数表决的原则确定随机森林的预测结果。随机森林分类器在高维特征情况下分类速度快，鉴别能力强，具有一定的鲁棒性。对于多种数据，它可以产生性能良好的高精度分类器；在建造森林时，泛化误差使用的是无偏估计，模型的泛化能力较强；通常随机森林的构造不需要对其进行剪枝也可以达到很好的效果。
基于随机森林人体姿态识别，识别睡眠姿态包括：仰卧、趴卧、左侧卧、右侧卧、坐起五种常见姿态，包括如下步骤：
(1)在睡眠姿态训练样本中用Bagging方法形成n个子样本，此处样本为经过多HOG特征提取和融合后的睡眠姿态特征向量。
(2)对于每个子样本用如下方法形成一棵决策树：
a)从子样本中随机选取p个属性作为节点分裂的候选属性。
b)在候选属性中计算吉尼指数，选择基尼指数最大的属性对决策树进行分裂。
基尼系数作为选择最优的划分属性可以理解为降低误分类概率的标准。数据集
D的纯度可用基尼值来度量，定义为：
Figure BDA0003822984110000064
其中，p(vi，j)表示Ai中包含vk的概率，p(yi)表示yi类的概率，p(yi/vi，j)表示yi类包含特征Ai并且包含vk的概率。
c)重复步骤b)，直到基尼指数小于规定阈值。
(3)重复步骤(1)-(2)，直至生成n棵决策树。
(4)对未知样本分类时随机森林输出为决策树多数投票结果。
根据分类结果对视频中的图像进行睡眠姿态的识别，获得仰卧、趴卧、左侧卧、右侧卧、坐起几种姿态，并记录用户睡眠中翻身次数和起夜次数，其中，睡眠姿态由仰卧、趴卧、左侧卧、右侧卧之一转换为另一种姿态的判断为一次翻身，由卧姿(包含仰卧、趴卧、左侧卧、右侧卧)转换为坐姿的判断为一次起夜。
S3：数据融合
基于视频得到翻身次数，起夜次数；通过音频得到打鼾频率，声音大小，呼吸频率；
通过智能手环测量心率、血氧饱和度。
将上述数据进行数据融合，采用基于PSO结合RBF神经网络模型进行数据融合，具体步骤如下：
(1)数据预处理
数据预处理是对多传感器系统数据融合的重要前提。未经处理的原始各个传感器数据会出现：数据缺失错乱、个别数据不符合常理以及计算量大等问题，导致分析复杂。预处理主要是对采集到的数据进行规范化处理，进行记录，去除故障数据。
(2)通过粒子群算法获得RBF神经网络的权值和阈值。
在实际应用过程中，网络隐藏层函数中心是在输入样本集中选取的，在许多情况下难以反映出系统真正输入输出的关系，并且初始中心点数太多，优选过程会出现数据病态现象。针对RBF神经网络在隐藏层函数中心上选取的弱势，采用基于粒子群算法改进神经网络模型的多传感器数据融合的方法。利用粒子群优化算法的寻优能力进行RBF神经网络参数：隐含层神经元中心及宽度、输出连接权值的调整，使得RBF神经网络发挥其出色的函数逼近能力，在数据融合领域更具优势。
(3)建立网络模型并训练网络
选择神经网络参数，网络包括输入层，输出层，隐含层，高斯函数为隐含层的传递函数；输入层包括7个节点，分别对应翻身次数、起夜次数、打鼾频率、声音大小、呼吸频率、心率、血氧饱和度共7个参数，输出层包括1个节点，对应睡眠质量分类，结果包括优、良好、中等、中下、不健康、非常不健康。并对网络进行训练。
(4)进行数据融合
将音视频处理结果以及手环输出结果包含的七个参数输入到已经训练好的神经网络中进行数据融合，得到用户睡眠质量结果。
S4：监测结果输出
将步骤S3获得的睡眠质量结果输出到显示设备，包括显示屏或手机APP。
在本实施方式中，通过采用音视频对用户的睡眠姿态进行监测，可以在非接触的基础上对用户睡眠状态进行监测，同时结合多传感器融合算法，对多个监测数据进行融合，对睡眠质量得到客观的评价指标。
本发明实施例还提出一种睡眠监测设备，其具体包括：监测摄像头、麦克风、包含心率测量和血氧饱和度测量功能的智能手环以及数据处理模块，其中，数据处理模块还包括：
视频处理模块，其用于对监测摄像头采集的视频进行处理，获得用户翻身次数和起夜次数；
音频处理模块，其用于对麦克风采集的音频数据进行处理，获得用户呼吸频率信息和打鼾频率、声音分贝大小信息；
数据融合模块，其采用粒子群算法改进的神经网络对音视频数据以及心率和血氧饱和度进行融合处理，得到用户睡眠质量等级输出。
以上所述的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (10)

1.一种基于多传感器的睡眠监测方法，其特征在于，包括以下步骤：
S1：传感器数据获取，通过摄像头采集视频数据，通过麦克风采集音频数据，通过智能手环采集心率和血氧饱和度；
S2：视频数据处理，视频数据处理部分主要包括对视频数据进行处理，通过姿态分类识别用户翻身和起夜次数；
S3：多传感数据融合，基于视频得到翻身次数，起夜次数；通过音频得到打鼾频率，声音大小，呼吸频率；通过智能手环测量心率、血氧饱和度，将上述数据进行数据融合，采用基于PSO结合RBF神经网络模型进行数据融合；
S4：监测结果输出，将步骤S3获得的睡眠质量结果输出到显示设备，包括显示屏或手机APP。
2.根据权利要求1所述的基于多传感器的睡眠监测方法，其特征在于，所述步骤S2还包括：
S21：基于帧间差分法进行运动目标检测，第一步先对图像进行灰度差分运算，具体方法为：选取相邻两帧图像，将其相同位置的像素点相减，得出灰度差分图像后并进行二值化操作；然后将所得结果的绝对值与设定的阈值进行比较，若大于阈值，那么就判断为是运动对象，相反，则判断为静止对象；最后，输出做差分运算后的二值化灰度图像；
S22：特征提取，采用HOG对图像进行特征提取；
S23：睡眠姿态识别，基于图像分类算法对视频图像进行睡眠姿态分类识别。
3.根据权利要求2所述的基于多传感器的睡眠监测方法，其特征在于，所述步骤S21还包括：视频中连续第t帧和第t-1帧图像分别为Nt，Nt-1，那么两帧的减法差分运算如下式所示：
Figure FDA0003822984100000011
其中，D(x，y)为差分运算后的像素值，(x，y)为当前帧的像素点，T表示图像二值化过程中用到的阈值。
4.根据权利要求3所述的基于多传感器的睡眠监测方法，其特征在于，所述步骤S22还包括：
(1)颜色空间归一化；对图像进行灰度化处理和Gamma校正，可以降低光照变化和局部阴影所造成的影响，尽可能抑制噪声干扰；Gamma压缩公式如下：
f(x，y)＝f(x，y)a
其中，a取0.5；
(2)计算图像中每个像素点的梯度幅值和方向，以获取轮廓信息，同时减弱光照的影响；计算图像f(x，y)，中每个像素点(x，y)\的梯度，再根据梯度计算出每个像素点的梯度幅值和方向，其计算公式为：
Gx(x，y)＝f(x+1，y)-f(x-1，y)
Gy(x，y)＝f(x，y+1)-f(x，y-1)
Figure FDA0003822984100000012
Figure FDA0003822984100000013
其中，Gx(x，y)表示像素点(x，y)处水平方向梯度值，Gy(x，y)表示像素点(x，y)垂直方向梯度值，G(x，y)表示像素点(x，y)的梯度幅值，θ(x，y)表示像素点(x，y)的梯度方向；
(3)将图像分割成多个小区域，每个小区域包含9个直方图通道，相连的4个小区域组成一个子块，每个子块内全部小区域的特征向量串联起来获得HOG特征描述；
(4)特征向量归一化；对子块内特征向量进行归一化处理，减弱图像与子块之间光照和阴影的差别，归一化方式如下：
Figure FDA0003822984100000021
Figure FDA0003822984100000022
Figure FDA0003822984100000023
其中，ε为很小的常数；
(5)生成特征向量；将图像内所有子块的HOG特征描述子线性连接起来得到最终分类的特征向量；对于特征维数计算，图像分为m*n个小区域，且一个子块单元由s*s个小区域构成，最终得到HOG维数为(m-s+1)×(n-s+1)×(s×s×N)。
5.根据权利要求3所述的基于多传感器的睡眠监测方法，其特征在于，所述步骤S23还包括：识别算法基于随机森林人体姿态识别，识别睡眠姿态包括：仰卧、趴卧、左侧卧、右侧卧、坐起五种常见姿态。
6.根据权利要求5所述的基于多传感器的睡眠监测方法，其特征在于，所述步骤S23还包括：
(1)在睡眠姿态训练样本中用Bagging方法形成n个子样本，此处样本为经过多HOG特征提取和融合后的睡眠姿态特征向量；
(2)对于每个子样本用如下方法形成一棵决策树：
a)从子样本中随机选取p个属性作为节点分裂的候选属性；
b)在候选属性中计算吉尼指数，选择基尼指数最大的属性对决策树进行分裂；
基尼系数作为选择最优的划分属性可以理解为降低误分类概率的标准；数据集的纯度可用基尼值来度量，定义为：
Figure FDA0003822984100000024
其中，p(vi，j)表示Ai中包含vk的概率，p(yi)表示yi类的概率，p(yi/vi，j)表示yi类包含特征Ai并且包含vk的概率；
c)重复步骤b)，直到基尼指数小于规定阈值；
(3)重复步骤(1)-(2)，直至生成n棵决策树；
(4)对未知样本分类时随机森林输出为决策树多数投票结果。
7.根据权利要求6所述的基于多传感器的睡眠监测方法，其特征在于，所述步骤S23还包括：根据分类结果对视频中的图像进行睡眠姿态的识别，获得仰卧、趴卧、左侧卧、右侧卧、坐起几种姿态，并记录用户睡眠中翻身次数和起夜次数，其中，睡眠姿态由仰卧、趴卧、左侧卧、右侧卧之一转换为另一种姿态的判断为一次翻身，由卧姿(包含仰卧、趴卧、左侧卧、右侧卧)转换为坐姿的判断为一次起夜。
8.根据权利要求1所述的基于多传感器的睡眠监测方法，其特征在于，所述步骤S3还包括：
(1)数据预处理
对采集到的数据进行规范化处理，进行记录，去除故障数据；
(2)通过粒子群算法获得RBF神经网络的权值和阈值；
利用粒子群优化算法的寻优能力进行RBF神经网络参数：隐含层神经元中心及宽度、输出连接权值的调整，使得RBF神经网络发挥其出色的函数逼近能力，在数据融合领域更具优势；
(3)建立网络模型并训练网络；
选择神经网络参数，网络包括输入层，输出层，隐含层，高斯函数为隐含层的传递函数；并对网络进行训练；
(4)进行数据融合；
将音视频处理结果以及手环输出结果包含的7个参数输入到已经训练好的神经网络中进行数据融合，得到用户睡眠质量结果。
9.根据权利要求8所述的基于多传感器的睡眠监测方法，其特征在于，所述步骤S3还包括：输入层包括7个节点，分别对应翻身次数、起夜次数、打鼾频率、声音大小、呼吸频率、心率、血氧饱和度共7个参数，输出层包括1个节点，对应睡眠质量分类，结果包括优、良好、中等、中下、不健康、非常不健康。
10.一种如权利要求1-9任意项所述的基于多传感器的睡眠监测方法的设备，其特征在于，所述设备包括：监测摄像头、麦克风、包含心率测量和血氧饱和度测量功能的智能手环以及数据处理模块，其中，数据处理模块还包括：
视频处理模块，其用于对监测摄像头采集的视频进行处理，获得用户翻身次数和起夜次数；
音频处理模块，其用于对麦克风采集的音频数据进行处理，获得用户呼吸频率信息和打鼾频率、声音分贝大小信息；
数据融合模块，其采用粒子群算法改进的神经网络对音视频数据以及心率和血氧饱和度进行融合处理，得到用户睡眠质量等级输出。
CN202211048966.3A 2022-08-30 2022-08-30 一种基于多传感器的睡眠监测方法和设备 Pending CN115581435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211048966.3A CN115581435A (zh) 2022-08-30 2022-08-30 一种基于多传感器的睡眠监测方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211048966.3A CN115581435A (zh) 2022-08-30 2022-08-30 一种基于多传感器的睡眠监测方法和设备

Publications (1)

Publication Number Publication Date
CN115581435A true CN115581435A (zh) 2023-01-10

Family

ID=84771660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211048966.3A Pending CN115581435A (zh) 2022-08-30 2022-08-30 一种基于多传感器的睡眠监测方法和设备

Country Status (1)

Country Link
CN (1) CN115581435A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116671867A (zh) * 2023-06-06 2023-09-01 中国人民解放军海军特色医学中心 一种针对水下作业人员的睡眠质量评测方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392223A (zh) * 2014-12-05 2015-03-04 青岛科技大学 二维视频图像中的人体姿态识别方法
CN108388912A (zh) * 2018-02-08 2018-08-10 南京理工大学 基于多传感器特征优化算法的睡眠分期方法
US20190201267A1 (en) * 2017-12-28 2019-07-04 Sleep Number Corporation Bed having sensor fusing features useful for determining snore and breathing parameters
CN110781735A (zh) * 2019-09-18 2020-02-11 重庆特斯联智慧科技股份有限公司 一种用于识别人员在岗状态的报警方法及系统
CN111248868A (zh) * 2020-02-20 2020-06-09 长沙湖湘医疗器械有限公司 一种快眼动睡眠分析方法、系统及设备
CN112102946A (zh) * 2019-11-21 2020-12-18 北京健康有益科技有限公司 一种基于深度学习的睡眠质量检测方法和装置
CN113038668A (zh) * 2019-05-26 2021-06-25 中国计量大学上虞高等研究院有限公司 基于入睡效率因素的照明控制系统
CN113679339A (zh) * 2020-05-19 2021-11-23 安徽华米健康科技有限公司 睡眠监测方法、设备、系统以及存储介质
CN114067435A (zh) * 2021-11-15 2022-02-18 山东大学 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和系统
CN114391807A (zh) * 2021-12-17 2022-04-26 珠海脉动时代健康科技有限公司 睡眠呼吸障碍分析方法、装置、设备及可读介质
CN114652280A (zh) * 2020-12-23 2022-06-24 沈阳新松机器人自动化股份有限公司 睡眠质量监测系统及方法
CN114898261A (zh) * 2022-05-07 2022-08-12 山东大学 一种基于视频和生理数据融合的睡眠质量评估方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392223A (zh) * 2014-12-05 2015-03-04 青岛科技大学 二维视频图像中的人体姿态识别方法
US20190201267A1 (en) * 2017-12-28 2019-07-04 Sleep Number Corporation Bed having sensor fusing features useful for determining snore and breathing parameters
CN108388912A (zh) * 2018-02-08 2018-08-10 南京理工大学 基于多传感器特征优化算法的睡眠分期方法
CN113038668A (zh) * 2019-05-26 2021-06-25 中国计量大学上虞高等研究院有限公司 基于入睡效率因素的照明控制系统
CN110781735A (zh) * 2019-09-18 2020-02-11 重庆特斯联智慧科技股份有限公司 一种用于识别人员在岗状态的报警方法及系统
CN112102946A (zh) * 2019-11-21 2020-12-18 北京健康有益科技有限公司 一种基于深度学习的睡眠质量检测方法和装置
CN111248868A (zh) * 2020-02-20 2020-06-09 长沙湖湘医疗器械有限公司 一种快眼动睡眠分析方法、系统及设备
CN113679339A (zh) * 2020-05-19 2021-11-23 安徽华米健康科技有限公司 睡眠监测方法、设备、系统以及存储介质
CN114652280A (zh) * 2020-12-23 2022-06-24 沈阳新松机器人自动化股份有限公司 睡眠质量监测系统及方法
CN114067435A (zh) * 2021-11-15 2022-02-18 山东大学 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和系统
CN114391807A (zh) * 2021-12-17 2022-04-26 珠海脉动时代健康科技有限公司 睡眠呼吸障碍分析方法、装置、设备及可读介质
CN114898261A (zh) * 2022-05-07 2022-08-12 山东大学 一种基于视频和生理数据融合的睡眠质量评估方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
夏翔 等: "基于PSO-RBF的神经网络在猪舍多传感器数据融合技术中的应用", 黑龙江畜牧兽医, no. 15, pages 91 - 94 *
戴凤智 等: "基于多传感器的睡眠监测与评估系统设计", 国外电子测量技术, vol. 41, no. 4, 30 April 2022 (2022-04-30), pages 126 - 133 *
郭金鑫 等: "基于HOG多特征融合与随机森林的人脸识别", 计算机科学, vol. 40, no. 10, pages 279 - 283 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116671867A (zh) * 2023-06-06 2023-09-01 中国人民解放军海军特色医学中心 一种针对水下作业人员的睡眠质量评测方法及系统
CN116671867B (zh) * 2023-06-06 2024-02-20 中国人民解放军海军特色医学中心 一种针对水下作业人员的睡眠质量评测方法及系统

Similar Documents

Publication Publication Date Title
Hsu et al. Deep learning with time-frequency representation for pulse estimation from facial videos
CN109543526B (zh) 基于深度差异性特征的真假面瘫识别系统
CN109993068B (zh) 一种基于心率和面部特征的非接触式的人类情感识别方法
CN112587153B (zh) 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法
CN112200162B (zh) 基于端到端网络的非接触式心率测量方法、系统和装置
CN112465905A (zh) 基于深度学习的磁共振成像数据的特征脑区定位方法
CN111128242A (zh) 一种基于双深度网络的多模式情感信息融合与识别方法
Chen et al. A new deep learning framework based on blood pressure range constraint for continuous cuffless BP estimation
CN112151167A (zh) 一种基于深度学习的儿童六龄牙龋齿智能筛查方法
CN111967354A (zh) 基于肢体和微表情的多模态特征的抑郁倾向识别方法
CN115581435A (zh) 一种基于多传感器的睡眠监测方法和设备
CN113096819A (zh) 一种基于神经卷积网络的疫情防控筛查预警系统
CN115346272A (zh) 基于深度图像序列的实时摔倒检测方法
CN115462783A (zh) 一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统
WO2021120007A1 (zh) 一种基于红外图像序列的睡眠质量评估系统和方法
CN115170870A (zh) 基于深度学习的婴儿行为特征分类方法和系统
CN113506274A (zh) 基于视觉显著性差异图的用于人体认知状况的检测系统
CN110135357B (zh) 一种基于远程遥感的幸福感实时检测方法
CN116421200A (zh) 一种基于并行训练的多任务混合模型的脑电情感分析方法
CN111063438A (zh) 一种基于红外图像序列的睡眠质量评估系统和方法
CN114842957B (zh) 一种基于情绪识别的老年痴呆症辅助诊断系统及其方法
CN113693573B (zh) 一种基于视频的非接触式多生理参数监测的系统及方法
CN112101095B (zh) 基于语言和肢体特征的自杀和暴力倾向情感识别方法
CN114067435A (zh) 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和系统
CN114120370A (zh) 基于cnn-lstm的人体跌倒检测实现方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination