CN114098654A - 一种人体睡眠状态检测方法及装置 - Google Patents

一种人体睡眠状态检测方法及装置 Download PDF

Info

Publication number
CN114098654A
CN114098654A CN202210078145.8A CN202210078145A CN114098654A CN 114098654 A CN114098654 A CN 114098654A CN 202210078145 A CN202210078145 A CN 202210078145A CN 114098654 A CN114098654 A CN 114098654A
Authority
CN
China
Prior art keywords
human body
sleep state
detection
video
body part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210078145.8A
Other languages
English (en)
Other versions
CN114098654B (zh
Inventor
郭靖丰
吉小鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210078145.8A priority Critical patent/CN114098654B/zh
Publication of CN114098654A publication Critical patent/CN114098654A/zh
Application granted granted Critical
Publication of CN114098654B publication Critical patent/CN114098654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种人体睡眠状态检测方法及装置，其中人体睡眠状态检测方法包括视频帧转化模块、人体部位位置检测模块、人体身高参数计算模块、人体部位移动检测模块、睡眠状态检测模块，以实时采集的目标人体的各人体部位的视频为输入，目标人体睡眠状态标签为输出，实现对目标人体睡眠质量的实时监测，人体睡眠状态检测装置包括RGB‑NIR摄像头，以及分别与其连接的近红外光源、嵌入式人体睡眠状态检测设备，人体睡眠状态检测装置用于实现所述的人体睡眠状态检测方法。

Description

一种人体睡眠状态检测方法及装置
技术领域
本发明涉及一种人体睡眠状态检测方法，还涉及实现人体睡眠状态检测方法的装置。
背景技术
早期的人体睡眠状态检测系统，依赖于基于接触的设备，需要将传感器连接到目标人体的身体或床上，给用户造成不便。后来发展了基于视觉的方法，主要是采用普通摄像头采集目标人体的面部表情图像或视频进行睡眠状态检测，这种方法存在两个方面的缺陷，其一：它们都需要将目标人体的面部直接朝向摄像机，这对目标人体所处的环境有很大要求；其二：睡眠状态检测系统的主要应用场景是夜晚，但夜间光线较暗，传统的方法因夜间无法获得清晰准确的目标人体图像，经常造成误报或漏报。
发明内容
本发明目的：在于提供一种人体睡眠状态检测方法及装置，解决了传统的人体睡眠状态检测方法及装置需要接触式测量、需要目标人体面对摄像头、夜间效果不佳等缺点。
为实现以上功能，本发明设计一种人体睡眠状态检测方法，按如下步骤S1-步骤S7，获得人体睡眠状态检测模型，然后应用人体睡眠状态检测模型，完成对人体睡眠状态的检测。
S1.以固定图像获取姿态，实时采集包含目标人体的头部、左脚、右脚，以及其他预设人体部位的视频，每个人体部位上至少存在三个检测点，其中头部的检测点中包括额头检测点，左脚的检测点中包括左脚底检测点，右脚的检测点中包括右脚底检测点。
S2.以各人体部位的视频为输入，以各人体部位分别所对应按时序排列的视频帧序列为输出，构建视频帧转化模块，其中视频帧序列中的各视频帧为NIR格式。
S3.基于卷积神经网络，以各人体部位分别所对应按时序排列的视频帧序列为输入，以各人体部位上各检测点分别在所属视频帧中的位置为输出，构建人体部位位置检测模块。
S4.以人体部位位置检测模块输出的目标人体的额头检测点、左脚底检测点、右脚底检测点的位置为输入，以目标人体的身高参数为输出，构建人体身高参数计算模块。
S5.以人体部位位置检测模块输出的目标人体的各人体部位的各检测点在各视频帧中的位置、以及人体身高参数计算模块输出的身高参数为输入，以预设周期对视频帧序列进行划分，针对每个预设周期，以各人体部位的移动持续时间、各人体部位发生移动的次数为输出，构建人体部位移动检测模块。
其中基于人体部位位置检测模块输出的各人体部位的各检测点在各视频帧中的位置，计算各人体部位的各检测点在相邻两视频帧中的位移，并基于目标人体的身高参数，针对每个检测点的位移预设与目标人体的身高参数相对应的位移阈值，各检测点在相邻两视频帧中的位移大于其所对应的预设位移阈值，则判定该检测点发生移动，否则判定该检测点未发生移动，属于同一部位的至少三个检测点位移发生移动时，判定该人体部位发生移动。
S6.基于已知预设分类的目标人体睡眠状态标签，以各预设周期中人体部位移动检测模块输出的各人体部位的移动持续时间、各人体部位发生移动的次数为输入，以预设周期中目标人体睡眠状态标签为输出，构建睡眠状态检测模块。
其中，针对各预设周期，基于各人体部位的移动持续时间，预设与其相对应的时间阈值，基于各人体部位发生移动的次数，预设与其相对应的次数阈值；发生移动的各人体部位的移动持续时间大于时间阈值，或者各人体部位发生移动的次数大于次数阈值，则睡眠状态检测模块输出的目标人体睡眠状态标签为不适，否则为舒适。
S7.基于视频帧转化模块、人体部位位置检测模块、人体身高参数计算模块、人体部位移动检测模块、睡眠状态检测模块，以实时采集的目标人体的各人体部位的视频为输入，以预设周期中目标人体睡眠状态标签为输出，构建人体睡眠状态检测模型。
作为本发明的一种优选技术方案：步骤S2中将实时采集的目标人体的各人体部位视频转化为视频帧序列的具体步骤如下：S21.针对实时采集的目标人体的各人体部位的视频，预设光照强度阈值，光照强度大于或等于预设光照强度阈值的视频为日间视频，光照强度小于预设光照强度阈值的视频为夜间视频；日间视频所对应的各视频帧为RGB格式，夜间视频所对应的各视频帧为NIR格式。
S22.针对日间视频所对应的各视频帧，统计各视频帧红色通道中各个像素点的像 素值及各个像素值出现的次数，以各个像素值为横坐标，以各个像素值出现的次数为纵坐 标，构建分布函数
Figure 100002_DEST_PATH_IMAGE001
，其中r为像素值。
针对预设NIR格式的图像，统计该图像中各个像素点的像素值及各个像素值出现 的次数，以各个像素值为横坐标，以各个像素值出现的次数为纵坐标，构建分布函数
Figure 100002_DEST_PATH_IMAGE002
， 其中t为像素值。
S23.基于映射关系函数
Figure 100002_DEST_PATH_IMAGE003
，将日间视频所对应的各视频帧的红色通道 中各像素值r修改为预设NIR格式的图像的各像素值t，从而将日间视频所对应的、RGB格式 的各视频帧转化为与其对应的NIR格式的视频帧。
S24.将转化后日间视频所对应的NIR格式的各视频帧与夜间视频所对应的各视频帧按时序排列，共同构成输入人体部位位置检测模块的视频帧序列。
作为本发明的一种优选技术方案：所述预设NIR格式的图像为基于预设固定位置、采用NIR相机拍摄的目标人体各人体部位的NIR格式的照片。
作为本发明的一种优选技术方案：所述预设NIR格式的图像为目标人体夜间视频所对应的预设帧数的视频帧。
作为本发明的一种优选技术方案：所述步骤S4中计算目标人体的身高参数的具体步骤如下：S41.基于目标人体额头检测点的位置（x 1，y 1）、左脚底检测点的位置（x 2，y 2）、右脚底检测点的位置（x 3，y 3），根据下式分别计算目标人体额头检测点至左脚底检测点、左脚底检测点的直线距离h 1、h 2：
Figure 100002_DEST_PATH_IMAGE004
S42.基于额头检测点至左脚底检测点、右脚底检测点的直线距离h 1、h 2，计算其平 均值
Figure 100002_DEST_PATH_IMAGE005
作为目标人体的身高。
S43.基于目标人体的身高
Figure 139340DEST_PATH_IMAGE005
，根据下式获得目标人体的身高参数h：
Figure 100002_DEST_PATH_IMAGE006
式中，c为预设缩放系数。
作为本发明的一种优选技术方案：所述其他预设人体部位包括左臂、右臂、躯干、左腿、右腿。
本发明还设计一种人体睡眠状态检测装置，其特征在于，包括RGB-NIR摄像头，以及分别与其连接的近红外光源、嵌入式人体睡眠状态检测设备。
其中，RGB-NIR摄像头用于实时采集目标人体各人体部位的视频，近红外光源用于在夜间为RGB-NIR摄像头提供照明，嵌入式人体睡眠状态检测设备包括视频帧转化模块、人体部位位置检测模块、人体身高参数计算模块、人体部位移动检测模块、睡眠状态检测模块，使得所述嵌入式人体睡眠状态检测设备实现所述的一种人体睡眠状态检测方法。
有益效果：相对于现有技术，本发明的优点包括：本发明设计了一种人体睡眠状态检测方法及装置，其中人体睡眠状态检测方法实现了对目标人体睡眠质量的实时监测，解决了人体睡眠状态检测方法在夜间经常误报或漏报的问题，人体睡眠状态检测装置包含兼具彩色和近红外功能的摄像头、红外光源和嵌入式人体睡眠状态检测设备，无需使用任何可穿戴传感器，解决了传统人体睡眠状态检测装置对目标人体所处的环境要求大的问题。
附图说明
图1是根据本发明实施例提供的人体睡眠状态检测方法的流程图；
图2是根据本发明实施例提供的构建输入人体部位位置检测模块的视频帧序列的流程图；
图3是根据本发明实施例提供的各预设人体部位图；
图3中：1、目标人体的头部；2、目标人体的躯干；3、目标人体的右臂；4、目标人体的左臂；5、目标人体的右腿；6、目标人体的左腿。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
参照图1，本发明实施例提供的一种人体睡眠状态检测方法，其特征在于，按如下步骤S1-步骤S7，获得人体睡眠状态检测模型，然后应用人体睡眠状态检测模型，完成对人体睡眠状态的检测。
S1.以固定图像获取姿态，实时采集包含目标人体的头部、左脚、右脚，以及其他预设人体部位的视频，每个人体部位上至少存在三个检测点，其中头部的检测点中包括额头检测点，左脚的检测点中包括左脚底检测点，右脚的检测点中包括右脚底检测点。
各检测点用于形成目标人体的人体部位，其中头部的检测点还包括鼻子检测点、左耳检测点、右耳检测点、左眼检测点、右眼检测点。
S2.以各人体部位的视频为输入，以各人体部位分别所对应按时序排列的视频帧序列为输出，构建视频帧转化模块，其中视频帧序列中的各视频帧为NIR格式。
本发明实施例提供的人体睡眠状态检测方法，参考图2，步骤S2中将实时采集的目标人体的各人体部位视频转化为视频帧序列的具体步骤如下：
S21.针对实时采集的目标人体的各人体部位的视频，预设光照强度阈值，光照强度大于或等于预设光照强度阈值的视频为日间视频，光照强度小于预设光照强度阈值的视频为夜间视频；其中，日间视频为彩色视频，日间视频所对应的各视频帧为RGB格式，夜间视频为近红外视频，夜间视频所对应的各视频帧为NIR格式。
S22.针对日间视频所对应的各视频帧，统计各视频帧红色通道中各个像素点的像 素值及各个像素值出现的次数，以各个像素值为横坐标，以各个像素值出现的次数为纵坐 标，构建分布函数
Figure 994163DEST_PATH_IMAGE001
，其中r为像素值。
针对预设NIR格式的图像，统计该图像中各个像素点的像素值及各个像素值出现 的次数，以各个像素值为横坐标，以各个像素值出现的次数为纵坐标，构建分布函数
Figure 649267DEST_PATH_IMAGE002
， 其中t为像素值。
S23.基于映射关系函数
Figure 916912DEST_PATH_IMAGE003
，将日间视频所对应的各视频帧的红色通道 中各像素值r修改为预设NIR格式的图像的各像素值t，从而将日间视频所对应的、RGB格式 的各视频帧转化为与其对应的NIR格式的视频帧。
S24.将转化后日间视频所对应的NIR格式的各视频帧与夜间视频所对应的各视频帧按时序排列，共同构成输入人体部位位置检测模块的视频帧序列。
在一个实施例中，所述预设NIR格式的图像为基于预设固定位置、采用NIR相机拍摄的目标人体各人体部位的NIR格式的照片。
在一个实施例中，所述预设NIR格式的图像为目标人体夜间视频所对应的预设帧数的视频帧。
S3.基于卷积神经网络，以各人体部位分别所对应按时序排列的视频帧序列为输入，以各人体部位上各检测点分别在所属视频帧中的位置为输出，构建人体部位位置检测模块。
在一个实施例中，卷积神经网络采用Faster RCNN深度学习方法或Mask RCNN深度学习方法提取各人体部位上各检测点分别在所属视频帧中的位置。
S4.以人体部位位置检测模块输出的目标人体的额头检测点、左脚底检测点、右脚底检测点的位置为输入，以目标人体的身高参数为输出，构建人体身高参数计算模块。
本发明实施例提供的人体睡眠状态检测方法，所述步骤S4中计算目标人体的身高参数的具体步骤如下：
S41.基于目标人体额头检测点的位置（x 1，y 1）、左脚底检测点的位置（x 2，y 2）、右脚底检测点的位置（x 3，y 3），根据下式分别计算目标人体额头检测点至左脚底检测点、左脚底检测点的直线距离h 1、h 2：
Figure 544334DEST_PATH_IMAGE004
S42.基于额头检测点至左脚底检测点、右脚底检测点的直线距离h 1、h 2，计算其平 均值
Figure 242163DEST_PATH_IMAGE005
为目标人体的身高。
S43.基于目标人体的身高
Figure 571513DEST_PATH_IMAGE005
，根据下式获得目标人体的身高参数h：
Figure 645779DEST_PATH_IMAGE006
式中，c为预设缩放系数。
S5.以人体部位位置检测模块输出的目标人体的各人体部位的各检测点在各视频帧中的位置、以及人体身高参数计算模块输出的身高参数为输入，以预设周期对视频帧序列进行划分，针对每个预设周期，以各人体部位的移动持续时间、各人体部位发生移动的次数为输出，构建人体部位移动检测模块。
其中基于人体部位位置检测模块输出的各人体部位的各检测点在各视频帧中的位置，计算各人体部位的各检测点在相邻两视频帧中的位移，并基于目标人体的身高参数，针对每个检测点的位移预设与目标人体的身高参数相对应的位移阈值，各检测点在相邻两视频帧中的位移大于其所对应的预设位移阈值，则判定该检测点发生移动，否则判定该检测点未发生移动，属于同一部位的至少三个检测点位移发生移动时，判定该人体部位发生移动。
S6.基于已知预设分类的目标人体睡眠状态标签，以各预设周期中人体部位移动检测模块输出的各人体部位的移动持续时间、各人体部位发生移动的次数为输入，以预设周期中目标人体睡眠状态标签为输出，构建睡眠状态检测模块。
其中，针对各预设周期，基于各人体部位的移动持续时间，预设与其相对应的时间阈值，基于各人体部位发生移动的次数，预设与其相对应的次数阈值；发生移动的各人体部位的移动持续时间大于时间阈值，或者各人体部位发生移动的次数大于次数阈值，则睡眠状态检测模块输出的目标人体睡眠状态标签为不适，否则为舒适；则睡眠状态检测模块输出的目标人体睡眠状态标签为不适的同时推送告警信息，或向紧急联系人发送信息。
S7.基于视频帧转化模块、人体部位位置检测模块、人体身高参数计算模块、人体部位移动检测模块、睡眠状态检测模块，以实时采集的目标人体的各人体部位的视频为输入，以预设周期中目标人体睡眠状态标签为输出，构建人体睡眠状态检测模型。
本发明实施例提供的人体睡眠状态检测方法，参考图3，所述其他预设人体部位包括左臂、右臂、躯干、左腿、右腿。
在一个实施例中，左臂的检测点包括左肩检测点、左肘检测点、左腕检测点，右臂的检测点与左臂的检测点对称，包括右肩检测点、右肘检测点、右腕检测点；左腿的检测点包括左臀部检测点、左膝检测点、左脚踝检测点，右腿的检测点与左腿的检测点对称，包括右臀部检测点、右膝检测点、右脚踝检测点。
本发明还提供一种用于实现所述人体睡眠状态检测方法的一种人体睡眠状态检测装置，包括RGB-NIR摄像头，以及分别与其连接的近红外光源、嵌入式人体睡眠状态检测设备。
其中，RGB-NIR摄像头用于实时采集目标人体各人体部位的视频，近红外光源用于在夜间为RGB-NIR摄像头提供照明，嵌入式人体睡眠状态检测设备包括视频帧转化模块、人体部位位置检测模块、人体身高参数计算模块、人体部位移动检测模块、睡眠状态检测模块，使得所述嵌入式人体睡眠状态检测设备实现所述的一种人体睡眠状态检测方法。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (7)

1.一种人体睡眠状态检测方法，其特征在于，按如下步骤S1-步骤S7，获得人体睡眠状态检测模型，然后应用人体睡眠状态检测模型，完成对人体睡眠状态的检测；
S1.以固定图像获取姿态，实时采集包含目标人体的头部、左脚、右脚，以及其他预设人体部位的视频，每个人体部位上至少存在三个检测点，其中头部的检测点中包括额头检测点，左脚的检测点中包括左脚底检测点，右脚的检测点中包括右脚底检测点；
S2.以各人体部位的视频为输入，以各人体部位分别所对应按时序排列的视频帧序列为输出，构建视频帧转化模块，其中视频帧序列中的各视频帧为NIR格式；
S3.基于卷积神经网络，以各人体部位分别所对应按时序排列的视频帧序列为输入，以各人体部位上各检测点分别在所属视频帧中的位置为输出，构建人体部位位置检测模块；
S4.以人体部位位置检测模块输出的目标人体的额头检测点、左脚底检测点、右脚底检测点的位置为输入，以目标人体的身高参数为输出，构建人体身高参数计算模块；
S5.以人体部位位置检测模块输出的目标人体的各人体部位的各检测点在各视频帧中的位置、以及人体身高参数计算模块输出的身高参数为输入，以预设周期对视频帧序列进行划分，针对每个预设周期，以各人体部位的移动持续时间、各人体部位发生移动的次数为输出，构建人体部位移动检测模块；
其中基于人体部位位置检测模块输出的各人体部位的各检测点在各视频帧中的位置，计算各人体部位的各检测点在相邻两视频帧中的位移，并基于目标人体的身高参数，针对每个检测点的位移预设与目标人体的身高参数相对应的位移阈值，各检测点在相邻两视频帧中的位移大于其所对应的预设位移阈值，则判定该检测点发生移动，否则判定该检测点未发生移动，属于同一部位的至少三个检测点位移发生移动时，判定该人体部位发生移动；
S6.基于已知预设分类的目标人体睡眠状态标签，以各预设周期中人体部位移动检测模块输出的各人体部位的移动持续时间、各人体部位发生移动的次数为输入，以预设周期中目标人体睡眠状态标签为输出，构建睡眠状态检测模块；
其中，针对各预设周期，基于各人体部位的移动持续时间，预设与其相对应的时间阈值，基于各人体部位发生移动的次数，预设与其相对应的次数阈值；发生移动的各人体部位的移动持续时间大于时间阈值，或者各人体部位发生移动的次数大于次数阈值，则睡眠状态检测模块输出的目标人体睡眠状态标签为不适，否则为舒适；
S7.基于视频帧转化模块、人体部位位置检测模块、人体身高参数计算模块、人体部位移动检测模块、睡眠状态检测模块，以实时采集的目标人体的各人体部位的视频为输入，以预设周期中目标人体睡眠状态标签为输出，构建人体睡眠状态检测模型。
2.如权利要求1所述的一种人体睡眠状态检测方法，其特征在于，步骤S2中将实时采集的目标人体的各人体部位视频转化为视频帧序列的具体步骤如下：
S21.针对实时采集的目标人体的各人体部位的视频，预设光照强度阈值，光照强度大于或等于预设光照强度阈值的视频为日间视频，光照强度小于预设光照强度阈值的视频为夜间视频；日间视频所对应的各视频帧为RGB格式，夜间视频所对应的各视频帧为NIR格式；
S22.针对日间视频所对应的各视频帧，统计各视频帧红色通道中各个像素点的像素值 及各个像素值出现的次数，以各个像素值为横坐标，以各个像素值出现的次数为纵坐标，构 建分布函数
Figure DEST_PATH_IMAGE001
，其中r为像素值；
针对预设NIR格式的图像，统计该图像中各个像素点的像素值及各个像素值出现的次 数，以各个像素值为横坐标，以各个像素值出现的次数为纵坐标，构建分布函数
Figure DEST_PATH_IMAGE002
，其中t 为像素值；
S23.基于映射关系函数
Figure DEST_PATH_IMAGE003
，将日间视频所对应的各视频帧的红色通道中各 像素值r修改为预设NIR格式的图像的各像素值t，从而将日间视频所对应的、RGB格式的各 视频帧转化为与其对应的NIR格式的视频帧；
S24.将转化后日间视频所对应的NIR格式的各视频帧与夜间视频所对应的各视频帧按时序排列，共同构成输入人体部位位置检测模块的视频帧序列。
3.如权利要求2所述的一种人体睡眠状态检测方法，其特征在于，所述预设NIR格式的图像为基于预设固定位置、采用NIR相机拍摄的目标人体各人体部位的NIR格式的照片。
4.如权利要求2所述的一种人体睡眠状态检测方法，其特征在于，所述预设NIR格式的图像为目标人体夜间视频所对应的预设帧数的视频帧。
5.如权利要求1所述的一种人体睡眠状态检测方法，其特征在于，所述步骤S4中计算目标人体的身高参数的具体步骤如下：
S41.基于目标人体额头检测点的位置（x 1，y 1）、左脚底检测点的位置（x 2，y 2）、右脚底检测点的位置（x 3，y 3），根据下式分别计算目标人体额头检测点至左脚底检测点、左脚底检测点的直线距离h 1、h 2：
Figure DEST_PATH_IMAGE004
S42.基于额头检测点至左脚底检测点、右脚底检测点的直线距离h 1、h 2，计算其平均值
Figure DEST_PATH_IMAGE005
作为目标人体的身高；
S43.基于目标人体的身高
Figure 19100DEST_PATH_IMAGE005
，根据下式获得目标人体的身高参数h：
Figure DEST_PATH_IMAGE006
式中，c为预设缩放系数。
6.如权利要求1所述的一种人体睡眠状态检测方法，其特征在于，所述其他预设人体部位包括左臂、右臂、躯干、左腿、右腿。
7.一种人体睡眠状态检测装置，其特征在于，包括RGB-NIR摄像头，以及分别与其连接的近红外光源、嵌入式人体睡眠状态检测设备；
其中，RGB-NIR摄像头用于实时采集目标人体各人体部位的视频，近红外光源用于在夜间为RGB-NIR摄像头提供照明，嵌入式人体睡眠状态检测设备包括视频帧转化模块、人体部位位置检测模块、人体身高参数计算模块、人体部位移动检测模块、睡眠状态检测模块，使得所述嵌入式人体睡眠状态检测设备实现如权利要求1-6中任一项所述的一种人体睡眠状态检测方法。
CN202210078145.8A 2022-01-24 2022-01-24 一种人体睡眠状态检测方法及装置 Active CN114098654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210078145.8A CN114098654B (zh) 2022-01-24 2022-01-24 一种人体睡眠状态检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210078145.8A CN114098654B (zh) 2022-01-24 2022-01-24 一种人体睡眠状态检测方法及装置

Publications (2)

Publication Number Publication Date
CN114098654A true CN114098654A (zh) 2022-03-01
CN114098654B CN114098654B (zh) 2022-04-08

Family

ID=80361037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210078145.8A Active CN114098654B (zh) 2022-01-24 2022-01-24 一种人体睡眠状态检测方法及装置

Country Status (1)

Country Link
CN (1) CN114098654B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032672A (ja) * 2001-07-17 2003-01-31 Sumitomo Osaka Cement Co Ltd 監視装置
CN105930778A (zh) * 2016-04-14 2016-09-07 厦门理工学院 一种基于红外图像的夜间人体睡姿监测方法及系统
CN107205650A (zh) * 2015-01-27 2017-09-26 苹果公司 用于确定睡眠质量的系统
CN108209871A (zh) * 2017-12-27 2018-06-29 深圳信息职业技术学院 睡眠监测方法、装置、系统及电子设备
CN109840493A (zh) * 2019-01-27 2019-06-04 武汉星巡智能科技有限公司 婴幼儿睡眠状态检测方法、装置及计算机可读存储介质
CN111768863A (zh) * 2020-06-28 2020-10-13 暨南大学 一种基于人工智能的婴幼儿发展监测系统及其方法
US20210251568A1 (en) * 2020-02-14 2021-08-19 Objectvideo Labs, Llc Infrared sleep monitoring

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032672A (ja) * 2001-07-17 2003-01-31 Sumitomo Osaka Cement Co Ltd 監視装置
CN107205650A (zh) * 2015-01-27 2017-09-26 苹果公司 用于确定睡眠质量的系统
CN105930778A (zh) * 2016-04-14 2016-09-07 厦门理工学院 一种基于红外图像的夜间人体睡姿监测方法及系统
CN108209871A (zh) * 2017-12-27 2018-06-29 深圳信息职业技术学院 睡眠监测方法、装置、系统及电子设备
CN109840493A (zh) * 2019-01-27 2019-06-04 武汉星巡智能科技有限公司 婴幼儿睡眠状态检测方法、装置及计算机可读存储介质
US20210251568A1 (en) * 2020-02-14 2021-08-19 Objectvideo Labs, Llc Infrared sleep monitoring
CN111768863A (zh) * 2020-06-28 2020-10-13 暨南大学 一种基于人工智能的婴幼儿发展监测系统及其方法

Also Published As

Publication number Publication date
CN114098654B (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
US11314324B2 (en) Neural network image processing apparatus
CN107193383B (zh) 一种基于人脸朝向约束的二级视线追踪方法
CN110309782B (zh) 一种基于红外与可见光双目系统的活体人脸检测方法
CN107292860B (zh) 一种图像处理的方法及装置
CN111916219B (zh) 检验检疫智能安全预警方法、装置及电子系统
CN105868574B (zh) 一种摄像头跟踪人脸的优化方法及基于视频的智慧健康监视系统
CN108921881A (zh) 一种基于单应性约束的跨摄像头目标跟踪方法
KR102305403B1 (ko) 깊이 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 깊이 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
KR100822476B1 (ko) 원격 응급상황 모니터링 시스템 및 방법
CN110393533A (zh) 一种结合惯性和红外的穿戴式动作捕捉系统及其方法
CN103729620B (zh) 一种基于多视角贝叶斯网络的多视角行人检测方法
CN114612823A (zh) 一种面向实验室安全管理的人员行为监测方法
CN109190522A (zh) 一种基于红外相机的活体检测方法
CN108737785B (zh) 基于tof 3d摄像机的室内跌倒自动检测系统
KR101193223B1 (ko) 인체 동작의 3ｄ 모션 구현방법
CN107729871A (zh) 基于红外光的人眼活动轨迹追踪方法及装置
CN104794459A (zh) 一种从视频中进行人员身份判断的方法
CN115222782A (zh) 对单目相机立体系统中的结构光投射器的安装校准
CN114098654B (zh) 一种人体睡眠状态检测方法及装置
CN115661856A (zh) 一种基于Lite-HRNet的自定义康复训练监测与评估方法
CN110910449A (zh) 识别物体三维位置的方法和系统
CN111387957A (zh) 一种非接触式的体温与呼吸率联合检测方法
US20120314044A1 (en) Imaging device
CN111695479A (zh) 基于图像减影技术的跌倒预警方法
TWI755950B (zh) 動作識別方法及其系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant