CN113283415B - 一种基于深度相机的久坐久卧检测方法 - Google Patents

一种基于深度相机的久坐久卧检测方法 Download PDF

Info

Publication number
CN113283415B
CN113283415B CN202110843581.5A CN202110843581A CN113283415B CN 113283415 B CN113283415 B CN 113283415B CN 202110843581 A CN202110843581 A CN 202110843581A CN 113283415 B CN113283415 B CN 113283415B
Authority
CN
China
Prior art keywords
sedentary
head
height
data
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110843581.5A
Other languages
English (en)
Other versions
CN113283415A (zh
Inventor
阮钰标
刘林
徐勇军
彭雅丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Guangpo Intelligent Technology Co ltd
Original Assignee
Zhejiang Guangpo Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Guangpo Intelligent Technology Co ltd filed Critical Zhejiang Guangpo Intelligent Technology Co ltd
Priority to CN202110843581.5A priority Critical patent/CN113283415B/zh
Publication of CN113283415A publication Critical patent/CN113283415A/zh
Application granted granted Critical
Publication of CN113283415B publication Critical patent/CN113283415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度相机的久坐久卧检测方法。为了克服现有技术人体姿势识别容易暴露隐私，且识别结果容易受环境影响的问题；本发明包括以下步骤：S1：在房间内安装深度相机，获取深度数据；S2：根据头肩模型逐帧识别判断房间内人数，当人数为一时，建立人物跟踪列表；S3：提取深度数据中人物的点云信息进行坐标转换，通过头部的高度阈值比较判断是否进入久坐久卧判定过程；S4：久坐久卧判定过程中通过人物跟踪列表判定人物是否处于久坐久卧状态；人物处于久坐久卧状态后，进行持续保持阶段判定，累加持续时间，当持续时间超过时间阈值时，发出报警信号。本方案采用深度相机识别头部，进行久卧久坐的识别，不会暴露隐私，受环境影响小。

Description

一种基于深度相机的久坐久卧检测方法
技术领域
本发明涉及一种视觉识别领域，尤其涉及一种基于深度相机的久坐久卧检测方法。
背景技术
近年来，深度传感器技术发展突飞猛进，不同领域都在探索使用深度传感器。
基于ToF方案实现的深度相机由于具有低成本、高精度、高可靠性和高帧率等优点，越来越受到人们的关注。ToF 相机通过计算发射红外信号与反射信号间的相位差，得到三维深度信息。相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系。基于以上特点，ToF 相机可以应用在很多场景，如机器人视觉、三维重建、娱乐交互、及时定位与地图构建等。随着基于深度学习的算法越来越成熟，通过深度信息，对于人体动作的检测的准确率已满足姿势检测的需求。
随着年龄增长，人体各项生理机能退化严重，老年人很容易发生意外，不及时发现处理，会导致身体受到不可逆的伤害。近年来，随着国内人口老龄化越来越严重，主要针对老年人的看护设备正受到越来越多的关注。
现有的技术方案主要有基于传统相机的视觉技术和基于毫米波雷达技术。基于传统相机的视觉技术的方案，采用了传统的摄像头，以成像的方式采集场景照片，在对照片进行算法分析，从而实现检测。这个方案的主要缺点就是光线和隐私泄露的问题，不能部署于对隐私敏感的场合，如卧室、卫生间。
基于毫米波雷达技术的方案，不使用成像技术，采用了毫米波技术（30～300GHz频域、波长为1～10mm），解决了隐私泄露的问题，但是毫米波雷达数据非常稀疏，导致算法准确性比较差。
例如，一种在中国专利文献上公开的“融合彩色图像与深度信息的人体卧姿三维姿态估计方法”，其公告号CN112215172A，先使用RGBD相机同时捕获运动的人体所在空间内的彩色图像和深度信息；基于自下而上的深度学习方法对彩色图像进行人体二维关键点位置检测；再利用相机标定得到的相关参数对彩色图像与深度信息进行空间匹配实，实现人体关键点的三维坐标粗略定位；然后基于个性化的人体尺寸参数对深度相机的采集误差进行修正；最后考虑运动本身在时间尺度上的连续性，利用插帧和滤波方法对各关键点的三维坐标序列进行进一步修正，准确实现人体卧姿三维姿态估计。该方案通过彩色图像识别，容易暴露隐私。
发明内容
本发明主要解决现有技术人体姿势识别容易暴露隐私，且识别结果容易受环境影响的问题；提供一种基于深度相机的久坐久卧检测方法，采用深度相机识别头部，进行久卧久坐的识别，不会暴露隐私，受环境影响小。
本发明的上述技术问题主要是通过下述技术方案得以解决的：
一种基于深度相机的久坐久卧检测方法，包括以下步骤：
S1：在房间内安装深度相机，获取深度数据；
S2：根据头肩模型逐帧识别判断房间内人数是否为一人；若是，则建立人物跟踪列表，并执行下一步；若否，则等待下一帧；
S3：提取深度数据中人物的点云信息进行坐标转换，通过头部的高度阈值比较判断是否进入久坐久卧判定过程；
S4：久坐久卧判定过程中通过人物跟踪列表判定人物是否处于久坐久卧状态；判定人物处于久坐久卧状态后，进行持续保持阶段判定，累加持续时间，当持续时间超过时间阈值时，发出报警信号。
本申请基于深度相机进行人体姿势的识别，利用深度相机具有高动态的测距范围、兼顾高低反射率物体的特点，能够适应复杂场景，输出稳定的数据；同时因为值采集深度数据，仅描述设备到人物的距离信息，不含其他任何敏感信息，具有保护隐私的特性。且通过头部识别，避免受到复杂场景（桌椅床等其他家居）的干扰而检测不到完整人物形状的影响，减少环境影响。
作为优选，所述的深度相机吊装在房间的屋顶，深度相机镜头正对地面。度相机吊装在房间的屋顶，深度相机镜头正对地面。安装不受户型和房间的限制，能够安装在卧室和浴室中。
作为优选，所述的步骤S2具体包括以下步骤：
所述的步骤S2具体包括以下步骤：
S21：将一帧深度数据转换为RGB图；深度数据的每一个像素点占用16位，通过灰度到JET的映射，获得高对比度的RGB图像；
S22：将RGB图转换为二值图像；采用卷积神经网络，用小型高速的网络来提取人体特征做二分类；
S23：根据二值图像组成特定的头肩模型；根据识别区的人物区域，使用局部二值模式，提取纹理特征，分析出头肩区域；
对识别出的头部区域和肩部区域，结合深度数据，进行数据验证，主要包括两方面，一是头部区域的长宽比例验证；二是通过获得头部的整体高度，验证头部的大小是否合理；
S24：根据头肩模型参数进行头部识别，识别房间内人数；
S25：当识别房间内人数为一人时，建立人物跟踪表，进入步骤S3；否则，返回步骤S21，进入下一帧的深度数据判定。
通过深度相机只采集深度数据，该数据是描述设备到人物的距离信息，不含其他任何敏感信息，具有保护隐私的特性。
作为优选，所述的人物跟踪列表包括深度数据和人物识别区域数据；人物识别区域数据具体包括头部识别矩形区域的宽、高、左上角顶点坐标和屋顶距离头部的平均距离，以及肩部识别矩形区域的宽、高、左上角顶点坐标和屋顶距离肩部的平均距离；人物跟踪列表通过匈牙利匹配算法关联帧间目标信息，实现时间序列上的目标跟踪；通过对连续时间内目标的平均高度的变化，来进行姿势变化的判断。
作为优选，所述的步骤S3包括以下步骤：
S31：将点云信息通过坐标转换，转换为（x,y,z）坐标；
S32：根据目标头部区域所有点集合的（x,y,z）坐标信息计算目标高度；取高度的最大值代表目标的瞬时高度；
S33：将得到的平均高度进行平滑滤波产生新的平均高度；
S34：若最大高度和平均高度大于阈值，则重置状态，等待下一帧；若最大高度和平均高度均在阈值范围内，则进行久坐就卧判定过程。
利用神经网络估计当前跟踪目标运动姿态、同时利用深度数据来监测目标当前高度和位置，用于判定这一过程是否符合坐下和躺下的动作要求。若目标在检测区域内出现符合久坐久卧的姿态，且高度低于给定阈值，则判定当前目标进入久坐久卧状态，开始计时。
作为优选，深度相机输出的深度数据为
Figure DEST_PATH_IMAGE001
字节大小的连续二进制数据， 数据以左上角为原点，从左到右为X轴正方向，从上到下为Y轴正方向的顺序存放深度数据；
其中，
Figure 179442DEST_PATH_IMAGE002
为深度相机的分辨率；
对于任意
Figure DEST_PATH_IMAGE003
，
Figure 562013DEST_PATH_IMAGE004
；坐标（x,y）对应的z值计算过程为：
Figure 571557DEST_PATH_IMAGE006
其中，z为对应坐标（x,y）的高度值；
Figure DEST_PATH_IMAGE007
为相机距离地面的高度；
data为深度数据的二进制序列。
通过判断目标所有点集合的(x，y，z)信息计算目标高度。
作为优选，所述的平滑滤波过程为：
Figure DEST_PATH_IMAGE009
其中，
Figure 824815DEST_PATH_IMAGE010
为新的平均高度；
Figure DEST_PATH_IMAGE011
为现在的瞬时高度；
Figure 894402DEST_PATH_IMAGE012
为上一帧的所有点的平均高度。
考虑到人在坐下或躺下过程中头部下降的高度最大，选择了求高度的最大值，并以这个最大值代表目标的瞬时高度。为了减少目标瞬时高度波动对检测结果的影响，需要结合上一步得到的平均高度进行平滑滤波以产生新的平均高度，并用得到的平均高度进行久坐久卧检测。
作为优选，所述的步骤S4包括以下步骤：
S41：通过人物跟踪列表判定人物是否符合久坐久卧；若是，则状态标记+1，否则清零，进入下一帧；
S42：判断状态标记是否大于等于3，若是，则取消久坐久卧判定过程，进入久坐久卧状态，否则，返回步骤S41判断；
S43：进入久坐久卧状态，进行持续保持阶段判定，累加久坐久卧状态的持续时间，当持续时间超过时间阈值时，发出报警信号；否则等待下一帧的判断。
本发明的有益效果是：
1. 基于深度相机进行人体姿势的识别，利用深度相机具有高动态的测距范围、兼顾高低反射率物体的特点，能够适应复杂场景，输出稳定的数据；
2.因为只采集深度数据，仅描述设备到人物的距离信息，不含其他任何敏感信息，具有保护隐私的特性。
3.通过头部识别，避免受到复杂场景的干扰而检测不到完整人物形状的影响，减少环境影响。
附图说明
图1是本发明的一种基于深度相机的久坐久卧检测方法的流程图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
本实施例的一种基于深度相机的久坐久卧检测方法，如图1所示，包括一下步骤：
S1：在房间内安装深度相机，获取深度数据。
在本实施例中，深度相机吊装在房间的屋顶，深度相机镜头正对地面。安装不受户型和房间的限制，能够安装在卧室和浴室中。
本实施例的久坐久卧姿势的检测，受到复杂场景（桌椅床等其他家居）的干扰，其中人物又是在动态的运动，这时候基于正面的人体姿态检测方法就不适合。本实施例的场景中基本检测不到完整的人物形状。
首先通过设备是吊装，人物出现在相机正下方和其他方位时，人物的姿势是不同的。在相机正下方时，人物的信息只有头肩的数据，识别不到手脚躯干等信息。
其次，人物会有坐下的动作，这个时候，人物会被桌子等其他物品遮挡。同理，人物躺下时，涉及到盖被子的遮挡。采用头肩模型检测，提高检测的准确性。
通过头部识别减少环境因素对识别的影响。
S2：根据头肩模型逐帧识别判断房间内人数是否为一人；若是，则建立人物跟踪列表，并执行下一步；若否，则等待下一帧。
久坐久卧危险性最大的场景是房间内只有一个人的情况(如果房间里有更多的人，可以及时发现并报警)，本实施例的久坐久卧检测只在人物跟踪输出的目标数为 1 的时候工作。如果输出的目标数不为 1，直接跳过久坐久卧检测逻辑。
基于实时背景更新和运动目标的复杂场景，提取场景中的运动目标后进行检测，再根据头肩模型和人体特征对动目标中的有效目标（人）进行筛选，从而判断出有效的人数。
人体特征的提取采用卷积神经网络，用小型高速的网络来提取人体特征做二分类，可以用来区分跟踪目标是人还是背景。
S21：将一帧深度数据转换为RGB图；深度数据的每一个像素点占用16位，通过灰度到JET的映射，获得高对比度的RGB图像。
然后使用person检测算法，使用了深度AI学习，通过在coco数据集上对nanodet模型进行训练，生成适用于单分类的person检测模型，实现人物的部分或整体的识别检测。
S22：将RGB图转换为二值图像；采用卷积神经网络，用小型高速的网络来提取人体特征做二分类；可以用来区分跟踪目标是人还是背景。
S23：根据二值图像组成特定的头肩模型；根据识别区的人物区域，使用局部二值模式（LBP），提取纹理特征，分析出头肩区域。
对识别出的头部区域和肩部区域，结合深度数据，进行数据验证，主要包括两方面，一是头部区域的长宽比例验证；二是通过获得头部的整体高度，验证头部的大小是否合理。
S24：根据头肩模型参数进行头部识别，识别房间内人数。
头肩模型的判定，是根据头部数据与肩部数据会有一个固有的深度差异，主要依赖头部宽度和深度数据，以及肩部的宽度与深度数据。
S25：当识别房间内人数为一人时，建立人物跟踪表，进入步骤S3；否则，返回步骤S21，进入下一帧的深度数据判定。
帧内识别出的目标信息，最终存入到跟踪列表。存入列表的目标信息包括深度数据和人物识别区域，头部宽度、平均深度、肩部宽度深度数据等。在本实施例中，人物跟踪列表包括深度数据和人物识别区域数据。
人物识别区域数据具体包括头部识别矩形区域的宽、高、左上角顶点坐标和屋顶距离头部的平均距离，以及肩部识别矩形区域的宽、高、左上角顶点坐标和屋顶距离肩部的平均距离。
人物跟踪列表通过匈牙利匹配算法关联帧间目标信息，实现时间序列上的目标跟踪；通过对连续时间内目标的平均高度的变化，来进行姿势变化的判断。
在本实施例中，人物跟踪列表的输出数据如下：
{head_x:114,head_y:129,head_width:12,head_height:18,head_depth:1417,shoulder_x:133,shoulder_y:108,shoulder_width:8,shoulder_height:39, shoulder_depth:1730,
depth:[
1909, 1924, 1948, 1918, 1824, 1943, 1929, 1831, 1738, 1695, 1671,1657, 1648, 1650
1864, 1867, 1883, 1781, 1752, 1737, 1817, 1755, 1706, 1678, 1659,1649, 1644, 1648
1798, 1786, 1785, 1749, 1677, 1687, 1732, 1776, 1686, 1667, 1650,1644, 1643, 1650
1707, 1687, 1682, 1683, 1643, 1746, 0, 1853, 1701, 1666, 1648, 1640,1644, 1654
1594, 1573, 1551, 1535, 1537, 1687, 0, 0, 0, 1720, 1658, 1639, 1648,1659
1517, 1503, 1483, 1465, 1478, 1525, 1553, 0, 0, 1880, 1714, 1658,1654, 1665
1466, 1453, 1439, 1428, 1428, 1470, 1522, 1616, 1819, 1963, 1875,1690, 1653, 1666
1429, 1419, 1410, 1404, 1400, 1416, 1476, 1616, 1871, 1987, 1900,1697, 1650, 1664
1405, 1395, 1391, 1387, 1388, 1403, 1469, 1544, 1669, 2003, 1914,1669, 1645, 1660
1391, 1381, 1380, 1378, 1375, 1392, 1439, 1544, 1809, 2016, 1921,1660, 1636, 1652
1387, 1375, 1371, 1369, 1367, 1390, 1473, 1544, 0, 0, 1748, 1639,1619, 1642
1392, 1377, 1369, 1362, 1359, 1397, 1445, 0, 0, 1972, 1730, 1596,1616, 1638
1408, 1388, 1375, 1368, 1367, 1425, 1531, 0, 0, 1762, 1621, 1599,1616, 1636
1437, 1409, 1390, 1391, 1381, 1425, 0, 1867, 1848, 1627, 1594, 1604,1616, 1635
1495, 1452, 1435, 1419, 0, 0, 0, 1826, 1657, 1592, 1598, 1607, 1617,1636
1572, 1535, 1522, 1505, 0, 0, 0, 1689, 1647, 1601, 1602, 1612, 1621,1639
1735, 1752, 1691, 1692, 0, 1676, 1700, 1680, 1643, 1613, 1611, 1618,1627, 1646
1775, 1784, 1792, 1785, 1674, 1739, 1717, 1672, 1636, 1626, 1622,1628, 1637, 1657
1799, 1801, 1803, 1805, 1796, 1776, 1738, 1688, 1652, 1639, 1634,1638, 1650, 1674]}
其中，head_x，head_y，head_width，head_height，单位是像素；
head_width表示头部识别矩形区域的宽度；
head_height表示头部识别矩形区域的高度；
head_x和head_y表示头部识别矩形区域左上角顶点的坐标；
head_depth，单位是毫米，表示屋顶距离头部的平均距离。
shoulder_x，shoulder_y，shoulder_width，shoulder_height，单位是像素；
shoulder_width表示肩部识别矩形区域的宽度；
shoulder_ height表示肩部识别矩形区域的高度；
shoulder_x和shoulder_y表示肩部识别矩形区域左上角顶点的坐标；
shoulder _depth，单位毫米，表示屋顶距离肩部的平均距离。
depth：深度数据集，原始深度数据，每一项内容是深度值。
S3：提取深度数据中人物的点云信息进行坐标转换，通过头部的高度阈值比较判断是否进入久坐久卧判定过程。
S31：将点云信息通过坐标转换，转换为（x,y,z）坐标。
深度相机输出的深度数据为
Figure 92165DEST_PATH_IMAGE001
字节大小的连续二进制数据，数据以左上角 为原点，从左到右为X轴正方向，从上到下为Y轴正方向的顺序存放深度数据。
其中，
Figure 374242DEST_PATH_IMAGE002
为深度相机的分辨率，在本实施例中，深度相机的分辨率为340*240， 每一个像素占用2个字节。深度相机输出的深度数据分辨率是640*240，输出的数据是对识 别区域内的物体到相机平面的垂直距离。因为相机是吊装，相机平面就是水平面，输出的数 据就可以理解为地面物体到相机安装平面的垂直距离。输出数据的范围就是相机能够探测 覆盖的范围，本实施例中深度相机的视场角是115° * 88°，如果安装高度是2.8米，则地面 的探测范围是9米*5米的范围。在这个探测范围内，以153600（640*240）个点进行深度采样， 输出这些点对应的深度数据。
点云数据是物体表面每个采样点的空间坐标点的集合。深度数据输出时已经包含了x和y坐标以及对应的深度值，这些值是以相机为中心的相机坐标系的数据，需要进行坐标系转换，转换成以房间的为参考的坐标系，其中x，y方向一致，不需要进行转换，z轴方向不一致需要进行转换。对每一个点（640*240）进行转换，得到的所有数据集就是点云数据。
对于任意
Figure 137799DEST_PATH_IMAGE003
，
Figure 378287DEST_PATH_IMAGE004
；坐标（x,y）对应的z值计算过程为：
Figure 532188DEST_PATH_IMAGE006
其中，z为对应坐标（x,y）的高度值；
Figure 883535DEST_PATH_IMAGE007
为相机距离地面的高度；
data为深度数据的二进制序列。在本实施例中，点云信息转化结果为：
(114, 129, 1909), (115, 129, 1924), (116, 129, 1948), (117, 129,1918), (118, 129, 1824), (119, 129, 1943), (120, 129, 1929), (121, 129,1831), (122, 129, 1738), (123, 129, 1695), (124, 129, 1671), (125, 129,1657), (126, 129, 1648), (127, 129, 1650)
(114, 130, 1864), (115, 130, 1867), (116, 130, 1883), (117, 130,1781), (118, 130, 1752), (119, 130, 1737), (120, 130, 1817), (121, 130,1755), (122, 130, 1706), (123, 130, 1678), (124, 130, 1659), (125, 130,1649), (126, 130, 1644), (127, 130, 1648)
(114, 131, 1798), (115, 131, 1786), (116, 131, 1785), (117, 131,1749), (118, 131, 1677), (119, 131, 1687), (120, 131, 1732), (121, 131,1776), (122, 131, 1686), (123, 131, 1667), (124, 131, 1650), (125, 131,1644), (126, 131, 1643), (127, 131, 1650)
其中该数据是头部区域的点云输出。以(114, 129, 1909)为例，表示x：114，y：129，深度：1909。
S32：根据目标所有点集合的（x,y,z）坐标信息计算目标高度；取高度的最大值代表目标的瞬时高度。
S33：将得到的高度进行平滑滤波产生平均高度。
根据头部区域和肩部区域的大小，在点云数据中找到归属于这个人的所有点。考虑到人在坐下或躺下过程中头部的特诊最明显，以头部的下降的高度作为判定条件。通过计算头部高度的最大值，并以这个最大值代表目标的瞬时高度。
为了减少目标瞬时高度波动对检测结果的影响，需进行平滑滤波，主要采用了均值滤波的形式。深度相机进行检测的时候，给出的深度值是抖动的，每次数据都会在±10毫米的范围内抖动，通过均值滤波，能得到稳定的深度数值。具体计算就需要结合历史平均高度和当前高度，平滑滤波过程为：
Figure 704860DEST_PATH_IMAGE009
其中，
Figure 116250DEST_PATH_IMAGE010
为新的平均高度；
Figure 819764DEST_PATH_IMAGE011
为当前高度；
Figure 709223DEST_PATH_IMAGE012
为历史平均高度。
S34：若最大高度和平均高度大于阈值，则重置状态，等待下一帧；若最大高度和平均高度均在阈值范围内，则进行久坐就卧判定过程。
S4：久坐久卧判定过程中通过人物跟踪列表判定人物是否处于久坐久卧状态；判定人物处于久坐久卧状态后，进行持续保持阶段判定，累加持续时间，当持续时间超过时间阈值时，发出报警信号。
S41：通过人物跟踪列表判定人物是否符合久坐久卧；若是，则状态标记+1，否则清零。
通过人物跟踪列表输出时间和状态数据，状态数据包括正常状态、动作抖动和久坐久卧状态。
S42：判断状态标记是否大于等于3，若是，则取消久坐久卧判定过程，进入久坐久卧状态，否则，返回步骤S41判断。
进入久坐久卧状态需要算法连续判断3次（阈值），才认为进入久坐久卧计时阶段，对计时过程中的抖动信号，进行滤波处理，排除信号干扰。
为了提高久坐久卧检测的准确度，减少误报，姿势的判定需要通过一些列连续的动作判定通过，才进入久坐久卧保持状态检测的逻辑。久坐久卧保持状态的检测的需要还需要设置超过一定时间才会发出警报。
S43：进入久坐久卧状态，进行持续保持阶段判定，累加久坐久卧状态的持续时间，当持续时间超过时间阈值时，发出报警信号；否则等待下一帧的判断。当算法输出状态不为久坐久卧状态时，结束持续时间的累加。
基于深度相机具有高动态的测距范围、兼顾高低反射率物体的特点，能够适应复杂场景，输出稳定的数据。该数据做到了密集度高，也可以说是分辨率高，能够清晰的表达人物模型，对数据分析非常有利，最终算法的输出精确度非常高。同时，设备只采集深度数据，该数据是描述设备到人物的距离信息，不含其他任何敏感信息，具有保护隐私的特性。
应理解，实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (6)

1.一种基于深度相机的久坐久卧检测方法，其特征在于，包括以下步骤：
S1：在房间内安装深度相机，获取深度数据；
S2：根据头肩模型逐帧识别判断房间内人数是否为一人；若是，则建立人物跟踪列表，并执行下一步；若否，则等待下一帧；
S3：提取深度数据中人物的点云信息进行坐标转换，通过头部的高度阈值比较判断是否进入久坐久卧判定过程；
S4：久坐久卧判定过程中通过人物跟踪列表判定人物是否处于久坐久卧状态；判定人物处于久坐久卧状态后，进行持续保持阶段判定，累加持续时间，当持续时间超过时间阈值时，发出报警信号；
所述的步骤S2具体包括以下步骤：
S21：将一帧深度数据转换为RGB图；深度数据的每一个像素点占用16位，通过灰度到JET的映射，获得高对比度的RGB图像；然后使用person检测算法，使用了深度AI学习，通过在coco数据集上对nanodet模型进行训练，生成适用于单分类的person检测模型，实现人物的部分或整体的识别检测；
S22：将RGB图转换为二值图像；采用卷积神经网络，用小型高速的网络来提取人体特征做二分类；
S23：根据二值图像组成特定的头肩模型；根据识别区的人物区域，使用局部二值模式，提取纹理特征，分析出头肩区域；
对识别出的头部区域和肩部区域，结合深度数据，进行数据验证，主要包括两方面，一是头部区域的长宽比例验证；二是通过获得头部的整体高度，验证头部的大小是否合理；
S24：根据头肩模型参数进行头部识别，识别房间内人数；
S25：当识别房间内人数为一人时，建立人物跟踪表，进入步骤S3；否则，返回步骤S21，进入下一帧的深度数据判定；
所述的人物跟踪列表包括深度数据和人物识别区域数据；人物识别区域数据具体包括头部识别矩形区域的宽、高、左上角顶点坐标和屋顶距离头部的平均距离，以及肩部识别矩形区域的宽、高、左上角顶点坐标和屋顶距离肩部的平均距离；
人物跟踪列表通过匈牙利匹配算法关联帧间目标信息，实现时间序列上的目标跟踪；通过对连续时间内目标的平均高度的变化，来进行姿势变化的判断。
2.根据权利要求1所述的一种基于深度相机的久坐久卧检测方法，其特征在于，所述的深度相机吊装在房间的屋顶，深度相机镜头正对地面。
3.根据权利要求1所述的一种基于深度相机的久坐久卧检测方法，其特征在于，所述的步骤S3包括以下步骤：
S31：将点云信息通过坐标转换，转换为(x，y，z)坐标；
S32：根据目标头部区域所有点集合的(x，y，z)坐标信息计算目标高度；取高度的最大值代表目标的瞬时高度；
S33：将得到的平均高度进行平滑滤波产生新的平均高度；
S34：若瞬时高度和平均高度大于阈值，则重置状态，等待下一帧；若瞬时高度和平均高度均在阈值范围内，则进行久坐就卧判定过程。
4.根据权利要求3所述的一种基于深度相机的久坐久卧检测方法，其特征在于，深度相机输出的深度数据为RX*RY*2字节大小的连续二进制数据，数据以左上角为原点，从左到右为X轴正方向，从上到下为Y轴正方向的顺序存放深度数据；
其中，RX*RY为深度相机的分辨率；
对于任意0≤x≤RX，0≤y≤RY；坐标(x，y)对应的z值计算过程为：
z＝Hc-data[(y*RY+x)*2]
其中，z为对应坐标(x，y)的高度值；
Hc为相机距离地面的高度；
data为深度数据的二进制序列。
5.根据权利要求3或4所述的一种基于深度相机的久坐久卧检测方法，其特征在于，所述的平滑滤波过程为：
Havg＝Hcurrent*0.1+Hl-avg*0.9
其中，Havg为新的平均高度；
Hcurrent为现在的瞬时高度；
H1-avg为上一帧的目标头部区域所有点的平均高度。
6.根据权利要求1所述的一种基于深度相机的久坐久卧检测方法，其特征在于，所述的步骤S4包括以下步骤：
S41：通过人物跟踪列表判定人物是否符合久坐久卧；若是，则状态标记+1，否则清零，进入下一帧；
S42：判断状态标记是否大于等于3，若是，则取消久坐久卧判定过程，进入久坐久卧状态，否则，返回步骤S41判断；
S43：进入久坐久卧状态，进行持续保持阶段判定，累加久坐久卧状态的持续时间，当持续时间超过时间阈值时，发出报警信号；否则等待下一帧的判断。
CN202110843581.5A 2021-07-26 2021-07-26 一种基于深度相机的久坐久卧检测方法 Active CN113283415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110843581.5A CN113283415B (zh) 2021-07-26 2021-07-26 一种基于深度相机的久坐久卧检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110843581.5A CN113283415B (zh) 2021-07-26 2021-07-26 一种基于深度相机的久坐久卧检测方法

Publications (2)

Publication Number Publication Date
CN113283415A CN113283415A (zh) 2021-08-20
CN113283415B true CN113283415B (zh) 2021-12-24

Family

ID=77281367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110843581.5A Active CN113283415B (zh) 2021-07-26 2021-07-26 一种基于深度相机的久坐久卧检测方法

Country Status (1)

Country Link
CN (1) CN113283415B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782987B (zh) * 2022-03-28 2023-06-20 西南交通大学 一种基于深度相机监督的毫米波雷达姿态识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015501997A (ja) * 2011-12-28 2015-01-19 インテル コーポレイション 座位行動期間中の活動の促進
CN105868707B (zh) * 2016-03-28 2019-03-08 华中科技大学 一种基于深度图像信息的坠床行为实时检测方法
CN106022304B (zh) * 2016-06-03 2019-11-29 浙江大学 一种基于双目相机的实时人体坐姿情况检测方法
KR102331988B1 (ko) * 2017-05-16 2021-11-29 애플 인크. 이모지 레코딩 및 전송
CN108376463A (zh) * 2018-02-28 2018-08-07 成都信息工程大学 一种久坐智能提醒方法和系统
CN111028488A (zh) * 2019-10-31 2020-04-17 浙江工业大学 一种基于pso-svm的智能久坐提醒的方法

Also Published As

Publication number Publication date
CN113283415A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
US10095930B2 (en) System and method for home health care monitoring
CN109919132B (zh) 一种基于骨架检测的行人跌倒识别方法
JP5950296B2 (ja) 人物追跡属性推定装置、人物追跡属性推定方法、プログラム
Diraco et al. An active vision system for fall detection and posture recognition in elderly healthcare
CN109670396A (zh) 一种室内老人跌倒检测方法
CN112782664B (zh) 一种基于毫米波雷达的卫生间跌倒检测方法
US9117138B2 (en) Method and apparatus for object positioning by using depth images
WO2004011314A1 (ja) 駅ホームにおける安全監視装置
CN111738060A (zh) 基于毫米波雷达的人体步态识别系统
CN105426837B (zh) 移动网络视觉雾霾检测系统
JP2013089252A (ja) 映像処理方法及び装置
CN102722721A (zh) 一种基于机器视觉的人体跌倒检测方法
CN108209926A (zh) 基于深度图像的人体身高测量系统
CN115345908B (zh) 一种基于毫米波雷达的人体姿态识别方法
CN108898108B (zh) 一种基于扫地机器人的用户异常行为监测系统及方法
JP6773829B2 (ja) 対象物認識装置、対象物認識方法、及び対象物認識プログラム
CN108596169A (zh) 基于视频流图像的分块信号转换与目标检测方法及装置
CN113283415B (zh) 一种基于深度相机的久坐久卧检测方法
CN102156994B (zh) 一种单视角无标记人体运动跟踪的关节定位方法
JP2011209794A (ja) 対象物認識システム及び該システムを利用する監視システム、見守りシステム
JP2011198244A (ja) 対象物認識システム及び該システムを利用する監視システム、見守りシステム
CN116486480A (zh) 一种基于点云的人体跌倒检测方法及装置
CN112200146A (zh) 一种基于fmcw的手势识别的检测方法
CN107578036A (zh) 一种基于小波矩的深度图像跌倒识别算法
CN115147868B (zh) 客流相机的人体检测方法、客流相机、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant