CN115937983A - 基于多视角深度图像的病患跌倒检测方法与系统 - Google Patents

Abstract

本发明公开了一种基于多视角深度图像的病患跌倒检测方法。包括：收集病患常驻位置的深度图像；将深度图像输入多视角深度图像转换模块，将深度图像转换为点云数据；将场景点云数据输入到伪彩色图像投影模块，通过人工设计的虚拟相机对点云数据进行投影，获取多个方位的伪彩色图像；将所述多方位的伪彩色图像输入到姿态识别模块，进行姿态识别操作，判断人体是否处于跌倒状态；将所述伪彩色图像以及相对应的深度图像输入到时空跌倒检测模块，根据时间和空间信息进行跌倒检测。本发明还公开了基于多视角深度图像的病患跌倒检测系统。本发明使用多视角的深度图像获取的点云数据，提高病患跌倒检测准确性；提出时空跌倒检测模块，能降低漏判可能。

Description

基于多视角深度图像的病患跌倒检测方法与系统

技术领域

本发明涉及人体姿态识别技术，具体涉及一种基于多视角深度图像的病患跌倒检测方法与系统。

背景技术

在医院就诊或住院的病患因各种原因跌倒是常见的不良现象之一，因跌倒引发的非致死性损伤甚至伤害死亡对患者影响巨大。因此，对于病房管理而言，需要及时发现病患出现跌倒的可能，并立即做出应对方案。但是，目前国内大多数无陪护病房分配的医护人手明显不足，且无法保证全天候的人工监控。于是，通过人工智能的技术，由机器自动从视频、图像等数据中实时监测病患的姿态，从而实现病患跌倒的自动识别、报警受到各界学者的广泛关注。

目前的现有技术之一，是公开号为CN114495280A的中国专利公开了一种基于视频监控的全天无陪护病房患者跌倒检测方法，该方法通过摄像头实时获取病房的视频数据并上传到云服务器，计算患者姿态的特征向量，利用随机森林算法，对患者姿态特征向量进行姿态识别和跌倒的检测。该方法缺点在于使用彩色摄像难以保障患者的隐私，将彩色图像上传到服务器存在信息泄露风险。

目前的现有技术之二，是公开号为CN113435236A的中国专利公开了居家老人姿态检测方法、系统、存储介质、设备及应用，该方法使用RealScene镜头采集居家老人的环境深度图像，并上传到云服务器，将其转换为伪彩色图像，输入到训练好的基于OpenPose的人体骨骼化识别网络，获取2D下的关键点坐标。使用相机参数将2D下的关键点坐标映射到深度图像中的点，获取关键点对应的深度，根据其坐标与深度构建3D下的人体骨架图，判断人体姿态。该方法的缺点在于深度图像中的信息较彩色图像单一，导致使用深度图像进行人体姿态检测时精准度降低。

发明内容

本发明的目的是克服现有方法的不足，提出了基于多视角深度图像的病患跌倒检测方法与系统。本发明解决的主要问题，一是使用彩色图像会泄露被监测人的隐私；二是现有的基于深度图像的跌倒检测方法难以应对复杂的实际情况，检测的准确度不高。

为了解决上述问题，本发明提出了一种基于多视角深度图像的病患跌倒检测方法，所述方法包括：

收集病患常驻位置的三张深度图像，分别为俯视图、正视图和侧视图，并上传至云服务器进行储存；

将所述三张深度图像输入多视角深度图像转换模块，将深度图像转换为点云数据；

将所述场景点云数据输入到伪彩色图像投影模块，通过人工设计的虚拟相机对点云数据进行投影，获取多个方位的伪彩色图像；

将所述多方位的伪彩色图像输入到姿态识别模块，进行姿态识别操作，判断人体是否处于跌倒状态；

将所述伪彩色图像以及相对应的深度图像输入到时空跌倒检测模块，根据时间和空间信息进行跌倒检测。

优选地，所述收集病患常驻位置的三张深度图像，分别为俯视图、正视图和侧视图，并上传至云服务器进行储存，具体为：

在规则的室内空间设置三台深度摄像头分别置于病患常驻位置的正上方、正前方和正侧方，分别拍摄病患常驻位置的俯视图、正视图和侧视图，深度摄像头每隔一定时间会向云服务器上传一张深度图像，由服务器将同一时间的三张深度图像存储在一起，便于后续处理。

优选地，所述将所述三张深度图像输入多视角深度图像转换模块，将深度图像转换为点云数据，具体为：

根据各个摄像头的内参将深度图像从二维图像坐标系转换到三维空间，三维空间以摄像头的位置为原点，根据摄像头的外参进行坐标系原点的转换和深度图像的旋转，将深度数据转换到世界坐标系，即三维坐标的点组成的集合，为点云数据；

使用同源点云配准技术对获取的三组点云数据进行配准，选取空间上方摄像头对应的点云数据为基准，对前方与侧方摄像头对应的点云数据使用ICP算法与基准进行配准，ICP算法为基于迭代的点匹配算法，在运行ICP算法时确定初始的刚性变换矩阵Rt，确定每次迭代对矩阵进行改变的超参数，待配准点云数据经过Rt变换后，计算与基准点云的匹配度，从而对Rt进行调整，并通过迭代的方式找到能够达到预期匹配度的变换矩阵，为保证系统的响应时延，配准算法选择每隔固定时间运行一次，非配准算法运行时间的配准使用最近时间获取的Rt矩阵运行，对三组点云数据进行配准后，拼接获取场景点云数据，拼接过程中，根据提前设置的距离阈值合并距离相近的点，取两个点坐标的均值作为合并点的坐标，形成场景点云数据。

优选地，所述将所述场景点云数据输入到伪彩色图像投影模块，通过人工设计的虚拟相机对点云数据进行投影，获取多个方位的伪彩色图像，具体为：

虚拟相机的设计采用半球虚拟相机分布设计，通过在点云数据内部作一个半径最大的球体，取上半球的极点和最大圆上均匀分布的四个点作为基础点，在半球面上，取基础点与极点中间位置的点作为额外点，在所述9个点上布置虚拟相机，进行投影，以获取到全面的场景写照；

根据所述布置虚拟相机的9个点位获取虚拟相机的外参，结合深度摄像机实际的内参，对点云数据投影到二维图像坐标系中，得到点云数据的二维坐标和深度数据，深度数据作为投影点的灰度通道的值，由于点云数据是不均匀分布的，需要通过插值的方式，根据已有的投影点获取每个像素点位置处的灰度值，得到灰度图像，由于数字图像调色板的限制，需要对获得的灰度图像的灰度值就近选取调色板已有的值，获取多方位的伪彩色图像。

优选地，所述将所述多方位的伪彩色图像输入到姿态识别模块，进行姿态识别操作，判断人体是否处于跌倒状态，具体为：

将伪彩色图像数据输入到OpenPose开源姿态估计网络模型中，获取每张伪彩色图像中人体的关键点信息，由于视角的不同，不同图像获取的关键点信息的数目存在不同，选取一个关键点数目最多的伪彩色图像进行后续的跌倒分析，以达到较高的鲁棒性；

利用所述的人体关键点信息构建2D的人体骨架图，进行姿态分析，采用人工设计的特征进行姿态分析，人工设计的特征为人体各个部位之间的夹角，将所述人体各部位之间的夹角归一化后组成人体姿态的特征向量，输入到训练好的随机森林模型中，判断人体是否处于跌倒状态。

优选地，所述将所述伪彩色图像以及相对应的深度图像输入到时空跌倒检测模块，根据时间和空间信息进行跌倒检测，具体为：

时空跌倒检测模块中的记忆模块会记录最近一段时间内人体姿态情况，人体姿态分为跌倒和待定跌倒状态，对于随机森林算法无法直接断定是跌倒状态则会被判断为待定跌倒状态，如果待定跌倒状态持续时间超过了设定的阈值，会被判断为跌倒状态，跌倒状态会发出告警；

根据所述人体的关键点信息，使用伪彩色图像与其对应深度图像之间的关系，进行关键点的反投影，获取其三维坐标，构建3D人体骨架图，3D人体骨架图中的点的坐标处于世界坐标系，方便判断人体与地面之间的关系，当判断人体与地面之间存在平行的关系，则会判断为待定跌倒状态，并对记忆模块当次的记录信息进行覆盖。

相应地，本发明还提供了一种基于多视角深度图像的病患跌倒检测系统，包括：

数据收集单元，用于收集病患常驻位置的三张深度图像，分别为俯视图、正视图和侧视图，并上传至云服务器进行储存；

点云数据生成单元，用于将所述三张深度图像输入多视角深度图像转换模块，将深度图像转换为点云数据；

伪彩色图像生成单元，用于将所述场景点云数据输入到伪彩色图像投影模块，通过人工设计的虚拟相机对点云数据进行投影，获取多个方位的伪彩色图像；

姿态识别单元，用于将所述多方位的伪彩色图像输入到姿态识别模块，进行姿态识别操作，判断人体是否处于跌倒状态；

时空跌倒检测单元，将所述伪彩色图像以及相对应的深度图像输入到时空跌倒检测模块，根据时间和空间信息进行跌倒检测。

实施本发明，具有如下有益效果：

本发明中使用多视角的深度图像获取的室内场景点云相比于其它使用单视角深度图像进行跌倒监测的方法，可以更好地应对病患身体部位被大块遮挡物遮挡导致单一摄像头难以捕捉完整人体的情况。同时本发明中除了使用人工设计特征进行人体姿态识别判断是否处于跌倒状态外，还提出了时空跌倒检测模块，通过时间、空间信息来辅助进行跌倒检测，从而能够应对更多的跌倒情况，降低漏判可能。

附图说明

图1是本发明实施例的基于多视角深度图像的病患跌倒检测方法的总体流程图；

图2是本发明实施例的基于多视角深度图像的病患跌倒检测方系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例的基于多视角深度图像的病患跌倒检测方法的总体流程图，如图1所示，该方法包括：

S1，收集病患常驻位置的三张深度图像，分别为俯视图、正视图和侧视图，并上传至云服务器进行储存；

S2，将所述三张深度图像输入多视角深度图像转换模块，将深度图像转换为点云数据；

S3，将所述场景点云数据输入到伪彩色图像投影模块，通过人工设计的虚拟相机对点云数据进行投影，获取多个方位的伪彩色图像；

S4，将所述多方位的伪彩色图像输入到姿态识别模块，进行姿态识别操作，判断人体是否处于跌倒状态；

S5，将所述伪彩色图像以及相对应的深度图像输入到时空跌倒检测模块，根据时间和空间信息进行跌倒检测。

步骤S1，具体如下：

S1-1，在规则的室内空间设置三台深度摄像头分别置于病患常驻位置的正上方、正前方和正侧方，分别拍摄病患常驻位置的俯视图、正视图和侧视图，深度摄像头每隔一定时间会向云服务器上传一张深度图像，由服务器将同一时间的三张深度图像存储在一起，便于后续处理。

步骤S2，具体如下：

S2-1，根据各个摄像头的内参将深度图像从二维图像坐标系转换到三维空间，三维空间以摄像头的位置为原点，根据摄像头的外参进行坐标系原点的转换和深度图像的旋转，将深度数据转换到世界坐标系，即三维坐标的点组成的集合，为点云数据；

S2-2，使用同源点云配准技术对获取的三组点云数据进行配准，选取空间上方摄像头对应的点云数据为基准，对前方与侧方摄像头对应的点云数据使用ICP算法与基准进行配准，ICP算法为基于迭代的点匹配算法，在运行ICP算法时确定初始的刚性变换矩阵Rt，确定每次迭代对矩阵进行改变的超参数，待配准点云数据经过Rt变换后，计算与基准点云的匹配度，从而对Rt进行调整，并通过迭代的方式找到能够达到预期匹配度的变换矩阵，为保证系统的响应时延，配准算法选择每隔固定时间运行一次，非配准算法运行时间的配准使用最近时间获取的Rt矩阵运行，对三组点云数据进行配准后，拼接获取场景点云数据，拼接过程中，根据提前设置的距离阈值合并距离相近的点，取两个点坐标的均值作为合并点的坐标，形成场景点云数据。

步骤S3，具体如下：

S3-1，虚拟相机的设计采用半球虚拟相机分布设计，通过在点云数据内部作一个半径最大的球体，取上半球的极点和最大圆上均匀分布的四个点作为基础点，在半球面上，取基础点与极点中间位置的点作为额外点，在所述9个点上布置虚拟相机，进行投影，以获取到全面的场景写照；

S3-2，根据所述布置虚拟相机的9个点位获取虚拟相机的外参，结合深度摄像机实际的内参，对点云数据投影到二维图像坐标系中，得到点云数据的二维坐标和深度数据，深度数据作为投影点的灰度通道的值，由于点云数据是不均匀分布的，需要通过插值的方式，根据已有的投影点获取每个像素点位置处的灰度值，得到灰度图像，由于数字图像调色板的限制，需要对获得的灰度图像的灰度值就近选取调色板已有的值，获取多方位的伪彩色图像。

步骤S4，具体如下：

S4-1，将伪彩色图像数据输入到OpenPose开源姿态估计网络模型中，获取每张伪彩色图像中人体的关键点信息，由于视角的不同，不同图像获取的关键点信息的数目存在不同，选取一个关键点数目最多的伪彩色图像进行后续的跌倒分析，以达到较高的鲁棒性；

S4-2，利用所述的人体关键点信息构建2D的人体骨架图，进行姿态分析，采用人工设计的特征进行姿态分析，人工设计的特征为人体各个部位之间的夹角，将所述人体各部位之间的夹角归一化后组成人体姿态的特征向量，输入到训练好的随机森林模型中，判断人体是否处于跌倒状态。

步骤S5，具体如下：

S5-1，时空跌倒检测模块中的记忆模块会记录最近一段时间内人体姿态情况，人体姿态分为跌倒和待定跌倒状态，对于随机森林算法无法直接断定是跌倒状态则会被判断为待定跌倒状态，如果待定跌倒状态持续时间超过了设定的阈值，会被判断为跌倒状态，跌倒状态会发出告警；

S5-2，根据所述人体的关键点信息，使用伪彩色图像与其对应深度图像之间的关系，进行关键点的反投影，获取其三维坐标，构建3D人体骨架图，3D人体骨架图中的点的坐标处于世界坐标系，方便判断人体与地面之间的关系，当判断人体与地面之间存在平行的关系，则会判断为待定跌倒状态，并对记忆模块当次的记录信息进行覆盖。

相应地，本发明还提供了基于多视角深度图像的病患跌倒检测系统，如图2所示，包括：

数据收集单元1，用于收集病患常驻位置的三张深度图像，分别为俯视图、正视图和侧视图，并上传至云服务器进行储存。

具体地，在规则的室内空间设置三台深度摄像头分别置于病患常驻位置的正上方、正前方和正侧方，分别拍摄病患常驻位置的俯视图、正视图和侧视图，深度摄像头每隔一定时间会向云服务器上传一张深度图像，由服务器将同一时间的三张深度图像存储在一起，便于后续处理。

点云数据生成单元2，用于将所述三张深度图像输入多视角深度图像转换模块，将深度图像转换为点云数据。

具体地，根据各个摄像头的内参将深度图像从二维图像坐标系转换到三维空间，三维空间以摄像头的位置为原点，根据摄像头的外参进行坐标系原点的转换和深度图像的旋转，将深度数据转换到世界坐标系，即三维坐标的点组成的集合，为点云数据；

使用同源点云配准技术对获取的三组点云数据进行配准，选取空间上方摄像头对应的点云数据为基准，对前方与侧方摄像头对应的点云数据使用ICP算法与基准进行配准，ICP算法为基于迭代的点匹配算法，在运行ICP算法时确定初始的刚性变换矩阵Rt，确定每次迭代对矩阵进行改变的超参数，待配准点云数据经过Rt变换后，计算与基准点云的匹配度，从而对Rt进行调整，并通过迭代的方式找到能够达到预期匹配度的变换矩阵，为保证系统的响应时延，配准算法选择每隔固定时间运行一次，非配准算法运行时间的配准使用最近时间获取的Rt矩阵运行，对三组点云数据进行配准后，拼接获取场景点云数据，拼接过程中，根据提前设置的距离阈值合并距离相近的点，取两个点坐标的均值作为合并点的坐标，形成场景点云数据。

伪彩色图像生成单元3，用于将所述场景点云数据输入到伪彩色图像投影模块，通过人工设计的虚拟相机对点云数据进行投影，获取多个方位的伪彩色图像。

具体地，虚拟相机的设计采用半球虚拟相机分布设计，通过在点云数据内部作一个半径最大的球体，取上半球的极点和最大圆上均匀分布的四个点作为基础点，在半球面上，取基础点与极点中间位置的点作为额外点，在所述9个点上布置虚拟相机，进行投影，以获取到全面的场景写照；

根据所述布置虚拟相机的9个点位获取虚拟相机的外参，结合深度摄像机实际的内参，对点云数据投影到二维图像坐标系中，得到点云数据的二维坐标和深度数据，深度数据作为投影点的灰度通道的值，由于点云数据是不均匀分布的，需要通过插值的方式，根据已有的投影点获取每个像素点位置处的灰度值，得到灰度图像，由于数字图像调色板的限制，需要对获得的灰度图像的灰度值就近选取调色板已有的值，获取多方位的伪彩色图像。

姿态识别单元4，用于将所述多方位的伪彩色图像输入到姿态识别模块，进行姿态识别操作，判断人体是否处于跌倒状态。

具体地，将伪彩色图像数据输入到OpenPose开源姿态估计网络模型中，获取每张伪彩色图像中人体的关键点信息，由于视角的不同，不同图像获取的关键点信息的数目存在不同，选取一个关键点数目最多的伪彩色图像进行后续的跌倒分析，以达到较高的鲁棒性；

利用所述的人体关键点信息构建2D的人体骨架图，进行姿态分析，采用人工设计的特征进行姿态分析，人工设计的特征为人体各个部位之间的夹角，将所述人体各部位之间的夹角归一化后组成人体姿态的特征向量，输入到训练好的随机森林模型中，判断人体是否处于跌倒状态。

时空跌倒检测单元5，将所述伪彩色图像以及相对应的深度图像输入到时空跌倒检测模块，根据时间和空间信息进行跌倒检测。

时空跌倒检测模块中的记忆模块会记录最近一段时间内人体姿态情况，人体姿态分为跌倒和待定跌倒状态，对于随机森林算法无法直接断定是跌倒状态则会被判断为待定跌倒状态，如果待定跌倒状态持续时间超过了设定的阈值，会被判断为跌倒状态，跌倒状态会发出告警；

根据所述人体的关键点信息，使用伪彩色图像与其对应深度图像之间的关系，进行关键点的反投影，获取其三维坐标，构建3D人体骨架图，3D人体骨架图中的点的坐标处于世界坐标系，方便判断人体与地面之间的关系，当判断人体与地面之间存在平行的关系，则会判断为待定跌倒状态，并对记忆模块当次的记录信息进行覆盖。

因此，本发明中使用多视角的深度图像获取的室内场景点云相比于其它使用单视角深度图像进行跌倒监测的方法，可以更好地应对病患身体部位被大块遮挡物遮挡导致单一摄像头难以捕捉完整人体的情况。同时本发明中除了使用人工设计特征进行人体姿态识别判断是否处于跌倒状态外，还提出了时空跌倒检测模块，通过时间、空间信息来辅助进行跌倒检测，从而能够应对更多的跌倒情况，降低漏判可能。

以上对本发明实施例所提供的基于多视角深度图像的病患跌倒检测方法与系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于多视角深度图像的病患跌倒检测方法，其特征在于，所述方法包括：

收集病患常驻位置的三张深度图像，分别为俯视图、正视图和侧视图，并上传至云服务器进行储存；

将所述三张深度图像输入多视角深度图像转换模块，将深度图像转换为场景点云数据；

将所述场景点云数据输入到伪彩色图像投影模块，通过人工设计的虚拟相机对点云数据进行投影，获取多个方位的伪彩色图像；

将所述多个方位的伪彩色图像输入到姿态识别模块，进行姿态识别操作，判断人体是否处于跌倒状态；

将所述伪彩色图像以及相对应的深度图像输入到时空跌倒检测模块，根据时间和空间信息进行跌倒检测。

2.如权利要求1所述的基于多视角深度图像的病患跌倒检测方法，其特征在于，所述收集病患常驻位置的三张深度图像，分别为俯视图、正视图和侧视图，并上传至云服务器进行储存，具体为：

在规则的室内空间设置三台深度摄像头分别置于病患常驻位置的正上方、正前方和正侧方，分别拍摄病患常驻位置的俯视图、正视图和侧视图，深度摄像头每隔一定时间会向云服务器上传一张深度图像，由服务器将同一时间的三张深度图像存储在一起，便于后续处理。

3.如权利要求1所述的基于多视角深度图像的病患跌倒检测方法，其特征在于，所述将所述三张深度图像输入多视角深度图像转换模块，将深度图像转换为场景点云数据，具体为：

根据各个摄像头的内参将深度图像从二维图像坐标系转换到三维空间，三维空间以摄像头的位置为原点，根据摄像头的外参进行坐标系原点的转换和深度图像的旋转，将深度数据转换到世界坐标系，即三维坐标的点组成的集合，为点云数据；

使用同源点云配准技术对获取的三组点云数据进行配准，选取空间上方摄像头对应的点云数据为基准，对前方与侧方摄像头对应的点云数据使用ICP算法与基准进行配准，ICP算法为基于迭代的点匹配算法，在运行ICP算法时确定初始的刚性变换矩阵Rt，确定每次迭代对矩阵进行改变的超参数，待配准点云数据经过Rt变换后，计算与基准点云的匹配度，从而对Rt进行调整，并通过迭代的方式找到能够达到预期匹配度的变换矩阵，为保证系统的响应时延，配准算法选择每隔固定时间运行一次，非配准算法运行时间的配准使用最近时间获取的Rt矩阵运行，对三组点云数据进行配准后，拼接获取场景点云数据，拼接过程中，根据提前设置的距离阈值合并距离相近的点，取两个点坐标的均值作为合并点的坐标，形成场景点云数据。

4.如权利要求1所述的基于多视角深度图像的病患跌倒检测方法，其特征在于，所述将所述场景点云数据输入到伪彩色图像投影模块，通过人工设计的虚拟相机对点云数据进行投影，获取多个方位的伪彩色图像，具体为：

虚拟相机的设计采用半球虚拟相机分布设计，通过在点云数据内部作一个半径最大的球体，取上半球的极点和最大圆上均匀分布的四个点作为基础点，在半球面上，取基础点与极点中间位置的点作为额外点，在所述9个点上布置虚拟相机，进行投影，以获取到全面的场景写照；

根据所述布置虚拟相机的9个点位获取虚拟相机的外参，结合深度摄像机实际的内参，对点云数据投影到二维图像坐标系中，得到点云数据的二维坐标和深度数据，深度数据作为投影点的灰度通道的值，由于点云数据是不均匀分布的，需要通过插值的方式，根据已有的投影点获取每个像素点位置处的灰度值，得到灰度图像，由于数字图像调色板的限制，需要对获得的灰度图像的灰度值就近选取调色板已有的值，获取多方位的伪彩色图像。

5.如权利要求1所述的基于多视角深度图像的病患跌倒检测方法，其特征在于，所述将所述多个方位的伪彩色图像输入到姿态识别模块，进行姿态识别操作，判断人体是否处于跌倒状态，具体为：

将伪彩色图像数据输入到OpenPose开源姿态估计网络模型中，获取每张伪彩色图像中人体的关键点信息，由于视角的不同，不同图像获取的关键点信息的数目存在不同，选取一个关键点数目最多的伪彩色图像进行后续的跌倒分析，以达到较高的鲁棒性；

利用所述的人体关键点信息构建2D的人体骨架图，进行姿态分析，采用人工设计的特征进行姿态分析，人工设计的特征为人体各个部位之间的夹角，将所述人体各部位之间的夹角归一化后组成人体姿态的特征向量，输入到训练好的随机森林模型中，判断人体是否处于跌倒状态。

6.如权利要求1所述的基于多视角深度图像的病患跌倒检测方法，其特征在于，所述将所述伪彩色图像以及相对应的深度图像输入到时空跌倒检测模块，根据时间和空间信息进行跌倒检测，具体为：

时空跌倒检测模块中的记忆模块会记录最近一段时间内人体姿态情况，人体姿态分为跌倒和待定跌倒状态，对于随机森林算法无法直接断定是跌倒状态则会被判断为待定跌倒状态，如果待定跌倒状态持续时间超过了设定的阈值，会被判断为跌倒状态，跌倒状态会发出告警；

根据所述人体的关键点信息，使用伪彩色图像与其对应深度图像之间的关系，进行关键点的反投影，获取其三维坐标，构建3D人体骨架图，3D人体骨架图中的点的坐标处于世界坐标系，方便判断人体与地面之间的关系，当判断人体与地面之间存在平行的关系，则会判断为待定跌倒状态，并对记忆模块当次的记录信息进行覆盖。

7.一种基于多视角深度图像的病患跌倒检测系统，其特征在于，所述系统包括：

数据收集单元，用于收集病患常驻位置的三张深度图像，分别为俯视图、正视图和侧视图，并上传至云服务器进行储存；

点云数据生成单元，用于将所述三张深度图像输入多视角深度图像转换模块，将深度图像转换为点云数据；

伪彩色图像生成单元，用于将所述场景点云数据输入到伪彩色图像投影模块，通过人工设计的虚拟相机对点云数据进行投影，获取多个方位的伪彩色图像；

姿态识别单元，用于将所述多方位的伪彩色图像输入到姿态识别模块，进行姿态识别操作，判断人体是否处于跌倒状态；

时空跌倒检测单元，将所述伪彩色图像以及相对应的深度图像输入到时空跌倒检测模块，根据时间和空间信息进行跌倒检测。

8.如权利要求7所述的基于多视角深度图像的病患跌倒检测系统，其特征在于，所述数据收集单元，需要在规则的室内空间设置三台深度摄像头分别置于病患常驻位置的正上方、正前方和正侧方，分别拍摄病患常驻位置的俯视图、正视图和侧视图，深度摄像头每隔一定时间会向云服务器上传一张深度图像，由服务器将同一时间的三张深度图像存储在一起，便于后续处理；

所述点云数据生成单元，需要根据各个摄像头的内参将深度图像从二维图像坐标系转换到三维空间，三维空间以摄像头的位置为原点，根据摄像头的外参进行坐标系原点的转换和深度图像的旋转，将深度数据转换到世界坐标系，即三维坐标的点组成的集合，为点云数据；

使用同源点云配准技术对获取的三组点云数据进行配准，选取空间上方摄像头对应的点云数据为基准，对前方与侧方摄像头对应的点云数据使用ICP算法与基准进行配准，ICP算法为基于迭代的点匹配算法，在运行ICP算法时确定初始的刚性变换矩阵Rt，确定每次迭代对矩阵进行改变的超参数，待配准点云数据经过Rt变换后，计算与基准点云的匹配度，从而对Rt进行调整，并通过迭代的方式找到能够达到预期匹配度的变换矩阵，为保证系统的响应时延，配准算法选择每隔固定时间运行一次，非配准算法运行时间的配准使用最近时间获取的Rt矩阵运行，对三组点云数据进行配准后，拼接获取场景点云数据，拼接过程中，根据提前设置的距离阈值合并距离相近的点，取两个点坐标的均值作为合并点的坐标，形成场景点云数据；

所述伪彩色图像生成单元，需要虚拟相机的设计采用半球虚拟相机分布设计，通过在点云数据内部作一个半径最大的球体，取上半球的极点和最大圆上均匀分布的四个点作为基础点，在半球面上，取基础点与极点中间位置的点作为额外点，在所述9个点上布置虚拟相机，进行投影，以获取到全面的场景写照；

根据所述布置虚拟相机的9个点位获取虚拟相机的外参，结合深度摄像机实际的内参，对点云数据投影到二维图像坐标系中，得到点云数据的二维坐标和深度数据，深度数据作为投影点的灰度通道的值，由于点云数据是不均匀分布的，需要通过插值的方式，根据已有的投影点获取每个像素点位置处的灰度值，得到灰度图像，由于数字图像调色板的限制，需要对获得的灰度图像的灰度值就近选取调色板已有的值，获取多方位的伪彩色图像；

所述姿态识别单元，需要将伪彩色图像数据输入到OpenPose开源姿态估计网络模型中，获取每张伪彩色图像中人体的关键点信息，由于视角的不同，不同图像获取的关键点信息的数目存在不同，选取一个关键点数目最多的伪彩色图像进行后续的跌倒分析，以达到较高的鲁棒性；

利用所述的人体关键点信息构建2D的人体骨架图，进行姿态分析，采用人工设计的特征进行姿态分析，人工设计的特征为人体各个部位之间的夹角，将所述人体各部位之间的夹角归一化后组成人体姿态的特征向量，输入到训练好的随机森林模型中，判断人体是否处于跌倒状态；

所述时空跌倒检测模块单元，需要时空跌倒检测模块中的记忆模块会记录最近一段时间内人体姿态情况，人体姿态分为跌倒和待定跌倒状态，对于随机森林算法无法直接断定是跌倒状态则会被判断为待定跌倒状态，如果待定跌倒状态持续时间超过了设定的阈值，会被判断为跌倒状态，跌倒状态会发出告警；

根据所述人体的关键点信息，使用伪彩色图像与其对应深度图像之间的关系，进行关键点的反投影，获取其三维坐标，构建3D人体骨架图，3D人体骨架图中的点的坐标处于世界坐标系，方便判断人体与地面之间的关系，当判断人体与地面之间存在平行的关系，则会判断为待定跌倒状态，并对记忆模块当次的记录信息进行覆盖。

Images