CN114783059B - 一种基于深度相机的寺庙香客参拜管理方法和系统 - Google Patents

Abstract

本发明涉及一种基于深度相机的寺庙香客参拜管理方法和系统，包括以下步骤：S1：通过深度相机监测是否有对佛像正在参拜的参拜人员，若是，则执行步骤S2；S2：对监测到的参拜人员进行定位，划定感兴趣区域；S3：获取连续多帧图像，对感兴趣区域进行特征提取和动作识别，得到该参拜人员的参拜方式数据；S4：通过深度相机监测该定位的参拜人员是否离开，若是，则获取该参拜人员的参拜时间数据，否则继续执行步骤S3，与现有技术相比，本发明具有方便寺庙管理、实时性高等优点。

Description

一种基于深度相机的寺庙香客参拜管理方法和系统

技术领域

本发明涉及寺庙管理系统，尤其是涉及一种基于深度相机的寺庙香客参拜管理方法和系统。

背景技术

目前很多人都有自己的宗教信仰，越来越多的人们选择到寺庙朝拜，寺庙是佛教建筑之一，既是人们宗教信仰的皈依之地，又是历史文化的汇聚之所，经常吸引不少信仰佛教的香客进入游览参拜，各寺庙内都设置有多个佛殿并供奉有非常多的佛像，对于不同方面的佛像，他们参拜的时间和参拜方式会有不同，同时有些人可能只会参拜寺庙中的个别佛像，导致寺庙中有些佛殿和佛像前的参拜人数远远大于另一些佛殿和佛像，造成人员拥挤，容易发生踩踏等安全事故。

如果能够根据香客对不同佛殿和佛像参拜情况的不同，对各佛殿的面积以及佛像前的参拜面积进行合理分配和管理，就能够有效防止人员拥挤和踩踏安全事故等问题发生，提高安全性。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度相机的寺庙香客参拜管理系统。

本发明的目的可以通过以下技术方案来实现：

一种基于深度相机的寺庙香客参拜管理方法，包括以下步骤：

S1：通过深度相机监测是否有对佛像正在参拜的参拜人员，若是，则执行步骤S2；

S2：对监测到的参拜人员进行定位，划定感兴趣区域；

S3：获取连续多帧图像，对感兴趣区域进行特征提取和动作识别，得到该参拜人员的参拜方式数据；

S4：通过深度相机监测该定位的参拜人员是否离开，若是，则获取该参拜人员的参拜时间数据，否则继续执行步骤S3。

进一步地，步骤S1中，所述的通过深度相机监测是否有对佛像正在参拜的参拜人员具体包括以下步骤：

S11：通过深度相机获取平面像素值和距离像素值；

S12：将平面像素值输入机器学习模型进行人形检测，划定人形区域；

S13：计算人形区域内距离像素值的平均值，并判断是否在设定距离阈值范围内，若是，则执行步骤S14，否则监测结果为无对佛像正在参拜的参拜人员，并返回步骤S11；

S14：获取连续N帧图像，若连续N帧图像中，人形区域位置均在设定范围内，且人形区域内距离像素值的平均值也在设定距离阈值范围内，则监测结果为有对佛像正在参拜的参拜人员，否则监测结果为无对佛像正在参拜的参拜人员，并返回步骤S11。

更进一步地，步骤S2中，所述的感兴趣区域为人形区域。

进一步地，步骤S3具体包括：

S31：分别提取连续多帧图像中感兴趣区域的人体关节点以及关节点位置关系，得到第一姿态特征和第二姿态特征；

S32：将连续多帧图像中的人体关节点以及关节点位置关系进行组合，得到第三姿态特征；

S33：根据第一姿态特征、第二姿态特征和第三姿态特征，通过机器学习分类，得到动作类型，获得参拜方式数据。

更进一步地，所述的人体关节点包括头部中心点、肩部关节点、肘部关节点、手腕关节点、臀部中心点、膝部关节点和脚腕关节点。

更进一步地，所述的第一姿态特征包括站立姿态和跪坐姿态，通过臀部中心点、膝部关节点和脚腕关节点的位置关系获得，所述的第二姿态特征包括礼拜姿态和垂落姿态，通过肘部关节点和手腕关节点的位置关系获得，所述的第三姿态特征包括直挺姿态和俯仰姿态，通过连续多帧图像中头部中心点和肩部关节点的位置关系以及位移情况获得。

更更进一步地，当膝部关节点与脚腕关节点位于同一水平位置范围内，或臀部中心点与脚腕关节点位于同一水平位置范围内时，判断第一姿态特征为跪坐姿态，否则判断第一姿态特征为站立姿态；

当手腕关节点的高度高于肘部关节点时，判断第二姿态特征为礼拜姿态，否则判断第二姿态特征为垂落姿态；

当连续多帧图像中头部中心点和肩部关节点的高度变化次数超过依次且高度变化数值超过设定范围阈值时，判断第三姿态特征为俯仰姿态，否则判断第三姿态特征为直挺姿态。

更进一步地，所述的动作类型由第一姿态特征、第二姿态特征和第三姿态特征组合而成，共8种，包括站立-礼拜-直挺类型、站立-礼拜-俯仰类型、站立-垂落- 直挺类型、站立-垂落-俯仰类型、跪坐-礼拜-直挺类型、跪坐-礼拜-俯仰类型、跪坐 -垂落-直挺类型、跪坐-垂落-俯仰类型；

当动作类型为站立-垂落-直挺类型时，判断该动作为无效参拜方式，将其从参拜方式数据中剔除，并将该参拜人员从感兴趣区域中剔除。

进一步地，步骤S4中，所述的通过深度相机监测该定位的参拜人员是否离开具体为：

计算人形区域内距离像素值的平均值，判断是否超出设定距离阈值范围，若是，则监测结果为该定位的参拜人员已经离开，否则监测结果为该定位的参拜人员未离开。

一种用于实现如所述的基于深度相机的寺庙香客参拜管理方法的系统，包括相互连接的深度相机和处理器，所述的深度相机设置多个，分别安装于寺庙内各佛像前，所述的处理器包括参拜人员检测模块、特征提取模块、姿态特征预分类模块、动作分类模块和计时模块；

所述的参拜人员检测模块用于监测是否有对佛像正在参拜的参拜人员以及该参拜人员是否离开；所述的特征提取模块用于提取连续多帧图像中感兴趣区域的人体关节点以及关节点位置关系；所述的姿态特征预分类模块用于得到第一姿态特征、第二姿态特征和第三姿态特征；所述的动作分类模块用于根据第一姿态特征、第二姿态特征和第三姿态特征进行动作类型分类；所述的计时模块用于获取参拜人员参拜时间。

与现有技术相比，本发明具有以下优点：

1)本发明通过在各佛像前设置深度相机，并结合特征提取和动作识别等技术，对各佛像前参拜人员的参拜方式以及参拜时间的检测，得到的结果能够准确反应香客对不同佛殿和佛像参拜情况，方便寺庙管理人员对各佛殿的面积以及佛像前供香客参拜区域内的布局进行合理分配和管理，有效防止人员拥挤和踩踏安全事故等问题发生，提高安全性；

2)本发明在动作识别时，根据香客在寺庙参拜动作的特殊性，利用人体关节点和关节点位置关系进行预分类，得到第一姿态特征、第二姿态特征和第三姿态特征，再将第一姿态特征、第二姿态特征和第三姿态特征输入机器学习模型进行动作类型分类，提高分类速度，实时性高；

3)本发明在预分类过程中，根据香客寺庙参拜动作的特点，分为三种姿态特征，三种姿态特征分别只需要根据部分人体关节点和关节点位置关系就能够得到，不需要将所有关节点信息全部结合，且三种姿态特征的获取可以并列进行，降低计算量，且大大提高了速度，进一步提高实时性，适合寺庙人流量大的特点。

附图说明

图1为本发明流程示意图；

图2为本发明步骤S3的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

如图1所示，本发明提供一种基于深度相机的寺庙香客参拜管理方法，包括以下步骤：

S1：通过深度相机监测是否有对佛像正在参拜的参拜人员，若是，则执行步骤S2；

S2：对监测到的参拜人员进行定位，划定感兴趣区域；

S3：获取连续多帧图像，对感兴趣区域进行特征提取和动作识别，得到该参拜人员的参拜方式数据；

S4：通过深度相机监测该定位的参拜人员是否离开，若是，则获取该参拜人员的参拜时间数据，否则继续执行步骤S3。

步骤S1中，通过深度相机监测是否有对佛像正在参拜的参拜人员具体包括以下步骤：

S11：通过深度相机获取平面像素值和距离像素值；

S12：将平面像素值输入机器学习模型进行人形检测，划定人形区域；

S13：计算人形区域内距离像素值的平均值，并判断是否在设定距离阈值范围内，若是，则执行步骤S14，否则监测结果为无对佛像正在参拜的参拜人员，并返回步骤S11；

S14：获取连续N帧图像，若连续N帧图像中，人形区域位置均在设定范围内，且人形区域内距离像素值的平均值也在设定距离阈值范围内，则监测结果为有对佛像正在参拜的参拜人员，否则监测结果为无对佛像正在参拜的参拜人员，并返回步骤S11。

相应的，步骤S4中通过深度相机监测该定位的参拜人员是否离开具体为：

计算人形区域内距离像素值的平均值，判断是否超出设定距离阈值范围，若是，则监测结果为该定位的参拜人员已经离开，否则监测结果为该定位的参拜人员未离开。

其中，通过机器学习模型进行人形检测可以采用现有的人形检测模型和方法，设定距离阈值范围根据实际设置，应当包括所有参拜人员可能选择对佛像参拜的位置，以免漏检，步骤S14中的N帧图像可以设置为一秒内的所有图像，该步骤的意义在于确定处于设定距离阈值范围内的人形是停下准备参拜，而并非路过，以免错检，造成后续不必要的特征提取和动作识别操作。另外在步骤S2中，可直接将检测出的人形区域作为感兴趣区域，提高效率，实现对参拜人员的定位。

如图2所示，本发明中，步骤S3具体包括：

S31：分别提取连续多帧图像中感兴趣区域的人体关节点以及关节点位置关系，得到第一姿态特征和第二姿态特征；

S32：将连续多帧图像中的人体关节点以及关节点位置关系进行组合，得到第三姿态特征；

S33：根据第一姿态特征、第二姿态特征和第三姿态特征，通过机器学习模型分类，得到动作类型，获得参拜方式数据。

其中，人体关节点包括头部中心点、肩部关节点、肘部关节点、手腕关节点、臀部中心点、膝部关节点和脚腕关节点，具体地，头部中心点和臀部中心点只有一个，而肩部关节点、肘部关节点、手腕关节点、膝部关节点和脚腕关节点均包括左右两个，即一共12个人体关节点。

第一姿态特征包括站立姿态和跪坐姿态，通过臀部中心点、膝部关节点和脚腕关节点的位置关系获得，具体为：当膝部关节点与脚腕关节点位于同一水平位置范围内，或臀部中心点与脚腕关节点位于同一水平位置范围内时，判断第一姿态特征为跪坐姿态，否则判断第一姿态特征为站立姿态。

第二姿态特征包括礼拜姿态和垂落姿态，通过肘部关节点和手腕关节点的位置关系获得，具体为：当手腕关节点的高度高于肘部关节点时，判断第二姿态特征为礼拜姿态，否则判断第二姿态特征为垂落姿态。进一步地，可以设定为当左右手腕关节点均高于肘部关节点时，才判断第二姿态特征为礼拜姿态。

第三姿态特征包括直挺姿态和俯仰姿态，通过连续多帧图像中头部中心点和肩部关节点的位置关系以及位移情况获得，具体为：当连续多帧图像中头部中心点和肩部关节点的高度变化次数超过依次且高度变化数值超过设定范围阈值时，判断第三姿态特征为俯仰姿态，否则判断第三姿态特征为直挺姿态。

本发明中，动作类型由第一姿态特征、第二姿态特征和第三姿态特征组合而成，共8种，包括站立-礼拜-直挺类型、站立-礼拜-俯仰类型、站立-垂落-俯仰类型、跪坐-礼拜-直挺类型、跪坐-礼拜-俯仰类型、跪坐-垂落-直挺类型、跪坐-垂落-俯仰类型以及站立-垂落-直挺类型；其中，前7种类型分别表示不同的参拜方式，第8种类型，即动作类型为站立-垂落-直挺类型为无效参拜方式，当分类得到该类型时，判断该动作为无效参拜方式，将其从参拜方式数据中剔除，并将该参拜人员从感兴趣区域中剔除，该类型实际上就是站立静止的动作，不属于常规参拜方式，更大可能是人员正好站在佛像前等人或休息的状况，因此需要进行剔除，提高检测准确率。

本发明还提供一种用于实现如所述基于深度相机的寺庙香客参拜管理方法的系统，包括相互连接的深度相机和处理器，深度相机设置多个，分别安装于寺庙内各佛像前，处理器包括参拜人员检测模块、特征提取模块、姿态特征预分类模块、动作分类模块和计时模块；

参拜人员检测模块用于监测是否有对佛像正在参拜的参拜人员以及该参拜人员是否离开；特征提取模块用于提取连续多帧图像中感兴趣区域的人体关节点以及关节点位置关系；姿态特征预分类模块用于得到第一姿态特征、第二姿态特征和第三姿态特征；动作分类模块用于根据第一姿态特征、第二姿态特征和第三姿态特征进行动作类型分类；计时模块用于获取参拜人员参拜时间，本实施例中，也可以不设置计时模块，通过监测到参拜人员到参拜人员离开之间获取的图像帧数以及相机采样频率获得参拜人员的参拜时间。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种基于深度相机的寺庙香客参拜管理方法，其特征在于，包括以下步骤：

S1：通过深度相机监测是否有对佛像正在参拜的参拜人员，若是，则执行步骤S2；

S2：对监测到的参拜人员进行定位，划定感兴趣区域；

S3：获取连续多帧图像，对感兴趣区域进行特征提取和动作识别，得到该参拜人员的参拜方式数据；

S4：通过深度相机监测该定位的参拜人员是否离开，若是，则获取该参拜人员的参拜时间数据，否则继续执行步骤S3；

步骤S3具体包括：

S31：分别提取连续多帧图像中感兴趣区域的人体关节点以及关节点位置关系，得到第一姿态特征和第二姿态特征；

S32：将连续多帧图像中的人体关节点以及关节点位置关系进行组合，得到第三姿态特征；

S33：根据第一姿态特征、第二姿态特征和第三姿态特征，通过机器学习分类，得到动作类型，获得参拜方式数据；

所述的人体关节点包括头部中心点、肩部关节点、肘部关节点、手腕关节点、臀部中心点、膝部关节点和脚腕关节点；

所述的第一姿态特征包括站立姿态特征和跪坐姿态特征，通过臀部中心点、膝部关节点和脚腕关节点的位置关系获得，所述的第二姿态特征包括礼拜姿态特征和垂落姿态特征，通过肘部关节点和手腕关节点的位置关系获得，所述的第三姿态特征包括直挺姿态特征和俯仰姿态特征，通过连续多帧图像中头部中心点和肩部关节点的位置关系以及位移情况获得；

当膝部关节点与脚腕关节点位于同一水平位置范围内，或臀部中心点与脚腕关节点位于同一水平位置范围内时，判断第一姿态特征为跪坐姿态特征，否则判断第一姿态特征为站立姿态特征；

当手腕关节点的高度高于肘部关节点时，判断第二姿态特征为礼拜姿态特征，否则判断第二姿态特征为垂落姿态特征；

当连续多帧图像中头部中心点和肩部关节点的高度变化次数超过一次且高度变化数值超过设定范围阈值时，判断第三姿态特征为俯仰姿态特征，否则判断第三姿态特征为直挺姿态特征；

所述的动作类型由第一姿态特征、第二姿态特征和第三姿态特征组合而成，共8种，包括站立-礼拜-直挺类型、站立-礼拜-俯仰类型、站立-垂落-直挺类型、站立-垂落-俯仰类型、跪坐-礼拜-直挺类型、跪坐-礼拜-俯仰类型、跪坐-垂落-直挺类型、跪坐-垂落-俯仰类型；

当动作类型为站立-垂落-直挺类型时，判断该动作为无效参拜方式，将其从参拜方式数据中剔除，并将该参拜人员从感兴趣区域中剔除。

2.根据权利要求1所述的一种基于深度相机的寺庙香客参拜管理方法，其特征在于，步骤S1中，所述的通过深度相机监测是否有对佛像正在参拜的参拜人员具体包括以下步骤：

S11：通过深度相机获取平面像素值和距离像素值；

S12：将平面像素值输入机器学习模型进行人形检测，划定人形区域；

S13：计算人形区域内距离像素值的平均值，并判断是否在设定距离阈值范围内，若是，则执行步骤S14，否则监测结果为无对佛像正在参拜的参拜人员，并返回步骤S11；

S14：获取连续N帧图像，若连续N帧图像中，人形区域位置均在设定范围内，且人形区域内距离像素值的平均值也在设定距离阈值范围内，则监测结果为有对佛像正在参拜的参拜人员，否则监测结果为无对佛像正在参拜的参拜人员，并返回步骤S11。

3.根据权利要求2所述的一种基于深度相机的寺庙香客参拜管理方法，其特征在于，步骤S2中，所述的感兴趣区域为人形区域。

4.根据权利要求1所述的一种基于深度相机的寺庙香客参拜管理方法，其特征在于，步骤S4中，所述的通过深度相机监测该定位的参拜人员是否离开具体为：

计算人形区域内距离像素值的平均值，判断是否超出设定距离阈值范围，若是，则监测结果为该定位的参拜人员已经离开，否则监测结果为该定位的参拜人员未离开。

5.一种用于实现如权利要求1-4任一项所述的基于深度相机的寺庙香客参拜管理方法的系统，其特征在于，包括相互连接的深度相机和处理器，所述的深度相机设置多个，分别安装于寺庙内各佛像前，所述的处理器包括参拜人员检测模块、特征提取模块、姿态特征预分类模块、动作分类模块和计时模块；

所述的参拜人员检测模块用于监测是否有对佛像正在参拜的参拜人员以及该参拜人员是否离开；所述的特征提取模块用于提取连续多帧图像中感兴趣区域的人体关节点以及关节点位置关系；所述的姿态特征预分类模块用于得到第一姿态特征、第二姿态特征和第三姿态特征；所述的动作分类模块用于根据第一姿态特征、第二姿态特征和第三姿态特征进行动作类型分类；所述的计时模块用于获取参拜人员参拜时间。

Images