CN112800834B - 一种基于跪拜行为识别来定位炫彩射灯的方法及系统 - Google Patents

Abstract

本发明提供一种基于跪拜行为识别来定位炫彩射灯的方法，包括获取跪拜者的人体姿态图像；使用预先设置的多尺度融合网络，对跪拜者的人体姿态图像进行识别，并在识别出指定位置有相应的跪拜行为时，打开指定位置对应的射灯，以及同步播放预置的佛乐。实施本发明，不仅能适用于信徒跪拜行为识别来增加信众在礼佛时与寺庙地互动性，还能解决传统基于深度卷积神经网络的人体姿态估计方法使用多尺度融合网络时，存在隐藏层对图像特征利用不完全的问题，提高了识别精度。

Description

一种基于跪拜行为识别来定位炫彩射灯的方法及系统

技术领域

本发明涉及人体姿态识别技术领域，尤其涉及一种基于跪拜行为识别来定位炫彩射灯的方法及系统。

背景技术

随着深度学习的发展，人体的检测由最初用一个矩形框将人的轮廓框出逐步发展到姿态估计，或称姿态识别，即识别具体部件的关键点。人体姿态估计在现实生活中已广泛应用到游戏、动画制作和行为识别等多个领域。在行为识别领域，通过分析人体关键点的模式，可以预测人体正在进行的行为，比如举手、抱拳、跪拜等。

目前，前沿的人体姿态估计均基于深度卷积神经网络。深度卷积神经网络以其自动学习特征的优势，在图像大数据处理任务中始终占据主要地位。人体姿态估计深度网络的输入为图片或视频，输出为人体关键点坐标或关键点热图。当输出为关键点热图时，根据热图在不同位置的响应大小可以得到最终关键点的位置坐标。

现如今很多寺庙都建有万佛墙，寺庙里的万佛墙数量一般在500-10000之间，且佛像数量众多。但是，现有的基于深度卷积神经网络的人体姿态估计方法很少用于信徒跪拜行为识别来增加信众在礼佛时与寺庙进行更好地互动，而且该方法使用多尺度融合网络时存在隐藏层对图像特征利用不完全的问题，有必要进一步提高。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于跪拜行为识别来定位炫彩射灯的方法及系统，不仅能适用于信徒跪拜行为识别来增加信众在礼佛时与寺庙地互动性，还能解决传统基于深度卷积神经网络的人体姿态估计方法使用多尺度融合网络时，存在隐藏层对图像特征利用不完全的问题，提高了识别精度。

为了解决上述技术问题，本发明实施例提供了一种基于跪拜行为识别来定位炫彩射灯的方法，所述方法包括以下步骤：

步骤S1、获取跪拜者的人体姿态图像；

步骤S2、使用预先设置的多尺度融合网络，对所述跪拜者的人体姿态图像进行识别，并在识别出指定位置有相应的跪拜行为时，打开指定位置对应的射灯，以及同步播放预置的佛乐。

其中，所述多尺度融合网络是由预先定义的基础残差结构和瓶颈残差结构融合并扩展而成的。

其中，所述基础残差结构的设计步骤具体如下：

(1.1)确定基础残差结构的连接方式：

其中，x∈R^w×h×m代表残差结构的输入；α∈R^m代表有界通道显著系数，0≤α_i≤C_bb；C_bb代表基础残差结构中大于0的一个常数；

(1.2)对x进行一系列卷积操作，得到深层特征

其中

(1.3)将有界通道显著系数α与x进行通道域对应相乘，得到具有通道显著性特征的浅层特征γ(α,x)；其中，γ(α,x)∈R^w×h×m，且所有显著性系数的初始化为1；

同时，在基础残差结构的显著性系数α^ori初始化和每一次反向传播更新后，都要经过边界裁剪得到α，而当前α则成为下一次训练的α^ori；

(1.4)输出基础残差结构x_e，即利用浅层网络特征增强深层特征。

其中，所述瓶颈残差结构的设计步骤具体如下：

(2.1)确定瓶颈残差结构的连接方式：

其中，x∈R^w×h×m代表残差结构的输入；

代表有界通道显著系数，0≤α_i≤C_bn；C_bn代表瓶颈残差结构中大于0的一个常数；

(2.2)对x进行一系列卷积操作，得到深层特征

其中

(2.3)对x进行卷积操作，使得θ(x)具有和

相同的维度；

(2.4)将有界通道显著系数α与θ(x)进行通道域对应相乘，得到具有通道显著性特征的浅层特征γ(α,θ(x))；其中，

且所有显著性系数的初始化为1；

同时，在瓶颈残差结构的显著性系数α^ori初始化和每一次反向传播更新后，都要经过边界裁剪得到α，而当前α则成为下一次训练的α^ori；

(2.5)输出瓶颈残差结构x_e，即利用浅层网络特征增强深层特征。

其中，所述基础残差结构和所述瓶颈残差结构进行融合的设计步骤具体如下：

(3.1)确定两个尺度的融合方式：

其中，xⁱ代表第i个尺度分支的输入，

代表有界通道显著系数，0≤α^i～j≤C_fc，且C_fc代表多尺度融合模块中用于通道显著性的大于0的一个常数；β^i～j∈R¹代表有界尺度显著系数，0≤β^i～j≤C_fs，且C_fs代表多尺度融合模块中用于尺度显著性的大于0的一个常数；

代表融合后的第j个尺度；

代表对

进行通道注意力检测，作用方式为将α^i～j与

进行通道域对应相乘。

(3.2)对xⁱ进行一系列卷积操作和尺度变换，得到

用于与第j个尺度进行信息融合产生

其中，

(3.3)对α^i～j与

进行通道域对应相乘，即注意力检测。

其中，所述基础残差结构和所述瓶颈残差结构融合后拓展至多尺度融合结构的设计步骤如下：

(4.1)确定多尺度融合结构中的图像通道的显著性检测方式：

其中，

代表加入通道显著性检测后的第j个通道，且

(4.2)可将β^j～i与α^j～i合并：

其中，

融合了通道显著性和尺度显著性，0≤ω^j～i≤C_fs*C_fc；

(4.3)将公式简化为：

即，得到最终的多尺度融合网络。

本发明实施例还提供了一种基于跪拜行为识别来定位炫彩射灯的系统，包括：

获取单元，用于获取跪拜者的人体姿态图像；

识别定位单元，用于使用预先设置的多尺度融合网络，对所述跪拜者的人体姿态图像进行识别，并在识别出指定位置有相应的跪拜行为时，打开指定位置对应的射灯，以及同步播放预置的佛乐。

其中，所述多尺度融合网络是由预先定义的基础残差结构和瓶颈残差结构融合并扩展而成的。

实施本发明实施例，具有如下有益效果：

1、本发明基于多尺度融合网络对跪拜者的人体姿态进行识别，用以定位射灯以及同步播放预置的佛乐，适用于信徒跪拜行为识别来增加信众在礼佛时与寺庙地互动性，提升用户体验性；

2、本发明的多尺度融合网络由基础残差结构和瓶颈残差结构融合并扩展而成的，能解决传统基于深度卷积神经网络的人体姿态估计方法使用多尺度融合网络时，存在隐藏层对图像特征利用不完全的问题，提高了识别精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明实施例提供的一种基于跪拜行为识别来定位炫彩射灯的方法的流程图；

图2为图1步骤S2中基础残差结构的逻辑结构示意图；

图3为图2基础残差结构中通道注意力模块的作用方式应用图；

图4为图1步骤S2中瓶颈残差结构的逻辑结构示意图；

图5为图4瓶颈残差结构中通道注意力模块的作用方式应用图；

图6为图1步骤S2中基础残差结构和瓶颈残差结构融合并拓展至多尺度融合网络的逻辑结构示意图；

图7为本发明实施例提供的一种基于跪拜行为识别来定位炫彩射灯的系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，为本发明实施例中，提供的一种基于跪拜行为识别来定位炫彩射灯的方法，所述方法包括以下步骤：

步骤S1、获取跪拜者的人体姿态图像；

步骤S2、使用预先设置的多尺度融合网络，对所述跪拜者的人体姿态图像进行识别，并在识别出指定位置有相应的跪拜行为时，打开指定位置对应的射灯，以及同步播放预置的佛乐。

具体过程为，在步骤S1中，通过摄像头对跪拜者的人体姿态进行拍摄，并接收摄像头传输过来的人体姿态图像。

在步骤S2中，首先预先设置多尺度融合网络，该多尺度融合网络是由预先定义的基础残差结构和瓶颈残差结构融合并扩展而成的。

第一步、构建如图2所示的基础残差结构，其设计步骤具体如下：

(1.1)确定基础残差结构的连接方式：

其中，x∈R^w×h×m代表残差结构的输入；α∈R^m代表有界通道显著系数，0≤α_i≤C_bb；C_bb代表基础残差结构中大于0的一个常数；

(1.2)对x进行一系列卷积操作，得到深层特征

其中

(1.3)将有界通道显著系数α与x进行通道域对应相乘，得到具有通道显著性特征的浅层特征γ(α,x)；其中，γ(α,x)∈R^w×h×m，且所有显著性系数的初始化为1；

同时，在基础残差结构的显著性系数α^ori初始化和每一次反向传播更新后，都要经过边界裁剪得到α，而当前α则成为下一次训练的α^ori，作用方式如图3所示；

(1.4)输出基础残差结构x_e，即利用浅层网络特征增强深层特征。

第二步、构建如图4所示的瓶颈残差结构，其设计步骤具体如下：

(2.1)确定瓶颈残差结构的连接方式：

其中，x∈R^w×h×m代表残差结构的输入；

代表有界通道显著系数，0≤α_i≤C_bn；C_bn代表瓶颈残差结构中大于0的一个常数；

(2.2)对x进行一系列卷积操作，得到深层特征

其中

(2.3)对x进行卷积操作，使得θ(x)具有和

相同的维度；

(2.4)将有界通道显著系数α与θ(x)进行通道域对应相乘，得到具有通道显著性特征的浅层特征γ(α,θ(x))；其中，

且所有显著性系数的初始化为1；

同时，在瓶颈残差结构的显著性系数α^ori初始化和每一次反向传播更新后，都要经过边界裁剪得到α，而当前α则成为下一次训练的α^ori，作用方式如图5所示；

(2.5)输出瓶颈残差结构x_e，即利用浅层网络特征增强深层特征。

第三步、使基础残差结构和瓶颈残差结构进行融合，其设计步骤具体如下：

(3.1)确定两个尺度的融合方式：

其中，xⁱ代表第i个尺度分支的输入，

代表有界通道显著系数，0≤α^i～j≤C_fc，且C_fc代表多尺度融合模块中用于通道显著性的大于0的一个常数；β^i～j∈R¹代表有界尺度显著系数，0≤β^i～j≤C_fs，且C_fs代表多尺度融合模块中用于尺度显著性的大于0的一个常数；

代表融合后的第j个尺度；

代表对

进行通道注意力检测，作用方式为将α^i～j与

进行通道域对应相乘。

(3.2)对xⁱ进行一系列卷积操作和尺度变换，得到

用于与第j个尺度进行信息融合产生

其中，

(3.3)对α^i～j与

进行通道域对应相乘，即注意力检测。

第四步、将上述基础残差结构和瓶颈残差结构融合后，拓展至多尺度融合结构，其设计步骤如下：

(4.1)确定多尺度融合结构中的图像通道的显著性检测方式：

其中，

代表加入通道显著性检测后的第j个通道，且

(4.2)可将β^j～i与α^j～i合并：

其中，

融合了通道显著性和尺度显著性，0≤ω^j～i≤C_fs*C_fc；

(4.3)将公式简化为：

即，得到最终的多尺度融合网络，如图6所示。

最后，在识别出指定位置有相应的跪拜行为时，打开指定位置对应的射灯，以及同步播放预置的佛乐。

应当说明的是，对人体姿态图像进行识别的同时，会通过人体姿态图像来提取跪拜者的周边环境图像，用以判定跪拜者的地理位置坐标，从而进一步确定跪拜者所跪拜位置对应的射灯。或者，还可以通过指定位置布置的红外感应器、温度感应器等感应触发来得到跪拜者的地理位置坐标，即触发感应的红外感应器或温度感应器的布置位置。

可以理解的是，地理位置坐标与射灯的映射关系应预先设置在相应的数据库中，且该数据库中还通过射灯关联有预先设置的佛乐。鉴于上述关联关系和映射关系的设置及应用属于常用技术手段，在此不再一一赘述。

如图7所示，为本发明实施例中，提供的一种基于跪拜行为识别来定位炫彩射灯的系统，包括：

获取单元110，用于获取跪拜者的人体姿态图像；

识别定位单元120，用于使用预先设置的多尺度融合网络，对所述跪拜者的人体姿态图像进行识别，并在识别出指定位置有相应的跪拜行为时，打开指定位置对应的射灯，以及同步播放预置的佛乐。

其中，所述多尺度融合网络是由预先定义的基础残差结构和瓶颈残差结构融合并扩展而成的。

实施本发明实施例，具有如下有益效果：

1、本发明基于多尺度融合网络对跪拜者的人体姿态进行识别，用以定位射灯以及同步播放预置的佛乐，适用于信徒跪拜行为识别来增加信众在礼佛时与寺庙地互动性，提升用户体验性；

2、本发明的多尺度融合网络由基础残差结构和瓶颈残差结构融合并扩展而成的，能解决传统基于深度卷积神经网络的人体姿态估计方法使用多尺度融合网络时，存在隐藏层对图像特征利用不完全的问题，提高了识别精度。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (2)

1.一种基于跪拜行为识别来定位炫彩射灯的方法，其特征在于，所述方法包括以下步骤：

步骤S1、获取跪拜者的人体姿态图像；

步骤S2、使用预先设置的多尺度融合网络，对所述跪拜者的人体姿态图像进行识别，并在识别出指定位置有相应的跪拜行为时，打开指定位置对应的射灯，以及同步播放预置的佛乐；

所述多尺度融合网络是由预先定义的基础残差结构和瓶颈残差结构融合并扩展而成的；

所述基础残差结构的设计步骤具体如下：

(1.1)确定基础残差结构的连接方式：

其中，x∈R^w×h×m代表残差结构的输入；α∈R^m代表有界通道显著系数，0≤α_k≤C_bb；C_bb代表基础残差结构中大于0的一个常数；

(1.2)对x进行一系列卷积操作，得到深层特征

其中

(1.3)将有界通道显著系数α与x进行通道域对应相乘，得到具有通道显著性特征的浅层特征γ(α,x)；其中，γ(α,x)∈R^w×h×m，且所有显著性系数的初始化为1；

同时，在基础残差结构的显著性系数α^ori初始化和每一次反向传播更新后，都要经过边界裁剪得到α，而当前α则成为下一次训练的α^ori；

(1.4)输出基础残差结构x_e，即利用浅层网络特征增强深层特征；

所述瓶颈残差结构的设计步骤具体如下：

(2.1)确定瓶颈残差结构的连接方式：

其中，x∈R^w×h×m代表残差结构的输入；

代表有界通道显著系数，0≤α_k1≤C_bn；C_bn代表瓶颈残差结构中大于0的一个常数；

(2.2)对x进行一系列卷积操作，得到深层特征

其中

(2.3)对x进行卷积操作，使得θ(x)具有和

相同的维度；

(2.4)将有界通道显著系数α与θ(x)进行通道域对应相乘，得到具有通道显著性特征的浅层特征γ(α,θ(x))；其中，

且所有显著性系数的初始化为1；

同时，在瓶颈残差结构的显著性系数α^ori初始化和每一次反向传播更新后，都要经过边界裁剪得到α，而当前α则成为下一次训练的α^ori’；

(2.5)输出瓶颈残差结构x_e，即利用浅层网络特征增强深层特征；

所述基础残差结构和所述瓶颈残差结构进行融合的设计步骤具体如下：

(3.1)确定两个尺度的融合方式：

其中，xⁱ代表第i个尺度分支的输入，

代表有界通道显著系数，0≤α^i～j≤C_fc，且C_fc代表多尺度融合模块中用于通道显著性的大于0的一个常数；β^i～j∈R¹代表有界尺度显著系数，0≤β^i～j≤C_fs，且C_fs代表多尺度融合模块中用于尺度显著性的大于0的一个常数；

代表融合后的第j个尺度；

代表对

进行通道注意力检测，作用方式为将α^i～j与

进行通道域对应相乘；

(3.2)对xⁱ进行一系列卷积操作和尺度变换，得到

用于与第j个尺度进行信息融合产生

其中，

(3.3)对α^i～j与

进行通道域对应相乘，即注意力检测；

所述基础残差结构和所述瓶颈残差结构融合后拓展至多尺度融合结构的设计步骤如下：

(4.1)确定多尺度融合结构中的图像通道的显著性检测方式：

其中，

代表加入通道显著性检测后的第j个通道，且

(4.2)可将β^j～i与α^j～i合并：

其中，

融合了通道显著性和尺度显著性，0≤ω^j～i≤C_fs*C_fc；

(4.3)将公式简化为：

即，得到最终的多尺度融合网络。

2.一种基于跪拜行为识别来定位炫彩射灯的系统，其特征在于，包括：

获取单元，用于获取跪拜者的人体姿态图像；

识别定位单元，用于使用预先设置的多尺度融合网络，对所述跪拜者的人体姿态图像进行识别，并在识别出指定位置有相应的跪拜行为时，打开指定位置对应的射灯，以及同步播放预置的佛乐；所述多尺度融合网络是由预先定义的基础残差结构和瓶颈残差结构融合并扩展而成的；

所述基础残差结构的设计步骤具体如下：

(1.1)确定基础残差结构的连接方式：

其中，x∈R^w×h×m代表残差结构的输入；α∈R^m代表有界通道显著系数，0≤α_k≤C_bb；C_bb代表基础残差结构中大于0的一个常数；

(1.2)对x进行一系列卷积操作，得到深层特征

其中

(1.3)将有界通道显著系数α与x进行通道域对应相乘，得到具有通道显著性特征的浅层特征γ(α,x)；其中，γ(α,x)∈R^w×h×m，且所有显著性系数的初始化为1；

同时，在基础残差结构的显著性系数α^ori初始化和每一次反向传播更新后，都要经过边界裁剪得到α，而当前α则成为下一次训练的α^ori；

(1.4)输出基础残差结构x_e，即利用浅层网络特征增强深层特征；

所述瓶颈残差结构的设计步骤具体如下：

(2.1)确定瓶颈残差结构的连接方式：

其中，x∈R^w×h×m代表残差结构的输入；

代表有界通道显著系数，0≤α_k1≤C_bn；C_bn代表瓶颈残差结构中大于0的一个常数；

(2.2)对x进行一系列卷积操作，得到深层特征

其中

(2.3)对x进行卷积操作，使得θ(x)具有和

相同的维度；

(2.4)将有界通道显著系数α与θ(x)进行通道域对应相乘，得到具有通道显著性特征的浅层特征γ(α,θ(x))；其中，

且所有显著性系数的初始化为1；

同时，在瓶颈残差结构的显著性系数α^ori初始化和每一次反向传播更新后，都要经过边界裁剪得到α，而当前α则成为下一次训练的α^ori’；

(2.5)输出瓶颈残差结构x_e，即利用浅层网络特征增强深层特征；

所述基础残差结构和所述瓶颈残差结构进行融合的设计步骤具体如下：

(3.1)确定两个尺度的融合方式：

其中，xⁱ代表第i个尺度分支的输入，

代表有界通道显著系数，0≤α^i～j≤C_fc，且C_fc代表多尺度融合模块中用于通道显著性的大于0的一个常数；β^i～j∈R¹代表有界尺度显著系数，0≤β^i～j≤C_fs，且C_fs代表多尺度融合模块中用于尺度显著性的大于0的一个常数；

代表融合后的第j个尺度；

代表对

进行通道注意力检测，作用方式为将α^i～j与

进行通道域对应相乘；

(3.2)对xⁱ进行一系列卷积操作和尺度变换，得到

用于与第j个尺度进行信息融合产生

其中，

(3.3)对α^i～j与

进行通道域对应相乘，即注意力检测；

所述基础残差结构和所述瓶颈残差结构融合后拓展至多尺度融合结构的设计步骤如下：

(4.1)确定多尺度融合结构中的图像通道的显著性检测方式：

其中，

代表加入通道显著性检测后的第j个通道，且

(4.2)可将β^j～i与α^j～i合并：

其中，

融合了通道显著性和尺度显著性，0≤ω^j～i≤C_fs*C_fc；

(4.3)将公式简化为：

即，得到最终的多尺度融合网络。

Images