CN114360127A - 一种用于安检系统的行人健康监测方法 - Google Patents

Abstract

一种用于安检系统的行人健康监测方法，包括以下步骤：步骤1：采集商场、医院、地铁站等大型公共场所的行人经过门禁的画面，对图像进行标记；步骤2：将图像输入实例级行人检测网络中训练，识别行人是否合理佩戴口罩以及是否持有健康码；步骤3：将模型嵌入在安检系统中，对行人健康状况进行监测。本发明的目的是为了解决在疫情防控技术领域中，在需要检查行人体温以及健康码的情况下，现有技术所存在的只能对行人进行单人检测，无法实现多个行人一次性检测的技术问题，使得在人流量较大的场景下具有一定的局限性。

Description

一种用于安检系统的行人健康监测方法

技术领域

本发明涉及图像检测、处理技术领域，具体涉及一种同时对行人体温、口罩以及健康码进行检测的方法。

背景技术

公开号为CN113393604A的中国专利公开了一种利于疫情防控的门禁识别方法，它包括通过人脸识别和体温检测两者识别装置，同时进行门禁判断：首先采集人脸信息和体温信息，再对比人脸信息和体温信息是否符合标准，以此使门禁在识别用户人脸的同时对用户的体温信息进行检测，避免体温异常的用户进出门禁。

但是，若病毒携带者是刚刚才接触过高风险人群，处于感染初期，在到达公共区域时未体现出发热等相关特征，设置在公共区域门口处的测温装置将无法及时检测到异常，这时就需要配合健康码的相关检查。而在目前市场上研发的产品中，只有少数产品配有二维码扫描器，而该方法一次只能对一个行人进行检测，无法实现多个行人一次性检测，在人流量较大的时候具有一定的局限性。

发明内容

本发明的目的是为了解决在疫情防控技术领域中，在需要检查行人体温以及健康码的情况下，现有技术所存在的只能对行人进行单人检测，无法实现多个行人一次性检测的技术问题，使得在人流量较大的场景下具有一定的局限性。

一种用于安检系统的行人健康监测方法，包括以下步骤：

步骤1：采集商场、医院、地铁站等大型公共场所的行人经过门禁的画面，对图像进行标记；

步骤2：将图像输入实例级行人检测模块中，训练模型识别行人是否合理佩戴口罩以及是否持有健康码信息；

步骤3：将模型嵌入在安检系统中，对行人健康状况进行监测。

在步骤1中，采集行人过门禁图像，对其行人的整体、头部和健康码进行标记；头部标记为合理配戴口罩、未合理佩戴口罩两类，健康码标记为红码、黄码和绿码三类；制作成带有从属关系标记的数据集；

在制作成带有从属关系标记的数据集时，具体为：

对于行人整体，标记信息为

其中x₀，y₀，x₁，y₁分别代表图像中整体检测框的左上角和右下角坐标，i代表行人的数量。对于头部、健康码，标记信息为

其中j代表人体部件所属的类，(i，j)即表示行人i的部件j。模型根据标签信息就可以学习到实例中的从属关系。

步骤2中，使用实例级行人检测网络时，同时检测人的头部以及持有的健康码，并且判断其类别，具体包括以下步骤：

1)：将带有标签信息的数据集输入到所述特征提取网络，通过自底向上的方式由浅至深提取特征；

2)：通过改进的FPN网络将不同层的特征图进行特征融合；

3)：利用RPN生成一系列RoIs，采用RoIAlign替代传统的ROIPooling得到新的特征图；

4)：将特征图输入到不同分支中得到检测结果；

在步骤1)中，使用Mask RCNN作为主要网络框架，采用ResNet50作为所述特征提取的主干网络；

在步骤2)中，通过改进的FPN层提取更丰富的上下文信息，能更深层次的学习行人整体与局部位置信息；

在步骤3)中，采用分支预测结构将行人的整体与部分分开分类与回归，将P2-P6的RoIs采用RoiAlign，得到7*7的RoIs1，将P2的RoIs采用RoIAlign，得到32*24 的特征RoIs2；

在步骤4)中，采用分支预测结构对行人的整体与局部分开进行预测。

在步骤2)中，在使用改进的FPN层时，包括以下步骤：

(1)将待检测图像经过所述主干网络后，得到不同尺度大小的特征图，将其分为C*＝{C1,C2,C3,C4,C5}，分别包含原输入图像大小不同倍数下采样特征图，取所述主干网络中的C2,C3,C4,C5层；

(2)将C2,C3,C4,C5经过深度扩充模块(DCM)扩充C*的维度至m；

(3)建立改进的FPN网络，得到融合多层信息的特征图 P*＝{P2,P3,P4,P5,P6}，其中分别包含原图大小不同倍数的多尺度特征图。

在步骤(2)中，深度扩充模块能融合更深层的位置信息与语义特征，扩大感受野，增强局部信息，在使用深度扩充模块时：

将特征C*输入到深度扩充模块中，分支一采用1*1的卷积保留原始特征图信息，得到输出维度大小为m/2的分支一特征图；分支二依次经过4*4步伐为2的卷积缩小特征图，1*1步伐大小为1的卷积，4*4步伐为2的反卷积扩大至输入特征图大小，最后经过Sigmoid函数得到一个权重，将权重与经过1*1的卷积、维度大小为m/2的特征图逐元素相乘得到分支二特征图；将分支一与分支二的特征图相联接得到维度大小为m的输出特征图C*’。

在步骤(3)中，特征图P6由经过深度扩充模块后的C5’下采样得到，C5’与上采样后P6逐元素相加得到特征图P5，C4’与上采样后P5逐元素相加得到特征图P4， C3’与上采样后P4逐元素相加得到特征图P3，C2’与上采样后P3逐元素相加得到特征图P2。

在步骤4)中，将RoIs1采用密集分支预测结构分类与回归得到行人整体检测结果，密集分支预测结构中将RoIs1经过全局平均池化(GAP)对网络进行密集分类与回归，修改非极大值抑制规则，对于同一个锚点产生的预测框保留两个，与之前的 GAP相联接，再次回归分类得到最终的人整体检测结果；

在步骤4)中，将RoIs2采用高阶预测结构分类与回归得到局部的检测结果，高阶分支预测结构中将RoIs2依次经过3*3，3*1，1*3，3*3的卷积得到特征图R1，分支一中R1再经过3*3，1*1的卷积操作得到特征图B1，经过一个4*4步伐为2的反卷积将B1的特征图扩大一倍，增加局部信息，回归得到行人手机及面部位置和从属关系检测结果；分支二中R1经过3*3，1*1的卷积操作得到特征图B2，对行人健康码及面部佩戴口罩情况进行分类。

在步骤2中，实例级行人检测网络中增加了对检测结果从属关系的训练，采用改进的损失函数对其进行目标回归，具体定义如下：

L＝L_rpn+L_bbox+L_hpd

其中L_rpn是RPN的损失，采用的是交叉熵损失,L_bbox是行人检测分支的损失，采用的是smooth L1损失，L_hpd是行人部件检测分支的损失。

L_hpd＝L_c+L_r+L_d

其中L_c是行人部件检测的分类损失，L_r是边界框回归损失采用的是GIoU损失， L_d是从属损失采用的是Binary Cross-Entropy Log损失。

其中，α和γ为超参数，y′∈[0，1]为预测框的预测得分，y为真实标签类别。

在步骤3中，将模型嵌入在安检系统中，当行人经过时，对其头部与健康码进行检测，根据头部检测信息判断行人体温是否正常，有无正确佩戴口罩；根据健康码判断近一段时间内行人的密切接触情况；对不同的非正常状况给与相应提示信息。

与现有技术相比，本发明具有如下技术效果：

1)本发明针对现有的安检系统中存在自动检测完体温后还需要人工去检查健康码的情况提出了一种同时检测多个行人体温、佩戴口罩以及健康码的方法，最大程度上的减轻健康防控所需要的人工成本。

2)本发明提出的行人实例检测网络，将人体检测和人体部件检测解耦，缓解跨对象学习造成大尺度变化的问题，并且建立行人实例及其部件之间的层次关系，将行人的体温、佩戴口罩情况以及健康码情况相匹配。

3)在识别模型的构建上，本发明提出了一种改进的FPN网络将不同层的特征图进行特征融合，提取更丰富的上下文信息，可以更深层次的学习行人整体与局部位置信息；本发明提出的密集分支预测结构修改传统网络的分类层与非极大值抑制规则，提高了在密集场景下行人整体检测的精度；本发明提出的高阶预测结构能细化局部信息，提高局部信息的检测精度；所采用改进损失函数得到更准确的回归框与从属关系。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1为本发明中实例级行人检测网络结构图；

图2为本发明中深度扩充模块的结构示意图。

具体实施方式

如图1和图2所示，一种用于安检系统的行人健康监测方法，它包括以下步骤：

步骤1：采集行人过门禁图像，对其行人的整体、头部和健康码进行标记，对于行人整体，标记信息为

其中x₀，y₀，x₁，y₁分别代表图像中整体检测框的左上角和右下角坐标，i代表行人的数量。对于头部、健康码，标记信息为

其中j代表人体部件所属的类，(i，j)即表示行人i的部件j。模型根据标签信息就可以学习到实例中的从属关系。头部标记为合理配戴口罩、未合理佩戴口罩两类，健康码标记为红码、黄码和绿码三类。

步骤2：将数据集输入实例级行人检测网络中，如图1所示，使用Mask RCNN 作为主要网络框架，采用ResNet50作为所述特征提取的主干网络；将待检测图像经过所述主干网络后，得到不同尺度大小的特征图，将其分为C*＝{C1,C2,C3,C4,C5}，分别包含原输入图像大小2倍，4倍，8倍，16倍，32倍下采样特征图。

步骤3：如图2所示，取所述主干网络中的C2,C3,C4,C5层输入深度扩充模块中，分支一采用1*1的卷积保留原始特征图信息，得到输出维度大小为m/2的分支一特征图；分支二依次经过4*4步伐为2的卷积缩小特征图，1*1步伐大小为1的卷积，4*4 步伐为2的反卷积扩大至输入特征图大小，最后经过Sigmoid函数得到一个权重，将权重与经过1*1的卷积、维度大小为m/2的特征图逐元素相乘得到分支二特征图；将分支一与分支二的特征图相联接得到维度大小为m的输出特征图C2’,C3’,C4’,C5’。

步骤4：建立改进的FPN网络，特征图P6由经过深度扩充模块后的C5’下采样得到，C5’与上采样后P6逐元素相加得到特征图P5，C4’与上采样后P5逐元素相加得到特征图P4，C3’与上采样后P4逐元素相加得到特征图P3，C2’与上采样后P3逐元素相加得到特征图P2。融合多层信息的特征图P*＝{P2,P3,P4,P5,P6}，其中分别包含原图大小1/4倍，1/8倍，1/16倍，1/32倍，1/64倍的多尺度特征图。

步骤5：采用分支预测结构将行人的整体与部分分开分类与回归，将P2-P6的RoIs采用RoiAlign，得到7*7的RoIs1，将P2的RoIs采用RoIAlign，得到32*24的特征 RoIs2。

步骤6：将RoIs1采用密集分支预测结构分类与回归得到行人整体检测结果，密集分支预测结构中将RoIs1经过全局平均池化(GAP)对网络进行密集分类与回归，修改非极大值抑制规则，对于同一个锚点产生的预测框保留两个，与之前的GAP相联接，再次回归分类得到最终的人整体检测结果。

步骤7：将RoIs2采用高阶预测结构分类与回归得到局部的检测结果，高阶分支预测结构中将RoIs2依次经过3*3，3*1，1*3，3*3的卷积得到特征图R1，分支一中 R1再经过3*3，1*1的卷积操作得到特征图B1，经过一个4*4步伐为2的反卷积将 B1的特征图大小扩大一倍，增加局部信息，回归得到行人手机及面部位置和从属关系检测结果；分支二中R1经过3*3，1*1的卷积操作得到特征图B2，对行人健康码及面部佩戴口罩情况进行分类。

步骤8：模型中增加了对检测结果从属关系的训练，采用改进的损失函数对其进行目标回归，具体定义如下：

L＝L_rpn+L_bbox+L_hpd

其中，L_rpn是RPN损失采用的是交叉熵损失，L_rpn＝-ylogy′-(1-y)log(1-y′)， y′∈[0，1]为预测框的预测得分，y为真实标签类别；L_bbox是行人检测分支损失采用的是smoothL1损失，

x是预测值和真实值的绝对误差。

L_hpd是行人部件检测分支的损失，L_hpd＝L_c+L_r+L_d，其中L_c是行人部件检测分类损失采用的是改进的Focalloss损失，

α和γ为超参数，y′∈[0，1]为预测框的预测得分，y为真实标签类别；L_r是边界框回归损失采用的是GIoU损失，L_r＝1-GIoU，

A为预测框面积，B为真实框面积，C为包围A、B的最小包围框面积；L_d是从属损失采用的是Binary Cross-EntropyLog损失， L_d＝-(q·log(p)+(1-q)·log(1-p))，p代表了预测框隶属关系得分，q是真实标签类别。

步骤9：将训练好的模型嵌入在安检系统中，当行人经过时，对其头部与健康码进行检测，根据头部检测信息判断行人体温是否正常，有无正确佩戴口罩；根据健康码判断近一段时间内行人的密切接触情况；对不同的非正常状况给与相应提示信息。

本发明提供的一种用于安检系统的行人健康监测方法，采用实例级行人检测网络同时对行人的头部和健康码进行检测，判断行人体温是否正常、是否佩戴口罩以及健康码是否正常。同时，通过在标签中添加实例的从属关系、改进的特征融合结构以及分支预测结构，可以有效的改善人流量较大时的检测精度。

Claims (8)

1.一种用于安检系统的行人健康监测方法，其特征在于，包括以下步骤：

步骤1：采集商场、医院、地铁站等大型公共场所的行人经过门禁的画面，对图像进行标记；

步骤2：将图像输入实例级行人检测网络中训练，识别行人是否合理佩戴口罩以及是否持有健康码；

步骤3：将模型嵌入在安检系统中，对行人健康状况进行监测。

2.根据权利要求1所述的方法，其特征在于，在步骤1中，采集行人过门禁图像，对其行人的整体、头部和健康码进行标记；头部标记为合理配戴口罩、未合理佩戴口罩两类，健康码标记为红码、黄码和绿码三类；制作成带有从属关系标记的数据集；

在制作成带有从属关系标记的数据集时，具体为：

对于行人整体，标记信息为

其中x₀，y₀，x₁，y₁分别代表图像中整体检测框的左上角和右下角坐标，i代表行人的数量，对于头部、健康码，标记信息为

其中j代表人体部件所属的类，(i，j)即表示行人i的部件j，模型根据标签信息就可以学习到实例中的从属关系。

3.根据权利要求1所述的方法，其特征在于，在步骤2中，使用实例级行人检测网络时，同时检测人的头部以及持有的健康码，并且判断其类别，具体包括以下步骤：

1)：将带有标签信息的数据集输入到所述特征提取网络，通过自底向上的方式由浅至深提取特征；

2)：通过改进的FPN网络将不同层的特征图进行特征融合；

3)：利用RPN生成一系列RoIs，采用RoIAlign替代传统的ROIPooling得到新的特征图；

4)：将特征图输入到不同分支中得到检测结果。

4.根据权利要求3所述的方法，其特征在于，

在步骤1)中，使用Mask RCNN作为主要网络框架，采用ResNet50作为所述特征提取的主干网络；

在步骤2)中，通过改进的FPN层提取更丰富的上下文信息，能更深层次的学习行人整体与局部位置信息；

在步骤3)中，采用分支预测结构将行人的整体与部分分开分类与回归，将P2-P6的ReIs采用RoiAlign，得到7*7的ReIs1，将P2的ReIs采用RoIAlign，得到32*24的特征RoIs2；

在步骤4)中，采用分支预测结构对行人的整体与局部分开进行预测。

5.根据权利要求4所述的方法，其特征在于，在步骤2)中，在使用改进的FPN层时，包括以下步骤：

(1)将待检测图像经过所述主干网络后，得到不同尺度大小的特征图，将其分为C*＝{C1，C2，C3，C4，C5}，分别包含原输入图像大小不同倍数下采样特征图，取所述主干网络中的C2，C3，C4，C5层；

(2)将C2，C3，C4，C5经过深度扩充模块(DCM)扩充C*的维度至m；

(3)建立改进的FPN网络，得到融合多层信息的特征图P*＝{P2，P3，P4，P5，P6}，其中分别包含原图大小不同倍数的多尺度特征图；

在步骤(2)中，深度扩充模块能融合更深层的位置信息与语义特征，扩大感受野，增强局部信息，在使用深度扩充模块时：

将特征C*输入到深度扩充模块中，分支一采用1*1的卷积保留原始特征图信息，得到输出维度大小为m/2的分支一特征图；分支二依次经过4*4步伐为2的卷积缩小特征图，1*1步伐大小为1的卷积，4*4步伐为2的反卷积扩大至输入特征图大小，最后经过Sigmoid函数得到一个权重，将权重与经过1*1的卷积、维度大小为m/2的特征图逐元素相乘得到分支二特征图；将分支一与分支二的特征图相联接得到维度大小为m的输出特征图C*’；

在步骤(3)中，特征图P6由经过深度扩充模块后的C5’下采样得到，C5’与上采样后P6逐元素相加得到特征图P5，C4’与上采样后P5逐元素相加得到特征图P4，C3’与上采样后P4逐元素相加得到特征图P3，C2’与上采样后P3逐元素相加得到特征图P2。

6.根据权利要求4所述的方法，其特征在于，在步骤4)中，将RoIs1采用密集分支预测结构分类与回归得到行人整体检测结果，密集分支预测结构中将RoIs1经过全局平均池化(GAP)对网络进行密集分类与回归，修改非极大值抑制规则，对于同一个锚点产生的预测框保留两个，与之前的GAP相联接，再次回归分类得到最终的人整体检测结果；

在步骤4)中，将ReIs2采用高阶分支预测结构分类与回归得到局部的检测结果，高阶分支预测结构中将RoIs2依次经过3*3，3*1，1*3，3*3的卷积得到特征图R1，分支一中R1再经过3*3，1*1的卷积操作得到特征图B1，经过一个4*4步伐为2的反卷积将B1的特征图大小扩大一倍，增加局部信息，回归得到行人手机及面部位置和从属关系检测结果；分支二中R1经过3*3，1*1的卷积操作得到特征图B2，对行人健康码及面部佩戴口罩情况进行分类。

7.根据权利要求1或3所述的方法，其特征在于，在步骤2中，实例级行人检测网络中增加了对检测结果从属关系的学习，采用改进的损失函数对其进行目标回归，具体定义如下：

L＝L_rpn+L_bbox+L_hpd

其中L_rpn是RPN的损失，采用的是交叉熵损失，L_bbox是行人检测分支的损失，采用的是smooth L1损失，L_hpa是行人部件检测分支的损失；

L_hpd＝L_c+L_r+L_d

其中L_c是行人部件检测的分类损失，L_r是边界框回归损失采用的是GIoU损失，L_d是从属损失采用的是Binary Cross-Entropy Loss损失；

其中，α和γ为超参数，y′∈[0，1]为预测框的预测得分，y为真实标签类别。

8.根据权利要求1所述的方法，其特征在于，在步骤3中，将模型嵌入在安检系统中，当行人经过时，对其头部与健康码进行检测，根据头部检测信息判断行人体温是否正常，有无正确佩戴口罩；根据健康码判断近一段时间内行人的密切接触情况；对不同的非正常状况给与相应提示信息。

Images