CN113283340A - 一种基于眼表特征的疫苗接种情况检测方法、装置及系统 - Google Patents

Abstract

本发明涉及一种基于眼表特征的疫苗接种情况检测方法、装置及系统，其中检测方法包括：步骤1：获取待检测的人脸图像；步骤2：对人脸图像进行预处理，获得眼部区域特征图像；步骤3：使用眼部特征提取模型获取眼部特征；步骤4：通过分类模型步骤3获取的眼部特征进行分类，获得疫苗接种情况预测结果。检测方法分别内嵌在装置和系统中实现疫苗接种检测功能。与现有技术相比，本发明具有有效实现疫苗接种情况的检测、摆脱专业人员依赖、持久优化等优点。

Description

一种基于眼表特征的疫苗接种情况检测方法、装置及系统

技术领域

本发明涉及疫苗接种情况检测技术领域，尤其是涉及一种基于眼表特征的疫苗接种情况检测方法、装置及系统。

背景技术

疫苗是指用各类病原微生物制作的用于预防接种的生物制品，是人类面对疫情时最有效的手段，疫苗通过提高接种人员的免疫力，从病毒源头处遏制病毒传播。在疫情爆发后，相关部门不只要检测相关人员是否感染病毒，同时还要检测相关人员是否接种疫苗。

目前，已有一些工作采用深度学习技术学习并提取CT影像特征进行疾病患者的识别与筛查，如中国专利CN112233117A中公开了一种新冠肺炎CT检测识别定位系统及计算设备，该专利利用U_Net卷积神经网络模型对新冠病灶检测分割，并通过加入注意力机制的网络进行新冠肺炎识别，通过目标检测模型定位病灶在肺部的位置。但是上述筛查技术中存在时效性差、设备要求高、依赖专业人员等不足，CT影像的拍摄需要使用专业的CT设备进行拍摄并需要依赖专业人员进行操作，同时由于进行拍摄并成像的耗时较长，所以无法快速对CT影像特征进行提取并完成疾病患者的识别与筛查，现有技术中还未有一种能够判断相关人员是否接种疫苗的系统。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种有效实现疫苗接种情况的检测、摆脱专业人员依赖、持久优化的基于眼表特征的疫苗接种情况检测方法、装置及系统。

本发明的目的可以通过以下技术方案来实现：

一种基于眼表特征的疫苗接种情况检测方法，所述的检测方法包括：

步骤1：获取待检测的人脸图像；

步骤2：对人脸图像进行预处理，获得眼部区域特征图像；

步骤3：使用眼部特征提取模型获取眼部特征；

步骤4：通过分类模型步骤3获取的眼部特征进行分类，获得疫苗接种情况预测结果。

优选地，所述的步骤2具体为：

步骤2-1：进行脸部对齐；

通过人脸检测模型获取人脸图像中人脸的位置以及面部关键点坐标数据，面部关键点坐标数据包括人脸左眼和右眼的关键点坐标数据；

步骤2-2：进行眼部截取；

根据左眼和右眼的关键点坐标数据计算人脸眼部区域的横纵坐标最大值和最小值，并进行外扩充，然后截取扩充后的眼部图像；

步骤2-3：进行图像筛选；

对步骤2-2获取的眼部图像进行筛选，获得筛选后的眼部区域图像，筛选方法为：剔除纵向长度大于横向长度的图片。

优选地，所述步骤3中眼部特征提取模型具体为：

步骤3-1：通过卷积层、非线性激活函数、批量归一化层以及残差层，扩大感受野，提取眼部的局部高维特征；

步骤3-2：局部视觉特征通过自注意力机制层、层归一化以及前馈网络融合上下文全局信息，获得眼部特征。

优选地，所述步骤4中的分类模型包括图片级分类层和用户级分类层；

所述的图片级分类层具体为：首先通过平均池化，获得全局特征；然后通过线性分类，获得分类结果；

所述的用户级分类层具体为：对图片级分类层输出的分类结果按照置信度进行加权投票，得分最高者为最终结果。

更加优选地，所述的眼部特征提取模型和分类模型的训练方法为：

首先，将训练图像输入眼部特征提取模型，眼部特征提取模型提取高维眼部特征，并将其输入分类模型，分类模型输出分类结果；

其次，通过构建交叉信息熵损失函数，以所述眼部区域图片对应用户的真实疫苗接种情况为监督信息，对所述眼部图像特征提取模型和分类模型进行监督学习；

最后，采用带有动量的SGD优化器对所述眼部特征提取模型和分类模型进行迭代优化，完成模型的训练。

更加优选地，所述的交叉信息熵损失函数具体为：

其中，y为真实概率分布；f为预测函数；C为分类数量；θ为模型参数。

更加优选地，所述SGD优化器进行迭代优化的方法为：

θ_t←θ_t-1-αg_t

其中，θ为模型参数；t为迭代步数；α为学习率；g为参数的梯度方向向量。

一种基于眼表特征的疫苗接种情况检测装置，所述的检测装置包括：

人脸图像预处理模块、眼部特征提取模块、图片级分类模块、用户级分类模块和控制模块；所述的人脸图像预处理模块、眼部特征提取模块、图片级分类模块、用户级分类模块分别与控制模块相连；

人脸图像预处理模块，用于通过人脸检测模型对人脸图像进行预处理并得到眼部区域图像；

眼部特征提取模块，用于通过眼部特征提取模型抽取眼部区域图像的高维特征；

图片级分类模块，用于通过平均池化和线性分类获得图像分类结果；

用户级分类模块，用于按照置信度进行加权投票，获得最终的预测结果；

控制模块，用于进行人脸图像预处理模块、眼部特征提取模块、图片级分类模块和用户级分类模块的状态控制以及各部分之间的信息交互。

优选地，所述的检测装置设有可视化辅助决策模块；所述的可视化辅助决策模块与控制模块相连；所述的可视化辅助决策模块用于通过图片级分类模块分类过程中的模型注意力分布生成热力图。

一种基于眼表特征的疫苗接种情况检测系统，所述的检测系统包括服务端和用户端；所述的用户端与服务端进行通信；

所述的服务端部署有计算机设备，包括：

处理器，用于计算以及运行可执行代码；

内存，具体为一种非易失存储设备，用于存储可执行代码；

所述的可执行代码包括如权利要求1～7中任一项所述的疫苗接种情况检测方法。

与现有技术相比，本发明具有以下有益效果：

一、有效实现疫苗接种情况的检测：本发明中的疫苗接种情况检测方法、装置及系统根据用户眼表的特征，包括结膜、巩膜、瞳孔、血丝等特征，借助深度学习网络的特征提取和分类预测能力，通过眼部图像特征提取模型提取的基础特征来进行图片级以及用户级的疫苗接种情况预测，准确率可达80％以上，有效实现了疫苗接种情况的检测。

二、摆脱专业人员依赖：本发明中的疫苗接种情况检测方法、装置及系统通过拍摄人脸图片并根据人脸图片中的眼部区域图片就能够进行疫苗接种情况的分类工作，能够提高疫苗接种情况分类的快捷性、准确性以及方便性，同时能够摆脱专业人员依赖等限制，可大规模普及。

三、持久优化：本发明中的疫苗接种情况检测方法通过模型预测结果和用户真实情况反馈，经用户授权可以将测试数据转化为训练数据，将模型在新数据上进行重新训练，实现模型性能的进一步提升，然后重新部署模型，进入下一个迭代优化周期。

附图说明

图1为本发明中疫苗接种情况检测方法的流程示意图；

图2为本发明中疫苗接种情况检测装置的模块结构示意图；

图3为本发明中疫苗接种情况检测系统的结构示意图；

图4为本发明实施例中可视化辅助决策模块生成的热力图。

图中标号所示：

1、人脸图像预处理模块，2、眼部特征提取模块，3、图片级分类模块，4、用户级分类模块，5、可视化辅助决策模块，6、控制模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

随着神经网络的发展，基于深度神经网络的模型被广泛应用在各种计算机视觉任务中，图像分类、目标检测、实例分割等多个领域。近年来，深度学习的优势使其在医学图像分析中也得到了广泛的应用，例如，对不同疾病进行分类，包括自闭症谱系障碍或大脑中的阿尔茨海默病，乳腺癌，糖尿病性视网膜病变和青光眼，以及肺癌或肺炎等常见病症。深度学习具有强大的表征能力，除了对疾病外，对于人体上的细微差异也有很好的检测能力，为疫苗接种情况的检测提供了有力工具。

本实施例涉及一种基于眼表特征的疫苗接种情况检测方法，其流程如图1所示，包括：

步骤1：获取待检测的人脸图像；

媒体数据可以通过各类数据采集设备拍摄得到，如智能手机等，媒体数据可以是视频内容也可以是图像内容。媒体数据还可以是包含多个不同身份的人脸图像数据，人脸图像从媒体数据中获得。

步骤2：对人脸图像进行预处理，获得眼部区域特征图像；

本实施例中，由于数据采集的灵活性，原始的人脸图片通常不仅包含眼部区域，还包括背景或面部的其他区域，如鼻子、耳朵和嘴巴。如果直接使用原始的人脸图片进行分类，必然会引入噪声或者不相关的信息，比如背景噪声或鼻子的特征，使得眼部图像特征提取模型的性能不准确、不可靠。因此，为了使眼部图像特征提取模型聚焦于提取眼表特征，本实施例采用人脸检测模型获取图片中人脸的位置区域以及面部关键点坐标，该面部关键点坐标中包括人脸左右眼以及面部其他器官的位置坐标。具体步骤包括：

步骤2-1：进行脸部对齐；

通过人脸检测模型获取人脸图像中人脸的位置以及面部关键点坐标数据，面部关键点坐标数据包括人脸左眼和右眼的关键点坐标数据；

本实施例中的人脸检测模型采用MTCNN算法实现人脸检测。

步骤2-2：进行眼部截取；

根据左眼和右眼的关键点坐标数据计算人脸眼部区域的横纵坐标最大值和最小值，并进行外扩充，然后截取扩充后的眼部图像；

步骤2-3：进行图像筛选；

对步骤2-2获取的眼部图像进行筛选，获得符合质量标准的眼部区域图像，对眼部截取图片进行筛选时，需要将眼部截取图片中纵向长度长于横向长度的图片进行剔除。

本实施例中，考虑到因存在人脸角度、背景噪声等影像，人脸检测模型得到的面部关键点坐标并非完全准确无误，因而人脸眼部区域的截取也随之会有相应的偏差，考虑到人脸眼部区域应为横向较长的长方形区域，因而在横纵长度比上凡纵向长度长于横向的均认为是人脸眼部区域定位失败的结果，因此需将此类眼部截取图片剔除。

步骤3：使用眼部特征提取模型获取眼部特征；

步骤3-1：通过卷积层、非线性激活函数、批量归一化层以及残差层，扩大感受野，提取眼部的局部高维特征，其中卷积核的长宽参数决定了感受野的大小；

步骤3-2：局部视觉特征通过自注意力机制层、层归一化以及前馈网络融合上下文全局信息，获得眼部特征，其中自注意机制中的多头参数决定了自注意力机制具有几个投影分支。

步骤4：通过分类模型步骤3获取的眼部特征进行分类，获得疫苗接种情况预测结果。

分类模型包括图片级分类层和用户级分类层；

所述的图片级分类层具体为：首先通过平均池化，获得全局特征；然后通过线性分类，获得分类结果；

所述的用户级分类层具体为：对图片级分类层输出的分类结果按照置信度进行加权投票，得分最高者为最终结果。

眼部特征提取模型和分类模型的训练方法为：

首先，将训练图像输入眼部特征提取模型，眼部特征提取模型提取高维眼部特征，并将其输入分类模型，分类模型输出分类结果；

其次，通过构建交叉信息熵损失函数，以所述眼部区域图片对应用户的真实疫苗接种情况为监督信息，对所述眼部图像特征提取模型和分类模型进行监督学习；

交叉信息熵损失函数具体为：

其中，y为真实概率分布；f为预测函数；C为分类数量；θ为模型参数。

最后，采用带有动量的SGD优化器对所述眼部特征提取模型和分类模型进行迭代优化，完成模型的训练；

SGD优化器进行迭代优化的方法为：

θ_t←θ_t-1-αg_t

其中，θ为模型参数；t为迭代步数；α为学习率，一般设置为[0.1,0.0001]区间的某个值；g为参数的梯度方向向量。

本实施例还涉及一种基于眼表特征的疫苗接种情况检测装置，其结构如图2所示，包括：

人脸图像预处理模块1、眼部特征提取模块2、图片级分类模块3、用户级分类模块4和控制模块6，人脸图像预处理模块1、眼部特征提取模块2、图片级分类模块3、用户级分类模块4分别与控制模块6相连；

人脸图像预处理模块1，用于通过人脸检测模型对人脸图像进行预处理并得到眼部区域图像；

眼部特征提取模块2，用于通过眼部特征提取模型抽取眼部区域图像的高维特征；

图片级分类模块3，用于通过平均池化和线性分类获得图像分类结果；

用户级分类模块4，用于按照置信度进行加权投票，获得最终的预测结果；

控制模块6，用于进行人脸图像预处理模块1、眼部特征提取模块2、图片级分类模块3和用户级分类模块4的状态控制以及各部分之间的信息交互。

检测装置还设有可视化辅助决策模块5，可视化辅助决策模块5与控制模块6相连，可视化辅助决策模块5用于通过图片级分类模块3分类过程中的模型注意力分布生成热力图，如图4所示，通过以热力图的形式将各区域的重要度进行可视化展示，增强模型的可解释性。

本实施例还涉及一种基于眼表特征的疫苗接种情况检测系统，其结构如图3所示，包括服务端和用户端，用户端与服务端进行通信。

服务端部署有计算机设备，包括：

处理器，用于计算以及运行可执行代码；

内存，具体为一种非易失存储设备，用于存储可执行代码；

可执行代码包括上述任一项所述的疫苗接种情况检测方法。

下面提供一种具体的应用案例：

随机邀请25个没有接种疫苗并且没有其他疾病的健康人，25个接种疫苗并且没有其他疾病的健康人。使用20个健康人以及20个接种过疫苗的健康人作为训练样本训练上述实施例中的检测方法，剩余的5个没有接种疫苗的健康人和5个接种了疫苗的健康人作为测试样本。经过测试，本实施例中的检测方法能够以大于80％的准确率对人员是否接种情况进行预测。

上述基于眼表特征的疫苗接种情况检测方法、装置及系统可以根据用户眼表的特征，包括结膜、巩膜、瞳孔、血丝等特征，借助深度学习网络的特征提取和分类预测能力，通过眼部图像特征提取模型提取的基础特征来进行图片级以及用户级的疫苗接种情况预测。

并且本实施例中的疫苗接种情况检测方法、装置及系统通过拍摄人脸图片并根据人脸图片中的眼部区域图片就能够进行疫苗接种情况的分类工作，能够提高疫苗接种情况分类的快捷性、准确性以及方便性，同时能够摆脱专业人员依赖等限制，可大规模普及。在疫情防控阶段能够实现随时随地的定量检测，动态监测区域内的疫苗接种程度，进行疫苗接种情况跟踪和接种地图绘制，从而实现高效的疫情防控。

同时，因为先通过对人脸图片进行预处理并筛选得到眼部区域图片再输入眼部图像特征提取模型，能够确保输入的图片均为定位准确的眼部区域图片，有效去除了人脸图片中的噪声和不相关的信息，保证眼部图像特征提取模型能够正确的处理眼部区域图片，有效提高了检测的准确率。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于眼表特征的疫苗接种情况检测方法，其特征在于，所述的检测方法包括：

步骤1：获取待检测的人脸图像；

步骤2：对人脸图像进行预处理，获得眼部区域特征图像；

步骤3：使用眼部特征提取模型获取眼部特征；

步骤4：通过分类模型步骤3获取的眼部特征进行分类，获得疫苗接种情况预测结果。

2.根据权利要求1所述的一种基于眼表特征的疫苗接种情况检测方法，其特征在于，所述的步骤2具体为：

步骤2-1：进行脸部对齐；

通过人脸检测模型获取人脸图像中人脸的位置以及面部关键点坐标数据，面部关键点坐标数据包括人脸左眼和右眼的关键点坐标数据；

步骤2-2：进行眼部截取；

根据左眼和右眼的关键点坐标数据计算人脸眼部区域的横纵坐标最大值和最小值，并进行外扩充，然后截取扩充后的眼部图像；

步骤2-3：进行图像筛选；

对步骤2-2获取的眼部图像进行筛选，获得筛选后的眼部区域图像，筛选方法为：剔除纵向长度大于横向长度的图片。

3.根据权利要求1所述的一种基于眼表特征的疫苗接种情况检测方法，其特征在于，所述步骤3中眼部特征提取模型具体为：

步骤3-1：通过卷积层、非线性激活函数、批量归一化层以及残差层，扩大感受野，提取眼部的局部高维特征；

步骤3-2：局部视觉特征通过自注意力机制层、层归一化以及前馈网络融合上下文全局信息，获得眼部特征。

4.根据权利要求1所述的一种基于眼表特征的疫苗接种情况检测方法，其特征在于，所述步骤4中的分类模型包括图片级分类层和用户级分类层；

所述的图片级分类层具体为：首先通过平均池化，获得全局特征；然后通过线性分类，获得分类结果；

所述的用户级分类层具体为：对图片级分类层输出的分类结果按照置信度进行加权投票，得分最高者为最终结果。

5.根据权利要求4所述的一种基于眼表特征的疫苗接种情况检测方法，其特征在于，所述的眼部特征提取模型和分类模型的训练方法为：

首先，将训练图像输入眼部特征提取模型，眼部特征提取模型提取高维眼部特征，并将其输入分类模型，分类模型输出分类结果；

其次，通过构建交叉信息熵损失函数，以所述眼部区域图片对应用户的真实疫苗接种情况为监督信息，对所述眼部图像特征提取模型和分类模型进行监督学习；

最后，采用带有动量的SGD优化器对所述眼部特征提取模型和分类模型进行迭代优化，完成模型的训练。

6.根据权利要求5所述的一种基于眼表特征的疫苗接种情况检测方法，其特征在于，所述的交叉信息熵损失函数具体为：

其中，y为真实概率分布；f为预测函数；C为分类数量；θ为模型参数。

7.根据权利要求5所述的一种基于眼表特征的疫苗接种情况检测方法，其特征在于，所述SGD优化器进行迭代优化的方法为：

θ_t←θ_t-1-αg_t

其中，θ为模型参数；t为迭代步数；α为学习率，一般设置为[0.1,0.0001]区间的某个值；g为参数的梯度方向向量。

8.一种基于眼表特征的疫苗接种情况检测装置，其特征在于，所述的检测装置包括：

人脸图像预处理模块(1)、眼部特征提取模块(2)、图片级分类模块(3)、用户级分类模块(4)和控制模块(6)；所述的人脸图像预处理模块(1)、眼部特征提取模块(2)、图片级分类模块(3)、用户级分类模块(4)分别与控制模块(6)相连；

人脸图像预处理模块(1)，用于通过人脸检测模型对人脸图像进行预处理并得到眼部区域图像；

眼部特征提取模块(2)，用于通过眼部特征提取模型抽取眼部区域图像的高维特征；

图片级分类模块(3)，用于通过平均池化和线性分类获得图像分类结果；

用户级分类模块(4)，用于按照置信度进行加权投票，获得最终的预测结果；

控制模块(6)，用于进行人脸图像预处理模块(1)、眼部特征提取模块(2)、图片级分类模块(3)和用户级分类模块(4)的状态控制以及各部分之间的信息交互。

9.根据权利要求8所述的一种基于眼表特征的疫苗接种情况检测装置，其特征在于，所述的检测装置设有可视化辅助决策模块(5)；所述的可视化辅助决策模块(5)与控制模块(6)相连；所述的可视化辅助决策模块(5)用于通过图片级分类模块(3)分类过程中的模型注意力分布生成热力图。

10.一种基于眼表特征的疫苗接种情况检测系统，其特征在于，所述的检测系统包括服务端和用户端；所述的用户端与服务端进行通信；

所述的服务端部署有计算机设备，包括：

处理器，用于计算以及运行可执行代码；

内存，具体为一种非易失存储设备，用于存储可执行代码；

所述的可执行代码包括如权利要求1～7中任一项所述的疫苗接种情况检测方法。

Images