CN114821455A - 防疫系统以及口罩佩戴识别方法、装置、设备和存储介质 - Google Patents

防疫系统以及口罩佩戴识别方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114821455A
CN114821455A CN202210130501.6A CN202210130501A CN114821455A CN 114821455 A CN114821455 A CN 114821455A CN 202210130501 A CN202210130501 A CN 202210130501A CN 114821455 A CN114821455 A CN 114821455A
Authority
CN
China
Prior art keywords
mask
portrait
data corresponding
image
feature data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210130501.6A
Other languages
English (en)
Inventor
刘海龙
刘西彦
刘彤
韩耘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210130501.6A priority Critical patent/CN114821455A/zh
Publication of CN114821455A publication Critical patent/CN114821455A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/10—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for means for safe-keeping of property, left temporarily, e.g. by fastening the property
    • G07F17/12—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for means for safe-keeping of property, left temporarily, e.g. by fastening the property comprising lockable containers, e.g. for accepting clothes to be cleaned

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种防疫系统以及口罩佩戴识别方法、装置、设备和存储介质。所述系统包括：口罩监测装置，用于拍摄第一目标区域的第一图像，并将其发送至图像处理装置；图像处理装置，用于基于第一图像对第一目标区域中的第一用户进行口罩佩戴识别处理，并在口罩佩戴识别结果为未佩戴的情况下，将第一图像中包括的第一用户对应的第一人像存储至人像数据库；口罩领取装置，用于获取第二目标区域的第二图像，并将其发送至图像处理装置；图像处理装置，在第二人像与第一人像一致的情况下，向口罩领取装置发送投放指令；口罩领取装置，在接收到投放指令后投放口罩。采用本系统能够高效的进行防疫检查且解决客户未佩戴口罩而影响业务办理的问题。

Description

防疫系统以及口罩佩戴识别方法、装置、设备和存储介质
技术领域
本申请涉及生物识别技术领域，特别是涉及一种防疫系统以及口罩佩戴识 别方法、装置、设备和存储介质。
背景技术
目前，各银行网点通过工作人员对客户进行防疫检查，包括检查客户是否 佩戴口罩以及是否佩戴标准。然而，工作人员手动测温，会消耗大量人力且效 率低。并且，对于客户未携带口罩而无法正常办理业务的情况也应解决。
发明内容
基于此，有必要针对上述技术问题，提供一种能够高效的进行防疫检查且 解决客户未佩戴口罩而影响业务办理的问题的防疫系统以及口罩佩戴识别方 法、装置、设备和存储介质。
第一方面，本申请提供了一种防疫系统。该系统包括：口罩监测装置、图 像处理装置以及口罩领取装置；
该口罩监测装置，用于拍摄第一目标区域的第一图像，并将该第一图像发 送至该图像处理装置；
该图像处理装置，用于基于该第一图像对该第一目标区域中的第一用户进 行口罩佩戴识别处理，得到口罩佩戴识别结果，并在该口罩佩戴识别结果为未 佩戴的情况下，将该第一图像中包括的该第一用户对应的第一人像存储至人像 数据库；
该口罩领取装置，用于获取第二目标区域的第二图像，并将该第二图像发 送至该图像处理装置；
该图像处理装置，还用于在该第二图像中包括的第二人像与该人像数据库 中存储的该第一人像一致的情况下，向该口罩领取装置发送投放指令；
该口罩领取装置，还用于在接收到该投放指令后，投放口罩。
在其中一个实施例中，该口罩监测装置包括信息输出组件；该图像处理装 置，还用于在该口罩佩戴识别结果为未佩戴或未规范佩戴的情况下，向该口罩 监测装置发送提醒指令；该口罩监测装置，用于根据接收到的该提醒指令控制 该信息输出组件输出提醒信息，其中，该提醒信息用于提示该第一用户规范佩 戴口罩或从该口罩领取装置处领取口罩。
在其中一个实施例中，该信息输出组件包括音频输出组件以及第一显示屏， 该提醒信息包括语音提醒信息和该第一人像；该口罩监测装置，用于根据该提 醒指令控制该音频输出组件输出该语音提醒信息；该口罩监测装置，还用于根 据该提醒指令控制该第一显示屏显示该第一人像。
在其中一个实施例中，该图像处理装置，具体用于：对该第一图像中的各 像素点进行YCbCr色彩空间转换，得到各像素点的蓝色色度分量以及红色色度 分量；根据该蓝色色度分量以及红色色度分量是否在预设区间内，从该第一图 像中识别出该第一人像；基于该第一人像对该第一用户进行口罩佩戴识别处理。
在其中一个实施例中，该图像处理装置，具体用于：将该第一人像输入至 融合特征降维神经网络中，该融合特征降维神经网络包括卷积层，该卷积层包 括形状特征卷积核和纹理特征卷积核；利用该形状特征卷积核对该第一人像中 的口罩形状特征进行提取处理，得到该第一人像对应的形状特征数据；利用该 纹理特征卷积核对该第一人像中的口罩纹理特征进行提取处理，得到该第一人 像对应的纹理特征数据；基于该形状特征数据和该纹理特征数据输出该口罩佩 戴识别结果。
在其中一个实施例中，该图像处理装置，具体用于：对该形状特征以及该 纹理特征数据进行加权融合处理，得到该第一人像对应的加权特征数据；采用 PCA算法对该第一人像对应的加权特征数据进行降维处理，得到该第一人像对 应的降维特征数据；根据该第一人像对应的降维特征数据得到该口罩佩戴识别 结果。
在其中一个实施例中，该融合特征降维神经网络还包括池化层，该图像处 理装置，具体用于：利用该池化层对该第一人像对应的降维特征数据进行池化 处理，得到该第一人像对应的池化特征数据；根据该第一人像对应的池化特征 数据，利用边框回归算法以及非极大值抑制算法得到该口罩佩戴识别结果。
在其中一个实施例中，该图像处理装置，具体用于：利用该池化层对该第 一人像对应的降维特征数据进行均值池化处理，得到该第一人像对应的均值池 化数据，并该第一人像对应的降维特征数据进行最大值池化处理，得到该第一 人像对应的最大值池化数据；对该第一人像对应的均值池化数据以及该第一人 像对应的最大值池化数据进行线性叠加，得到该第一人像对应的池化特征数据。
在其中一个实施例中，该口罩领取装置包括箱体、第二摄像设备、工控主 板、口罩抓取设备、口罩存储箱以及取件箱；该工控主板、该口罩抓取设备、 该口罩存储箱以及该取件箱均位于该箱体内部；该第二摄像设备与该图像处理 装置通信连接，该工控主板与该口罩抓取设备相连；该第二摄像设备，用于获 取该第二图像，并将该第二图像发送至该图像处理装置；该工控主板，用于接 收该图像处理装置发送的该投放指令，并在接收到该投放指令时，驱动该口罩 抓取设备从该口罩存储箱中抓取口罩，并将抓取的口罩投放至该取件箱内。
在其中一个实施例中，该口罩抓取设备包括步进电机和口罩吸盘，该步进 电机与该工控主板以及该口罩吸盘相连；该步进电机，用于接收该工控主板发 送的该投放指令，并在接收到该投放指令后，驱动该口罩吸盘从该口罩存储箱 中抓取口罩，并将抓取的口罩投放至该取件箱内。
在其中一个实施例中，该口罩领取装置还包括光电传感器，该光电传感器 与该工控主板通信连接；该光电传感器，位于该取件箱上方，用于在检测到有 口罩投放至该取件箱时，向该工控主板发送计数信号；该工控主板，还用于记 录该口罩存储箱中剩余口罩数量值，并在接收到该计数信号后，将该剩余口罩 数量值减一。
在其中一个实施例中，该口罩领取装置还包括第二显示屏；该第二显示屏 与该工控主板连接；该第二显示屏，用于接收该工控主板发送的该剩余口罩数 量值，并将接收到的该剩余口罩数量值进行显示。
在其中一个实施例中，该工控主板，还用于接收该图像处理装置发送的对 比结果信息，并将该对比结果信息发送至该第二显示屏进行显示；其中，该对 比结果信息用于指示该第二人像与该人像数据库中的第一人像是否对比一致。
在其中一个实施例中，该工控主板，还用于在该剩余口罩数量值低于预设 阈值时，向指定账号发送提示信息，该提示信息用于指示该口罩存储箱中口罩 数量不足。
在其中一个实施例中，该口罩领取装置还包括智能锁，该智能锁包括数字 键盘、第一功能键以及第二功能键；该智能锁，用于锁定该箱体，并在检测到 该第一功能键被触发时，解除对该箱体的锁定；该智能锁，还用于在检测到该 第二功能键被触发时，将通过该数字键盘获取的数值发送至该工控主板，以使 该工控主板根据该数值更新该剩余口罩数量值。
在其中一个实施例中，该口罩领取装置还包括消毒器；该消毒器，位于该 取件箱侧面，用于对该取件箱所包含的区域进行消毒。
第二方面，本申请还提供了一种口罩佩戴识别方法。该方法包括：
将第一人像输入至融合特征降维神经网络中，该融合特征降维神经网络包 括卷积层，该卷积层包括形状特征卷积核和纹理特征卷积核；利用该形状特征 卷积核对该第一人像中的口罩形状特征进行提取处理，得到该第一人像对应的 形状特征数据；利用该纹理特征卷积核对该第一人像中的口罩纹理特征进行提 取处理，得到该第一人像对应的纹理特征数据；基于该形状特征数据和该纹理 特征数据输出该第一人像对应的第一用户的口罩佩戴识别结果。
在其中一个实施例中，基于该形状特征数据和该纹理特征数据输出该第一 用户的口罩佩戴识别结果，包括：对该形状特征以及该纹理特征数据进行加权 融合处理，得到该第一人像对应的加权特征数据；采用PCA算法对该第一人像 对应的加权特征数据进行降维处理，得到该第一人像对应的降维特征数据；根 据该第一人像对应的降维特征数据得到该第一用户的口罩佩戴识别结果。
在其中一个实施例中，该根据该第一人像对应的降维特征数据得到该第一 用户的口罩佩戴识别结果，包括：该融合特征降维神经网络还包括池化层，利 用池化层对该第一人像对应的降维特征数据进行池化处理，得到该第一人像对 应的池化特征数据；根据该第一人像对应的池化特征数据，采用边框回归算法 以及非极大值抑制算法得到该第一用户的口罩佩戴识别结果。
在其中一个实施例中，该利用池化层对该第一人像对应的降维特征数据进 行池化处理，得到该第一人像对应的池化特征数据，包括：对该第一人像对应 的降维特征数据进行均值池化处理，得到该第一人像对应的均值池化数据，并 该第一人像对应的降维特征数据进行最大值池化处理，得到该第一人像对应的 最大值池化数据；对该第一人像对应的均值池化数据以及该第一人像对应的最 大值池化数据进行线性叠加，得到该第一人像对应的池化特征数据。
在其中一个实施例中，在将第一人像输入至融合特征降维神经网络之前， 该方法还包括：获取第一图像；对该第一图像中的各像素点进行YCbCr色彩空 间转换，得到各像素点的蓝色色度分量以及红色色度分量；根据该蓝色色度分 量以及红色色度分量是否在预设区间内，从该第一图像中识别出该第一人像， 其中，该第一人像与该第一图像中包括的第一用户对应。
第三方面，本申请还提供了一种口罩佩戴识别装置。该装置包括：
第一输入模块，用于将第一人像输入至融合特征降维神经网络中，该融合 特征降维神经网络包括卷积层，该卷积层包括形状特征卷积核和纹理特征卷积 核；第一提取模块，用于利用该形状特征卷积核对该第一人像中的口罩形状特 征进行提取处理，得到该第一人像对应的形状特征数据；第二提取模块，用于 利用该纹理特征卷积核对该第一人像中的口罩纹理特征进行提取处理，得到该 第一人像对应的纹理特征数据；第一输出模块，用于基于该形状特征数据和该 纹理特征数据输出该第一用户的口罩佩戴识别结果。
第四方面，本申请还提供了一种计算机设备，包括存储器和处理器，该存 储器存储有计算机程序，该处理器执行该计算机程序时实现上述第二方面任一 项所述的方法的步骤。
第五方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机 程序，该计算机程序被处理器执行时实现上述第二方面中任一项所述的方法的 步骤。
第六方面，本申请还提供了一种计算机程序产品，该计算机程序产品，包 括计算机程序，该计算机程序被处理器执行时实现上述第二方面中任一项所述 的方法的步骤。
上述防疫系统以及口罩佩戴识别方法、装置、设备和存储介质，通过口罩 监测装置，拍摄第一目标区域的第一图像，并将该第一图像发送至该图像处理 装置，从而通过该图像处理装置基于该第一图像对该第一目标区域中的第一用 户进行口罩佩戴识别处理，得到该第一用户对应的口罩佩戴识别结果，并且， 若该第一用户的口罩佩戴识别结果为未佩戴，则将该第一图像中包括的与第一 用户对应的第一人像存储至人像数据库。实现对用户在办理业务时是否佩戴口 罩的精准识别。进一步地，该口罩领取装置可获取第二目标区域的第二图像， 并将该第二图像发送至该图像处理装置，以使该图像处理装置将该第二图像中 包括的第二人像与人像数据库中的存储的第一人像进行对比，并在对比一致的 情况下，向该口罩领取装置发送投放指令，使该口罩领取装置在接收到投放指 令后投放口罩，以使未带口罩的第一用户可以在该口罩领取装置处领取投放的 口罩，解决用户未佩戴口罩而影响业务办理的问题，通过口罩监测装置对第一 目标区域的出现的用户可进行口罩佩戴识别处理，可高效便捷的检测所有用户 的口罩佩戴识别结果，同时避免防疫工作中的漏检情况的出现。
附图说明
图1为一个实施例中防疫系统的结构示意图；
图2为一个实施例中口罩监测装置的结构示意图；
图3为一个实施例中口罩领取装置的结构示意图；
图4为另一个实施例中口罩领取装置的结构示意图；
图5为一个实施例中口罩领取装置的工作流程图；
图6为一个实施例中防疫系统的工作流程图；
图7为一个实施例中口罩佩戴识别方法的流程示意图；
图8为一个实施例中根据特征数据输出口罩佩戴识别结果的流程示意图；
图9为一个实施例中根据降维特征数据输出口罩佩戴识别结果的流程示意 图；
图10为一个实施例中池化处理的流程示意图；
图11为一个实施例中获取第一人像的流程示意图；
图12为一个实施例中融合特征降维神经网络的训练以及应用的流程示意 图；
图13为一个实施例中口罩佩戴识别装置的结构框图；
图14为一个实施例中第二种口罩佩戴识别装置的结构框图；
图15为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅 用以解释本申请，并不用于限定本申请。
通过观察，银行网点作为人员流量较大，人员比较密集的公共区域，目前 还是通过银行网点工作人员对客户进行手动测温以及口罩佩戴以及是否佩戴标 准进行提醒，若该客户未携带口罩，则有些网点拒绝该客户入内，这样的工作 方式存在以下两点不足：其一，依靠人力去实时监测网点内的客户是否佩戴口 罩以及是否佩戴标准，这样会消耗大量的人力，而且很容易存在漏检；另外， 如果因为客户未携带口罩，就拒绝客户入内，会影响客户正常办理业务。
请参考图1，其示出了本申请实施例提供的一种防疫系统的结构示意图，该 防疫系统包括口罩监测装置101、图像处理装置102以及口罩领取装置103。该 口罩监测装置101，用于拍摄第一目标区域的第一图像，并将该第一图像发送至 该图像处理装置102；该图像处理装置102，用于基于该第一图像对该第一目标 区域中的第一用户进行口罩佩戴识别处理，得到口罩佩戴识别结果，并在该口 罩佩戴识别结果为未佩戴的情况下，将该第一图像中包括的该第一用户对应的 第一人像存储至人像数据库；该口罩领取装置103，用于获取第二目标区域的第 二图像，并将该第二图像发送至该图像处理装置102；该图像处理装置102，还 用于在该第二图像中包括的第二人像与该人像数据库中存储的该第一人像一致 的情况下，向该口罩领取装置103发送投放指令；该口罩领取装置103，还用于 在接收到该投放指令后，投放口罩。
其中，该第一目标区域例如可以为防疫检查场景下各用户必经的区域，其 中，该用户指防疫场景下被进行防疫检查的人员。该口罩监测装置101具有拍 摄功能，可拍摄该第一目标区域的图像，可选的，该口罩监测装置101可周期 性拍摄该第一目标区域的图像，因此，经过该第一目标区域的用户可被该口罩 监测装置101拍摄，得到该第一图像，并将该第一图像发送至该图像处理装置 102。
该图像处理装置102，在接收到该第一图像后，对该第一图像中的包括的第 一用户进行口罩佩戴识别处理，得到该第一用户的口罩佩戴识别结果，该口罩 佩戴识别结果包括未佩戴、规范佩戴或未规范佩戴。若该第一用户的口罩佩戴 识别结果为未佩戴，则将该第一用户对应的第一人像存储至人像数据库。
该口罩领取装置103用于存放口罩，为未佩戴口罩的用户提供口罩。该口 罩领取装置103可拍摄第二目标区域的图像，该第二目标区域可以为该口罩领 取装置103周围的区域，当第一用户可根据提示，在未佩戴口罩时，前往该第 二目标区域时，口罩领取装置103可获取第二目标区域的第二图像，并将该第 二图像发送至该图像处理装置102，此时，该第二图像中可包括第一用户对应的 第二人像。该图像处理装置102，还用于将接收到的该第二图像中的第一人像与 该人像数据库中的第一人像进行对比，并在对比一致时，确认均为第一用户的 人像，则向该口罩领取装置103发送投放指令，以使该口罩领取装置103根据 该投放指令投放口罩，为第一用户提供口罩，以满足防疫要求。
上述防疫系统，通过口罩监测装置，拍摄第一目标区域的第一图像，并将 该第一图像发送至该图像处理装置，从而通过该图像处理装置基于该第一图像 对该第一目标区域中的第一用户进行口罩佩戴识别处理，得到该第一用户对应 的口罩佩戴识别结果，并且，若该第一用户的口罩佩戴识别结果为未佩戴，则 将该第一图像中包括的与第一用户对应的第一人像存储至人像数据库。实现对 用户在办理业务时是否佩戴口罩的精准识别。进一步地，该口罩领取装置可获 取第二目标区域的第二图像，并将该第二图像发送至该图像处理装置，以使该 图像处理装置将该第二图像中包括的第二人像与人像数据库中的存储的第一人 像进行对比，并在对比一致的情况下，向该口罩领取装置发送投放指令，使该 口罩领取装置在接收到投放指令后投放口罩，以使未带口罩的第一用户可以在 该口罩领取装置处领取投放的口罩，解决用户未佩戴口罩而影响业务办理的问 题，通过口罩监测装置对第一目标区域的出现的用户可进行口罩佩戴识别处理， 可高效便捷的检测所有用户的口罩佩戴识别结果，同时避免防疫工作中的漏检 情况的出现。
在一个实施例中，该口罩监测装置101包括信息输出组件；该图像处理装 置102，还用于在该口罩佩戴识别结果为未佩戴或未规范佩戴的情况下，向该口 罩监测装置101发送提醒指令；该口罩监测装置101，用于根据接收到的该提醒 指令控制该信息输出组件输出提醒信息，其中，该提醒信息用于提示该第一用 户规范佩戴口罩或从该口罩领取装置103处领取口罩。
在第一用户的口罩佩戴识别结果为未规范佩戴的情况下，还应提醒该第一 用户规范佩戴口罩，以及该第一用户的口罩佩戴识别结果为未佩戴的情况下， 应提醒该第一用户在该口罩领取装置103处领取口罩，因此，图像处理装置102 根据口罩识别结果，向口罩监测装置101发送提醒信息，以使口罩监测装置101 包括的信息输出组件输出该提醒信息，以指示第一用户满足防疫要求。
如图2所示，其示出了本申请实施例提供的一种口罩监测装置的结构示意 图，该口罩监测装置101包括音频输出组件201以及第一显示屏202，该提醒信 息包括语音提醒信息和该第一人像；该口罩监测装置101，用于根据该提醒指令 控制该音频输出组件201输出该语音提醒信息；该口罩监测装置101，还用于根 据该提醒指令控制该第一显示屏202显示该第一人像。
其中，该信息输出组件可以包括音频输出组件201以及第一显示屏202，该 提醒信息包括语音提醒信息和该第一人像，因此，该口罩监测装置101可通过 该音频输出组件201播放该语音提醒信息，并通过第一显示屏202显示该第一 人像，可使该第一用户在接收到该提醒信息时，根据提醒信息进行口罩领取或 口罩规范佩戴调整，提升防疫检查的规范性。
在一个实施例中，该图像处理装置102，具体用于：
对该第一图像中的各像素点进行YCbCr色彩空间转换，得到各像素点的蓝 色色度分量以及红色色度分量；根据该蓝色色度分量以及红色色度分量是否在 预设区间内，从该第一图像中识别出该第一人像；基于该第一人像对该第一用 户进行口罩佩戴识别处理。
其中，对于该第一图像，首先根据公式1进行YCbCr色彩空间转换，公式 1如下：
Figure BDA0003502282820000101
上式中，R、G、B分别为第一图像的各像素点的红、绿、蓝分量，Y为各像 素点的亮度分量，Cb为各像素点的蓝色色度分量Cr为各像素点的红色色度分 量。
其中，根据各像素点的蓝色色度分量和红色色度分量，可对第一图像中包 括的人像进行粗定位。具体地，人脸皮肤在Cb,Cr中所处的范围如公式2所示：
Figure BDA0003502282820000102
因此，根据公式2可确定人脸判断模型，该模型如公式3所示：
Figure BDA0003502282820000103
因此，可根据上述人脸判断模型，遍历第一像素中的各像素点的Cb和Cr的 值，当像素点满足该人脸判断模型，则判断该像素点为皮肤区域，否则，为背 景区域，因此，可根据各像素点的判断结果，根据满足条件的像素点，确定该 第一用户对应的第一人像，实现第一用户在第一图像中的粗定位。
在对该第一用户在第一图像中进行粗定位后得到第一人像，可剔除第一图 像中的背景图像，以便根据该第一人像进行口罩佩戴识别处理，提升得到第一 用户的口罩佩戴识别结果的效率。
在一个实施例中，该图像处理装置102，具体用于：将该第一人像输入至融 合特征降维神经网络中，该融合特征降维神经网络包括卷积层，该卷积层包括 形状特征卷积核和纹理特征卷积核；利用该形状特征卷积核对该第一人像中的 口罩形状特征进行提取处理，得到该第一人像对应的形状特征数据，利用该纹 理特征卷积核对该第一人像中的口罩纹理特征进行提取处理，得到该第一人像 对应的纹理特征数据；基于该形状特征数据和该纹理特征数据输出该口罩佩戴 识别结果。
其中，在得到该第一图像中包括的该第一用户对应的第一图像后，可进一 步利用融合特征降维神经网络对该第一人像进行口罩佩戴识别处理，以得到该 第一人像的精准的口罩佩戴识别结果。该融合特征降维神经网络为预先根据多 个佩戴口罩、未佩戴口罩或未规范佩戴口罩的人像进行预训练得到的。
具体地，该融合特征降维神经网络可由输入层、卷积层、池化层以及全连 接层组成，通过输入层输入该第一图像以及所识别的第一人像至融合特征降维 神经网络中。通常，口罩的形状有平板式、折叠式和杯状，且口罩具有比较丰 富的纹理特征，因此，可利用融合特征降维神经网络中的卷积层中的形状特征 卷积核和纹理特征卷积核对该第一图像中包括的第一人像对应的区域进行口罩 佩戴识别处理。
其中，卷积层的卷积公式如公式4所示：
Figure BDA0003502282820000111
上式中，x为输入的进行口罩佩戴识别处理的图像，ω为卷积核，ωb为偏置 系数，w为卷积核的宽度，h为卷积核的高度，m和n为预设的遍历参数，i 和j为当前进行特征提取的像素点位置参数。
通过设定不同的ω，得到形状特征卷积核以及纹理特征卷积核，从而利用该 形状特征卷积核对该第一人像中的口罩形状特征进行提取处理，得到该第一人 像对应的形状特征数据；利用该纹理特征卷积核对该第一人像中的口罩纹理特 征进行提取处理，得到该第一人像对应的纹理特征数据。
其中，该形状特征数据可如公式5所示：
Fea_shape＝[feas1×1×1，feas1×1×2，…，feas12×1×n] 公式(5)
上式中，feas1×1×n为第一人像的第n个形状特征分量，Fea_shape为第一人像 的形状特征数据。
该纹理特征数据可如公式6所示：
Fea_texture＝[feat1×1×1，feat1×1×2，…，feat1×1×n] 公式(6)
上式中，feat1×1×n为第一人像的第n个纹理特征分量，Fea_texture为第一人像 的纹理特征数据。
基于该形状特征数据和该纹理特征数据，可得到该口罩佩戴识别结果。
该图像处理装置102，具体用于基于该形状特征数据和该纹理特征数据，得 到该口罩佩戴识别结果，包括：对该形状特征以及该纹理特征数据进行加权融 合处理，得到该第一人像对应的加权特征数据；采用PCA算法对该第一人像对 应的加权特征数据进行降维处理，得到该第一人像对应的降维特征数据；步骤 503，根据该第一人像对应的降维特征数据得到该口罩佩戴识别结果。
其中，加权融合处理得到的该第一人像对应的加权特征数据可如公式7所 示：
Fea_fusion＝α*Fea_shape+(1-α)*Fea_texture 公式(7)
上式中，α为加权系数，Fea_fusion为第一人像对应的加权特征数据。
其中，由于加权融合处理后得到的加权特征数据一般维度较高，因此，为 了加速该融合特征降维神经网络的训练速度并保持训练精度，需对该加权特征 数据进行降维处理。因此，可采用PCA(Principle Component Analysis，主成分 分析法)算法对该加权特征数据进行主成分分析降维处理，得到该第一人像对 应的降维特征数据。
进一步地，即可根据该降维特征数据，获取该第一人像对应的口罩佩戴识 别结果。其中，由于对该加权特征数据进行降维处理，可保证口罩佩戴识别处 理的检测精度，并提升检测速度。
在一个实施例中，该融合特征降维神经网络还包括池化层，该图像处理装 置，具体用于：利用该池化层对该第一人像对应的降维特征数据进行池化处理， 得到该第一人像对应的池化特征数据；根据该第一人像对应的池化特征数据， 利用边框回归算法以及非极大值抑制算法得到该口罩佩戴识别结果。
例如，该图像处理装置，用于利用该池化层对该第一人像对应的降维特征 数据进行池化处理，得到该第一人像对应的池化特征数据，具体包括：利用该 池化层对该第一人像对应的降维特征数据进行均值池化处理，得到该第一人像 对应的均值池化数据，并该第一人像对应的降维特征数据进行最大值池化处理， 得到该第一人像对应的最大值池化数据；对该第一人像对应的均值池化数据以 及该第一人像对应的最大值池化数据进行线性叠加，得到该第一人像对应的池 化特征数据。
其中，为准确获取口罩佩戴识别结果，可利用池化层对该降维特征数据进 行池化处理。具体地，可对该降维特征数据进行均值池化处理，得到该第一人 像对应的均值池化数据F_pool_ave，同时，对该降维特征数据进行最大值池化 处理，得到该第一人像对应的最大值池化数据F_pool_max。
池化层一般采用的算法有均值池化、最大值池化以及中间值池化，为了充 分利用均值池化与最大值池化各自的优势，可采用线性加权池化算法，对均值 池化数据和最大值池化数据进行线性叠加，从而获取最佳的池化特征数据 F_pool_fusion，具体的表达式如公式8所示：
F_pool_fusion＝αF_pool_ave+(1-α)F_pool_max 公式(8)
上式中，α为加权系数。
该融合特征降维神经网络还包括全连接层，在利用池化层得到池化特征数 据后，将该池化特征数据传输至该全连接层，在全连接层中，进一步利用边框 回归算法以及极大值抑制算法，根据该池化特征数据，即可计算得到该第一人 像对应的口罩佩戴识别结果。可选的，该融合特征降维神经网络输出的口罩佩 戴识别结果可以为0、1或2，并根据0、1或2与口罩佩戴情况的关联关系，确 定该第一人像的口罩佩戴识别结果。例如，0与未佩戴结果关联，2与规范佩戴 结果关联，2与未规范佩戴结果关联。
通过池化层和全连接层的进一步计算，从而以最大精度检测到该第一人像 的口罩佩戴识别结果，提升检测准确度与速度。
需要说明的是，上文中本申请实施例使用的融合特征降维神经网络通过超 参数权重随机搜索融合特征降维卷积神经网络(HWRS-FFPCA-CNN)实现，上述 超参数权重随机搜索融合特征降维卷积神经网络在网络模型训练过程中，面临 着在训练开始之前确定好超参数的问题。目前随着训练数据量越来越大以及神 经网络越来与复杂的情况下，超参数的设定问题就变得很复杂，为了尝试解决 超参数指定问题。本申请实施例中设计了加权超参数随机搜索算法用来对超参 数进行准确快速的参数整定，从而使得基于超参数权重随机搜索融合特征降维 卷积神经网络的融合特征降维神经网络可以准确识别人像图像。
在一个实施例中，如图3所示，其示出了本申请实施例提供的一种口罩领 取装置的结构示意图；该口罩领取装置103包括箱体301、第二摄像设备302、 工控主板303、口罩抓取设备304、口罩存储箱305以及取件箱306；该工控主 板303、口罩抓取设备304、口罩存储箱305以及取件箱306均位于箱体301内 部；该第二摄像设备302与图像处理装置102通信连接，该工控主板303与该 口罩抓取设备304相连；该第二摄像设备302，用于获取第二图像，并将该第二 图像发送至该图像处理装置102；该工控主板303，用于接收该图像处理装置102 发送的投放指令，并在接收到该投放指令时，驱动该口罩抓取设备304从该口 罩存储箱305中抓取口罩，并将抓取的口罩投放至该取件箱306内。
其中，第二摄像设备302可实时拍摄口罩领取装置周围的第二目标区域， 并将拍摄到的第二图像发送至图像处理装置102，以使图像处理装置在将第二图 像与人像数据库中的第一人像对比一致发送投放指令至该工控主板303。
该工控主板303可以为ARM工控主板303，在接收到该投放指令后，驱动 口罩抓取设备304从口罩存储箱305中抓取口罩并投放至取件箱306。取件箱 306可带有开口，以使用户可从该开口处拿取投放在取件箱306中的口罩。
在一个实施例中，该口罩抓取设备304包括步进电机和口罩吸盘，该步进 电机与该工控主板303以及该口罩吸盘相连；该步进电机，用于接收该工控主 板303发送的投放指令，并在接收到该投放指令后，驱动该口罩吸盘从该口罩 存储箱305中抓取口罩，并将抓取的口罩投放至该取件箱306内。
其中，口罩抓取设备304可由步进电机和口罩吸盘构成，口罩吸盘与步进 电机相连，步进电机被工控主板303驱动后，按照预设的步进数驱动口罩吸盘 按照预设轨迹从口罩存储箱305中吸取口罩，并将该吸取的口罩在运送至取件 箱306上方时进行投放。
在一个实施例中，该口罩领取装置还包括光电传感器，该光电传感器与该 工控主板303通信连接；该光电传感器，位于该取件箱306上方，用于在检测 到有口罩投放至该取件箱306时，向该工控主板303发送计数信号；该工控主 板303，还用于记录该口罩存储箱305中剩余口罩数量值，并在接收到该计数信 号后，将该剩余口罩数量值减一。
该口罩领取装置还包括第二显示屏；该第二显示屏与该工控主板303连接； 该第二显示屏，用于接收该工控主板303发送的该剩余口罩数量值，并将接收 到的该剩余口罩数量值进行显示。
其中，工控主板303中还存储有口罩存储箱305中现存的剩余口罩数量值， 工控主板303还与第二显示屏相连，并将存储的剩余口罩数量值发送至该第二 显示屏进行显示。为准确更新该剩余口罩数量值，在该取件箱306上方可安装 一光电计数器，在口罩吸盘投放口罩，该口罩经过该光电计数器发出的红外线 时，该光电计数器可发送计数信号至该工控主板303，以使该工控主板303在接 收到该技术信号后将存储的剩余口罩数量值减一，实现对剩余口罩数量值的更 新，并将该更新的剩余口罩数量值发送至该第二显示屏显示，使得该第二显示 屏总是显示最新的剩余口罩数量值。
在一个实施例中，该工控主板303，还用于接收该图像处理装置发送的对比 结果信息，并将该对比结果信息发送至该第二显示屏进行显示；其中，该对比 结果信息用于指示该第二人像与该人像数据库中的第一人像是否对比一致。
该工控主板303，还用于在该剩余口罩数量值低于预设阈值时，向指定账号 发送提示信息，该提示信息用于指示该口罩存储箱305中口罩数量不足。
其中，图像处理装置在对比第一人像和第二人像后，产生对比结果信息， 该对比结果信息例如可以为对比一致或对比不一致，并将该对比结果信息发送 至该工控主板303，以使该工控主板303可将该对比结果信息发送至该第二显示 屏进行显示，以让当前处于第二目标区域的用户明确是否对比成功并领取口罩。
同时，工控主板303中还存储有预设阈值，工控主板303每次更新该剩余 口罩数量值后，将该剩余口罩数量值与该预设阈值进行对比，当该剩余口罩数 量值低于预设阈值时，该工控主板303向预先存储的指定账号发送提示信息， 以指示接收信息的账户明确需要对该口罩存储箱305进行口罩补充。该指定账 号例如可以为手机账号、邮箱或微信账号等，本申请实施例对此不做限定。
通过向指定账号发送提示信息，以保证口罩存储箱305中口罩数量充足， 提升为用户提供口罩的及时性。
在一个实施例中，该口罩领取装置还包括智能锁，该智能锁包括数字键盘、 第一功能键以及第二功能键；该智能锁，用于锁定该箱体301，并在检测到该第 一功能键被触发时，解除对该箱体301的锁定；该智能锁，还用于在检测到该 第二功能键被触发时，将通过该数字键盘获取的数值发送至该工控主板303，以 使该工控主板303根据该数值更新该剩余口罩数量值。
其中，该智能锁可位于箱体301外部，用于锁定箱体301。该智能锁还包括 数字键盘、第一功能键以及第二功能键。该第一功能键被触发使可解除锁定。 该数字键盘用于当工作人员在接收到提示信息后向该口罩存储箱305中补充口 罩时，通过该数字键盘，输入所补充的口罩数量值，并通过触发该第二功能键 以将该补充的口罩数量值发送至该工控主板303，以使该工控主板303可根据该 补充的口罩数量值更新所存储的剩余口罩数量值，例如，工控主板303可将该 补充的口罩数量值与当前存储的剩余口罩数量值相加，得到更新后的口罩数量 值。
通过提供数字键盘，为更新工控主板303中存储的剩余口罩数量值提供更 新途径，实现剩余口罩数量值的有效管理。
在一个实施例中，该口罩领取装置还包括消毒器；该消毒器，位于该取件 箱306侧面，用于对该取件箱306所包含的区域进行消毒。
其中，该消毒器可位于该取件箱306附近，实现对取件箱306所包含的区 域以及所投放的口罩进行消毒。可选的，该消毒器例如可以为紫外线灯、高温 消毒装置、酒精消毒装置等，本申请实施例对此不做限定。通过对取件箱306 以及投放的口罩进行消毒，进一步避免交叉感染。
在一个实施例中，如图4所示，其示出了本申请实施例提供的另一种口罩 领取装置的结构示意图；该口罩领取装置400包括摄像头401、液晶显示屏402、 智能锁403、光电传感器404、取件箱405、紫外线消毒灯406、步进电机407、 口罩吸盘408、工控主板409、口罩存储箱4010以及箱体4011。
光电传感器404、取件箱405、步进电机407、口罩吸盘408、工控主板409 以及口罩存储箱4010均位于箱体4011内部。
摄像头401用于拍摄箱体周围的区域，得到第二图像，并将第二图像发送 至图像处理装置，图像处理装置将该第二图像中的第二人像与人像数据库中的 第一人像进行对比，并将对比结果信息发送至工控主板409，同时，在对比结果 信息一致时将投放指令同步发送至工控主板409。
工控主板409将接收到的对比结果信息发送至液晶显示屏402显示，并在 接收到投放指令时驱动步进电机407，使步进电机407同步驱动口罩吸盘408按 照预设轨迹从口罩存储箱4010中吸取口罩，并将吸取的口罩投放至取件箱405。
取件箱405上方安装有光电传感器404，当光电传感器404检测到投放口罩 至取件箱405时，发送计数信号至工控主板409，使工控主板409根据接收到的 计数信号将所存储的剩余口罩数量值减一，并将更新后的剩余口罩数量值发送 至液晶显示屏402进行显示。
工控主板409中还存储有预设阈值，工控主板409每次更新该剩余口罩数 量值后，将该剩余口罩数量值与该预设阈值进行对比，当该剩余口罩数量值低 于预设阈值时，该工控主板409向预先存储的指定账号发送提示信息，以指示 接收信息的账户明确需要对该口罩存储箱进行口罩补充。
智能锁403包括数字键盘、第一功能键以及第二功能键；该智能锁403，用 于锁定该箱体，并在检测到该第一功能键被触发时，解除对该箱体的锁定；该 智能锁，还用于在检测到该第二功能键被触发时，将通过该数字键盘获取的数 值发送至该工控主板409，以使该工控主板409根据该数值更新该剩余口罩数量 值。
紫外线消毒灯406可位于该取件箱附近，实现对取件箱所包含的区域以及 所投放的口罩进行消毒。
请参考图5，其示出了本申请实施例提供的一种口罩领取装置的工作流程 图。
请参考图6，其示出了本申请实施例提供的一种防疫系统的工作流程图，当 各装置初始化后，口罩监测装置采集第一目标区域的图像并传输至图像处理装 置。图像处理装置对图像中的用户进行佩戴口罩识别，并在识别结果为未佩戴 时发送提醒信息至口罩监测装置，以使口罩监测装置通过语音提醒用户至口罩 领取装置处领取口罩，同时，图像处理装置将该未佩戴的用户对应的人像存储。 在识别结果为未规范佩戴时发送提醒信息至口罩监测装置，以使口罩监测装置 通过语音提醒用户规范佩戴口罩。
在一个实施例中，如图7所示，提供了一种口罩佩戴识别方法，该口罩佩 戴识别方法可应用于上述图像处理装置中，该图像处理装置可以但不限于是服 务器或多个服务器组成的服务器集群来实现。该方法包括：
步骤701，将第一人像输入至融合特征降维神经网络中，该融合特征降维神 经网络包括卷积层，该卷积层包括形状特征卷积核和纹理特征卷积核。
其中，该融合特征降维神经网络为预先根据多个佩戴口罩、未佩戴口罩或 未规范佩戴口罩的人像进行预训练得到的。第一人像为需进行口罩佩戴识别处 理的用户对应的图像。
具体地，该融合特征降维神经网络可由输入层、卷积层、池化层以及全连 接层组成，通过输入层输入第一人像至融合特征降维神经网络中。通常，口罩 的形状有平板式、折叠式和杯状，且口罩具有比较丰富的纹理特征，因此，可 利用融合特征降维神经网络中的卷积层中的形状特征卷积核和纹理特征卷积核 对该第一人像进行口罩佩戴识别处理。
其中，卷积层的卷积公式如下式所示：
Figure BDA0003502282820000191
上式中，x为输入的进行口罩佩戴识别处理的人像，ω为卷积核，ωb为偏置 系数，w为卷积核的宽度，h为卷积核的高度，m和n为预设的遍历参数，i 和j为当前进行特征提取的像素点位置参数。
步骤702，利用该形状特征卷积核对该第一人像中的口罩形状特征进行提取 处理，得到该第一人像对应的形状特征数据；利用该纹理特征卷积核对该第一 人像中的口罩纹理特征进行提取处理，得到该第一人像对应的纹理特征数据。
通过设定不同的ω，得到形状特征卷积核以及纹理特征卷积核，从而利用该 形状特征卷积核对该第一人像中的口罩形状特征进行提取处理，得到该第一人 像对应的形状特征数据；利用该纹理特征卷积核对该第一人像中的口罩纹理特 征进行提取处理，得到该第一人像对应的纹理特征数据。
其中，该形状特征数据可如下所示：
Fea_shape＝[feas1×1×1，feas1×1×2，…，feas1×1×n]
上式中，feas1×1×n为第一人像的第n个形状特征分量，Fea_shape为第一人像 的形状特征数据。
该纹理特征数据可如下所示：
Fea_texture＝[feat1×1×1，feat1×1×2，…，feat1×1×n]
上式中，feat1×1×n为第一人像的第n个纹理特征分量，Fea_texture为第一人像 的纹理特征数据。
步骤703，基于该形状特征数据和该纹理特征数据输出该第一人像对应的第 一用户的口罩佩戴识别结果。
请参考图8，提供了一种根据特征数据输出口罩佩戴识别结果的流程示意 图；基于该形状特征数据和该纹理特征数据输出该第一用户的口罩佩戴识别结 果，包括：
步骤801，对该形状特征以及该纹理特征数据进行加权融合处理，得到该第 一人像对应的加权特征数据。
其中，加权融合处理得到的该第一人像对应的加权特征数据可如下所示：
Fea_fusion＝α*Fea_shape+(1-α)*Fea_texture
上式中，α为加权系数，Fea_fusion为第一人像对应的加权特征数据。
步骤802，采用PCA算法对该第一人像对应的加权特征数据进行降维处理， 得到该第一人像对应的降维特征数据。
其中，由于加权融合处理后得到的加权特征数据一般维度较高，因此，为 了加速该融合特征降维神经网络的训练速度并保持训练精度，需对该加权特征 数据进行降维处理。因此，可采用PCA(Principle Component Analysis，主成分 分析法)算法对该加权特征数据进行主成分分析降维处理，得到该第一人像对 应的降维特征数据。
步骤803，根据该第一人像对应的降维特征数据得到该第一用户的口罩佩戴 识别结果。
进一步地，即可根据该降维特征数据，获取该第一人像对应的口罩佩戴识 别结果。其中，由于对该加权特征数据进行降维处理，可保证口罩佩戴识别处 理的检测精度，并提升检测速度。
在一个实施例中，如图9所示，提供了一种根据降维特征数据输出口罩佩 戴识别结果的流程示意图；该根据该第一人像对应的降维特征数据得到该第一 用户的口罩佩戴识别结果，包括：
步骤901，该融合特征降维神经网络还包括池化层，利用池化层对该第一人 像对应的降维特征数据进行池化处理，得到该第一人像对应的池化特征数据。
请参考图10，提供了一种池化处理的流程示意图。该利用池化层对该第一 人像对应的降维特征数据进行池化处理，得到该第一人像对应的池化特征数据， 包括：
步骤1001，对该第一人像对应的降维特征数据进行均值池化处理，得到该 第一人像对应的均值池化数据，并该第一人像对应的降维特征数据进行最大值 池化处理，得到该第一人像对应的最大值池化数据。
其中，为准确获取口罩佩戴识别结果，可利用池化层对该降维特征数据进 行池化处理。具体地，可对该降维特征数据进行均值池化处理，得到该第一人 像对应的均值池化数据F_pool_ave，同时，对该降维特征数据进行最大值池化 处理，得到该第一人像对应的最大值池化数据F_pool_max。
步骤1002，对该第一人像对应的均值池化数据以及该第一人像对应的最大 值池化数据进行线性叠加，得到该第一人像对应的池化特征数据。
其中，池化层一般采用的算法有均值池化、最大值池化以及中间值池化， 为了充分利用均值池化与最大值池化各自的优势，可采用线性加权池化算法， 对均值池化数据和最大值池化数据进行线性叠加，从而获取最佳的池化特征数 据F_pool_fusion，具体的表达式如下所示：
F_pool_fusion＝αF_pool_ave+(1-α)F_pool_max
上式中，α为加权系数。
步骤902，根据该第一人像对应的池化特征数据，采用边框回归算法以及非 极大值抑制算法得到该第一用户的口罩佩戴识别结果。
该融合特征降维神经网络还包括全连接层，在利用池化层得到池化特征数 据后，将该池化特征数据传输至该全连接层，在全连接层中，进一步利用边框 回归算法以及极大值抑制算法，根据该池化特征数据，即可计算得到该第一人 像对应的口罩佩戴识别结果。
通过池化层和全连接层的进一步计算，从而以最大精度检测到该第一人像 的口罩佩戴识别结果，提升检测准确度与速度。
在一个实施例中，如图11所示，提供了获取第一人像的流程示意图。在将 第一人像输入至融合特征降维神经网络之前，该方法还包括：
步骤1101，获取第一图像。
其中，第一图像为进行口罩佩戴检查时获取的目标区域的图像，该第一图 像中包括有第一用户对应的第一人像。
步骤1102，对该第一图像中的各像素点进行YCbCr色彩空间转换，得到各 像素点的蓝色色度分量以及红色色度分量。
为便于获取该第一用户对应的第一人像，需对该第一图像中的各像素点进 行YCbCr色彩空间转换，得到各像素点的蓝色色度分量以及红色色度分量。
具体地，可以根据下式对该第一图像进行YCbCr色彩空间转换：
Figure BDA0003502282820000223
上式中，R、G、B分别为第一图像的各像素点的红、绿、蓝分量，Y为各像 素点的亮度分量，Cb为各像素点的蓝色色度分量Cr为各像素点的红色色度分 量。
步骤1103，根据该蓝色色度分量以及红色色度分量是否在预设区间内，从 该第一图像中识别出该第一人像，其中，该第一人像与该第一图像中包括的第 一用户对应。
其中，根据各像素点的蓝色色度分量和红色色度分量，可对第一图像中包 括的人像进行粗定位。具体地，人脸皮肤在Cb,Cr中所处的范围如下所示：
Figure BDA0003502282820000221
因此，根据上式可确定人脸判断模型，该模型如下所示：
Figure BDA0003502282820000222
因此，可根据上述人脸判断模型，遍历第一像素中的各像素点的Cb和Cr的 值，当像素点满足该人脸判断模型，则判断该像素点为皮肤区域，否则，为背 景区域，因此，可根据各像素点的判断结果，根据满足条件的像素点，确定该 第一用户对应的第一人像，实现第一用户在第一图像中的粗定位。
在对该第一用户在第一图像中进行粗定位后得到第一人像，可剔除第一图 像中的背景图像，以便根据该第一人像进行口罩佩戴识别处理，提升得到第一 用户的口罩佩戴识别结果的效率。
上述融合特征降维神经网络在训练过程中，面临着在训练开始之前确定好 超参数的问题。目前随着训练数据量越来越大以及神经网络越来与复杂的情况 下，超参数的设定问题就变得很复杂，为了尝试解决超参数指定问题。本申请 实施例中设计了加权超参数随机搜索算法用来对超参数进行准确快速的参数整 定。
在一个实施例中，如图12所示，其示出了本申请实施例提供的一种融合特 征降维神经网络的训练以及应用的流程示意图；通过划分获取的人脸口罩数据 集，得到训练集和验证集，并对该训练集和验证集中的人脸进行YCbCr色彩空 间转换预处理，从而根据预处理后的训练集和验证集训练该融合特征降维神经 网络直至训练完成。
在摄像头拍摄到目标区域的图像后，将该图像发送至训练好的该融合特征 降维神经网络中进行口罩佩戴识别处理，得到图像中的人脸的口罩佩戴识别结 果。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按 照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执 行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些 步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的 至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然 是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执 行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者 阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的 口罩佩戴识别方法的口罩佩戴识别装置。该装置所提供的解决问题的实现方案 与上述方法中所记载的实现方案相似，故下面所提供的一个或多个口罩佩戴识 别装置实施例中的具体限定可以参见上文中对于口罩佩戴识别方法的限定，在 此不再赘述。
在一个实施例中，如图13所示，提供了一种口罩佩戴识别装置，包括：第 一输入模块1301、第一提取模块1302、第二提取模块1303和第一输出模块1304， 其中：
第一输入模块1301，用于将第一人像输入至融合特征降维神经网络中，该 融合特征降维神经网络包括卷积层，该卷积层包括形状特征卷积核和纹理特征 卷积核；第一提取模块1302，用于利用该形状特征卷积核对该第一人像中的口 罩形状特征进行提取处理，得到该第一人像对应的形状特征数据；第二提取模 块1303，用于利用该纹理特征卷积核对该第一人像中的口罩纹理特征进行提取 处理，得到该第一人像对应的纹理特征数据；第一输出模块1304，用于基于该 形状特征数据和该纹理特征数据输出该第一用户的口罩佩戴识别结果。
在一个实施例中，第一输出模块1304，具体用于：对该形状特征以及该纹 理特征数据进行加权融合处理，得到该第一人像对应的加权特征数据；采用PCA 算法对该第一人像对应的加权特征数据进行降维处理，得到该第一人像对应的 降维特征数据；根据该第一人像对应的降维特征数据得到该第一用户的口罩佩 戴识别结果。
在一个实施例中，该第一输出模块1304，具体用于：该融合特征降维神经 网络还包括池化层，利用池化层对该第一人像对应的降维特征数据进行池化处 理，得到该第一人像对应的池化特征数据；根据该第一人像对应的池化特征数 据，采用边框回归算法以及非极大值抑制算法得到该第一用户的口罩佩戴识别 结果。
在一个实施例中，该第一输出模块1304，具体用于：对该第一人像对应的 降维特征数据进行均值池化处理，得到该第一人像对应的均值池化数据，并该 第一人像对应的降维特征数据进行最大值池化处理，得到该第一人像对应的最 大值池化数据；对该第一人像对应的均值池化数据以及该第一人像对应的最大 值池化数据进行线性叠加，得到该第一人像对应的池化特征数据。
在一个实施例中，如图14所示，其示出了本申请实施例提供的第二种口罩 佩戴识别装置的结构框图，该口罩佩戴识别装置1400还包括：
第一获取模块1305，用于获取第一图像；
第一转换模块1306，用于对该第一图像中的各像素点进行YCbCr色彩空间 转换，得到各像素点的蓝色色度分量以及红色色度分量；
第一识别模块1307，用于根据该蓝色色度分量以及红色色度分量是否在预 设区间内，从该第一图像中识别出该第一人像，其中，该第一人像与该第一图 像中包括的第一用户对应。
上述口罩佩戴识别装置中的各个模块可全部或部分通过软件、硬件及其组 合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中， 也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以 上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器， 其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、 存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。 该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介 质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中 的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储口 罩佩戴识别数据。该计算机设备的网络接口用于与外部的终端通过网络连接通 信。该计算机程序被处理器执行时以实现一种口罩佩戴识别方法。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储 器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中 的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程 序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算 机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、 用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示 的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于 一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述 各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、 数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一 种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、 软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、 磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器 (Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase ChangeMemory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器 (Random AccessMemory，RAM)或外部高速缓冲存储器等。作为说明而非局 限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory， DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库 和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数 据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计 算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述 实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特 征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域 的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和 改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利 要求为准。

Claims (25)

1.一种防疫系统，其特征在于，所述系统包括口罩监测装置、图像处理装置以及口罩领取装置；
所述口罩监测装置，用于拍摄第一目标区域的第一图像，并将所述第一图像发送至所述图像处理装置；
所述图像处理装置，用于基于所述第一图像对所述第一目标区域中的第一用户进行口罩佩戴识别处理，得到口罩佩戴识别结果，并在所述口罩佩戴识别结果为未佩戴的情况下，将所述第一图像中包括的所述第一用户对应的第一人像存储至人像数据库；
所述口罩领取装置，用于获取第二目标区域的第二图像，并将所述第二图像发送至所述图像处理装置；
所述图像处理装置，还用于在所述第二图像中包括的第二人像与所述人像数据库中存储的所述第一人像一致的情况下，向所述口罩领取装置发送投放指令；
所述口罩领取装置，还用于在接收到所述投放指令后，投放口罩。
2.根据权利要求1所述的防疫系统，其特征在于，所述口罩监测装置包括信息输出组件；
所述图像处理装置，还用于在所述口罩佩戴识别结果为未佩戴或未规范佩戴的情况下，向所述口罩监测装置发送提醒指令；
所述口罩监测装置，用于根据接收到的所述提醒指令控制所述信息输出组件输出提醒信息，其中，所述提醒信息用于提示所述第一用户规范佩戴口罩或从所述口罩领取装置处领取口罩。
3.根据权利要求2所述的防疫系统，其特征在于，所述信息输出组件包括音频输出组件以及第一显示屏，所述提醒信息包括语音提醒信息和所述第一人像；
所述口罩监测装置，用于根据所述提醒指令控制所述音频输出组件输出所述语音提醒信息；
所述口罩监测装置，还用于根据所述提醒指令控制所述第一显示屏显示所述第一人像。
4.根据权利要求1所述的防疫系统，其特征在于，所述图像处理装置，具体用于：
对所述第一图像中的各像素点进行YCbCr色彩空间转换，得到各像素点的蓝色色度分量以及红色色度分量；
根据所述蓝色色度分量以及红色色度分量是否在预设区间内，从所述第一图像中识别出所述第一人像；
基于所述第一人像对所述第一用户进行口罩佩戴识别处理。
5.根据权利要求4所述的防疫系统，其特征在于，所述图像处理装置，具体用于：
将所述第一人像输入至融合特征降维神经网络中，所述融合特征降维神经网络包括卷积层，所述卷积层包括形状特征卷积核和纹理特征卷积核；
利用所述形状特征卷积核对所述第一人像中的口罩形状特征进行提取处理，得到所述第一人像对应的形状特征数据；
利用所述纹理特征卷积核对所述第一人像中的口罩纹理特征进行提取处理，得到所述第一人像对应的纹理特征数据；
基于所述形状特征数据和所述纹理特征数据输出所述口罩佩戴识别结果。
6.根据权利要求5所述的防疫系统，其特征在于，所述图像处理装置，具体用于：
对所述形状特征以及所述纹理特征数据进行加权融合处理，得到所述第一人像对应的加权特征数据；
采用PCA算法对所述第一人像对应的加权特征数据进行降维处理，得到所述第一人像对应的降维特征数据；
根据所述第一人像对应的降维特征数据得到所述口罩佩戴识别结果。
7.根据权利要求6所述的防疫系统，其特征在于，所述融合特征降维神经网络还包括池化层，所述图像处理装置，具体用于：
利用所述池化层对所述第一人像对应的降维特征数据进行池化处理，得到所述第一人像对应的池化特征数据；
根据所述第一人像对应的池化特征数据，利用边框回归算法以及非极大值抑制算法得到所述口罩佩戴识别结果。
8.根据权利要求7所述的防疫系统，其特征在于，所述图像处理装置，具体用于：
利用所述池化层对所述第一人像对应的降维特征数据进行均值池化处理，得到所述第一人像对应的均值池化数据，并所述第一人像对应的降维特征数据进行最大值池化处理，得到所述第一人像对应的最大值池化数据；
对所述第一人像对应的均值池化数据以及所述第一人像对应的最大值池化数据进行线性叠加，得到所述第一人像对应的池化特征数据。
9.根据权利要求1所述的防疫系统，其特征在于，所述口罩领取装置包括箱体、第二摄像设备、工控主板、口罩抓取设备、口罩存储箱以及取件箱；所述工控主板、所述口罩抓取设备、所述口罩存储箱以及所述取件箱均位于所述箱体内部；所述第二摄像设备与所述图像处理装置通信连接，所述工控主板与所述口罩抓取设备相连；
所述第二摄像设备，用于获取所述第二图像，并将所述第二图像发送至所述图像处理装置；
所述工控主板，用于接收所述图像处理装置发送的所述投放指令，并在接收到所述投放指令后，驱动所述口罩抓取设备从所述口罩存储箱中抓取口罩，并将抓取的口罩投放至所述取件箱内。
10.根据权利要求9所述的防疫系统，其特征在于，所述口罩抓取设备包括步进电机和口罩吸盘，所述步进电机与所述工控主板以及所述口罩吸盘相连；
所述步进电机，用于接收所述工控主板发送的所述投放指令，并在接收到所述投放指令后，驱动所述口罩吸盘从所述口罩存储箱中抓取口罩，并将抓取的口罩投放至所述取件箱内。
11.根据权利要求10所述的防疫系统，其特征在于，所述口罩领取装置还包括光电传感器，所述光电传感器与所述工控主板通信连接；
所述光电传感器，位于所述取件箱上方，用于在检测到有口罩投放至所述取件箱时，向所述工控主板发送计数信号；
所述工控主板，还用于记录所述口罩存储箱中剩余口罩数量值，并在接收到所述计数信号后，将所述剩余口罩数量值减一。
12.根据权利要求11所述的系统，其特征在于，所述口罩领取装置还包括第二显示屏；所述第二显示屏与所述工控主板连接；
所述第二显示屏，用于接收所述工控主板发送的所述剩余口罩数量值，并将接收到的所述剩余口罩数量值进行显示。
13.根据权利要求12所述的防疫系统，其特征在于，
所述工控主板，还用于接收所述图像处理装置发送的对比结果信息，并将所述对比结果信息发送至所述第二显示屏进行显示；
其中，所述对比结果信息用于指示所述第二人像与所述人像数据库中的第一人像是否对比一致。
14.根据权利要求12所述的防疫系统，其特征在于，
所述工控主板，还用于在所述剩余口罩数量值低于预设阈值时，向指定账号发送提示信息，所述提示信息用于指示所述口罩存储箱中口罩数量不足。
15.根据权利要求11所述的防疫系统，其特征在于，所述口罩领取装置还包括智能锁，所述智能锁包括数字键盘、第一功能键以及第二功能键；
所述智能锁，用于锁定所述箱体，并在检测到所述第一功能键被触发时，解除对所述箱体的锁定；
所述智能锁，还用于在检测到所述第二功能键被触发时，将通过所述数字键盘获取的数值发送至所述工控主板，以使所述工控主板根据所述数值更新所述剩余口罩数量值。
16.根据权利要求9所述的防疫系统，其特征在于，所述口罩领取装置还包括消毒器；
所述消毒器，位于所述取件箱侧面，用于对所述取件箱所包含的区域进行消毒。
17.一种口罩佩戴识别方法，其特征在于，所述方法包括：
将第一人像输入至融合特征降维神经网络中，所述融合特征降维神经网络包括卷积层，所述卷积层包括形状特征卷积核和纹理特征卷积核；
利用所述形状特征卷积核对所述第一人像中的口罩形状特征进行提取处理，得到所述第一人像对应的形状特征数据；
利用所述纹理特征卷积核对所述第一人像中的口罩纹理特征进行提取处理，得到所述第一人像对应的纹理特征数据；
基于所述形状特征数据和所述纹理特征数据输出所述第一人像对应的第一用户的口罩佩戴识别结果。
18.根据权利要求17所述的方法，其特征在于，所述基于所述形状特征数据和所述纹理特征数据输出所述第一人像对应的第一用户的口罩佩戴识别结果，包括：
对所述形状特征以及所述纹理特征数据进行加权融合处理，得到所述第一人像对应的加权特征数据；
采用PCA算法对所述第一人像对应的加权特征数据进行降维处理，得到所述第一人像对应的降维特征数据；
根据所述第一人像对应的降维特征数据得到所述第一用户的口罩佩戴识别结果。
19.根据权利要求18所述的方法，其特征在于，所述根据所述第一人像对应的降维特征数据得到所述第一用户的口罩佩戴识别结果，包括：
所述融合特征降维神经网络还包括池化层，利用池化层对所述第一人像对应的降维特征数据进行池化处理，得到所述第一人像对应的池化特征数据；
根据所述第一人像对应的池化特征数据，采用边框回归算法以及非极大值抑制算法得到所述第一用户的口罩佩戴识别结果。
20.根据权利要求19所述的方法，其特征在于，所述利用池化层对所述第一人像对应的降维特征数据进行池化处理，得到所述第一人像对应的池化特征数据，包括：
对所述第一人像对应的降维特征数据进行均值池化处理，得到所述第一人像对应的均值池化数据，并所述第一人像对应的降维特征数据进行最大值池化处理，得到所述第一人像对应的最大值池化数据；
对所述第一人像对应的均值池化数据以及所述第一人像对应的最大值池化数据进行线性叠加，得到所述第一人像对应的池化特征数据。
21.根据权利要求17所述的方法，其特征在于，在将第一人像输入至融合特征降维神经网络之前，所述方法还包括：
获取第一图像；
对所述第一图像中的各像素点进行YCbCr色彩空间转换，得到各像素点的蓝色色度分量以及红色色度分量；
根据所述蓝色色度分量以及红色色度分量是否在预设区间内，从所述第一图像中识别出所述第一人像，其中，所述第一人像与所述第一图像中包括的第一用户对应。
22.一种口罩佩戴识别装置，其特征在于，所述装置包括：
第一输入模块，用于将第一人像输入至融合特征降维神经网络中，所述融合特征降维神经网络包括卷积层，所述卷积层包括形状特征卷积核和纹理特征卷积核；
第一提取模块，用于利用所述形状特征卷积核对所述第一人像中的口罩形状特征进行提取处理，得到所述第一人像对应的形状特征数据；
第二提取模块，用于利用所述纹理特征卷积核对所述第一人像中的口罩纹理特征进行提取处理，得到所述第一人像对应的纹理特征数据；
第一输出模块，用于基于所述形状特征数据和所述纹理特征数据输出所述第一用户的口罩佩戴识别结果。
23.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求17至21中任一项所述的方法的步骤。
24.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求17至21中任一项所述的方法的步骤。
25.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求17至21中任一项所述的方法的步骤。
CN202210130501.6A 2022-02-11 2022-02-11 防疫系统以及口罩佩戴识别方法、装置、设备和存储介质 Pending CN114821455A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210130501.6A CN114821455A (zh) 2022-02-11 2022-02-11 防疫系统以及口罩佩戴识别方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210130501.6A CN114821455A (zh) 2022-02-11 2022-02-11 防疫系统以及口罩佩戴识别方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114821455A true CN114821455A (zh) 2022-07-29

Family

ID=82527518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210130501.6A Pending CN114821455A (zh) 2022-02-11 2022-02-11 防疫系统以及口罩佩戴识别方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114821455A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428559A (zh) * 2020-02-19 2020-07-17 北京三快在线科技有限公司 一种口罩佩戴情况检测方法、装置、电子设备及存储介质
CN212341956U (zh) * 2020-04-28 2021-01-12 江苏泽航创业投资有限公司 口罩贩卖机用计数电路及口罩贩卖机
CN215495184U (zh) * 2021-08-12 2022-01-11 南京信息工程大学 一种可分发口罩的门禁系统、装置
CN113990469A (zh) * 2021-11-02 2022-01-28 南华大学 一种移动疫苗接种车的疫情防控管理系统
CN217061115U (zh) * 2022-02-11 2022-07-26 中国工商银行股份有限公司 口罩领取装置和防疫系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428559A (zh) * 2020-02-19 2020-07-17 北京三快在线科技有限公司 一种口罩佩戴情况检测方法、装置、电子设备及存储介质
CN212341956U (zh) * 2020-04-28 2021-01-12 江苏泽航创业投资有限公司 口罩贩卖机用计数电路及口罩贩卖机
CN215495184U (zh) * 2021-08-12 2022-01-11 南京信息工程大学 一种可分发口罩的门禁系统、装置
CN113990469A (zh) * 2021-11-02 2022-01-28 南华大学 一种移动疫苗接种车的疫情防控管理系统
CN217061115U (zh) * 2022-02-11 2022-07-26 中国工商银行股份有限公司 口罩领取装置和防疫系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁铭阳等: "卷积神经网络池化方法综述", 《软件工程与应用》, vol. 9, no. 5, 13 October 2020 (2020-10-13), pages 1 - 13 *

Similar Documents

Publication Publication Date Title
US11276291B2 (en) Utilizing artificial intelligence to detect objects or patient safety events in a patient room
CN104766372B (zh) 一种用人脸识别逃票判定系统及其使用方法
CN108279062B (zh) 烟叶智能自动称重监控系统
CN101253535B (zh) 图像检索装置以及图像检索方法
CN108052925A (zh) 一种小区人员档案智能管理方法
CN100464348C (zh) 视频监视识别智能装置与方法
CN110648352A (zh) 一种异常事件的检测方法、装置及电子设备
CA3045356C (en) Sterilization system with integrated instrument recall capabilities and related methods
CN108470255B (zh) 工作量统计方法及装置、存储介质、计算设备
CN108877939A (zh) 一种具有智能特征提取功能的健康管理系统
CN114463899A (zh) 物品存放方法、装置、存储柜、电子设备及存储介质
CN108109348A (zh) 分级报警方法及装置
CN109615158A (zh) 资产管理监控方法、装置、计算机设备及存储介质
CN113392765A (zh) 一种基于机器视觉的摔倒检测方法和系统
CN110033566A (zh) 用于包裹保存装置的方法和装置
CN111597872A (zh) 一种基于深度学习的卫生监督执法非法行医人脸识别方法
CN108053111A (zh) 电梯分流方法及系统
CN217061115U (zh) 口罩领取装置和防疫系统
CN111507242A (zh) 一种基于大数据植物病虫害智能识别方法
CN111815869A (zh) 一种基于大数据的超市智能储物柜
CN114821455A (zh) 防疫系统以及口罩佩戴识别方法、装置、设备和存储介质
CN205847453U (zh) 一种基于智能视频技术的智慧金睛人和物的行为识别系统
CN112686180A (zh) 一种封闭空间人员数量计算方法
CN113139413A (zh) 人员管理方法、装置及电子设备
CN111971703A (zh) 物品管理方法和后台系统以及数据处理装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination