CN115393753A - 基于边缘集群与机器视觉的危险化学品管控装置及方法 - Google Patents

基于边缘集群与机器视觉的危险化学品管控装置及方法 Download PDF

Info

Publication number
CN115393753A
CN115393753A CN202210534199.0A CN202210534199A CN115393753A CN 115393753 A CN115393753 A CN 115393753A CN 202210534199 A CN202210534199 A CN 202210534199A CN 115393753 A CN115393753 A CN 115393753A
Authority
CN
China
Prior art keywords
dangerous
cabinet
camera
user
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210534199.0A
Other languages
English (en)
Inventor
廖镜森
兰博
陈佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hna Zhongruan Technology Co ltd
Original Assignee
Beijing Hna Zhongruan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hna Zhongruan Technology Co ltd filed Critical Beijing Hna Zhongruan Technology Co ltd
Publication of CN115393753A publication Critical patent/CN115393753A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/52—Weighing apparatus combined with other objects, e.g. furniture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Alarm Systems (AREA)

Abstract

本发明涉及一种基于边缘集群与机器视觉的危险化学品管控装置及方法，属于危险化学品管控技术领域。第一摄像头安装于危险品柜外，用于采集危险品柜外部的柜外视频图像，危险品柜内的每一层均安装有一第二摄像头和一称重模块，第二摄像头用于采集其所对应层的层内视频图像，称重模块用于采集其所对应层中所有危险化学品的总重量，处理器用于根据柜外视频图像、层内视频图像以及总重量生成拿取记录或归还记录，从而能够对危险化学品进行有效智能管控，利用机器视觉分析方法，能准确识别用户身份和所取或所归还的危险化学品信息，且采用机器视觉分析方法可靠性高，易拓展，易操作和管理，适用多场景、多环境和多品类危险化学品管控。

Description

基于边缘集群与机器视觉的危险化学品管控装置及方法
技术领域
本发明涉及危险化学品管控技术领域，特别是涉及一种基于边缘集群与机 器视觉的危险化学品管控装置及方法。
背景技术
目前，高校危险化学品的管理方法主要采用专人保管，严格领用，剩余危 险化学品及时送还的方式。而对于一些研究生或博士生的实验室，领取的危险 化学品会存储在危险品柜内，供学生们使用，这就有可能导致危险化学品被学 生私自带出实验室，导致不良事件的发生。而目前实验室采用的管理办法是学 生按需向导师提出领用申请，导师定期检查危险化学品的使用情况和加强安全 意识教育，但这些方法无法做到24小时管控危险化学品的使用情况，也很难 知道危险化学品的使用过程及使用信息，无法避免不良事件的发生。
基于此，亟需一种对危险化学品进行有效智能管控的装置及方法。
发明内容
本发明的目的是提供一种基于边缘集群与机器视觉的危险化学品管控装 置及方法，能够对危险化学品进行有效智能管控。
为实现上述目的，本发明提供了如下方案：
一种基于边缘集群与机器视觉的危险化学品管控装置，所述管控装置包括 处理器、第一摄像头、多个第二摄像头和多个称重模块；所述处理器与所述第 一摄像头、所述第二摄像头和所述称重模块通信连接；
所述第一摄像头安装于危险品柜外；所述第一摄像头用于采集所述危险品 柜外部的柜外视频图像；所述危险品柜用于放置危险化学品；
所述危险品柜内的每一层均安装有一所述第二摄像头和一所述称重模块； 所述第二摄像头用于采集其所对应层的层内视频图像；所述称重模块用于采集 其所对应层中所有所述危险化学品的总重量；
所述处理器用于根据所述柜外视频图像、所述层内视频图像以及所述总重 量生成拿取记录或归还记录；所述拿取记录包括用户身份、拿取时间、拿取的 危险化学品名称及重量、拿取过程图片和视频；所述归还记录包括用户身份、 归还时间、归还的危险化学品名称及重量、被使用重量及出柜时长、归还过程 图片和视频。
一种基于边缘集群与机器视觉的危险化学品管控方法，所述管控方法包括：
接收第二摄像头所采集的层内视频图像，利用柜门检测算法对所述层内视 频图像进行检测识别，判断危险品柜的柜门是否被打开；
若是，则接收第一摄像头所采集的柜外视频图像，对所述柜外视频图像进 行人脸识别，确定打开柜门的用户的用户身份；同时利用手部检测算法对所述 层内视频图像进行检测识别，确定用户手部位置；用户手部每进出所述第二摄 像头对应的电子围栏一次，视为用户在所述第二摄像头对应的层完成一次危险 化学品的拿取或归还行为；
当所述用户在所述第二摄像头对应的层完成一次危险化学品的拿取或归 还行为后，将所述第二摄像头对应的层记为目标层，则接收称重模块所采集的 所述目标层中所有所述危险化学品的总重量，对所述目标层的层内视频图像和 所述目标层中所有所述危险化学品的总重量进行分析，确定用户拿取或归还的 危险化学品名称及重量，生成拿取记录或归还记录；所述拿取记录包括用户身 份、拿取时间、拿取的危险化学品名称及重量、拿取过程图片和视频；所述归 还记录包括用户身份、归还时间、归还的危险化学品名称及重量、被使用重量 及出柜时长、归还过程图片和视频。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明用于提供一种基于边缘集群与机器视觉的危险化学品管控装置及 方法，第一摄像头安装于危险品柜外，用于采集危险品柜外部的柜外视频图像， 危险品柜内的每一层均安装有一第二摄像头和一称重模块，第二摄像头用于采 集其所对应层的层内视频图像，称重模块用于采集其所对应层中所有危险化学 品的总重量，处理器用于根据柜外视频图像、层内视频图像以及总重量生成拿 取记录或归还记录，从而能够对危险化学品进行有效智能管控，利用机器视觉 分析方法，能准确识别用户身份和所取或所归还的危险化学品信息，且采用机 器视觉分析方法可靠性高，易拓展，易操作和管理，适用多场景、多环境和多 品类危险化学品管控。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是 本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的 前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1所提供的管控装置的结构示意图；
图2为本发明实施例1所提供的管控装置所组成的边缘集群的示意图；
图3为本发明实施例2所提供的管控方法的方法流程图；
图4为本发明实施例2所提供的管控方法的步骤流程图。
符号说明：
1-处理器；2-第一摄像头；3-第二摄像头；4-称重模块；5-报警器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于边缘集群与机器视觉的危险化学品管控装 置及方法，能够对危险化学品进行有效智能管控。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和 具体实施方式对本发明作进一步详细的说明。
实施例1：
本实施例用于提供一种基于边缘集群与机器视觉的危险化学品管控装置， 如图1所示，所述管控装置包括处理器1、第一摄像头2、多个第二摄像头3 和多个称重模块4，处理器1与第一摄像头2、第二摄像头3和称重模块4通 信连接。第一摄像头2和第二摄像头3均可为微型摄像头，其用于采集图像信 息。
第一摄像头2安装于危险品柜外，具体可安装于危险品柜上方，危险品柜 用于放置危险化学品。第一摄像头2用于采集危险品柜外部的柜外视频图像， 以基于该柜外视频图像识别打开危险品柜柜门的用户身份。
危险品柜内的每一层均安装有一第二摄像头3和一称重模块4，第二摄像 头3可安装于对应层的顶部，即在危险品柜每层顶部各安装一个第二摄像头3。 危险品柜每层底部均设置有托盘，托盘上放置有若干个用于盛装危险化学品的 容器，该托盘底部安装有称重模块4。第二摄像头3用于采集其所对应层的层 内视频图像，以基于该层内视频图像判断危险品柜是否被打开，并识别用户所 取或所还的危险化学品名称。称重模块4用于采集其所对应层中所有危险化学 品的总重量，通过在危险品柜每层加装称重模块4，危险化学品放置于带有称 重模块4的托盘上，用户拿取危险化学品，重量会发生变换，以计算用户所取的危险化学品的重量及用量信息。
处理器1用于根据柜外视频图像、层内视频图像以及总重量生成拿取记录 或归还记录，拿取记录包括用户身份、拿取时间、拿取的危险化学品名称及重 量、拿取过程图片和视频，归还记录包括用户身份、归还时间、归还的危险化 学品名称及重量、被使用重量及出柜时长、归还过程图片和视频。
本实施例针对危险化学品不易管控的问题，在危险品柜上加装多个微型摄 像头，一个摄像头安装在危险品柜外，其他摄像头安装在危险品柜内，并在危 险品柜内加装称重模块4，当用户(用户可以是学生、老师以及其他人员)打 开危险品柜拿取或归还危险化学品时，利用机器视觉分析方法识别用户身份和 所拿取或归还的危险化学品类别，并通过称重模块4获取拿取或归还时的危险 化学品重量，最后生成危险化学品拿取或归还记录，并可通知管理人员，从而 能够对危险化学品进行有效智能管控，可以打造出一个智慧校园，有利于校园 安全。本实施例利用机器视觉分析方法，能准确识别用户身份和所取或所归还的危险化学品信息，结合称重模块4，可以精确的记录用户取样、用量和归还 信息，且采用机器视觉分析方法可靠性高，易拓展，易操作和管理，适用多场 景、多环境和多品类危险化学品管控。
作为一种可选的实施方式，本实施例的管控装置还包括报警器5，报警器 5安装于危险品柜外，并与处理器1通信连接，报警器5用于报警。具体的， 该报警器5可采用声光告警模块，并可安装于危险品柜的顶部，用于以声光的 方式进行告警播报。
本实施例的处理器1可为边缘计算设备，如RK3399 Pro，将所有摄像头、 称重模块4及声光告警模块的信号均接入边缘计算设备进行数据计算处理，将 识别的事件推送给管理人员，并对异常事件进行声光告警，采用边缘计算技术 和边缘计算设备，成本低廉，占用资源少，能够实现24小时管控，且利用边 缘计算设备进行数据采集和分析计算，部署方便灵活，并且可直接对现有的危 险品柜进行改装，节省成本。
本实施例的边缘计算设备包括相互通信的客户端(Edge)和服务端(Broker)， 每一危险品柜对应一边缘计算设备，多个边缘计算设备的服务端基于MQTT 通信协议相通信，组成边缘集群。
如图2所示，本实施例所涉及的边缘集群技术主要基于MQTT通信协议 实现，该边缘集群技术的实现方式如下：
(1)每个节点设备(边缘计算设备)中均设计基于MQTT通信协议的客 户端(Edge)和服务端(Broker)，节点设备中客户端与服务端相互通信，以确保 每个节点设备可以脱离集群单独部署运行。
(2)局域网内各节点设备通过服务端(Broker)进行相互订阅和消息通信， 形成边缘集群，在边缘集群中，各节点设备服务端(Broker)通过定期Check的 方式反馈彼此的健康状况并在集群中反馈，防止边缘服务被误驱逐；
(3)在边缘集群中，各节点设备服务端(Broker)通过定期Check的方式将 离群的节点设备重新加入至集群中，同时，离群的节点设备或新增节点设备可 以通过自身的服务端(Broker)订阅局域网中的边缘集群服务，使其加入至边缘 集群中。
(4)在边缘集群中，利用WebSocket通信协议，将A节点设备的计算任 务分派给闲置B节点设备进行计算处理，实现边缘集群内的负载均衡。
本实施例利用边缘集群技术，将整个校园内改装后的危险品柜形成集群并 统一管理，即采用边缘集群技术，将边缘计算设备形成集群统一管理，容灾能 力强，稳定性高。利用边缘集群技术将校园内所有的改装的危险品柜进行集群 管理和信息数据汇集，用户可通过访问任意边缘计算设备可视化管理校园内所 有的危险品柜，并获取所有危险品柜内危险化学品的使用信息，实现智能管控 危险化学品。
实施例2：
本实施例用于提供一种基于边缘集群与机器视觉的危险化学品管控方法， 利用实施例1所述的管控装置进行工作，如图3和图4所示，所述管控方法包 括：
S1：接收第二摄像头所采集的层内视频图像，利用柜门检测算法对所述层 内视频图像进行检测识别，判断危险品柜的柜门是否被打开；
在使用前，管理员需要预先对危险品柜内的每个第二摄像头设置电子围栏 以及柜门关闭位置坐标，则S1中，利用柜门检测算法对层内视频图像进行检 测识别，判断危险品柜的柜门是否被打开可以包括：对于每一个第二摄像头拍 摄的层内视频图像，利用柜门检测算法对层内视频图像中的柜门进行检测识别， 实时检测柜门位置，确定柜门位置坐标；将实时检测到的柜门位置坐标与预设 的柜门关闭位置坐标进行对比，若柜门位置坐标与预设的柜门关闭位置坐标相 同，则危险品柜的柜门未被打开，柜门处于关闭状态；否则，即检测到的柜门 位置坐标远离预设的柜门关闭位置坐标，则危险品柜的柜门被打开。
S2：若是，则接收第一摄像头所采集的柜外视频图像，对所述柜外视频图 像进行人脸识别，确定打开柜门的用户的用户身份；同时利用手部检测算法对 所述层内视频图像进行检测识别，确定用户手部位置；用户手部每进出所述第 二摄像头对应的电子围栏一次，视为用户在所述第二摄像头对应的层完成一次 危险化学品的拿取或归还行为；
当监测到柜门被打开后，则联动柜外的第一摄像头捕获用户图像，并对打 开柜门的用户进行人脸识别，确定用户身份。具体的，S2中，对柜外视频图 像进行人脸识别，确定打开柜门的用户的用户身份可以包括：
(1)人脸检测：利用MTCNN算法对柜外视频图像进行人脸检测，得到 打开柜门的用户的人脸位置及五官坐标；
本实施例用来进行人脸检测的算法为级联结构的MTCNN算法，该算法由 3个网络结构组成：P-Net(Proposal Network)、R-Net(Refine Network)和 O-Net(OutputNetwork)。其中，P-Net网络结构主要用于获得人脸区域的候选 窗口和边界框的回归向量，并用该边界框做回归，以对候选窗口进行校准，然 后通过非极大值抑制(NMS)来合并高度重叠的候选框；R-Net和O-Net网络 结构也是用于通过边界框回归和非极大值抑制NMS去掉false-positive区域， 但R-Net网络结构和P-Net网络结构有差异，多了一个全连接层，所以会取得 更好的抑制false-positive的作用，O-Net网络结构比R-Net网络结构又多了一层卷积层，所以处理的结果会更加精细，会对人脸区域进行更多的监督，并输 出5个人脸关键点(landmark)，利用MTCNN算法即可获取柜外视频图像中人 脸位置及五官坐标。
(2)人脸特征提取：以人脸位置及五官坐标作为输入，利用mobilefacenet 算法提取得到人脸特征；
本实施例用于进行人脸特征提取的算法为基于深度学习的mobilefacenet 算法，并采用轻量级的MobileNetV2作为主干网络，在最后一层内嵌非全局的 CNN人脸特征层后加入一个全局深度卷积层，取代池化层或全连接层，使得 网络在边缘计算设备能高效运行，利用mobilefacenet算法即可提取得到人脸 特征，获取人脸表征。
(3)人脸识别：将人脸特征与数据库中所存储的多个用户的人脸特征进 行匹配，确定打开柜门的用户的用户身份。
本实施例的人脸识别过程将使用MTCNN算法进行人脸检测确定人脸及 五官在图像中的位置，再将人脸及五官位置信息输入至mobilefacenet算法中 进行特征提取，得到人脸表征，最后将人脸表征信息输入至数据库中进行匹配， 确定人脸身份。
本实施例会提前设置用户角色和使用时间段。当用户身份为不合法(即用 户身份异常，当所识别出的人脸特征无法与数据库中所存储的任一用户的人脸 特征相匹配时，则认为用户身份异常)或者用户身份为合法但打开柜门的时间 不在该用户的预设时间段内(可针对每一用户设定相对应的使用时间段)，则 控制报警器进行报警。即如果用户身份异常或在非允许时间段内打开柜门，边 缘计算设备会控制声光报警模块进行告警，并生成异常告警事件推送给管理人 员，从而可以灵活设置学生角色和使用时间，对于非角色或非时间段内取危险 化学品的行为进行及时报警。
当危险品柜被打开后，利用手部检测算法对层内视频图像进行检测识别， 实时检测手部位置，确定用户手部位置，用户手部每进出第二摄像头对应的电 子围栏一次，视为用户在第二摄像头对应的层完成一次危险化学品的拿取或归 还行为，以初步识别用户产生拿取或归还行为。
S3：当所述用户在所述第二摄像头对应的层完成一次危险化学品的拿取或 归还行为后，将所述第二摄像头对应的层记为目标层，则接收称重模块所采集 的所述目标层中所有所述危险化学品的总重量，对所述目标层的层内视频图像 和所述目标层中所有所述危险化学品的总重量进行分析，确定用户拿取或归还 的危险化学品名称及重量，生成拿取记录或归还记录；所述拿取记录包括用户 身份、拿取时间、拿取的危险化学品名称及重量、拿取过程图片和视频；所述 归还记录包括用户身份、归还时间、归还的危险化学品名称及重量、被使用重 量及出柜时长、归还过程图片和视频。
具体的，S3中，对目标层的层内视频图像和目标层中所有危险化学品的 总重量进行分析，确定用户拿取或归还的危险化学品名称及重量，生成拿取记 录或归还记录可以包括：
(1)利用化学品检测算法对目标层的层内视频图像进行检测识别，确定 目标层中所有危险化学品的总数量及每一危险化学品在图像中的位置；
(2)对于每一危险化学品，根据危险化学品在图像中的位置，截取得到 危险化学品ROI图像，并利用电子标签算法对危险化学品ROI图像进行电子 标签识别，确定危险化学品的名称，得到目标层中每一危险化学品的名称，即 得到目标层内所有的危险化学品的名称；
在将危险化学品放入危险品柜之前，本实施例的管控方法还包括：拍摄用 于盛装危险化学品的容器的多张不同角度的图像，利用电子标签算法对多张不 同角度的图像进行特征提取，得到容器的表征信息，并将容器的表征信息记为 危险化学品的电子标签，从而利用机器视觉分析方法对存柜的危险化学品进行 拍照录入，生成电子标签，并不需要对危险化学品的外包装进行改造或标识。 在生成电子标签后，本实施例利用电子标签算法对危险化学品ROI图像进行 电子标签识别，即可确定危险化学品的名称。
具体的，本实施例所涉及的对盛装危险化学品的容器进行电子标签识别的 电子标签算法采用基于图像检索的Re-identification(ReID)算法，该算法将采用 DenseNet作为主干网络，并利用容器颜色、容器形状、容器盖颜色、容器盖 形状、标签颜色、标签形状等多维信息，设计一个多任务学习的ReID框架。 在危险化学品入柜时，需要拍摄6张容器不同角度的图片：容器顶部、容器底 部及容器4张不同侧面，输入至电子标签算法中，该算法会对这6张图片的关 键信息进行切片，并将切片后的局部特征图及全局特征图进行特征提取，获取 容器的表征信息，完成危险化学品的电子标签采集。在生成电子标签后，本实 施例利用电子标签算法对危险化学品ROI图像进行电子标签识别，得到此时 的特征，与预先采集的特征(电子标签)进行匹配，即可确定危险化学品的名 称。
(3)根据本次用户行为之后的危险化学品信息和本次用户行为之前的危 险化学品信息确定本次用户行为属于拿取行为还是归还行为；所述危险化学品 信息包括目标层中所有危险化学品的总数量、总重量及每一危险化学品的名称；
具体的，如果危险化学品总数量减少则视为拿取事件，即本次用户行为属 于拿取行为，则生成正常的拿取危险化学品记录(拿取记录)，记录内容包括： 用户身份、拿取时间、拿取的危险化学品名称及重量、拿取过程图片和视频等 信息，其中，危险化学品重量等于行为前总重量减去当前总重量；如果危险化 学品总数量增加则视为归还事件，即本次用户行为属于归还行为，则生成正常 的归还危险化学品记录(归还记录)，记录内容包括：用户身份、归还时间、 归还的危险化学品名称、重量、被使用重量及出柜时长、归还过程图片和视频 等信息，其中，被使用重量等于拿取时的重量减去归还时的重量。
作为一种可选的实施方式，如果危险化学品总数量不变但品类(即名称) 不同或危险化学品总数量和品类不变，但总重量变化则视为异常违规事件，边 缘计算设备会控制声光报警模块进行告警，并生成异常告警事件推送给管理人 员。
本实施例所述的柜门检测算法、手部检测算法和化学品检测算法均可以采 用物品检测算法，该物品检测算法将采用单阶段目标检测算法YoloV5，该算 法主要由Mosaic(数据增强)、CSP BackBone(主干网络)、Focus结构(生成 特征图)、Neck(加强网络特征融合的能力)、Bounding Box损失函数、NMS 非极大值抑制单元组成，本实施例将利用YoloV5算法训练一个用于检测危险 化学品、手部和柜门的模型，用于检测识别多种危险化学品、手部和柜门信息。
本实施例将边缘集群技术与机器视觉方法相结合，利用人脸识别技术获取 用户身份信息，并利用深度学习的检测技术和图像检索技术(ReID)完成危险化 学品的拿取/归还行为识别和危险化学品名称识别任务，然后结合称重模块获 取危险化学品的用量信息，形成了危险化学品被使用过程信息的闭环，最后采 用边缘集群技术将所有边缘计算设备进行集群管理和消息汇集，管理人员可以 非常方便清晰地管控校园内所有危险化学品的使用信息，实现智能管控危险化 学品，具有很强的实用性。同时，本实施例采用边缘计算技术，部署灵活轻便， 对现有设备改动较小，可以适用于其他领域的相似场景的管控，也可结合 4G/5G技术进行应用拓展，具有很强的可复制性和拓展性。
本实施例利用边缘集群技术与机器视觉相结合的方法，可拓展性强，适用 范围广，既可适用于单台危险品柜的管控，也可适用于整个学校所有危险品柜 的管控；该管控方法并不仅仅局限于危险化学品的管控，还可以适用于其他领 域的相似场景的管控，也可以结合4G/5G技术进行应用扩展，同时，可根据 用户使用场景的不同，灵活选择是否使用称重模块。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是 与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施 例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的 一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变 之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于边缘集群与机器视觉的危险化学品管控装置，其特征在于，所述管控装置包括处理器、第一摄像头、多个第二摄像头和多个称重模块；所述处理器与所述第一摄像头、所述第二摄像头和所述称重模块通信连接；
所述第一摄像头安装于危险品柜外；所述第一摄像头用于采集所述危险品柜外部的柜外视频图像；所述危险品柜用于放置危险化学品；
所述危险品柜内的每一层均安装有一所述第二摄像头和一所述称重模块；所述第二摄像头用于采集其所对应层的层内视频图像；所述称重模块用于采集其所对应层中所有所述危险化学品的总重量；
所述处理器用于根据所述柜外视频图像、所述层内视频图像以及所述总重量生成拿取记录或归还记录；所述拿取记录包括用户身份、拿取时间、拿取的危险化学品名称及重量、拿取过程图片和视频；所述归还记录包括用户身份、归还时间、归还的危险化学品名称及重量、被使用重量及出柜时长、归还过程图片和视频。
2.根据权利要求1所述的管控装置，其特征在于，所述管控装置还包括报警器；所述报警器与所述处理器通信连接；所述报警器用于报警。
3.根据权利要求1所述的管控装置，其特征在于，所述处理器为边缘计算设备；所述边缘计算设备包括相互通信的客户端和服务端。
4.根据权利要求3所述的管控装置，其特征在于，每一所述危险品柜对应一所述边缘计算设备；多个所述边缘计算设备的服务端基于MQTT通信协议相通信，组成边缘集群。
5.一种基于边缘集群与机器视觉的危险化学品管控方法，利用权利要求1-4任一项所述的管控装置进行工作，其特征在于，所述管控方法包括：
接收第二摄像头所采集的层内视频图像，利用柜门检测算法对所述层内视频图像进行检测识别，判断危险品柜的柜门是否被打开；
若是，则接收第一摄像头所采集的柜外视频图像，对所述柜外视频图像进行人脸识别，确定打开柜门的用户的用户身份；同时利用手部检测算法对所述层内视频图像进行检测识别，确定用户手部位置；用户手部每进出所述第二摄像头对应的电子围栏一次，视为用户在所述第二摄像头对应的层完成一次危险化学品的拿取或归还行为；
当所述用户在所述第二摄像头对应的层完成一次危险化学品的拿取或归还行为后，将所述第二摄像头对应的层记为目标层，则接收称重模块所采集的所述目标层中所有所述危险化学品的总重量，对所述目标层的层内视频图像和所述目标层中所有所述危险化学品的总重量进行分析，确定用户拿取或归还的危险化学品名称及重量，生成拿取记录或归还记录；所述拿取记录包括用户身份、拿取时间、拿取的危险化学品名称及重量、拿取过程图片和视频；所述归还记录包括用户身份、归还时间、归还的危险化学品名称及重量、被使用重量及出柜时长、归还过程图片和视频。
6.根据权利要求5所述的管控方法，其特征在于，所述利用柜门检测算法对所述层内视频图像进行检测识别，判断危险品柜的柜门是否被打开具体包括：
利用柜门检测算法对所述层内视频图像中的柜门进行检测识别，确定柜门位置坐标；
将所述柜门位置坐标与预设的柜门关闭位置坐标进行对比，若所述柜门位置坐标与所述预设的柜门关闭位置坐标相同，则危险品柜的柜门未被打开；否则，则所述危险品柜的柜门被打开。
7.根据权利要求5所述的管控方法，其特征在于，所述对所述柜外视频图像进行人脸识别，确定打开柜门的用户的用户身份具体包括：
利用MTCNN算法对所述柜外视频图像进行人脸检测，得到打开柜门的用户的人脸位置及五官坐标；
以所述人脸位置及五官坐标作为输入，利用mobilefacenet算法提取得到人脸特征；
将所述人脸特征与数据库中所存储的多个用户的人脸特征进行匹配，确定打开柜门的用户的用户身份。
8.根据权利要求5所述的管控方法，其特征在于，所述对所述目标层的层内视频图像和所述目标层中所有所述危险化学品的总重量进行分析，确定用户拿取或归还的危险化学品名称及重量，生成拿取记录或归还记录具体包括：
利用化学品检测算法对所述目标层的层内视频图像进行检测识别，确定所述目标层中所有所述危险化学品的总数量及每一所述危险化学品在图像中的位置；
对于每一所述危险化学品，根据所述危险化学品在图像中的位置，截取得到危险化学品ROI图像；并利用电子标签算法对所述危险化学品ROI图像进行电子标签识别，确定所述危险化学品的名称，得到所述目标层中每一所述危险化学品的名称；
根据本次用户行为之后的危险化学品信息和本次用户行为之前的危险化学品信息确定本次用户行为属于拿取行为还是归还行为；所述危险化学品信息包括所述目标层中所有所述危险化学品的总数量、总重量及每一所述危险化学品的名称；
若本次用户行为属于拿取行为，则生成拿取记录；
若本次用户行为属于归还行为，则生成归还记录。
9.根据权利要求5或8所述的管控方法，其特征在于，在将危险化学品放入危险品柜之前，所述管控方法还包括：
拍摄用于盛装危险化学品的容器的多张不同角度的图像；
利用电子标签算法对所述多张不同角度的图像进行特征提取，得到容器的表征信息，并将所述容器的表征信息记为所述危险化学品的电子标签。
10.根据权利要求5所述的管控方法，其特征在于，当所述用户身份为不合法或者所述用户身份为合法但打开柜门的时间不在预设时间段内，则控制报警器进行报警。
CN202210534199.0A 2022-04-12 2022-05-17 基于边缘集群与机器视觉的危险化学品管控装置及方法 Pending CN115393753A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2022103776447 2022-04-12
CN202210377644 2022-04-12

Publications (1)

Publication Number Publication Date
CN115393753A true CN115393753A (zh) 2022-11-25

Family

ID=84115701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210534199.0A Pending CN115393753A (zh) 2022-04-12 2022-05-17 基于边缘集群与机器视觉的危险化学品管控装置及方法

Country Status (1)

Country Link
CN (1) CN115393753A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118068732A (zh) * 2024-01-10 2024-05-24 耀客明道物联网(武汉)有限公司 一种可变式危险源安全管控系统及危险源安全管控方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118068732A (zh) * 2024-01-10 2024-05-24 耀客明道物联网(武汉)有限公司 一种可变式危险源安全管控系统及危险源安全管控方法

Similar Documents

Publication Publication Date Title
US10812761B2 (en) Complex hardware-based system for video surveillance tracking
EP3279700B1 (en) Security inspection centralized management system
CN110428522A (zh) 一种智慧新城的智能安防系统
Zhou et al. Activity analysis, summarization, and visualization for indoor human activity monitoring
US9754630B2 (en) System to distinguish between visually identical objects
Alshammari et al. Intelligent multi-camera video surveillance system for smart city applications
CN109903414A (zh) 一种基于物联网监控办公考勤控制系统及方法
CN103260015A (zh) 基于RGB-Depth摄像头的三维可视监控系统
CN110490126B (zh) 一种基于人工智能的保险柜安全管控系统
CN110197158B (zh) 一种安保云系统及其应用
KR20200052418A (ko) 딥러닝 기반의 자동 폭력 감지 시스템
CN110740298A (zh) 分布式教室违纪行为检测系统、方法及介质
CN109117771B (zh) 一种基于锚节点的图像中暴力事件检测系统及方法
CN115223246A (zh) 一种人员违规行为识别方法、装置、设备及存储介质
Casado et al. Multi‐agent system for knowledge‐based event recognition and composition
CN115393753A (zh) 基于边缘集群与机器视觉的危险化学品管控装置及方法
Li et al. Evaluation of an ivs system for abandoned object detection on pets 2006 datasets
CN113920660B (zh) 适用于安全存储设备的安全监控方法及系统
CN109977856B (zh) 一种多源视频中复杂行为识别的方法
CN111277789A (zh) 基于视频的社区安防方法、装置、电子设备及存储介质
Huu et al. Detecting Abnormal and Dangerous Activities Using Artificial Intelligence on The Edge for Smart City Application
CN117275156B (zh) 无人值守共享棋牌室预定系统
Gorodnichy et al. Recognizing people and their activities in surveillance video: technology state of readiness and roadmap
Durairaj et al. AI-driven drowned-detection system for rapid coastal rescue operations
KR102662251B1 (ko) 인공지능 기반의 치매 환자 추적 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination