CN110046566A - 一种基于图形识别及物联网技术的实验室智能物料柜 - Google Patents

Abstract

本申请涉及一种基于图形识别及物联网技术的实验室智能物料柜。实验室物料柜是一款适合实验室场景的智能物料管理系统，是实验室存放各种试剂耗材的物理柜体，本发明专利披露的物料管理及识别方法以及物料存放管理系统，可以实现实验室复杂物料的智能化﹑便捷化管理，为物料的分类﹑储存﹑管理及跟踪提供系统解决方案。通过结合大数据可进一步实现物料的动态实时管理及监控，解决试剂物料储存，监管及流转过程中的痛点问题，同时具有经济可行﹑稳定可靠及功能多样的特点。

Description

一种基于图形识别及物联网技术的实验室智能物料柜

技术领域

本发明涉及人工智能、视觉识别及物联网领域，公开了一种适用于实验室物料柜的物料管理及识别手段、工作原理，以及基于此技术的智能物料柜。

背景技术

随着人类社会发展，研究开发作为现代社会创新驱动的推动力，在经济生活中的重要性及比重也在不断提升。由于社会生产力的快速增长，现代研究的不断交叉融合，现代实验室使用的物料种类及数量在飞速增长，据估算，普通实验室物料试剂均在百种以上，部分合成型化学实验室，物料种类可达数千种。针对大型的物料仓储，已经有了非常现代化信息化的实时物料管理系统。在现有实验室中，物料的管理还依靠传统的手工记账簿，手工记账簿在面临物料种类几何倍数增长的今天显得苍白无力；另一方面公安部门需要加强对危险化学品的监管和管制，相关物料管理系统的缺乏导致了严重的供需矛盾和社会安全问题。由于公安部门的管制，许多试剂及样品流通困难，造成了研究人员研究困难，同时，实验室内物料管理混乱，试剂物料浪费现象突出，造成了资源浪费环境污染，同时还带来了各种安全隐患。由于实验室大量堆放各种试剂物料，疏于管理及防范，导致安全事故频发危及人员及财产安全，近年来这一现象更是有集中爆发的趋势，造成的后果也日益严重。随着计算机及信息技术的发展，LIMS系统的诞生使得试剂耗材的储存管理得以信息化，一定程度上取代了传统手工记账方式。然而现有的信息化试剂管理系统仍然存在以下诸多问题：1.仍然需要人工操作进行试剂的查找、定位、记账及库存管理；2.信息化管理系统通常只管理控制试剂信息，难以对试剂物料的物理存在进行管理；3.市面上最先进的实验室物料管理系统中，信息化系统及物料储存系统为分体式设计，成本高，价格贵，使用成本高。同时，由于实验室内人员众多，使用过程中疏忽错漏无法避免，无法根本性的解决实验室试剂管理过程中出现的各种问题；4.需要使用特定的信息终端对试剂物料进行取用及管理，给使用者带来极大的不便。

发明内容

本发明的目的在于为实现实验室复杂物料的智能化，便捷化管理，提供能满足物料分类﹑储存﹑管理及跟踪功能的储存模块。通过进一步结合个人终端及大数据实现物料的动态实时管理及监控，解决试剂物料储存，监管及流转过程中的痛点问题，实现物料利用最大化，大幅降低实验室物料库存，有效避免试剂物料流转使用过程中的各种潜在危险。

本发明实施方式提供了对实验室智能物料柜的物料仓中物料进行识别、跟踪及检测的手段及方法，具有经济可行﹑稳定可靠及功能多样的特点(图1)。

本发明实施方式中的实验室智能物料柜的柜机由以下部分组成(图2)：主机(1)，摄像头(2)，显示屏(3)，抽屉式储物盒(4)，外壳骨架(5)，指纹或其它身份识别模块 (6)，气氛控制模块(7，选配)，通风系统(8)；

本发明的实施方式中的储物模块为标准化设计的抽屉式储物盒(图3)，具有4-10种内部规格，具有相同的外框长度及宽度，抽屉式储物盒内部具有矩阵式结构的物料仓(44)，每个物料仓的大小一致。

本发明实施方式中物料仓由横竖的隔板(43)构成，隔板的顶部具有与隔板本体不同的颜色；储物盒具有与柜体成比例的高度，用户可以根据自己的需要进行多种随意搭配组合。

本发明的实施方式中储物模块底部具有MCU芯片(41)、重量传感器(42)、指示器(45)及电子锁(46)，分别用来处理收发信息指令，指示位置，跟踪物料重量及控制物料的取用。

本发明实施方式中硬件部分还包括摄像头模组，用于获取待检测图片；图片处理芯片，用于摄像头端传输的待检测图片，采用预设的各个形状样本，分别对摄像头端发送来的图片进行定位，通过与内部样本进行对比，获得相应的定位结果以及置信度，获得相应的图形识别结果；主机端，用于处理图片处理芯片发送过来的相关图形处理结果，并按预设程式对物料仓的储存进行相应反馈及处理。

本发明的实施方式中物料柜上可配有指纹识别、面部识别、密码锁及其它身份识别，以增加物料取用时的安全性，同时实现物料取用的多重监管；物料柜还可以配备多重防护及解锁装置，以进行多重监管。

本发明实施方式中摄像头安装在物料柜的顶部，可以拍摄到下方所有的抽屉式储物盒的全景。

本发明实施方式中具备专门的图像识别算法，可以自动分析摄像头拍摄到的抽屉式储物盒图片，并根据预设参数对图片进行分析，识别储物盒中每个物料仓的位置。

本发明实施方式中物料仓中物料顶部可以贴有相应物料的标签，图形算法可以自动分析并读取单个物料的标签信。

本发明实施方式中摄像头获取物料仓图片后，图像识别算法按照设定方式对原始图片截取相应区域，并采用预设坐标回归，与库中已有图形进行图形。在匹配图形成功后，按照坐标回归包含的形状样本，对采集得到的图形进行边框处理，对相应物料仓编号并进行定位。

本发明实施方式中图像中物料仓定位和处理完毕后，还将进一步计算所述定位结果与事先存储的资料图片的相似度，将所述相似度作为所述置信度，或者对所述相似度进行误差处理，并将处理结果作为所述置信度。将置信度最高的数值反馈给主机作为图形识别结果，以确定物料仓中是否有物体，物体是否位为动作发生前物体。

本发明实施方式中图像识别算法可以通过对比库中已有可能的干扰项资料(诸如身体部位，衣服等)，去除其它非物料仓物体对图形识别的干扰。

本发明的实施方式中主机系统包括摄像头模组，用于获取待检测图片；图片处理芯片，用于摄像头端传输的待检测图片，采用预设的各个形状样本；微机处理芯片，用于处理图片处理芯片﹑储物盒MCU芯片﹑通讯芯片发送的消息指令，并按预设程式进行处理并将处理结果发送到相应模块；显示器单元，用于展示柜机运行状态，物料状态，通知信息等信息。

本发明实施方式中物料通过贴有相应的二维码标签或RFID标签以进行信息化管理或跟踪。

本发明实施方式中用户可通过终端设备(包括手持式计算机、网络家电、智能手机、平板电脑、笔记本电脑、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备、或者数据处理设备中的任何两个或多个的组合)及相应的用户界面系统进行物料的管理和使用。

本发明实施方式中智能物料柜和终端设备都连接到云端系统，通过云端系统进行数据及指令的交互，实现对物料的管理、监控及跟踪。

本发明实施方式中图像识别算法包含云端图形识别模块，主机单元将获取的经本地图形识别算法处理后，可进一步上传至云端，通过计算采集得到的试剂耗材图片资料结果与云端试剂耗材图片的相似度，将所述相似度作为置信度，或者对所述相似度进行误差处理，将置信度最高的数值反馈给云端服务器作为图形识别结果。通过调取库中图片对应的试剂耗材的种类、品牌、规格等相关信息，从而获取得到该图片对应试剂耗材的相关信息，并将其下发本地主机单元。

本发明实施方式中当发现有物料变化或其它动作时，可以自动向主机发送指令信息，并由主机自动执行相关的后续操作或指令，以完成智能物料柜的各种功能。

附图说明

图1：为本发明所涉及的物料识别系统结构图，对物料识别系统的运行逻辑进行了阐明。

图2：为本发明所涉及的智能物料柜的结构示意图，对智能柜及物料仓的结构进行了说明。

图3：为本发明所涉及的抽屉式储物盒结构图，对储物盒的结构进行了阐明。

具体实施方案

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚地描述。所描述的实施例是本发明一部分实施例，对本发明的实施加以例证和阐述，以使本领域的技术人员能实现或实践本发明，而不是全部的实施例，相关研究领域的人员根据本发明的基本思想做出的改进或变动，均在本发明范围之内。在适当之处为避免混淆，本说明将忽略本领域技术人员已知的一些信息。

本发明实施方式中，物料柜包含以下组成部分：主机，摄像头，指纹或其它身份识别模块，抽屉式储物盒，显示屏，骨架外壳，通风系统，气氛控制模块(选配)等。

本发明实施方式中，储物柜是通过抽屉式储物盒垂直堆叠构成(图2)，抽屉式储物盒具有4-10种内部规格，但均具有相同长度及宽度，长45-65cm，宽35-55cm。

本发明实施方式中，骨架外壳顶部上沿具有凸起结构，用来安装摄像头及照明部件，顶部面板可安装显示屏等其它模组，下部用来安装抽屉式储物盒及气氛控制模块，靠后方具有通风管道系统。

本发明实施方式中，物料柜后部配有通风管路，可接入实验室抽风系统。最底部的储物盒可选配温度控制或其它气氛控制模块。

本发明实施方式中，抽屉式储物盒内部具有矩阵式结构的物料仓(图3)，每个物料仓的大小一致，为正方形结构，物料仓的边长为15cm-1cm。

本发明实施方式中，物料仓由横竖的隔板构成，隔板厚度为3-10mm,隔板的顶部具有与隔板本体不同的颜色，以便于后期图形处理。

本发明实施方式中，物料柜的顶部装有一个摄像头，该摄像头距离第一级储物盒的距离视摄像头的广角度数而定，优选120°广角镜头，此时镜头距第一级储物盒距离为20-35cm，可以拍摄到下方所有的抽屉式储物盒的全景。

本发明实施方式中，摄像头模块输出数据由配套图形处理芯片，图形处理芯片与上位机连接。

本发明实施方式中，图形处理芯片内嵌一套特定图像识别算法，可以自动分析摄像头拍摄到的抽屉式储物盒图片，可识别储物盒中每个物料仓的位置及编号，并实时将所有信息反馈给上位机。

本发明实施方式中，物料柜的顶部具有一个显示屏，可以展示相关信息，通知消息等相关信息。

本发明实施方式中，抽屉式储物盒底部具有MCU芯片、指示器、重量传感器及电子锁，分别用来处理收发信息指令，指示位置，跟踪物料重量及控制物料的取用(图3)。

本发明实施方式中，抽屉式储物盒的物料矩阵有对应的指示器单元，用来指示使用者快速的获取所需物料，该指示器单元由MCU根据主机下发指令控制。

本发明实施方式中，MCU模组包含一套单片机处理芯片，用来进行数据的采集、处理以及与主机之间信息和指令的收发。

本发明实施方式中，MCU模组连接多个指示器，可对指示器进行控制；连接重量传感器，并可以进行重量信息的采集处理，通过内嵌算法可以实现对应物料重量的准确读取；可连接身份识别模组、电子锁及控制器等拓展单元，以实现智能物料柜的物料控制及用户管理。

本发明实施方式中，物料的通过电子锁进行权限控制，用户可通过使用指纹模块，面部识别，密码键盘，个人终端授权等多种方式对物料进行取用管理，通过系统的账号及身份系统可以方便的进行取用的控制及跟踪，并记录使用的相关信息以供查阅和跟踪管理，相关信息包括：何时何人取用何种物料，使用量，归还时间等。

本发明实施方式中，物料仓中物料顶部可以贴有相应物料的标签，图形算法可以自动分析并读取单个物料的标签信息。

本发明实施方式中，图像识别算法可以对摄像头采集的储物盒图片进行截取及对比分析，可识别储物盒中每个物料仓的位置及编号；

本发明实施方式中，通过对物料顶部的标签进行读取，可以判断物料位置是否正确；

本发明实施方式中，算法附带有试剂耗材历史图像资料库，通过计算现有采集结果与历史存储的资料图片的相似度，可确定物料仓中是否有物体，物体是否为动作发生前物体；

本发明实施方式中，算法通过对比分析物料仓中物料是否为之前物料，可对物料进行追踪，感知物料的放入及取出，判断是否误放误取。

本发明实施方式中，通过对物体包装外观图像进行分析，可判断物料包装的体积容量。

本发明实施方式中，图形处理芯片与上位机按内部协议进行通讯，当算法计算发现物料仓中有物料状态变化或其它动作时，向主机发送相应的指令信息反馈相关状态结果，由主机根据内部程式自动执行后续操作或指令，以完成智能物料柜的各种功能。

本发明实施方式中，储物柜包含一套云端系统，云端系统储存有储物柜中的物料信息，厂家物料数据库，物料资料图片库，监管信息及管理信息。

本发明实施方式中，主机单元将获取的经物料仓图片上传至云端，通过与云端图片数据库中试剂耗材图片进行相似度计算，将所述相似度作为置信度，或者对所述相似度进行误差处理，将置信度最高的数值反馈作为图形识别结果，从而对试剂耗材的种类、品牌、规格等相关信息进行获取，并将其下发本地主机单元。

本发明实施方式中，MCU单元、摄像头、图形处理单元、显示屏及身份识别模块与主机连接，主机通过通讯系统与云端连接，使用者的个人终端通过云端或直连与物料柜连接，从而对物料柜进行控制使用，MCU单元、主机、云端及个人终端通过与相应的软件系统匹配以承担不同的计算任务及功能，MCU单元与主机之间进行双向通讯，可进行信息及指令的收发，主机与云端、个人终端与云端之间也为双向通讯，可进行信息及指令的收发。

本发明实施方式中用户可通过终端设备(包括手持式计算机、网络家电、智能手机、平板电脑、笔记本电脑、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备、或者数据处理设备中的任何两个或多个的组合)及相应的用户界面系统对物料柜进行控制，从而对物料进行管理和使用。

本发明实施方式中，主机系统通过内置的驱动程序可以满足物料柜的各种设计功能，实现数据在各相关模块间的交互，命令及相关运算的执行，信息的储存。

本发明实施方式中，云端系统可以实现个人终端与物料柜之间信息的交互，指令的下发及信息的反馈，数据的统计及分析，物料的数据化监管及控制，海量试剂物料信息的储存及图形识别比对。

Claims (10)

1.一种适用于实验室及类似使用环境的智能物料柜及物料的识别、跟踪及检测的方法，由相应的软硬件组成，其特征在于硬件部分包括：主机(1)，摄像头(2)，显示屏(3)，抽屉式储物盒(4)，指纹或其它身份识别模块(5)，外壳骨架(6)，空气控制模块(7)，通风系统(8)；软件部分包括：MCU模组，图形处理系统，物料仓及物料图像识别算法，主机系统及云端系统。

2.如权利要求1所述，智能物料柜由软硬件有机结合组成，其特征在于物料的识别由图形处理系统及物料仓及物料图像识别算法完成，图形处理系统及物料仓及物料图像识别算法可以判断指令位置是否有物料，为何种物料；物料的检测、跟踪由抽屉式储物盒(4)及云端系统完成；MCU单元、摄像头、图形处理单元、显示屏及身份识别模块与主机连接，主机通过通讯系统与云端连接，使用者的个人终端通过云端或直连与物料柜连接以对物料柜进行控制及使用，MCU单元与主机、主机与云端、个人终端与云端之间为双向通讯，可进行信息及指令的收发。

3.如权利要求1所述，主机(1)单元其特征在于，主机(1)为微型计算机系统，具有能满足物料柜各项设计功能需求的驱动程序、通讯模组及计算硬件资源；显示屏(3)其特征在于，为系统监视及信息展示端口，可以为用户呈现相关数据及信息；指纹或其它身份识别模块(5)其特征在于，用来识别用户的身份，判断用户是否具有相应物料的使用权限，以对主机发出相应指令，开启物料柜及储物盒的电子锁；外壳骨架(6)其特征在于，为框架模块化设计，两侧具有龙骨结构，从上至下分别安装四个主要组成部分：外壳顶部上沿具有凸起结构以安装摄像头及照明部件，上部用来安放主机、显示器及通讯单元，主体部分用来安装储物盒，下部可安装储物盒或者气氛控制单元；空气控制模块(7)其特征在于，用来控制物料柜内温度、湿度、空气成分组成等参数的控制模块。

4.如权利要求1所述，MCU模组其特征在于，包含一套单片机处理芯片，用来进行数据的采集、处理以及与主机之间信息和指令的收发；连接多个指示器，并可对指示器进行控制；连接重量传感器，并可以进行重量信息的采集处理，通过内嵌算法可以实现对应物料重量的准确读取；可连接身份识别模组、电子锁及控制器等拓展单元，以实现智能物料柜的物料控制及用户管理；可以接受主机(1)发送的各种相关指令，控制相关指示器、电子锁及传感器单元，同时可以将相关元器件采集的数据按指令格式上传主机。

5.如权利要求1所述，云端系统其特征在于，可以实现个人终端与物料柜之间信息的交互，指令的下发及信息的反馈，实现智能柜的控制、管理、报表、分组及操控功能，数据的统计及分析，物料的数据化监管及控制，海量试剂物料信息的储存及图形识别比对，物料的调配及库存统计等功能。

6.一种抽屉式储物盒，抽屉式储物盒(4)其特征在于，为存放物料的物理实体，用来对物料进行实体放置、管理、跟踪及定位，抽屉式储物盒具有4-10种内部规格，具有相同的外观整体长度及宽度，长45-65cm，宽35-60cm，高度与物料柜成比例；内部为矩阵式物料仓(44)，通过隔板(43)分隔形成，具有多种标准尺寸规格；物料仓底部为底板(47)，用来支持承重及安放传感器，储物模块底部具有MCU模组(41)、重量传感器(42)、指示器(45)及电子锁(46)。

7.如权利要求6所述，物料仓其特征在于由横竖的隔板构成，隔板厚度为3-10mm，隔板顶部可以具有不同的颜色或花纹每个物料仓的大小一致，为方形或圆形结构，物料仓的边长为15cm-1cm，每个储物盒中的物料仓具有身份标识编号，并可以通过对应的指示器指示储物盒内对应物料仓，物料仓(44)的隔板(43)顶部具有与隔板本体不同的颜色或花纹。

8.一种基于图像识别算法的物料检测跟踪系统，其特征在于，该系统由摄像头(2)、图形处理芯片、本地图形识别算法和云端图形识别算法组成，能够通过图形算法自动对物料仓中物料进行追踪监控，通过主机与MCU模组上传信息。

9.如权利要求8所述，摄像头(2)其特征在于能拍摄到物料柜所有抽屉式储物盒(4)的全景照片，照片经主机的图形算法分析后可以对物料仓(44)及物料进行分析定位和跟踪；图形处理单元其特征在于，用于处理摄像头上传的待检测图片，可按照预设程式对图片数据进行运算处理。

10.如权利要求8所述，本地图形识别算法，其特征在于，该算法基于内建数据库及预设参数对摄像头(2)采集的储物盒图片进行截取及对比分析，可识别储物盒中每个物料仓的位置及编号；通过对物料顶部的标签进行读取，可以判断物料位置是否正确；算法附带有试剂耗材历史图像资料库，通过计算现有采集结果与历史存储的资料图片的相似度，可确定物料仓中是否有物体，物体是否为动作发生前物体；通过对物体包装外观图像进行分析，可判断物料包装的体积容量；云端图形算法其特征在于，主机(1)单元将获取的经物料仓图片上传至云端，通过与云端图片数据库中试剂耗材图片进行相似度计算，将所述相似度作为置信度，或者对所述相似度进行误差处理，将置信度最高的数值反馈作为图形识别结果，从而对试剂耗材的种类、品牌、规格等相关信息进行获取，并将其下发本地主机单元。