CN112215195A

CN112215195A - 一种箱柜内物品存取监控记录方法和系统

Info

Publication number: CN112215195A
Application number: CN202011151116.7A
Authority: CN
Inventors: 张益�
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-10-25
Filing date: 2020-10-25
Publication date: 2021-01-12

Abstract

本发明公开了一种箱柜内物品存取监控记录系统，包括拍照设备、AI边缘计算设备和监控记录软件，存取物品前，通过监控记录软件提供的服务接口，输入本次需要存放和取出的物品种类和数量，在将物品从箱柜里取出后，需要将取出物品暂停移动片刻，等待所述监控记录软件采集照片，识别照片中的取出物品种类和数量，在将物品放入箱柜前，需要将待存放物品暂停移动片刻，等待所述监控记录软件采集照片，识别照片中的待存放物品种类和数量，本发明有助于提升重要物品存取监控录像的智能化水平和安全管理水平，辅助预防物品存取差错。

Description

一种箱柜内物品存取监控记录方法和系统

技术领域

本发明涉及箱柜内物品存取监控记录，特别是保险柜、保管箱或寄存箱内的物品存取记录，人工智能技术之计算机视觉应用。

背景技术

术语说明：

1.箱柜，指存放重要或贵重物品的保险柜、存放特定物品的保险柜如枪柜、或用于存放寄存物品的寄存箱；

2.寄存箱，将重要物品或贵重物品，放入寄存箱并上锁，然后将寄存箱送到金库或保险柜寄存，寄存托管方仅对寄存箱本身安全负责，只要寄存箱上的锁或寄存箱本身未被破坏，寄存托管方不对寄存箱里面存放物品的安全负责。

企业或组织，对于重要或贵重物品，一般保管在保险柜中，比如银行业、珠宝业，这些物品的存取，都有严格的存取管理制度，对于存放特别重要或贵重物品的保险柜，还会在保险柜旁安装监控摄像头，对存取操作过程进行监控并录像备查。

在银行业，一些由柜台使用的重要物品如有价单证、印章、现金等，下班前，由员工装入寄存箱，上锁后由押运公司送到金库寄存，第二天再由押运公司送回，这些寄存箱在寄存前物品的放入，或上班前从金库取回时开箱取出寄存箱内物品并进行核对，一般要求双人操作，并在监控摄像头下进行。

目前这种对重要物品存取操作的监控录像，更多的是用于备查，即出问题或出错时调出录像查看和核对，图像信息并没有被量化，比如：取出或放入什么类型的物品、数量是多少，虽然这些物品的存取有专门的记录台账，但如果能使用计算机视觉技术，将存取的物品类型和数量识别记录，不仅可以有效提升监控摄像的智能化水平和安全管理水平，也能起到辅助核对，防止差错的作用。

发明内容

本发明所要解决的问题：

设计一个箱柜内物品存取监控记录系统，使用计算机视觉技术，识别并记录存放或取出物品的种类和数量，提升重要或贵重物品存取监控摄像智能化水平和安全管理水平。

为解决上述问题，本发明采用的方案如下：

根据本发明的一种箱柜内物品存取监控记录方法，该方法涉及拍照设备、AI边缘计算设备、监控记录软件，所述AI边缘计算设备连接到所述拍照设备，所述监控记录软件安装在所述AI边缘计算设备上，所述拍照设备安装在箱柜旁能拍摄物品存取操作的位置，或安装在可以拍摄物品存取操作的办公区域上方。

进一步，存取物品前，需要通过所述监控记录软件提供的服务接口，输入本次需要存放和取出的物品的种类和数量；存取物品人员，在存取物品前，需要确保拍照设备能拍摄到存取物品操作过程。

进一步，物品存取人员，在将物品从箱柜里取出后，需要将取出物品暂停移动片刻，等待所述监控记录软件采集照片，识别照片中的取出物品种类和数量，通过对外服务接口输出识别结果和比对结果。

进一步，物品存取人员，在将物品放入箱柜前，需要将待存放物品在拍照设备前暂停移动，等待所述监控记录软件采集照片，识别照片中的待存放物品种类和数量，通过对外服务接口输出识别结果和比对结果。

进一步，为确保存放物品操作的安全性，每一次待存放物品识别完成后，存放物品人员需要尽快将物品放入箱柜内，与此对应，每一次待存放物品识别完成后，所述监控记录软件，将从所述拍照设备采集视频，作为待存放物品放入箱柜内的备查证据，当视频中不在检测到本次识别的所有待存放物品时停止采集。

进一步，所述监控记录软件会按预定的流程切换当前工作任务，在收到需要存取的物品种类和信息后，会自动切换当前任务为监控记录取出物品，拍到的照片会认为是已取出物品，所有取出物品监控记录完成后，又会自动切换当前任务为监控记录存放物品，此时拍到照片会被认为是待存入物品照片。

进一步，为确保系统在实务中能有效工作，物品存放人员可以通过预先设定的手势，控制监控记录软件切换当前工作任务，包括暂停监控记录、启动记录存放物品、启动记录取出物品、重新导入待存放物品种类和信息。

进一步，为确保系统在实务中能有效工作，对于当前目标检测模型暂时不能识别的物品，通过在物品外部悬挂吊牌的临时方式解决识别问题，所述监控记录软件通过OCR技术识别吊牌上的文字信息，作为该类物体种类，同时，将对当前使用的目标检测模型进行调优训练，更新模型数据，使其支持该物品的检测。

本发明的技术效果如下：

1、应用计算机视觉技术，提升了重要物品存取过程监控摄像的智能化水平，在银行业、珠宝业将显著提升安全管理水平；

2、存取过程中的操作过程被量化记录，通过和计划存取记录核对，可以辅助防止存取差错。

附图说明

图1是本发明系统的整体结构示意图。

具体实施方式

下面结合附图对本发明做进一步详细说明：

如图1所示，本发明的一种箱柜内物品存取监控记录系统，包括拍照设备 100、AI边缘计算设备 200 、监控记录软件 300 和箱柜 400，AI边缘计算设备 200 连接到拍照设备100 ，监控记录软件 300 安装在AI边缘计算设备 200 上。

拍照设备 100 的安装，有多种方式，对于保险柜来说，可以固定方式安装在保险柜门对面，能拍摄到存取操作过程即可，对于寄存箱来说，拍照设备 100 安装在能监控寄存箱物品装箱和取出的操作区域顶部即可，根据实际情况，拍照设备 100 可以非固定方式部署，即在需要时才安装在可以拍摄存取物品操作的位置。

拍照设备100的设计与实现：

拍照设备100 市场上有很多选择，本发明中使用网络监控摄像头，实际上，银行业、珠宝行业当前在用的监控摄像头，只要像素满足，基本是可以直接使用的。

AI边缘计算设备 200 ，市场上可供选择的产品也比较多，选型时主要考虑和采用AI计算框架或商业公司提供的计算机视觉SDK适配，支持IPC网络摄像机通讯协议，本领域工程师了解，市场上也有将拍摄设备100 和 AI边缘计算设备 200 集成在一起的硬件产品，也可选用。

监控记录软件 300 安装在边缘计算设备 200 中，主要包括以下功能模块：

1、对外接口服务模块：网络服务方式提供的服务，用于外部应用传入本次需要监控的待存取物品类别和数量信息，接口调用上，可以外部应用发起调用以被动方式接收所述物品类别和数量信息，也可以主动发起调用外部应用提供的接口，下载所述物品类别和数量信息，另外还包括对外输出监控记录结果和比对结果；

2、相机控制模块：和拍摄设备 100 交互，主要包括拍照参数设置、采集视频、拍照并采集照片；

3、计算机视觉模块：主要包括目标检测和OCR识别功能，本发明中使用开源AI框架，目标检测模型数据，主要使用需要检测的物品图片，加上数据标后进行训练，在新的寄存物品出现后，需要训练新的模型并更新模型数据，OCR识别功能，主要用于识别存取物品或吊牌的文字；

4、存取物品检测与记录：主要包括待存取物品的照片采集、存取过程的视频采集、根据当前流程步骤识别存取物品的种类和数量信息，和本次待存取物品的种类和数量信息进行对比，输出识别记录结果和对比结果。

存取物品准备说明，对于存取前，需要加外盒、加外包装的物品，比如：印章、清点好的现钞，如果需要更详细的信息，可以在外盒或外包装上标注文字，比如印章盒可以有编号标贴、清点好的现钞可以手写或加盖一个标记面额的数字，这样便于监控记录软件300在目标检测完成后，通过OCR识别取得该物品更详细的信息。

监控记录软件300 的工作过程控制与任务说明，监控记录软件 300 会定时从拍照设备 100 采集照片，并对照片的内容进行识别，并根据识别结果执行相应逻辑：

1、当检测到物品存取人员手势时，根据预设手势切换当前工作任务：预设手势包括暂停监控记录、启动记录存放物品、启动记录取出物品、重新导入待存放物品种类和数量；本发明中，使用5个手指全打开的手势表示暂停监控、仅大拇指打开手势表示启动记录取出物品，大拇指和食指打开的手势表示启动记录存放物品，两个拳头表示重新导入存取物品种类和数量；

2、存取物品目标检测与识别过程说明：在工作状态下，监控记录软件 300 ，会连续从拍照设备100 连续采集照片，对照片中的内容进行目标检测，通过连续照片中的目标位置坐标值比较，判断当前照片中的目标是否暂时静止，当检测到照片中的物品暂时静止后，开始对检测到的每个目标进行后续处理：如果是临时吊牌，使用OCR识别吊牌上的文字作为分类，否则再尝试对每一目标图像区域内的图像进行OCR文字识别，如果识别成功，使用识别的文字作为该物品的二级补充说明信息，识别完成后，将首先保存识别结果，如果当前任务是监控记录取出物品，将识别结果和收到的待取出物品比对，如果当前任务是监控记录存放物品，将识别结果和收到的待存放物品比对，通过对外输出接口输出识别结果和对比结果。

对于物品存放来说，确认物品被放入箱柜内，是安全监控的一件重要事情，理论上，可以使用移动目标跟踪监控物品被放入箱中，但这样对物品人员操作有严格要求，也可能需要加装独立的拍照设备 100 ，以保证拍照视角能满足移动目标跟踪要求；从实务的角度，在本发明中，通过采集存放物品录像片段的方式，作为备查手段，即在一次待存放物品识别完成后，开始采集录像，直到录像中检测不到本次照片中识别的物品，停止录像，当然，这也要求在待存放物品识别完成后，物品存放人员在短时间内将物品放入保管箱柜内，这个符合实务中的操作场景和管理制度要求。

存取物品人员是需要知道监控记录结果的，这个功能可通过监控记录软件 300对外服务接口实现，可以将结果输出到平板电脑上显示，也可以通过选用带语音输出的AI边缘计算设备，或者AI边缘计算设备上接入一个语音模块和喇叭，使用语音方式提示，本发明中，使用语音提示方式。

需要说明的是，不是每次操作都一定包括存放物品和取出物品两个过程，所以，在导入存取物品种类和数量时，可以仅导入存入或取出物品种类和数量，AI监制记录软件300 会根据导入信息包含的操作过程控制当前任务。

需要说明的是，本领域工程师了解，移动手机就是拍照设备和AI边缘设备的结合体，可以在移动手机上实现本发明的系统，和本发明仅在操作上有差异，即需要另外的人员操作手机拍摄待存取物品照片，其他目标检测、OCR文字识别等过程完全相同，但是，使用时如果用支架将手机固定在能拍摄物品存取操作照片的位置，和本发明技术方案完全相同。

需要说明的是，本领域工程师了解，本次存取物品操作需要检查核对的种类和数量信息，可以通过监控与记录软件 300 的对外服务接口，发向第三方系统进行检查和验证，这个只是需要监控记录存取物品信息的位置差异问题，逻辑是一样的。

需要说明的是，目标检测中的数量，是以检测到的目标计数计算的，这和实际记录在计量单位上可能存在不同，比如：现钞监控记录的结果，一般是：清分好现钞大包-面值100 数量1扎，未清分现钞数量1 扎，而实际的记录是 100元面值1000张10万，未清分现钞100 *10 、50*10 共 1500元，这要求外部传入监控记录软件 300 的存取物品种类和数量信息，需要转换为相对应的种类和计数方式。

主要工作过程：

P1：计划人员制定存取物品操作计划，导入监控记录软件300 ，监控软件根据导入的信息自动设置当前任务，如果只有存入操作或只有取出操作，当前任务与之对应，如果同时包括存入和取出，自动设置当前任务为监控记录取出物品；

P2：从箱柜取出物品时，存取人员需要在取出物品后暂停移动片刻，所述监控记录软件300采集照片，识别照片中的物品种类和数量，输出识别结果和对比结果，存取人员听到语音提示结果后进行后续操作；

P3：将物品放入箱柜前，存取人员需要在将物品放入前暂停移动片刻，所述监控记录软件300采集照片，识别照片中的物品种类和数量，输出识别结果和对比结果，存取人员听到语音提示结果后，开始将物品放入箱柜内，所述监控记录软件300同时开始记录用于备查的本批物品放入箱柜过程的视频。

Claims

1.一种箱柜内物品存取监控记录方法，其特征在于，该方法涉及拍照设备、AI边缘计算设备和监控记录软件，所述AI边缘计算设备连接到所述拍照设备，所述监控记录软件安装在所述AI边缘计算设备上，该方法包含以下步骤：

S1：存取物品前，需要通过所述监控记录软件提供的服务接口，输入本次需要存放和取出的物品种类和数量；存取物品人员，在存取物品前，需要确保所述拍照设备能拍摄到存取物品操作过程；

S2：物品存取人员，在将物品从箱柜里取出后，需要将取出物品暂停移动片刻，等待所述监控记录软件采集照片，识别照片中的取出物品种类和数量，通过对外服务接口输出识别结果和比对结果；

S3：物品存取人员，在将物品入箱柜前，需要将待存放物品暂停移动片刻，等待所述监控记录软件采集照片，识别照片中的待存放物品种类和数量，通过对外服务接口输出识别结果和比对结果。

2.如权利要求1所述的一种箱柜内物品存取监控记录方法，其特征在于，物品存放人员可用预先设定的手势，通知所述监控记录软件切换当前工作任务，包括暂停监控记录、启动记录存放物品、启动记录取出物品、重新导入待存放物品种类和数量。

3.如权利要求1所述的一种箱柜内物品存取监控记录方法，其特征在于，所述监控记录软件，在识别完待存放物品后，将从所述拍照设备采集视频，作为待存放物品放入箱柜内的备查证据，当视频中不再检测到待存放物品时停止采集。

4.如权利要求1所述的一种箱柜内物品存取监控记录方法，其特征在于，对于当前目标检测模型库暂时还不能识别的物品，通过在物品外部悬挂吊牌的临时标识，所述监控记录软件通过OCR技术识别吊牌上的文字，作为该类物体种类和数量信息。