CN112419624A - 基于视觉、重力传感、rfid融合的智能图书柜及其工作方法 - Google Patents

Abstract

本发明提出一种基于视觉、重力传感、RFID融合的智能图书柜及其工作方法，智能图书柜本体，设置在智能图书柜本体内部的多个视觉采集单元、多个重力传感单元和RFID识别单元，以及本地中央控制单元；所述智能图书柜本体内部从上至下包括多个层架；所述视觉采集单元安装在层架构成的格体的侧部，并对准图书放置区；所述重力传感单元内嵌于层架上；所述RFID识别单元的天线分别安装在层架构成的格体的顶部；所述视觉采集单元、重力传感单元和RFID识别单元分别连接本地中央控制单元。在不改变原有视觉识别技术的前提下，通过融合重力及超高频RFID感知技术提升智能图书柜盘点图书的识别准确率。

Description

基于视觉、重力传感、RFID融合的智能图书柜及其工作方法

技术领域

本发明属于物联网、智能图书馆领域，尤其涉及一种基于视觉、重力传感、RFID融合的智能图书柜及其工作方法。

背景技术

智能图书柜，又可以称之为共享书柜，智能借阅柜，智能扫码图书柜，自助预约书柜等等。随着AI人工智能，物联网的普及发展，实体书柜也在各地发展开来。我们在身边越来越多地看到了它的身影。

智能图书柜就是依托移动物联网的技术，实现24小时自助借还书，用户在线预约书籍，打造家门口的图书馆，让健康阅读触手可及。

现有技术当中主要采用一下技术对智能图书柜进行管理：

（1）基于UHF RFID射频识别技术的智能图书柜

基于UHF RFID射频识别技术的智能图书柜是UHF RFID射频识别技术应用于封闭式柜体之内。智能柜可以实现开门自取，即拿即走，UHF RFID天线分布于柜内上下方或每个各层上方，又或者直接每个隔层使用UHF RFID天线代替，每个物品上贴一个UHF RFID电子标签，实现自动实时读取柜内物品数量以及属性。

但是，采用RFID识别时，由于柜体外壳通常是金属材质的，RFID天线发出电磁波传输过程中受外壳反射产生叠加，受电磁屏蔽的原因，容易发生漏检的情况。加之，RFID标签尺寸较小且对贴附物材料敏感，种种原因导致能量接收效率较低；而且柜体内部空间尺寸有限，标签之间容易产生堆叠，进一步劣化识别效率，导致漏检率提高。

（2）基于视觉技术的智能图书柜

对于用户而言，基于视觉技术的智能零售柜与基于UHF RFID技术的智能零售柜购买操作流程一致，然而系统内部采用的技术截然不同，取而代之的是视觉AI的识别技术。

具体实现流程如下：在用户身份信息验证通过后，即打开智能图书柜的柜门，通过采集用户购物的视频图像，并从所述视频图像中识别所述用户的动作姿态、识别所述用户的动作对应的图像，自行操作用户的虚拟购物车，也省去了用户自行添加或删除图书的过程。此外，在智能零售柜的柜门关闭后，通过发送包括所述购物车信息生成的购物清单的支付指令至远程决策中心单元，远程决策中心单元在接收到所述结算请求时，发送支付指令至第三方结算中心以完成扣款并自动生成电子购物账单。

该项技术的缺陷在于，用户在借阅时，识别系统的计算速度明显较慢，甚至有出错的可能；要提高计算效率需要增加硬件加速单元，系统造价成本大幅增加。同时，此技术对图书的大小、摆放、高度以及光照等环境条件均有较严格的限制，支持图书的品类也受限。

（3）基于重力传感技术的智能柜

重力传感技术，通过重力传感器感应层架上的重量变化，以此来检测图书被取走或放回的行为。因该技术对于传感器灵敏度的高要求，使得设备需要频繁地校准维护；在面对重量相近的物品（比如图书）时，无法做到精准识别。因此，单纯依赖重力技术的智能柜应用受限，已经逐渐淡出市场。

发明内容

针对现有技术存在的不足和空白，本发明提出一种基于视觉、重力传感、RFID融合的智能图书柜及其工作方法，用于解决如何融合解决智能柜便捷准确地自动清点统计图书借阅情况，提高使用便利性和用户体验性。在不改变原有视觉识别技术的前提下，通过融合重力及超高频RFID感知技术提升智能图书柜盘点图书的识别准确率。

本发明旨在改善单一识别技术在智能柜应用中存在的准确率问题。主流的智能柜多以RFID和重力感应技术为主，从表面上看可以减少部分货损率，但本质上为主还是依托于RFID技术；由于柜体外壳多是金属材质的，RFID天线发出电磁波传输过程中受外壳反射产生叠加，受电磁屏蔽的原因，不可避免地容易发生漏检的情况。与RFID技术相比，依托人工智能图像识别技术的视觉识别智能柜经过前期的识别模型训练，能够有效降低后续运营成本、适应复杂多样的场景和环境。然而，如上所述，纯视觉技术对物品（图书）的大小、摆放、高度以及光照等环境条件均有较严格的限制；尤其物品识别容易受遮挡因素影响，例如，抓取物品的手与物品尺寸相当甚至更大的情况，物品的有效特征将被遮挡导致识别失效。为了解决视觉技术此类短板，本发明引入重力传感及超高频RFID技术与视觉技术进行多传感维度融合的方式提升识别准确率。

本发明具体采用以下技术方案：

一种基于视觉、重力传感、RFID融合的智能图书柜，其特征在于，包括：智能图书柜本体，设置在智能图书柜本体内部的多个视觉采集单元、多个重力传感单元和RFID识别单元，以及本地中央控制单元；所述智能图书柜本体内部从上至下包括多个层架；所述视觉采集单元安装在层架构成的格体的侧部，并对准图书放置区；所述重力传感单元内嵌于层架上；所述RFID识别单元的天线分别安装在层架构成的格体的顶部；所述视觉采集单元、重力传感单元和RFID识别单元分别连接本地中央控制单元。

优选地，还包括连接本地中央控制单元的门禁设备控制单元、照明单元、用户身份识别单元和注册触摸屏单元。

优选地，所述本地中央控制单元连接远程决策控制单元。

以及工作方法，其特征在于，包括以下步骤：

步骤S1：当所述智能图书柜本体的柜门打开时，触发视觉采集单元及各层重力传感单元进入检测识别状态；

步骤S2：在用户选取过程中，所述视觉采集单元实时采集柜内的视频图像，并将视频图像发送给本地中央控制单元，所述本地中央控制单元从视频图像中识别用户的动作姿态、识别用户动作对应的图书图像；所述本地中央控制单元读取每层重力传感单元数据；根据柜体内所有重量数据以及视觉识别的结果，依据事先录入的图书特征及重量给出识别结果，添加或删除用户虚拟购物车中的图书；

步骤S3：用户操作执行完毕，关闭柜门，依据预设的视觉对应的第一权重和重力对应的第二权重融合视觉及重力识别结果推算拿放图书的组合，并赋值一个新的第四权重；

步骤S4：触发RFID读写器进入盘点状态，盘点当前柜体内所有标签EPC，轮询各个天线：

若此时盘点到的标签有减少，识别出缺失的EPC，从而识别出EPC对应的图书，并赋值一个第三权重；

步骤S5：融合视觉、重力传感、RFID的数据进行判断并生成借阅清单。

本发明及其优选方案结构精简，实时性高，可以有效地增加识别物品的品类及取放行为的识别维度及准确度，综合了视觉、重力传感及超高频RFID三种技术的优势，RFID及重力技术弥补了视觉技术因为光线及遮挡带来的误识别的缺陷，而视觉技术也解决了RFID技术易受电磁屏蔽带来的漏检问题，极度提高了智能柜的可靠性，大大提升客户体验，具备极高的商业价值。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

图1为本发明实施例装置系统拓扑示意图；

图2为本发明实施例整体结构示意图；

图3为本发明实施例图书借阅识别流程示意图；

图中：1-摄像头；2-重力传感器；3-RFID标签；4-图书；5-RFID天线。

具体实施方式

为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：

本实施例提供的智能图书柜，如图1、图2所示，通过若干个视觉采集单元（摄像头1）采集用户借阅的视频图像，并将视频图像发送给本地中央控制单元，本地中央控制单元从视频图像中识别用户的动作姿态、识别用户动作对应的图书图像；其中，4个摄像头1分布方式（但不限于该分布方式）如图2所示，对称分布在柜内层架商品两侧，左右各一个，这样尽可能确保摄像头视野能够无死角地覆盖到用户取放图书时候所经的区域；此外，每个层架由夹有重力传感器2的钢化玻璃构成，重力传感器2感应每个层架上的重量变化，以此来检测图书被取走或放回的行为；最终，根据视觉识别单元和重力传感单元返回的数据综合判断，从而精确快速地判断取放图书的书目及数量，自行操作用户的虚拟购物车，省去了用户自己添加或删除图书的过程。而图书柜中的每一本图书4内均设置有与RFID识别单元配套的RFID标签3，RFID识别单元当中的RFID天线5分别安装在层架构成的格体的顶部，用于实现对RFID标签3的扫描和识别。

在本实施例中，智能图书柜还包括照明单元，设置在智能图书柜内部，并与中央控制单元连接；此照明单元用于检测柜体内部的亮度，并将检测结果通过本地中央控制单元发送给远程决策控制单元；照明单元还可以接收来自中央控制单元的调光指令，并根据调光指令调控柜体内部的亮度；该设计亦可通过远程决策控制单元远程调控柜体内部亮度。

以及注册触摸屏单元，亦与中央控制单元连接。在用户身份未通过身份识别单元验证时，控制注册触摸屏单元显示注册界面，指引用户扫描二维码或者输入账号信息，以获取用户的支付账户信息；在获取账户信息后，提示用户通过身份采集单元（二维码、指纹/掌纹识别器、瞳孔识别器、人脸识别器、语音识别器、密码输入器、扫描器等）录入用户身份特征信息，并将账户信息与录入的身份特征信息进行绑定注册。

以及UPS紧急供电单元，用于突发断电时为图书柜供电，有利于系统的不间断连续正常运行。

在实际使用过程中，用户来到智能图书柜处，先通过用户身份识别单元（二维码、指纹/掌纹识别器、瞳孔识别器、人脸识别器、语音识别器、密码输入器、扫描器等）进行身份识别和认证，在用户身份识别单元确认该用户认证通过后，门禁设备控制单元（电子锁）自动开锁，用户便可以打开柜门进行图书的选取；在选取过程中，若干个视觉采集单元实时采集智能柜内的视频图像，并将视频图像发送给本地中央控制单元，本地中央控制单元从视频图像中识别用户的动作姿态、识别用户动作对应的图书图像；与此同时，本地中央控制单元也会读取每层重力传感器数据，综合柜体内所有称重层架回传的重量数据以及视觉识别的结果自行操作用户的虚拟购物车；在用户选完图书后，关闭柜门，电子锁自动上锁；此时，自动清点用户借阅的图书清单，并有本地中央控制单元发送结算请求至远程决策控制单元，并有远程决策控制单元发送支付指令至第三方结算中心；有效地节省了管理员对图书盘点的时间和过程，实现用户全程可真实翻阅自己所需要的图书，并在用户选取结束后自动进行结算（如果有偿借阅），免去了用户现金或手机进行支付的过程。

在本实施例中，具体图书借阅识别流程如图3所示，主要包括以下过程：

（1）用户来到智能图书柜处，先通过用户身份识别单元授权通过，打开柜门，用户开始挑选所需图书。

（2）柜门打开触发视觉采集单元及各层重力传感器进入检测识别状态。

（3）在用户选取过程中，若干个视觉采集单元实时采集智能柜内的视频图像，并将视频图像发送给本地中央控制单元，本地中央控制单元从视频图像中识别用户的动作姿态、识别用户动作对应的图书图像；与此同时，本地中央控制单元也会读取每层重力传感器数据，综合柜体内所有称重层架回传的重量数据以及视觉识别的结果，二者分别设置一个权重（视觉对应权重1、重力对应权重2），并依据事先录入的图书特征及重量最终给出识别结果，自行添加或删除用户虚拟购物车中的图书。

（4）用户挑选完毕，关闭柜门，依据预先设置权重融合视觉及重力识别结果推算拿放图书的组合，并赋值一个权重（权重4）。

（5）与此同时，触发RFID读写器进入盘点状态，轮询8个通道，通过8个天线（本例中柜体内分4层，每层2个天线，但不同型号柜体层数不同，如5层，所以部署不局限于该结构；而且，若天线发射电磁波能量足矣覆盖整个柜体，亦可采用1个天线；若电磁波覆盖范围较小，则每层适当增加天线个数）盘点当前柜体内所有标签EPC（假定每本图书上贴有RFID电子标签）。

（6）若此时盘点到的标签有减少，识别出缺失的EPC，从而识别出EPC对应的图书，并赋值一个权重（权重3）。

综合柜体内RFID及视觉和重力传感识别的图书组合结果，依照三者识别技术融合判断生成借阅清单。

本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于视觉、重力传感、RFID融合的智能图书柜及其工作方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (4)

1.一种基于视觉、重力传感、RFID融合的智能图书柜，其特征在于，包括：智能图书柜本体，设置在智能图书柜本体内部的多个视觉采集单元、多个重力传感单元和RFID识别单元，以及本地中央控制单元；所述智能图书柜本体内部从上至下包括多个层架；所述视觉采集单元安装在层架构成的格体的侧部，并对准图书放置区；所述重力传感单元内嵌于层架上；所述RFID识别单元的天线分别安装在层架构成的格体的顶部；所述视觉采集单元、重力传感单元和RFID识别单元分别连接本地中央控制单元。

2.根据权利要求1所述的基于视觉、重力传感、RFID融合的智能图书柜，其特征在于，还包括连接本地中央控制单元的门禁设备控制单元、照明单元、用户身份识别单元和注册触摸屏单元。

3.根据权利要求1所述的基于视觉、重力传感、RFID融合的智能图书柜，其特征在于：所述本地中央控制单元连接远程决策控制单元。

4.根据权利要求1所述的基于视觉、重力传感、RFID融合的智能图书柜的工作方法，其特征在于，包括以下步骤：

步骤S1：当所述智能图书柜本体的柜门打开时，触发视觉采集单元及各层重力传感单元进入检测识别状态；

步骤S2：在用户选取过程中，所述视觉采集单元实时采集柜内的视频图像，并将视频图像发送给本地中央控制单元，所述本地中央控制单元从视频图像中识别用户的动作姿态、识别用户动作对应的图书图像；所述本地中央控制单元读取每层重力传感单元数据；根据柜体内所有重量数据以及视觉识别的结果，依据事先录入的图书特征及重量给出识别结果，添加或删除用户虚拟购物车中的图书；

步骤S3：用户操作执行完毕，关闭柜门，依据预设的视觉对应的第一权重和重力对应的第二权重融合视觉及重力识别结果推算拿放图书的组合，并赋值一个新的第四权重；

步骤S4：触发RFID读写器进入盘点状态，盘点当前柜体内所有标签EPC，轮询各个天线：

若此时盘点到的标签有减少，识别出缺失的EPC，从而识别出EPC对应的图书，并赋值一个第三权重；

步骤S5：融合视觉、重力传感、RFID的数据进行判断并生成借阅清单。

Images