CN114524212A - 一种面向智慧图书馆的图书智能上架系统及其工作方法 - Google Patents

Abstract

一种面向智慧图书馆的图书智能上架系统，包括若干排书柜、主干道磁轨、若干条支路磁轨、AGV智能搬运小车和云端控制系统，各排书柜左右间隔设置，每排书柜包括若干个前后间隔排列布置的书柜，主干道磁轨铺设在相邻两排书柜之间地面上，各条支路磁轨分别沿左右方向一一对应铺设在各个书柜前侧地面上并与主干道磁轨连接，AGV智能搬运小车行走在主干道磁轨和支路磁轨上，书柜上设置有图书分离装置和图书整理装置，云端控制系统分别与AGV智能搬运小车、图书分离装置和图书整理装置通过无线信号连接。本发明实现了图书的分拣‑搬运‑上架的一体化和智能化，极大提高了图书管理效率。

Description

一种面向智慧图书馆的图书智能上架系统及其工作方法

技术领域

本发明涉及图书上架设备技术领域，具体涉及一种面向智慧图书馆的图书智能上架系统及其工作方法。

背景技术

图书馆内的图书种类繁多、数量庞大，图书上架是图书馆最为繁重和最为基础的工作之一。读者借阅完图书后会集中放置在分拣工作台上，图书管理员需要将这些图书一一扫码，识别分类，然后按其类别搬运至各个区域，存放到原来的书架上，这种全手工操作无疑会给管理员带来极大的工作负担。随着智能化时代的到来，打造智慧图书馆、实现图书的智能化管理已成为必然趋势。智慧图书馆的图书智能上架系统应是分拣-搬运-上架的一体化和智能化。目前，已有的图书自动上架系统功能比较单一，有的虽然实现了图书的自动分拣，但仍需大量人力将图书搬运至相应区域然后放置在对应的书架上，有的虽然实现了图书搬运的自动化，但图书的分拣和上架仍需人工完成，没有实现完全意义上的图书的分拣-搬运-上架的一体化和智能化。

发明内容

本发明的目的是提供一种面向智慧图书馆的图书智能上架系统及其工作方法，本发明实现了图书的分拣-搬运-上架的一体化和智能化，极大提高了图书管理效率。

为实现上述目的，本发明采用如下技术方案：

一种面向智慧图书馆的图书智能上架系统，包括若干排书柜、主干道磁轨、若干条支路磁轨、AGV智能搬运小车和云端控制系统，各排书柜左右间隔设置，每排书柜包括若干个前后间隔排列布置的书柜，主干道磁轨铺设在相邻两排书柜之间地面上，各条支路磁轨分别沿左右方向一一对应铺设在各个书柜前侧地面上并与主干道磁轨连接，AGV智能搬运小车行走在主干道磁轨和支路磁轨上，书柜上设置有图书分离装置和图书整理装置，云端控制系统分别与AGV智能搬运小车、图书分离装置和图书整理装置通过无线信号连接；

主干道磁轨和支路磁轨用于AGV智能搬运小车的路线规划和运行导向；

书柜用于对图书进行分类和存储；

AGV智能搬运小车用于运载待上架的图书并沿着主干道磁轨和支路磁轨运行至目标书柜的正前方；

图书分离装置用于将书柜上已存放的图书进行分离，为待上架的图书留出间隙，以便将待上架的图书放入书柜；

图书整理装置用于使书柜上存放的图书保持紧凑排列；

云端控制系统用于对图书进行识别分类，并将识别出的图书信息发送给AGV智能搬运小车以及目标书柜中相应的图书分离装置和图书整理装置。

主干道磁轨上每个分岔口的前侧均设置有一个主干道编码器，每条支路磁轨上均设置有一个位于相应书柜正前方的支路编码器；

主干道编码器采用四位二进制编码，AGV智能搬运小车运行至主干道编码器上方并读取主干道编码器的位置信息，判断直行或转弯；

支路编码器采用三位二进制编码，AGV智能搬运小车运行至支路编码器上方并读取支路编码器的位置信息，从而准确停在目标书柜的正前方。

书柜上设置有若干层存书层，每层存书层的前侧均设置一套图书分离装置，每层存书层均通过两块隔板分隔为三个左右间隔设置的存储柜，每个存储柜内部均设置一套图书整理装置。

图书分离装置包括第一滑动导轨和两个直线电机，第一滑动导轨沿左右方向水平固定安装在书柜上相应一层存书层的底板前侧面上，两个直线电机左右间隔设置且滑动运行在第一滑动导轨上，每个直线电机上均固定设置有一块位于相应一层存书层前侧的滑块，滑块的中部开设有上侧、前侧和后侧均敞口的旋转槽，旋转槽内设置有可转动的拨片，拨片沿前后方向竖向设置，滑块内嵌设有步进电机，步进电机的动力轴沿左右方向水平设置并穿过拨片的下侧中部，拨片与步进电机的动力轴固定连接，云端控制系统分别与直线电机和步进电机通过无线信号连接。

图书整理装置包括两组挤压组件，两组挤压组件左右对称设置在相应的一个存储柜内，左侧的一组挤压组件包括挤压气缸、压缩弹簧和挡板，挤压气缸和压缩弹簧均沿左右方向水平设置，挡板与隔板平行，挡板滑设在存储柜内且位于挤压气缸的右侧，挡板的上侧边与存储柜的内顶面滑动接触，挡板的下侧边与存储柜的内底面滑动接触，挤压气缸的缸体底部固定连接在存储柜的内左侧壁上，挤压气缸的活塞杆向右伸出，压缩弹簧的两端分别固定连接在挤压气缸的活塞杆右端和挡板的左侧面中部，云端控制系统与挤压气缸通过无线信号连接。

AGV智能搬运小车包括车体、第二滑动导轨、机械手、机械臂摄像机、入口气缸、入口推送板、第一平推气缸、传送带、出口气缸、出口推送板、第二平推气缸、距离传感器、CCD摄像机、厚度测量传感器、动力系统和承重板，车体的前侧板左上部设有图书放入口，车体的顶板右侧中部设有图书推出口，动力系统和承重板上下叠压设置在车体内下部，车体的下侧部固定设有位于动力系统上部的支撑板，车体的底部设有行走轮，动力系统驱动行走轮沿主干道磁轨和支路磁轨滚动行走，第二滑动导轨竖向固定设在车体的左侧板外表面，机械手的下端滑动设置在第二滑动导轨上，第二滑动导轨上设有驱动机械手上下移动的升降丝杠机构，机械臂摄像机固定设在机械手的手臂上，机械手的上端设有抓取机构，入口气缸竖向设置并固定在支撑板的上表面左侧中部，入口推送板水平固定连接在入口气缸的活塞杆上端，支撑板的上表面左侧部固定设置有位于入口推送板四周的四根入口竖直导轨，入口推送板的四角分别滑动设置在对应四根入口竖直导轨上，第一平推气缸沿左右方向水平设置在入口推送板的上方，第一平推气缸的缸体底部固定连接在车体的左侧板内表面中部上侧，第一平推气缸的高度略高于入口竖直导轨的上端高度，第一平推气缸的活塞杆右端固定连接有第一平推块，出口气缸竖向设置并固定在支撑板的上表面右侧中部，出口推送板水平固定连接在出口气缸的活塞杆上端且位于图书推出口正下方，支撑板的上表面右侧部固定设置有位于出口推送板四周的四根出口竖直导轨，出口推送板的四角分别滑动设设置在对应四根出口竖直导轨上，出口竖直导轨的上端延伸至图书推出口，第二平推气缸沿前后方向水平设置在出口推送板的上方，第二平推气缸的缸体底部固定连接在车体的前侧板内表面右侧部中上侧，第二平推气缸的活塞杆后端固定连接有第二平推块，第二平推气缸与第一平推气缸同高，车体内位于出口推送板的后侧为回收仓，传送带水平安装在入口推送板和出口推送板之间且传送带的上半幅与入口竖直导轨的上端高度齐平，传送带的上半幅自左向右运动，距离传感器设在车体的顶板内表面左侧中部且位于入口推送板的正上方，CCD摄像机设在车体的顶板内表面中部且朝下正对着传送带设置，厚度测量传感器设在车体的顶板内表面中部且朝右正对着图书推出口位置探测，出口推送板的上表面设置有重量传感应变片，云端控制系统分别与机械手、机械臂摄像机、入口气缸、第一平推气缸、传送带、出口气缸、第二平推气缸、距离传感器、CCD摄像机、厚度测量传感器、重量传感应变片和动力系统通过无线信号连接。

一种面向智慧图书馆的图书智能上架系统的工作方法，具体包括以下步骤：

（一）、将待上架图书通过图书放入口堆叠放入AGV智能搬运小车车体内的入口推送板上，距离传感器检测最上层待上架图书与其之间的距离，并判定最上层待上架图书是否到达指定位置，如果到达指定位置，云端控制系统控制第一平推气缸的活塞杆向右伸出，第一平推块将最上层待上架图书向右推动至传送带上，否则，云端控制系统控制入口气缸动作，入口气缸的活塞杆推动入口推送板匀速沿四根入口竖直导轨向上移动，使最上层待上架图书到达指定位置；

（二）、CCD摄像机采集传送带上待上架图书的图像并传给云端控制系统，云端控制系统提取该图书的标签特征和表面积S，并对该标签特征进行识别和分类；如果云端控制系统无法提取该图书的标签特征，则云端控制系统控制传送带启动将该图书输送到出口推送板上，其中初始时出口气缸的活塞杆处于退回状态，出口推送板的高度与传送带的高度齐平，然后云端控制系统控制第二平推气缸的活塞杆向后伸出，第二平推块将该图书向后推，使该图书从出口推送板上掉落至回收仓，否则，云端控制系统控制传送带启动将该图书输送到出口推送板上，通过重量传感应变片对该图书重量进行测算，然后云端控制系统控制出口气缸的活塞杆推动出口推送板匀速沿四根出口竖直导轨向上移动，将该图书输送到图书推出口；

（三）、AGV智能搬运小车根据云端控制系统反馈的图书分类信息定位目标书柜，然后根据该定位信息规划行进路线，动力系统启动驱动行走轮运动，AGV智能搬运小车沿着主干道磁轨运动并根据相应的主干道编码器信息转向至规划好的支路磁轨，AGV智能搬运小车沿着该支路磁轨运动至相应的支路编码器上方并准确停在目标书柜的前方；

（四）、AGV智能搬运小车准确停在目标书柜的正前方后，机械臂摄像机扫描目标书柜上已上架存放的图书的书脊，云端控制系统提取目标书柜上已上架存放的图书的书脊上的图书标签特征并进行识别，匹配出待上架图书对应的目标存储柜；

（五）、云端控制系统根据目标存储柜的位置控制相应的图书分离装置动作，先控制右侧的直线电机带动右侧的滑块沿着相应的第一滑动导轨运动至目标存储柜的正前侧，然后右侧的步进电机驱动右侧的拨片向后转动90°，使右侧的拨片插入到目标存储柜内已上架存放的图书之间，同时控制相应的两个挤压气缸的活塞杆退回，使相应两块挡板向两边背离运动，卸掉挡板对目标存储柜内图书的压力，目标存储柜内图书便保持站立，然后控制右侧的直线电机向右运动一定距离，使右侧的拨片将目标存储柜内位于其右侧的图书向右拨开一定距离进而分离出一定间隙，再控制左侧的直线电机带动左侧的滑块沿着相应的第一滑动导轨运动至目标存储柜的正前侧，然后左侧的步进电机驱动左侧的拨片向后转动90°，使左侧的拨片插入到上述间隙中并与分离后左侧的图书接触，然后控制左侧的直线电机向左运动一定距离，使左侧的拨片将目标存储柜内位于其左侧的图书向左拨开一定距离，进而将目标存储柜内的图书从中间分离出满足待上架图书上架要求的间隙；

（六）、云端控制系统再控制机械手动作，使机械手的抓取机构抓取图书推出口处待上架图书，其中机械手的抓取机构在抓取待上架图书时，根据待上架图书所测算的重量设置适当的夹紧力以便能够夹住该图书的同时保证图书完好，然后机械手运动将待上架图书放入目标存储柜中已分理出的间隙中，抓取机构松开，机械手回位，然后两个步进电机驱动相应的拨片反向转动复位，使拨片从图书中收回，同时目标存储柜中的两个挤压气缸的活塞杆伸出挤压两个压缩弹簧，两个压缩弹簧分别推动两块挡板向中间靠拢，使目标存储柜中图书向中间移动并紧凑排列，之后云端控制系统控制出口气缸的活塞杆退回复位至初始状态，使出口推送板的高度与传送带的高度齐平，为下一本图书的分类上架做准备；

重复步骤（一）—（六），便可将堆叠在入口推送板上所有待上架图书逐个分类并上架到目标书柜的目标存储柜中。

步骤（二）中对待上架图书重量进行测算的具体步骤为：

（1）重量传感应变片采集到位于其上方的待上架图书的压力后，即可测量出待上架图书的实测重量N；

（2）出口推送板以匀速v推动待上架图书向上运动至图书推出口，此过程中厚度测量传感器采集到待上架图书整体通过厚度测量传感器探测的时间t，采用公式x=v×t计算出待上架图书整体的厚度x；

（3）根据云端控制系统提取该图书的表面积S，运用公式M=ρ×x×S，计算出该图书的理论重量M，其中ρ为图书纸张的平均密度；

（4）如果待上架图书的理论重量M与实测重量N的差值在一定的误差范围内，则将实测重量N作为待上架图书的重量，否则取理论重量M与实测重量N的平均值作为待上架图书的重量。

步骤（二）中云端控制系统对待上架图书的标签特征进行识别和分类的具体方法为：

（1）输入数据预处理

将图书厚度划分为“薄、中、厚”三种特征，并对应表达为“红、绿、蓝”三种图书颜色标签特征；将图书表面积划分为“大、中、小”三种特征，并对应表达为“大、中、小”三种图书尺寸标签特征；图书的颜色标签特征与和尺寸标签特征两两组合，可以得到9组颜色/尺寸标签特征对；

（2）云端控制系统内的YOLOv3算法网络训练

①将带有颜色/尺寸标签特征对的目标图像作为训练集；

②采用DarkNet-53特征提取网络将每个目标图像划分成26×26个网格；

③对每个网格采用K-means方法进行聚类：

采用K-means方法进行聚类时，先对每个网格划分若干个样本框，然后在样本框内随机选取5个代表聚类中心的参考框，然后计算每个样本框与每个参考框的聚类距离，经过多次迭代聚类后，所有样本框划分成最优的5类，将上述5类样本框的中心坐标进行均值化处理，并用分别对应为5个先验框，聚类距离的计算公式为：

上式中，centroid为代表聚类中心的参考框，box为样本框，IOU为样本框与参考的框交互比，d为样本框与参考框之间的聚类距离；

④对目标图像的先验框都给定一个置信度s，其计算公式为：

其中P _r （Object）表示先验框中包含目标图像标签特征对的确定程度，

表示先验框与目标图像标签特征对的交互比；

⑤设置置信度阈值，过滤掉目标图像中置信度小于阈值的先验框；

⑥对剩余先验框进行非极大抑制（NMS）处理，得到目标图像中最优的先验框作为标签特征；

⑦重复上述步骤，训练出具有最优参数的YOLOv3算法网络；

（3）基于YOLOv3算法网络的待上架图书标签特征识别

CCD摄像机采集到传送带上待上架图书的图像，将该图像信息输入到训练出来的YOLOv3算法网络，设置置信度阈值为0.3，输出带标签特征的待上架图书图像；

（4）基于颜色与方向梯度的待上架图书标签特征识别

以步骤（2）中①—⑤的步骤处理步骤（3）中输出的带标签特征的待上架图书图像，设置置信度阈值为0.1，过滤掉部分待上架图书图像特征，对剩余特征按置信度从高到低排序，以训练集中的目标图像为模板，将模板标签特征与排序后的剩余特征进行特征相似度匹配，相似度匹配的依据为代表图书颜色特征用颜色直方图和代表图书尺寸特征的方向梯度直方图；

如果颜色直方图和方向梯度直方图的相似度均大于0.8，则将该剩余特征作为待上架图书候选标签特征，并挑选出颜色直方图相似度最高的候选标签特征作为待上架图书标签特征；

如果待上架图书图像特征被全部过滤掉，或者待上架图书图像所有特征的颜色直方图和方向梯度直方图的相似度均小于0.8，则认为当前视场无待上架图书标签特征；

颜色直方图和方向梯度直方图的相似度均采用相关系数计算法，颜色直方图的相似度公式为：

其中，H ₁、H ₂分别为模板标签特征和待上架图书图像特征的颜色直方图向量，

，H _k（J）为H _k中序号为J的bin的颜色向量统计值，N代表直方图的bin数，

为颜色向量平均值，计算颜色直方图需要将颜色空间划分为若干小的颜色区间，每一个颜色区间称为一个bin，同理，上述公式中将H换成G，则得到方向梯度直方图的相似度公式；

（5）如果步骤（3）所得的待上架图书标签特征与步骤（4）所得的待上架图书标签特征的IOU大于0.95，则取步骤（4）所得的待上架图书标签特征为待上架图书最终标签特征，否则对待上架图书按下一个步骤进行处理；

（6）基于YOLO算法网络的群决策

待上架图书的九组标签特征分别为红小、红中、红大、绿小、绿中、绿大、蓝小、蓝中、蓝大，上述九组标签特征一一对应九种YOLO算法网络，见表1所示，这九种算法网络分别为YOLOv3-1、YOLOv3-2、YOLOv3-3、YOLOv4-1、YOLOv4-2、YOLOv4-3、YOLOv5-1、YOLOv5-2、YOLOv5-3：

表1算法特征匹配表

采用步骤（2）训练上述九种算法网络，训练时设置置信度阈值为0.6，如果先验框的置信度大于0.6，则保留该先验框，九种YOLO算法对每个保留的先验框赋予一个权重，权重值通过YOLO算法网络训练获得，每个保留先验框的综合评分计算公式为：

式中ω ₁~ω ₉为各YOLO算法网络对某一先验框的权重，s ₁ ~s ₉为各YOLO算法网络对某一先验框的置信度；

通过九种YOLO算法得到的最优先验框，其权重在0.2-0.3区间取值，其他保留先验框的权重在0.1-0.2区间取值；

将待上架图书的图像输入到训练出来的九种YOLO算法网络，并进行群决策，如果某一先验框的综合分值大于0.9且为最高分，则认为该先验框为待上架图书标签特征，否则，将CCD相机聚焦至图书左下角并放大四倍再进行特征提取；如果某一先验框的综合分值大于0.9且为最高分，则将该先验框作为待上架图书标签特征，否则，认为待上架图书标签损坏，控制第二平推气缸将待上架图书推到回收仓，等待人工处理；

（7）图书分类

运用OCR算法对提取的待上架图书标签特征进行分类。

步骤（四）具体为：

（1）控制机械手动作使机械臂摄像机靠近目标书柜，对准目标书柜的各个存储柜中已存放的图书书脊底部标签区域，机械臂摄像机一次拍五本图书作为图像输入云端控制系统；

（2）对输入的图像进行灰度转换，根据图像各个通道的采样值进行加权平均，其方法为：

式中，R代表红色通道，G代表绿色通道，B代表蓝色通道；

（3）对图像进行高斯滤波，根据待滤波的像素点及其领域点的灰度值按照一定的参数规则进行加权平均，可以有效滤去理想图像中叠加的高频噪声，这里通过一个二维高斯核一次卷积实现：

式中σ为标准差，x，y为像素点坐标；

（4）用一阶偏导的有限差分来计算梯度的幅值和方向，这里的Canny算法所采用的卷积算子如下：

s _x 和s _y 分别为x，y方向偏导数计算模板；

其x向一阶偏导数矩阵、y向一阶偏导数矩阵、梯度幅值以及梯度方向的数学表达式为：

其中，f为图像灰度值，P为x向一阶偏导数矩阵，Q为y向一阶偏导数矩阵，M为某一像素点的梯度幅值，θ为梯度方向，i，j为像素点的坐标；

（5）对梯度幅值进行非极大值抑制，寻找像素点局部最大值，将非极大值点所对应的灰度值置位0，可剔除一大部分非边缘的点；

（6）采用双阀值来区分边缘像素，如果边缘像素点梯度值大于高阀值，则被认为是强边缘点，如果边缘梯度值小于高阀值，大于低阀值，则被标记为弱边缘点，如果边缘梯度值小于低阀值点则被抑制掉；

（7）滞后边界跟踪，强边缘点可以认为是真的边缘，弱边缘点则可能是真的边缘，也有可能是噪声或者颜色变化引起的，故检查弱边缘点的八连通领域像素，只要有强边缘点存在，那么这个弱边缘点则会被认为是真的边缘保留下来，反之则去除，所保留下来的强边缘点，连接成轮廓，为标签的轮廓；

（8）将所提取到的标签边缘进行OCR分类识别，识别出图书的种类；

（9）若未检测到相应的图书区域，则机械臂摄像机继续向左、向右、向上或向下走，再拍5本书，以此类推，直至找到对应的区域。

本发明相对现有技术具有突出的实质性特点和显著的进步，具体地说，本发明中的云端控制系统能够快速识别分类待上架图书的信息， AGV智能搬运小车能够根据待上架图书的信息准确停在目标书柜和目标存储柜的正前方，机械手能够将待上架图书放入目标存储柜，而且图书分离装置能够将已存放的图书进行分离，为待上架的图书留出间隙，图书整理装置能够使书柜上存放的图书保持紧凑排列，从而实现了图书的分拣-搬运-上架的一体化和智能化，极大提高了图书管理效率。

附图说明

图1是本发明的工作系统布置示意图。

图2是本发明的书柜的结构示意图。

图3是本发明的AGV智能搬运小车的结构示意图。

图4是本发明的AGV智能搬运小车的图书推出口处局部构件侧视图。

图5是本发明的滑块、拨片及步进电机装配示意图。

图6是本发明YOLO算法群决策流程图。

图7是本发明的工作方法流程图。

具体实施方式

以下结合附图进一步说明本发明的实施例。

如图1-7所示，一种面向智慧图书馆的图书智能上架系统，包括若干排书柜1、主干道磁轨2、若干条支路磁轨3、AGV智能搬运小车和云端控制系统，各排书柜1左右间隔设置，每排书柜1包括若干个前后间隔排列布置的书柜1，主干道磁轨铺设在相邻两排书柜1之间地面上，各条支路磁轨3分别沿左右方向一一对应铺设在各个书柜1前侧地面上并与主干道磁轨2连接，AGV智能搬运小车行走在主干道磁轨和支路磁轨3上，书柜1上设置有图书分离装置和图书整理装置，云端控制系统分别与AGV智能搬运小车、图书分离装置和图书整理装置通过无线信号连接，无线信号采用5G信号或者WiFi信号，这里优先使用5G信号；

主干道磁轨和支路磁轨3用于AGV智能搬运小车的路线规划和运行导向；

书柜1用于对图书进行分类和存储；

AGV智能搬运小车用于运载待上架的图书并沿着主干道磁轨和支路磁轨3运行至目标书柜1的正前方；

图书分离装置用于将书柜1上已存放的图书进行分离，为待上架的图书留出间隙，以便将待上架的图书放入书柜1；

图书整理装置用于使书柜1上存放的图书保持紧凑排列；

云端控制系统用于对图书进行识别分类，并将识别出的图书信息发送给AGV智能搬运小车以及目标书柜1中相应的图书分离装置和图书整理装置。

主干道磁轨上每个分岔口的前侧均设置有一个主干道编码器4，每条支路磁轨3上均设置有一个位于相应书柜1正前方的支路编码器5；

主干道编码器4采用四位二进制编码，AGV智能搬运小车运行至主干道编码器4上方并读取主干道编码器4的位置信息，判断直行或转弯；

支路编码器5采用三位二进制编码，AGV智能搬运小车运行至支路编码器5上方并读取支路编码器5的位置信息，从而准确停在目标书柜1的正前方。

书柜1上设置有若干层存书层，每层存书层的前侧均设置一套图书分离装置，每层存书层均通过两块隔板6分隔为三个左右间隔设置的存储柜，每个存储柜内部均设置一套图书整理装置。

图书分离装置包括第一滑动导轨7和两个直线电机8，第一滑动导轨7沿左右方向水平固定安装在书柜1上相应一层存书层的底板前侧面上，两个直线电机8左右间隔设置且滑动运行在第一滑动导轨7上，每个直线电机8上均固定设置有一块位于相应一层存书层前侧的滑块9，滑块9的中部开设有上侧、前侧和后侧均敞口的旋转槽10，旋转槽10内设置有可转动的拨片11，拨片11沿前后方向竖向设置，滑块9内嵌设有步进电机12，步进电机12的动力轴沿左右方向水平设置并穿过拨片11的下侧中部，拨片11与步进电机12的动力轴固定连接，云端控制系统分别与直线电机8和步进电机12通过无线信号连接。

图书整理装置包括两组挤压组件，两组挤压组件左右对称设置在相应的一个存储柜内，左侧的一组挤压组件包括挤压气缸13、压缩弹簧14和挡板15，挤压气缸13和压缩弹簧14均沿左右方向水平设置，挡板15与隔板6平行，挡板15滑设在存储柜内且位于挤压气缸13的右侧，挡板15的上侧边与存储柜的内顶面滑动接触，挡板15的下侧边与存储柜的内底面滑动接触，挤压气缸13的缸体底部固定连接在存储柜的内左侧壁上，挤压气缸13的活塞杆向右伸出，压缩弹簧14的两端分别固定连接在挤压气缸13的活塞杆右端和挡板15的左侧面中部，云端控制系统与挤压气缸13通过无线信号连接。

AGV智能搬运小车包括车体16、第二滑动导轨17、机械手18、机械臂摄像机19、入口气缸20、入口推送板21、第一平推气缸22、传送带23、出口气缸24、出口推送板25、第二平推气缸26、距离传感器27、CCD摄像机28、厚度测量传感器29、动力系统30（AGV智能搬运小车的常规设计）和承重板31，车体16的前侧板左上部设有图书放入口，车体16的顶板右侧中部设有图书推出口，动力系统30和承重板31上下叠压设置在车体16内下部，车体16的下侧部固定设有位于动力系统30上部的支撑板32，车体16的底部设有行走轮33，动力系统30驱动行走轮33沿主干道磁轨和支路磁轨3滚动行走，第二滑动导轨17竖向固定设在车体16的左侧板外表面，机械手18的下端滑动设置在第二滑动导轨17上，第二滑动导轨17上设有驱动机械手18上下移动的升降丝杠机构（常规结构），机械臂摄像机19固定设在机械手18的手臂上，机械手18的上端设有抓取机构34，入口气缸20竖向设置并固定在支撑板32的上表面左侧中部，入口推送板21水平固定连接在入口气缸20的活塞杆上端，支撑板32的上表面左侧部固定设置有位于入口推送板21四周的四根入口竖直导轨35，入口推送板21的四角分别滑动设置在对应四根入口竖直导轨35上，第一平推气缸22沿左右方向水平设置在入口推送板21的上方，第一平推气缸22的缸体底部固定连接在车体16的左侧板内表面中部上侧，第一平推气缸22的高度略高于入口竖直导轨35的上端高度，第一平推气缸22的活塞杆右端固定连接有第一平推块36，出口气缸24竖向设置并固定在支撑板32的上表面右侧中部，出口推送板25水平固定连接在出口气缸24的活塞杆上端且位于图书推出口正下方，支撑板32的上表面右侧部固定设置有位于出口推送板25四周的四根出口竖直导轨37，出口推送板25的四角分别滑动设置在对应四根出口竖直导轨37上，出口竖直导轨37的上端延伸至图书推出口，第二平推气缸26沿前后方向水平设置在出口推送板25的上方，第二平推气缸26的缸体底部固定连接在车体16的前侧板内表面右侧部中上侧，第二平推气缸26的活塞杆后端固定连接有第二平推块38，第二平推气缸26与第一平推气缸22同高，车体16内位于出口推送板25的后侧为回收仓39，传送带23水平安装在入口推送板21和出口推送板25之间且传送带23的上半幅与入口竖直导轨35的上端高度齐平，传送带23的上半幅自左向右运动，距离传感器27设在车体16的顶板内表面左侧中部且位于入口推送板21的正上方，CCD摄像机28设在车体16的顶板内表面中部且朝下正对着传送带23设置，厚度测量传感器29设在车体16的顶板内表面中部且朝右正对着图书推出口位置探测，出口推送板25的上表面设置有重量传感应变片（图未示），云端控制系统分别与机械手18、机械臂摄像机19、入口气缸20、第一平推气缸22、传送带23、出口气缸24、第二平推气缸26、距离传感器27、CCD摄像机28、厚度测量传感器29、重量传感应变片和动力系统30通过无线信号连接。

一种面向智慧图书馆的图书智能上架系统的工作方法，具体包括以下步骤：

（一）、将待上架图书通过图书放入口堆叠放入AGV智能搬运小车车体16内的入口推送板21上，距离传感器27检测最上层待上架图书与其之间的距离，并判定最上层待上架图书是否到达指定位置，如果到达指定位置，云端控制系统控制第一平推气缸22的活塞杆向右伸出，第一平推块36将最上层待上架图书向右推动至传送带23上，否则，云端控制系统控制入口气缸20动作，入口气缸20的活塞杆推动入口推送板21匀速沿四根入口竖直导轨35向上移动，使最上层待上架图书到达指定位置；

（二）、CCD摄像机28采集传送带23上待上架图书的图像并传给云端控制系统，云端控制系统提取该图书的标签特征和表面积S，并对该标签特征进行识别和分类；如果云端控制系统无法提取该图书的标签特征，则云端控制系统控制传送带23启动将该图书输送到出口推送板25上，其中初始时出口气缸24的活塞杆处于退回状态，出口推送板25的高度与传送带23的高度齐平，然后云端控制系统控制第二平推气缸26的活塞杆向后伸出，第二平推块38将该图书向后推，使该图书从出口推送板25上掉落至回收仓39，否则，云端控制系统控制传送带23启动将该图书输送到出口推送板25上，通过重量传感应变片对该图书重量进行测算，然后云端控制系统控制出口气缸24的活塞杆推动出口推送板25匀速沿四根出口竖直导轨37向上移动，将该图书输送到图书推出口；

（三）、AGV智能搬运小车根据云端控制系统反馈的图书分类信息定位目标书柜1，然后根据该定位信息规划行进路线，动力系统30启动驱动行走轮33运动，AGV智能搬运小车沿着主干道磁轨运动并根据相应的主干道编码器4信息转向至规划好的支路磁轨3，AGV智能搬运小车沿着该支路磁轨3运动至相应的支路编码器5上方并准确停在目标书柜1的正前方；

（四）、AGV智能搬运小车准确停在目标书柜1的正前方后，机械臂摄像机19扫描目标书柜1上已上架存放的图书的书脊，云端控制系统提取目标书柜1上已上架存放的图书书脊上的图书标签特征并进行识别，匹配出待上架图书对应的目标存储柜；

（五）、云端控制系统根据目标存储柜的位置控制相应的图书分离装置动作，先控制右侧的直线电机8带动右侧的滑块9沿着相应的第一滑动导轨7运动至目标存储柜的正前侧，然后右侧的步进电机12驱动右侧的拨片11向后转动90°，使右侧的拨片11插入到目标存储柜内已上架存放的图书之间，同时控制相应的两个挤压气缸13的活塞杆退回，使相应两块挡板15向两边背离运动，卸掉挡板15对目标存储柜内图书的压力，目标存储柜内图书便保持站立，然后控制右侧的直线电机8向右运动一定距离，使右侧的拨片11将目标存储柜内位于其右侧的图书向右拨开一定距离进而分离出一定间隙，再控制左侧的直线电机8带动左侧的滑块9沿着相应的第一滑动导轨7运动至目标存储柜的正前侧，然后左侧的步进电机12驱动左侧的拨片11向后转动90°，使左侧的拨片11插入到上述间隙中并与分离后左侧的图书接触，然后控制左侧的直线电机8向左运动一定距离，使左侧的拨片11将目标存储柜内位于其左侧的图书向左拨开一定距离，进而将目标存储柜内的图书从中间分离出满足待上架图书上架要求的间隙；

（六）、云端控制系统再控制机械手18动作，使机械手18的抓取机构34抓取图书推出口处待上架的图书，其中机械手18的抓取机构34在抓取待上架图书时，根据待上架图书所测算的重量设置适当的夹紧力以便能够夹住该图书的同时保证图书完好，然后机械手18运动将待上架图书放入目标存储柜中已分理出的间隙中，抓取机构34松开，机械手18回位，然后两个步进电机12驱动相应的拨片11反向转动复位，使拨片11从图书中收回，同时目标存储柜中的两个挤压气缸13的活塞杆伸出挤压两个压缩弹簧14，两个压缩弹簧14分别推动两块挡板15向中间靠拢，使目标存储柜中图书向中间移动并紧凑排列，之后云端控制系统控制出口气缸24的活塞杆退回复位至初始状态，使出口推送板25的高度与传送带23的高度齐平，为下一本图书的分类上架做准备；

重复步骤（一）—（六），便可将堆叠在入口推送板21上所有待上架图书逐个分类并上架到目标书柜1的目标存储柜中。

步骤（二）中对待上架图书重量进行测算的具体步骤为：

（1）重量传感应变片采集到位于其上方的待上架图书的压力后，即可测量出待上架图书的实测重量N；

（2）出口推送板25以匀速v推动待上架图书向上运动至图书推出口，此过程中厚度测量传感器29采集到待上架图书整体通过厚度测量传感器29探测的时间t，采用公式x=v×t计算出待上架图书整体的厚度x；

（3）根据云端控制系统提取该图书的表面积S，运用公式M=ρ×x×S，计算出该图书的理论重量M，其中ρ为图书纸张的平均密度；

（4）如果待上架图书的理论重量M与实测重量N的差值在一定的误差范围内，则将实测重量N作为待上架图书的重量，否则取理论重量M与实测重量N的平均值作为待上架图书的重量。

步骤（二）中云端控制系统对待上架图书的标签特征进行识别和分类的具体方法为：

（1）输入数据预处理

将图书厚度划分为“薄、中、厚”三种特征，并对应表达为“红、绿、蓝”三种图书颜色标签特征；将图书表面积划分为“大、中、小”三种特征，并对应表达为“大、中、小”三种图书尺寸标签特征；图书的颜色标签特征与和尺寸标签特征两两组合，可以得到9组颜色/尺寸标签特征对；

（2）云端控制系统内的YOLOv3算法网络训练

①将带有颜色/尺寸标签特征对的目标图像作为训练集；

②采用DarkNet-53特征提取网络将每个目标图像划分成26×26个网格；

③对每个网格采用K-means方法进行聚类：

采用K-means方法进行聚类时，先对每个网格划分若干个样本框，然后在样本框内随机选取5个代表聚类中心的参考框，然后计算每个样本框与每个参考框的聚类距离，经过多次迭代聚类后，所有样本框划分成最优的5类，将上述5类样本框的中心坐标进行均值化处理，并用分别对应为5个先验框，聚类距离的计算公式为：

上式中，centroid为代表聚类中心的参考框，box为样本框，IOU为样本框与参考的框交互比，d为样本框与参考框之间的聚类距离；

④对目标图像的先验框都给定一个置信度s，其计算公式为：

其中P _r （Object）表示先验框中包含目标图像标签特征对的确定程度，

表示先验框与目标图像标签特征对的交互比；

⑤设置置信度阈值，过滤掉目标图像中置信度小于阈值的先验框；

⑥对剩余先验框进行非极大抑制（NMS）处理，得到目标图像中最优的先验框作为标签特征；

⑦重复上述步骤，训练出具有最优参数的YOLOv3算法网络；

（3）基于YOLOv3算法网络的待上架图书标签特征识别

CCD摄像机28采集到传送带23上待上架图书的图像，将该图像信息输入到训练出来的YOLOv3算法网络，设置置信度阈值为0.3，输出带标签特征的待上架图书图像；

（4）基于颜色与方向梯度的待上架图书标签特征识别

以步骤（2）中①—⑤的步骤处理步骤（3）中输出的带标签特征的待上架图书图像，设置置信度阈值为0.1，过滤掉部分待上架图书图像特征，对剩余特征按置信度从高到低排序，以训练集中的目标图像为模板，将模板标签特征与排序后的剩余特征进行特征相似度匹配，相似度匹配的依据为代表图书颜色特征用颜色直方图和代表图书尺寸特征的方向梯度直方图；

如果颜色直方图和方向梯度直方图的相似度均大于0.8，则将该剩余特征作为待上架图书候选标签特征，并挑选出颜色直方图相似度最高的候选标签特征作为待上架图书标签特征；

如果待上架图书图像特征被全部过滤掉，或者待上架图书图像所有特征的颜色直方图和方向梯度直方图的相似度均小于0.8，则认为当前视场无待上架图书标签特征；

颜色直方图和方向梯度直方图的相似度均采用相关系数计算法，颜色直方图的相似度公式为：

其中，H ₁、H ₂分别为模板标签特征和待上架图书图像特征的颜色直方图向量，

，H _k（J）为H _k中序号为J的bin的颜色向量统计值，N代表直方图的bin数，

为颜色向量平均值，计算颜色直方图需要将颜色空间划分为若干小的颜色区间，每一个颜色区间称为一个bin，同理，上述公式中将H换成G，则得到方向梯度直方图的相似度公式；

（5）如果步骤（3）所得的待上架图书标签特征与步骤（4）所得的待上架图书标签特征的IOU大于0.95，则取步骤（4）所得的待上架图书标签特征为待上架图书最终标签特征，否则对待上架图书按下一个步骤进行处理；

（6）基于YOLO算法网络的群决策

待上架图书的九组标签特征分别为红小、红中、红大、绿小、绿中、绿大、蓝小、蓝中、蓝大，上述九组标签特征一一对应九种YOLO算法网络，见表1所示，这九种算法网络分别为YOLOv3-1、YOLOv3-2、YOLOv3-3、YOLOv4-1、YOLOv4-2、YOLOv4-3、YOLOv5-1、YOLOv5-2、YOLOv5-3：

表1算法特征匹配表

采用步骤（2）训练上述九种算法网络，训练时设置置信度阈值为0.6，如果先验框的置信度大于0.6，则保留该先验框，九种YOLO算法对每个保留的先验框赋予一个权重，权重值通过YOLO算法网络训练获得，每个保留先验框的综合评分计算公式为：

式中ω ₁~ω ₉为各YOLO算法网络对某一先验框的权重，s ₁ ~s ₉ 为各YOLO算法网络对某一先验框的置信度；

通过九种YOLO算法得到的最优先验框，其权重在0.2-0.3区间取值，其他保留先验框的权重在0.1-0.2区间取值；

将待上架图书的图像输入到训练出来的九种YOLO算法网络，并进行群决策，如果某一先验框的综合分值大于0.9且为最高分，则认为该先验框为待上架图书标签特征，否则，将CCD相机聚焦至图书左下角并放大四倍再进行特征提取；如果某一先验框的综合分值大于0.9且为最高分，则将该先验框作为待上架图书标签特征，否则，认为待上架图书标签损坏，控制第二平推气缸26将最上层图书推到回收仓39，等待人工处理；

（7）图书分类

运用OCR算法对提取的待上架图书标签特征进行分类。

步骤（四）具体为：

（1）控制机械手18动作使机械臂摄像机19靠近目标书柜1，对准目标书柜1的各个存储柜中已存放的图书书脊底部标签区域，机械臂摄像机19一次拍五本图书作为图像输入云端控制系统；

（2）对输入的图像进行灰度转换，根据图像各个通道的采样值进行加权平均，其方法为：

式中，R代表红色通道，G代表绿色通道，B代表蓝色通道；

（3）对图像进行高斯滤波，根据待滤波的像素点及其领域点的灰度值按照一定的参数规则进行加权平均，可以有效滤去理想图像中叠加的高频噪声，这里通过一个二维高斯核一次卷积实现：

式中σ为标准差，x，y为像素点坐标；

（4）用一阶偏导的有限差分来计算梯度的幅值和方向，这里的Canny算法所采用的卷积算子如下：

s _x 和s _y 分别为x，y方向偏导数计算模板；

其x向一阶偏导数矩阵、y向一阶偏导数矩阵、梯度幅值以及梯度方向的数学表达式为：

其中，f为图像灰度值，P为x向一阶偏导数矩阵，Q为y向一阶偏导数矩阵，M为某一像素点的梯度幅值，θ为梯度方向，i，j为像素点的坐标；

（5）对梯度幅值进行非极大值抑制，寻找像素点局部最大值，将非极大值点所对应的灰度值置位0，可剔除一大部分非边缘的点；

（6）采用双阀值来区分边缘像素，如果边缘像素点梯度值大于高阀值，则被认为是强边缘点，如果边缘梯度值小于高阀值，大于低阀值，则被标记为弱边缘点，如果边缘梯度值小于低阀值点则被抑制掉；

（7）滞后边界跟踪，强边缘点可以认为是真的边缘，弱边缘点则可能是真的边缘，也有可能是噪声或者颜色变化引起的，故检查弱边缘点的八连通领域像素，只要有强边缘点存在，那么这个弱边缘点则会被认为是真的边缘保留下来，反之则去除，所保留下来的强边缘点，连接成轮廓，为标签的轮廓；

（8）将所提取到的标签边缘进行OCR分类识别，识别出图书的种类；

（9）若未检测到相应的图书区域，则机械臂摄像机19继续向左、向右、向上或向下走，再拍5本书，以此类推，直至找到对应的区域。

主干道编码器4、支路编码器5、直线电机8、步进电机12、挤压气缸13、机械手18、机械臂摄像机19、入口气缸20、第一平推气缸22、传送带23、出口气缸24、第二平推气缸26、距离传感器27、CCD摄像机28、厚度测量传感器29和抓取机构34均为常规技术。

本发明中的云端控制系统能够快速识别分类待上架图书的信息， AGV智能搬运小车能够根据待上架图书的信息准确停在目标书柜和目标存储柜的正前方，机械手能够将待上架图书放入目标存储柜，而且图书分离装置能够将已存放的图书进行分离，为待上架的图书留出间隙，图书整理装置能够使书柜上存放的图书保持紧凑排列，从而实现了图书的分拣-搬运-上架的一体化和智能化，极大提高了图书管理效率。

以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解；依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种面向智慧图书馆的图书智能上架系统，其特征在于：包括若干排书柜、主干道磁轨、若干条支路磁轨、AGV智能搬运小车和云端控制系统，各排书柜左右间隔设置，每排书柜包括若干个前后间隔排列布置的书柜，主干道磁轨铺设在相邻两排书柜之间地面上，各条支路磁轨分别沿左右方向一一对应铺设在各个书柜前侧地面上并与主干道磁轨连接，AGV智能搬运小车行走在主干道磁轨和支路磁轨上，书柜上设置有图书分离装置和图书整理装置，云端控制系统分别与AGV智能搬运小车、图书分离装置和图书整理装置通过无线信号连接；

主干道磁轨和支路磁轨用于AGV智能搬运小车的路线规划和运行导向；

书柜用于对图书进行分类和存储；

AGV智能搬运小车用于运载待上架的图书并沿着主干道磁轨和支路磁轨运行至目标书柜的正前方；

图书分离装置用于将书柜上已存放的图书进行分离，为待上架的图书留出间隙，以便将待上架的图书放入书柜；

图书整理装置用于使书柜上存放的图书保持紧凑排列；

云端控制系统用于对图书进行识别分类，并将识别出的图书信息发送给AGV智能搬运小车以及目标书柜中相应的图书分离装置和图书整理装置。

2.根据权利要求1所述的面向智慧图书馆的图书智能上架系统，其特征在于：主干道磁轨上每个分岔口的前侧均设置有一个主干道编码器，每条支路磁轨上均设置有一个位于相应书柜正前方的支路编码器；

主干道编码器采用四位二进制编码，AGV智能搬运小车运行至主干道编码器上方并读取主干道编码器的位置信息，判断直行或转弯；

支路编码器采用三位二进制编码，AGV智能搬运小车运行至支路编码器上方并读取支路编码器的位置信息，从而准确停在目标书柜的正前方。

3.根据权利要求2所述的面向智慧图书馆的图书智能上架系统，其特征在于：书柜上设置有若干层存书层，每层存书层的前侧均设置一套图书分离装置，每层存书层均通过两块隔板分隔为三个左右间隔设置的存储柜，每个存储柜内部均设置一套图书整理装置。

4.根据权利要求3所述的面向智慧图书馆的图书智能上架系统，其特征在于：图书分离装置包括第一滑动导轨和两个直线电机，第一滑动导轨沿左右方向水平固定安装在书柜上相应一层存书层的底板前侧面上，两个直线电机左右间隔设置且滑动运行在第一滑动导轨上，每个直线电机上均固定设置有一块位于相应一层存书层前侧的滑块，滑块的中部开设有上侧、前侧和后侧均敞口的旋转槽，旋转槽内设置有可转动的拨片，拨片沿前后方向竖向设置，滑块内嵌设有步进电机，步进电机的动力轴沿左右方向水平设置并穿过拨片的下侧中部，拨片与步进电机的动力轴固定连接，云端控制系统分别与直线电机和步进电机通过无线信号连接。

5.根据权利要求4所述的面向智慧图书馆的图书智能上架系统，其特征在于：图书整理装置包括两组挤压组件，两组挤压组件左右对称设置在相应的一个存储柜内，左侧的一组挤压组件包括挤压气缸、压缩弹簧和挡板，挤压气缸和压缩弹簧均沿左右方向水平设置，挡板与隔板平行，挡板滑设在存储柜内且位于挤压气缸的右侧，挡板的上侧边与存储柜的内顶面滑动接触，挡板的下侧边与存储柜的内底面滑动接触，挤压气缸的缸体底部固定连接在存储柜的内左侧壁上，挤压气缸的活塞杆向右伸出，压缩弹簧的两端分别固定连接在挤压气缸的活塞杆右端和挡板的左侧面中部，云端控制系统与挤压气缸通过无线信号连接。

6.根据权利要求5所述的面向智慧图书馆的图书智能上架系统，其特征在于：AGV智能搬运小车包括车体、第二滑动导轨、机械手、机械臂摄像机、入口气缸、入口推送板、第一平推气缸、传送带、出口气缸、出口推送板、第二平推气缸、距离传感器、CCD摄像机、厚度测量传感器、动力系统和承重板，车体的前侧板左上部设有图书放入口，车体的顶板右侧中部设有图书推出口，动力系统和承重板上下叠压设置在车体内下部，车体的下侧部固定设有位于动力系统上部的支撑板，车体的底部设有行走轮，动力系统驱动行走轮沿主干道磁轨和支路磁轨滚动行走，第二滑动导轨竖向固定设在车体的左侧板外表面，机械手的下端滑动设置在第二滑动导轨上，第二滑动导轨上设有驱动机械手上下移动的升降丝杠机构，机械臂摄像机固定设在机械手的手臂上，机械手的上端设有抓取机构，入口气缸竖向设置并固定在支撑板的上表面左侧中部，入口推送板水平固定连接在入口气缸的活塞杆上端，支撑板的上表面左侧部固定设置有位于入口推送板四周的四根入口竖直导轨，入口推送板的四角分别滑动设置在对应四根入口竖直导轨上，第一平推气缸沿左右方向水平设置在入口推送板的上方，第一平推气缸的缸体底部固定连接在车体的左侧板内表面中部上侧，第一平推气缸的高度略高于入口竖直导轨的上端高度，第一平推气缸的活塞杆右端固定连接有第一平推块，出口气缸竖向设置并固定在支撑板的上表面右侧中部，出口推送板水平固定连接在出口气缸的活塞杆上端且位于图书推出口正下方，支撑板的上表面右侧部固定设置有位于出口推送板四周的四根出口竖直导轨，出口推送板的四角分别滑动设设置在对应四根出口竖直导轨上，出口竖直导轨的上端延伸至图书推出口，第二平推气缸沿前后方向水平设置在出口推送板的上方，第二平推气缸的缸体底部固定连接在车体的前侧板内表面右侧部中上侧，第二平推气缸的活塞杆后端固定连接有第二平推块，第二平推气缸与第一平推气缸同高，车体内位于出口推送板的后侧为回收仓，传送带水平安装在入口推送板和出口推送板之间且传送带的上半幅与入口竖直导轨的上端高度齐平，传送带的上半幅自左向右运动，距离传感器设在车体的顶板内表面左侧中部且位于入口推送板的正上方，CCD摄像机设在车体的顶板内表面中部且朝下正对着传送带设置，厚度测量传感器设在车体的顶板内表面中部且朝右正对着图书推出口位置探测，出口推送板的上表面设置有重量传感应变片，云端控制系统分别与机械手、机械臂摄像机、入口气缸、第一平推气缸、传送带、出口气缸、第二平推气缸、距离传感器、CCD摄像机、厚度测量传感器、重量传感应变片和动力系统通过无线信号连接。

7.如权利要求6所述的面向智慧图书馆的图书智能上架系统的工作方法，其特征在于：具体包括以下步骤：

（一）、将待上架图书通过图书放入口堆叠放入AGV智能搬运小车车体内的入口推送板上，距离传感器检测最上层待上架图书与其之间的距离，并判定最上层待上架图书是否到达指定位置，如果到达指定位置，云端控制系统控制第一平推气缸的活塞杆向右伸出，第一平推块将最上层待上架图书向右推动至传送带上，否则，云端控制系统控制入口气缸动作，入口气缸的活塞杆推动入口推送板匀速沿四根入口竖直导轨向上移动，使最上层待上架图书到达指定位置；

（二）、CCD摄像机采集传送带上待上架图书的图像并传给云端控制系统，云端控制系统提取该图书的标签特征和表面积S，并对该标签特征进行识别和分类；如果云端控制系统无法提取该图书的标签特征，则云端控制系统控制传送带启动将该图书输送到出口推送板上，其中初始时出口气缸的活塞杆处于退回状态，出口推送板的高度与传送带的高度齐平，然后云端控制系统控制第二平推气缸的活塞杆向后伸出，第二平推块将该图书向后推，使该图书从出口推送板上掉落至回收仓，否则，云端控制系统控制传送带启动将该图书输送到出口推送板上，通过重量传感应变片对该图书重量进行测算，然后云端控制系统控制出口气缸的活塞杆推动出口推送板匀速沿四根出口竖直导轨向上移动，将该图书输送到图书推出口；

（三）、AGV智能搬运小车根据云端控制系统反馈的图书分类信息定位目标书柜，然后根据该定位信息规划行进路线，动力系统启动驱动行走轮运动，AGV智能搬运小车沿着主干道磁轨运动并根据相应的主干道编码器信息转向至规划好的支路磁轨，AGV智能搬运小车沿着该支路磁轨运动至相应的支路编码器上方并准确停在目标书柜的正前方；

（四）、AGV智能搬运小车准确停在目标书柜的正前方后，机械臂摄像机扫描目标书柜上已上架存放的图书的书脊，云端控制系统提取目标书柜上已上架存放的图书的书脊上的图书标签特征并进行识别，匹配出待上架图书对应的目标存储柜；

（五）、云端控制系统根据目标存储柜的位置控制相应的图书分离装置动作，先控制右侧的直线电机带动右侧的滑块沿着相应的第一滑动导轨运动至目标存储柜的正前侧，然后右侧的步进电机驱动右侧的拨片向后转动90°，使右侧的拨片插入到目标存储柜内已上架存放的图书之间，同时控制相应的两个挤压气缸的活塞杆退回，使相应两块挡板向两边背离运动，卸掉挡板对目标存储柜内图书的压力，目标存储柜内图书便保持站立，然后控制右侧的直线电机向右运动一定距离，使右侧的拨片将目标存储柜内位于其右侧的图书向右拨开一定距离进而分离出一定间隙，再控制左侧的直线电机带动左侧的滑块沿着相应的第一滑动导轨运动至目标存储柜的正前侧，然后左侧的步进电机驱动左侧的拨片向后转动90°，使左侧的拨片插入到上述间隙中并与分离后左侧的图书接触，然后控制左侧的直线电机向左运动一定距离，使左侧的拨片将目标存储柜内位于其左侧的图书向左拨开一定距离，进而将目标存储柜内的图书从中间分离出满足待上架图书上架要求的间隙；

（六）、云端控制系统再控制机械手动作，使机械手的抓取机构抓取图书推出口处待上架图书，其中机械手的抓取机构在抓取待上架图书时，根据待上架图书所测算的重量设置适当的夹紧力以便能够夹住该图书的同时保证图书完好，然后机械手运动将待上架图书放入目标存储柜中已分理出的间隙中，抓取机构松开，机械手回位，然后两个步进电机驱动相应的拨片反向转动复位，使拨片从图书中收回，同时目标存储柜中的两个挤压气缸的活塞杆伸出挤压两个压缩弹簧，两个压缩弹簧分别推动两块挡板向中间靠拢，使目标存储柜中图书向中间移动并紧凑排列，之后云端控制系统控制出口气缸的活塞杆退回复位至初始状态，使出口推送板的高度与传送带的高度齐平，为下一本图书的分类上架做准备；

重复步骤（一）—（六），便可将堆叠在入口推送板上所有待上架图书逐个分类并上架到目标书柜的目标存储柜中。

8.根据权利要求7所述的面向智慧图书馆的图书智能上架系统的工作方法，其特征在于：步骤（二）中对待上架图书的重量进行测算的具体步骤为：

（1）重量传感应变片采集到位于其上方的待上架图书的压力后，即可测量出待上架图书的实测重量N；

（2）出口推送板以匀速v推动待上架图书向上运动至图书推出口，此过程中厚度测量传感器采集到待上架图书整体通过厚度测量传感器探测的时间t，采用公式x=v×t计算出待上架图书整体的厚度x；

（3）根据云端控制系统提取该图书的表面积S，运用公式M=ρ×x×S，计算出该图书的理论重量M，其中ρ为图书纸张的平均密度；

（4）如果待上架图书的理论重量M与实测重量N的差值在一定的误差范围内，则将实测重量N作为待上架图书的重量，否则取理论重量M与实测重量N的平均值作为待上架图书的重量。

9.根据权利要求7所述的面向智慧图书馆的图书智能上架系统的工作方法，其特征在于：步骤（二）中云端控制系统对待上架图书的标签特征进行识别和分类的具体方法为：

（1）输入数据预处理

将图书厚度划分为“薄、中、厚”三种特征，并对应表达为“红、绿、蓝”三种图书颜色标签特征；将图书表面积划分为“大、中、小”三种特征，并对应表达为“大、中、小”三种图书尺寸标签特征；图书的颜色标签特征与和尺寸标签特征两两组合，可以得到9组颜色/尺寸标签特征对；

（2）云端控制系统内的YOLOv3算法网络训练

①将带有颜色/尺寸标签特征对的目标图像作为训练集；

②采用DarkNet-53特征提取网络将每个目标图像划分成26×26个网格；

③对每个网格采用K-means方法进行聚类：

采用K-means方法进行聚类时，先对每个网格划分若干个样本框，然后在样本框内随机选取5个代表聚类中心的参考框，然后计算每个样本框与每个参考框的聚类距离，经过多次迭代聚类后，所有样本框划分成最优的5类，将上述5类样本框的中心坐标进行均值化处理，并用分别对应为5个先验框，聚类距离的计算公式为：

上式中，centroid为代表聚类中心的参考框，box为样本框，IOU为样本框与参考的框交互比，d为样本框与参考框之间的聚类距离；

④对目标图像的先验框都给定一个置信度s，其计算公式为：

其中P _r （Object）表示先验框中包含目标图像标签特征对的确定程度，

表示先验框与目标图像标签特征对的交互比；

⑤设置置信度阈值，过滤掉目标图像中置信度小于阈值的先验框；

⑥对剩余先验框进行非极大抑制（NMS）处理，得到目标图像中最优的先验框作为标签特征；

⑦重复上述步骤，训练出具有最优参数的YOLOv3算法网络；

（3）基于YOLOv3算法网络的待上架图书标签特征识别

CCD摄像机采集到传送带上待上架图书的图像，将该图像信息输入到训练出来的YOLOv3算法网络，设置置信度阈值为0.3，输出带标签特征的待上架图书图像；

（4）基于颜色与方向梯度的待上架图书标签特征识别

以步骤（2）中①—⑤的步骤处理步骤（3）中输出的带标签特征的待上架图书图像，设置置信度阈值为0.1，过滤掉部分待上架图书图像特征，对剩余特征按置信度从高到低排序，以训练集中的目标图像为模板，将模板标签特征与排序后的剩余特征进行特征相似度匹配，相似度匹配的依据为代表图书颜色特征用颜色直方图和代表图书尺寸特征的方向梯度直方图；

如果颜色直方图和方向梯度直方图的相似度均大于0.8，则将该剩余特征作为待上架图书候选标签特征，并挑选出颜色直方图相似度最高的候选标签特征作为待上架图书标签特征；

如果待上架图书图像特征被全部过滤掉，或者待上架图书图像所有特征的颜色直方图和方向梯度直方图的相似度均小于0.8，则认为当前视场无待上架图书标签特征；

颜色直方图和方向梯度直方图的相似度均采用相关系数计算法，颜色直方图的相似度公式为：

其中，H ₁、H ₂分别为模板标签特征和待上架图书图像特征的颜色直方图向量，

，H _k（J）为H _k中序号为J的bin的颜色向量统计值，N代表直方图的bin数，

为颜色向量平均值，计算颜色直方图需要将颜色空间划分为若干小的颜色区间，每一个颜色区间称为一个bin，同理，上述公式中将H换成G，则得到方向梯度直方图的相似度公式；

（5）如果步骤（3）所得的待上架图书标签特征与步骤（4）所得的待上架图书标签特征的IOU大于0.95，则取步骤（4）所得的待上架图书标签特征为待上架图书最终标签特征，否则对待上架图书按下一个步骤进行处理；

（6）基于YOLO算法网络的群决策

待上架图书的九组标签特征分别为红小、红中、红大、绿小、绿中、绿大、蓝小、蓝中、蓝大，上述九组标签特征一一对应九种YOLO算法网络，见表1所示，这九种算法网络分别为YOLOv3-1、YOLOv3-2、YOLOv3-3、YOLOv4-1、YOLOv4-2、YOLOv4-3、YOLOv5-1、YOLOv5-2、YOLOv5-3：

表1算法特征匹配表

采用步骤（2）训练上述九种算法网络，训练时设置置信度阈值为0.6，如果先验框的置信度大于0.6，则保留该先验框，九种YOLO算法对每个保留的先验框赋予一个权重，权重值通过YOLO算法网络训练获得，每个保留先验框的综合评分计算公式为：

式中ω ₁~ω ₉为各YOLO算法网络对某一先验框的权重，s ₁ ~s ₉为各YOLO算法网络对某一先验框的置信度；

通过九种YOLO算法得到的最优先验框，其权重在0.2-0.3区间取值，其他保留先验框的权重在0.1-0.2区间取值；

将待上架图书的图像输入到训练出来的九种YOLO算法网络，并进行群决策，如果某一先验框的综合分值大于0.9且为最高分，则认为该先验框为待上架图书标签特征，否则，将CCD相机聚焦至图书左下角并放大四倍再进行特征提取；如果某一先验框的综合分值大于0.9且为最高分，则将该先验框作为待上架图书标签特征，否则，认为待上架图书标签损坏，控制第二平推气缸将待上架图书推到回收仓，等待人工处理；

（7）图书分类

运用OCR算法对提取的待上架图书标签特征进行分类。

10.根据权利要求7所述的面向智慧图书馆的图书智能上架系统的工作方法，其特征在于：步骤（四）具体为：

（1）控制机械手动作使机械臂摄像机靠近目标书柜，对准目标书柜的各个存储柜中已存放的图书书脊底部标签区域，机械臂摄像机一次拍五本图书作为图像输入云端控制系统；

（2）对输入的图像进行灰度转换，根据图像各个通道的采样值进行加权平均，其方法为：

式中，R代表红色通道，G代表绿色通道，B代表蓝色通道；

（3）对图像进行高斯滤波，根据待滤波的像素点及其领域点的灰度值按照一定的参数规则进行加权平均，可以有效滤去理想图像中叠加的高频噪声，这里通过一个二维高斯核一次卷积实现：

式中σ为标准差，x，y为像素点坐标；

（4）用一阶偏导的有限差分来计算梯度的幅值和方向，这里的Canny算法所采用的卷积算子如下：

s _x 和s _y 分别为x，y方向偏导数计算模板；

其x向一阶偏导数矩阵、y向一阶偏导数矩阵、梯度幅值以及梯度方向的数学表达式为：

其中，f为图像灰度值，P为x向一阶偏导数矩阵，Q为y向一阶偏导数矩阵，M为某一像素点的梯度幅值，θ为梯度方向，i，j为像素点的坐标；

（5）对梯度幅值进行非极大值抑制，寻找像素点局部最大值，将非极大值点所对应的灰度值置位0，可剔除一大部分非边缘的点；

（6）采用双阀值来区分边缘像素，如果边缘像素点梯度值大于高阀值，则被认为是强边缘点，如果边缘梯度值小于高阀值，大于低阀值，则被标记为弱边缘点，如果边缘梯度值小于低阀值点则被抑制掉；

（7）滞后边界跟踪，强边缘点可以认为是真的边缘，弱边缘点则可能是真的边缘，也有可能是噪声或者颜色变化引起的，故检查弱边缘点的八连通领域像素，只要有强边缘点存在，那么这个弱边缘点则会被认为是真的边缘保留下来，反之则去除，所保留下来的强边缘点，连接成轮廓，为标签的轮廓；

（8）将所提取到的标签边缘进行OCR分类识别，识别出图书的种类；

（9）若未检测到相应的图书区域，则机械臂摄像机继续向左、向右、向上或向下走，再拍5本书，以此类推，直至找到对应的区域。

Images