CN111823220A - 一种智能取书机器人及其运行方法 - Google Patents

Abstract

一种智能取书机器人及其运行方法，包括主控制系统，所述的主控制系统的输入端分别连接导航模块、图书识别模块和电源管理模块，所述的主控制系统的输出端连接移动平台模块和机械抓取模块，所述的主控制系统通过无线连接远程控制系统。本发明能够实现对书籍的查找、识别、抓取及搬运功能，减轻图书管理人员的负担，并提高学生借阅图书的效率。

Description

一种智能取书机器人及其运行方法

技术领域

本发明涉及书籍图像识别技术领域，特别涉及一种智能取书机器人及其运行方法。

背景技术

近年来，随着科学技术的快速发展，图书馆的发展逐渐趋向于大型化，书籍管理的任务将会越来越繁重，图书的清理、上下架、搬运、分类等重复性的工作耗费管理人员大量的时间和精力，馆藏和管理模式之间的矛盾日益加剧。同时，学生在图书馆借阅书籍时，面对庞大的馆藏通常难以快速准确的找到所需书籍，因此，将智能取书机器人运用到图书馆的日常管理中，减轻工作人员的烦琐劳作成为发展的趋势。

本项目的研究目的是将图像识别技术与嵌入式开发技术相结合，设计一个智能取书机器人，实现对书籍的查找、识别、抓取及搬运功能，减轻图书管理人员的负担，并提高学生借阅图书的效率。

发明内容

为了克服上述现有技术的不足，本发明的目的在于提供一种智能取书机器人及其运行方法，能够实现对书籍的查找、识别、抓取及搬运功能，减轻图书管理人员的负担，并提高学生借阅图书的效率。

为了实现上述目的，本发明采用的技术方案是：

一种智能取书机器人，包括主控制系统，所述的主控制系统的输入端分别连接导航模块、图书识别模块和电源管理模块，所述的主控制系统的输出端连接移动平台模块和机械抓取模块，所述的主控制系统通过无线连接远程控制系统。

所述的主控制系统负责与各功能模块的信息接收和指令发布，采用STM32F405单片机作为机械抓取模块的控制器，通过WIFI模块与远程控制系统进行通讯，接收远程控制系统发送的指令，实现图书抓取功能。

所述的电源管理模块包括电压转换模块，电量检测模块以及自动充电模块；电压转换模块采用24V的锂电池进行供电，通过各种稳压芯片，将24V电压转换成各模块所需的电压；

所述的电量检测模块用于检测电池剩余的电量；

所述的自动充电模块包括机器人充电桩，机器人充电桩固定在设定的区域内，机器人上装有充电的接口装置，当机器人检测到自己电量不足的时候，会自动移动到充电区域，实现机器人自动充电功能。

所述的导航模块用于在图书馆的地面规划好智能取书机器人的移动路径，在地面上铺设相应路径的地磁线。

所述的移动平台模块由Arduino单片机，1个电机驱动板和4个电机组成。移动平台采用轮式结构的，机身由定制的亚克力板、铝板、铁板后自行拼接而成，Arduino单片机输出端通过电机驱动板驱动电机，电机分别两两位于移动平台模块两侧。

所述的机械抓取模块包括伸缩杆和夹持器，所述的夹持器设置在伸缩杆上方，伸缩杆由三个步进电机控制，实现机器人的夹持器上下、左右、前后的移动，夹持器由两片与舵机相连的可张闭的机械手手爪组成，所述的机械手手爪的夹持面上有许多浅槽。

所述的远程控制系统用于与用户的交互，给机器人发送指令。

一种智能取书机器人运行方法，包括以下步骤；

步骤一：

对摄像头采集到的图像进行图像预处理，使用高斯滤波对图像进行降噪；

式中x，y为像素点坐标，σ为方差；

步骤二：

对书籍模板图和搜索图像进行FAST特征点检测，FAST特征点检测的公式为：

式中P为中心像素点，x表示任意像素点，Ix表示任意像素点的灰度值，d(darker)表示任意点像素比中心像素更暗，s(similar)表示任意点像素与中心像素相似，b(brighter)表示任意点像素比中心像素更亮；

步骤三：

对检测出的特征点进行特征点描述，在邻域中随机选取N对(x,y)，重复进行上一步的二进制赋值，最后把区域内所有点对的比较结果串成一个二值位字符串的形式，即生成BRIEF描述子；

其中

式中p(x)、p(y)分别为随机点x＝(u1,u2)、y＝(u2,v2)所在5X5子窗口的像素和；

步骤四:

采用汉明距离对模板图和搜索图的BRIEF描述子进行匹配，两个特征描述子之间的汉明距离为：

式中H₁,H₂为256位的编码，x_i,y_i为H₁,H₂的每一位；D的值越小，表明两个特征点相似度越高，若D满足设定的汉明距离，则两个特征点匹配成功，从而得到两幅图像对应特征点的坐标，利用FAST算法提取的特征点和BRIEF特征描述子，计算模板图像上的任意一个特征点到目标图像任意一个特征点的汉明距离，当汉明距离小于设定值时，则该点为最佳匹配特征点；

步骤五：

根据匹配点对，计算出模板图和搜索图之间的单应性矩阵，并根据单应性矩阵，在搜索图中标注出书籍的位置；

步骤六：

根据索书号标签的颜色多为白色，字符为黑色的特点，采用多阈值的分割方法将索书号所在区域分割出来；

步骤七：

利用训练好的卷积神经网络模型对分割出来的图像进行字符识别，确认图书的索书号；

步骤八：

确定好图书后，根据步骤五获取的坐标，根据机器人的运动学模型将其转换为机器人坐标，然后通过逆运动学求解各关节的旋转角度，通过输出PWM控制舵机及步进电机，抓取书籍。

本发明的有益效果：

机器人技术在图书馆的应用将会从根本上改变当前图书馆的服务方式，非常方便读者找到自己想要的书籍。图书馆机器人作为服务创新的一个重要方式极大提高图书馆的服务水平，提升用户的满意度。

附图说明

图1为本发明的系统总体结构图。

图2为本发明的图书索书号识别流程图。

图3为本发明移动平台示意图。

图4为本发明抓取装置结构示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1所示：一种智能取书机器人，包括主控制系统，所述的主控制系统的输入端分别连接导航模块、图书识别模块和电源管理模块，所述的主控制系统的输出端连接移动平台模块和机械抓取模块，所述的主控制系统通过无线连接远程控制系统。

1.主控制系统：

本系统以树莓派作为智能取书机器人的主控制器，负责与各功能模块的信息接收和指令发布。智能取书机器人主要由运动控制部分和机械控制部分组成。运动控制部分实现智能图书机器人的移动和避障，Arduino单片机作为移动平台的控制器。机械控制部分实现对图书的抓取与存放，采用STM32F405单片机作为机械抓取结构的控制器。智能取书机器人通过WIFI模块与远程控制系统进行通讯，接收远程控制系统发送的指令，实现图书抓取功能。

2.电源管理模块：

电源管理主要包括电压转换，电量检测以及自动充电。

电压转换：电源的供给对于整个系统非常重要，各个模块的电压要求不是统一的标准，因此需要对电池的供电电压进行调节，以满足各个模块的电压需求。本系统主要采用24V的锂电池进行供电，通过各种稳压芯片，将24V电压转换成各模块所需的电压。

电量检测：当机器人的电量不足时，很多功能模块动力不够，很可能出现失控的行为，而且各种传感器和主控的稳定性也会有很大的影响，甚至放电过多对电池的损害也非常大。同时通过电量检测，时刻了解机器人的电量情况，及时进行自动充电。所以电量检测是至关重要。

自动充电：为防止机器人电量用完导致无法正常工作的情况，本系统设计了自动充电功能。机器人充电桩固定在设定的区域内，机器人上装有充电的接口装置。当机器人检测到自己电量不足的时候，会自动移动到充电区域，实现机器人自动充电功能。

3.导航模块：

在图书馆的地面规划好智能取书机器人的移动路径，在地面上铺设相应路径的地磁线。当智能取书机器人需要移动到某书架前时，智能取书机器人会沿着规划好的电磁线进行移动。同时在机器人前后安装超声波传感器，当智能取书机器人遇到人后，立即停止，并提醒人员不要挡住路线。待前方没有障碍物时，智能取书机器人继续移动到预定的区域。

4.移动平台模块：

移动平台主要由Arduino单片机，1个电机驱动板和4个电机组成。移动平台采用轮式结构的，机身由定制的亚克力板、铝板、铁板后自行拼接而成，能够在狭小空间内实现平稳，快速移动，提高图书馆空间利用率。(如图3所示)

5.机械抓取模块：

机器人的机械抓取模块主要由伸缩杆和夹持器组成。伸缩杆由三个步进电机控制，实现机器人的夹持器上下、左右、前后的移动。夹持器由两片与舵机相连的可张闭的机械手手爪组成，在机械手手爪的夹持面上有许多浅槽，增加手爪表面的粗糙程度，能够增大夹持器在夹取图书时的稳定性。(如图4所示)

6.远程控制系统：

远程控制器系统的主要作用是与用户的交互，给机器人发送指令。远程控制系统的核心是上位机，由于PC的可扩展性较强，开发难易程度较容易，所以首先选用在PC上开发上位机。远程控制器系统可以为用户提供书籍的状况查询，借还书籍的功能。当用户需要借阅某本图书时，远程控制器系统向智能取书机器人发送指令，智能取书机器人会根据指令移动到预定的区域，寻找所抓取的图书。

7.图书识别模块：

图书索书号的识别是由机器人夹持装置上方的CCD摄像头采集图像，经过图像预处理，并通过确定多阈值的阈值范围来分割索书号区域，最后利用训练好的神经网络完成对索书号字符的识别，确定需要抓取图书的位置。

如图2所示：一种智能取书机器人运行方法，包括以下步骤；

步骤一：

对摄像头采集到的图像进行图像预处理，使用高斯滤波对图像进行降噪；

式中x，y为像素点坐标，σ为方差；

步骤二：

对书籍模板图和搜索图像进行FAST特征点检测，FAST特征点检测的公式为：

式中P为中心像素点，x表示任意像素点，Ix表示任意像素点的灰度值，d(darker)表示任意点像素比中心像素更暗，s(similar)表示任意点像素与中心像素相似，b(brighter)表示任意点像素比中心像素更亮；

步骤三：

对检测出的特征点进行特征点描述，在邻域中随机选取N对(x,y)，重复进行上一步的二进制赋值，最后把区域内所有点对的比较结果串成一个二值位字符串的形式，即生成BRIEF描述子；

其中

式中p(x)、p(y)分别为随机点x＝(u1,u2)、y＝(u2,v2)所在5X5子窗口的像素和；

步骤四:

采用汉明距离对模板图和搜索图的BRIEF描述子进行匹配，两个特征描述子之间的汉明距离为：

式中H₁,H₂为256位的编码，x_i,y_i为H₁,H₂的每一位；D的值越小，表明两个特征点相似度越高，若D满足设定的汉明距离，则两个特征点匹配成功，从而得到两幅图像对应特征点的坐标，利用FAST算法提取的特征点和BRIEF特征描述子，计算模板图像上的任意一个特征点到目标图像任意一个特征点的汉明距离，当汉明距离小于设定值时，则该点为最佳匹配特征点；

步骤五：

根据匹配点对，计算出模板图和搜索图之间的单应性矩阵，并根据单应性矩阵，在搜索图中标注出书籍的位置；

步骤六：

根据索书号标签的颜色多为白色，字符为黑色的特点，采用多阈值的分割方法将索书号所在区域分割出来；

步骤七：

利用训练好的卷积神经网络模型对分割出来的图像进行字符识别，确认图书的索书号；

步骤八：

确定好图书后，根据步骤五获取的坐标，根据机器人的运动学模型将其转换为机器人坐标，然后通过逆运动学求解各关节的旋转角度，通过输出PWM控制舵机及步进电机，抓取书籍。

Claims (8)

1.一种智能取书机器人，其特征在于，包括主控制系统，所述的主控制系统的输入端分别连接导航模块、图书识别模块和电源管理模块，所述的主控制系统的输出端连接移动平台模块和机械抓取模块，所述的主控制系统通过无线连接远程控制系统。

2.根据权利要求1所述的一种智能取书机器人，其特征在于，所述的主控制系统负责与各功能模块的信息接收和指令发布，采用STM32F405单片机作为机械抓取模块的控制器，通过WIFI模块与远程控制系统进行通讯，接收远程控制系统发送的指令，实现图书抓取功能。

3.根据权利要求1所述的一种智能取书机器人，其特征在于，所述的电源管理模块包括电压转换模块，电量检测模块以及自动充电模块；电压转换模块采用24V的锂电池进行供电，通过各种稳压芯片，将24V电压转换成各模块所需的电压；

所述的电量检测模块用于检测电池剩余的电量；

所述的自动充电模块包括机器人充电桩，机器人充电桩固定在设定的区域内，机器人上装有充电的接口装置，当机器人检测到自己电量不足的时候，会自动移动到充电区域，实现机器人自动充电功能。

4.根据权利要求1所述的一种智能取书机器人，其特征在于，所述的导航模块用于在图书馆的地面规划好智能取书机器人的移动路径，在地面上铺设相应路径的地磁线。

5.根据权利要求1所述的一种智能取书机器人，其特征在于，所述的移动平台模块由Arduino单片机，1个电机驱动板和4个电机组成，移动平台采用轮式结构的，机身由定制的亚克力板、铝板、铁板后自行拼接而成，Arduino单片机输出端通过电机驱动板驱动电机，电机分别两两位于移动平台模块两侧。

6.根据权利要求1所述的一种智能取书机器人，其特征在于，所述的机械抓取模块包括伸缩杆和夹持器，所述的夹持器设置在伸缩杆上方，伸缩杆由三个步进电机控制，实现机器人的夹持器上下、左右、前后的移动，夹持器由两片与舵机相连的可张闭的机械手手爪组成，所述的机械手手爪的夹持面上有许多浅槽。

7.根据权利要求1所述的一种智能取书机器人，其特征在于，所述的远程控制系统用于与用户的交互，给机器人发送指令。

8.基于权利要求1所述的一种智能取书机器人运行方法，其特征在于，包括以下步骤；

步骤一：

对摄像头采集到的图像进行图像预处理，使用高斯滤波对图像进行降噪；

步骤二：

对书籍模板图和搜索图像进行FAST特征点检测，FAST特征点检测的公式为：

步骤三：

对检测出的特征点进行特征点描述，在邻域中随机选取N对(x,y)，重复进行上一步的二进制赋值，最后把区域内所有点对的比较结果串成一个二值位字符串的形式，即生成BRIEF描述子；

其中

步骤四:

采用汉明距离对模板图和搜索图的BRIEF描述子进行匹配，两个特征描述子之间的汉明距离为：

D的值越小，表明两个特征点相似度越高，若D满足设定的汉明距离，则两个特征点匹配成功，从而得到两幅图像对应特征点的坐标，利用FAST算法提取的特征点和BRIEF特征描述子，计算模板图像上的任意一个特征点到目标图像任意一个特征点的汉明距离，当汉明距离小于设定值时，则该点为最佳匹配特征点；

步骤五：

根据匹配点对，计算出模板图和搜索图之间的单应性矩阵，并根据单应性矩阵，在搜索图中标注出书籍的位置；

步骤六：

根据索书号标签的颜色多为白色，字符为黑色的特点，采用多阈值的分割方法将索书号所在区域分割出来；

步骤七：

利用训练好的卷积神经网络模型对分割出来的图像进行字符识别，确认图书的索书号；

步骤八：

确定好图书后，根据步骤五获取的坐标，根据机器人的运动学模型将其转换为机器人坐标，然后通过逆运动学求解各关节的旋转角度，通过输出PWM控制舵机及步进电机，抓取书籍。

Images