CN111823236A - 一种图书馆管理机器人及其控制方法 - Google Patents

一种图书馆管理机器人及其控制方法 Download PDF

Info

Publication number
CN111823236A
CN111823236A CN202010726635.5A CN202010726635A CN111823236A CN 111823236 A CN111823236 A CN 111823236A CN 202010726635 A CN202010726635 A CN 202010726635A CN 111823236 A CN111823236 A CN 111823236A
Authority
CN
China
Prior art keywords
module
book
target
bookshelf
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010726635.5A
Other languages
English (en)
Inventor
陈洋卓
杨宁
徐婷钰
莫西
徐思禹
刘庆涛
方伟昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202010726635.5A priority Critical patent/CN111823236A/zh
Publication of CN111823236A publication Critical patent/CN111823236A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10366—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications
    • G06K7/10376—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications the interrogation device being adapted for being moveable

Abstract

本发明公开了一种图书馆管理机器人及其控制方法，所述机器人包括导航模块、行走模块、识别模块、取书模块和主控模块；所述导航模块、行走模块、识别模块和取书模块均与主控模块相连；所述导航模块，根据目的书籍所在书架位置信息和自身位置，实现点到点的最优路径规划与导航；所述主控模块按照导航模块的导航，控制行走模块在书架之间移动，使机器人移动至目的书籍所在书架位置附近；所述识别模块，用于在目的书籍所在书架位置附近识别目的书籍；所述主控模块按照识别模块的识别结果，控制取书模块抓取目的书籍，并将目的书籍正确安全地放在托书板上。本发明缩短了找书的时间，实现了取书智能化。

Description

一种图书馆管理机器人及其控制方法
技术领域
本发明涉及一种图书馆管理机器人及其控制方法。
背景技术
随着图书的普及，图书馆中的书籍储量太大，读者在借阅图书的过程中需要搜索图书的所在位置，无法准确定位，对读者翻阅、借读也带来了一定的麻烦。同时图书逐册核对登记并与馆藏数据进行对比和图书盘点等工作，将耗费管理员大量的时间和精力用于图书的分类、整理、上下架和搬运等工作，任务繁重，劳动强度大。
图书馆机器人能够实现图书馆的优化管理，帮助读者自助取书，完成大批量图书的搬运及存放工作，缩短人工的存取和整理书籍时间，有效替代图书馆的人力管理模式。因此，有必要设计一种能够缩短找书的时间，实现取书智能化的图书馆管理机器人及其控制方法。
发明内容
本发明所解决的技术问题是，针对现有技术的不足，提供一种图书馆管理机器人及其控制方法，缩短了找书的时间，实现了取书智能化。
本发明提供的技术方案如下：
一方面，本发明提供一种图书馆管理机器人，包括导航模块、行走模块、识别模块、取书模块和主控模块；所述导航模块、行走模块、识别模块和取书模块均与主控模块相连；
所述导航模块，根据目的书籍所在书架位置信息和自身位置，实现点到点的最优路径规划与导航；所述主控模块按照导航模块的导航，控制行走模块在书架之间移动，使机器人移动至目的书籍所在书架位置附近；
所述识别模块，用于在目的书籍所在书架位置附近识别目的书籍；所述主控模块按照识别模块的识别结果，控制取书模块抓取目的书籍，并将目的书籍正确安全地放在托书板上。
进一步地，所述导航模块包括激光雷达无轨导航模块；激光雷达无轨导航模块包括信号接收端，接收到目的书籍所在书架位置信息后对其进行准确定位，且图书馆机器人可以在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和激光雷达等传感器数据进行自身定位，并对所处环境进行地图建模，及时更新地图信息(在自身定位的基础上建造增量式地图)，进行最优路径规划。
进一步地，所述行走模块包括四个麦克纳姆全向轮；
四个麦克纳姆全向轮安装在图书馆管理机器人运输平台底盘上，每个麦克纳姆全向轮由一个电机驱动；电机支架直接安装在底盘上，四个麦克纳姆全向轮在同一水平面；
机器人通过4个麦克纳姆全向轮转动速度的配合可以实现任意方向的转动，行动灵活，提高了行进速度；并配合激光雷达无轨导航模块可以准确快捷避开障碍物，到达目的书架。
进一步地，所述识别模块包括RFID射频识别模块；所述的RFID射频识别模块包括RFID电子标签和RFID读写模块；RFID电子标签嵌入图书的内部，RFID读写模块跟随行走模块在书架之间进行运动，通过无线电讯号快速采集和辨识书籍信息，自动辨识与追踪目的书籍。通过射频识别技术可以帮助机器人获取更多的信息，如机器人行走过程中，主控模块可通过RFID读写模块读取途经书籍的RFID电子标签，从中获取其所在的书架信息，从而辅助导航模块进行自身定位，从而实现自动化和智能化，以解决由于金属书架、信号干扰、书籍厚薄情况等因素导致的读取书籍信息和准确定位难的问题。
进一步地，所述识别模块包括摄像头和图像处理模块；所述摄像头由三轴运动平台带动在书架层间进行小范围移动和图像采集，图像处理模块对摄像头采集到的图像进行处理，识别书架和书籍信息，进一步实现目的书籍的判定和精准定位(三维坐标)。
进一步地，所述的取书模块包括依次连接的机械杆、机械臂和机械手，所述机械杆与机械臂之间、机械臂与机械手之间均采用活动连接；所述机械杆安装在三轴运动平台上；主控模块按照识别模块的识别结果，通过电机驱动三轴运动平台，从而带动机械杆在水平面前后、左右移动、在垂直平面上下移动，从而使机械手靠近目的书籍，对目的书籍进行抓取。
进一步地，所述图书馆管理机器人还包括与主控模块相连的显示屏和人工交互模块；所述显示屏提供可供选择的书籍，读者或管理人员通过人机交互模块选定显示屏上的目的书籍后，述主控模块将目的书籍所在书架位置信息(还可以包括目的书籍所在的书架层数信息)发送给导航模块。
另一方面，本发明提供一种图书馆管理机器人的控制方法，包括以下步骤：
步骤1、所述导航模块，根据目的书籍所在书架位置信息和自身位置，实现点到点的最优
路径规划与导航；
步骤2、所述主控模块按照导航模块的导航，控制行走模块在书架之间移动，使机器人移动至目的书籍所在书架位置附近；
步骤3、所述识别模块在目的书籍所在书架位置附近识别目的书籍，定位目的书籍位置；
步骤4、所述主控模块按照识别模块的识别结果，控制取书模块抓取目的书籍，并将目的书籍正确安全地放在托书板上。
进一步地，所述步骤3中，先通过RFID读写模块扫描图书的RFID电子标签，快速采集和辨识书籍信息，追踪目的书籍；主控模块可从目的书籍的RFID电子标签中读取其所在的书架层数(主控模块也可从图书馆数据库中存储的目的书籍信息中读取其所在的书架层数)，后续基于该层数对摄像头采集到的图像文件进行裁剪；
再通过机械杆带动摄像头在RFID读写模块追踪到的目的书籍附近进行小范围移动和图像采集，并通过图像处理模块对摄像头采集到的图像进行处理，以识别书籍信息，进一步实现目的书籍的判定和精准定位。
进一步地，所述图像处理模块对摄像头采集到的图像进行处理包括以下步骤：
先利用角点检测算法识别图像中的角点，即书架的几何角点，以实现书架的识别和定位；
然后根据书架的识别和定位结果对图像文件进行裁剪，保留目的书籍所在的书架层部分；后续只需要对保留部分即原图像局部的文字进行提取，提高文字信息提取的速度，减少书籍信息识别的运算量，缩小书籍定位范围，便于快速精准识别和定位；
最后对裁剪后的图像进行文字提取。
进一步地，所述角点检测算法采用FAST特征点检测算法；利用FAST特征点检测算法识别图像中的角点，具体包括以下步骤：
对比以p为中心，半径为3的圆(Bresenham圆)上分布的16个像素点灰度值，若存在n个连续的像素点满足灰度值均小于lp-t或均大于lp+t，且10≤n≤14，则判断p为书架(识别对象)的候选点；其中lp为像素点p的灰度值，t为灰度值差值阈值；
若以候选点p为中心的3*3的邻域内存在多个候选点，则继续判断这些候选点中p的score值是否最大，若是，则p为特征点(角点)，否则舍去p；其中p的score值计算公式为
Figure BDA0002602003260000031
其中lpi为以p为中心，半径为3的圆上分布的第i个像素点pi的灰度值；
若以候选点p为中心的3*3的邻域内，只有一个候选点p，则保留p作为特征点(角点)。
上述步骤中，根据图书馆的书架的几何特点和有效提取文字的需求改进了现有FAST特征点检测算法中候选点的判断条件，以使改进后的FAST特征点检测算法检测出的候选点(角点)p对应的角度θ大致在45°～135°范围内，从而筛除掉图片中畸变严重、难以进行文字提取的书架部分的角点。
进一步地，利用Canny算法对裁剪后的图像进行文字提取，具体包括以下步骤：
设定逐次递增的阈值搜索区间，循坏进行多次搜索，每一次搜索过程中，先使用Canny算法提取多个分散的字符区域，再对分散的字符区域进行多次纵向区域兼并运算，得到多个不同的字符兼并区域，对应不同的待识别书籍的字符信息(该步骤中根据图书馆摆放书籍的特点，区域兼并运算采用纵向区域兼并运算，从而能够兼并同一书籍的信息，区分不同书籍的信息)；如果当前搜索得到的多个字符兼并区域的最大宽度小于上一次搜索得到的多个字符兼并区域的最大宽度(即可被查找到的字符个数将呈下降趋势)，则停止循坏，将上一次搜索得到的多个字符兼并区域作为最终的搜索结果；该方法可以在避免提取多余线条的同时最大化可被查找到的字符个数，提高在图像中提取字符的效率；
对搜索结果进行文字识别，得到不同书籍的文字信息，实现目的书籍的识别，结合三维坐标系得到目的书籍在书架上的精确位置，实现目的书籍的精准定位。
进一步地，所述步骤3中，主控模块采用插补算法对三轴运动平台的步进电机进行控制，驱动三轴运动平台带动机械杆在小范围内精确移动；
进一步地，所述步骤4中，主控模块通过自适应算法，根据书籍厚薄情况调整参数，以保证书籍的完好和稳定取放，利用机械杆端部安装的机械手以及拨书手指抓取目的书籍。通过机械臂的灵活旋转将取得的图书放置在托书板，实现一次性取得多本图书。
有益效果：
本发明提供了一种图书馆管理机器人及其控制方法，能够实现自动定位图书，自助快速找书、借书和取书，缩短了找书的时间，实现了取书智能化。具有以下优点：
(1)目前的大多数图书馆机器人进行定位时多采用GPS定位方法，GPS是基于卫星通讯的导航定位系统实现的，主要应用于室外定位，定位精度不高，且在室内还受到各种因素的影响。另一种比较常见的是视觉传感定位系统，主要借助视觉传感器完成。但是这两种都不适用于图书馆内复杂的环境，其干扰因素比较多，定位不够准确，定位时间长，效率不高。本发明基于激光雷达无轨导航模块可以实现机器人同步自主定位、地图建模与无轨导航，定位精度高、导航效率高。基于此的机器人可以实现快速定位，节省找书的时间。
(2)本发明采用麦克纳姆全向轮与激光雷达无轨导航技术结合，实现图书馆机器人全方位的移动，寻找目的书籍所在的书架的位置，也有利于绕过障碍物，加快了定位和行进的速度。使机器人在书架间自由穿梭、完成盘点、寻书等工作。
(3)目前市面上出现的图书馆智能机器人进行扫描图书时多采用了图书条形码，扫描条形码必须在近距离而且没有物体阻挡的情况下，才可以辨读条形码，扫描范围小且定位不准确，条形码容易随着时间推移出现损坏，无法正确读取图书信息，获取错误图书。本发明采用RFID射频识别技术，实现非接触识别，它能穿透雪、雾、冰、涂料、尘垢等，能在条形码无法使用的恶劣环境里阅读标签，扫描技术更加灵活，支持准确抓取图书，并且阅读速度极快，可以识别高速运动物体并可同时识别多个标签，操作快捷方便，提高了图书馆机器人读取信息的效率。
(4)本发明通过图像处理技术获取书架上目的书籍的精确位置，用摄像头实时捕捉图像，结合FAST特征点检测算法、Canny算法和纵向区域兼并运算识别书籍、精确定位书架上不同书本，具有高效性，保证了取书的准确率。
(5)本发明通过步进电机结合插补算法精确控制实现机械臂的移动，配合机械手以及拨书手指完成取放书籍任务，扩大有效识别范围，实现精准定位抓取。
附图说明
图1是图书馆管理机器人结构示意图。
图2是机械臂的三轴移动平台结构图。
图3是本发明实现取书任务的流程图。
附图标记说明：
1.主控模块；2.机械手；3.摄像头；4.显示屏；5.托书板；6.麦克纳姆全向轮；7.激光雷达无轨导航模块；8.机械杆；9.RFID读写模块。
具体实施方式
下面结合附图与实施例对本发明进行进一步的说明。
实施例1：
本实施例提供一种图书馆管理机器人，包括导航模块、行走模块、识别模块、取书模块和主控模块；所述导航模块、行走模块、识别模块和取书模块均与主控模块相连；
所述导航模块，根据目的书籍所在书架位置信息和自身位置，实现点到点的最优路径规划与导航；所述主控模块按照导航模块的导航，控制行走模块在书架之间移动，使机器人移动至目的书籍所在书架位置附近；
所述识别模块，用于在目的书籍所在书架位置附近识别目的书籍；所述主控模块按照识别模块的识别结果，控制取书模块抓取目的书籍，并将目的书籍正确安全地放在托书板上。
进一步地，所述导航模块采用激光雷达无轨导航模块；激光雷达无轨导航模块包括信号接收端，接收到目的书籍所在书架位置信息后对其进行准确定位，且图书馆机器人可以在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和激光雷达等传感器数据进行自身定位，并对所处环境进行地图建模，及时更新地图信息(在自身定位的基础上建造增量式地图)，进行最优路径规划。
进一步地，所述行走模块包括四个麦克纳姆全向轮；
四个麦克纳姆全向轮安装在图书馆机器人运输平台底盘上，每个麦克纳姆全向轮由一个电机驱动；电机支架直接安装在底盘上，四个麦克纳姆全向轮在同一水平面；机器人通过4个麦克纳姆全向轮转动速度的配合可以实现任意方向的转动，行动灵活，提高了行进速度；并配合激光雷达无轨导航模块可以准确快捷避开障碍物，到达目的书架。
进一步地，所述识别模块包括RFID射频识别模块；所述的RFID射频识别模块包括RFID电子标签和RFID读写模块；RFID电子标签嵌入图书的内部，RFID读写模块跟随行走模块在书架之间进行运动，通过无线电讯号快速采集和辨识书籍信息，自动辨识与追踪目的书籍。进一步地，所述识别模块包括摄像头和图像处理模块；所述摄像头由三轴运动平台带动在书架层间进行小范围移动和图像采集，图像处理模块对摄像头采集到的图像进行处理，识别书架和书籍信息，进一步实现目的书籍的判定和精准定位(三维坐标)。
进一步地，所述的取书模块包括依次连接的机械杆、机械臂和机械手，所述机械杆与机械臂之间、机械臂与机械手之间均采用活动连接；所述机械杆安装在三轴运动平台上；主控模块按照识别模块的识别结果，通过电机驱动三轴运动平台，从而带动机械杆在水平面前后、左右移动、在垂直平面上下移动，从而使机械手靠近目的书籍，对目的书籍进行抓取。
进一步地，如图1所示，所述运输平台即三轴运动平台；所述导航模块、行走模块、识别模块、取书模块和主控模块均设置在三轴运动平台上；所述的摄像头3和RFID读写模块9均设置在机械臂靠近机械手的位置，三轴运动平台电机控制机械杆8的前后、左右和上下移动，牵引摄像头3和RFID读写模块9在书架进行图书扫描，同时也带动机械臂在不同位置间运动。
进一步地，所述图书馆管理机器人还包括与主控模块相连的显示屏(液晶触摸显示屏)和人工交互模块；所述显示屏提供可供选择的书籍，读者或管理人员通过人机交互模块选定显示屏上的目的书籍后，述主控模块将目的书籍所在书架位置信息(还可以包括目的书籍所在的书架层数信息)发送给导航模块。
主控模块与图书馆数据库建立连接，结合RFID射频识别模块获得书籍的具体位置信息，采用麦克纳姆全向轮以提高机器人运动的灵活性，结合激光雷达无轨导航模块实现无轨导航与避障，引导机器人到达目的书籍所在的书架的位置，通过FAST特征点检测算法结合Canny算法和纵向区域兼并运算识别图像信息，判定书籍位置，步进电机驱动移动平台使机械手小范围的移动，进一步确定书的位置，然后通过步进电机结合插补算法精确控制实现机械臂的升降，利用机械手配合拨书手指完成取书。取书机械手2将目的图书放置在托书板5上。
实施例2：
本实施例提供一种图书馆管理机器人的控制方法，包括以下步骤：
步骤1、所述导航模块，根据目的书籍所在书架位置信息和自身位置，实现点到点的最优
路径规划与导航；
步骤2、所述主控模块按照导航模块的导航，控制行走模块在书架之间移动，使机器人移动至目的书籍所在书架位置附近；
步骤3、所述识别模块在目的书籍所在书架位置附近识别目的书籍，定位目的书籍位置；
步骤4、所述主控模块按照识别模块的识别结果，控制取书模块抓取目的书籍，并将目的书籍正确安全地放在托书板(可设置在机械杆下方)上。
进一步地，所述步骤3中，先通过RFID读写模块扫描图书的RFID电子标签，快速采集和辨识书籍信息，追踪目的书籍；主控模块可从目的书籍的RFID电子标签中读取其所在的书架层数(主控模块也可从图书馆数据库中存储的目的书籍信息中读取其所在的书架层数)，后续基于该层数对摄像头采集到的图像文件进行裁剪；
再通过机械杆带动摄像头在RFID读写模块追踪到的目的书籍附近进行小范围移动和图像采集，并通过图像处理模块对摄像头采集到的图像进行处理，以识别书籍信息，进一步实现目的书籍的判定和精准定位。
进一步地，所述图像处理模块对摄像头采集到的图像进行处理包括以下步骤：
首先，利用角点检测算法识别图像中的角点，即书架的几何角点，以实现书架的识别和定位；具体地，所述角点检测算法采用FAST特征点检测算法；利用FAST特征点检测算法识别图像中的角点，具体包括以下步骤：
对比以p为中心，半径为3的圆(Bresenham圆)上分布的16个像素点灰度值，若存在n个连续的像素点满足灰度值均小于lp-t或均大于lp+t，且10≤n≤14，则判断p为书架(识别对象)的候选点；其中lp为像素点p的灰度值，t为灰度值差值阈值；
若以候选点p为中心的3*3的邻域内存在多个候选点，则继续判断这些候选点中p的score值是否最大，若是，则p为特征点(角点)，否则舍去p；其中p的score值计算公式为
Figure BDA0002602003260000081
其中lpi为以p为中心，半径为3的圆上分布的第i个像素点pi的灰度值；
若以候选点p为中心的3*3的邻域内，只有一个候选点p，则保留p作为特征点(角点)。
然后，根据书架的识别和定位结果对图像文件进行裁剪，保留目的书籍所在的书架层部分；最后，对裁剪后的图像进行文字提取；具体地，利用Canny算法对裁剪后的图像进行文字提取，包括以下步骤：设定逐次递增的阈值搜索区间，循坏进行多次搜索，每一次搜索过程中，先使用Canny算法提取多个分散的字符区域，再对分散的字符区域进行多次纵向区域兼并运算，得到多个不同的字符兼并区域，对应不同的待识别书籍的字符信息(该步骤中根据图书馆摆放书籍的特点，区域兼并运算采用纵向区域兼并运算，从而能够兼并同一书籍的信息，区分不同书籍的信息)；如果当前搜索得到的多个字符兼并区域的最大宽度小于上一次搜索得到的多个字符兼并区域的最大宽度(即可被查找到的字符个数将呈下降趋势)，则停止循坏，将上一次搜索得到的多个字符兼并区域作为最终的搜索结果。
进一步地，所述步骤3中，主控模块采用插补算法对三轴运动平台的步进电机进行控制，驱动三轴运动平台带动机械杆在小范围内精确移动；
进一步地，所述步骤4中，主控模块通过自适应算法，根据书籍厚薄情况调整参数，以保证书籍的完好和稳定取放，利用机械杆端部安装的机械手以及拨书手指抓取目的书籍。通过机械臂的灵活旋转将取得的图书放置在托书板，实现一次性取得多本图书。
本实施例中读者通过机器人取书包括六个阶段，具体为：
第一阶段：读者在通过人机交互模块搜索目的书籍；主控模块将读者选定的目的书籍信息发送给雷达无轨导航模块7；
第二阶段：雷达无轨导航系统接收主控模块传送的目的书籍信息，在移动过程中根据位置估计和地图进行自主定位、路线规划和导航；
第三阶段：麦克纳姆全向轮按导航路线移动，在行进过程中如果遇到障碍则立即调整最优路线。
第四阶段：RFID射频识别模块扫描书籍的RFID电子标签，追踪到目的图书，摄像头获取目的图书的三维坐标，实现精准定位。
第五阶段：步进电机结合插补算法精确控制实现机械臂的升降，配合机械手以及拨书手指实现取书。
第六阶段：机械手将取得的书籍放置在机器人的托书板上。
取书完成后，机器人可按照主控模块中的设定回到起始位置或设定位置。
本发明上述技术方案提高了在新环境中的导航能力，加快了对未知环境的导航速度，对于复杂环境的适应性和判断的准确性，实现了精准定位、快速规划路径和对目的物的精准扫描和抓取，缩短了找书的时间，实现了取书的智能化，加速了图书馆的智能化管理，减轻图书管理员的压力。

Claims (10)

1.一种图书馆管理机器人，其特征在于，包括导航模块、行走模块、识别模块、取书模块和主控模块；所述导航模块、行走模块、识别模块和取书模块均与主控模块相连；
所述导航模块，根据目的书籍所在书架位置信息和自身位置，实现路径规划与导航；所述主控模块按照导航模块的导航，控制行走模块在书架之间移动，使机器人移动至目的书籍所在书架位置附近；
所述识别模块，用于在目的书籍所在书架位置附近识别目的书籍；所述主控模块按照识别模块的识别结果，控制取书模块抓取目的书籍，并将目的书籍放在托书板上。
2.根据权利要求1所述的图书馆管理机器人，其特征在于，所述导航模块包括激光雷达无轨导航模块；激光雷达无轨导航模块包括信号接收端，接收到目的书籍所在书架位置信息后对其进行准确定位，且在移动过程中根据位置估计和激光雷达等传感器数据进行自身定位，并对所处环境进行地图建模，及时更新地图信息，进行最优路径规划。
3.根据权利要求1所述的图书馆管理机器人，其特征在于，所述行走模块包括四个麦克纳姆全向轮；四个麦克纳姆全向轮安装在图书馆管理机器人运输平台底盘上，每个麦克纳姆全向轮由一个电机驱动；电机支架直接安装在底盘上，四个麦克纳姆全向轮在同一水平面。
4.根据权利要求1所述的图书馆管理机器人，其特征在于，所述识别模块包括RFID射频识别模块；所述的RFID射频识别模块包括RFID电子标签和RFID读写模块；RFID电子标签嵌入图书的内部，RFID读写模块跟随行走模块在书架之间进行运动，通过无线电讯号采集和辨识书籍信息，自动辨识与追踪目的书籍。
5.根据权利要求1所述的图书馆管理机器人，其特征在于，所述识别模块包括摄像头和图像处理模块；所述摄像头由三轴运动平台带动在书架层间进行小范围移动和图像采集，图像处理模块对摄像头采集到的图像进行处理，识别书架和书籍信息，进一步实现目的书籍的判定和精准定位。
6.根据权利要求1所述的图书馆管理机器人，其特征在于，所述的取书模块包括依次连接的机械杆、机械臂和机械手，所述机械杆与机械臂之间、机械臂与机械手之间均采用活动连接；所述机械杆安装在三轴运动平台上；主控模块按照识别模块的识别结果，通过电机驱动三轴运动平台，带动机械杆移动，从而使机械手靠近目的书籍，对目的书籍进行抓取。
7.一种图书馆管理机器人的控制方法，其特征在于，包括以下步骤：
步骤1、所述导航模块，根据目的书籍所在书架位置信息和自身位置，实现路径规划与导航；
步骤2、所述主控模块按照导航模块的导航，控制行走模块在书架之间移动，使机器人移动至目的书籍所在书架位置附近；
步骤3、所述识别模块在目的书籍所在书架位置附近识别目的书籍，定位目的书籍位置；
步骤4、所述主控模块按照识别模块的识别结果，控制取书模块抓取目的书籍，并将目的书籍放在托书板上。
8.根据权利要求7所述的图书馆管理机器人的控制方法，其特征在于，所述步骤3中，先通过RFID读写模块扫描图书的RFID电子标签，采集和辨识书籍信息，追踪目的书籍；
再通过机械杆带动摄像头在RFID读写模块追踪到的目的书籍附近进行小范围移动和图像采集，并通过图像处理模块对摄像头采集到的图像进行处理，以识别书籍信息，进一步实现目的书籍的判定和精准定位。
9.根据权利要求8所述的图书馆管理机器人的控制方法，其特征在于，图像处理模块对摄像头采集到的图像进行处理包括以下步骤：
先利用角点检测算法识别图像中的角点，即书架的几何角点，以实现书架的识别和定位；
然后根据书架的识别和定位结果对图像文件进行裁剪，保留目的书籍所在的书架层部分；最后对裁剪后的图像进行文字提取。
10.根据权利要求9所述的图书馆管理机器人的控制方法，其特征在于，利用FAST特征点检测算法识别图像中的角点，具体包括以下步骤：
对比以p为中心，半径为3的圆上分布的16个像素点灰度值，若存在n个连续的像素点满足灰度值均小于lp-t或均大于lp+t，且10≤n≤14，则判断p为书架的候选点；其中lp为像素点p的灰度值，t为灰度值差值阈值；
若以候选点p为中心的3*3的邻域内存在多个候选点，则继续判断这些候选点中p的score值是否最大，若是，则p为角点，否则舍去p；其中p的score值计算公式为
Figure FDA0002602003250000021
其中lpi是以p为中心，半径为3的圆上分布的第i个像素点pi的灰度值；
若以候选点p为中心的3*3的邻域内，只有一个候选点p，则保留p作为角点。
CN202010726635.5A 2020-07-25 2020-07-25 一种图书馆管理机器人及其控制方法 Pending CN111823236A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010726635.5A CN111823236A (zh) 2020-07-25 2020-07-25 一种图书馆管理机器人及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010726635.5A CN111823236A (zh) 2020-07-25 2020-07-25 一种图书馆管理机器人及其控制方法

Publications (1)

Publication Number Publication Date
CN111823236A true CN111823236A (zh) 2020-10-27

Family

ID=72926516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010726635.5A Pending CN111823236A (zh) 2020-07-25 2020-07-25 一种图书馆管理机器人及其控制方法

Country Status (1)

Country Link
CN (1) CN111823236A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765577A (zh) * 2021-01-14 2021-05-07 上海云话科技有限公司 一种基于机器人的图书馆设备管理方法及系统
CN112847357A (zh) * 2020-12-31 2021-05-28 宁波知行物联科技有限公司 一种取档机器人控制方法和系统
CN112975976A (zh) * 2021-03-03 2021-06-18 北京京东乾石科技有限公司 物品盘点方法和系统、机器人控制装置和机器人
CN113172637A (zh) * 2021-03-31 2021-07-27 滨州学院 一种图书馆书籍自动定向查找系统及方法
CN113319808A (zh) * 2021-07-15 2021-08-31 南京工程学院 图书馆智能排书机器人
CN113954064A (zh) * 2021-09-27 2022-01-21 广东博智林机器人有限公司 机器人导航控制方法、装置、系统、机器人和存储介质
CN114482133A (zh) * 2022-03-04 2022-05-13 东莞市冀桥建材有限公司 一种区域内井盖自动施工装配方法
CN116644181A (zh) * 2023-05-10 2023-08-25 广东天卷教育设备有限公司 一种图书馆机器人的数据处理方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001233405A (ja) * 2000-02-21 2001-08-28 Kanazawa Inst Of Technology 図書館の蔵書自動出納システムと図書館の蔵書出納ロボットならびに図書館の蔵書出納ロボットのハンド機構
JP4735955B2 (ja) * 2005-06-09 2011-07-27 独立行政法人産業技術総合研究所 物品分類収納システム及びマニピュレーションシステム
CN102837406A (zh) * 2012-08-17 2012-12-26 浙江工业大学 基于fast-9图像特征快速配准算法的模具监视方法
CN108297063A (zh) * 2018-04-16 2018-07-20 广州大学 一种图书归还机器人的控制系统及控制方法
CN108734059A (zh) * 2017-04-18 2018-11-02 深圳市丰巨泰科电子有限公司 室内移动机器人物体识别方法
CN110109129A (zh) * 2019-05-20 2019-08-09 桂林电子科技大学 一种agv室内仓储物流导航定位系统和定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001233405A (ja) * 2000-02-21 2001-08-28 Kanazawa Inst Of Technology 図書館の蔵書自動出納システムと図書館の蔵書出納ロボットならびに図書館の蔵書出納ロボットのハンド機構
JP4735955B2 (ja) * 2005-06-09 2011-07-27 独立行政法人産業技術総合研究所 物品分類収納システム及びマニピュレーションシステム
CN102837406A (zh) * 2012-08-17 2012-12-26 浙江工业大学 基于fast-9图像特征快速配准算法的模具监视方法
CN108734059A (zh) * 2017-04-18 2018-11-02 深圳市丰巨泰科电子有限公司 室内移动机器人物体识别方法
CN108297063A (zh) * 2018-04-16 2018-07-20 广州大学 一种图书归还机器人的控制系统及控制方法
CN110109129A (zh) * 2019-05-20 2019-08-09 桂林电子科技大学 一种agv室内仓储物流导航定位系统和定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵婧: "《机器人及安全技术》", 30 September 2016 *
马超: "《Emgu CV学习与设计 农业篇》", 31 July 2019 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112847357A (zh) * 2020-12-31 2021-05-28 宁波知行物联科技有限公司 一种取档机器人控制方法和系统
CN112765577A (zh) * 2021-01-14 2021-05-07 上海云话科技有限公司 一种基于机器人的图书馆设备管理方法及系统
CN112975976A (zh) * 2021-03-03 2021-06-18 北京京东乾石科技有限公司 物品盘点方法和系统、机器人控制装置和机器人
CN113172637A (zh) * 2021-03-31 2021-07-27 滨州学院 一种图书馆书籍自动定向查找系统及方法
CN113172637B (zh) * 2021-03-31 2022-06-10 滨州学院 一种图书馆书籍自动定向查找系统及方法
CN113319808A (zh) * 2021-07-15 2021-08-31 南京工程学院 图书馆智能排书机器人
CN113954064A (zh) * 2021-09-27 2022-01-21 广东博智林机器人有限公司 机器人导航控制方法、装置、系统、机器人和存储介质
CN114482133A (zh) * 2022-03-04 2022-05-13 东莞市冀桥建材有限公司 一种区域内井盖自动施工装配方法
CN114482133B (zh) * 2022-03-04 2023-10-17 东莞市冀桥建材有限公司 一种区域内井盖自动施工装配方法
CN116644181A (zh) * 2023-05-10 2023-08-25 广东天卷教育设备有限公司 一种图书馆机器人的数据处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN111823236A (zh) 一种图书馆管理机器人及其控制方法
Zhang et al. Vehicle tracking and speed estimation from roadside lidar
Linegar et al. Made to measure: Bespoke landmarks for 24-hour, all-weather localisation with a camera
CN108152823B (zh) 一种基于视觉的无人驾驶叉车导航系统及其定位导航方法
CN112184818B (zh) 基于视觉的车辆定位方法及应用其方法的停车场管理系统
CN108875911B (zh) 一种泊车位检测方法
CN104536445B (zh) 移动导航方法和系统
US11227434B2 (en) Map constructing apparatus and map constructing method
CN111178148B (zh) 一种基于无人机视觉系统的地面目标地理坐标定位方法
CN110716559B (zh) 一种用于商场超市拣货机器人的综合控制方法
EP3460756B1 (en) Tracking system and method thereof
Okada et al. Obstacle detection using projective invariant and vanishing lines
CN111523545B (zh) 一种结合深度信息的物品查找方法
CN111198496A (zh) 一种目标跟随机器人及跟随方法
WO2023005384A1 (zh) 可移动设备的重定位方法及装置
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN109584264B (zh) 一种基于深度学习的无人机视觉引导空中加油方法
Morita et al. Panoramic view-based navigation in outdoor environments based on support vector learning
CN114264297A (zh) Uwb和视觉slam融合算法的定位建图方法及系统
Wang et al. Coarse-to-fine visual object catching strategy applied in autonomous airport baggage trolley collection
CN111380535A (zh) 基于视觉标签的导航方法、装置、移动式机器及可读介质
CN114359493B (zh) 一种用于无人船生成三维语义地图的方法和系统
CN109919969B (zh) 一种利用深度卷积神经网络实现视觉运动控制的方法
CN112907661A (zh) 一种移动目标定位方法、装置、电子设备、系统及介质
Nowak et al. Vision-based positioning of electric buses for assisted docking to charging stations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201027

RJ01 Rejection of invention patent application after publication