CN108000525B - 一种图书管理机器人和基于机器人的图书错放识别方法 - Google Patents

Abstract

本发明公开了一种图书管理机器人，包括机器人本体，还包括摄像装置、信息处理模块和机械臂，所述机械臂设置于机器人本体上，所述摄像装置用于获取书架的图像信息；所述信息处理模块用于根据图像信息以及条码区域在图像信息中的位置信息以得条码区域对应的书籍在书架上的行列位置，并根据生成所述图像信息时的位置信息以得到相应书籍的存放位置，当判断得到该书籍的存放位置与预设位置不同的时候，发送相应的控制信号至机械臂以控制机械臂将所述书籍取下。本发明还提供了一种基于机器人的图书错放识别方法。本发明提供一种图书管理机器人，能够自动对图书进行整理归位，解决了图书馆员人工操作慢、凭记忆操作易出错、工作效率低下的问题。

Description

一种图书管理机器人和基于机器人的图书错放识别方法

技术领域

本发明涉及一种机械自动化技术领域，尤其涉及一种图书管理机器人和基于机器人的图书错放识别方法。

背景技术

目前，图书馆员每天都需要耗费大量的精力在书籍的借、还、整理上。借阅人员在查找书籍过程中，由于查阅书籍过多无法记住书籍原有的存放书架及位置，往往对不需要借阅的书籍随意就近归位，如果图馆员没有及时对错误存放的书籍进行整理，其他借阅者无法按照图书分区查找到需要借阅的书籍的情况就时有发生。

在图书归还过程中，图书馆员也需要牢记经常借阅书籍的大致分类和存放位置，或根据书名或书籍上的编码寻找书架，再找到应该放在书架的哪一层，最后再查看有没有同样的书，如果有同样的书需要放在一起，如果是单本就找同类的书放在一起，如此反复进行操作，如果不熟悉书籍存放分类和位置，往往需要耗费7-8分钟才能对还书进行归类整理，而凭人工记忆操作整理书籍难免出错，导致工作效率低下。同时，许多借阅者由于不熟悉借、还书流程，需要向图书馆员进行相关问题的咨询，图书馆员每天需要重复回答同类问题多次，大量占用了图书馆员的工作时间，导致他们经常需要在闭馆时加班加点进行书籍整理，工作负担巨大。因此，如何提高工作效率，避免差错，节省整理图书的时间，减轻图书馆员的工作负担成为需要我们思考的问题。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种图书管理机器人，其能解决对图书进行自动整理归位的技术问题。

本发明的目的之二在于提供一种基于机器人的图书错放识别方法，其能解决对图书进行自动整理归位的技术问题。

本发明的目的之三在于提供一种基于机器人的图书错放识别方法，其能解决对图书进行自动整理归位的技术问题。

本发明的目的之一采用如下技术方案实现：

一种图书管理机器人，包括机器人本体，还包括摄像装置、信息处理模块和机械臂，所述机械臂设置于机器人本体上；

所述摄像装置用于获取书架的图像信息，所述图像信息包括至少一个书籍图像，所述书籍图像包括条码区；

所述信息处理模块用于根据图像信息以及条码区域在图像信息中的位置信息以得条码区域对应的书籍在书架上的行列位置，并根据生成该图像信息时的位置信息得到相应书籍的存放位置，当判断得到该书籍的存放位置与预设位置不同的时候，发送相应的控制信号至机械臂以控制机械臂将所述书籍取下。

进一步地，所述机器人本体包括依次安装的机器人头部、机器人机身和行走机构；所述行走机构设置在机器人本体的底部用于使得机器人进行移动，所述摄像装置设置在机器人头部。

进一步地，所述行走机构包括底盘、缓冲装置和行走轮，所述缓冲装置为一橡胶圈，其设置于底盘的四周，所述行走轮的数量有四个，且均设置在底盘底部，所述行走轮通过一电机带动从而实现机器人本体的运动。

进一步地，还包括机器人避障模块，所述机器人避障模块与信息处理模块电性连接，所述机器人避障模块用于躲避行进过程中出现的障碍物。

进一步地，所述摄像装置的数量有七个，所述多个摄像装置均与信息处理模块电性连接，所述机器人本体左右两侧均由上至下依次设置三个摄像头，所述机器人本体正面设置有一个摄像头。

进一步地，还包括人机交互模块，所述人机交互模块与信息处理模块电性连接，所述人机交互模块为触摸显示屏。

进一步地，还包括与信息处理模块电性连接的语音交互模块，所述语音交互模块用于与用户进行语音互动。

进一步地，所述信息处理模块还用于将获取到的人的眼部图像与眼部识别模型进行比对以确定是否与用户进行互动。

进一步地，还包括电源模块，所述电源模块用于给图书管理机器人进行供电。

进一步地，所述信息处理模块还用于当检测到达取下的书籍所对应的预设存放位置的时候，控制机械臂将所述书籍归还至其预设存放位置。

本发明的目的之二采用如下技术方案实现：

一种基于机器人的图书错放识别方法，包括以下步骤：

信息获取步骤：获取书架的图像信息以及生成该图像信息的位置信息，所述图像信息包括至少一个书籍图像，所述书籍图像包括条码区域；

位置获取步骤：根据图像信息以及条码区域在图像信息中的位置以得条码区域对应的书籍在书架上的行列位置；

结果获取步骤：根据条码区域对应的书籍所处的行列位置以及生成该图像信息时的位置以得相应书籍的存放位置；

位置比对步骤：将获取到的书籍的存放位置与该书籍的预设存放位置进行比对，如果不一致，则将控制机械臂将该书籍取下。

进一步地，在信息获取步骤中：通过设置于机器人本体上的多个摄像头来获取到书架图像，并将获取到的多个书架图像拼接以形成书架的图像信息。

进一步地，在位置比对步骤之后还包括图书归还步骤：当检测到达取下的书籍所对应的预设存放位置的时候，控制机械臂将所述书籍归还至其预设存放位置。

本发明的目的之三采用如下技术方案实现：

一种基于机器人的图书错放识别方法，包括以下步骤：

信息获取步骤：获取书架的图像信息，所述图像信息包括书架编号以及至少一个书籍图像，所述书籍图像包括条码区域；

位置获取步骤：根据图像信息以及条码区域在图像信息中的位置信息以得条码区域对应的书籍在书架上的行列位置；

结果获取步骤：根据条码区域对应的书籍所处的行列位置以及书架编号以得相应书籍的存放位置；

位置比对步骤：将获取到的书籍的存放位置与该书籍的预设存放位置进行比对，如果不一致，则将控制机械臂将该书籍取下。

相比现有技术，本发明的有益效果在于：

本发明提供的一种图书管理机器人，能够自动对图书进行整理归位，解决了图书馆员人工操作慢、凭记忆操作易出错、工作效率低下的问题。

附图说明

图1为本发明的图书管理机器人的电路结构框图；

图2为本发明的基于机器人的图书错放识别方法的流程图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

如图1所示，本实施例提供了一种图书管理机器人，包括机器人本体，所述机器人本体包括依次安装的机器人头部、机器人机身和行走机构；

机器人头部，机器人的头部为带有伸缩机构和旋转部的圆柱体，通过支撑部设置在机器人主体的中后方，通过内部设置的电机实现机器人头部的升高降低及转动；机器人头部中心设有摄像装置。

所述行走机构设置在机器人本体的底部用于使得机器人进行移动，所述行走机构包括底盘、缓冲装置和行走轮，所述缓冲装置为一橡胶圈，其设置于底盘的四周，所述行走轮的数量有四个，且均设置在底盘底部，所述行走轮通过一电机带动从而实现机器人本体的运动。机器人自动按照给定的路线进行移动，路线根据图书存放区域、书架位置和图书操作需要来进行规划，采用不同颜色或者其他信号标记来进行标记，引导机器人移动。机器人在进行图书检测的时候，也是通过识别相关的信号标记以确认当前的图书分类区域的。

缓冲装置设置在机器人主体底部与底盘上表面之间，缓冲装置可提高监控机器人的在行走过程中的减震缓冲效果，使其行走更加安全平稳。机器人主体下部设置了具有缓冲功能的橡胶圈，用于防止机器人在行走过程中被外物触碰到时，造成损伤，提高安全性能。除了橡胶圈还可以设置其他的缓冲避震装置，比如弹簧等。

机器人机身，机器人机身前端外嵌有液晶触摸显示屏，液晶触摸显示屏下方中间设置有麦克风，麦克风两侧设置有扬声器；机身两侧设置有机械臂；机身内部设置有信息处理模块、供电模块。

供电模块为充电电池，当信息处理器判断机器人电池电量低时，发出自动回位充电信号，控制机器人回到充电装置所在位置进行充电。

液晶触摸显示屏与信息处理模块连接，通过液晶触摸显示屏设置机器人各项基本功能。通过该液晶触摸显示屏使其该机器人可以接受借阅者的触摸操作指令为其提供图书查询及帮助。麦克：用于获取用户发出的语音内容。扬声器：用于播放声音，与用户进行语音交流互动。

所述机械臂设置于机器人本体上，所述机械臂用于根据信息处理模块发送的控制信号进行相应的动作。所述左、右侧机械臂互相配合完成将图书撑开、夹取、插入书架指定位置、放置图书等动作，对书架上存放的图书进行整理。

所述摄像装置用于获取当前的图像信息，并将图像信息传输至信息处理模块，所述图像信息包括至少一个彩色条码；所述信息处理模块根据图像信息以得相应的结果信息，所述摄像装置为高清摄像头，通过摄像装置扫描图书上的条码图像、获取图书存放区域的书架上存放的批量书籍的侧面书脊图像、获取借阅者的面部视频图像；以为信息处理模块提供识别所需要的基础信息。所述摄像装置的数量有七个，所述多个摄像装置均与信息处理模块电性连接，所述机器人本体左右两侧均由上至下依次设置三个摄像头，所述机器人本体正面设置有一个摄像头。这个正面的摄像头是用来对人眼是否正视机器人那部分进行识别的；两侧的各3个摄像头是用于在机器人行走时对设置在它两侧的书架进行拍照用的。

信息处理模块，连接供电模块，集成并协调处理多个功能模块，用以控制机器人实现各项功能。主要集成有以下功能模块(1)语音交互模块，(2)人机交互模块，(3)人脸识别模块，(4)避障控制模块，(5)图书监测模块，(6)机械臂控制模块，(7)帮助模块，(8)图书管理模块，(9)充电控制模块。

(1)语音交互模块：通过语音交流，为用户提供图书借阅帮助，获取用户发出的图书借阅、查询、归还指令，与用户进行语音互动。当接收到人脸识别模块发送的用户请求帮助信号后，通过扬声器播声音与用户打招呼，询问用户是否需要帮助；通过麦克接收用户的语音指令，利用语音识别技术识别用户发出的语音指令，并将指令发送到信息处理器，以便协调相应模块处理指令信息，实现人机对话。

(2)人机交互模块：用户通过液晶触摸显示屏和操作按键可以和机器人交互，例如查询图书存放位置、借阅情况，对书籍进行借阅、归还操作等。

(3)人脸识别模块：当感应到有障碍物在前方停留时，机器人停止行走，通过头部的摄像头获取视频图像，使用人脸识别技术判断视频图像中是否包含人的正面面部图像，当识别到有人脸正面面部图像时，且人的眼睛正视着机器人的头部，则通过语音交互模块与用户打招呼，询问用户是否需要提供帮助。人脸识别为现有技术，判断用户眼部是否正视机器人的头部，需要预先建立眼部识别模型。

建立眼部识别模型：获取大量的人眼睛正视和不正视拍摄镜头的照片，进行学习训练，通过预处理、特征提取、识别训练等处理过程，完成眼部识别模型的建立。特征提取时，根据人眼球巩膜、虹膜、瞳孔各组成部分的纹理组合特征，计算眼睛正视和不正视镜头时，眼部各点的区域密度分布数据，得到用户正视和不正视镜头时的眼部特征向量。将上述特征向量对应正视镜头和不正视镜头存储，得到用户的眼部正视和不正视机器人的特征向量集，完成建立眼部识别模型建立。

(4)避障控制模块(也即是机器人避障模块)：用于机器人在执行行走命令时躲避障碍，顺利到达指定位置。本发明使用红外传感器进行避障，当识别到前方有障碍物时，将识别信号发送到信息处理模块，控制机器人停止移动，直到障碍物消失后机器人恢复行走。

(5)图书监测模块：机器人通过该模块设置在一个固定周期内定时对所在区域书架上的图书进行监测，查找出错误存放的书籍，并将书籍位置和整理信息发送到信息处理器协调机械手对书籍进行归位整理。通过定位图书侧面书脊上粘贴的彩色条码，进行条码信息识别，根据识别结果查询条码数据库，得到各个书架上图书的正确存放位置，对应图书所在的书架号和存放的层，判断图书存放位置是否正确。发现错误存放的图书，对应书籍的所在位置发送取书信号、对应正确的存放位置发送放书信号到信息处理器，控制机械臂对错误存放的图书进行整理归位。

(6)机械臂控制模块：接收信息处理器发送的取书、放书控制信号，和对应的图书取、放位置信息，控制机械臂互相协调完成对指定图书的抓取、存放操作。

(7)帮助模块：存储有关图书查询、借阅、管理的帮助内容信息。用户通过语音或操作液晶触摸显示屏录入与问题相关联的关键词指令连接帮助模块，进行帮助信息的查询。

(8)图书管理模块：用户通过图书管理模块进行借、还书操作。用户对机器人发出借、还书指令后，通过连接图书馆的借阅系统提示用户登录核对身份，核对完成后提示用户将需要借阅或归还的图书书脊上的彩色条码提供给机器人进行扫描，完成借还书操作。机器人接收借书指令后，连接图书馆的借阅系统对用户身份进行确认，用户可以自行查找好需要借阅的图书后，根据提示对需要借阅的书籍进行彩色条码扫描，录相应的借阅信息，完成借书；也可以选择在核对身份后，录入检索好的需要借阅的图书编号，机器人接收到借书指令和借书编号后，根据编号定位图书的存放书架号，及借阅信息，确认可以进行借阅后，自动将书籍取出后交给用户，完成借书；在接收到还书指令时，同样连接图书馆的借阅系统核对用户身份，对需要归还的图书进行彩色条码扫描，待用户确认后在系统中标记用户已完成还书，并根据条码信息识别结果得到存放位置，将用户归还的图书放置到对应的书架上。借、还书时，机器人可以同时对多本图书的彩色条码进行批量扫描。

(9)充电控制模块：判断供电模块的电池电量，当电池电量低时，发出自动回位充电信号，控制机器人回到充电位置进行充电。

本发明提供的一种图书管理机器人，能够自动对图书进行整理归位，还书人员可以通过机器人进行图书归还，解决了图书馆员人工操作慢、凭记忆操作易出错、工作效率低下的问题。

同时，图书管理机器人集成的语音对话模块可以快速为借阅者提供图书检索和查询借阅帮助，能够有效减轻图书馆员的工作负担。

如图2所示，本实施例提供了一种基于机器人的图书错放识别方法，包括以下步骤：

S1：通过设置于机器人本体上的多个摄像头来获取书架图像，将获取到的多个角度和区域的书架图像通过自由变换和图像重合处理进行图片拼接以形成完整的书架图像信息；所述书架图像信息包括至少一个书籍图像，所述书籍图像包括条码区域。对书架拍摄时是通过机器人一侧设置的3个摄像头拍摄书架的高中低3个区域，并在机器人进行过程中通过间隔一段距离就不断对书架上的图书拍摄图片，得到整个书架各个区域的图书图像，所以需要对拍摄到的各个区域的书架图像信息进行拼接处理以得到完整的书架图像信息。

S2：获取拍摄书架图像时的位置信息以得到书架编号。通过分析拼接后的完整的书架图像信息判断机器人行进时经过的各个书架；通过机器人的开始位置和机器人的行驶路径，结合图书馆的平面图判断图像信息中书架的位置信息，以得到书架的编号。

机器人通过循迹技术进行行进，且电量低时自动回位充电。定位图像拍摄位置时，通过分析拼接好的书架图像，对书架图像进行颜色聚类，根据书架边缘横向、竖向色块的连续性来判断所通过的各个完整的书架，当书架边缘横向、竖向色块不再连续时，则判断为另一个书架。根据识别出的各个书架、机器人的起点位置和机器行进的运动轨迹，结合图书馆的平面图来对书架位置进行定位，获得各个书架的编号信息。

除了上述方式外，还有另一种方式是机器人在拍摄书架图像信息时，同时拍摄书架的编号区域以获取书架的编号，通过文字识别技术识别书架编号区域的图像中包含的文字信息以获得书架编号，以便对书籍所在书架进行定位。

S3、分析拼接后的书架图像信息，进行预处理、图像分割，定位每本书的条码区域进行条码信息识别，分析书架图像中，每本书的正确的存放位置信息。利用颜色聚类、色块分割的方法处理图片，根据颜色聚类后图像中每一层的书架隔板色块的连续性对书架每一层的图像进行分割，得到图像信息中书架每一层的图书图像；利用边缘检测，根据每本书籍边缘的像素排布特征，对书架每一层的图书图像进行单本书籍图像分割，得到多张单本书籍侧面的图像信息。比对预先建立好的识别模型，对每本书籍侧面图像中的条码区域进行定位，根据编码规则进行条码信息识别，根据条码信息识别结果得到条码对应书的书籍信息以及书的预设存放位置。

条码区域所对应的书籍信息获取方式如下：提取条码区域中所有色块的颜色值，并根据条码编码规则以得条码区域中各色块对应的字符信息，从而通过条码数据库得到相应的书籍信息，所述条码区域中各色块按顺序依次排列，将字符信息与颜色值一一对应以形成条码编码规则；因为黑白条码是利用条空之间的间隔大小来标识信息，需要的识别精度较高，远距离获取黑白条码图像无法识别条空之间的空隙，而彩色条码是基于颜色块的颜色值来标识信息，所以摄像头在较远距离获取到彩色条码图像只要能够提取到色块的颜色值就可以将条码信息识别出来；故而通过本发明的彩色条码就可以解决大面积识别的技术问题。

所述条码区域存储的为彩色条形码：彩色条形码使用特定的颜色值对应不同的条、空字符进行编码，用于粘贴在图书侧面的书脊上，各个条、空采用形状一致的等宽的色块表现，以便摄像头在一定距离范围内对其进行批量拍摄及识别。条形码根据图书类别、所在书馆、存放区域、书架号、书架上的存放层来制定编码规则，使用10个不同的HSB颜色值分别对应0～9的10位数字。起始字符和校验字符使用具有方向性的对应字符颜色值色块+黑色色块进行组合，以便于计算机根据字符外观、形状和颜色组合特征进行识别判断，实现扫码校验。

条码信息识别：接收机器人拍摄到的书籍侧面图像，对拍摄图像中的每本书籍侧面进行单本书籍分割，比对识别模型判断书脊图像上的条码图像区域，根据编码规则对条码图像进行条码信息识别。

识别模型的建立：通过机器学习大量的各种角度、光线下拍摄到的彩色条码图像，建立条码识别模型。主要过程如下：

分别对用于学习的彩色条码图像进行预处理，通过除噪音和干扰、图像切割、归一化等预处理过程提高服务器对图像处理识别的性能；

对预处理后的彩色条码图像进行特征提取，根据彩色条码图像的空间密度的颜色、图案排布情况特征，将条码图像分为5＊5的25个方格区域，计算每个方格中的点数与彩色条码图像总点数之比，得到25维特征向量；

通过反复识别训练，从训练集各彩色条码图像中提取出标准模版，建立标准特征库，完成条码识别模型的建立。每种类型的彩色条码都有几百个标准模版，因为条码具有方向性，训练时需要将条码图像按起始方向进行正确排列后提供给机器进行学习，这样后期机器在识别处理条码图像时则可以自动判断并对条码的起始位置做校准。通过预处理、特征提取后，将训练集各彩色条码的特征向量存入文件中，训练时需要指明各条码的正确值。

条码信息识别：对获取的书籍侧面图像进行预处理，利用边缘检测对图像中包含的多本图书进行图像分割，得到多张单本书籍侧面的图像。比对识别模型提取每本书籍侧面图像中的条码区域，根据编码规则对条码信息进行识别。识别主要过程如下：

对获取的书籍侧面图像进行预处理。主要包括去除噪音和干扰、图像切割、归一化等预处理过程，通过预处理提高服务器对图像的处理识别性能；

利用边缘检测根据每本书籍边缘的像素排布特征，对图像中包含的多个书籍侧面进行分割，得到多张单本书的侧面图像。同时，对分割的单本书籍图像，根据一定规则如“书架编号－书架层－所在列位置”进行顺序编号保存，以便后续判断图书的存放位置是否正确；

比对识别模型判断单张书籍侧面图片中的包含的彩色条码图像区域，对彩色条码图像进行定位、3D校正和条码内容识别。

条码定位：对分割后的书籍侧面图像进行特征提取，寻找出构成彩色条码具有显著特点的颜色、图案、形状等属性，计算出它们的几何特征量，通过这些特征量形成描述彩色条码的特征向量，与系统中建立好的条码识别模型的特征向量进行比对，当相似度超过80％则可以判定该区域为彩色条码区域，根据判断结果对彩色条码区域进行定位。

3D校正：由于拍摄时，拍摄角度、条码在书脊上的粘贴位置、书籍的摆放倾斜角度等问题，彩色条码图像通常存在一定程度的图像扭曲或角度旋转颠倒，因此需要对彩色条码图像进行3D校正。通过空间映射，将彩色条码图像的上、下、左、右四个角的四个点固定后进行投影，对彩色条码图像进行方向旋转、扭曲校正，使菜色条码图像按照条码的起始方向排列成为标准的矩形区域，得到标准形状大小的彩色条码图像。

条码内容识别：根据条码数据库中预存的彩色条码编码规则对3D校正处理后的每本图书的彩色条码图像进行条码信息识别。首先需要对每个条块的颜色值进行判断，彩色条码是使用等宽的各种颜色块来对应表示各个条、空字符的，对彩色条码各个条、块取颜色平均值后，提取各个条块的HSB颜色值信息，根据编码规则依次判断出各颜色值对应的字符信息。接着，根据校验规则对判断得到的字符信息进行验证。通过验证，则表示条码内容识别正确，进行下一步的信息处理。

条码数据库：保存彩色条码的编码规则、内容信息的条码信息库。同时保存每个彩色条码对应的书籍信息，书籍存放书架及在书架上的存放位置信息、已粘贴的条码信息等。条码数据库可以集成在信息处理器中定期更新，也可以设置在云端服务器。

接入已粘贴的条码信息：在彩色条形码设置时，与书籍上已有的条码信息进行一一对应录入，可以实现接入现有的图书信息系统，更方便快速地升级更新现有图书信息系统，使其与本发明的系统数据对接，而不需要对图书馆现有信息系统进行完全替换更新。

S4：根据步骤S3分割的图像信息中图书所在书架对应的层，以及条码区域对应的每本书在分割的书架分层图像信息中的位置以得条码区域对应的书在书架上的存放层及所在层的存放位置。

S5：根据条码区域对应的书籍所处的层和所在层的存放位置以及书架编号以得相应书籍的存放位置；

S6：将获取到的书籍的存放位置与该书籍的预设存放位置进行比对，如果不一致，则将控制机械臂将该书籍取下；

S7：当检测到达取下的书籍所对应的预设存放位置时，控制机械臂将所述书籍归还至其预设存放位置。使得机器人每到一个图书区域，则先分辨其内有没有错放的图书，然后将收集到的其他区域错放的图书与本区域内容进行匹配，如果匹配成功，则将该书放入本区域的图书分类区域。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (9)

1.一种图书管理机器人，包括机器人本体，其特征在于，还包括摄像装置、信息处理模块和机械臂，所述机械臂设置于机器人本体上，

所述摄像装置用于获取书架的图像信息，所述图像信息包括至少一个书籍图像，所述书籍图像包括条码区域；

所述信息处理模块用于根据图像信息以及条码区域在图像信息中的位置信息以得条码区域对应的书籍在书架上的行列位置，并根据生成所述图像信息时的位置信息以得到相应书籍的存放位置，当判断得到该书籍的存放位置与预设位置不同的时候，发送相应的控制信号至机械臂以控制机械臂将所述书籍取下；所述信息处理模块集成图书监测模块、机械臂控制模块；

所述图书监测模块用于在一个固定周期内定时对所在区域书架上的图书进行监测，查找出错误存放的书籍，并将书籍位置和整理信息发送到信息处理器协调机械手对书籍进行归位整理；通过定位图书侧面书脊上粘贴的彩色条码，进行条码信息识别，根据识别结果查询条码数据库，得到各个书架上图书的正确存放位置，对应图书所在的书架号和存放的层，判断图书存放位置是否正确；发现错误存放的图书，对应书籍的所在位置发送取书信号、对应正确的存放位置发送放书信号到信息处理器，控制机械臂对错误存放的图书进行整理归位。

2.如权利要求1所述的图书管理机器人，其特征在于，所述机器人本体包括依次安装的机器人头部、机器人机身和行走机构；所述行走机构设置在机器人本体的底部用于使得机器人进行移动，所述摄像装置设置在机器人头部。

3.如权利要求2所述的图书管理机器人，其特征在于，所述行走机构包括底盘、缓冲装置和行走轮，所述缓冲装置为一橡胶圈，其设置于底盘的四周，所述行走轮的数量有四个，且均设置在底盘底部，所述行走轮通过一电机带动从而实现机器人本体的运动。

4.如权利要求1所述的图书管理机器人，其特征在于，所述摄像装置的数量有七个，所述摄像装置均与信息处理模块电性连接，所述机器人本体左右两侧均由上至下依次设置三个摄像头，所述机器人本体正面设置有一个摄像头。

5.如权利要求1所述的图书管理机器人，其特征在于，所述信息处理模块还用于当检测到达取下的书籍所对应的预设存放位置的时候，控制机械臂将所述书籍归还至其预设存放位置。

6.如权利要求1所述的图书管理机器人，其特征在于，所述信息处理模块还用于将获取到的人的眼部图像与眼部识别模型进行比对以确定是否与用户进行互动。

7.一种基于机器人的图书错放识别方法，其特征在于，包括以下步骤：

信息获取步骤：获取书架的图像信息以及生成该图像信息时的位置信息，所述图像信息包括至少一个书籍图像，所述书籍图像包括彩色条码区域；

条码信息识别步骤：对获取的书籍侧面图像进行预处理；利用边缘检测根据每本书籍边缘的像素排布特征，对图像中包含的多个书籍侧面进行分割，得到多张单本书的侧面图像；对分割的单本书籍图像，根据预设规则进行顺序编号保存，以便后续判断图书的存放位置是否正确；比对识别模型判断单张书籍侧面图片中的包含的彩色条码图像区域，对彩色条码图像进行定位、3D校正和条码内容识别；

对分割后的书籍侧面图像进行特征提取，确定构成彩色条码具有显著特点的颜色、图案、形状的属性，计算出几何特征量，通过几何特征量形成描述彩色条码的特征向量，与条码识别模型的特征向量进行比对，当相似度超过80％则判定该区域为彩色条码区域，根据判断结果对彩色条码区域进行定位；

通过空间映射，将彩色条码图像的上、下、左、右四个角的四个点固定后进行投影，对彩色条码图像进行方向旋转、扭曲校正，使菜色条码图像按照条码的起始方向排列成为标准的矩形区域，得到标准形状大小的彩色条码图像；

条码内容识别：根据条码数据库中预存的彩色条码编码规则对3D校正处理后的每本图书的彩色条码图像进行条码信息识别；

位置获取步骤：根据图像信息以及条码区域在图像信息中的位置信息以得条码区域对应的书籍在书架上的行列位置；

结果获取步骤：根据条码区域对应的书籍所处的行列位置以及生成所述图像信息时的位置信息以得相应书籍的存放位置；

位置比对步骤：将获取到的书籍的存放位置与该书籍的预设存放位置进行比对，如果不一致，则将控制机械臂将该书籍取下。

8.如权利要求7所述的基于机器人的图书错放识别方法，其特征在于，在信息获取步骤中：通过设置于机器人本体上的多个摄像头来获取到书架图像，并将获取到的多个书架图像拼接以形成书架的图像信息。

9.如权利要求7或8所述的基于机器人的图书错放识别方法，其特征在于，在位置比对步骤之后还包括图书归还步骤：当检测到达取下的书籍所对应的预设存放位置的时候，控制机械臂将所述书籍归还至其预设存放位置。

Images