CN110458161A - 一种结合深度学习的移动机器人门牌定位方法 - Google Patents

Abstract

本发明涉及一种结合深度学习的移动机器人门牌定位方法，包括下列步骤：(1)门牌区域提取：1)针对需要识别的门牌采集一定数量不同角度、不同光照条件下的图片，然后对门牌区域进行标注；2)采用基于深度学习的目标检测算法，将相机采集图像输入训练好的模型可以判断是否存在门牌区域，如果存在，则输出包含门牌区域的矩形框在图像中的坐标，并裁剪出门牌区域；(2)门牌倾斜矫正与识别；(3)门牌角点坐标计算；(4)机器人位姿求解。

Description

一种结合深度学习的移动机器人门牌定位方法

技术领域

本发明属于移动机器人视觉定位技术领域，涉及一种将深度学习与传统图像处理相结合识别门牌号从而对室内移动机器人进行定位的方法。

背景技术

随着自动化和人工智能技术的快速发展，移动机器人开始走进寻常百姓的生活。移动机器人在酒店服务、老年护理、医疗保健等行业越来越受欢迎，并可代替人们完成一些特定任务。导航是移动机器人技术的核心，而定位是移动机器人导航的基本问题，只有准确的定位才能保证移动机器人可靠地完成任务。基于陀螺仪和里程计的惯性导航方法随时间推移会出现严重的累积误差，通过视觉进行绝对定位可有效地弥补惯性导航的累计误差。最常用的视觉定位方法是在环境中设置路标(可以是人工路标或自然路标)，通过视觉识别路标并计算摄像机和路标的相对位姿实现移动机器人定位。若要利用环境路标进行定位，首先需要在环境中发现路标并进行准确识别。实际环境中的光照、阴影等不确定因素对路标识别和定位的鲁棒性提出了很大挑战。

国内外研究人员探索了多种自然路标和人工路标用于移动机器人定位的方法。人工路标包含QR Code，Apriltag以及各种特殊形状(如环形、五边形以及三角形等)。南通大学徐一鸣等人发明了一种基于视觉路标的室内移动机器人定位方法{专利CN107832661A}，通过传统的图像增强和滤波处理，利用Canny边缘检测，分割出路标和背景，再基于Hough变换检测三个圆环的路标，最后根据路标信息和摄像头参数得到室内机器人的位置；美国密歇根大学Edwin Olson等人设计了一种对光照鲁棒性极强的AprilTag标签{GB/T7714Olson E.AprilTag:A robust and flexible visual fiducial system[C].IEEEInternational Conference on Robotics and Automation.IEEE,2011:3400-3407.}用于室内机器人导航，通过检测Apriltag标签四个角点并利用Direct Linear Transform(DLT)算法求解相机位姿，该方法需要在环境中布置大量标签，难以适应众多不适合贴标签的场景。重庆邮电大学罗元等人发明了一种基于颜色路标的移动机器人视觉导航方法{专利CN101619984}，设计了带有两个不同颜色的圆柱体作为路标用于机器人视觉导航。

为了不改变环境，利用环境中的自然路标(如门牌号等)对机器人进行定位有着更现实的意义。早在2003年Lei L等就提出了利用门的颜色与周边环境颜色的不同实现对门和门牌的定位，并进一步实现门牌号识别，从而根据门牌图像的校正几何模型完成对相机定位{GB/T 7714Lei L,Minlin Z,Guosheng Y,et al.Research on the Global Self-localization Based on the Doorplate Recognition for Mobile Robot[J].HighTechnology Letters,2003(08):71-76}。哈尔滨工程大学朱齐丹等人发明了一种基于全景视觉的快速、高鲁棒性的机器人室内定位方法{专利CN106092086A}，该方法设计了一种基于SURF(Speed Up Robust Features)特征点的路标，在全景图像中使用改进的SURF特征点匹配算法快速地对设计的路标进行准确识别，并通过识别环境中三个路标计算出机器人在二维空间的位置。

近年来也出现了利用深度学习进行场景训练并识别定位的案例。武汉科技大学刘访等人发明了一种基于视觉的移动机器人室内环境识别定位方法{专利CN107167144A}，该法首先让移动机器人在离线状态下对图像数据集进行深度学习，得到深度学习模型，同时构建拓扑地图和词袋模型，然后让移动机器人在在线状态下通过摄像头采集实时图像，输入深度学习模型，识别出实时图像中的自然路标，最后通过自然路标匹配，结合词袋库和拓扑地图就可以模糊推理出移动机器人的大概位置。该方法利用深度学习对整个环境特征进行匹配，计算量大且受自然环境变动影响较大，只能得出大概位置，定位精度不够高。

综上所述，目前在移动机器人路标定位领域，传统的图像处理算法受环境变化影响较大，尤其是对光照阴影的变化鲁棒性较差，从环境中进行目标检测时需要针对特定的目标，比如车牌、门牌等特殊标识设计识别算法，并根据使用环境调整光照模型或者对目标颜色进行建模，这一过程充满了不确定性和尝试性，费时费力，效果难以保证，且通用性较差。深度学习的出现为解决复杂环境下目标检测和特征匹配问题提供了新的方法，但仅仅基于深度学习模型进行特征点匹配的方法计算量大且很难保证机器人的定位精度。在机器人视觉定位领域，目前尚缺乏将深度学习目标检测与传统图像识别相结合，并利用自然路标进行定位的案例。本发明为移动机器人视觉路标定位领域提供了一种新的思路，利用深度学习在复杂环境中目标检测的鲁棒性，与传统图像处理方法相结合，保证了该方法的通用性以及环境适用性，并且可以有效地提高移动机器人的定位精度。

发明内容

本发明目的在于提供一种可以快速、准确地利用门牌识别完成机器人室内定位和误差校正的方法。在已有环境地图的情况下，根据门牌在环境地图中的坐标，在检测到门牌时对机器人进行全局定位或误差校正，解决移动机器人绑架问题和随时间推移累积误差增大的问题，提高机器人定位精度，减小累积误差，从而保证移动机器人长期稳定运行。技术方案如下：

一种结合深度学习的移动机器人门牌定位方法，包括下列步骤：

(1)门牌区域提取

1)针对需要识别的门牌采集一定数量不同角度、不同光照条件下的图片，然后对门牌区域进行标注。

2)采用基于深度学习的目标检测算法，将相机采集图像输入训练好的模型可以判断是否存在门牌区域，如果存在，则输出包含门牌区域的矩形框在图像中的坐标，并裁剪出门牌区域。

(2)门牌倾斜矫正与识别

1)对门牌区域进行预处理降噪，再进行阈值分割：采用一种填充干扰项的方法，即根据门牌数字相对门牌区域的比例关系将不符合要求的轮廓区域填充为背景色，去除干扰项，获得只有门牌号的二值图像。

2)获得门牌号倾斜角度。

3)在获得倾斜角度之后对图像进行矫正，最后对矫正后的门牌号数字进行识别，获得门牌号。

(3)门牌角点坐标计算

(4)机器人位姿求解

根据图像中门牌的二维像素点坐标以及已知的门牌在物理环境中的世界坐标，通过变换即可获得相机在世界坐标系下相对于门牌正视方向的位姿，由相机的安装位姿和机器人坐标系的相对位姿关系，即可求得机器人在世界坐标系下的绝对位姿，从而实现机器人利用门牌的定位。

优选地，步骤(2)中，获得门牌号倾斜角度的方法如下：对旋转投影法进行改进，对只有门牌号的二值图像在水平方向正负一定范围内进行旋转，首先自左而右、自上而下对每个像素点进行判断，遇到非背景像素值时记录此时的行数为r1，然后跳转到图像最后一行自左而右、自下而上进行遍历，再次遇到非背景像素值时记录此时的行数为r2，计算门牌数字所占行数为r2-r1+1，将二值图像旋转一定角度重复遍历图像再次计算门牌数字所占行数，最后计算门牌数字所占行数最少时的角度，即获得门牌号倾斜角度。

步骤(3)具体如下，通过预先拍摄环境中门牌的正视模版图片，按照物理环境中选定的点进行裁剪，制作成门牌模板库。在识别出门牌号后进行特征点检测，同时从本地读取该门牌号的正视图片模版，进行特征点匹配，并剔除异常匹配点，进行透视变换从而获得正视模版图片的角点在门牌区域中对应的角点坐标。

本发明提出的移动机器人门牌识别定位方法的主要优点及特色体现在如下五个方面：

(1)无需人工设计特殊的定位路标，直接利用环境中的门牌作为定位路标，不影响环境的美观性和整体性，通用性较好。

(2)本发明采用深度学习进行路标的定位，避免了对检测目标进行建模以及针对不同环境人工设计复杂的特征提取方法。

(3)本发明对深度学习检测出的门牌区域再进行传统图像处理，有效避免整体图像光照不均带来的阈值分割失败和特征丢失问题，提高了识别的准确性。

(4)本发明中在检测门牌号倾斜角度时，对旋转投影法进行了改进，降低了计算量，提高了系统运行速度。

(5)本发明在提取出的门牌区域内进行特征点检测匹配，相对整张图片计算量小，匹配精度高，从而获得较高的定位精度来校正机器人定位误差。

附图说明

图1为本发明的移动机器人门牌识别全局定位流程图；

图2为本发明中的深度学习检测门牌区域示意图；

图3为本发明的门牌号识别程序处理过程效果图；

图4为本发明的图片像素遍历示意图；

图5为本发明的旋转投影倾斜检测流程图；

图6为本发明中的倾斜矫正效果图；

图7为本发明中的特征点局部匹配和整体匹配效果对比图。

具体实施方式

为了解决移动机器人惯性导航系统随时间推移出现累积误差影响定位精度以及移动机器人绑架问题，本发明针对移动机器人视觉路标定位提出了一种新的解决思路，即首先采用基于深度学习的目标检测方法将门牌路标从复杂的环境中提取出来，然后根据识别出的门牌号读取相应门牌模版进行特征点的匹配，求解相机相对门牌的位姿变换关系，最后根据机器人和相机的相对位姿关系实现对移动机器人的绝对定位和误差校正。本发明的具体内容分为以下四个方面：

1、门牌区域提取

首先针对需要识别的门牌采集一定数量不同角度、不同光照条件下的图片，然后对门牌区域进行标注。本发明采用基于深度学习的目标检测算法，同时为了保证机器人处理图像的实时性，选取轻量级网络框架进行训练，将相机采集图像输入训练好的模型可以判断是否存在门牌区域，如果存在，则输出包含门牌区域的矩形框在图像中的坐标，并裁剪出门牌区域图片。传统方法中直接对整张图片进行阈值处理或特征提取，很容易受整体不均匀的光照和复杂背景的干扰，难以有效分割出目标区域。本发明利用深度学习提取的目标门牌属于局部区域，光照相对均匀，干扰较少，之后再对图片进行降噪处理，可有效避免人工设计特征提取目标区域的复杂性及对光照鲁棒性较差的问题。

2、门牌倾斜矫正与识别

在倾斜矫正之前首先对门牌区域进行预处理降噪，再进行阈值分割。本发明采用一种填充干扰项的方法，即根据门牌数字相对门牌区域的比例关系将不符合要求的轮廓区域填充为背景色，去除干扰项，获得只有门牌号的二值图像。由于摄像机拍摄方向不同，导致提取出的门牌号存在倾斜，影响门牌上数字识别的效果。一般旋转投影法需要对旋转后的图像求取投影直方图，根据投影峰值确定倾斜角度，计算量大。本发明对旋转投影法进行了改进，对图像水平正负一定范围内进行旋转，在水平方向对图像像素进行遍历如图4所示。首先自左而右、自上而下对每个像素点进行判断，遇到非背景像素值时记录此时的行数为r1，然后跳转到图像最后一行自左而右、自下而上进行遍历，再次遇到非背景像素值时记录此时的行数为r2，计算门牌数字所占行数为r2-r1+1，将图像旋转一定角度重复遍历图像再次计算门牌数字所占行数，最后计算门牌数字所占行数最少时的角度，即可获得门牌号倾斜角度，整体计算流程如图5所示。在获得倾斜角度之后对图像进行矫正，最后对矫正后的门牌号数字进行识别，获得门牌号。

3、门牌角点坐标计算

本发明通过预先拍摄环境中门牌的正视模版图片，按照物理环境中选定的四个点进行裁剪，制作成门牌模板库。在识别出门牌号后进行特征点检测，同时从本地读取该门牌号的正视图片模版，进行特征点匹配，并剔除异常匹配点，进行透视变换从而获得模版图片四个角点在门牌区域中对应的角点坐标。本发明中仅对已提取的门牌区域而非整张图片覆盖区域进行特征点匹配，这样一方面会降低特征点的计算量，另一方面可以有效避免图像中其他相似特征点的误匹配，提高了匹配精度。

4、机器人位姿求解

根据图像中门牌的二维像素点坐标以及已知的门牌在物理环境中的世界坐标，通过变换即可获得相机在世界坐标系下相对于门牌正视方向的位姿，由相机的安装位姿和机器人坐标系的相对位姿关系，即可求得机器人在世界坐标系下的绝对位姿，从而实现机器人利用门牌的定位。

面结合实施例及附图详细说明。实施例是以本发明所述技术方案为前提进行的具体实施，给出了详细的实施方式和过程。但本申请的权利要求保护范围不受限于下述实施例的描述。

如图1是本发明的移动机器人门牌识别全局定位流程图。图2为本发明中的深度学习检测出的门牌区域与整张图片的对比效果图，可以看出门牌区域光照相对均匀。图3为本发明的门牌号识别程序处理过程中各部分效果图，其中图3(1)为深度学习检测出的门牌区域，图3(2)为经过裁剪降噪及阈值处理后的门牌区域效果图，图3(3)为阈值处理后检测出的噪点和数字在门牌区域的矩形框，图3(4)为填充噪点后的门牌区域图像。图4为本发明的图片像素遍历示意图，将图片看作一个原点在左上角的二维坐标系，图中箭头代表自左向右对图片像素进行遍历判断。图5为本发明改进的旋转投影倾斜检测流程图，其中N为根据实际倾斜情况设置的角度检测范围，r1为自上而下检测到非背景像素值时的行数，r2为自下而上检测到非背景像素值时的行数，r2-r1+1即为门牌数字部分所占行数，通过图4的像素遍历方法，在一定角度范围内进行多次旋转计算得出倾斜角度。图6为本发明中的倾斜矫正效果图，其中图6(1)为矫正后的二值图，图6(2)为矫正后门牌与原图对比的效果图。图7为特征点局部匹配和整体匹配效果对比图，左下角部分为检测出门牌区域后的模版特征点匹配效果，和整张图片的特征点匹配效果相对比可以明显看出，局部图像的特征点匹配得到的绿色框更加准确。下面结合图1对本发明作进一步描述。

1、模型选取和全局定位。该实例中移动机器人的主控板为TX1，为了保证实时性，采用一阶目标检测算法SSD(Single Shot MultiBox Detector)，选用MobileNet替换SSD目标检测算法论文中的VGG(Visual Geometry Group)框架。当然该实例只是给出一种深度学习模型的应用，采用其他目标检测模型如YOLOv1-v3、YOLO-Lite以及YOLOv3-MobileNet模型均可实现目标门牌区域检测。如图1所示为本发明的移动机器人门牌识别全局定位流程图，移动机器人初始位姿未知或者由于绑架等其他原因导致机器人自身位姿和地图不匹配，无法按照规划路线运动，此时机器人进入全局定位模式。移动机器人利用导航传感器沿楼道墙壁一定距离行驶，安装在机器人云台上的摄像机按照一定规则旋转搜索门牌区域进行识别与定位。

2、采集门牌数据进行训练识别。在不同光照、不同角度下对楼层内20个门牌采集图片600张，按5:1分为训练图片和验证图片，利用labelImg标注工具对所有图片进行门牌标注，然后安装Caffe深度学习训练框架，配置MobieNet-SSD训练文件，在服务器上训练出模型文件，编写python程序，打开摄像头实时检测视频中的门牌，并输出门牌的boundingbox坐标。如图2所示为摄像头检测门牌号示例。采用Python编写名为SSD-Detection的ROS(Robot Operating System)程序节点，调用训练好的深度学习模型，实现门牌位置检测，发布门牌区域的图像消息到doorplate话题，以及门牌区域左上角点在图像中的坐标消息到lefttop_point话题。采用C++编写名为Doorplate_Recognition的ROS程序节点订阅门牌图像信息以及左上角点坐标信息，分别用于下一步门牌号识别及相机位姿计算。

3、门牌号识别

(1)深度学习检测得到的门牌区域如图3(1)所示，首先根据门牌号的占比对门牌区域进行一个预裁剪，然后对门牌进行灰度化，采用最大类间方差法进行二值化，再进行腐蚀膨胀消除噪点，得到主要包含门牌号区域的裁剪图片，如图3(3)所示。此时阈值处理后的图片中除了门牌号码，还包含其他干扰点，如图3(2)中的数字2，3，4为检测的包含门牌数字的矩形框，根据门牌号在裁剪图片中的比例关系可以判断出干扰框，并将包围干扰点的矩形框像素置零(黑色)，结果如图3(4)所示。

(2)由于拍摄门牌时相机存在一定角度，会出现门牌数字的倾斜变形，需要进行倾斜矫正，由于此时没有明显的直线边缘，无法利用Hough变换和Radon变换检测倾斜，需要采用旋转投影法确定门牌数字的倾斜角度。传统的旋转投影法由于无法完全去除字符内容之外的干扰，需要对图像所有像素进行水平或者垂直方向的遍历。本发明改进了旋转水平倾斜矫正，根据实际情况在20度到-20度范围内每旋转一度，判断字符水平所占行数。对图像自上而下逐行遍历，一旦检测到非零像素，即属于门牌号所占像素行时，跳转到最后一行自下而上遍历，直至再次遇到非零像素，返回门牌号所占像素行数，图片像素遍历示意图如图4所示。最后对41个数据进行排序，字符水平所占行数最少时对应的旋转角度即为倾斜角度，倾斜检测流程如图5所示。

(3)门牌号倾斜矫正识别。根据旋转投影检测得出的倾斜角度进行仿射变换得到校正后的门牌号码，校正后的效果如图6所示，对校正后的门牌号提取HOG(Histogram ofOriented Gradient)特征，采用KNN(k-Nearest Neighbor)最近邻算法进行数字识别，输出识别的门牌号。

4、相机位姿估计

(1)提前采集办公场所中门牌号正视的模板图片，确定一个矩形的四个角点，并测量其在世界坐标系下的坐标，将门牌模板图片按照矩形裁剪，并按照门牌号码命名存储到程序设定路径下。

(2)在上一步识别出摄像头采集到的门牌号后，读入模板图片，分别对两张图片进行SURF(Speed Up Robust Features)特征点检测，并匹配特征点，利用OpenCV中findHomography函数采用RANSAC(Random Sample Consensus)方法剔除异常点求解单应性矩阵，然后进行透视反变换求解门牌模板角点在像素平面的坐标。SURF特征点局部匹配和整体匹配效果对比如图7所示，可以明显看出局部匹配的四边形更规则，角点更准确。

(3)利用张正友标定法对相机进行标定，再由已知2D像素坐标及门牌角点的3D世界坐标，即可求解PnP(Perspective-n-Point)问题，获得相机在世界坐标系下的坐标。

5、机器人定位。由于相机在机器人上的安装位置是固定的，相机旋转角度可以根据舵机的旋转计算得出，因此通过求解相机在世界坐标系下的位姿，即可求得机器人在世界坐标系的位姿，从而实现对机器人的绝对定位。

通过上述实施方案，可以实现对室内移动机器人的全局定位或运动过程中的误差校正，提高定位精度，保证机器人长期稳定运行。

本发明申请的权利要求保护范围主要涉及以下两个方面：

1、移动机器人视觉路标定位新思路。所提新思路分为三步，第一步是门牌号检测，第二步门牌号识别，第三步是机器人位姿校正。在第一步，采用深度学习等方法将门牌路标从复杂的环境中提取出来；在第二步，采用图像处理的方法完成门牌号识别；在第三步，根据特征点匹配求解相机相对门牌的位姿变换关系，并根据机器人和相机的相对位姿关系实现对移动机器人的绝对定位和误差校正。传统的视觉路标定位方法针对整幅图像进行检测，而所提新思路针对被检测出的门牌区域，因为门牌区域相对整张图片区域小很多，这样可有效避免传统方法存在的受环境光线影响等弊端，从而可提高机器人定位的鲁棒性；另外，在提取出的门牌区域内进行特征点匹配，相比整张图片计算量小，匹配精度高，从而可提高定位精度和效率。

2、门牌号倾斜检测新方法。在倾斜检测之前首先对门牌区域进行预处理降噪，再进行阈值分割，根据门牌数字相对门牌区域的比例关系将不符合要求的轮廓区域填充为背景色，去除干扰项，获得只有门牌号的二值图像。之后对图像水平正负一定范围内进行旋转，在水平方向对图像进行遍历，自左而右、自上而下对每个像素点进行判断，遇到非背景像素值时记录此时的行数为r1，然后跳转到图像最后一行自左而右、自下而上进行遍历，再次遇到非背景像素值时记录此时的行数为r2，所以门牌数字所占行数为r2-r1+1，每旋转一次重复遍历图像计算门牌数字所占行数，最后统计门牌数字所占行数最少时的角度，即可获得门牌号倾斜角度。

Claims (3)

1.一种结合深度学习的移动机器人门牌定位方法，包括下列步骤：

(1)门牌区域提取

1)针对需要识别的门牌采集一定数量不同角度、不同光照条件下的图片，然后对门牌区域进行标注；

2)采用基于深度学习的目标检测算法，将相机采集图像输入训练好的模型可以判断是否存在门牌区域，如果存在，则输出包含门牌区域的矩形框在图像中的坐标，并裁剪出门牌区域；

(2)门牌倾斜矫正与识别

1)对门牌区域进行预处理降噪，再进行阈值分割：采用一种填充干扰项的方法，即根据门牌数字相对门牌区域的比例关系将不符合要求的轮廓区域填充为背景色，去除干扰项，获得只有门牌号的二值图像；

2)获得门牌号倾斜角度；

3)在获得倾斜角度之后对图像进行矫正，最后对矫正后的门牌号数字进行识别，获得门牌号；

(3)门牌角点坐标计算

(4)机器人位姿求解

根据图像中门牌的二维像素点坐标以及已知的门牌在物理环境中的世界坐标，通过变换即可获得相机在世界坐标系下相对于门牌正视方向的位姿，由相机的安装位姿和机器人坐标系的相对位姿关系，即可求得机器人在世界坐标系下的绝对位姿，从而实现机器人利用门牌的定位。

2.根据权利要求1所述的定位方法，其特征在于，步骤(2)中，获得门牌号倾斜角度的方法如下：对旋转投影法进行改进，对只有门牌号的二值图像在水平方向正负一定范围内进行旋转，首先自左而右、自上而下对每个像素点进行判断，遇到非背景像素值时记录此时的行数为r1，然后跳转到图像最后一行自左而右、自下而上进行遍历，再次遇到非背景像素值时记录此时的行数为r2，计算门牌数字所占行数为r2-r1+1，将二值图像旋转一定角度重复遍历图像再次计算门牌数字所占行数，最后计算门牌数字所占行数最少时的角度，即获得门牌号倾斜角度。

3.根据权利要求1所述的定位方法，其特征在于，步骤(3)具体如下，通过预先拍摄环境中门牌的正视模版图片，按照物理环境中选定的点进行裁剪，制作成门牌模板库。在识别出门牌号后进行特征点检测，同时从本地读取该门牌号的正视图片模版，进行特征点匹配，并剔除异常匹配点，进行透视变换从而获得正视模版图片的角点在门牌区域中对应的角点坐标。