CN103020632B - 一种室内环境中移动机器人定位标志点的快速识别方法 - Google Patents

一种室内环境中移动机器人定位标志点的快速识别方法 Download PDF

Info

Publication number
CN103020632B
CN103020632B CN201210473351.5A CN201210473351A CN103020632B CN 103020632 B CN103020632 B CN 103020632B CN 201210473351 A CN201210473351 A CN 201210473351A CN 103020632 B CN103020632 B CN 103020632B
Authority
CN
China
Prior art keywords
point
candidate feature
pixel
feature point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210473351.5A
Other languages
English (en)
Other versions
CN103020632A (zh
Inventor
贾英民
陈霄汉
王龙辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201210473351.5A priority Critical patent/CN103020632B/zh
Publication of CN103020632A publication Critical patent/CN103020632A/zh
Application granted granted Critical
Publication of CN103020632B publication Critical patent/CN103020632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种室内环境中移动机器人定位标志点的快速图像识别方法,属于计算机视觉技术。该方法通过对摄像机采集图像的二值分割,形态学处理,候选特征点搜索与分类,以及求取候选特征点的权重质心,可以准确的识别天花板灯罩的角点。该方法不受环境光线强度变化的影响,识别精度高、速度快,满足移动机器人实时精确定位的要求。

Description

一种室内环境中移动机器人定位标志点的快速识别方法
技术领域
本发明属于计算机视觉技术领域,实现对目标点的快速准确识别。
背景技术
室内环境下自主移动机器人有着广泛的用途,如货物搬运,环境监控等。移动器人实现自主性的前提是自主定位。现有的移动机器人自主定位方法中最常用的有两种。第一种是用特殊材料(磁感、电感等)铺设固定路径,机器人通过感知特殊材料,跟踪设定的路径。该方法成本高,且限定了移动机器人的运动空间,降低了自主性。第二种方法是设置人工标志点,通过识别标志点,机器人实现自主定位。该方法需要在机器人的工作空间内设置足够多的标志点从而保证机器人能及时的修正自身的位置误差。两种方法都存在不易扩展的缺点,当移动机器人改变工作环境时,原有的定位方法失效,需要重新铺设路径或者设置标志点。
事实上,室内环境中存在大量的自然特征点可以作为标志点为移动机器人导航,如门窗的边缘等。其中最显著的是天花板上的日光灯。通常情况下在室内环境中每个矩形灯罩包含两个日光灯为一组,且日光灯均匀的分布在天花板上(如图1)。本发明选择灯罩的角点作为自然标志点为移动机器人导航。选择灯罩的角点有如下优点:
·相对于室内环境中的其它部分,天花板视觉背景单调;
·移动物体不会阻挡摄像机的视野;
·在拍摄的图像中,日光灯所占的图像部分的强度信息远远高于图像的其它部分,不存在对光线变化敏感的问题;
·灯罩的角点为环境中已存在的自然特征点,无需人工安装;
·当相机垂直对着天花板的时候,天花板视觉具有尺度不变性,只需要考虑图像的旋转,简化了摄像机的成像模型。
本发明针对该类型的标志点,提出了一种快速准确的识别方法。
发明内容
为解决传统移动机器人定位技术中需要人工设置标志点,且定位技术不易扩展的问题,本发明提出利用室内环境中的自然特征点(灯罩角点)为标志点,通过对该类标志点的识别,实现对移动机器人的精确定位。为实现标志点的准确识别,本发明提出如下方法:
步骤1,将摄像机安装在移动机器人上,调整光轴方位,使摄像机的成像平面平行于天花板(如图2)。
步骤2,颜色分割摄像机抓取的图像。将分割的结果保存为一个二值图像IA,其中高于阈值的像素点被认为是前景像素点(像素值为1),低于阈值的像素点被认为是背景像素点(像素值为0)。
步骤3,对二值图像进行形态学处理,先使用膨胀算子然后再使用腐蚀算子,从而去除图像前景像素中的“洞”和“凹”的部分,处理结果仍然保存在二值图像IA中。
步骤4,创建方阵M(2r+1)×(2r+1),它的元素满足
步骤5,遍历IA中的每一个像素点,判断该点是否为边界点。如果是边界点,标记此点为停留点。以该停留点为中心点从IA中提取维数为(2r+1)×(2r+1)的子图像
步骤6,对子图像实施如下运算
S = Σ ( M ⊗ I A S ) ΣM , - - - ( 2 )
算子表示矩阵按元素相乘,算子∑(·)表示对矩阵元素求和。如果S∈[S1,S2],对应的停留点被认为是一个候选特征点,记录该停留点的像素坐标。
步骤7,对所有候选的特征点分类。被半径为dr的圆包围的特征点被认为属于同一类。
步骤8,求解每一类候选特征的权重质心。该权重质心对应的像素坐标即为识别到的标志点坐标。每类候选特征点的权重质心(uc,vc)的求取公式为
u c = Σ k = 1 n u k / S k Σ k = 1 n 1 / S k
(3)
v c = Σ k = 1 n v k / S k Σ k = 1 n 1 / S k ,
其中n为该类特征点包含的候选特征点的数目,(uk,vk)为第k个候选特征点的像素坐标,1/Sk为第k个候选特征点的权重,Sk由式(2)计算得到。
使用如上的方法,能精确的识别标志点。对于像素为640×480的图像,识别到的标志点的位置与实际图像中标志点的位置误差不超过5个像素点,且每一帧图像的处理时间不超过100ms。
附图说明
图1天花板标志点分布示意图
图2摄像机工作示意图
图3灰度直方图
图4未经形态学处理边界图
图5形态学处理后边界图
图6候选角点提取与分类结果图
图7目标点识别结果图
具体实施方式
本发明方法对摄像机的性能并没有具体要求,一般的网络摄像头即可。
步骤1中,对摄像机的安装要求是成像平面平行于天花板平面。实际操作过程中可以在天花板上粘贴一个正方形的标志物。将机器人移动到正方形标志物的下方,使正方形标志物正好位于图像的中心附近。通过识别正方形各边在图像中的长度,判断摄像机是否平行与天花板。设正方形各边像素长度为li,则当满足|(li-lj)/(li,+lj)|<ε时,则认为摄像机的光轴已经垂直与天花板。ε的值可取为ε≤0.1。通过反复的调试可以满足摄像机安装的要求。实际应用中推荐选用云台摄像机。
步骤2中,需要设置图像的分割阈值。相比其它的识别方法需要将图像转换到YUV空间,本方法并不需要对图像进行任何颜色空间的转换。针对不同格式的原始图像的输出设定不同的阈值即可。如果图像的原始输出是24位的RGB格式图像,通常情况下设置阈值为[TR,TG,TB]=[240,240,240]。对于灰度图像、YUV图像或者其它包含灰度信息通道格式的图像,只需要对灰度信息通道设置阈值。事实上可以对图像进行直方图分析,由于图像中的灯光区域包含的强度信息远远高于图像的其它区域,因此在直方图中会有一个明显的波谷,选择波谷对应的值为阈值即可。图3给出了采集到的一张图像的灰度直方图分析结果。由图可以看到,灰度值区间[150,250]之间几乎没有像素点的分布,这之间的任意一个值都可以选为分割阈值。该灰度直方图也进一步说明我们选取的目标对象与背景环境区分明显,容易分割。
步骤3中,使用了图像形态学处理的膨胀与腐蚀算子。该操作是为了修补分割出的灯光区域(前景图像)中可能出现的“洞”或“凹”。通过该形态学处理的图像的边界只包含天花板灯罩的边缘,因此不会出现停留点的误判。图4和图5分布给出了形态学处理前与形态学处理后的边界图。
步骤4中,需要设定矩阵M(2r+1)×(2r+1)的维数。对于大小为640×480的图像,可取值为r∈[10,20],对于320×240的图像r∈[7,15]。r值的大小直接关系到图像处理的计算量,在实际过程中,在满足精度的前提下,r的取值越小图像处理的速度越快。事实上,如果摄像机的光轴相对天花板平面接近垂直的时候,矩阵M(2r+1)×(2r+1)的值可以取值为
m ij = 1 ( r + 1 - i ) 2 + ( r + 1 - j ) 2 = r 2 0 otherwise - - - ( 4 )
这样会减少图像处理的计算量。
步骤6中,需要设定S1和S2的值,基本选取原则是S1<1/4<S2。通常情况下设置为S1=1/5,S2=1/3。S的意义是如果停留点是一个标志点,则以它为中心的子图像中,有1/4的区域应该是前景像素点。需要注意当停留点靠近图像的边界时,此时提取子图像可能会溢出图像IA的边界。这种情况下子图像对应的溢出像素点值设置为0。
步骤7中,需要设定dr的值,实际应用中可以取为dr=r/2。
步骤8中,选取式(2)结果的倒数1/S作为权重,这是因为当候选特征点越靠近真实的灯罩角点,S值就越小。
为了进一步说明本发明方法的有效性,下面给出一个具体的实施例。相机采集的图像的格式是RGB,像素大小为640×480。相应的参数取值为TB=TG=TB=240,r=10,dr=5,S1=1/5,S2=1/3。
图6给出了经过步骤7之后的处理结果,圆圈中的点则是步骤6识别出的候选特征点,图中的黑色圆圈表示对候选特征点的分类结果。图7给出了经过步骤8之后最终的目标点识别结果,图中十字叉的中心表示识别到的目标点。由图7可以看出,识别到的点非常接近真实的目标点。

Claims (1)

1.一种室内环境中移动机器人定位标志点的快速识别方法,通过对采集图像的二值图像分割、图像形态学处理、候选特征点的搜索与分类以及候选特征点的质心求取,实现对定位标志点的快速可靠识别,其特征在于该方法的步骤如下:
步骤1,将摄像机安装在移动机器人上,调整光轴方位,使摄像机的成像平面平行于天花板;
步骤2,颜色分割摄像机抓取的图像,将分割的结果保存为一个二值图像IA,其中高于阈值的像素点被认为是前景像素点,像素值为1,低于阈值的像素点被认为是背景像素点,像素值为0;
步骤3,对二值图像进行形态学处理,先使用膨胀算子然后再使用腐蚀算子,从而去除图像前景像素中的“洞”和“凹”的部分,处理结果仍然保存在二值图像IA中;
步骤4,创建方阵M(2r+1)×(2r+1),它的元素满足
步骤5,遍历IA中的每一个像素点,判断该点是否为边界点,如果是边界点,标记此点为停留点,以该停留点为中心点从IA中提取维数为(2r+1)×(2r+1)的子图像
步骤6,对子图像实施如下运算
S = &Sigma; ( M &CircleTimes; I A S ) &Sigma; M
M为步骤4中创建的方阵,算子表示矩阵按元素相乘,算子Σ(·)表示对矩阵元素求和,如果S∈[S1,S2],其中S1<1/4<S2,对应的停留点被认为是一个候选特征点,记录该停留点的像素坐标;
步骤7,对所有候选特征点分类,被半径为dr的圆包围的候选特征点被认为属于同一类;
步骤8,求解每一类候选特征点的权重质心,该权重质心对应的像素坐标即为识别到的标志点坐标,每一类候选特征点的权重质心(uc,vc)的求取公式为
u c = &Sigma; k = 1 n u k / S k &Sigma; k = 1 n 1 / S k , v c = &Sigma; k = 1 n v k / S k &Sigma; k = 1 n 1 / S k
其中n为每一类候选特征点包含的候选特征点的数目,(uk,vk)为第k个候选特征点的像素坐标,1/Sk为第k个候选特征点的权重,Sk由步骤6计算得到。
CN201210473351.5A 2012-11-20 2012-11-20 一种室内环境中移动机器人定位标志点的快速识别方法 Active CN103020632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210473351.5A CN103020632B (zh) 2012-11-20 2012-11-20 一种室内环境中移动机器人定位标志点的快速识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210473351.5A CN103020632B (zh) 2012-11-20 2012-11-20 一种室内环境中移动机器人定位标志点的快速识别方法

Publications (2)

Publication Number Publication Date
CN103020632A CN103020632A (zh) 2013-04-03
CN103020632B true CN103020632B (zh) 2016-03-30

Family

ID=47969222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210473351.5A Active CN103020632B (zh) 2012-11-20 2012-11-20 一种室内环境中移动机器人定位标志点的快速识别方法

Country Status (1)

Country Link
CN (1) CN103020632B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104181920B (zh) * 2013-05-21 2017-03-08 成都四威高科技产业园有限公司 一种基于视觉的agv定位方法
US9170581B2 (en) 2013-09-30 2015-10-27 Crown Equipment Limited Industrial vehicles with overhead light based localization
CN103776455A (zh) * 2013-12-12 2014-05-07 武汉汉迪机器人科技有限公司 红外离散光源寻迹导航系统及该寻迹导航系统的控制方法
US9174830B1 (en) 2014-09-29 2015-11-03 Crown Equipment Limited Industrial vehicles with point fix based localization
CN105856227A (zh) * 2016-04-18 2016-08-17 呼洪强 基于特征识别的机器人视觉导航技术
CN106338287A (zh) * 2016-08-24 2017-01-18 杭州国辰牵星科技有限公司 基于天花板的室内移动机器人视觉定位方法
CN106570470A (zh) * 2016-10-26 2017-04-19 重庆大学 基于机器视觉的智能扫雪机器人信标识别方法
CN106444774B (zh) * 2016-11-01 2019-06-18 西安理工大学 基于室内照明灯的移动机器人视觉导航方法
CN106646441A (zh) * 2016-11-16 2017-05-10 杭州国辰牵星科技有限公司 结合环境信息的室内移动机器人定位系统及方法
CN108960012B (zh) * 2017-05-22 2022-04-15 中科创达软件股份有限公司 特征点检测方法、装置及电子设备
CN107244432B (zh) * 2017-06-07 2019-05-07 北京航空航天大学 自由基座空间合作任务运动再现实验系统
CN109363770B (zh) * 2018-12-06 2021-08-10 安徽埃克索医疗机器人有限公司 一种手术导航机器人标志点自动识别定位方法
CN112629532B (zh) * 2019-10-08 2023-10-20 宏碁股份有限公司 提升准确率之室内定位方法及应用其之行动装置
CN111191557B (zh) * 2019-12-25 2023-12-05 深圳市优必选科技股份有限公司 一种标志识别定位方法、标志识别定位装置及智能设备
CN112773272B (zh) * 2020-12-29 2022-10-18 深圳市杉川机器人有限公司 移动方向确定方法、装置、扫地机器人和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2220643C2 (ru) * 2001-04-18 2004-01-10 Самсунг Гванджу Электроникс Ко., Лтд. Автоматическое чистящее устройство, автоматическая чистящая система и способ управления этой системой (варианты)
CN1707223A (zh) * 2004-06-12 2005-12-14 杨建华 基于条形码的室内移动机器人定位系统和方法

Also Published As

Publication number Publication date
CN103020632A (zh) 2013-04-03

Similar Documents

Publication Publication Date Title
CN103020632B (zh) 一种室内环境中移动机器人定位标志点的快速识别方法
CN107424142B (zh) 一种基于图像显著性检测的焊缝识别方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN102073846B (zh) 基于航拍图像的交通信息获取方法
CN105335973A (zh) 运用于带钢加工生产线的视觉处理方法
CN105373135A (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN109409355A (zh) 一种新型变压器铭牌识别的方法及装置
CN108764338B (zh) 一种应用于视频分析的行人跟踪方法
CN110245566B (zh) 一种基于背景特征的红外目标远距离追踪方法
CN105678737A (zh) 一种基于Radon变换的数字图像角点检测方法
CN114581760B (zh) 一种机房巡检的设备故障检测方法及系统
CN112733711A (zh) 基于多尺度场景变化检测的遥感影像损毁建筑物提取方法
CN109615610B (zh) 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
CN105447431A (zh) 一种基于机器视觉的入坞飞机跟踪定位方法及系统
CN104050674A (zh) 一种显著性区域检测方法及装置
CN113538585A (zh) 基于无人机的高精度多目标智能识别定位追踪方法及系统
Philipsen et al. Ongoing work on traffic lights: Detection and evaluation
Cao et al. Power line detection based on symmetric partial derivative distribution prior
CN113642430B (zh) 基于VGG+NetVLAD的地下停车场高精度视觉定位方法及系统
CN111325076A (zh) 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法
CN103604388B (zh) 大尺度钢板三维测量中特殊标记物快速精确定位方法
Le et al. Pedestrian lane detection in unstructured environments for assistive navigation
Steininger et al. Towards Scene Understanding for Autonomous Operations on Airport Aprons
CN107145906B (zh) 基于全景视觉成像系统的移动机器人室内快速归航方法
Zhou et al. Traffic cone detection and localization in TechX Challenge 2013

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant