CN112833883A - 一种基于多相机的室内移动机器人定位方法 - Google Patents

一种基于多相机的室内移动机器人定位方法 Download PDF

Info

Publication number
CN112833883A
CN112833883A CN202011616199.2A CN202011616199A CN112833883A CN 112833883 A CN112833883 A CN 112833883A CN 202011616199 A CN202011616199 A CN 202011616199A CN 112833883 A CN112833883 A CN 112833883A
Authority
CN
China
Prior art keywords
camera
coordinate system
point
positioning
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011616199.2A
Other languages
English (en)
Other versions
CN112833883B (zh
Inventor
张亮
朱光明
汪火良
孙煊溢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Purevision Technology Co ltd
Original Assignee
Hangzhou Purevision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Purevision Technology Co ltd filed Critical Hangzhou Purevision Technology Co ltd
Priority to CN202011616199.2A priority Critical patent/CN112833883B/zh
Publication of CN112833883A publication Critical patent/CN112833883A/zh
Application granted granted Critical
Publication of CN112833883B publication Critical patent/CN112833883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多相机的室内移动机器人定位方法,其方法步骤为:(1)对多个单目工业相机进行内参标定;(2)固定各相机位置后设置参考坐标系标定相机外参;(3)结合目标跟踪与特征检测获取图像中关键特征点的坐标;(4)利用链式转化求解机器人初始3D坐标;(5)融合多个定位结果求解精度更高的机器人3D坐标;本发明能够对室内移动机器人进行精确定位。

Description

一种基于多相机的室内移动机器人定位方法
技术领域
本发明属于机器人定位导航领域,涉及一种基于多相机的室内移动机器人定位方法,可用于生成室内移动机器人的移动轨迹。
背景技术
移动机器人的智能化为人们提供了更好的服务,但是高度智能化的前提是机器人对环境的感知以及对自身位置的掌握,因此移动机器人的定位问题成为研究的热门。室外场景中的定位技术依赖基于GPS的传感器,得益于GPS的覆盖面积与定位精度,移动机器人的室外定位技术较为成熟,能够对机器人进行高精度的定位。室内场景更加复杂,由于信号与墙壁的干扰,GPS在室内无法保证定位的精度,但是室内环境的视觉信息比较丰富,环境特征更具有标志性,移动机器人借助自身传感器采集这些特征信息,构建算法模型实现自主定位。但是自主定位算法运算量较大,且易受环境光照与噪声的影响,这导致自主定位算法形成的机器人移动轨迹与实际情况之间存在偏差,为了评估机器人自主定位算法的定位精度,不少依赖外部传感器的室内定位方法与轨迹生成系统被提出。
近年来应用于机器人室内导航的室内定位技术已经取得一定进展,通过采集室内环境构建特征数据集,在定位过程中提取图像特征与数据集中的特征进行匹配对比,能够准确地定位机器人的位置。但是,大部分的室内定位技术受限于特殊环境特征,且匹配特征速度慢,没有达到实时的要求。因此,在室内环境中对移动机器人进行快速精确定位并形成高精度运行轨迹对机器人导航领域具有重大意义。
发明内容
为了解决上述问题,本发明提供一种基于多相机的室内移动机器人定位方法,结合跟踪器与检测器对图像特征进行检测,将检测范围借由跟踪器缩小至图像中的某一块区域,从而减少特征检测所需的时间;同时通过多个相机所得定位结果的融合过程,优化机器人最终的位置坐标,解决了现有技术中存在的问题。
本发明针对上述技术问题主要是通过下述技术方案得以解决的:
一种基于多相机的室内移动机器人定位方法,包括以下步骤:
S1、利用棋盘格标定板对用于定位的各个单目工业相机进行内参标定,得到投影过程中的内参参数,构建针孔相机模型;
S2、调整各个单目工业相机的拍摄角度,搭建场景布局,利用特殊标记物对各个单目工业相机的外参进行标定,得到相机在世界坐标系中的位姿;特殊标记物为Apriltag;
S3、各个单目工业相机采集包含机器人的图像,机器人带有标记物;利用相关滤波跟踪器与角点检测器对相机采集图像中的特征进行提取,得到标记物角点特征的位置信息;
S4、利用标记物角点特征的位置信息和相机的内参描述各个相机与标记物之间的位置关系,令标记物代表机器人,得到机器人在世界坐标系中的坐标;
S5、利用线程池实现多相机协同定位机制,对多个定位结果进行融合,进一步提高机器人在世界坐标系中的坐标的精度。
作为优选,所述步骤S1中,单目相机的内参标定经由张正友标定法进行,具体是利用两个平面之间的单应性求解内参矩阵K,如式(1)所示:
Figure BDA0002874975980000021
其中,H为棋盘格平面与待标定相机图像平面之间的3*3单应变换矩阵,h1、h2和h3表示H中的列向量,内参矩阵K由焦距fx和fy和主点坐标cx和cy组成,表示单目工业相机的物理参数;R为旋转矩阵,是单目工业相机位姿的一部分,描述了单目工业相机的拍摄角度与拍摄方向;t为平移向量,是单目工业相机位姿的另一部分,描述了单目工业相机在三维世界中的位置信息;在求解内参矩阵K时,虽然R与t是未知的,但是通过旋转矩阵的性质能够对其进行消元。
作为优选,所述步骤S2,具体按照以下步骤进行:
S21、根据每个单目工业相机的拍摄角度确定每个相机对标记物的有效观测范围,在搭建多相机场景布局时确保各个相机的有效观测范围有重叠,消除定位范围内的视觉盲区,重叠区域一般不少于20%;
S22、采用Apriltag这一特殊标记物作为各台相机确定外参的参照物,求解Apriltag标记物平面与相机图像平面之间的单应变换H2,如式(2)所示:
Figure BDA0002874975980000031
其中,X和Y为标记物平面3D点坐标,以标记物平面为基础建立参考坐标系,此时参考坐标系的o-xy平面与标记物平面重合,3D点的坐标Z值为0,x和y为像素点坐标,由3D点投影至图像平面形成,这样的关系构成多个3D-2D点对;s表示此次变化的尺度信息,是一个标量;H2为待求解的单应矩阵,矩阵中共有9个未知量需要求解;
S23、利用已知的相机内参K与求解得到的单应变换H2,求解相机在借助标记物设置的世界坐标系中的位姿R2与t2,如式(3)所示:
H2=K[R2 t2][h1 h2 h3]=K[r1 r2 t2] (3)
其中,R2为3*3旋转矩阵,r1和r2为R2中前两个列向量,表示部分旋转信息,由于在这个转换中3D点的Z值始终为0,因此r3被消去,最后通过r1与r2的叉积求解;t2为3*1平移向量,对相机在世界坐标系中的位置进行描述。
作为优选,所述步骤S3,具体按照以下步骤进行:
S31、基于相关滤波将目标跟踪问题表述为线性分类问题,训练分类器(通过对分类器的目标函数进行优化来训练)求解图像中需要跟踪的目标区域,在求解的过程中使用诸如循环矩阵对角化性质、高维空间线性可分、核函数等简化分类过程,如式(4)所示:
Figure BDA0002874975980000041
其中,β为高维空间权重系数,是优化的对象,在每次跟踪之后获取训练样本更新该系数;G′为测试样本与训练样本在核空间的核矩阵,是一个循环矩阵,
Figure BDA0002874975980000042
循环位移生成(G′)T的样本,F为离散傅里叶矩阵,是一个常量矩阵,将求解响应值的过程转移到傅式空间中进行;z为测试样本,在目标跟踪问题中是图像中的一块矩形区域,f(·)对应测试样本的响应值,选择响应值最高的区域作为目标区域;
S32,在跟踪器所得目标区域中进行四边形检测,通过图像预处理、线段检测、四边形筛选、四边形区域特征对比检测区域中Apriltag标记物,从而获取Apriltag标记物四个外围角点的像素坐标。
作为优选,所述步骤S4,具体按照以下步骤进行:
S41、首先结合已知的相机位姿,整理得到3D点从世界坐标系转换至相机坐标系的过程,如式(5)所示:
PC=RCWPW+tCW (5)
其中,PC为3D点在相机坐标系下的坐标,PW为3D点在世界坐标系下的坐标,RCW与tCW为相机位姿中的旋转部分与平移部分,在该式中表现为对一个3D点的旋转平移过程;
S42、在机器人表面附着Apriltag标记物,在标记物平面构建参考系,记作物体坐标系,利用实际测量尺度构建物体坐标系中的3D点坐标,结合角点像素坐标,得到3D点从物体坐标系转换到相机坐标系的过程,如式(6)所示:
PC=RCMPM+tCM (6)
其中,PM为3D点在物体坐标系下的坐标,RCM与tCM为相机相对物体坐标系的位姿(旋转部分和平移部分);
S43、利用物体-相机坐标系和相机-世界坐标系的链式转换关系,求解3D点从物体坐标系转换至世界坐标系的过程,如式(7)所示:
Figure BDA0002874975980000051
S44、机器人位置由物体坐标系原点代表,即Apriltag标记物中心点,求解该点在世界坐标系下的坐标PW1,如式(8)所示:
Figure BDA0002874975980000052
作为优选,所述步骤S5中,多个相机定位所得结果均对应一个时间戳,根据时间戳对定位结果进行分类整理,通过定位结果融合方法将某一时间段中的定位结果进行融合,求解精度更高的机器人位置。
循环矩阵具有在傅式空间中能够对角化的性质,被用于消除求解过程中的求逆运算。
作为优选,所述四边形筛选时规则确定为:从一条线段开始,逆时针寻找其他三条能够与该线段组成四边形区域的线段,每条线段的末端点与下一条线段的起始端点之间的像素距离小于阈值L时,才能将下一条线段作为构成四边形的候选线段。阈值L为已经找到最后一条线段的两倍像素长度再加5个像素。例如初始线段为a,找到的第一条线段为b,在寻找下一条线段c时,要求b的末端和c的起始端之间的距离小于b的长度的两倍再加5个像素点。
最后,通过输出连续时间的机器人位置3D点坐标,可以形成机器人的运动轨迹。
本发明的有益效果是:
(1)本发明将目标跟踪与特征检测相结合,通过基于相关滤波的目标跟踪方法在图像中快速地确定检测区域,将原本全图的检测范围缩小至置信度较高的目标区域,过滤掉大部分的无用特征,使检测器在高置信度区域对角点进行检测,大大缩短了特征检测环节所需的时间,提高了实时性能。在视觉定位中为了追求图像的高质量,往往会选择分辨率较高的工业相机采集图像,结合目标跟踪与特征检测的策略解决了定位方法中常见的处理特征所需时间过长的问题。
(2)本发明使用特殊标记物Apriltag代表机器人的特征,对多种类的机器人特征进行了统一,同时Apriltag四个角点的3D坐标易于通过测量获得,在构建链式关系求解机器人位置时具有关键的作用。
(3)本发明使用线程池实现多个相机对机器人的同时定位,在将定位流程任务化的同时,避免了因反复采集图像导致频繁创建与销毁线程造成的额外开销,提高了系统的实时性能。
(4)本发明通过对定位结果的融合,减少冗余定位结果对轨迹形状的影响,同时过滤异常定位结果,提高融合结果的准确性。
附图说明
图1是本发明的一种基于多相机的室内移动机器人定位方法的流程图;
图2是本发明的一种求解机器人在世界坐标系中的坐标的示意图;
图3是本发明的一种将定位结果融合的示意图;
图4是本发明的一种时间分段策略示意图;
图5是本发明的一种时间分段结构体示意图。
具体实施方式
下面通过实施例,并结合附图,对本发明的技术方案作进一步具体的说明。
实施例:本实施例的一种基于多相机的室内移动机器人定位方法,如图1所示,包括以下步骤:
S1、首先对各个相机进行内参标定,得到各个相机的物理参数,在调整好各台相机的拍摄角度后,将各个相机固定位置,确保各个相机的有效检测范围有部分重叠(不少于20%),通过预先设置的世界坐标系,求解各个相机的位姿,构建针孔相机模型,模拟3D点投影过程;
S2、相机采集图像,在图像中通过相关滤波跟踪器确定包含机器人的目标区域,检测器在目标区域中检测Apriltag,提取四个外围角点特征,从而得到它们的像素坐标;
Apriltag是一种具有二维条形码风格的标记物,其图案以特殊的编码方式存储区别度较高的视觉信息,这使得Apriltag更容易被识别,它在图像中通常呈现四边形区域。
本步骤具体为:
S21、基于相关滤波将目标跟踪问题表述为线性分类问题,训练分类器求解图像中需要跟踪的目标区域,在求解的过程中使用诸如循环矩阵对角化性质、高维空间线性可分、核函数等技巧简化分类过程,如下式所示:
Figure BDA0002874975980000071
其中,β为高维空间权重系数,是优化的对象,在每次跟踪之后获取训练样本更新该系数。G′为测试样本与训练样本在核空间的核矩阵,是一个循环矩阵,
Figure BDA0002874975980000072
为循环位移生成(G′)T的样本,F为离散傅里叶矩阵,是一个常量矩阵,将求解响应值的过程转移到傅式空间中进行。z为测试样本,在目标跟踪问题中是图像中的一块矩形区域,f(·)对应测试样本的响应值,评估这块候选区域称为目标区域的可能性,选择响应值最高的区域作为目标区域;
S22、在跟踪器所得目标区域中进行四边形检测,通过图像预处理、线段检测、四边形筛选、四边形区域特征对比检测区域中Apriltag标记物,从而获取Apriltag标记物四个外围角点的像素坐标。
图像预处理:对目标区域进行低通滤波,减少环境噪声对图像的负面影响,如下式所示:
Figure BDA0002874975980000073
同时对目标区域进行降采样,过滤复杂环境中可能存在的多个规模较小的四边形,减少检测器误检与漏检Apriltag的几率。
线段检测:计算目标区域中像素点的梯度方向与强度,以此为根据对像素点进行分类,组成同一条线段的像素点归为一类,引入聚类算法加速像素点的分类。
四边形筛选:选择能够组成四边形区域的四条线段,规定在逆时针方向上,一条线段末端点与另一条线段始端点之间的距离小于阈值时,这两条线段被认为是有交点的,具体定义如下式所示:
distance≤threshold=2*line_length+5
其中,distance为两条线段始末端点之间的像素距离,threshold为端点像素距离的阈值,超过该阈值说明两条线段无法首尾相接,line_length为第一条线段的像素长度。通过深度为4的深度优先搜索算法实现以上述规定为前提的四边形筛选,采用二维查找表记录每条线段的判断情况,防止线段被重复判断,减少筛选时间。
标记物特征对比:提取候选四边形区域中的角点特征信息,与图案特征库中的编码方式进行对比,得到代表Apriltag的四边形区域,此时输出该四边形区域的四个角点像素坐标作为2D部分的点对信息。
S3、利用对应的3D-2D点对坐标与相机内外参,构建两组坐标系转换关系,经过链式的转化求解机器人在世界坐标系中的坐标,如图2所示,具体过程如下:
S31、首先结合已知的相机位姿,整理得到3D点从世界坐标系转换至相机坐标系的过程,如下式所示:
PC=RCWPW+tCW
其中,PC为3D点在相机坐标系下的坐标,PW为3D点在世界坐标系下的坐标,RCW与tCW为相机位姿中的旋转部分与平移部分,在该式中表现为对一个3D点的旋转平移过程;
S32、在机器人表面附着Apriltag标记物,在标记物平面构建参考系,记作物体坐标系,利用实际测量尺度构建物体坐标系中的3D点坐标,结合角点像素坐标,得到3D点从物体坐标系转换到相机坐标系的过程,如下式所示:
PC=RCMPM+tCM
其中,PM为3D点在物体坐标系下的坐标,RCM与tCM为相机相对物体坐标系的位姿;
S33、利用物体-相机坐标系、相机-世界坐标系的链式转换关系,求解3D点从物体坐标系转换至世界坐标系的过程,如下式所示:
Figure BDA0002874975980000091
S34、机器人位置由物体坐标系原点代表,即Apriltag标记物中心点,令PM=(0,0,0),求解该点在世界坐标系下的坐标PW1,如下式所示:
Figure BDA0002874975980000092
此处求解所得PW1为单个相机通过一帧图像确定的机器人位置,即机器人在世界坐标系下的初步坐标。
S4、将相机从采集图像开始到求解机器人在世界坐标系中初步坐标的过程封装成一个任务单元,通过线程池调度线程完成这些任务单元,实现低开销情况下的多机协作定位。
任务单元:包含采集图像、跟踪器在图像中确定目标区域、检测器在目标区域中检测Apriltag四个外围角点、完成初步的机器人定位这几个部分,一个任务单元由一个相机采集一帧图像时生成并插入线程池的任务队列,等待线程池调度空闲线程接受任务。
线程池:多机协作定位通过多线程实现,线程的频繁创建与销毁带来了巨大的资源开销。线程池的机制确保池中线程的生命周期与整个线程池同步,在连续定位的过程中每个线程只有一次创建与销毁操作,当任务队列无任务单元时,线程处于空闲状态,并不占用CPU。
S5、多个相机定位所得结果均对应一个时间戳,根据时间戳对定位结果进行分类整理,通过定位结果融合方法将某一时间段中的定位结果进行融合,求解精度更高的机器人位置,如图3所示。
时间分段策略:以固定的时间长度将整个定位过程所花时间分为若干个时间段,规定采集一帧图像的时刻作为定位结果的分类依据。图4中,以各个线程中初始ROI输入完毕的时刻作为起始时刻,记作tstart,将定位任务中图像采集完毕的时刻作为当前时刻,记作tcur,根据定位时机器人的移动速度选择两个合适的时间间隔δt1与δt2。首先将整段定位时间以δt2。的长度进行分段,得到多个时间分段T1,T2…Tn,然后在每个时间分段中以δt1的长度再次进行分段,得到多个较小的时间分段t1,t2,…tm,tcur根据下式得到其落在t2段中:
Figure BDA0002874975980000101
其中,m为较小时间分段的下标,指示tcur落在哪个时间分段,可用于定位结果的统计整理。
时间分段结构体:对应时间分段中的数据管理,统计多个定位结果,用于更精确的机器人位置求解。图5中的结构体与图4中的Ti对应,头部中的start_time记录Ti段开始的时间,update_count记录Ti段中定位结果数据的更新次数,主体是一个数据数组,数组元素对应于Ti中的tj,每一个数组元素由累加的定位结果result_sum、累加次数count和参与结果融合的相机编号数组组成。tcur时刻对应的定位结果融合至data_array[m-1]中,对应的count累加1,result_sum累加该定位结果,同时对应的camera_ID[k-1]置位,k-1对应采集该帧图像的相机ID,记录该相机产生的定位结果参与了该时间段的定位结果融合。随着时间的推移,tcur必然会到达下一个时间分段Ti+1,此时,算法将这个时刻所得的定位结果暂存在第二个结构体中,并以相同的规则对这一结构体中的数据进行更新。若第一个结构体超过固定时间没有再次更新,则表示各个相机采集图像的时刻均已进入Ti+1,需要对第一个结构体中统计的定位结果进行整理,数组中每一个元素都记录了累加结果与累加次数,通过取均值的方式计算每个小时间分段tm中的最终融合结果,如下式所示:
Figure BDA0002874975980000111
其中,
Figure BDA0002874975980000112
为时间分段tm的融合定位结果。对于融合得到的结果设置一个时间点与其对应,即tm段的融合结果与tm+1的起始时间点对应。完成第一个结构体中的定位结果融合后将其中的数据持久化并重置第一个结构体,将其作为溢出数据的暂存容器。
本发明用于移动机器人室内导航,包括对移动机器人室内活动的定位、二维移动轨迹的生成,基于室内环境视觉信息与标记物特征,具有普适性的服务型移动机器人如扫地机器人、仓储机器人等,均能够采用本发明的方法进行定位,其生成的轨迹也具有足够的精度能够评估机器人自主定位算法的精度。
本发明在实际环境中进行了测试,首先对比了本发明与单个相机的定位结果,同样在光照强度正常的场景中,通过比较本发明生成的轨迹相对ground truth的均方根误差与单个相机相对ground truth的误差,本发明的精度提升了约34.38%。在复杂场景中本发明的定位效果也足够稳定准确,在正常场景中,对固定移动模式的扫地机器人进行定位,其生成的轨迹相对模拟轨迹存在的误差为2.81752cm,而低亮度场景中生成的轨迹相对模拟轨迹存在的误差为2.92326cm,仅相差约0.11cm,有遮挡物场景中生成的轨迹相对模拟轨迹存在的误差为3.48215cm,虽然误差变大,但是该发明能够在发生遮挡时对机器人进行持续的跟踪,形成完整且偏差较小的移动轨迹。这说明本发明不仅有较高的精度,且能够在复杂的场景中做到高速稳定准确度较高的定位,解决了当前定位方法与系统耗时大,对定位环境有特殊要求的缺陷。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (7)

1.一种基于多相机的室内移动机器人定位方法,其特征在于,包括以下步骤:
S1、利用棋盘格标定板对用于定位的各个单目工业相机进行内参标定,得到投影过程中的内参参数,构建针孔相机模型;
S2、调整各个单目工业相机的拍摄角度,搭建场景布局,利用特殊标记物对各个单目工业相机的外参进行标定,得到相机在世界坐标系中的位姿;
S3、各个单目工业相机采集包含机器人的图像,机器人带有标记物;利用相关滤波跟踪器与角点检测器对相机采集图像中的特征进行提取,得到标记物角点特征的位置信息;
S4、利用标记物角点特征的位置信息和相机的内参描述各个相机与标记物之间的位置关系,令标记物代表机器人,得到机器人在世界坐标系中的坐标;
S5、利用线程池实现多相机协同定位机制,对多个定位结果进行融合,进一步提高机器人在世界坐标系中的坐标的精度。
2.根据权利要求1所述的一种基于多相机的室内移动机器人定位方法,其特征在于,所述步骤S1中,单目相机的内参标定经由张正友标定法进行,具体是利用两个平面之间的单应性求解内参矩阵K,如式(1)所示:
Figure FDA0002874975970000011
其中,H为棋盘格平面与待标定相机图像平面之间的3*3单应变换矩阵,h1、h2和h3表示H中的列向量,内参矩阵K由焦距fx和fy以及主点坐标cx和cy组成;R为旋转矩阵;t为平移向量。
3.根据权利要求2所述的一种基于多相机的室内移动机器人定位方法,其特征在于,所述步骤S2,具体按照以下步骤进行:
S21、根据每个单目工业相机的拍摄角度确定每个相机对标记物的有效观测范围,在搭建多相机场景布局时确保各个相机的有效观测范围有一部分重叠,消除定位范围内的视觉盲区;
S22、采用Apriltag这一特殊标记物作为各台相机确定外参的参照物,求解Apriltag标记物平面与相机图像平面之间的单应变换H2,如式(2)所示:
Figure FDA0002874975970000021
其中,X和Y为标记物平面3D点坐标,以标记物平面为基础建立参考坐标系,此时参考坐标系的o-xy平面与标记物平面重合,3D点的坐标Z值为0,x和y为像素点坐标,由3D点投影至图像平面形成,这样的关系构成多个3D-2D点对;s表示此次变化的尺度信息;H2为待求解的单应矩阵;
S23、利用已知的相机内参K与求解得到的单应变换H2,求解相机在借助标记物设置的世界坐标系中的位姿R2与t2如式(3)所示:
H2=K[R2 t2][h1 h2 h3]=K[r1 r2 t2] (3)
其中,R2为3*3旋转矩阵,r1和r2为R2中前两个列向量;t2为3*1平移向量。
4.根据权利要求3所述的一种基于多相机的室内移动机器人定位方法,其特征在于,所述步骤S3,具体按照以下步骤进行:
S31、基于相关滤波将目标跟踪问题表述为线性分类问题,训练分类器求解图像中需要跟踪的目标区域,如式(4)所示:
Figure FDA0002874975970000022
其中,β为高维空间权重系数;G′为测试样本与训练样本在核空间的核矩阵,
Figure FDA0002874975970000023
为循环位移生成(G′)T的样本,F为离散傅里叶矩阵;z为测试样本,f(·)对应测试样本的响应值,选择响应值最高的区域作为目标区域;
S32,在跟踪器所得目标区域中进行四边形检测,通过图像预处理、线段检测、四边形筛选、四边形区域特征对比检测区域中Apriltag标记物,从而获取Apriltag标记物四个外围角点的像素坐标。
5.根据权利要求4所述的一种基于多相机的室内移动机器人定位方法,其特征在于,所述步骤S4,具体按照以下步骤进行:
S41、首先结合已知的相机位姿,整理得到3D点从世界坐标系转换至相机坐标系的过程,如式(5)所示:
PC=RCWPW+tCW (5)
其中,PC为3D点在相机坐标系下的坐标,PW为3D点在世界坐标系下的坐标,RCW与tCW为相机位姿中的旋转部分与平移部分;
S42、在机器人表面附着Apriltag标记物,在标记物平面构建参考系,记作物体坐标系,利用实际测量尺度构建物体坐标系中的3D点坐标,结合角点像素坐标,得到3D点从物体坐标系转换到相机坐标系的过程,如式(6)所示:
PC=RCMPM+tCM (6)
其中,PM为3D点在物体坐标系下的坐标,RCM与tCM为相机相对物体坐标系的位姿;
S43、利用物体-相机坐标系和相机-世界坐标系的链式转换关系,求解3D点从物体坐标系转换至世界坐标系的过程,如式(7)所示:
Figure FDA0002874975970000031
S44、机器人位置由物体坐标系原点代表,即Apriltag标记物中心点,求解该点在世界坐标系下的坐标PW1,如式(8)所示:
Figure FDA0002874975970000032
6.根据权利要求5所述的一种基于多相机的室内移动机器人定位方法,其特征在于,所述步骤S5中,多个相机定位所得结果均对应一个时间戳,根据时间戳对定位结果进行分类整理,通过定位结果融合方法将某一时间段中的定位结果进行融合,求解精度更高的机器人位置。
7.根据权利要求3所述的一种基于多相机的室内移动机器人定位方法,其特征在于,所述四边形筛选时规则确定为:从一条线段开始,逆时针寻找其他三条能够与该线段组成四边形区域的线段,每条线段的末端点与下一条线段的起始端点之间的像素距离小于阈值L时,才能将下一条线段作为构成四边形的候选线段,阈值L为已经找到最后一条线段的两倍像素长度再加5个像素。
CN202011616199.2A 2020-12-31 2020-12-31 一种基于多相机的室内移动机器人定位方法 Active CN112833883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011616199.2A CN112833883B (zh) 2020-12-31 2020-12-31 一种基于多相机的室内移动机器人定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011616199.2A CN112833883B (zh) 2020-12-31 2020-12-31 一种基于多相机的室内移动机器人定位方法

Publications (2)

Publication Number Publication Date
CN112833883A true CN112833883A (zh) 2021-05-25
CN112833883B CN112833883B (zh) 2023-03-10

Family

ID=75925634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011616199.2A Active CN112833883B (zh) 2020-12-31 2020-12-31 一种基于多相机的室内移动机器人定位方法

Country Status (1)

Country Link
CN (1) CN112833883B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113503830A (zh) * 2021-07-05 2021-10-15 无锡维度投资管理合伙企业(有限合伙) 一种基于多相机的非球面面形测量方法
CN113781550A (zh) * 2021-08-10 2021-12-10 国网河北省电力有限公司保定供电分公司 一种四足机器人定位方法与系统
CN114917978A (zh) * 2022-05-06 2022-08-19 北京航空航天大学杭州创新研究院 一种用于机器人-动物混合群体行为研究的实验台
CN115201883A (zh) * 2022-05-20 2022-10-18 北京航天时代光电科技有限公司 一种运动目标视频定位测速系统及方法
CN115511967A (zh) * 2022-11-17 2022-12-23 歌尔股份有限公司 一种视觉定位方法、装置和系统
CN116499456A (zh) * 2023-06-28 2023-07-28 苏州中德睿博智能科技有限公司 移动机器人自动定位装置、方法及无人割草机定位系统
CN116704046A (zh) * 2023-08-01 2023-09-05 北京积加科技有限公司 一种跨镜图像匹配方法及装置
CN117036489A (zh) * 2023-10-10 2023-11-10 泉州装备制造研究所 基于人工标识和四目全景相机的机器人定位方法及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170154219A1 (en) * 2014-06-17 2017-06-01 Yujin Robot Co., Ltd. Apparatus of recognizing position of mobile robot using direct tracking and method thereof
CN109141433A (zh) * 2018-09-20 2019-01-04 江阴市雷奥机器人技术有限公司 一种机器人室内定位系统及定位方法
CN109961485A (zh) * 2019-03-05 2019-07-02 南京理工大学 一种基于单目视觉进行目标定位的方法
CN109993052A (zh) * 2018-12-26 2019-07-09 上海航天控制技术研究所 一种复杂场景下尺度自适应的目标跟踪方法和系统
US20190219401A1 (en) * 2018-01-12 2019-07-18 The Trustees Of The University Of Pennsylvania Probabilistic data association for simultaneous localization and mapping
CN110533727A (zh) * 2019-07-23 2019-12-03 南京航空航天大学 一种基于单个工业相机的机器人自定位方法
US20200096343A1 (en) * 2018-09-26 2020-03-26 Ubtech Robotics Corp Ltd Positioning method and robot with the same
CN111968177A (zh) * 2020-07-22 2020-11-20 东南大学 一种基于固定摄像头视觉的移动机器人定位方法
CN112033408A (zh) * 2020-08-27 2020-12-04 河海大学 一种贴纸式的物体空间定位系统及定位方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170154219A1 (en) * 2014-06-17 2017-06-01 Yujin Robot Co., Ltd. Apparatus of recognizing position of mobile robot using direct tracking and method thereof
US20190219401A1 (en) * 2018-01-12 2019-07-18 The Trustees Of The University Of Pennsylvania Probabilistic data association for simultaneous localization and mapping
CN109141433A (zh) * 2018-09-20 2019-01-04 江阴市雷奥机器人技术有限公司 一种机器人室内定位系统及定位方法
US20200096343A1 (en) * 2018-09-26 2020-03-26 Ubtech Robotics Corp Ltd Positioning method and robot with the same
CN109993052A (zh) * 2018-12-26 2019-07-09 上海航天控制技术研究所 一种复杂场景下尺度自适应的目标跟踪方法和系统
CN109961485A (zh) * 2019-03-05 2019-07-02 南京理工大学 一种基于单目视觉进行目标定位的方法
CN110533727A (zh) * 2019-07-23 2019-12-03 南京航空航天大学 一种基于单个工业相机的机器人自定位方法
CN111968177A (zh) * 2020-07-22 2020-11-20 东南大学 一种基于固定摄像头视觉的移动机器人定位方法
CN112033408A (zh) * 2020-08-27 2020-12-04 河海大学 一种贴纸式的物体空间定位系统及定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIN WEIGUO ET AL.: "Localization of mobile robot based on ID tag and WEB camera", 《2014 IEEE CONFERENCE ON ROBOTICS, AUTOMATION AND MECHATRONICS》 *
王维: "基于视觉的移动机器人定位方法研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113503830A (zh) * 2021-07-05 2021-10-15 无锡维度投资管理合伙企业(有限合伙) 一种基于多相机的非球面面形测量方法
CN113503830B (zh) * 2021-07-05 2023-01-03 无锡维度投资管理合伙企业(有限合伙) 一种基于多相机的非球面面形测量方法
CN113781550A (zh) * 2021-08-10 2021-12-10 国网河北省电力有限公司保定供电分公司 一种四足机器人定位方法与系统
CN114917978A (zh) * 2022-05-06 2022-08-19 北京航空航天大学杭州创新研究院 一种用于机器人-动物混合群体行为研究的实验台
CN115201883A (zh) * 2022-05-20 2022-10-18 北京航天时代光电科技有限公司 一种运动目标视频定位测速系统及方法
CN115511967A (zh) * 2022-11-17 2022-12-23 歌尔股份有限公司 一种视觉定位方法、装置和系统
CN116499456A (zh) * 2023-06-28 2023-07-28 苏州中德睿博智能科技有限公司 移动机器人自动定位装置、方法及无人割草机定位系统
CN116499456B (zh) * 2023-06-28 2023-09-05 苏州中德睿博智能科技有限公司 移动机器人自动定位装置、方法及无人割草机定位系统
CN116704046A (zh) * 2023-08-01 2023-09-05 北京积加科技有限公司 一种跨镜图像匹配方法及装置
CN116704046B (zh) * 2023-08-01 2023-11-10 北京积加科技有限公司 一种跨镜图像匹配方法及装置
CN117036489A (zh) * 2023-10-10 2023-11-10 泉州装备制造研究所 基于人工标识和四目全景相机的机器人定位方法及设备
CN117036489B (zh) * 2023-10-10 2024-02-09 泉州装备制造研究所 基于人工标识和四目全景相机的机器人定位方法及设备

Also Published As

Publication number Publication date
CN112833883B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN112833883B (zh) 一种基于多相机的室内移动机器人定位方法
CN109059954B (zh) 支持高精度地图车道线实时融合更新的方法和系统
Toft et al. Long-term visual localization revisited
Xia et al. DOTA: A large-scale dataset for object detection in aerial images
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
CN103337052B (zh) 面向宽幅遥感影像的自动几何纠正方法
Su et al. Global localization of a mobile robot using lidar and visual features
CN103854283A (zh) 一种基于在线学习的移动增强现实跟踪注册方法
CN106462976A (zh) 在异步传感器观测到的场景中追踪形状的方法
CN111105495A (zh) 一种融合视觉语义信息的激光雷达建图方法及系统
CN110097584A (zh) 结合目标检测和语义分割的图像配准方法
CN111476827A (zh) 目标跟踪方法、系统、电子装置及存储介质
CN110246082B (zh) 一种遥感全景图像拼接方法
CN109145836A (zh) 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法
CN111060924A (zh) 一种slam与目标跟踪方法
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
CN112991534B (zh) 一种基于多粒度物体模型的室内语义地图构建方法及系统
Deng et al. Long-Term Visual Simultaneous Localization and Mapping: Using a Bayesian Persistence Filter-Based Global Map Prediction
Sun et al. Geographic, geometrical and semantic reconstruction of urban scene from high resolution oblique aerial images.
CN111811502A (zh) 一种运动载体多源信息融合导航方法及系统
CN115147644A (zh) 图像描述模型的训练和描述方法、系统、设备及存储介质
Zhang Innovation of English teaching model based on machine learning neural network and image super resolution
CN110349209A (zh) 基于双目视觉的振捣棒定位方法
Mohedano et al. Camera localization usingtrajectories and maps
Khan et al. A review of benchmark datasets and training loss functions in neural depth estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant