CN110308729B - 基于视觉与imu或里程计的agv组合导航定位方法 - Google Patents

基于视觉与imu或里程计的agv组合导航定位方法 Download PDF

Info

Publication number
CN110308729B
CN110308729B CN201910648140.2A CN201910648140A CN110308729B CN 110308729 B CN110308729 B CN 110308729B CN 201910648140 A CN201910648140 A CN 201910648140A CN 110308729 B CN110308729 B CN 110308729B
Authority
CN
China
Prior art keywords
agv
imu
vision
coordinate system
straight lines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910648140.2A
Other languages
English (en)
Other versions
CN110308729A (zh
Inventor
杜惠斌
刘静怡
李中胜
张荣山
李财盛
李江楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shijiazhuang Chenzhou Intelligent Equipment Co ltd
Original Assignee
Shijiazhuang Chenzhou Intelligent Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shijiazhuang Chenzhou Intelligent Equipment Co ltd filed Critical Shijiazhuang Chenzhou Intelligent Equipment Co ltd
Priority to CN201910648140.2A priority Critical patent/CN110308729B/zh
Publication of CN110308729A publication Critical patent/CN110308729A/zh
Application granted granted Critical
Publication of CN110308729B publication Critical patent/CN110308729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G05D1/0261—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means using magnetic plots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉与IMU或里程计的AGV组合导航定位方法，属于自动控制技术领域，包括建立坐标系、设置配置文件、AGV初始化以及组合定位四个步骤。控制器处理二维码信息得到AGV的初始位姿；当视觉相机采集到有效地面信息后，控制器通过卡尔曼滤波算法融合视觉与IMU或里程计数据纠正定位误差，完成组合导航定位。本发明的有益效果是：摆脱了传统方法对专用参照物的依赖，只需要已有常见地面参照物，大大降低了现场施工成本、难度与工作量；不依赖无线射频定位信号（如UWB，WIFI，Bluetooth等），适用于舞台剧场等复杂电磁环境的应用场合；视觉相机拍摄地面，不怕人员或障碍物的遮挡（如激光反射板、激光雷达等），适用于动态非结构环境的应用场合。

Description

基于视觉与IMU或里程计的AGV组合导航定位方法
技术领域
本发明属于自动控制技术领域，具体涉及一种基于视觉相机和IMU或者视觉相机和里程计的AGV组合导航定位方法。
背景技术
AGV，即Automated Guided Vehicle，通过预设的程序自动将物品从一个位置移动至另一位置，是一种自动化、信息化和智能化设备。其目前的导航方式有磁条、RFID信标、二维码标识、激光等。
对于应用于舞台剧场等需要驱动舞台按预设的轨迹移动、旋转的AGV而言，上述的导航方式至少存在以下技术问题：
舞台的移动方式多种多样、运动范围较大，在地面上铺设磁条、RFID信标或者二维码标识，将大大提升现场施工的成本、难度和工作量；如果采用无线射频的方式，由于舞台剧场中音响设备、无线话筒以及观众随身电子设备使得电磁环境十分复杂、干扰严重；如果采用激光导航的方式，由于舞台剧场等特殊的环境(舞台灯光的照射、演出人员的走动、设备的移动等)导致激光导航用的反射板难以安装导致上述的已知的导航方式无法实现或者需要较高的成本才能实现。
发明内容
本发明要解决的技术问题是提供一种基于视觉与IMU或里程计的AGV组合导航定位方法，通过视觉相机拍摄地面上的规则参照物得到的地面信息，配合AGV系统中IMU或里程计的信息，经过控制器对信息处理后实现组合定位，实现AGV的高精度定位，以适用于舞台剧场等环境。
为解决上述技术问题，本发明采用的技术方案是：
一种基于视觉与IMU或里程计的AGV组合导航定位方法，基于具有规则参照物的地面，包括以下步骤：
步骤A、建立坐标系：以地面任意一点为原点建立地面平面直角坐标系，并在地面上粘贴具有位姿信息的二维码标识；
步骤B、设置配置文件：将规则参照物的尺寸信息及二维码位姿信息输入至AGV的控制器配置文件，AGV控制器根据该配置文件自动生成网格地图；
步骤C、AGV初始化：AGV上电后手动操控其经过二维码标识，视觉相机扫描二维码标识并通过控制器计算得到AGV在地面平面直角坐标系中的绝对位置完成AGV初始化；
步骤D、组合导航定位：AGV在初始化完成后的运动过程中，视觉相机采集参照物信息，控制器将采集到的参照物信息利用平面几何关系求解此时AGV位姿数据、并将得到的AGV位姿数据与IMU或里程计数据通过卡尔曼滤波算法进行融合，完成组合导航定位。
本发明的有益效果是：摆脱了传统方法对专用参照物(如磁条、RFID信标、二维码阵列等)的依赖，只需要已有常见地面参照物(如地板、瓷砖等)，大大降低了现场施工成本、难度与工作量；不依赖无线射频定位信号(如UWB，WIFI，Bluetooth等)，适用于舞台剧场等复杂电磁环境的应用场合；视觉相机在车体内部向下拍摄地面，不怕人员或障碍物的遮挡(如激光反射板、激光雷达等)，适用于动态非结构环境的应用场合。
下面结合附图对本发明进行详细说明。
附图说明
图1是以采用木地板的地面建立的坐标系示意图；
图2是以采用瓷砖的地面建立的坐标系示意图；
图3是根据参照物自动生成的网格地图示意图；
图4是IMU数据计算得到的相机视野与视觉相机采集到的真实视野的示意图。
具体实施方式
本发明提供了一种基于视觉与IMU或里程计的AGV组合导航定位方法，基于具有规则参照物的地面。具有规则参照物的地面是指规则地铺设于地面的参照物如木地板、瓷砖贴纸等任意可拼接材质或可构成直线网格的喷涂性、粘贴性的标记，如附图1和2所示。
AGV系统上设有舞台，用于根据配置文件按照指定的轨迹移动舞台。在AGV系统的底部设有用于检测地面规则参照物的视觉相机以及相应的补光灯。视觉相机拍摄地面信息以得到AGV在地面坐标系下的位姿(位置与姿态)。在AGV系统上还设有IMU或里程计，用于采集AGV系统在移动过程中的移动数据。配套的控制器与视觉相机、IMU或里程计相连，以获取数据并处理得到的数据后控制AGV移动。
本发明的方法包括以下步骤：
步骤A、建立坐标系：以所要应用场景中的地面的任意一点为原点建立地面平面直角坐标系{W}，然后将坐标系划分为整备区和工作区两个部分。在整备区粘贴一系列具有位姿信息的二维码。上述的二维码自身信息及其对应的地面平面直角坐标系{W}下的位姿信息[xq,yq,αq]均保存在AGV中控制器的配置文件。
步骤B、设置配置文件：将规则参照物的尺寸信息输入至AGV的控制器的配置文件。
参见附图3，将地面参照物(如地板、瓷砖等)的长宽[lf,wf]以及长度方向(人为指定)与地面平面直角坐标系{W}的X轴方向夹角αf保存到控制器的配置文件；AGV控制器根据该配置文件自动生成网格地图，即对应于地面网格线的直线族：{M}＝{LX}∪{LY}。
步骤C、AGV初始化：AGV上电后手动操控其经过二维码标识，视觉相机扫描二维码标识并通过控制器计算得到AGV在地面平面直角坐标系中的绝对位置信息完成AGV初始化。
具体地，AGV在整备区内上电后，由操作员手动操控AGV经过粘贴有二维码的区域，视觉相机扫描到二维码后控制器通过配置文件自动计算AGV在地面平面直角坐标系{W}中的绝对位置信息[xa,ya,αa]，完成AGV的初始化。
步骤D、组合导航定位：参见附图4，AGV在初始化完成后根据配置文件中的移动路径运动过程中，视觉相机采集参照物信息，控制器将采集到的参照物信息利用平面几何关系求解此时AGV位姿数据、并将得到的AGV位姿数据与IMU或里程计数据通过卡尔曼滤波算法进行融合，完成组合导航定位。
AGV初始化完成后的一段短暂运动过程中，在视觉相机的采集不到有效地图信息的短时间隔内，由IMU或里程计负责此时AGV的导航定位。
AGV初始化完成后的运动过程中，当视觉相机采集到有效地图信息(如地板或瓷砖的缝隙、网格线等)后，控制器利用平面几何关系求解此时AGV可能的位姿数据，并将其与IMU或里程计数据通过卡尔曼滤波算法进行融合，完成组合导航定位。
具体地，控制器将采集到的参照物信息利用平面几何关系求解AGV位姿数据包括以下步骤：
S1：读取视觉相机采集到的地面图像。
S2：经过灰度化、去噪、增强等处理后检测图像中的直线，如果检测到直线存在，通过相机内参单应矩阵H求出图像中所有直线在视觉相机坐标系{C}下的方程{Li}＝{H·si,1+t·(H·si,1-H·si,2)|t∈R}；其中si,1和si,2是检测出来的第i条直线的两个端点，t为实数形参。如果没有检测到直线存在，则说明此时是AGV处于初始化完成后的短暂运动过程，由IMU或里程计负责此时AGV的导航定位。
S3：由IMU或里程计数据确定网格地图中网格线的直线族{M}＝{LX}∪{LY}中位于视觉相机视野内且距离其镜头原点最近的两条直线{Lx}和{Ly}。
具体求解过程如下：
网格线的直线族{LX}为平行线，由以下参数确定：平行线中任意一条直线上的一点s；平行线的方向向量v；平行线之间的距离w。设定与方向向量v垂直的向量为V，则距离点s为w的整数倍且与点s连线垂直于v的点s+n·w·V一定位于平行线族{LX}中的某条直线上。
平面上任意点p与平行线族{LX}的距离可表示为：d＝(p-s)·V/|p-s|，其中等号右侧为向量计算。
如此，距离的平方d2是关于整数n的二次曲线即开口向上的抛物线，由抛物线只存在一个顶点的性质可得到d2的最小值以及其对应的整数n，进而得到点s+n·w·V，该点与方向向量v组成的直线就是直线族{LX}中距离点p最近的直线。如果上述点p为视觉相机原点，即可求解地图网格线直线族{M}＝{LX}∪{LY}中距离相机原点最近的直线{Lx}和{Ly}。
S4：求解所有直线方程{Li}在视觉相机镜头坐标系{C}下的斜率θi与截距di；以及直线{Lx}和{Ly}在视觉相机镜头坐标系{C}下的斜率θx、θy与截距dx、dy。
S5：按照设定的阈值θt和dt将所有直线分成两组并排除错误直线，得到两组分别对应于{Lx}和{Ly}的检测直线{Lxi|i＝1,2,…,m}和{Lyi|i＝1,2,…,n}，
其中，Li∈{Lxi}，if|θi-θx|≤θt∩|di-dx|≤dt
Li∈{Lyi}，if|θi-θy|≤θt∩|di-dy|≤dt。
S6：对每个方向上检测出的直线以斜率差和截距差的加权和si分配每条直线的权重qi：
si＝p×|θi-θx|+(1-p)×|di-dx|
Figure BDA0002134240040000041
S7：对每个方向上检测出的直线以斜率的加权均值和截距的加权均值作为该方向上最终的检测直线{Lx_d}和{Ly_d}。
S8：由齐次变换关系
Figure BDA0002134240040000042
计算出由视觉相机确定的AGV当前位姿观测值
Figure BDA0002134240040000043
其中，
Figure BDA0002134240040000044
ATC为相机{C}在车体{A}上的安装位姿。
控制器将通过视觉相机观测得到的AGV位姿数据与IMU或里程计数据通过卡尔曼滤波算法进行融合包括以下步骤：
P1：以IMU或里程计数据作为状态量X，X＝[x,y,α]T。
P2：一阶牛顿运动学作为状态方程：Xk＝Xk-1+Vk·ΔT+ωk，其中，Vk为第k个周期的AGV速度，ΔT为周期时长，ωk为过程噪声，其协方差矩阵为Q，初值状态X0由二维码检测给出。
P3：建立观测方程(视觉相机拍摄地面图像并求解AGV位姿数据的过程是对状态量的观测)：Zk＝Xk+υk，其中，
Figure BDA0002134240040000045
υk为观测噪声，其协方差矩阵为R；上述步骤将数据融合问题以状态空间模型(State-space Model)的形式在状态空间中进行描述。
P4：利用状态方程来预测下一时刻的状态，即一步预测：
Figure BDA0002134240040000046
Figure BDA0002134240040000047
其中，
Figure BDA0002134240040000048
是一步预测结果
Figure BDA0002134240040000049
的协方差矩阵，描述了
Figure BDA00021342400400000410
的误差分布，其初值P0由经验值给出。
P5：然后，利用传感器对系统状态的观测值对系统状态的预测值进行纠正，即状态更新：
Figure BDA0002134240040000051
Figure BDA0002134240040000052
其中，Kg为卡尔曼增益，
Figure BDA0002134240040000053
本发明的方法通过将视觉相机安装在AGV车体内部并向下拍摄地面，采集二维码以及地板、瓷砖等地面图像信息；控制器处理二维码信息得到AGV的初始位姿；在视觉相机两次采集地面信息的间隔时间内，由IMU或里程计负责处理AGV短时局部导航定位；当视觉相机采集到有效地面信息后，控制器通过卡尔曼滤波算法融合视觉与IMU或里程计数据纠正定位误差，完成组合导航定位。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制。尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (5)

1.一种基于视觉与IMU或里程计的AGV组合导航定位方法，基于具有规则参照物的地面，其特征在于，包括以下步骤：
步骤A、建立坐标系：以地面任意一点为原点建立地面平面直角坐标系，并在地面上粘贴具有位姿信息的二维码标识；
步骤B、设置配置文件：将规则参照物的尺寸信息及二维码位姿信息输入至AGV的控制器配置文件，AGV控制器根据该配置文件自动生成网格地图；
步骤C、AGV初始化：AGV上电后手动操控其经过二维码标识，视觉相机扫描二维码标识并通过控制器计算得到AGV在地面平面直角坐标系中的绝对位置完成AGV初始化；
步骤D、组合导航定位：AGV在初始化完成后的运动过程中，视觉相机采集参照物信息，控制器将采集到的参照物信息利用平面几何关系求解此时AGV位姿数据、并将得到的AGV位姿数据与IMU或里程计数据通过卡尔曼滤波算法进行融合，完成组合导航定位；
在步骤D中控制器将采集到的参照物信息利用平面几何关系求解此时AGV位姿数据包括以下步骤：
S1：读取视觉相机采集到的地面图像；
S2：经过灰度化、去噪、增强等处理后检测图像中的直线，如果检测到直线存在，则通过相机内参单应矩阵H求出图像中所有直线在视觉相机坐标系{C}下的方程{Li}；
S3：由IMU或里程计数据确定网格地图中网格线的直线族{M}＝{LX}∪{LY}中位于视觉相机视野内且距离其镜头原点最近的两条直线{Lx}和{Ly}；
S4：求解所有直线方程{Li}在视觉相机镜头坐标系{C}下的斜率θi与截距di以及直线{Lx}和{Ly}在视觉相机镜头坐标系{C}下的斜率θx、θy与截距dx、dy；
S5：按照设定的阈值θt和dt将所有直线分成两组并排除错误直线，得到两组分别对应于{Lx}和{Ly}的检测直线{Lxi|i＝1,2,…,m}和{Lyi|i＝1,2,…,n}，其中，Li∈{Lxi}，if|θi-θx|≤θt∩|di-dx|≤dt
Li∈{Lyi}，if|θi-θy|≤θt∩|di-dy|≤dt；
S6：对每个方向上检测出的直线以斜率差和截距差的加权和si分配每条直线的权重qi：
si＝p×|θi-θx|+(1-p)×|di-dx|
Figure FDA0003532146570000021
S7：对每个方向上检测出的直线以斜率的加权均值和截距的加权均值作为该方向上最终的检测直线{Lx_d}和{Ly_d}；
S8：由齐次变换关系
Figure FDA0003532146570000022
计算出由视觉相机确定的AGV当前位姿观测值
Figure FDA0003532146570000023
其中，
Figure FDA0003532146570000024
ATC为相机{C}在车体{A}上的安装位姿。
2.根据权利要求1所述的基于视觉与IMU或里程计的AGV组合导航定位方法，其特征在于，在步骤D中控制器将得到的AGV位姿数据与IMU或里程计数据通过卡尔曼滤波算法进行融合包括以下步骤：
P1：以IMU或里程计数据作为状态量X：X＝[x,y,α]T；
P2：一阶牛顿运动学作为状态方程：Xk＝Xk-1+Vk·ΔT+ωk，其中，Vk为第k个周期的AGV速度，ΔT为周期时长，ωk为过程噪声，其协方差矩阵为Q，初值状态X0由二维码检测给出；
P3：建立观测方程：Zk＝Xk+υk，其中，
Figure FDA0003532146570000025
υk为观测噪声，其协方差矩阵为R；上述步骤将数据融合问题以状态空间模型(State-space Model)的形式在状态空间中进行描述；
P4:一步预测：
Figure FDA0003532146570000026
Figure FDA0003532146570000031
其中，
Figure FDA0003532146570000032
是一步预测结果
Figure FDA0003532146570000033
的协方差矩阵，描述了
Figure FDA0003532146570000034
的误差分布，其初值P0由经验值给出；
P5：状态更新：
Figure FDA0003532146570000035
Figure FDA0003532146570000036
其中，Kg为卡尔曼增益，
Figure FDA0003532146570000037
3.根据权利要求1或2所述的基于视觉与IMU或里程计的AGV组合导航定位方法，其特征在于，在步骤A中建立地面平面直角坐标系后将坐标系划分为整备区和工作区，二维码标识粘贴在整备区。
4.根据权利要求3所述的基于视觉与IMU或里程计的AGV组合导航定位方法，其特征在于，二维码标识在整备区粘贴有多个。
5.根据权利要求1或2所述的基于视觉与IMU或里程计的AGV组合导航定位方法，其特征在于，步骤B中还包括将指定的参考物的长度方向与地面平面直角坐标系X轴方向的夹角保存到控制器的配置文件中。
CN201910648140.2A 2019-07-18 2019-07-18 基于视觉与imu或里程计的agv组合导航定位方法 Active CN110308729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910648140.2A CN110308729B (zh) 2019-07-18 2019-07-18 基于视觉与imu或里程计的agv组合导航定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910648140.2A CN110308729B (zh) 2019-07-18 2019-07-18 基于视觉与imu或里程计的agv组合导航定位方法

Publications (2)

Publication Number Publication Date
CN110308729A CN110308729A (zh) 2019-10-08
CN110308729B true CN110308729B (zh) 2022-05-10

Family

ID=68080742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910648140.2A Active CN110308729B (zh) 2019-07-18 2019-07-18 基于视觉与imu或里程计的agv组合导航定位方法

Country Status (1)

Country Link
CN (1) CN110308729B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110702118A (zh) * 2019-10-25 2020-01-17 桂林电子科技大学 一种基于agv的室外定位导航系统及其定位方法
CN110764506B (zh) * 2019-11-05 2022-10-11 广东博智林机器人有限公司 移动机器人的航向角融合方法、装置和移动机器人
CN113074727A (zh) * 2020-01-06 2021-07-06 三个机器人公司 基于蓝牙与slam的室内定位导航装置及其方法
CN111198567B (zh) * 2020-01-17 2021-06-01 北京大学 一种多agv协同动态追踪方法及装置
CN111443713B (zh) * 2020-04-14 2023-07-18 三一机器人科技有限公司 融合定位导航系统和方法
CN112214028A (zh) * 2020-09-02 2021-01-12 上海电机学院 一种基于OpenMV的水下机器人位姿控制方法
CN112083726B (zh) * 2020-09-04 2021-11-23 湖南大学 一种面向园区自动驾驶的双滤波器融合定位系统
CN114485656A (zh) * 2020-11-11 2022-05-13 Oppo广东移动通信有限公司 室内定位方法及相关装置
CN112097768B (zh) * 2020-11-17 2021-03-02 深圳市优必选科技股份有限公司 机器人位姿的确定方法、装置、机器人及存储介质
CN112985394B (zh) * 2021-05-12 2021-08-06 腾讯科技（深圳）有限公司 定位方法和装置、存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020637B2 (en) * 2012-11-02 2015-04-28 Irobot Corporation Simultaneous localization and mapping for a mobile robot
CN105302135B (zh) * 2015-09-18 2017-10-20 天津鑫隆机场设备有限公司 基于双目视觉的助航灯光光强检测车导航与定位系统
CN108594851A (zh) * 2015-10-22 2018-09-28 飞智控（天津）科技有限公司 一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机
CN105928514A (zh) * 2016-04-14 2016-09-07 广州智能装备研究院有限公司 基于图像与惯性技术的agv复合导引系统
CN107121981A (zh) * 2017-04-20 2017-09-01 杭州南江机器人股份有限公司 一种基于视觉的agv巡线导航和定位方法
CN109579838A (zh) * 2019-01-14 2019-04-05 湖南海迅自动化技术有限公司 Agv小车的定位方法及定位系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multi-sensor information fusion for Internet of Things assisted automated guided vehicles in smart city;Ahmad AliAlZubi;《Sustainable Cities and Society》;20210131;1-11 *
P.Núñez.Natural landmark extraction for mobile robot navigation based on an adaptive curvature estimation.《Robotics and Autonomous Systems》.2008, *

Also Published As

Publication number Publication date
CN110308729A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110308729B (zh) 基于视觉与imu或里程计的agv组合导航定位方法
CN108571971B (zh) 一种agv视觉定位系统及方法
CN103941748B (zh) 自主导航方法及系统和地图建模方法及系统
CN110262517B (zh) Agv系统的轨迹跟踪控制方法
US9898821B2 (en) Determination of object data by template-based UAV control
Chen et al. Qualitative vision-based path following
CN108958250A (zh) 多传感器移动平台及基于已知地图的导航与避障方法
Thomson et al. Mobile laser scanning for indoor modelling
WO2012043045A1 (ja) 画像処理装置及びそれを用いた撮像装置
Xiao et al. 3D point cloud registration based on planar surfaces
CN109470233B (zh) 一种定位方法及设备
CN107689063A (zh) 一种基于天花板图像的机器人室内定位方法
KR20100005488A (ko) 이동 로봇의 지도 구성 장치 및 방법
US20220047138A1 (en) Systems and methods for visual docking in an autonomous mobile robot
CN104217439A (zh) 一种室内视觉定位系统及方法
JP6618075B2 (ja) 外郭空間特徴情報抽出方法｛ｍｅｔｈｏｄｆｏｒｅｘｔｒａｃｔｉｎｇｏｕｔｔｅｒｓｔａｔｉｃｓｔｒｕｃｔｕｒｅｏｆｓｐａｃｅｆｒｏｍｇｅｏｍｅｔｒｉｃｄａｔａｏｆｓｐａｃｅ｝
Beinschob et al. Advances in 3d data acquisition, mapping and localization in modern large-scale warehouses
CN114413909A (zh) 一种室内移动机器人定位方法及系统
Brenner Scalable estimation of precision maps in a mapreduce framework
Kayhani et al. Tag-based indoor localization of UAVs in construction environments: Opportunities and challenges in practice
Wei et al. Ground-SLAM: Ground constrained LiDAR SLAM for structured multi-floor environments
Bassier et al. Standalone terrestrial laser scanning for efficiently capturing AEC buildings for as-built BIM
Zhou et al. Comparative analysis of SLAM algorithms for mechanical LiDAR and solid-state LiDAR
Hsu et al. Application of multisensor fusion to develop a personal location and 3D mapping system
Bassier et al. Evaluation of data acquisition techniques and workflows for Scan to BIM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240115

Address after: 050000 No.1 Yite Avenue, emerging industry cluster area, Ma Village, Yuanshi County, Shijiazhuang, Hebei

Patentee after: Hebei Yite mechanical equipment manufacturing Co.,Ltd.

Address before: 050035 room 2, 3 / F, block B, Tianshan science and Technology Industrial Park, 391 Xiangjiang Road, Yuhua District, Shijiazhuang City, Hebei Province

Patentee before: Shijiazhuang Chenzhou Intelligent Equipment Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240126

Address after: 050000 room 310, 3rd floor, block B, Tianshan science and Technology Industrial Park, 319 Xiangjiang Road, high tech Zone, Shijiazhuang City, Hebei Province

Patentee after: Shijiazhuang Chenzhou Intelligent Equipment Co.,Ltd.

Country or region after: China

Address before: 050000 No.1 Yite Avenue, emerging industry cluster area, Ma Village, Yuanshi County, Shijiazhuang, Hebei

Patentee before: Hebei Yite mechanical equipment manufacturing Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right