CN115585810A - 一种基于室内全局视觉的无人车定位方法和装置 - Google Patents

一种基于室内全局视觉的无人车定位方法和装置 Download PDF

Info

Publication number
CN115585810A
CN115585810A CN202211204666.XA CN202211204666A CN115585810A CN 115585810 A CN115585810 A CN 115585810A CN 202211204666 A CN202211204666 A CN 202211204666A CN 115585810 A CN115585810 A CN 115585810A
Authority
CN
China
Prior art keywords
image
mobile robot
camera
coordinate
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211204666.XA
Other languages
English (en)
Inventor
俞建浩
曾庆喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202211204666.XA priority Critical patent/CN115585810A/zh
Publication of CN115585810A publication Critical patent/CN115585810A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于室内全局视觉的无人车定位方法和装置，所述方法包括：步骤1，将视觉传感器固定在室内天花板上，采集在行进中的移动机器人周边的地面环境图像；将两个二维码标签布置于移动机器人顶部，用两个二维码对移动机器人进行标识；步骤2，由图像处理器将步骤1中获得的地面环境图像进行畸形矫正变换，得到正常图像；步骤3，将正常图像进行特征提取获取特征点；将两幅以上由不同视觉传感器捕获的具有特征点的正常图像进行特征匹配；步骤4，将图像进行融合，得到拼接后的广域全景图；步骤5，求解出移动机器人的位姿信息。本发明可以实现在广域复杂室内环境中移动机器人的控制与跟踪，实现移动机器人的精确导航。

Description

一种基于室内全局视觉的无人车定位方法和装置
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于室内全局视觉的无人车定位方法和装置。
背景技术
室内定位是实现移动机器人室内导航的前提，移动机器人携带相关的传感器实时定位和建图。由于SLAM(Simultaneous Localization and Mapping，同时定位与地图构建)问题中的定位是机器人构建地图和导航问题的基础，且对于一款移动机器人在应用和产业化发展中起着决定性的作用，因此是移动机器人应用实现工业化和发展的最大障碍。但是SLAM在场景变化的空间内无法使用，此时，可以通过视觉定位来解决室内动态环境的定位问题。
二维码定位是指利用图像传感等手段检测出室内场景中二维码实时位置的技术，它是室内无人车主要定位方法之一。在基于视觉的二维码定位系统中，二维码的检测与跟踪是一个基本的、必要的功能，它能防止无人车撞上障碍物，同时也可以将包括地图信息，无人车位姿等其它重要信息提供给主控系统。
近几十年来，视觉测量技术已成为一种非常热门的测量技术。它使用机器视觉信息来获取图像中的特征点。由于视觉测量技术是通过非接触式实现、良好的测量精度、速度较快、价格适中、摄像机适用性广而且在现代先进制造技术研究和智能服务生活相关行业中得到广泛应用。此外，基于摄像头的全局视觉测量系统可用于测量静态摄像机或具有固定和多重冗余的相机网络而不受电子干扰，从而实现更高的精度。因此，其测量值可以用作机器人的其他轨迹评估系统的真实值。为了评估移动机器人的性能，通常在室内建筑实验中通过测试场景固定多个摄像头，使用全局视觉系统进行机器人轨迹跟踪。此外，移动机器人定位的准确性、稳定性是提高移动机器人的性能的关键。移动机器人的工业应用的基本要求之一是机器人可以稳定和精确地定位、构建环境地图，并能进行可靠的导航。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于室内全局视觉的无人车定位方法，包括以下步骤：
步骤1，将两个以上视觉传感器固定在室内天花板上，采集在行进中的移动机器人周边的地面环境图像；将两个二维码标签布置于移动机器人顶部，用两个二维码对移动机器人进行标识，标识的信息包含移动机器人车体的位姿信息和速度信息；
步骤2，由图像处理器(工控机GK3000)将步骤1中获得的地面环境图像进行畸形矫正变换，得到正常图像；
步骤3，将正常图像进行特征提取获取特征点，并将特征矩阵进行存储；再将两幅以上由不同视觉传感器捕获的具有特征点的正常图像进行特征匹配；
步骤4，将经过步骤3特征匹配后的图像进行融合，得到拼接后的广域全景图；
步骤5，对广域全景图进行二维码识别，得到两个二维码的位姿信息；根据视觉传感器安置高度与二维码大小、二维码中心位置求解出移动机器人的位姿信息。
步骤1包括：
步骤1-1：先确定两个以上视觉传感器的摄像头摆放的位置与姿态，并根据实际场景调整摄像头的配套光源亮度以及视觉传感器的位置间距；
步骤1-2：根据当前的光源亮度，调整视觉传感器的参数，采集二维码信息，通过二维码中心位置测量方差与实际方差进行比对，得到定位的置信度；
步骤1-3：实时采集在行进中的移动机器人周边的连续的地面环境图像，并将采集到的地面环境图像传送到图像处理器。
步骤1-2包括：记d为两个二维码中心点之间的实际物理距离；ei为当前帧i两个二维码之间的测量距离；wi＝|d-ei|为当前帧i的测量误差，通过测量误差的方差值来评估定位的准确度，方差公式为：
Figure BDA0003868752960000021
其中s2表示整个视频帧时评测量的方差，n是视频流的总帧数。w表示n帧视频流测量误差的平均值。通过方差来衡量误差数据的波动大小，方差值越小，系统就越稳定，误差越小。
步骤2包括：所述视觉传感器为相机，使用张正友标定法对相机进行标定，得到相机参数信息(fx,fy,cx,cy)，其中fx为相机x轴的焦距，fy为相机y轴焦距，cx是焦距中心在像素坐标系中x的坐标值，cy是焦距中心在相机坐标系中y的坐标值；已知的是畸变后的图像，通过畸变模型推导映射关系，得到未畸变的图像：
真实图像imgR与畸变图像imgD关系为：imgR(u,v)＝imgD(ud,uv)；imgR(u,v)表示真实图像imgR在像素坐标系中横坐标u、纵坐标v处的像素值，imgD(ud,uv)表示畸变图像imgD在像素坐标系中横坐标ud、纵坐标uv处的像素值；
真实图像到畸变图像的转换公式为：
Figure BDA0003868752960000031
Figure BDA0003868752960000032
Figure BDA0003868752960000033
(x′,y′)是真实图像imgR中位置(u、v)经过投影变换并进行坐标系转换后的位置，(x″,y″)是以相机坐标系为原点的畸变图像中任一点的畸变位置坐标，，其中k1,k2是镜像形变系数，P1,P2是切向形变系数；γ是当前像素点到圆心的半径，γ2＝(u-x′)2+(v-y′)2；
经过公式(1)、(2)、(3)的转化，得到真实图像像素点与畸变图像像素点的对应关系，从而将畸变图像imgD中(ud,vu)的像素值插入到imgR(u,v)。
步骤3包括：在两个以上视觉传感器组成的系统中，如果任意两相机有重叠部分，则取这两个相机的图像分别记为iamge1和image2进行配准，首先获取图像iamge1中特征点1(u1,v1)和图像image2中的特征点2(u2,v2)，对应的单应性矩阵为H，其中hij为矩阵H第i行第j列的参数,1≤i,j≤3；s为图像尺度因子，特征点1坐标为(u1,v1)，特征点2坐标为(u2,v2)：
Figure BDA0003868752960000034
当s取任意值，设定设
Figure BDA0003868752960000035
则矩阵H重写为：
Figure BDA0003868752960000041
整理后写为：
Figure BDA0003868752960000042
利用超过四组特征点便能够求得单应性矩阵H。
步骤5包括：通过步骤2中基于张友正标定法获取的相机内参和相机坐标系与世界坐标系的单应性矩阵H′，得到如下理论坐标与实际坐标点的转换公式，即单应性矩阵H′的展开公式：
Figure BDA0003868752960000043
其中(x2,y2)是相机图像坐标点，(x1,y1)是相机图像坐标点的实际物理位置；
展开公式(7)得到：
Figure BDA0003868752960000044
然后根据标签四个角点的坐标信息计算得到中心点坐标位姿。
本发明还提供了一种基于室内全局视觉的无人车定位装置，包括：
视觉传感器，所述视觉传感器固定在室内天花板上，用于采集在行进中的移动机器人周边的地面环境图像；
移动机器人顶部布置有两个二维码标签，两个二维码对移动机器人进行标识，标识的信息包含移动机器人车体的位姿信息和速度信息；
图像处理器(工控机)，用于接收地面环境图像，并对地面环境图像进行畸形矫正变换，得到正常图像；
特征点匹配模块，用于将正常图像进行特征提取获取特征点，并将特征矩阵进行存储；再将两幅以上由不同视觉传感器捕获的具有特征点的正常图像进行特征匹配；
融合模块，用于将特征匹配后的图像进行融合，得到拼接后的广域全景图；
位姿信息求解模块，用于对广域全景图进行二维码识别，得到两个二维码的位姿信息；根据视觉传感器安置高度与二维码大小、二维码中心位置求解出移动机器人的位姿信息。
移动机器人在室内多房间全局视觉定位为切入点，减少室内环境中干扰因素的影响，实现室内复杂环境中机器人低成本、高精度定位及导航。首先，通过对比在室内环境顶部多个位置安装相机，设计一款基于分布式单目相机组与双二维码的室内全局视觉定位与路径规划系统。利用在室内环境中的顶部安装固定相机，将双二维码粘贴在机器人上，相机稳定地识别并追踪机器人，在机器人前进过程中，实时估计移动机器人的位姿并生成运动轨迹。但是在室内多空间、大视场等复杂环境下，只依靠单目相机往往是不够的。在此基础上基于分布式相机去进行实时拼接，从而提高该方法的适用性。
由于相机视角的有限性导致全局视觉定位系统的局限性，因此本发明提出一种基于多相机的实时视频拼接方法。多个相机分布式安装，构建相机网络，实现大面积、多空间、高精度的定位。图像拼接技术是将数张有重叠部分的图像(可能是不同时间﹑不同视角或者不同传感器获得的)拼成一幅大型无缝高分辨率图像。在本发明中，由于摄像头固定的实时监控场景，通常可采用改进特征点的提取和匹配来加速拼接，并且可以通CUDA框架进行GPU加速，但并未达到实时的要求。因此，本文提出一种全景多路高视频拼接系统。该系统运用相机网络的分布式架构，利用匹配好的特征点计算出单应矩阵即像素点坐标的变换矩阵。而上述流程在拼接过程中花费大量时，针对监控摄像头有位置相对固定的特点，以本发明例：摄像机是布置在室内空间顶部，摄像机在塔顶呈扇形布置，并在外侧设置保护罩防止外界因素对摄像机造成干扰。摄像机位置是固定保持不变的，利用图像配准算法一次计算出单应矩阵作为固定参数，可直接用于后续的图像拼接中，将大大减少耗时。
本发明相对现有技术，具有以下的优点及效果:
本发明由多个视觉传感器组成图像采集模块，视觉传感器负责采集场景图像，图像处理器对图像进行处理分析，再由运动控制模块发出指令控制移动机器人的运行。在移动机器人顶部预设两个二维码，并对二维码进行标识；多个视觉传感器采集所处环境下的场景图像，并通过畸形矫正得到无畸变的图像；将所得图像进行特征提取与融合，并通过图像处理器获取二维码的位姿信息；对环境信息与两个二维码信息进行处理，获取移动机器人的位姿信息与运动状态信息，实现导航功能。本发明可以实现在广域复杂室内环境中移动机器人的控制与跟踪，实现移动机器人的精确导航。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1是基于视觉的移动机器人导航系统的导航方法流程示意图。
图2是视觉采集器的桶形畸变矫正示意图。
图3是双二维码结构示意图。
图4是双二维码定位移动机器人示意图。
图5是视觉传感器分布示意图。
图6是视频拼接流程图。
图7是基于视觉的移动机器人定位及导航结构示意图。
具体实施方式
如图1所示，本发明提供一种基于室内全局视觉的无人车定位方法，包括以下步骤：
步骤1，将两个以上视觉传感器固定在室内天花板上，采集在行进中的移动机器人周边的地面环境图像；将两个二维码标签布置于移动机器人顶部，用两个二维码对移动机器人进行标识，标识的信息包含移动机器人车体的位姿信息和速度信息；
步骤2，由图像处理器(工控机GK3000)将步骤1中获得的地面环境图像进行畸形矫正变换，得到正常图像；
步骤3，将正常图像进行特征提取获取特征点，并将特征矩阵进行存储；再将两幅以上由不同视觉传感器捕获的具有特征点的正常图像进行特征匹配；
步骤4，将经过步骤3特征匹配后的图像进行融合，得到拼接后的广域全景图；
步骤5，对广域全景图进行二维码识别，得到两个二维码的位姿信息；根据视觉传感器安置高度与二维码大小、二维码中心位置求解出移动机器人的位姿信息。
步骤1包括：
步骤1-1：先确定两个以上视觉传感器的摄像头摆放的位置与姿态，并根据实际场景调整摄像头的配套光源亮度以及视觉传感器的位置间距；；
步骤1-2：根据当前的光源亮度，调整视觉传感器的参数，采集二维码信息，通过二维码中心位置测量方差与实际方差进行比对，得到定位的置信度；
步骤1-3：实时采集在行进中的移动机器人周边的连续的地面环境图像，并将采集到的地面环境图像传送到图像处理器。
步骤1-2包括：记d为两个二维码中心点之间的实际物理距离；ei为当前帧i两个二维码之间的测量距离；wi＝|d-ei|为当前帧i的测量误差，通过测量误差的方差值来评估定位的准确度，方差公式为：
Figure BDA0003868752960000071
其中s2表示整个视频帧时评测量的方差，n是视频流的总帧数。w表示n帧视频流测量误差的平均值。通过方差来衡量误差数据的波动大小，方差值越小，系统就越稳定，误差越小。
步骤2包括：所述视觉传感器为相机，使用张正友标定法对相机进行标定，得到相机参数信息(fx,fy,cx,cy)，其中fx为相机x轴的焦距，fy为相机y轴焦距，cx是焦距中心在像素坐标系中x的坐标值，cy是焦距中心在相机坐标系中y的坐标值；已知的是畸变后的图像，通过畸变模型推导映射关系，得到未畸变的图像：
真实图像imgR与畸变图像imgD关系为：imgR(u,v)＝imgD(ud,uv)；imgR(u,v)表示真实图像imgR在像素坐标系中横坐标u、纵坐标v处的像素值，imgD(ud,uv)表示畸变图像imgD在像素坐标系中横坐标ud、纵坐标uv处的像素值；
真实图像到畸变图像的转换公式为：
Figure BDA0003868752960000072
Figure BDA0003868752960000073
Figure BDA0003868752960000074
(x′,y′)是真实图像imgR中位置(u、v)经过投影变换并进行坐标系转换后的位置，(x″,y″)是以相机坐标系为原点的畸变图像中任一点的畸变位置坐标，，其中k1,k2是镜像形变系数，P1,P2是切向形变系数；γ是当前像素点到圆心的半径，γ2＝(u-x′)2+(v-y′)2；
经过公式(1)、(2)、(3)的转化，得到真实图像像素点与畸变图像像素点的对应关系，从而将畸变图像imgD中(ud,vu)的像素值插入到imgR(u,v)。
步骤3包括：在两个以上视觉传感器组成的系统中，如果任意两相机有重叠部分，则取这两个相机的图像分别记为iamge1和image2进行配准，首先获取图像iamge1中特征点1(u1,v1)和图像image2中的特征点2(u2,v2)，对应的单应性矩阵为H，其中hij为矩阵H第i行第j列的参数,1≤i,j≤3；s为图像尺度因子，特征点1坐标为(u1,v1)，特征点2坐标为(u2,v2)：
Figure BDA0003868752960000081
当s取任意值，设定设
Figure BDA0003868752960000082
则矩阵H重写为：
Figure BDA0003868752960000083
整理后写为：
Figure BDA0003868752960000084
利用超过四组特征点便能够求得单应性矩阵H。
步骤5包括：通过步骤2中基于张友正标定法获取的相机内参和相机坐标系与世界坐标系的单应性矩阵H′，得到如下理论坐标与实际坐标点的转换公式，即单应性矩阵H′的展开公式：
Figure BDA0003868752960000091
其中(x2,y2)是相机图像坐标点，(x1,y1)是相机图像坐标点的实际物理位置；
展开公式(7)得到：
Figure BDA0003868752960000092
然后根据标签四个角点的坐标信息计算得到中心点坐标位姿。
本发明还提供了一种基于室内全局视觉的无人车定位装置，包括：
视觉传感器，所述视觉传感器固定在室内天花板上，用于采集在行进中的移动机器人周边的地面环境图像；
移动机器人顶部布置有两个二维码标签，两个二维码对移动机器人进行标识，标识的信息包含移动机器人车体的位姿信息和速度信息；
图像处理器(工控机)，用于接收地面环境图像，并对地面环境图像进行畸形矫正变换，得到正常图像；
特征点匹配模块，用于将正常图像进行特征提取获取特征点，并将特征矩阵进行存储；再将两幅以上由不同视觉传感器捕获的具有特征点的正常图像进行特征匹配；
融合模块，用于将特征匹配后的图像进行融合，得到拼接后的广域全景图；
位姿信息求解模块，用于对广域全景图进行二维码识别，得到两个二维码的位姿信息；根据视觉传感器安置高度与二维码大小、二维码中心位置求解出移动机器人的位姿信息。
实施例
如图1、图7所示，本实施例提供了一种基于室内全局视觉的无人车定位方法，包括：
步骤S100：视觉传感器采集移动机器人所在预设环境下的场景图像，并获得图像进行桶形畸变矫正，如图2所示，使图像转变为无畸变的图像。所述预设环境下的视觉传感器有多个，并布置于室内天花板上，如图5所示。所述二维码标签布置于移动机器人顶部，如图3所示。
上述步骤S100，还包括如下子步骤：
步骤S101：布置视觉传感器，确定视觉传感器的位置与姿态，并根据实验场景调整摄像头配套的额光源亮度。本实施例中通过测量相机距离二维码标签板的距离与标签板定位精度关系，在实用范围内选择定位精度最高的距离。本实施例中采用的为USB相机，经测量，摆放高度为离地垂直距离为300cm，拍摄角度为相机轴心线与水平地面垂直；因为需要进行相机间的图像融合，所以两相机要有一定的图像重合部分，视觉传感器(USB相机)之间的距离要使得可视范围内有重合部分；在固定好相机位置与高度后，对光源强度进行定位精度分析，在该实验环境中选择定位精度最高的光照强度。
步骤S102：根据当前实验环境调整光源亮度使得相机能够采集到清晰的二维码图像。
步骤S103：实时采集连续清晰的环境图像，并将采集到的图像传至上位机进行下一步图像处理。
本实施例中处理器型号为Intel Core i5-7300HQ CPU@2.50Hz。
步骤S200：对经过步骤S100得到的图像进行降噪处理并转换为灰度图像，再通过特征点提取和匹配融合处理，使得图像最终转换为全景图像，如图6所示。
本实施例中使用orb-stitch进行图像融合。
步骤S300：将经步骤S200所得的全景图像进行二维码定位识别，获取二维码的位姿信息。
本实施例中设定二维码大小为20*20cm，两个二维码中心间距为25cm。
步骤S400：识别步骤S300所获得的二维码信息，并通过视觉传感器与二维码的位姿信息推算出移动机器人的当前位姿信息，如图4所示。d为两个二维码之间的实际物理距离；e为两个二维码之间的测量距离；通过多组实验数据中的测量误差的方差值来评估该系统定位的准确度。方差公式为：
Figure BDA0003868752960000101
关于步骤400，还包括以下子步骤：
步骤S401,对经过S300所获得的二维码进行识别，获取移动机器人的相关信息。
步骤S402，对经过S300所获得的二维码位姿信息进行解算，并根据二维码的原始大小与视觉传感器的高度解算出移动机器人的位姿信息，得到移动机器人的位置与加速度变化信息。
具体实现中，本申请提供计算机存储介质以及对应的数据处理单元，其中，该计算机存储介质能够存储计算机程序，所述计算机程序通过数据处理单元执行时可运行本发明提供的一种基于室内全局视觉的无人车定位方法的发明内容以及各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术方案可借助计算机程序以及其对应的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来，该计算机程序软件产品可以存储在存储介质中，包括若干指令用以使得一台包含数据处理单元的设备(可以是个人计算机，服务器，单片机。MUU或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本发明提供了一种基于室内全局视觉的无人车定位方法和装置，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于室内全局视觉的无人车定位方法，其特征在于，包括以下步骤：
步骤1，将两个以上视觉传感器固定在室内天花板上，采集在行进中的移动机器人周边的地面环境图像；将两个二维码标签布置于移动机器人顶部，用两个二维码对移动机器人进行标识，标识的信息包含移动机器人车体的位姿信息和速度信息；
步骤2，由图像处理器将步骤1中获得的地面环境图像进行畸形矫正变换，得到正常图像；
步骤3，将正常图像进行特征提取获取特征点，并将特征矩阵进行存储；再将两幅以上由不同视觉传感器捕获的具有特征点的正常图像进行特征匹配；
步骤4，将经过步骤3特征匹配后的图像进行融合，得到拼接后的广域全景图；
步骤5，对广域全景图进行二维码识别，得到两个二维码的位姿信息；根据视觉传感器安置高度与二维码大小、二维码中心位置求解出移动机器人的位姿信息。
2.根据权利要求1所述的方法，其特征在于，步骤1包括：
步骤1-1：先确定两个以上视觉传感器的摄像头摆放的位置与姿态，并根据实际场景调整摄像头的配套光源亮度以及视觉传感器的位置间距；
步骤1-2：根据当前的光源亮度，调整视觉传感器的参数，采集二维码信息，通过二维码中心位置测量方差与实际方差进行比对，得到定位的置信度；
步骤1-3：实时采集在行进中的移动机器人周边的连续的地面环境图像，并将采集到的地面环境图像传送到图像处理器。
3.根据权利要求2所述的方法，其特征在于，步骤1-2包括：记d为两个二维码中心点之间的实际物理距离；ei为当前帧i两个二维码之间的测量距离；wi＝|d-ei|为当前帧i的测量误差，通过测量误差的方差值来评估定位的准确度，方差公式为：
Figure FDA0003868752950000011
其中s2表示整个视频帧时评测量的方差，n是视频流的总帧数，w表示n帧视频流测量误差的平均值。
4.根据权利要求3所述的方法，其特征在于，步骤2包括：所述视觉传感器为相机，使用张正友标定法对相机进行标定，得到相机参数信息(fx，fy，cx，cy)，其中fx为相机x轴的焦距，fy为相机y轴焦距，cx是焦距中心在像素坐标系中x的坐标值，cy是焦距中心在相机坐标系中y的坐标值；已知的是畸变后的图像，通过畸变模型推导映射关系，得到未畸变的图像：
真实图像imgR与畸变图像imgD关系为：imgR(u，v)＝imgD(ud，uv)；imgR(u，v)表示真实图像imgR在像素坐标系中横坐标u、纵坐标v处的像素值，imgD(ud，uv)表示畸变图像imgD在像素坐标系中横坐标ud、纵坐标uv处的像素值；
真实图像到畸变图像的转换公式为：
Figure FDA0003868752950000021
Figure FDA0003868752950000022
Figure FDA0003868752950000023
(x′，y′)是真实图像imgR中位置(u、v)经过投影变换并进行坐标系转换后的位置，(x″，y″)是以相机坐标系为原点的畸变图像中任一点的畸变位置坐标，其中k1，k2是镜像形变系数，P1，P2是切向形变系数；γ是当前像素点到圆心的半径，γ2＝(u-x′)2+(v-y′)2。
5.根据权利要求4所述的方法，其特征在于，步骤2中，经过公式(1)、(2)、(3)的转化，得到真实图像像素点与畸变图像像素点的对应关系，从而将畸变图像imgD中(ud，vu)的像素值插入到imgR(u，v)。
6.根据权利要求5所述的方法，其特征在于，步骤3包括：在两个以上视觉传感器组成的系统中，如果任意两相机有重叠部分，则取这两个相机的图像分别记为iamge1和image2进行配准，首先获取图像iamge1中特征点1(u1，v1)和图像image2中的特征点2(u2，v2)，对应的单应性矩阵为H，其中hij为矩阵H第i行第j列的参数，1≤i，j≤3；s为图像尺度因子，特征点1坐标为(u1，v1)，特征点2坐标为(u2，v2)：
Figure FDA0003868752950000024
当s取任意值，设定设
Figure FDA0003868752950000031
则矩阵H重写为：
Figure FDA0003868752950000032
整理后写为：
Figure FDA0003868752950000033
7.根据权利要求6所述的方法，其特征在于，步骤3中，利用超过四组特征点便能够求得单应性矩阵H。
8.根据权利要求7所述的方法，其特征在于，步骤5包括：通过步骤2中基于张友正标定法获取的相机内参和相机坐标系与世界坐标系的单应性矩阵H′，得到如下理论坐标与实际坐标点的转换公式，即单应性矩阵H′的展开公式：
Figure FDA0003868752950000034
其中(x2，y2)是相机图像坐标点，(x1，y1)是相机图像坐标点的实际物理位置。
9.根据权利要求8所述的方法，其特征在于，步骤5中，展开公式(7)得到：
Figure FDA0003868752950000035
然后根据标签四个角点的坐标信息计算得到中心点坐标位姿。
10.一种基于室内全局视觉的无人车定位装置，其特征在于，包括：
视觉传感器，所述视觉传感器固定在室内天花板上，用于采集在行进中的移动机器人周边的地面环境图像；
移动机器人顶部布置有两个二维码标签，两个二维码对移动机器人进行标识，标识的信息包含移动机器人车体的位姿信息和速度信息；
图像处理器，用于接收地面环境图像，并对地面环境图像进行畸形矫正变换，得到正常图像；
特征点匹配模块，用于将正常图像进行特征提取获取特征点，并将特征矩阵进行存储；再将两幅以上由不同视觉传感器捕获的具有特征点的正常图像进行特征匹配；
融合模块，用于将特征匹配后的图像进行融合，得到拼接后的广域全景图；
位姿信息求解模块，用于对广域全景图进行二维码识别，得到两个二维码的位姿信息；根据视觉传感器安置高度与二维码大小、二维码中心位置求解出移动机器人的位姿信息。
CN202211204666.XA 2022-09-28 2022-09-28 一种基于室内全局视觉的无人车定位方法和装置 Pending CN115585810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211204666.XA CN115585810A (zh) 2022-09-28 2022-09-28 一种基于室内全局视觉的无人车定位方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211204666.XA CN115585810A (zh) 2022-09-28 2022-09-28 一种基于室内全局视觉的无人车定位方法和装置

Publications (1)

Publication Number Publication Date
CN115585810A true CN115585810A (zh) 2023-01-10

Family

ID=84778716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211204666.XA Pending CN115585810A (zh) 2022-09-28 2022-09-28 一种基于室内全局视觉的无人车定位方法和装置

Country Status (1)

Country Link
CN (1) CN115585810A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116499456A (zh) * 2023-06-28 2023-07-28 苏州中德睿博智能科技有限公司 移动机器人自动定位装置、方法及无人割草机定位系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116499456A (zh) * 2023-06-28 2023-07-28 苏州中德睿博智能科技有限公司 移动机器人自动定位装置、方法及无人割草机定位系统
CN116499456B (zh) * 2023-06-28 2023-09-05 苏州中德睿博智能科技有限公司 移动机器人自动定位装置、方法及无人割草机定位系统

Similar Documents

Publication Publication Date Title
CN111476827B (zh) 目标跟踪方法、系统、电子装置及存储介质
CN100369487C (zh) 物体检测装置、物体检测服务器以及物体检测方法
CN111210478B (zh) 一种无共同视野多相机系统外参标定方法、介质及系统
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN107357286A (zh) 视觉定位导航装置及其方法
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
CN113191388B (zh) 用于目标检测模型训练的图像采集系统及样本生成方法
CN114022560A (zh) 标定方法及相关装置、设备
CN115585810A (zh) 一种基于室内全局视觉的无人车定位方法和装置
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
JP5019478B2 (ja) マーカ自動登録方法及びシステム
CN115717867A (zh) 一种基于机载双相机和目标追踪的桥梁变形测量方法
JP2004030445A (ja) 移動ロボットの自己位置推定方法及びシステム、並びにプログラム
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
CN111273701A (zh) 一种云台视觉控制系统以及控制方法
Santos et al. A real-time low-cost marker-based multiple camera tracking solution for virtual reality applications
CN112819898A (zh) 热像仪-rgb相机-imu空间联合标定方法、系统和存储介质
CN113240754B (zh) 确定ptz摄像装置的内参的方法、装置、设备及存储介质
CN112884832B (zh) 一种基于多目视觉的智能小车轨迹预测方法
CN110738706B (zh) 一种基于航迹推测的快速机器人视觉定位方法
CN111964681B (zh) 一种巡检机器人的实时定位系统
CN115082555A (zh) 一种rgbd单目相机的高精度位移实时测量系统及方法
Megalingam et al. Adding intelligence to the robotic coconut tree climber
CN111397582B (zh) 一种目标物的定位方法、装置、可读介质及电子设备
CN112013868B (zh) 一种基于视觉惯导里程计的自适应参数警犬姿态估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination