CN110823171A - 一种机器人定位方法、装置及存储介质 - Google Patents

一种机器人定位方法、装置及存储介质 Download PDF

Info

Publication number
CN110823171A
CN110823171A CN201911122382.4A CN201911122382A CN110823171A CN 110823171 A CN110823171 A CN 110823171A CN 201911122382 A CN201911122382 A CN 201911122382A CN 110823171 A CN110823171 A CN 110823171A
Authority
CN
China
Prior art keywords
laser point
robot
environment
gray
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911122382.4A
Other languages
English (en)
Other versions
CN110823171B (zh
Inventor
支涛
陈波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yunji Technology Co Ltd
Original Assignee
Beijing Yunji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunji Technology Co Ltd filed Critical Beijing Yunji Technology Co Ltd
Priority to CN201911122382.4A priority Critical patent/CN110823171B/zh
Publication of CN110823171A publication Critical patent/CN110823171A/zh
Application granted granted Critical
Publication of CN110823171B publication Critical patent/CN110823171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本申请提供一种机器人定位方法、装置及存储介质，该方法包括获取机器人所在环境的激光点云信息和灰度图像，激光点云信息包括多个激光点的位置信息；根据每个激光点的位置信息将每个激光点投影到机器人所在环境的灰度图像中，获取每个激光点对应的投影点的灰度值；根据每个激光点对应的投影点的灰度值以及每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率，其中，机器人所在环境地图预先建立并存储，每个激光点位置与对应的环境地图的最近障碍物的距离预先计算并存储；根据粒子滤波定位算法以及每个激光点位置观测值的概率对机器人进行定位。

Description

一种机器人定位方法、装置及存储介质
技术领域
本申请涉及机器人定位领域，具体而言，涉及一种机器人定位方法、装置及存储介质。
背景技术
现有的机器人进行定位时多采用激光雷达和粒子滤波定位算法进行机器人定位，但只采用激光雷达获取激光点云进而依据粒子滤波定位算法来实现定位的方式，定位因素过于单一而造成的定位不精确的问题。
发明内容
本申请实施例的目的在于提供一种机器人定位方法、装置及存储介质，用以解决现有的只采用激光雷达获取激光点云进而依据粒子滤波定位算法来实现定位的方式，定位因素过于单一而造成的定位不精确的问题。
第一方面，实施例提供一种机器人定位方法，所述方法包括：
获取机器人所在环境的激光点云信息和灰度图像，所述激光点云信息包括多个激光点的位置信息；根据每个激光点的位置信息将每个激光点投影到机器人所在环境的灰度图像中，获取每个激光点对应的投影点的灰度值；根据每个激光点对应的投影点的灰度值以及每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率，其中，所述机器人所在环境地图预先建立并存储，每个激光点位置与对应的环境地图的最近障碍物的距离预先计算并存储；根据粒子滤波定位算法以及每个激光点位置观测值的概率对所述机器人进行定位。
在上述设计的机器人定位方法中，根据机器人所在环境的每个激光点位置与机器人所在环境的灰度图像确定每个激光点对应的投影点的灰度值，然后根据每个激光点对应的投影点的灰度值和每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率，进而基于粒子滤波定位算法以及确定出的每个激光点位置观测值的概率对机器人进行定位，通过在确定位置观测值的概率时引入了灰度信息，丰富了激光数据的维度，解决现有的只采用激光雷达获取激光点云进而依据粒子滤波定位算法来实现定位的方式，定位因素过于单一而造成的定位不精确的问题，提高了位置观测值的概率的精度，进而使得机器人进行定位精度提高。
在第一方面的可选实施方式中，所述根据每个激光点对应的投影点的灰度值以及每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置获得观测值的概率，包括：将每个激光点对应的投影点的灰度值加上每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率。
在第一方面的可选实施方式中，在所述根据每个激光点的位置信息将每个激光点投影到所述灰度图像中之前，所述方法还包括：判断所述激光点云信息中是否包含预先设置的激光点干扰信息；若是，则将所述激光点云信息中的激光点干扰信息滤除。
在上述设计的实施方式中，提取激光点云信息中的激光点干扰信息，进而将激光点干扰信息进行滤除，使得滤除后的机器人所在环境的激光点云信息保留下的都是静态障碍物，减少行人或其他动态事物对于机器人定位的干扰。
在第一方面的可选实施方式中，在所述根据每个激光点的位置信息将每个激光点投影到所述灰度图像中之前，所述方法还包括：对所述机器人所在环境的灰度图像进行归一化处理。
在上述设计的实施方式中，对机器人所在环境的灰度图像进行归一化处理，减小了光照原因对拍摄并处理后得到的灰度图像的灰度值的影响。
在第一方面的可选实施方式中，所述对对所述机器人所在环境的灰度图像进行归一化处理，包括：获取所述机器人所在环境的灰度图像的最大灰度值和最小灰度值；遍历所述机器人所在环境的灰度图像，将每个像素的像素值修改为g2；所述g2为：
Figure BDA0002275790990000031
其中，gi表示为归一化前所述机器人所在环境的灰度图像中某个像素点i的灰度值；g2表示为归一化后所述机器人所在环境的灰度图像中某个像素点i的灰度值；gmax为所述机器人所在环境的灰度图像的最大灰度值；gmin为所述机器人所在环境的灰度图像的最小灰度值。
在上述设计的实施方式中，通过将每个像素的像素值修改为满足要求的像素值，使得机器人所在环境的图像完成归一化处理，减小了光照对灰度图像灰度值的影响。
在第一方面的可选实施方式中，所述根据每个激光点的位置信息将每个激光点投影到所述灰度图像中，包括：
根据像素位置与激光点位置的关系式将每个激光点投影到所述灰度图像中；
所述关系式为：
Figure BDA0002275790990000041
Figure BDA0002275790990000042
其中，R和t表示为拍摄灰度图像的相机的外参；K为该相机的内参；[Xi Yi Zi]T为激光点云中的一个点i，[ui vi]T为激光点云i对应的像素坐标；下标w表示在世界坐标系下的坐标，c表示在相机坐标系下的坐标。
在上述设计的实施方式中，通过上述设计的关系式将每个激光点位置投影到灰度图像的对应像素点，使得每个激光点与对应的灰度图像中的像素点关联起来，得到每个激光点对应的灰度值，进而可以确定激光点云对应的实际物体的灰度值即颜色，为后续进行机器人精确定位做好灰度维度数据准备。
第二方面，本申请提供一种机器人定位装置，所述装置包括：
获取模块，用于获取机器人所在环境的激光点云信息和灰度图像，所述激光点云信息包括多个激光点的位置信息；投影模块，用于根据每个激光点的位置信息将每个激光点投影到机器人所在环境的灰度图像中，获取每个激光点对应的投影点的灰度值；确定模块，用于根据每个激光点对应的投影点的灰度值以及每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率，其中，所述机器人所在环境地图预先建立并存储，每个激光点位置与对应的环境地图的最近障碍物的距离预先计算并存储；定位模块，用于根据粒子滤波定位算法以及每个激光点位置观测值的概率对所述机器人进行定位。
在上述设计的机器人定位装置中，根据机器人所在环境的每个激光点位置与机器人所在环境的灰度图像确定每个激光点对应的投影点的灰度值，然后根据每个激光点对应的投影点的灰度值和每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率，进而基于粒子滤波定位算法以及确定出的每个激光点位置观测值的概率对机器人进行定位，通过在确定位置观测值的概率时引入了灰度信息，丰富了激光数据的维度，解决现有的只采用激光雷达获取激光点云进而依据粒子滤波定位算法来实现定位的方式，定位因素过于单一而造成的定位不精确的问题，提高了位置观测值的概率的精度，进而使得机器人进行定位精度提高。
在第二方面的可选实施方式中，所述确定模块，具体用于将每个激光点对应的投影点的灰度值加上每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率。
在第二方面的可选实施方式中，所述装置还包括判断模块，用于在所述投影模块根据每个激光点的位置信息将每个激光点投影到机器人所在环境的灰度图像中之前，判断所述激光点云信息中是否包含预先设置的激光点干扰信息；滤除模块，用于在所述判断模块判断所述激光点云信息中包含预先设置的激光点干扰信息之后，将所述激光点云信息中的激光点干扰信息滤除。
在第二方面的可选实施方式中，所述装置还包括处理模块，用于在所述投影模块根据每个激光点的位置信息将每个激光点投影到所述灰度图像中之前，对所述机器人所在环境的灰度图像进行归一化处理。
在第二方面的可选实施方式中，所述获取模块，还用于获取所述机器人所在环境的灰度图像的最大灰度值和最小灰度值；遍历模块，用于遍历所述机器人所在环境的灰度图像，将每个像素的像素值修改为g2；所述g2为：
Figure BDA0002275790990000061
其中，gi表示为归一化前所述灰度图像中某个像素点i的灰度值；g2表示为归一化后所述灰度图像中某个像素点i的灰度值；gmax为所述灰度图像的最大灰度值；gmin为所述灰度图像的最小灰度值。
在第二方面的可选实施方式中，所述投影模块，具体用于根据像素位置与激光点位置的关系式将每个激光点投影到所述灰度图像中；
所述关系式为：
Figure BDA0002275790990000063
其中，R和t表示为拍摄灰度图像的相机的外参；K为该相机的内参；[Xi Yi Zi]T为激光点云中的一个点i，[ui vi]T为激光点云i对应的像素坐标；下标w表示在世界坐标系下的坐标，c表示在相机坐标系下的坐标。
第三方面，实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行第一方面、第一方面的任一可选的实现方式中的所述方法。
第四方面，实施例提供一种非暂态可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时执行第一方面、第一方面的任一可选的实现方式中的所述方法。
第五方面，实施例提供了一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行第一方面、第一方面的任一可选的实现方式中的所述方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请第一实施例提供的机器人定位方法第一流程图；
图2为本申请第一实施例提供的原理解释图；
图3为本申请第一实施例提供的机器人定位方法第二流程图；
图4为本申请第一实施例提供的机器人定位方法第三流程图；
图5为本申请第一实施例提供的机器人定位方法第四流程图；
图6为本申请第二实施例提供的机器人定位装置结构示意图；
图7为本申请第三实施例提供的电子设备结构示意图。
图标：200-获取模块；202-投影模块；204-确定模块；206-定位模块；208-判断模块；210-滤除模块；212-处理模块；214-遍历模块；3-电子设备；301-处理器；302-存储器；303-通信总线。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
第一实施例
如图1所示，本申请实施例提供一种机器人定位方法，该方法具体包括如下步骤：
步骤S100：获取机器人所在环境的激光点云信息和灰度图像，该激光点云信息中包括多个激光点的位置信息。
步骤S102：根据每个激光点的位置信息将每个激光点投影到灰度图像中，获取每个激光点对应的投影点的灰度值。
步骤S104：根据每个激光点对应的投影点的灰度值以及每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率。
步骤S106：根据粒子滤波定位算法以及每个激光点位置观测值的概率对机器人进行定位。
在步骤S100中，机器人所在环境是指机器人所处的环境，例如，将该机器人放入一个房间中，该房间的所有事物就是所说的机器人所在环境；获取机器人所在环境的激光点云信息可通过设置在机器人上的激光雷达通过发射和接收激光来进行采集，该激光雷达的工作原理是向机器人所在环境发射激光束，接收从机器人所在环境反射回来的回波进而得到激光点云信息，该激光点云信息中包含了机器人所在环境的多个激光点的位置信息，在机器人所在环境中的物体只要能够将激光反射回来就能够得到对应的激光点的位置信息，每个激光点的位置信息包含了该激光点的三维坐标信息；机器人所在环境的灰度图像可通过设置在机器人上的相机采集图片，由于通过相机采集的图片是有色彩的图片，可进而对采集的图片进行灰度转化后获得，具体的，该相机可为RGB广角相机采集RGB图片，进而将采集的RGB图片转换成灰度图片后获得机器人所在环境的灰度图像；在得到上述所说的多个激光点的位置信息以及机器人所在环境的灰度图像之后，执行步骤S102。
在步骤S102中，根据每个激光点的位置信息将每个激光点投影到灰度图像中的目的是在于获得每个激光点对应的投影点的灰度值。通过以下例子来对此步骤进行具体说明，在步骤S100中已经获得了机器人所在环境每个位置的激光点信息了，例如，通过一团紧凑的激光点云信息确定出距离机器人前方一定距离有个物质，对此步骤S102将每个激光点投影到灰度图像中的目的在于基于确定出距离机器人前方一定距离的物质和获得的该物质部分的灰度图像，进而可以确定该物质的颜色。假设确定出的该物质为一段墙面，步骤S102的目的此时是确定出该墙面的具体颜色。
传统的机器人粒子滤波定位算法(蒙特卡洛定位算法)的重要性采样步骤中的每个激光点的位置观测值的概率是只通过计算激光点位置到地图障碍物的最近距离来得到的，而在本申请步骤S104中，是根据每个激光点对应的投影点的灰度值以及每个激光点到机器人所在环境地图中最近障碍物的距离两者来共同确定每个激光点的位置观测值的概率，进而对传统的粒子滤波定位算法的重要性采样部分进行改进，再执行步骤S106通过本步骤S104确定的每个激光点的位置观测值的概率和粒子滤波定位算法对该机器人进行定位，由于在确定每个激光点的位置观测值的概率时引入了灰度信息，丰富了激光数据的维度，可以提高机器人的定位精度。其中，提高机器人定位精度的原理可以这样理解：如图2所示，有粒子a和粒子b，检测出机器人前方有一堵墙，该墙一面是灰色一面是蓝色，其转换成灰度值之后的灰度值不同，当前观测到的点云在a和b位置投影后落到墙的两侧，分别为图中两条虚线Za和Zb，Za和Zb距离墙的距离一样，这时，如果采用传统的通过计算激光点位置到地图障碍物的最近距离来得到的a和b的位置观测值的概率Pa和Pb是一样的，但是通过步骤S104中根据每个激光点对应的投影点的灰度值以及每个激光点到机器人所在环境地图中最近障碍物的距离来共同确定的位置观测值的概率Pa和Pb是不同的，这是由于蓝色和灰色的灰度值是不同的，因此，在这种情况下使得对每个激光点的位置观测值的概率确定精度提高，使得本步骤S104确定的每个激光点的位置观测值的概率和粒子滤波定位算法对该机器人进行定位精度提高。
前述所说的地图是指该机器人所在环境的地图，该地图为先验地图，事先进行建立并存储，该先验地图中就有各种障碍物的信息，进而通过似然场模型来确定最近距离，以栅格地图和激光雷达为例，对于某个激光束，首先计算其终端在地图中的坐标，也就是激光点的坐标，然后查找该激光点坐标最近的障碍物栅格，通过计算该激光点坐标和此障碍物栅格的距离，得到该激光点的位置观测值的概率。其中，查找该激光点坐标最近的障碍物栅格可通过在读入地图之后，预先计算好每个激光点坐标上每个朝向上的最近障碍物距离，进而存储为对应的映射表，在后续需要时直接通过映射查找即可。
在上述设计的机器人定位方法中，根据机器人所在环境的每个激光点位置与机器人所在环境的灰度图像确定每个激光点对应的投影点的灰度值，然后根据每个激光点对应的投影点的灰度值和每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率，进而基于粒子滤波定位算法以及确定出的每个激光点位置观测值的概率对机器人进行定位，通过在确定位置观测值的概率时引入了灰度信息，丰富了激光数据的维度，解决现有的只采用激光雷达获取激光点云进而依据粒子滤波定位算法来实现定位的方式，定位因素过于单一而造成的定位不精确的问题，提高了位置观测值的概率的精度，进而使得机器人进行定位精度提高。
在本实施例的可选实施方式中，前述所说的步骤S104根据每个激光点对应的投影点的灰度值以及每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率具体可为：依照前述所说的方式得到每个激光点到机器人所在环境地图中最近障碍物的距离之后，将每个激光点到机器人所在环境地图中最近障碍物的距离加上每个激光点对应的投影点的灰度值，进而得到每个激光点位置观测值的概率。另外，除了通过相加的方式以外，还可以进行加权平均等方式。
在本实施例的可选实施方式中，在步骤S102根据每个激光点的位置信息将每个激光点投影到所述灰度图像中之前，如图3所示，该方法还包括：
步骤S1010：判断激光点云信息中是否包含预先设置的激光点干扰信息，若是，则转到步骤S1012。
步骤S1012：将激光点云信息中的激光点干扰信息滤除。
在步骤S1010中，激光点干扰信息表示为机器人所在环境中的动态激光点信息，如所在环境中行动的人或其他动态事物。例如，周围环境中是有人的，机器人获取到的激光点云信息中包含了人腿激光点云信息，该人腿激光点信息就是激光点干扰信息。其中，该人腿激光点云信息的特征可以预先设置并存储，在步骤S1010进行判断时可以直接根据人腿激光点的特征在激光点云信息中进行查找是否具有该特征的激光点云；该人腿激光点信息的特征可为呈现半弧状，并且半弧状的直径具有一定的尺寸等。在步骤S1010判断激光点云信息中包含预先设置的激光点干扰信息之后，则将该激光点干扰信息进行滤除。
在上述设计的实施方式中，提取激光点云信息中的激光点干扰信息，进而将激光点干扰信息进行滤除，使得滤除后的机器人所在环境的激光点云信息保留下的都是静态障碍物，减少行人或其他动态事物对于机器人定位的干扰。
在本实施例的可选实施方式中，在步骤S102根据每个激光点的位置信息将每个激光点投影到灰度图像中之前，如图4所示，该方法还可以包括：
步骤S1014：对机器人所在环境的灰度图像进行归一化处理。
上述步骤对机器人所在环境的灰度图像进行归一化处理是为了减小光照原因对拍摄并处理后得到的灰度图像的灰度值的影响。
如图5所示，步骤S1014对机器人所在环境的灰度图像进行归一化处理具体为：
步骤S10140：获取机器人所在环境的灰度图像的最大灰度值和最小灰度值。
步骤S10142：遍历所述机器人所在环境的灰度图像，将每个像素的像素值修改为g2，其中，该g2为：
上述表达式中，gi表示为归一化前机器人所在环境的灰度图像中某个像素点i的灰度值；g2表示为归一化后机器人所在环境的灰度图像中某个像素点i的灰度值；gmax为机器人所在环境的灰度图像的最大灰度值；gmin为机器人所在环境的灰度图像的最小灰度值。
在步骤S10140中获取机器人所在环境的灰度图像的最大灰度值和最小灰度值，可通过遍历该灰度图像中每个像素的灰度值后获得。
在上述设计的实施方式中，通过将每个像素的像素值修改为满足要求的像素值，使得机器人所在环境的图像完成归一化处理，减小了光照对灰度图像灰度值的影响。
在本实施例的可选实施方式中，步骤S102中的根据每个激光点的位置信息将每个激光点投影到所述灰度图像中，具体可为：根据像素位置与激光点位置的关系式将每个激光点投影到该机器人所在环境的灰度图像中，该关系式具体可为：
Figure BDA0002275790990000132
Figure BDA0002275790990000133
其中，R和t表示为拍摄灰度图像的相机的外参；K为该相机的内参；[Xi Yi Zi]T为激光点云中的一个点i，[ui vi]T为激光点云i对应的像素坐标；下标w表示在世界坐标系下的坐标，c表示在相机坐标系下的坐标。
在上述设计的实施方式中，通过上述设计的关系式将每个激光点位置投影到灰度图像的对应像素点，使得每个激光点与对应的灰度图像中的像素点关联起来，得到每个激光点对应的灰度值，进而可以确定激光点云对应的实际物体的灰度值即颜色，为后续进行机器人精确定位做好灰度维度数据准备。
第二实施例
图6出示了本申请提供的机器人定位装置的示意性结构框图，应理解，该装置与上述图1至图5中的方法实施例对应，能够执行第一实施例中的方法涉及的步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operatingsystem，OS)中的软件功能模块。具体地，该装置包括：获取模块200，用于获取机器人所在环境的激光点云信息和灰度图像，激光点云信息包括多个激光点的位置信息；投影模块202，用于根据每个激光点的位置信息将每个激光点投影到机器人所在环境的灰度图像中，获取每个激光点对应的投影点的灰度值；确定模块204，用于根据每个激光点对应的投影点的灰度值以及每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率，其中，机器人所在环境地图预先建立并存储，每个激光点位置与对应的环境地图的最近障碍物的距离预先计算并存储；定位模块206，用于根据粒子滤波定位算法以及每个激光点位置观测值的概率对机器人进行定位。
在上述设计的机器人定位装置中，根据机器人所在环境的每个激光点位置与机器人所在环境的灰度图像确定每个激光点对应的投影点的灰度值，然后根据每个激光点对应的投影点的灰度值和每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率，进而基于粒子滤波定位算法以及确定出的每个激光点位置观测值的概率对机器人进行定位，通过在确定位置观测值的概率时引入了灰度信息，丰富了激光数据的维度，解决现有的只采用激光雷达获取激光点云进而依据粒子滤波定位算法来实现定位的方式，定位因素过于单一而造成的定位不精确的问题，提高了位置观测值的概率的精度，进而使得机器人进行定位精度提高。
在本实施例的可选实施方式中，确定模块204，具体用于将每个激光点对应的投影点的灰度值加上每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率。
在本实施例的可选实施方式中，该装置还包括判断模块208，用于在投影模块202根据每个激光点的位置信息将每个激光点投影到机器人所在环境的灰度图像中之前，判断激光点云信息中是否包含预先设置的激光点干扰信息；滤除模块210，用于在判断模块208判断激光点云信息中包含预先设置的激光点干扰信息之后，将激光点云信息中的激光点干扰信息滤除。
在本实施例的可选实施方式中，该装置还包括处理模块212，用于在投影模块202根据每个激光点的位置信息将每个激光点投影到灰度图像中之前，对机器人所在环境的灰度图像进行归一化处理。
在本实施例的可选实施方式中，获取模块200，还用于获取机器人所在环境的灰度图像的最大灰度值和最小灰度值；遍历模块214，用于遍历机器人所在环境的灰度图像，将每个像素的像素值修改为g2；该g2为：
Figure BDA0002275790990000151
其中，gi表示为归一化前灰度图像中某个像素点i的灰度值；g2表示为归一化后灰度图像中某个像素点i的灰度值；gmax为灰度图像的最大灰度值；gmin为灰度图像的最小灰度值。
在本实施例的可选实施方式中，投影模块202，具体用于根据像素位置与激光点位置的关系式将每个激光点投影到灰度图像中；
该关系式为：
Figure BDA0002275790990000161
Figure BDA0002275790990000162
其中，R和t表示为拍摄灰度图像的相机的外参；K为该相机的内参；[Xi Yi Zi]T为激光点云中的一个点i，[ui vi]T为激光点云i对应的像素坐标；下标w表示在世界坐标系下的坐标，c表示在相机坐标系下的坐标。
第三实施例
如图7所示，本申请提供一种电子设备3，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构(未标出)互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行时执行第一实施例、第一实施例的任一可选的实现方式中的方法，例如步骤S100至步骤S106：获取机器人所在环境的激光点云信息和灰度图像，该激光点云信息中包括多个激光点的位置信息；根据每个激光点的位置信息将每个激光点投影到灰度图像中，获取每个激光点对应的投影点的灰度值；根据每个激光点对应的投影点的灰度值以及每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率；根据粒子滤波定位算法以及每个激光点位置观测值的概率对机器人进行定位。
本申请提供一种非暂态存储介质，该非暂态存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一实施例、第一实施例的任一可选的实现方式中的方法。
其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-OnlyMemory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请提供一种计算机程序产品，该计算机程序产品在计算机上运行时，使得计算机执行第一实施例、第一实施例的任一可选的实现方式中的所述方法。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种机器人定位方法，其特征在于，所述方法包括：
获取机器人所在环境的激光点云信息和灰度图像，所述激光点云信息包括多个激光点的位置信息；
根据每个激光点的位置信息将每个激光点投影到机器人所在环境的灰度图像中，获取每个激光点对应的投影点的灰度值；
根据每个激光点对应的投影点的灰度值以及每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率，其中，所述机器人所在环境地图预先建立并存储，每个激光点位置与对应的环境地图的最近障碍物的距离预先计算并存储；
根据粒子滤波定位算法以及每个激光点位置观测值的概率对所述机器人进行定位。
2.根据权利要求1所述方法，其特征在于，所述根据每个激光点对应的投影点的灰度值以及每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置获得观测值的概率，包括：
将每个激光点对应的投影点的灰度值加上每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率。
3.根据权利要求1所述方法，其特征在于，在所述根据每个激光点的位置信息将每个激光点投影到所述灰度图像中之前，所述方法还包括：
判断所述激光点云信息中是否包含预先设置的激光点干扰信息；
若是，则将所述激光点云信息中的激光点干扰信息滤除。
4.根据权利要求1所述方法，其特征在于，在所述根据每个激光点的位置信息将每个激光点投影到所述灰度图像中之前，所述方法还包括：
对所述机器人所在环境的灰度图像进行归一化处理。
5.根据权利要求4所述方法，其特征在于，所述对对所述机器人所在环境的灰度图像进行归一化处理，包括：
获取所述机器人所在环境的灰度图像的最大灰度值和最小灰度值；
遍历所述机器人所在环境的灰度图像，将每个像素的像素值修改为g2；所述g2为：
其中，gi表示为归一化前所述机器人所在环境的灰度图像中某个像素点i的灰度值；g2表示为归一化后所述机器人所在环境的灰度图像中某个像素点i的灰度值；gmax为所述机器人所在环境的灰度图像的最大灰度值；gmin为所述机器人所在环境的灰度图像的最小灰度值。
6.根据权利要求1所述方法，其特征在于，所述根据每个激光点的位置信息将每个激光点投影到所述灰度图像中，包括：
根据像素位置与激光点位置的关系式将每个激光点投影到所述灰度图像中；
所述关系式为：
Figure FDA0002275790980000022
Figure FDA0002275790980000023
其中，R和t表示为拍摄机器人所在环境的灰度图像的相机的外参；K为所述相机的内参；[Xi Yi Zi]T为激光点云中的一个点i，[ui vi]T为激光点云i对应的像素坐标；下标w表示在世界坐标系下的坐标，c表示在相机坐标系下的坐标。
7.一种机器人定位装置，其特征在于，所述装置包括：
获取模块，用于获取机器人所在环境的激光点云信息和灰度图像，所述激光点云信息包括多个激光点的位置信息；
投影模块，用于根据每个激光点的位置信息将每个激光点投影到机器人所在环境的灰度图像中，获取每个激光点对应的投影点的灰度值；
确定模块，用于根据每个激光点对应的投影点的灰度值以及每个激光点到机器人所在环境地图中最近障碍物的距离确定每个激光点位置观测值的概率，其中，所述机器人所在环境地图预先建立并存储，每个激光点位置与对应的环境地图的最近障碍物的距离预先计算并存储；
定位模块，用于根据粒子滤波定位算法以及每个激光点位置观测值的概率对所述机器人进行定位。
8.根据权利要求7所述装置，其特征在于，所述装置还包括判断模块，用于在所述投影模块根据每个激光点的位置信息将每个激光点投影到所述灰度图像中之前，判断所述激光点云信息中是否包含预先设置的激光点干扰信息；滤除模块，用于在所述判断模块判断所述激光点云信息中包含预先设置的激光点干扰信息之后，将所述激光点云信息中的激光点干扰信息滤除。
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法。
10.一种非暂态可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。
CN201911122382.4A 2019-11-15 2019-11-15 一种机器人定位方法、装置及存储介质 Active CN110823171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911122382.4A CN110823171B (zh) 2019-11-15 2019-11-15 一种机器人定位方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911122382.4A CN110823171B (zh) 2019-11-15 2019-11-15 一种机器人定位方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110823171A true CN110823171A (zh) 2020-02-21
CN110823171B CN110823171B (zh) 2022-03-25

Family

ID=69556033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911122382.4A Active CN110823171B (zh) 2019-11-15 2019-11-15 一种机器人定位方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110823171B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111679282A (zh) * 2020-06-16 2020-09-18 长沙行深智能科技有限公司 一种面向集装箱仓储环境的地图表示与定位方法及系统
CN112418316A (zh) * 2020-11-24 2021-02-26 深圳市优必选科技股份有限公司 机器人重定位方法、装置、激光机器人及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268935A (zh) * 2014-09-18 2015-01-07 华南理工大学 一种基于特征的机载激光点云与影像数据融合系统及方法
CN106052674A (zh) * 2016-05-20 2016-10-26 青岛克路德机器人有限公司 一种室内机器人的slam方法和系统
CN106940186A (zh) * 2017-02-16 2017-07-11 华中科技大学 一种机器人自主定位与导航方法及系统
CN108399610A (zh) * 2018-03-20 2018-08-14 上海应用技术大学 一种融合rgb图像信息的深度图像增强方法
CN109579852A (zh) * 2019-01-22 2019-04-05 杭州蓝芯科技有限公司 基于深度相机的机器人自主定位方法及装置
CN109947097A (zh) * 2019-03-06 2019-06-28 东南大学 一种基于视觉和激光融合的机器人定位方法及导航应用

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268935A (zh) * 2014-09-18 2015-01-07 华南理工大学 一种基于特征的机载激光点云与影像数据融合系统及方法
CN106052674A (zh) * 2016-05-20 2016-10-26 青岛克路德机器人有限公司 一种室内机器人的slam方法和系统
CN106940186A (zh) * 2017-02-16 2017-07-11 华中科技大学 一种机器人自主定位与导航方法及系统
CN108399610A (zh) * 2018-03-20 2018-08-14 上海应用技术大学 一种融合rgb图像信息的深度图像增强方法
CN109579852A (zh) * 2019-01-22 2019-04-05 杭州蓝芯科技有限公司 基于深度相机的机器人自主定位方法及装置
CN109947097A (zh) * 2019-03-06 2019-06-28 东南大学 一种基于视觉和激光融合的机器人定位方法及导航应用

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
肖宇峰: "Kinect与二维激光雷达结合的机器人障碍检测", 《电子科技大学学报》 *
赵松: "三维激光扫描仪与数码相机联合标定方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111679282A (zh) * 2020-06-16 2020-09-18 长沙行深智能科技有限公司 一种面向集装箱仓储环境的地图表示与定位方法及系统
CN112418316A (zh) * 2020-11-24 2021-02-26 深圳市优必选科技股份有限公司 机器人重定位方法、装置、激光机器人及可读存储介质
CN112418316B (zh) * 2020-11-24 2023-09-29 深圳市优必选科技股份有限公司 机器人重定位方法、装置、激光机器人及可读存储介质

Also Published As

Publication number Publication date
CN110823171B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
JP6866439B2 (ja) 位置検出方法とその装置、機器、記憶媒体及び車両
CN108895981B (zh) 一种三维测量方法、装置、服务器和存储介质
US9443353B2 (en) Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects
WO2018116790A1 (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
US20220285009A1 (en) Systems and methods for real-time multiple modality image alignment
CN110568447A (zh) 视觉定位的方法、装置及计算机可读介质
US10846923B2 (en) Fusion of depth images into global volumes
CN110823171B (zh) 一种机器人定位方法、装置及存储介质
US11847796B2 (en) Calibrating cameras using human skeleton
CA3169587A1 (en) Instrument tracking machine
JP2022545598A (ja) 仮想対象の調整方法、装置、電子機器、コンピュータ記憶媒体及びプログラム
WO2022217988A1 (zh) 传感器配置方案确定方法、装置、计算机设备、存储介质及程序
WO2023024441A1 (zh) 模型重建方法及相关装置、电子设备和存储介质
US20230169686A1 (en) Joint Environmental Reconstruction and Camera Calibration
CN108628442B (zh) 一种信息提示方法、装置以及电子设备
WO2021178366A1 (en) Efficient localization based on multiple feature types
CN112465911A (zh) 图像处理方法及装置
CN110852132B (zh) 一种二维码空间位置确认方法及装置
US20220366582A1 (en) Method and System for Detecting Plane Information
JP2007315777A (ja) 三次元形状計測システム
CN113786616B (zh) 一种间接光照实现方法、装置、存储介质及计算设备
CN113034684B (zh) 三维重建方法、电子设备及计算机可读存储介质
CN112487893B (zh) 一种三维目标识别方法及系统
CN111260781B (zh) 一种生成图像信息的方法、装置和电子设备
CN114155349A (zh) 一种三维建图方法、三维建图装置及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 201, building 4, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Applicant after: Beijing Yunji Technology Co.,Ltd.

Address before: Room 201, building 4, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Applicant before: BEIJING YUNJI TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant