CN114998429A - 机器人定位系统、方法、设备和介质 - Google Patents

机器人定位系统、方法、设备和介质 Download PDF

Info

Publication number
CN114998429A
CN114998429A CN202210446123.2A CN202210446123A CN114998429A CN 114998429 A CN114998429 A CN 114998429A CN 202210446123 A CN202210446123 A CN 202210446123A CN 114998429 A CN114998429 A CN 114998429A
Authority
CN
China
Prior art keywords
visible light
luminosity
infrared
camera
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210446123.2A
Other languages
English (en)
Inventor
文刚
潘浩
马仪
马御棠
马宏明
曹俊
杨明昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power Grid Co Ltd filed Critical Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority to CN202210446123.2A priority Critical patent/CN114998429A/zh
Publication of CN114998429A publication Critical patent/CN114998429A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了机器人定位系统、方法、设备和介质，结合了光度一致性和温度一致性来进行位姿跟踪，使本发明在不同的环境中均具有稳定的性能。并且，将光度信息和温度信息整合到了同一个框架中，实现了光度信息和温度信息的紧密耦合，进而进行位姿跟踪，能获得更好的定位效果。此外还通过最小二乘法对所述巡检机器人多个位姿的误差累积进行优化，输出优化后的位姿，以定位所述巡检机器人的巡检过程，可进一步的提高定位的准确性。

Description

机器人定位系统、方法、设备和介质
技术领域
本发明涉及机器人巡检技术领域，尤其是涉及机器人定位系统、方法、设备和介质。
背景技术
无人巡检可以弥补人工巡检的诸多缺陷，在电网系统中已得到广泛应用。无人巡检过程中，巡检机器人需要在不同设备间进行工作，对环境场景进行感知并诊断工作，而这对巡检机器人的定位技术提出了不小的要求。
若仅利用普通的可见光相机进行定位，则巡检机器人只能对光照较为敏感，在夜间巡检时的效果就较差。热红外相机作为视觉传感器的一种，能够将物体辐射的温度值映射为图像的像素强度，且能够较少受到变化的照度或背景杂波的影响，是传统可见光相机的一种很好的补充。但是现有技术中对于RGB和温度信息的利用是松耦合过程，即单独利用可见光相机和红外相机，获得定位结果后再进行优化，但通过这种方式得到的定位效果仍不够精确，还需要进一步优化。
发明内容
基于此，有必要针对上述问题，提供机器人定位系统、方法、设备和介质，以解决定位效果仍不够精确的问题。
一种机器人定位系统，应用于设置有可见光相机及红外相机的巡检机器人上，所述可见光相机用于拍摄可见光图像，所述红外相机用于拍摄红外图像，所述系统包括：光度标定模块，温度标定模块，位姿初始化模块，位姿估计模块，后端优化模块；
所述光度标定模块，用于对所述可见光相机在成像过程中的光度参数进行标定，以基于标定后的光度参数调整可见光图像的光度信息，直至获取的可见光图像满足光度一致性；其中，所述光度一致性指示同一像素在不同可见光图像的光度信息是相同的；
所述温度标定模块，用于对所述红外相机成像过程中的漂移进行标定，以消除所述红外相机成像过程中产生的温度噪声，直至获取的红外图像满足温度一致性；其中，所述温度一致性指示同一像素在不同红外图像的温度信息是相同的；
所述位姿初始化模块，用于提取可见光图像中的稀疏特征点，利用相邻两帧可见光图像之间的特征点对，计算所述巡检机器人的初始相对位姿；其中，所述特征点对由稀疏特征点构成；
所述位姿估计模块，用于基于稀疏特征点仿射变换下的光度差和温度差建立误差函数，最小化所述误差函数，以对所述巡检机器人的当前位姿进行跟踪。
所述后端优化模块，用于通过最小二乘法对所述巡检机器人多个位姿的误差累积进行优化，输出优化后的位姿，以定位所述巡检机器人的巡检过程。
在其中一个实施例中，所述光度参数为所述光学相机的响应函数，所述响应函数用于指示输入的曝光量和输出的可见光图像中的光度信息之间的关系，所述光度标定模块，具体用于：
每当所述可见光相机拍摄时，调整所述可见光相机的曝光时间，获取拍摄得到的多张可见光图像，并确定每张可见光图像内每一像素点的光度信息；其中，所述多张见光图像为所述可见光相机针对同一静止场景拍摄的不同角度的可见光图像；
获取所述可见光相机的辐照度图像及所述光学相机中光学模块的影响参数，基于不同可见光图像内的光度信息，通过最大似然估计轮流最小化所述响应函数和所述辐照度图像与所述影响参数的乘积，以标定所述响应函数，直至获取的可见光图像满足光度一致性。
在其中一个实施例中，所述温度标定模块，具体用于：
获取与所述多张可见光图像在相同时刻拍摄的多张红外图像，并确定每张红外图像内每一像素点的温度信息；
基于在不同可见光图像内相同的光度信息确定任一像素点的移动速度，根据所述移动速度及红外图像之间的时间间隔确定在不同红外图像内对应的同一像素点；
基于所述红外相机的红外辐射，调整不同红外图像中同一像素点的温度信息出现的增益和漂移，以消除所述红外相机在成像过程中产生的热量干扰和红外图像的固定噪声，直至红外图像满足温度一致性。
在其中一个实施例中，所述位姿初始化模块，具体用于：
若目标像素点与预设邻域内的像素点之间的灰度差值大于预设值，则确定所述目标像素点作为稀疏特征点；其中，所述目标像素点为可见光图像中的任意一个像素点；
将稀疏特征点的数量大于第一预设数量的可见光图像作为关键帧，将第一个关键帧作为初始关键帧，确定所述初始关键帧和所述初始关键帧的下一帧之间的特征点对，基于所述特征点对进行三角初始化，以得到包含地图点的地图；其中，所述地图的地图点用于描述所述稀疏特征点的实际空间位置；
通过所述地图点和所述特征点对构建单应矩阵和基础矩阵，根据所述单应矩阵和所述基础矩阵计算所述巡检机器人的初始相对位姿。
在其中一个实施例中，所述位姿估计模块，具体用于：
将当前时刻获取的可见光图像作为当前帧，对包含在所述当前帧上的地图点，确定在所述初始关键帧上的第一投影点和在所述当前帧上的第二投影点；
计算所述第一投影点和所述第二投影点之间仿射变换下的灰度差和温度差，根据所述灰度差和所述温度差构建对应的二范数误差函数，最小化所述二范数误差函数，以估计所述巡检机器人的当前位姿。
在其中一个实施例中，所述位姿估计模块，还具体用于：
以所述第一投影点为中心，将在所述初始关键帧内预设位置处的像素点确定为第一投影图像块，及以所述第二投影点为中心，将在所述当前帧内相同预设位置处的像素点确定为第二投影图像块；
根据所述第一投影图像块和所述第二投影图像块之间的灰度差和温度差构建八维残差函数，最小化所述八维残差函数，以优化所述巡检机器人的当前位姿。
在其中一个实施例中，所述后端优化模块，具体用于：
创建包含第二预设数量个关键帧的滑动窗口，当确定新的关键帧加入到所述滑动窗口时，边缘化所有关键帧对应的地图点及最后获取的两个关键帧中未观察到的像素点；
通过最小二乘法多个位姿的误差累积确定从所述滑动窗口中被移除的关键帧，将被确定移除的关键帧从所述滑动窗口移除。
一种机器人定位方法，应用于设置有可见光相机及红外相机的巡检机器人上，所述可见光相机用于拍摄可见光图像，所述红外相机用于拍摄红外图像，所述方法包括：
对所述可见光相机在成像过程中的光度参数进行标定，以基于标定后的光度参数调整可见光图像的光度信息，直至获取的可见光图像满足光度一致性；其中，所述光度一致性指示同一像素在不同可见光图像的光度信息是相同的；
对所述红外相机成像过程中的漂移进行标定，以消除所述红外相机成像过程中产生的温度噪声，直至获取的红外图像满足温度一致性；其中，所述光度一致性指示同一像素在不同红外图像的温度信息是相同的；
提取可见光图像中的稀疏特征点，利用相邻两帧可见光图像之间的特征点对，计算所述巡检机器人的初始相对位姿；其中，所述特征点对由稀疏特征点构成；
基于稀疏特征点仿射变换下的光度差和温度差建立误差函数，最小化所述误差函数，以对所述巡检机器人的当前位姿进行跟踪。
通过最小二乘法对所述巡检机器人多个位姿的误差累积进行优化，输出优化后的位姿，以定位所述巡检机器人的巡检过程。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述机器人定位方法的步骤。
一种机器人定位设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述机器人定位方法的步骤。
本发明提供了机器人定位系统、方法、设备和介质，对可见光相机在成像过程中的光度参数进行标定，以基于标定后的光度参数调整可见光图像的光度信息，直至获取的可见光图像满足光度一致性。及对红外相机成像过程中的漂移进行标定，以消除红外相机成像过程中产生的温度噪声，直至红外图像满足温度一致性。可见，结合了光度一致性和温度一致性来进行位姿跟踪，使本发明在不同的环境中均具有稳定的性能。进一步的，提取可见光图像中的稀疏特征点，利用相邻两帧可见光图像之间的特征点对，计算巡检机器人的初始相对位姿；并基于稀疏特征点仿射变换下的光度差和温度差建立误差函数，最小化所述误差函数，以对巡检机器人的当前位姿进行跟踪。可见，本发明将光度信息和温度信息整合到了同一个框架中，实现了光度信息和温度信息的紧密耦合，进而进行位姿跟踪，能获得更好的定位效果。最后通过最小二乘法对所述巡检机器人多个位姿的误差累积进行优化，输出优化后的位姿，以定位所述巡检机器人的巡检过程，可进一步的提高定位的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中机器人定位系统的框架示意图；
图2为一个实施例中确定稀疏特征点的示意图；
图3为一个实施例中选取投影图像块的示意图；
图4为一个实施例中机器人定位方法的流程示意图；
图5为一个实施例中机器人定位设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，图1为一个实施例中机器人定位系统的框架示意图，该机器人定位系统应用于设置有可见光相机及红外相机的巡检机器人上。在巡检机器人巡检的过程中，可见光相机用于拍摄可见光图像，红外相机用于拍摄红外图像。该机器人定位系统包括：光度标定模块102，温度标定模块104，位姿初始化模块106，位姿估计模块108，后端优化模块110。下文阐述，每个模块实现的功能：
光度标定模块102，用于对可见光相机在成像过程中的光度参数进行标定，以基于标定后的光度参数调整可见光图像的光度信息，直至获取的可见光图像满足光度一致性。
具体的来说，光度一致性指示同一像素在不同可见光图像的光度信息是相同的。在光度标定的过程中需使用到如下的光度模型：
Ii(x)＝G(tiV(x)Bi(x))
其中，Ii是获取的第i张可见光图像；V表示相机光学模块的影响参数，可见光相机的镜头、光圈、快门等光学模块的参数都会影响可见光图像的光度信息；ti表示获取第i张可见光图像时的曝光时间；Bi为获取第i张可见光图像时的相机辐照度图像；G表示响应函数，表示相机输入曝光量和输出亮度值之间的关系。
首先，本实施例中的可见光相机是固定于巡检机器人上的，在巡检机器人巡检的过程中，可见光相机针对同一静止场景拍摄不同角度的可见光图像，在这个过程中，相机的辐照度图像Bi是不变的。并且在每次可见光相机拍摄时，光度标定模块调整可见光相机的曝光时间，这样就能获取到多张不同角度及不同曝光时间的可见光图像，再确定每张可见光图像内每一像素点的光度信息。
由于V是相机固有的属性，在标定相机响应函数的时候，把相机的光度模型转换成：
Ii(x)＝G(tiB′(x))
这里B′(x)＝V(x)B(x)。在求响应函数的时候，为了方便起见，求的是响应函数的反函数：U＝G-1，对于一个图像Ii，其对应的曝光时间为ti，假设在U(I(x))上有一个零均值的高斯噪声，则模型有如下形式：
Figure BDA0003616955750000071
通过最大似然估计，我们近似给出如下最小二乘的形式：
Figure BDA0003616955750000072
其中，第一个求和是对所有(不同曝光时间的)图像，第二个求和是对图像平面上所有的像素点。对上式最小化，通过轮流最小化求解U和B′得到:
Figure BDA0003616955750000073
进而基于求解的U便可得到标定后的响应函数G，每当获取到新的可见光图像，循环上述光度标定的过程，直至获取的可见光图像满足光度一致性。
温度标定模块104，用于对红外相机成像过程中的漂移进行标定，以消除红外相机成像过程中产生的温度噪声，直至获取的红外图像满足温度一致性。
具体的来说，温度一致性指示同一像素在不同红外图像的温度信息是相同的。本实施例中，温度标定的过程为：
首先，在可见光相机每拍摄一张可见光图像的同时，红外相机均获取一张相同时刻的红外图像，并确定每张红外图像内每一像素点的温度信息。
其次，确定在不同红外图像内对应的同一像素点。考虑到在t时刻，位于(x,y)处的像素，它的灰度信息和温度信息分别可以写成I(x,y,t),T(x,y,t)。为了估计这个像素在其他时刻里图像的位置，基于光度一致性和温度一致性，在t+dt时刻，像素运动到(x+dx,y+dy)处，由于灰度不变和光度不变，可以得到：
I(x+dx,y+dy,t+dt)＝I(x,y,t),
T(x+dx,y+dy,t+dt)＝T(x,y,t)
分别对两式进行泰勒展开，保留一阶项，并把图像对时间的变化量和温度对时间的变化量分别记为It,Tt，以矩阵形式表示，可得：
Figure BDA0003616955750000081
Figure BDA0003616955750000082
其中u，v分别表示像素(x，y)在可见光图像和红外图像的横纵方向上的速度。这样，在已知红外图像之间的时间间隔的前提下，就能确定在不同红外图像内对应的同一像素点。
最后，基于红外相机红外辐射的原理，调整不同红外图像中同一像素点的温度信息出现的增益和漂移的情形，以消除红外相机在成像过程中产生的热量干扰和红外图像的固定噪声，直至红外图像满足温度一致性。
位姿初始化模块106，用于提取可见光图像中的稀疏特征点，利用相邻两帧可见光图像之间的特征点对，计算巡检机器人的初始相对位姿。
具体的来说，首先，通过如下方式确定稀疏特征点：对于某一张可见光图像Ii来说，其中的目标像素点(可见光图像Ii中的任意一个像素点)，若与预设邻域(如图2所示，一般是半径为3.4像素点，外围16个像素的圆的作为预设领域)内的像素点之间的灰度差值大于预设值，则确定该目标像素点作为稀疏特征点，其公式表达为：
Figure BDA0003616955750000083
其中I(x)表示外围边上像素点的像素值，I(p)为中心像素点的像素值，εd为设定的预设值。
接着，将稀疏特征点的数量大于第一预设数量(例如50)的可见光图像作为关键帧，并将第一个关键帧作为初始关键帧，再基于光度一致性确定初始关键帧和初始关键帧的下一帧之间的特征点对，并进行三角初始化。三角化初始化的结果为包含地图点的地图，这些地图点用于描述稀疏特征点的实际空间位置，也就是确定每个稀疏特征点的深度信息，将稀疏特征点从二维角度描述衍变为三维角度描述。
最后，通过地图点和特征点对构建单应矩阵和基础矩阵，单应矩阵表征两个平面之间的齐次变换，其包含了摄像机位姿信息以及内参数信息。基于单应矩阵和基础矩阵的位姿提取方法主要包括单应矩阵的辨识，单应矩阵的分解，以及唯一解的确定这三个步骤，可利用本领域的现有技术手段，就不再赘述，最终得到巡检机器人的初始相对位姿。
位姿估计模块108，用于基于稀疏特征点仿射变换下的光度差和温度差建立误差函数，最小化误差函数，以对巡检机器人的当前位姿进行跟踪。
具体的，将当前时刻获取的可见光图像作为当前帧，对包含在当前帧上的地图点p，确定在初始关键帧上的第一投影点ui和在当前帧上的第二投影点u′i。如果相机的位姿不够好，ui和u′i的外观和温度都会有明显区别，可以通过优化相机的位姿来寻找更相似的u′i，优化过程最小化的目标函数是仿射变换下的灰度差和温度差：
e1＝I1(u′i)-I2(ui)
e2＝T1(u′i)-T2(ui)
假设一个地图点在各个视角下，成像的光度信息是不变的，同时成像的温度信息也是不变的。在实际中，我们能获取到很多地图点，整个巡检机器人的位姿估计问题可以通过视觉和温度的误差表示，优化目标为基于灰度差和温度差构建的二范数误差函数：
Figure BDA0003616955750000091
其中，Ir(ui)表示初始关键帧内第第一投影点的灰度信息，Ik(u′i)表示当前帧内第二投影点的灰度信息，Tr(ui)表示初始关键帧内第第一投影点的温度信息，Tk(u′i)表示当前帧内第第二投影点的温度信息，α和β为两个常量，分别表示灰度信息和温度信息在优化函数中的占比，对于不同的亮度环境和不同温度差异的环境可以自适应的设定取值，Ai和Bi为预设系数。最小化这个二范数误差函数可以利用李代数扰动模型的方法，左乘微小扰动，从而估计巡检机器人的当前位姿。
可见，位姿估计模块同时进行了灰度一致性约束和温度一致性约束，假设某一个窗口内的像素具有相同的运动，那么像素的灰度和温度在各个图像中都是固定不变的。相较于传统的单一利用光流法，本发明有效的融合了图像像素点的光度信息和温度信息，对于可见光图像中的每个像素，都能在红外图像中获得其对应的位置及温度值，这能够使本发明在不同的环境中具有更好的鲁棒性。当相机运动到视觉特征缺失但存在较好的温度差异的地方时，尽管环境中缺乏明显的纹理信息，但是有温度的梯度变化，可以增大温度信息占比，从而更精确的进行巡检机器人位姿的计算。
进一步的，如图3所示，为了更好的利用投影点信息，位姿估计模块对于每个投影点，不仅考虑投影点本身，还考虑投影点与周围几个点组成的图像块。以第一投影点为中心，将在初始关键帧内如图3预设位置处的像素点确定为第一投影图像块，及以第二投影点为中心，将在当前帧内如图3预设位置处的像素点确定为第二投影图像块。将每个周围的投影点均等价于中心的投影点，由于共选取8个投影点作为投影图像块，因此基于上述的二范数误差函数，便可对应构建八维残差函数，最小化该八维残差函数，从而优化巡检机器人的当前位姿。
后端优化模块110，用于通过最小二乘法对巡检机器人多个位姿的误差累积进行优化，输出优化后的位姿，以定位巡检机器人的巡检过程。
在一个具体实施例中，首先创建包含第二预设数量个(例如7个)关键帧的滑动窗口，滑动窗口内的点分为两种类型，一种是激活点、一种是未成熟点。通常在图像中刚刚提取的或者深度未收敛的点称为未成熟点，具有非常大的深度范围。通过深度滤波器在帧间不断地滤波，使得点的深度不断收敛，最终得到的点会被激活，加入滑动窗口中，这种点被称为激活点。通过将滑动窗口中的所有关键帧位姿和激活点全部联合起来优化一个总的误差累积，相比于两帧之间的约束，滑动窗口中提供的约束条件更多，可以优化前端估计的相对位姿初值。当确定新的关键帧加入到滑动窗口时，滑动窗口的大小会不断增大，最终失去它灵活高效的功能。为了保持固定大小的窗口，再边缘化所有关键帧对应的地图点及最后获取的两个关键帧中未观察到的像素点。通过最小二乘法多个位姿的误差累积确定从滑动窗口中被移除的关键帧，将被确定移除的关键帧从滑动窗口移除，同时恢复深度。
上述机器人定位系统，对可见光相机在成像过程中的光度参数进行标定，以基于标定后的光度参数调整可见光图像的光度信息，直至获取的可见光图像满足光度一致性。及对红外相机成像过程中的漂移进行标定，以消除红外相机成像过程中产生的温度噪声，直至红外图像满足温度一致性。可见，结合了光度一致性和温度一致性来进行位姿跟踪，使本发明在不同的环境中均具有稳定的性能。进一步的，提取可见光图像中的稀疏特征点，利用相邻两帧可见光图像之间的特征点对，计算巡检机器人的初始相对位姿；并基于稀疏特征点仿射变换下的光度差和温度差建立误差函数，最小化误差函数，以对巡检机器人的当前位姿进行跟踪。可见，本发明将光度信息和温度信息整合到了同一个框架中，实现了光度信息和温度信息的紧密耦合，进而进行位姿跟踪，能获得更好的定位效果。最后通过最小二乘法对巡检机器人多个位姿的误差累积进行优化，输出优化后的位姿，以定位巡检机器人的巡检过程，可进一步的提高定位的准确性。
在一个实施例中，如图4所示，提出了一种机器人定位方法，该方法的步骤包括：
步骤402，对可见光相机在成像过程中的光度参数进行标定，以基于标定后的光度参数调整可见光图像的光度信息，直至获取的可见光图像满足光度一致性。
步骤404，对红外相机成像过程中的漂移进行标定，以消除红外相机成像过程中产生的温度噪声，直至获取的红外图像满足温度一致性。
步骤406，提取可见光图像中的稀疏特征点，利用相邻两帧可见光图像之间的特征点对，计算巡检机器人的初始相对位姿。
步骤408，基于稀疏特征点仿射变换下的光度差和温度差建立误差函数，最小化误差函数，以对巡检机器人的当前位姿进行跟踪。
步骤410，通过最小二乘法对巡检机器人多个位姿的误差累积进行优化，输出优化后的位姿，以定位巡检机器人的巡检过程。
图5示出了一个实施例中机器人定位设备的内部结构图。如图5所示，该机器人定位设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该机器人定位设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现机器人定位方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行机器人定位方法。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的机器人定位设备的限定，具体的机器人定位设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
一种机器人定位设备，包括存储器、处理器以及存储在该存储器中并可在该处理器上执行的计算机程序，该处理器执行该计算机程序时实现如下步骤：对可见光相机在成像过程中的光度参数进行标定，以基于标定后的光度参数调整可见光图像的光度信息，直至获取的可见光图像满足光度一致性。对红外相机成像过程中的漂移进行标定，以消除红外相机成像过程中产生的温度噪声，直至获取的红外图像满足温度一致性。提取可见光图像中的稀疏特征点，利用相邻两帧可见光图像之间的特征点对，计算巡检机器人的初始相对位姿；其中，特征点对由稀疏特征点构成；基于稀疏特征点仿射变换下的光度差和温度差建立误差函数，最小化误差函数，以对巡检机器人的当前位姿进行跟踪。通过最小二乘法对巡检机器人多个位姿的误差累积进行优化，输出优化后的位姿，以定位巡检机器人的巡检过程。
一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如下步骤：对可见光相机在成像过程中的光度参数进行标定，以基于标定后的光度参数调整可见光图像的光度信息，直至获取的可见光图像满足光度一致性。对红外相机成像过程中的漂移进行标定，以消除红外相机成像过程中产生的温度噪声，直至获取的红外图像满足温度一致性。提取可见光图像中的稀疏特征点，利用相邻两帧可见光图像之间的特征点对，计算巡检机器人的初始相对位姿；其中，特征点对由稀疏特征点构成；基于稀疏特征点仿射变换下的光度差和温度差建立误差函数，最小化误差函数，以对巡检机器人的当前位姿进行跟踪。通过最小二乘法对巡检机器人多个位姿的误差累积进行优化，输出优化后的位姿，以定位巡检机器人的巡检过程。
需要说明的是，上述机器人定位方法、装置、设备及计算机可读存储介质属于一个总的发明构思，机器人定位方法、装置、设备及计算机可读存储介质实施例中的内容可相互适用。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机器人定位系统，其特征在于，应用于设置有可见光相机及红外相机的巡检机器人上，所述可见光相机用于拍摄可见光图像，所述红外相机用于拍摄红外图像，所述系统包括：光度标定模块，温度标定模块，位姿初始化模块，位姿估计模块，后端优化模块；
所述光度标定模块，用于对所述可见光相机在成像过程中的光度参数进行标定，以基于标定后的光度参数调整可见光图像的光度信息，直至获取的可见光图像满足光度一致性；其中，所述光度一致性指示同一像素在不同可见光图像的光度信息是相同的；
所述温度标定模块，用于对所述红外相机成像过程中的漂移进行标定，以消除所述红外相机成像过程中产生的温度噪声，直至获取的红外图像满足温度一致性；其中，所述温度一致性指示同一像素在不同红外图像的温度信息是相同的；
所述位姿初始化模块，用于提取可见光图像中的稀疏特征点，利用相邻两帧可见光图像之间的特征点对，计算所述巡检机器人的初始相对位姿；其中，所述特征点对由稀疏特征点构成；
所述位姿估计模块，用于基于稀疏特征点仿射变换下的光度差和温度差建立误差函数，最小化所述误差函数，以对所述巡检机器人的当前位姿进行跟踪；
所述后端优化模块，用于通过最小二乘法对所述巡检机器人多个位姿的误差累积进行优化，输出优化后的位姿，以定位所述巡检机器人的巡检过程。
2.根据权利要求1所述的方法，其特征在于，所述光度参数为所述光学相机的响应函数，所述响应函数用于指示输入的曝光量和输出的可见光图像中的光度信息之间的关系，所述光度标定模块，具体用于：
每当所述可见光相机拍摄时，调整所述可见光相机的曝光时间，获取拍摄得到的多张可见光图像，并确定每张可见光图像内每一像素点的光度信息；其中，所述多张见光图像为所述可见光相机针对同一静止场景拍摄的不同角度的可见光图像；
获取所述可见光相机的辐照度图像及所述光学相机中光学模块的影响参数，基于不同可见光图像内的光度信息，通过最大似然估计轮流最小化所述响应函数和所述辐照度图像与所述影响参数的乘积，以标定所述响应函数，直至获取的可见光图像满足光度一致性。
3.根据权利要求2所述的方法，其特征在于，所述温度标定模块，具体用于：
获取与所述多张可见光图像在相同时刻拍摄的多张红外图像，并确定每张红外图像内每一像素点的温度信息；
基于在不同可见光图像内相同的光度信息确定任一像素点的移动速度，根据所述移动速度及红外图像之间的时间间隔确定在不同红外图像内对应的同一像素点；
基于所述红外相机的红外辐射，调整不同红外图像中同一像素点的温度信息出现的增益和漂移，以消除所述红外相机在成像过程中产生的热量干扰和红外图像的固定噪声，直至红外图像满足温度一致性。
4.根据权利要求1所述的方法，其特征在于，所述位姿初始化模块，具体用于：
若目标像素点与预设邻域内的像素点之间的灰度差值大于预设值，则确定所述目标像素点作为稀疏特征点；其中，所述目标像素点为可见光图像中的任意一个像素点；
将稀疏特征点的数量大于第一预设数量的可见光图像作为关键帧，将第一个关键帧作为初始关键帧，确定所述初始关键帧和所述初始关键帧的下一帧之间的特征点对，基于所述特征点对进行三角初始化，以得到包含地图点的地图；其中，所述地图的地图点用于描述所述稀疏特征点的实际空间位置；
通过所述地图点和所述特征点对构建单应矩阵和基础矩阵，根据所述单应矩阵和所述基础矩阵计算所述巡检机器人的初始相对位姿。
5.根据权利要求4所述的方法，其特征在于，所述位姿估计模块，具体用于：
将当前时刻获取的可见光图像作为当前帧，对包含在所述当前帧上的地图点，确定在所述初始关键帧上的第一投影点和在所述当前帧上的第二投影点；
计算所述第一投影点和所述第二投影点之间仿射变换下的灰度差和温度差，根据所述灰度差和所述温度差构建对应的二范数误差函数，最小化所述二范数误差函数，以估计所述巡检机器人的当前位姿。
6.根据权利要求5所述的方法，其特征在于，所述位姿估计模块，还具体用于：
以所述第一投影点为中心，将在所述初始关键帧内预设位置处的像素点确定为第一投影图像块，及以所述第二投影点为中心，将在所述当前帧内相同预设位置处的像素点确定为第二投影图像块；
根据所述第一投影图像块和所述第二投影图像块之间的灰度差和温度差构建八维残差函数，最小化所述八维残差函数，以优化所述巡检机器人的当前位姿。
7.根据权利要求6所述的方法，其特征在于，所述后端优化模块，具体用于：
创建包含第二预设数量个关键帧的滑动窗口，当确定新的关键帧加入到所述滑动窗口时，边缘化所有关键帧对应的地图点及最后获取的两个关键帧中未观察到的像素点；
通过最小二乘法多个位姿的误差累积确定从所述滑动窗口中被移除的关键帧，将被确定移除的关键帧从所述滑动窗口移除。
8.一种机器人定位方法，其特征在于，应用于设置有可见光相机及红外相机的巡检机器人上，所述可见光相机用于拍摄可见光图像，所述红外相机用于拍摄红外图像，所述方法包括：
对所述可见光相机在成像过程中的光度参数进行标定，以基于标定后的光度参数调整可见光图像的光度信息，直至获取的可见光图像满足光度一致性；其中，所述光度一致性指示同一像素在不同可见光图像的光度信息是相同的；
对所述红外相机成像过程中的漂移进行标定，以消除所述红外相机成像过程中产生的温度噪声，直至获取的红外图像满足温度一致性；其中，所述光度一致性指示同一像素在不同红外图像的温度信息是相同的；
提取可见光图像中的稀疏特征点，利用相邻两帧可见光图像之间的特征点对，计算所述巡检机器人的初始相对位姿；其中，所述特征点对由稀疏特征点构成；
基于稀疏特征点仿射变换下的光度差和温度差建立误差函数，最小化所述误差函数，以对所述巡检机器人的当前位姿进行跟踪；
通过最小二乘法对所述巡检机器人多个位姿的误差累积进行优化，输出优化后的位姿，以定位所述巡检机器人的巡检过程。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求8中所述方法的步骤。
10.一种机器人定位设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求8中所述方法的步骤。
CN202210446123.2A 2022-04-26 2022-04-26 机器人定位系统、方法、设备和介质 Pending CN114998429A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210446123.2A CN114998429A (zh) 2022-04-26 2022-04-26 机器人定位系统、方法、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210446123.2A CN114998429A (zh) 2022-04-26 2022-04-26 机器人定位系统、方法、设备和介质

Publications (1)

Publication Number Publication Date
CN114998429A true CN114998429A (zh) 2022-09-02

Family

ID=83026070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210446123.2A Pending CN114998429A (zh) 2022-04-26 2022-04-26 机器人定位系统、方法、设备和介质

Country Status (1)

Country Link
CN (1) CN114998429A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116576850A (zh) * 2023-07-12 2023-08-11 北京集度科技有限公司 一种位姿确定方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116576850A (zh) * 2023-07-12 2023-08-11 北京集度科技有限公司 一种位姿确定方法、装置、计算机设备及存储介质
CN116576850B (zh) * 2023-07-12 2023-10-20 北京集度科技有限公司 一种位姿确定方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US10755428B2 (en) Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
US11830216B2 (en) Information processing apparatus, information processing method, and storage medium
US10176554B2 (en) Camera calibration using synthetic images
ES2626174T3 (es) Procedimiento y aparato de desenfoque de imágenes
CN110717942A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110493488B (zh) 视频稳像方法、视频稳像装置和计算机可读存储介质
US10366501B2 (en) Method and apparatus for performing background image registration
CN110660090B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN113689578B (zh) 一种人体数据集生成方法及装置
US20190182433A1 (en) Method of estimating the speed of displacement of a camera
EP4066162A1 (en) System and method for correspondence map determination
CN110490196A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN109887002A (zh) 图像特征点的匹配方法、装置、计算机设备和存储介质
CN109389645B (zh) 相机自校准方法、系统、相机、机器人及云端服务器
US20110026910A1 (en) Photometric calibration method and device
Kurmi et al. Pose error reduction for focus enhancement in thermal synthetic aperture visualization
KR101766823B1 (ko) 불규칙한 조도 변화에 강건한 영상 기반 주행거리 측정 시스템 및 방법
CN114998429A (zh) 机器人定位系统、方法、设备和介质
Wang et al. Automated camera-exposure control for robust localization in varying illumination environments
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
CN113936036B (zh) 基于无人机视频的目标跟踪方法、装置及计算机设备
CN115690711A (zh) 一种目标检测方法、装置及智能车辆
CN113784026B (zh) 基于图像的计算位置信息的方法、装置、设备及存储介质
CN113724330B (zh) 单目摄像头物体位姿估计方法、系统、设备及存储介质
CN111462321B (zh) 点云地图处理方法、处理装置、电子装置和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination