CN107204015B - 基于色彩图像和红外图像融合的即时定位与建图系统 - Google Patents

Abstract

本发明公开了一种基于色彩图像和红外图像融合的即时定位与建图算法，该算法可以适用于在光照充足环境以及低光照环境下的即时定位与建图。在具体实现过程中该算法主要通过提取色彩图像和红外图像中的特征点来创建同时包含色彩图像地图点和红外图像地图点的地图，并且在达到新的位置时通过获取到的新的信息来不断地更新已经创建好的地图，同时利用现有的地图定位出当前的位置。该算法由于同时使用了色彩图像和红外图像，因此综合考虑了周围环境的色彩信息和红外信息，从而使得该算法与传统的基于色彩图像的算法相比具有更高的光照鲁棒性、更好的适用范围，能够适用于使用色彩图像定位失败的低光照环境。

Description

基于色彩图像和红外图像融合的即时定位与建图系统

技术领域

本发明涉及图像的技术领域，更具体地，涉及基于色彩图像和红外图像融合的即时定位与建图系统。

背景技术

实时（即时）的定位与建图（SLAM）在机器人、无人车、无人机和增强现实（AR）应用中发挥着重要的作用。对于机器人和无人车，SLAM不可或缺，因为需要SLAM 模块在制定控制策略之前感知周围环境。对于近年来很热门话题——虚拟现实和增强现实，SLAM提供了他们所需的前提条件——重建环境3D地图。

然而当前基于色彩图像的SLAM系统都有一个共同的缺点，即它们只能在光照充足的环境中工作。当面对低光照环境时，现有技术的视觉方法将失去它们的功能，因为它们不能获得足够的色彩信息的特征或纹理来支撑系统的正常运行。红外相机可以通过接受周围场景的红外热辐射信息来获取物体的温度并进一步得到对应的红外热图像，该红外信息不直接依赖于光照强度，因此近年来红外相机开始被用在物体表面3D温度图像的建立以及定位与建图中。

虽然对于不能获得足够的色彩信息的低光照环境来说，红外传感器可以是很好的信息源，但是单独使用红外传感器进行定位会存在一个比较明显的问题，即基于红外传感器的定位系统需要周围环境的场景中存在一定的温度差异，对温度差异较小的环境定位系统会由于信息不足而失效。因此使用单独的红外传感器进行定位和建图会具有比较小适用范围，一般用于特定的场景，如变电站、机房控制室等特殊环境。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供基于色彩图像和红外图像融合的即时定位与建图系统，通过将环境的色彩信息和红外信息融合在一起实现即时的定位与建图。

本发明的技术方案是：基于色彩图像和红外图像融合的即时定位与建图系统，其中，包括定位模块、建图模块、优化模块三大部分，

定位模块基于已经被创建出来的包含红外特征地图点和色彩特征地图点的地图来进行，并且通过获取的色彩图像和红外图像来不断更新已经被创建的地图用于后续定位；

建图模块创建同时包含色彩图像特征和红外图像特征的地图点，并在定位完成时根据新的数据源不断的更新现有地图，以及对地图点中错误的坏点进行剔除；

回环优化模块通过回环探测的方式对创建好的全局地图进行优化，在进行回环探测时同时使用色彩图像和红外图像进行回环探测。

本发明与仅能提供色彩图像的光学相机不同，通过使用一些当前的双模式相机可以为同一场景提供色彩图像和热图像。色彩和热图像中的像素具有直接对应性，并且由相机的硬件来直接实现对应性的校正，因此基于这种图像像素之间的对应关系，我们可以通过将环境的色彩信息和红外信息融合在一起实现即时的定位与建图。

提出了一个新的单目即时定位与建图（SLAM）框架，与大多数现有的视觉SLAM方法（严重依赖于照明条件）不同，我们提出的框架通过融合色彩信息与红外信息来实现，因此有着更强的光照鲁棒性，可以适用于更具有挑战意义的场景，如室内或室外的低光照、低纹理环境。

具体的，色彩信息和红外信息的融合被放在图像的前端进行，即在色彩图像和红外图像之间寻找图像像素之间的相关性，并且通过图像像素之间的相关性完成信息融合后再执行之后的定位、建图、优化。

所述的定位模块中，每次达到新的位置时，首先获取周围场景的红外图像和色彩图像，之后通过现有地图以及当前的红外图像和色彩图像定位出位置；定位成功后，新的地图点将通过新的红外图像和色彩图像来创建。

所述的建图模块中，每当新的图像传入时，在定位完成后，通过新的色彩图像和红外图像信息来创建新的地图点对现有地图进行更新，同时不断检查现有地图中是否存在坏点并且及时将坏点剔除。

所述的回环优化模块中，对现有地图进行优化，从而减低系统整体误差；回环优化时首先使用色彩图像和红外图像进行回环探测，探测到回环后再基于找到的回环来计算系统存在的误差，最后将误差分散到回环上。

还包括初始化模块，用于实现对系统的初始化，即构建已知的初始化地图；初始化通过基于图像序列的缓存来实现，当新的图像帧传入时通过在缓存中查找参考帧来尝试进行成功的初始化或者更新现有缓存。

所述的初始化模块中，基于缓冲区的初始化方法，该方法不是仅使用一个先前帧作为参考帧，而是在现有图像的缓存队列中查找并尝试初始化或更新缓存，直到初始化成功。

与现有技术相比，有益效果是：本发明提出了一种基于缓冲区的初始化方法。该方法不是仅使用一个先前帧作为参考帧，而是在现有图像的缓存队列中查找并尝试初始化或更新缓存，直到初始化成功。我们提出的初始化算法与当前其他的即时定位与建图系统初始化算法，相比具有速度和效率上的双重优势。在特征匹配时，与基于色彩图像的特征匹配算法相比，我们在特征匹配中将环境的色彩信息和红外信息结合在一起考虑，通过信息的相互精炼从而剔除错误的匹配，提高特征匹配的准确度。

附图说明

图1 表示整套算法的结构图。

图2 信息融合示意图。

图3 初始化示意图。

图4 初始化图。

图5 系统运行结果。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

光学相机可以获取周围环境的RGB图像，这些RGB图像包含了周围环境的色彩信息，同时对于同一个场景红外相机获取不直接依赖于光照强度的红外图像。因此，将两部分的信息结合起来将可以提供更加丰富的信息来源，使得实现的定位系统具有更强的适应能力和鲁棒性。然而两种图像分别来源于不同的传感器，并且具有不同的成像原理，如何使用两种来源于不同传感器并且具有不同成像原理的图像来实现融合来实现定位是一个极大的问题。

在实现过程过我们将信息的融合放在了图像的前端，即针对于在同一个场景中同时获取RGB和红外图像，这两张图像经过相机底层硬件的矫正校正，可使得像素之间存在直接的对应关系。这种设计大大的简化了系统的复杂性，同时由于信息融合在前端已经完成，因此对于后端的定位和优化算法可以使用统一的算法框架来实现，因此不仅降低的系统的复杂程度，同时也具备了很高的实时性和可靠性。

在融合前过程中，首先在RGB图像和红外图像中进行特征探测，之后对于探测得到的特征点，我们计算其描述子。最后通过比较特征之间的描述子之间距离来分别得到RGB图像和红外图像的最终匹配结果。

由于红外图像和RGB图像之间的像素经过相机的校正已经存在了直接的对应关系，因此可在匹配完成后，将红外图像中的特征探测和匹配结果直接包含到RGB图像的探测和匹配结果中。RGB和红外图像特征匹配及融合说明参见图2。

在融合过程中，由于结合了RGB与红外信息，在弱光照条件下，RGB图像黑暗部分中无法匹配和探测到的特征点在红外图像中可以被探测和匹配到；而在温度差异小的情况下，特征的探测和匹配主要在RGB图像中完成。以此可实现优于单纯RGB或红外图像的特征探测及匹配算法效果的融合定位。包含红外地图点、色彩图像地图点以及系统运行估计的结果如图5。

为了保证整个定位与重建工作的实时性和稳定性，将计算过程分为定位、重建、优化三大模块，分别用于实现当前位置定位、稀疏点云重建、累计误差优化三个重要功能，在具体实现过程中，分别对应三个线程，并行执行，提高系统的实时性。系统结构如图1所示。

其中，定位模块主要使用获取到的RGB图像和红外图像对当前位置进行定位。在定位开始前通过执行严格的初始化操作，初始化通过使用当前图像帧在之前存在的图像序列缓存中寻找引用帧来尝试创建基于RGB特征和红外特征的初始化全局地图，初始化流程如图4。初始化完成后，每次捕获新的RGB与红外图像后，完成如下步骤获得当前时刻的坐标位置：1）通过预估上一次的运动，提供一个初始状态的位姿估计；2）通过初始位姿与全局地图之间的关系，从全局地图中提取出一个用于优化初始位姿的本地地图；3）通过当前图像的像平面特征点(2D)和本地地图中地图点(3D)之间的3D-2D匹配关系，结合BundleAdjustment来优化位姿。位姿估计如图3。

建图模块主要用于实现对周围环境的稀疏点云重建，并通过新定位到的地图点更新全局地图。该模块主要包含新点创建和坏点删除两部分功能。在定位模块定位出当前的位姿后新点创建时，我们对当前帧进行检查，如果当前帧和之前帧之间满足距离和视差的条件，当前帧将会被创建为关键帧，并且其中的特征点需要对匹配到的特征点会被创建为新的地图点进行检查，判断是否应该被创建为地图点。新创建的关键帧和地图点将被包含到全局地图中，用以更新地图。

同时如果特征点被新建为地图点，将用于更新当前已经存在的地图，并用于之后的定位操作。为了保持地图的准确性和有效性，对每一个新建的地图点，会实时的检测其有效性来判断其是否为坏点。如果一个新建的地图点在后续帧中无法被连续的多次观测到，那么它将被判断为坏点，并且从地图中剔除。

优化模块主要实现对回环的探测，以及累计误差在回环上的分散。累计误差是影响实时定位与重建精度的一个很重要的原因。随着里程数目的增加，定位过程中的误差会不断的累计和放大。当获得新的图像帧时，通过图像特征词典来计算当前帧与之前帧之间的相似度，并通过相似度来判断当前帧与之前帧之间是否存在回环。如果找到回环，即执行基于回环的优化过程。在优化的过程中，当前帧和回环帧之间首先会计算相似转换，根据转换关系，求得累计误差，并将此误差分散到整个回环上。由于优化会动态调整之前定位的位姿，因此之前地图中创建的地图点和关键帧信息都需要做重新的调整，因此整个优化信息都将用于更新地图，同时对整个地图的信息进行更新同步。

如图5中，A表示红外地图点，B表示色彩图像地图点，C表示运动轨迹。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.基于色彩图像和红外图像融合的即时定位与建图系统，其特征在于，包括定位模块、建图模块、优化模块三大部分，

定位模块基于已经被创建出来的包含红外特征地图点和色彩特征地图点的地图来进行，并且通过获取的色彩图像和红外图像来不断更新已经被创建的地图用于后续定位；

建图模块创建同时包含色彩图像特征和红外图像特征的地图点，并在定位完成时根据新的数据源不断的更新现有地图，以及对地图点中错误的坏点进行剔除；

回环优化模块通过回环探测的方式对创建好的全局地图进行优化，在进行回环探测时同时使用色彩图像和红外图像进行回环探测；

色彩信息和红外信息的融合被放在图像的前端进行，即在色彩图像和红外图像之间寻找图像像素之间的相关性，并且通过图像像素之间的相关性完成信息融合后再执行之后的定位、建图、优化；

初始化模块，用于实现对系统的初始化，即构建已知的初始化地图，所述的初始化模块中，基于缓冲区的初始化方法，该方法不是仅使用一个先前帧作为参考帧，而是在现有图像的缓存队列中查找并尝试初始化或更新缓存，直到初始化成功。

2.根据权利要求1所述的基于色彩图像和红外图像融合的即时定位与建图系统，其特征在于：所述的定位模块中，每次达到新的位置时，首先获取周围场景的红外图像和色彩图像，之后通过现有地图以及当前的红外图像和色彩图像定位出位置；定位成功后，新的地图点将通过新的红外图像和色彩图像来创建。

3.根据权利要求1所述的基于色彩图像和红外图像融合的即时定位与建图系统，其特征在于：所述的建图模块中，每当新的图像传入时，在定位完成后，通过新的色彩图像和红外图像信息来创建新的地图点对现有地图进行更新，同时不断检查现有地图中是否存在坏点并且及时将坏点剔除。

4.根据权利要求1所述的基于色彩图像和红外图像融合的即时定位与建图系统，其特征在于：所述的回环优化模块中，对现有地图进行优化，从而减低系统整体误差；回环优化时首先使用色彩图像和红外图像进行回环探测，探测到回环后再基于找到的回环来计算系统存在的误差，最后将误差分散到回环上。

5.根据权利要求1所述的基于色彩图像和红外图像融合的即时定位与建图系统，其特征在于：初始化通过基于图像序列的缓存来实现，当新的图像帧传入时通过在缓存中查找参考帧来尝试进行成功的初始化或者更新现有缓存。

Images