CN110969592A - 图像融合方法、自动驾驶控制方法、装置和设备 - Google Patents

Abstract

本申请提供了一种图像融合方法、自动驾驶控制方法、装置和设备；其中，该方法包括：从目标环境的2D图像中获取指定标志物对应的图标和图标的第一位置；在目标环境的3D点云图像中，根据第一位置确定指定标志物的第二位置；根据第二位置，从3D点云图像中提取指定标志物对应的平面区域；将指定标志物对应的图标融合至3D点云图像的平面区域。本申请通过将2D图像中的标志物图标融合至3D点云图像中，丰富了3D点云图像的信息量，扩展了标志物的使用场景。

Description

图像融合方法、自动驾驶控制方法、装置和设备

技术领域

本申请涉及互联网技术领域，尤其涉及一种图像融合方法、自动驾驶 控制方法、装置和设备。

背景技术

在地图重建、自动驾驶等领域中，常常需要检测并识别环境中的标志 物，如路牌、路标、地面指示标等交通标志，以及广告牌、商铺牌或其他 标志物；现有的标志物检测识别方式，大多通过图像处理或机器学习等技 术实现，但这些方式通常是二维平面上的内容识别，信息比较单一，难以 满足用户多样化的需求。

发明内容

有鉴于此，本申请实施例提供一种图像融合方法、自动驾驶控制方法、 装置和设备，以丰富标志物检测的信息量，扩展标志物的使用场景，从而 满足用户多样化的需求。

主要包括以下几个方面：

第一方面，本申请实施例提供了一种图像融合方法，该方法包括：从 目标环境的2D图像中获取指定标志物对应的图标和图标的第一位置；在 目标环境的3D点云图像中，根据第一位置确定指定标志物的第二位置； 根据第二位置，从3D点云图像中提取指定标志物对应的平面区域；将指 定标志物对应的图标融合至3D点云图像的平面区域。

在本发明较佳的实施例中，上述从目标环境的2D图像中获取指定标 志物对应的图标和图标的第一位置的步骤之前，方法还包括：通过摄像装 置获取目标环境的2D图像；通过激光雷达获取目标环境的3D点云图像。

在本发明较佳的实施例中，上述从目标环境的2D图像中获取指定标 志物对应的图标的步骤，包括：从目标环境的2D图像中检测指定标志物 对应的初始区域；从初始区域中提取指定标志物的边缘线条，将边缘线条 所包围的图像确定为指定标志物对应的图标。

在本发明较佳的实施例中，上述从目标环境的2D图像中检测指定标 志物对应的初始区域的步骤，包括：采用深度学习的方式，从目标环境的 2D图像中检测指定标志物对应的初始区域；或者，采用深度学习和跟踪 结合的方式，从目标环境的2D图像中检测指定标志物对应的初始区域。

在本发明较佳的实施例中，上述从初始区域中提取指定标志物的边缘 线条的步骤，包括：如果指定标志物为三角形或矩形，对初始区域进行线 段分割检测LSD，得到指定标志物的多个线段；根据线段间的顶点位置和 连接关系，得到指定标志物的边缘线条；如果指定标志物为圆形，在初始 区域中进行椭圆拟合，得到指定标志物的边缘线条。

在本发明较佳的实施例中，上述指定标志物对应的图标的第一位置的 获取过程包括：确定初始区域在目标环境的2D图像中的坐标；根据2D 图像的拍摄位置和初始区域的坐标，确定初始区域的地理位置；将图像初 始区域的地理位置作为指定标志物对应的图标的第一位置。

在本发明较佳的实施例中，上述从初始区域中提取指定标志物的边缘 线条，将边缘线条所包围的图像确定为指定标志物对应的图标包括：从初 始区域中提取指定标志物的边缘线条；判断边缘线条组成的当前形状是否 发生透视形变；如果是，根据当前形状所属的图形类别调整边缘线条和边 缘线条包围的图像；将调整后边缘线条所包围的图像确定为指定标志物对 应的图标。

在本发明较佳的实施例中，上述判断边缘线条组成的当前形状是否发 生透视形变的步骤，包括：识别指定标志物的边缘线条组成的当前形状所 属的图形类别；判断当前形状是否属于图形类别对应的标准形状；如果否， 确定当前形状发生透视形变。

在本发明较佳的实施例中，上述根据当前形状所属的图形类别调整边 缘线条和边缘线条包围的图像的步骤，包括：按照当前形状所属的图形类 别，获取当前形状的变换基准数据；根据预设的图形类别对应的变换方程 以及变换基准数据，调整边缘线条和边缘线条包围的图像。

在本发明较佳的实施例中，上述按照当前形状所属的图形类别，获取 当前形状的变换基准数据的步骤，包括：如果当前形状所属的图形类别为 梯形，将当前形状的角点位置作为变换基准数据；如果当前形状所属的图 形类别为三角形，将当前形状的角点位置和中心点位置作为变换基准数 据；如果当前形状所属的图形类别为椭圆形，将当前形状的圆心位置和半 径作为变换基准数据。

在本发明较佳的实施例中，上述在目标环境的3D点云图像中，根据 第一位置确定指定标志物的第二位置的步骤，包括：从3D点云图像的位 置坐标系中，查找第一位置对应的坐标；将第一位置对应的坐标确定为指 定标志物在3D点云图像中的第二位置。

在本发明较佳的实施例中，上述根据第二位置，从3D点云图像中提 取指定标志物对应的平面区域的步骤，包括：从3D点云图像中获取距离 第二位置预设范围内的局部点云图像；根据预设的平面方程，从局部点云 图像中提取指定标志物对应的平面区域。

在本发明较佳的实施例中，上述根据预设的平面方程，从局部点云图 像中提取指定标志物对应的平面区域的步骤，包括：从3D点云图像的位 置坐标系中，获取局部点云图像中，各像素点的位置坐标(x，y，z)；通 过多个相邻的像素点的位置坐标，计算得到预设的平面方程ax+by+cz＝1 中，参数a、参数b和参数c的参数值；将参数值的差值在预设范围内的 对应的像素点确定为同一平面区域；从预设的指定标志物数据库中查找标 准形状对应的指定标志物的真实尺寸和比例；从确定出的平面区域中查找 得到与指定标志物的真实尺寸和比例相匹配的平面区域。

在本发明较佳的实施例中，上述指定标志物为交通标志物。

在本发明较佳的实施例中，上述方法还包括：对融合有指定标志物对 应的图标的3D点云图像进行地图构建，得到带有指定标志物对应的图标 的3D点云地图。

第二方面，本发明实施例还提供一种自动驾驶控制方法，该方法包括： 获取车辆所处环境的3D点云图像，其中，3D点云图像为融合有交通标 志物对应的图标，图标的融合过程采用权利要求1-13任一项的方法；基 于3D点云图像识别车辆距离交通标志物的距离和交通标志物对应的指示 信息；根据距离和指示信息生成行驶控制指令，以控制车辆按照指示信息 行驶。

第三方面，本发明实施例还提供一种图像融合装置，该装置包括：图 标和第一位置获取模块，用于从目标环境的2D图像中获取指定标志物对 应的图标和图标的第一位置；第二位置确定模块，用于在目标环境的3D 点云图像中，根据第一位置确定指定标志物的第二位置；平面区域提取模 块，用于根据第二位置，从3D点云图像中提取指定标志物对应的平面区 域；图标融合模块，用于将指定标志物对应的图标融合至3D点云图像的 平面区域。

在本发明较佳的实施例中，上述装置还包括：2D图像获取模块，用 于通过摄像装置获取目标环境的2D图像；第一3D点云图像获取模块， 用于通过激光雷达获取目标环境的3D点云图像。

在本发明较佳的实施例中，上述图标和第一位置获取模块，还用于： 从目标环境的2D图像中检测指定标志物对应的初始区域；从初始区域中 提取指定标志物的边缘线条，将边缘线条所包围的图像确定为指定标志物 对应的图标。

在本发明较佳的实施例中，上述图标和第一位置获取模块，还用于： 采用深度学习的方式，从目标环境的2D图像中检测指定标志物对应的初 始区域；或者，采用深度学习和跟踪结合的方式，从目标环境的2D图像 中检测指定标志物对应的初始区域。

在本发明较佳的实施例中，上述图标和第一位置获取模块，还用于： 如果指定标志物为三角形或矩形，对初始区域进行线段分割检测LSD，得 到指定标志物的多个线段；根据线段间的顶点位置和连接关系，得到指定 标志物的边缘线条；如果指定标志物为圆形，在初始区域中进行椭圆拟合， 得到指定标志物的边缘线条。

在本发明较佳的实施例中，上述图标和第一位置获取模块，还用于： 确定初始区域在目标环境的2D图像中的坐标；根据2D图像的拍摄位置 和初始区域的坐标，确定初始区域的地理位置；将图像初始区域的地理位 置作为指定标志物对应的图标的第一位置。

在本发明较佳的实施例中，上述图标和第一位置获取模块，还用于： 从初始区域中提取指定标志物的边缘线条；判断边缘线条组成的当前形状 是否发生透视形变；如果是，根据当前形状所属的图形类别调整边缘线条 和边缘线条包围的图像；将调整后边缘线条所包围的图像确定为指定标志 物对应的图标。

在本发明较佳的实施例中，上述图标和第一位置获取模块，还用于： 识别指定标志物的边缘线条组成的当前形状所属的图形类别；判断当前形 状是否属于图形类别对应的标准形状；如果否，确定当前形状发生透视形 变。

在本发明较佳的实施例中，上述图标和第一位置获取模块，还用于： 按照当前形状所属的图形类别，获取当前形状的变换基准数据；根据预设 的图形类别对应的变换方程以及变换基准数据，调整边缘线条和边缘线条 包围的图像。

在本发明较佳的实施例中，上述图标和第一位置获取模块，还用于： 如果当前形状所属的图形类别为梯形，将当前形状的角点位置作为变换基 准数据；如果当前形状所属的图形类别为三角形，将当前形状的角点位置 和中心点位置作为变换基准数据；如果当前形状所属的图形类别为椭圆 形，将当前形状的圆心位置和半径作为变换基准数据。

在本发明较佳的实施例中，上述第二位置确定模块，还用于：从3D 点云图像的位置坐标系中，查找第一位置对应的坐标；将第一位置对应的 坐标确定为指定标志物在3D点云图像中的第二位置。

在本发明较佳的实施例中，上述平面区域提取模块，还用于：从3D 点云图像中获取距离第二位置预设范围内的局部点云图像；根据预设的平 面方程，从局部点云图像中提取指定标志物对应的平面区域。

在本发明较佳的实施例中，上述平面区域提取模块，还用于：从3D 点云图像的位置坐标系中，获取局部点云图像中，各像素点的位置坐标(x， y，z)；通过多个相邻的像素点的位置坐标，计算得到预设的平面方程 ax+by+cz＝1中，参数a、参数b和参数c的参数值；将参数值的差值在预 设范围内的对应的像素点确定为同一平面区域；从预设的指定标志物数据 库中查找标准形状对应的指定标志物的真实尺寸和比例；从确定出的平面 区域中查找得到与指定标志物的真实尺寸和比例相匹配的平面区域。

在本发明较佳的实施例中，上述指定标志物为交通标志物。

在本发明较佳的实施例中，上述装置还包括：地图构建模块，用于对 融合有指定标志物对应的图标的3D点云图像进行地图构建，得到带有指 定标志物对应的图标的3D点云地图。

第四方面，本发明实施例还提供一种自动驾驶控制装置，该装置包括： 第二3D点云图像获取模块，用于获取车辆所处环境的3D点云图像，其 中，3D点云图像为融合有交通标志物对应的图标，图标的融合过程通过 上述图像融合装置实现；信息识别模块，用于基于3D点云图像识别车辆 距离交通标志物的距离和交通标志物对应的指示信息；指令生成模块，用 于根据距离和指示信息生成行驶控制指令，以控制车辆按照指示信息行 驶。

第五方面，本发明实施例还提供一种图像融合设备，包括：处理器、 存储器和总线，存储器存储有处理器可执行的机器可读指令，当图像融合 设备运行时，处理器与存储器之间通过总线通信，机器可读指令被处理器 执行时执行如上述图像融合方法。

第五方面，本发明实施例还提供一种自动驾驶控制设备，包括：处理 器、存储器和总线，存储器存储有处理器可执行的机器可读指令，当图像 融合设备运行时，处理器与存储器之间通过总线通信，机器可读指令被处 理器执行时执行如上述自动驾驶控制方法。

第六方面，本发明实施例还提供一种计算机存储介质，该计算机可读 存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述 图像融合方法或自动驾驶控制方法。

本发明实施例提供了一种图像融合方法、自动驾驶控制方法、装置、 设备和计算机存储介质，首先从目标环境的2D图像中获取指定标志物对 应的图标和图标的第一位置；再根据该第一位置，在该目标环境的3D点 云图像中确定指定标志物的第二位置；进而根据该第二位置，从3D点云 图像中提取指定标志物对应的平面区域；最后将指定标志物对应的图标融 合至3D点云图像的平面区域；该方式通过将2D图像中的标志物图标融 合至3D点云图像中，丰富了3D点云图像的信息量，扩展了标志物的使 用场景。

为使本申请实施例的上述目的、特征和优点能更明显易懂，下面将结 合实施例，并配合所附附图，作详细说明。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需 要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些 实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种图像融合方法的应用场景示意 图；

图2示出了本申请实施例所提供的一种图像融合方法的流程图；

图3示出了本申请实施例所提供的另一种图像融合方法的流程图；

图4示出了本申请实施例所提供的另一种图像融合方法中，初始区域 的示意图；

图5示出了本申请实施例所提供的另一种图像融合方法中，边缘线条 的示意图；

图6示出了本申请实施例所提供的另一种图像融合方法的流程图；

图7示出了本申请实施例所提供的另一种图像融合方法中，指定标志 物发生透视形变的示意图；

图8示出了本申请实施例所提供的另一种图像融合方法中，指定标志 物恢复成标准形状的示意图；

图9示出了本申请实施例所提供的另一种图像融合方法的流程图；

图10示出了本申请实施例所提供的一种自动驾驶控制方法的流程图；

图11示出了本申请实施例所提供的另一种图像融合方法中，数据流向 示意图；

图12示出了本申请实施例所提供的一种图像融合装置的结构示意图；

图13示出了本申请实施例所提供的一种自动驾驶控制装置的结构示意 图；

图14示出了本申请实施例所提供的一种图像融合设备或自动驾驶控制 设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本 申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实 施例。以下对本申请的实施例的详细描述并非旨在限制要求保护的本申请 的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领 域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都 属于本申请保护的范围。

标志物通常包含一定的信息，标志物的检测、识别对构建地图、自动 驾驶等多种业务类型均具有重要意义；例如，路牌、路标、地面指示标等 交通标志的识别对于自动驾驶的安全性具有重要作用。传统的标志物检测 方式中，不论是图像处理或机器学习的方式，仅能获取到标志物内容，即 标志物所表达的含义，例如，地面指示标中，直线箭头代表“直行”、向右折 线的箭头代表“右转”等；上述图像处理或机器学习的方式还可以获得标志物的二维平面位置，如经纬度坐标等；这种二维平面上的内容识别，信息比 较单一，难以获得标志物的三维空间内的位置和形态，例如，标志物的高 度、标志物摆放的角度、姿态等；导致标志物的使用场景受限，影响后续 实际业务的正常开展和运行，难以满足用户多样化的需求。

基于上述问题，本申请实施例提供了一种图像融合方法、自动驾驶控 制方法、装置、设备和计算机存储介质；该技术可以应用于任何需要检测、 识别各类标志物，或对标志物进行图像融合的场景，比如，可以应用于高 精度数据采集系统、构建地图、自动驾驶等。本申请实施例并不对具体的 应用场景作限制，任何使用本申请实施例提供的方法对标志物进行检测、 识别、图像融合的方案均在本申请保护范围内。

为了便于理解，本申请实施例首先提供一种图像融合方法的具体应用 场景；如图1所示，该应用场景中示出服务器(具体可以为图像融合设备、 自动驾驶控制设备、电脑或云端服务器等)，以及与该服务器通信连接的 摄像装置和激光雷达；其中，摄像装置具体可以为照相机、摄像机、摄像 头等图像采集设备；该摄像装置主要用于采集目标环境下的2D(2-DIMENSIONAL，二维)图像，该2D图像中通常包含标志物的颜色 信息、灰度信息等；上述激光雷达具体可以为LiDAR(Light Detection And Ranging，激光探测与测量)；该激光雷达主要用于获取目标环境下的空间 三维信息和激光强度信息，从而得到目标环境的3D(3-DIMENSIONAL， 三维)点云图像，该3D点云图像中包含目标环境中的物体在世界坐标系 (具体可以为经纬度坐标系)下的位置、形状、形态等信息。上述3D点 云图像也可以称为3D点云数据。

在摄像装置采集目标环境的2D图像的同时，激光雷达采集该目标环 境的3D点云图像；通过服务器实现2D图像与3D点云图像之间的融合， 尤其是2D图像与3D点云图像中，标志物的图像融合；当然，在采集2D 图像或3D点云图像的时候，通常会同时采集当前2D图像或3D点云图 像的拍摄位置，该拍摄位置具体可以为经纬度坐标；因此，2D图像与3D 点云图像也可以先后采集，例如，预先采集上述3D点云图像，当采集到 2D图像后，再根据拍摄位置调取对应目标环境的3D点云图像，进而再 进行图像融合；再如，预先采集上述2D图像，当采集到3D点云图像后， 再根据拍摄位置调取对应目标环境的2D图像，进而再进行图像融合。

下面通过具体实施例对本申请实施例提供的图像融合方法、自动驾驶 控制方法、装置、设备和计算机存储介质作详细说明。

实施例一

图2所示为一种图像融合方法的流程图；该方法可以应用于服务器 中，该服务器具体可以为图像融合设备、自动驾驶控制设备、电脑或云端 服务器等；该方法包括如下步骤：

步骤S202，从目标环境的2D图像中获取指定标志物对应的图标和图 标的第一位置；

其中，目标环境通常为自然环境或人为环境，大多数情况下，该目标 环境为室外环境，例如，街道、广场、公园、游乐场等；当然，目标环境 也可以为室内环境，如购物场所、大型建筑的室内等。上述2D图像可以 为分立的图像，可以为连续的视频帧图像，或者从连续的视频帧图像中按 照预设的间隔采样得到的图像。上述指定标志物通常用于向人或设备传递 一定的信息，具体可以为路牌、路标、地面指示标等交通标志，也可以为 广告牌、商铺牌等；指定标志物对应的图标通常为2D图像中包含有指定 标志物的图像区域，该图像区域的形状可以为预设形状，如矩形、圆形等， 也可以与指定标志物本身的形状相同。当图像区域的形状与指定标志物本 身的形状相同时，图像区域的边缘所围成的面积可以略大于指定标志物本 身的面积，也可以等于指定标志物本身的面积；如果图像区域的边缘所围成的面积与指定标志物本身的面积相同，图像区域的边缘即为指定标志物 本身的边缘，图像区域中仅包含指定标志物，不包含除指定标志物以外的 其他物品或背景像素，该情况下，获取到的指定标志物对应的图标更为精 确，更有利于后续的标志物识别和图像融合。

上述指定标志物对应的图标可以通过多种图像处理方式获得，例如， 基于颜色或灰度信息对图像进行分割、通过机器学习或深度学习的方式 (例如，语义分割技术、神经网络等)从图像中检测标志物等。

上述图标的第一位置通常为指定标志物在目标环境下的地理位置；具 体而言，在采集目标环境的2D图像时，通常可以通过GPS(Global Positioning System，全球定位系统)得到当前2D图像的拍摄位置，该拍 摄位置具体可以为图像采集设备(如摄像机)的经纬度坐标；通常，上述2D图像的拍摄位置与2D图像中指定标志物的地理位置之间存在一段相对距离；此时，可以根据指定标志物在2D图像中位置变换得到该相对距 离，继而根据该相对距离和2D图像的拍摄位置，计算得到指定标志物的 地理位置。

步骤S204，在目标环境的3D点云图像中，根据第一位置确定指定标 志物的第二位置；

该3D点云图像由同一空间坐标系下，表达目标环境内各物体空间分 布和表面特性的大量数据点组成，因此3D点云图像中包含有指定标志物 的空间位置信息，但通常不包含指定标志物的图像信息；具体地，如果目 标环境中的指定标志物的表面是具有特定形状的平面，在3D点云图像中， 该指定标志物的表现即为处于同一平面的、形成上述特定形状的数据点集 合。3D点云图像在获取过程中，同样可以通过GPS得到当前3D点云图 像的拍摄位置，即3D点云图像采集设备(如激光雷达)的经纬度坐标； 由上述可知，通过2D图像可以计算得到指定标志物的地理位置，再根据 3D点云图像采集设备的经纬度坐标，即可计算得到该指定标志物在3D 点云图像所处的相对位置，即上述指定标志物的第二位置。

另外，上述2D图像的拍摄位置和上述3D点云图像的拍摄位置，可 以通过上述GPS采集，通过经纬度坐标表示，也可以采用其他相对统一 的坐标系表示。

步骤S206，根据第二位置，从3D点云图像中提取指定标志物对应的 平面区域；

由于通过2D图像计算得到的指定标志物的地理位置为二维坐标，一 般不包含高度信息，上述第二位置通常也为二维坐标；大多情况下，指定 标志物为设定形状的平面，因此，由上述可知，指定标志物对应的平面区 域即为处于同一平面的、形成上述设定形状的数据点集合；在3D点云图 像中，满足上述二维坐标的数据点都有可能为指定标志物对应的数据点； 为了准确识别3D点云图像中的指定标志物，后续可以在位于二维坐标或 者该二维坐标设定范围内的数据点中，查找与指定标志物的形状相匹配的 数据点集合，该数据点集合即代表指定标志物；此时，查找到的数据点集 合组成的平面区域即为上述指定标志物对应的平面区域。

步骤S208，将指定标志物对应的图标融合至3D点云图像的平面区 域。

具体而言，图标可以通过图像拟合、3D贴图或像素级融合等多种方 式融合至3D点云图像的平面区域。由上述可知，指定标志物对应的图标 通常为2D图像中包含有指定标志物的图像区域，因此，该图标包含有指 定标志物的图像信息；上述平面区域为指定标志物在3D点云图像中对应 的数据点所处的区域；基于此，同一指定标志物的图标和平面区域的位置、 形状、大小均相互匹配；将指定标志物对应的图标融合至3D点云图像中 指定标志物的平面区域后，融合的图像中不仅包含指定标志物的图像信 息，还包括三维空间位置信息。

本申请实施例提供的上述图像融合方法，首先从目标环境的2D图像 中获取指定标志物对应的图标和图标的第一位置；再根据该第一位置，在 该目标环境的3D点云图像中确定指定标志物的第二位置；进而根据该第 二位置，从3D点云图像中提取指定标志物对应的平面区域；最后将指定 标志物对应的图标融合至3D点云图像的平面区域；该方式通过将2D图 像中的标志物图标融合至3D点云图像中，丰富了3D点云图像的信息量， 扩展了标志物的使用场景。

实施例二

在传统的标志物检测方式中，大多基于颜色或灰度信息对图像进行分 割，提取到标志物的边缘后，得到检测结果，进而对检测区域内部的图像 进行识别；但这种方式受到边缘检测算法的限制，难以精确地找到标志物 的边缘线条和角点，检测结果粗糙，精确度较低。另外一种检测方式中， 通过机器学习或深度学习的方式(例如，语义分割技术)从图像中检测标 志物，该方法需要通过含有标注信息的样本数据训练检测模型，通过该检 测模型检测图像中的标志物；这种检测方式可以实现像素级别的检测精度， 但在标志物的边缘部分很难达到亚像素级别的检测精度，这会对后续的定 位、地图重建的精确度产生不利的影响；另外，通过检测模型检测标志物 的方式，计算量较大，计算速度慢，难以适用于在线处理或实时处理的场 景。

基于上述问题，本申请实施例提供了另一种图像融合方法，该方法在 精确、全面检测标志物的基础上，进一步提高标志物检测的精确性和实时 性。为了实现该目的，该方法重点描述了从目标环境的2D图像中获取指 定标志物对应的图标和该图标的第一位置的具体过程；其中，为了从目标 环境的2D图像中获取指定标志物对应的图标，可以先从目标环境的2D 图像中检测指定标志物对应的初始区域；再从该初始区域中提取指定标志 物的边缘线条，将边缘线条所包围的图像确定为指定标志物对应的图标。

在实际实现时，可以预先获取指定标志物的图形轮廓特征、颜色特征 等易于识别的显著特征，再从2D图像中检测具有这些特征的图像区域， 该图像区域即可以认为指定标志物对应的初始区域，也可以称为ROI (Region Of Interest，感兴趣区域)；该初始区域可以通过矩形检测框或其 他形式的检测框标识；该初始区域中通常包含标志物，还包括标志物周围 的物品和背景，因此初始区域的检测仅可以实现指定标志物的初步定位； 为了进一步精确检测指定标志物，得到初始区域后，可以基于标志物的图 形特征，从初始区域中拟合出标志物的边缘线条，该边缘线条所包围的图 像可以确定为指定标志物对应的图标。

通常，初始区域的检测运算量较小，但检测精度较低，而边缘线条的 提取精度高，但运算量较大；先检测初始区域，再从该初始区域中提取边 缘线条，相较于直接从2D图像中大范围提取边缘线条的方式，可以明显 降低运算量，保证标志物检测精确度的同时，进一步提高检测实时性。

如图3所示，本实施例中的图像融合方法还可以通过如下方式实现：

步骤S302，通过摄像装置获取目标环境的2D图像；通过激光雷达获 取目标环境的3D点云图像。

步骤S304，采用深度学习的方式，从目标环境的2D图像中检测指定 标志物对应的初始区域；或者，采用深度学习和跟踪结合的方式，从目标 环境的2D图像中检测指定标志物对应的初始区域。

由上述步骤S304可知，可以通过两种方式检测指定标志物对应的初 始区域；其中一种方式为深度学习的方式；该深度学习方式具体可以为神 经网络算法、目标检测算法(如yolo3)等；具体通过标志物的样本训练 检测模型(该检测模型可以为神经网络模型、目标检测模型等)，再将2D 图像输入至训练好的检测模型中，从而得到指定标志物对应的初始区域； 该方式适用于单张的2D图像或相对连续的视频帧形式的2D图像中。

另外一种方式为采用深度学习和跟踪结合的方式，该方法尤其适用于 相对连续的视频帧形式的2D图像中；可以按照时间顺序依次处理2D图 像中的每个视频帧，在初始状态下，可以先采用深度学习的方式检测视频 帧中指定标志物对应的初始区域；当检测到该初始区域后，再采用跟踪算 法从后续的视频帧中检测该初始区域。该跟踪算法具体可以为KCF (High-speed tracking with kernelized correlation filters，采用核相关滤波器的高速跟踪)算法，也可以为其他跟踪算法。

跟踪算法相对深度学习算法而言，运算效率较高，可以快速地从2D 图像中检测到标志物对应的初始区域，但跟踪算法具有一定的跟踪丢失或 跟踪错误的风险，尤其是标志物对应的初始区域逐步变大的过程中，很容 易造成跟踪错误；为了保证初始区域检测的精确性，在采用跟踪算法的过 程中，从每个视频帧中检测到初始区域后，可以根据当前跟踪算法的响应 参数计算并返回一个置信度；如果该置信度高于或等于设定阈值，说明从 当前视频帧中检测出的初始区域较为精确；而如果置信度低于设定阈值， 说明从当前视频帧中检测出的初始区域精确性较低，该初始区域中可能不 包含指定标志物或仅包含指定标志物的一部分区域，甚至该初始区域中包 含了其他指定标志物；此时，可以切换回深度学习的方式检测初始区域， 以保证初始区域检测的精确性。因此，这种深度学习和跟踪结合的方式， 可以快速地从2D图像中检测到初始区域，不仅精确性高，也具有较好的 实时性。

步骤S306，从初始区域中识别指定标志物的形状；如果指定标志物 为三角形或矩形，执行步骤S308；如果指定标志物为圆形，执行步骤S310。

具体地，可以预先指定需要识别的指定标志物的形状，预先输入指定 形状的形状特征值后，从初始区域中识别具有该特征值的形状；也可以通 过主成分分析、形态学运算或支持向量机等方式直接从初始区域中识别指 定标志物的形状。

步骤S308，对初始区域进行线段分割检测LSD(Line Segment Detector，线段分割检测)，得到指定标志物的多个线段；根据线段间的顶 点位置和连接关系，得到指定标志物的边缘线条。

上述LSD的检测方式，相对于传统的边缘检测算法，可以得到更为 鲁棒、可靠的线段检测结果，尤其是对于逆光、过曝的弱纹理2D图像， 线段检测效果更佳。通过LSD检测到初始区域内的线段后，可以通过 RANSAC(Random Sample Consensus，随机采样一致性)算法拟合得到 各个线段的顶点位置，基于拟合得到的顶点位置之间的位置关系，建立各 线段间的连接关系。

例如，线段A的两个顶点位置分别为a(x1，y1)、b(x2，y2)；线 段B的两个顶点位置分别为a(x1，y1)、c(x3，y3)；由于线段A和线 段B存在位置相同的顶点，即顶点a，可以确定线段A和线段B通过顶 点a连接；当再次检测到线段C的两个顶点位置分别为b(x2，y2)、c(x3， y3)时，可以确定线段C与线段A通过顶点b相连，线段C与线段B通 过顶点c相连，且线段A、线段B和线段C组合成为一个闭合图形；该 线段A、线段B和线段C可能为指定标志物的边缘线条。

如果指定标志物的图形较为复杂，从一个初始区域中可能检测到多个 闭合图形，此时可以进一步检测多个闭合图形之间的相对位置关系(具体 可以为包围与被包围的关系)，将处在最外侧，包围其他所有闭合图形的 闭合图形作为指定标志物的边缘线条。

步骤S310，在初始区域中进行椭圆拟合，得到指定标志物的边缘线 条。

受到透视形变的影响，三维空间中的圆形投影到2D图像中后大多为 椭圆，因此，上述步骤S310中采用椭圆拟合的方式检测圆形标志物的边 缘线条；具体地，可以设置一个长轴和短轴可变的椭圆，将该椭圆与初始 区域中的曲线一一进行匹配；在匹配过程中，与该椭圆相重合的曲线，可 能为指定标志物的边缘线条。如果从一个初始区域中拟合到多个椭圆，此 时也可以进一步检测多个椭圆之间的相对位置关系(具体可以为包围与被 包围的关系)，将处在最外侧，包围其他所有椭圆的椭圆作为指定标志物 的边缘线条。

上述步骤中，针对指定标志物的不同形状，采用对应的方式提取标志 物的边缘线条，使标志物的检测、识别更加高效准确。

在另外一种实现方式中，上述步骤S306还可以略去不执行，即不识 别初始区域中的标志物的形状，顺序随机或者同时执行步骤S308和步骤 S310，通过LSD检测和椭圆拟合的方式探测初始区域中标志物可能的形 状，从而得到指定标志物的边缘线条。例如，如果指定标志物的形状为矩 形，则可以通过LSD检测得到线段，并得到上述闭合图形，进而检测得 到矩形的边缘线条；而如果指定标志物的形状为圆形，则可以通过椭圆拟 合得到椭圆形或圆形的线条，进而检测得到椭圆形或圆形的边缘线条。

为了便于理解上述实施例，图4示出了一种初始区域的示意图，图5 示出了一种边缘线条的示意图，但均不作为对本申请实施例的限定；图4 中，指定标志物是一个矩形的交通标志牌，初始区域(用虚线表示)中包 含该交通标志牌，还包含背景图像；该交通标志牌为矩形，则可以采用 LSD检测得到多个线条，同时，由于该交通标志牌中的图形较多，检测到 的这些线条可以组成多个矩形和三角形，此时，可以将最外侧的矩形确定 为该交通标志牌的边缘线条，如图5所示。

步骤S312，确定上述初始区域在目标环境的2D图像中的坐标；

针对该2D图像的采集设备，如相机，可以预先建立一个相机坐标系； 该相机坐标系中，以采集设备的位置为原点，表达了2D图像中各个位置 点(或像素点)的坐标；该坐标即位置点相对于采集设备的相对位置关系。 上述初始区域中通常包含2D图像中的多个位置点，可以以其中一个指定 的位置点(如初始区域的中心位置点，左上角位置点等)作为初始区域在 目标环境的2D图像中的坐标。

步骤S314，根据该2D图像的拍摄位置和初始区域的坐标，确定初始 区域的地理位置。

步骤S316，将图像初始区域的地理位置作为指定标志物对应的图标 的第一位置。

2D图像的拍摄位置通常为2D图像采集设备的地理位置，具体可以 通过采集设备的经纬度坐标表示；由上述可知，初始区域的坐标是初始区 域相对于采集设备的相对位置关系，因此，具体可以通过2D图像的拍摄 位置和初始区域的坐标进行向量加和运算，即可得到初始区域的地理位 置，该地理位置也可以通过经纬度坐标表示。同理，指定标志物对应的图 标的第一位置也是通过经纬度坐标表示的指定标志物的地理位置。

步骤S318，在目标环境的3D点云图像中，根据上述第一位置确定指 定标志物的第二位置；

步骤S320，根据该第二位置，从3D点云图像中提取指定标志物对应 的平面区域；

步骤S322，将指定标志物对应的图标融合至3D点云图像的平面区 域。

上述图像融合方法中，从目标环境的2D图像中获取指定标志物对应 的图标和图标的第一位置的过程中，首先采用深度学习或深度学习和跟踪 结合的方式，检测到指定标志物的初始区域，再根据指定标志物的形状， 采用LSD或椭圆拟合的方式检测得到指定标志物的边缘线条，进而得到 对应的图标，再根据初始区域在目标环境的2D图像中的坐标，得到指定 标志物对应的图标的第一位置；再根据该第一位置，在该目标环境的3D 点云图像中确定指定标志物的第二位置；进而根据该第二位置，从3D点 云图像中提取指定标志物对应的平面区域；最后将指定标志物对应的图标 融合至3D点云图像的平面区域；该方式可以快速地从2D图像中检测到 初始区域，不仅精确性高，也具有较好的实时性；通过将2D图像中的标 志物图标融合至3D点云图像中，丰富了3D点云图像的信息量，扩展了 标志物的使用场景。

实施例三

受到标志物高度以及摄像装置拍摄角度的影响，摄像装置采集的标志 物往往会发生透视形变，直接对形变后的标志物进行检测识别，会影响最 终的识别准确率，尤其对于车道线、字符等对于形变较为敏感的标志物， 可能出现标志物内容识别错误的情况，负面影响较大。基于此，本申请实 施例提供了另一种图像融合方法，该方法在上述实施例一或实施例二的基 础上实现；为了进一步提高标志物检测的精确性，该方法重点描述针对标志物在三维空间内透视形变的处理方式。

该方式中，从目标环境的2D图像中检测指定标志物对应的初始区域 后，首先判断边缘线条组成的当前形状是否发生透视形变；如果发生了透 视形变，则根据当前形状所属的图形类别调整边缘线条和边缘线条包围的 图像；将调整后边缘线条所包围的图像确定为指定标志物对应的图标。通 常，特定类型的指定标志物具有特定的标准形状，例如，对于交通标志牌， 形状可以为矩形、正三角形和圆形等；如果指定标志物的边缘线条组成的 当前形状不属于上述标准形状中的任何一种，则可以认为指定标志物发生 了透视形变。通常，上述矩形透视形变后变换为梯形，上述正三角形透视 形变后变换为不准则三角形，上述圆形透视形变后变换为椭圆。

由于标准形状与透视形变后变换得到的当前形状之间存在对应关系， 因此，通过当前形状即可获知该指定标志物的标准形状，进而根据当前形 状所属的图形类别(梯形、三角形、椭圆等)，将指定标志物的边缘线条 和边缘线条包围的图像进行调整，得到标准形状的指定标志物对应的图标。

上述将发生透视形变的指定标志物对应的图标调整会标准形状，有利 于提高指定标志物检测的精确性，尤其是对于车道线检测，OCR(Optical Character Recognition，光学字符识别)检测等对于形变较为敏感的场景， 可以大幅降低指定标志物检测的误差。

如图6所示，本实施例中的图像融合方法还可以通过如下方式实现：

步骤S602，通过摄像装置获取目标环境的2D图像；通过激光雷达获 取目标环境的3D点云图像。

步骤S604，从目标环境的2D图像中检测指定标志物对应的初始区 域。

步骤S606，从初始区域中提取指定标志物的边缘线条。

步骤S608，识别指定标志物的边缘线条组成的当前形状所属的图形 类别。

具体可以通过神经网络或其他深度学习的方式构建形状识别模型，经 大量样本训练后，即可根据当前形状的特征值，输出识别出的图形类别。 另外，上述步骤S608还可以通过主成分分析、形态学运算或支持向量机 等方式识别当前形状所属的图形类别。通常，该图像类别包括梯形、三角 形、椭圆、当然还包括对应的标准形状，如矩形、正三角形、圆形等。如 果当前形状为标准形状，则可以确定2D图像中的指定标志物没有发生透 视形变。

步骤S610，判断当前形状是否属于图形类别对应的标准形状；如果 否，执行步骤S612；如果是，执行步骤S616。

步骤S612，确定当前形状发生透视形变；按照当前形状所属的图形 类别，获取当前形状的变换基准数据；

在实际实现时，不同的图形类别通常具有不同的变化基准数据；具体 地，如果当前形状所属的图形类别为梯形，将当前形状的角点位置作为变 换基准数据；其中，该角点位置具体可以为梯形的四个顶点的相对位置； 如果当前形状所属的图形类别为三角形，将当前形状的角点位置和中心点 位置作为变换基准数据；通常，角点位置可以为三角形的三个顶点的相对 位置；当正三角形发生透视形变后，中心点位置通常不变，因此，基于该 中心点位置调整三个顶点的相对位置可以得到对应的正三角形；如果当前 形状所属的图形类别为椭圆形，将当前形状的圆心位置和半径作为变换基 准数据。当圆形透视形变为椭圆时，圆心位置通常不变，根据透视角度， 圆形的半径形变为椭圆的长轴半径和短轴半径，因此，上述变化基准数据 中的半径包括椭圆的长轴半径和短轴半径。

步骤S614，根据预设的图形类别对应的变换方程以及变换基准数据， 调整边缘线条和边缘线条包围的图像，将调整后边缘线条所包围的图像确 定为指定标志物对应的图标。

由透视变换原理可知，透视变换的本质是将原始图像投影到一个新的 视平面中；根据透视中心点的位置变化，原始图像中的像点变换至新的视 平面中的位置点也会随之变化。其中，透视中心点可以理解为2D图像采 集设备的空间位置，原始图像可以理解为标准形状下的指定标志物的图 标；新的视平面中的图像为当前形状下的指定标志物的图标。在发生透视 形变的过程中，透视中心点、原始图像中的像点以及该像点变换至新的视 平面中的位置点位于同一直线；由于透视中心点的位置已知，且新的视平 面中的位置点已知，此时可以在对应的直线上找寻新的视平面中的位置点 对应的原始图像中的像点位置，进而得到图像中的像点位置。

上述变换方程可以通过上述透视变换原理得到。在实际实现时，新的 视平面中的位置点可以通过当前形状的变化基准数据代表，将变化基准数 据输入至上述变换方程中，即可获得原始图像中的像点位置，从而得到当 前形状的标准形状。由于该标准形状通过包含有限位置点的变化基准数据 获得，在得到标准形状后，可以再次根据上述变换方程，继续获取上述变 化基准数据以外的其他位置点，从而得到边缘线条和边缘线条包围的图像中所有位置点对应的原始图像中的像点，该原始图像中的所有像点组成指 定标志物对应的图标。

为了便于理解，图7示出了一个长方形指定标志物发生透视形变后的 形状，该形状为梯形；根据该提醒的四个角点，角点A、角点B、角点C 和角点D，以及梯形对应的变换方程，可以调整该指定标志物的边缘线条 和边缘线条包围的图像；如图8所示，调整后的指定标志物恢复成了长方 形，即该指定标志物的标准形状。

步骤S616，确定初始区域在目标环境的2D图像中的坐标；

步骤S618，根据2D图像的拍摄位置和初始区域的坐标，确定初始区 域的地理位置；将图像初始区域的地理位置作为指定标志物对应的图标的 第一位置。

步骤S620，在目标环境的3D点云图像中，根据上述第一位置确定指 定标志物的第二位置；根据该第二位置，从3D点云图像中提取指定标志 物对应的平面区域；

步骤S622，将指定标志物对应的图标融合至3D点云图像的平面区 域。

上述图像融合方法，从目标环境的2D图像中获取指定标志物对应的 图标和图标的第一位置的过程中，如果指定标志物的图标发生了透视形 变，则根据透视变换方程调整图标至标准形状；再根据图标的第一位置， 在该目标环境的3D点云图像中确定指定标志物的第二位置；进而根据该 第二位置，从3D点云图像中提取指定标志物对应的平面区域；最后将指 定标志物对应的图标融合至3D点云图像的平面区域；该方式有利于提高 指定标志物检测的精确性，尤其是对于形变较为敏感的场景，可以大幅降 低指定标志物检测的误差；通过将2D图像中的标志物图标融合至3D点云 图像中，丰富了3D点云图像的信息量，扩展了标志物的使用场景。

实施例四

本申请实施例提供了另一种图像融合方法，该方法在上述实施例的基 础上实现；该方法重点描述从3D点云图像中提取指定标志物对应的平面 区域，以及将指定标志物对应的图标融合至3D点云图像的平面区域的具体 过程，如图9所示，该方法包括如下步骤：

步骤S902，从目标环境的2D图像中获取指定标志物对应的图标和图 标的第一位置。

步骤S904，从3D点云图像的位置坐标系中，查找该第一位置对应的 坐标。

步骤S906，将该第一位置对应的坐标确定为指定标志物在3D点云图 像中的第二位置。

由上述实施例中的描述可知，该第一位置可以是通过经纬度坐标表示 的指定标志物的地理位置。针对3D点云图像的采集设备，如激光雷达， 可以预先建立一个雷达坐标系；该雷达坐标系中，以激光雷达的位置为原 点，表达了3D点云图像各个位置点(也可以称为像素点、数据点)的二 维坐标；其中，激光雷达的位置也可以理解为3D点云图像的拍摄位置， 具体可以通过激光雷达的经纬度坐标表示；上述二维坐标为3D点云图像 中的各个位置点相对于激光雷达的相对位置关系。因此，具体可以通过激 光雷达的位置和上述指定标志物的第一位置进行向量差值运算，得到指定 标志物与激光雷达的相对位置关系，从而得到指定标志物在3D点云图像 中的第二位置；由于上述第一位置和激光雷达的位置均为二维形式的地理 位置，该第二位置通常也为二维形式的位置坐标。

步骤S908，从3D点云图像中获取距离该第二位置预设范围内的局部 点云图像；

由于3D点云图像中的数据点分布在三维空间中，除上述二维位置信 息外，还包括高度信息；因此，通过第二位置可以得到3D点云图像中位 于该第二位置上的不同高度的数据点；由于指定标志物通常具有一定的面 积和体积，该指定标志物对应的第一位置和第二位置均可以包含一个二维 坐标点，该坐标点用于代表指定标志物的地理位置，也可以包含一组坐标 点集合，当指定标志物较大时，坐标点集合用于代表指定标志物所占据的 地理位置区域；因此，如果仅获取第二位置处的数据点，可能仅能得到指 定标志物对应的部分数据点，从而影响后续图像融合的效果；又考虑到从 2D图像对应的第一位置映射到3D点云图像对应的第二位置的过程中， 可能具有一定的误差；因此，上述步骤S708中，获取距离该第二位置预 设范围内的局部点云图像，以保证指定标志物对应的数据点能够被完整包 含在该局部点云图像中。

获取到上述局部点云图像后，进而可以根据预设的平面方程，从局部 点云图像中提取指定标志物对应的平面区域；例如，根据三点确定一个平 面的原理，将局部点云图像划分为多个平面；再根据指定标志物的形状、 边缘线条尺寸比例等特征，从多个平面中找到该指定标志物对应的平面； 具体的平面区域的提取过程如下述步骤所示。

步骤S910，从3D点云图像的位置坐标系中，获取局部点云图像中， 各像素点的位置坐标(x，y，z)。

该位置坐标中，x和y可以用于表示上述第二位置中包含的二维位置 信息；z可以用于表示数据点的高度信息；在实际实现时，可以预先标定 0高度的位置点，根据各数据点与0高度的位置点的相对高度，得到上述 z的取值。

步骤S912，通过多个相邻的像素点的位置坐标，计算得到预设的平 面方程ax+by+cz＝1中，参数a、参数b和参数c的参数值；将参数值的 差值在预设范围内的对应的像素点确定为同一平面区域；

由于平面方程中存在三个未知参数，即上述参数a、参数b和参数c， 因此，需要至少三个像素点确定一个平面；例如，可以从局部点云图像中 随机抽取三个像素点，计算得到一组参数a、参数b和参数c的取值，简 称为参数值组合A，该参数值组合A可以代表一个平面；考虑到处于同 一平面的像素点的距离通常较近，在选取像素点时，这三个像素点之间的 位置最好距离在设定的距离范围内，例如，三个像素点彼此相邻。得到第 一个平面后，再另选三个像素点，计算得到另一组参数a、参数b和参数 c的取值，简称为参数值组合B；如果参数值组合B与之前计算得到的参 数值组合A差异较小，则说明这参数值组合B对应的三个像素点和参数 值组合A对应的三个像素点位于同一个平面区域上。另外，参数值组合B对应的三个像素点和参数值组合A对应的三个像素点之间，应当至少一 个像素点是不同的，从而避免重复无用的运算。

考虑到3D点云图像在采集过程中，数据点的位置可能会有一定的误 差，或者指定标志物表面本身就不平整的原因；如果参数值组合B与参 数值组合A完全相同，才被确定为对应的像素点处于同一平面，则可能 会从局部点云图像中划分出大量的零散的小平面区域，难以得到指定标志 物对应的平面区域。因此上述步骤S712中，将参数值的差值在预设范围 内的对应的像素点确定为同一平面区域，可以避免数据点采集误差，或者 标志物表面不平整的问题造成的平面提取过于零散，得到较为匹配的标志 物的平面区域。

步骤S914，从预设的指定标志物数据库中查找标准形状对应的指定 标志物的真实尺寸和比例；从确定出的平面区域中查找得到与指定标志物 的真实尺寸和比例相匹配的平面区域。

上述指定标志物数据库通常包含指定标志物的含义、标准形状、边长 比例、真实尺寸等参数，当指定标志物为交通标志牌时，这些参数可以从 交通管理部门获得；当通过上述方式获取到指定标志物的标准形状或边长 比例后，可从该数据库中查找该指定标志物的真实尺寸；再从上述步骤中 提取的平面中查找与该真实尺寸相匹配的平面区域，该平面区域即为指定 标志物对应的区域。从多个平面区域中查找与指定标志物相匹配的平面区 域的过程，也可以通过RANSAC算法实现。

步骤S916，将指定标志物对应的图标融合至3D点云图像的平面区 域。

在实际实现时，将指定标志物对应的图标拟合至3D点云图像的平面 区域中，得到指定标志物的3D图像；该3D图像不仅包含3D点云图像 的中指定标志物的三维位置信息、轮廓形状和轮廓大小信息，还包含该指 定标志物的图标包含的颜色信息、灰度信息、纹理等图像信息。

上述图像融合方法，首先从目标环境的2D图像中获取指定标志物对 应的图标和图标的第一位置；再根据该第一位置，在该目标环境的3D点 云图像中确定指定标志物的第二位置；从该第二位置附近的局部点云图像 中，划分平面区域；再根据该指定标志物的真实尺寸和比例，从划分出的 平面区域中查找得到与指定标志物相匹配的平面区域；最后将指定标志物 对应的图标融合至3D点云图像的平面区域；该方式中，将2D图像中的 指定标志物的图标融合至3D点云图像，得到的指定标志物的3D图像； 通过该3D图像，可以获得标志物图像信息的同时，获得三维空间信息， 丰富了3D点云图像的信息量，扩展了标志物的使用场景。

实施例五

基于上述实施例提供的图像融合方法，本申请实施例提供了两种图像 融合方法的应用场景，下面进行分别描述。

在其中一种场景中，本实施例在上述图像融合方法的基础上，对融合 有指定标志物对应的图标的3D点云图像进行地图构建，得到带有指定标 志物对应的图标的3D点云地图。该3D点云地图可以运行在云端服务器 上，并与用户终端连接，根据用户终端的位置信息，向用户终端实时反馈 该位置信息下对应区域的三维地图，以引导用户到达规划路径，并到达目 的地。相对于二维形式的地图，三维地图可读性更强，帮助用户准确识路 并快速到达目的地。

在另外一种场景中，指定标志物具体可以为交通标志物，例如，交通 标志牌、交通灯、车道线、粘贴在建筑物上的交通标志符号等。基于此， 本申请实施例提供了一种自动驾驶控制方法，该方法可以应用于车辆的控 制器或控制电脑等具有车辆控制功能的设备中，该设备可以连接有摄像装 置、激光雷达、GPS、IMU(Inertial measurement unit，惯性测量单元)等； 如图10所示，该方法包括如下步骤：

步骤S1002，获取车辆所处环境的3D点云图像，其中，该3D点云 图像为融合有交通标志物对应的图标，该图标的融合过程采用上述任一实 施例中提供的图像融合方法；

步骤S1004，基于该3D点云图像识别车辆距离交通标志物的距离和 交通标志物对应的指示信息；

由上述图像融合方法的实施例可知，3D点云图像包含指定标志物的 三维位置信息、轮廓形状、轮廓大小，还包含颜色信息、灰度信息、纹理 等图像信息；因此，上述车辆距离交通标志物的距离可以通过车辆当前的 位置与指定标志物的三维位置信息计算获得；上述交通标志物对应的指示 信息可以通过识别上述图像信息得到。

步骤S1006，根据距离和指示信息生成行驶控制指令，以控制车辆按 照指示信息行驶。

具体地，通过上述指示信息可以得到对应的行驶控制指令，例如，上 述指示信息为“右转”时，生成的行驶控制指令可以控制车速放缓至转弯 车速，控制车轮转向右侧旋转；通过上述车辆距离交通标志物的距离可以 确定该行驶控制指令的执行时机，以便车辆在合适的行驶位置执行该行驶 控制指令。

上述自动驾驶控制方法中，3D点云图像融合有交通标志物对应的图 标；获取到车辆所处环境的3D点云图像后，基于该3D点云图像识别车 辆距离交通标志物的距离和交通标志物对应的指示信息；进而根据距离和 指示信息生成行驶控制指令，以控制车辆按照指示信息行驶；该方式通过 采用3D点云图像，可以精确、全面地检测交通标志物，且实时性较高， 从而帮助自动驾驶车辆安全顺利完成驾驶任务。

上述两种图像融合方法的应用场景中，均需要通过摄像装置获取目标 环境的2D图像；通过激光雷达获取目标环境的3D点云图像；通过对2D 图像和3D点云图像进行一系列处理，得到最终的3D点云图像。图11示 出了在上述处理过程中的数据流向；图11中，左侧分支描述了2D图像 的处理过程；通过摄像装置采集2D图像；2D图像经深度学习或KCF跟 踪的方式获得指定标志物的初始区域，该初始区域也可以称为ROI区域； 再从初始区域中检测指定标志物的线条，以实现指定标志物的精准检测， 得到指定标志物的图标；从2D图像中得到的指定标志物的图标还携带有 该标志物的二维位置信息。图11中的右侧分支描述了3D点云图像的处 理过程，通过激光雷达采集3D点云图像；根据指定标志物的图标中携带的二维位置信息，从3D点云图像中提取指定标志物对应的平面区域，最 后再将指定标志物的图标融合之该平面区域中，得到包含有指定标志物的 图标的3D点云图像。

需要说明的是，上述各方法实施例均采用递进的方式描述，每个实施 方式重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似 的部分互相参见即可。

实施例六

对应于上述方法实施例，本实施例提供了一种图像融合装置，如图 12所示，该装置包括：

图标和第一位置获取模块1200，用于从目标环境的2D图像中获取指 定标志物对应的图标和图标的第一位置；

第二位置确定模块1202，用于在目标环境的3D点云图像中，根据第 一位置确定指定标志物的第二位置；

平面区域提取模块1204，用于根据第二位置，从3D点云图像中提取 指定标志物对应的平面区域；

图标融合模块1206，用于将指定标志物对应的图标融合至3D点云图 像的平面区域。

上述图像融合装置，首先从目标环境的2D图像中获取指定标志物对 应的图标和图标的第一位置；再根据该第一位置，在该目标环境的3D点 云图像中确定指定标志物的第二位置；进而根据该第二位置，从3D点云 图像中提取指定标志物对应的平面区域；最后将指定标志物对应的图标融 合至3D点云图像的平面区域；该方式通过将2D图像中的标志物图标融 合至3D点云图像中，丰富了3D点云图像的信息量，扩展了标志物的使 用场景。

进一步地，上述装置还包括：2D图像获取模块，用于通过摄像装置 获取目标环境的2D图像；第一3D点云图像获取模块，用于通过激光雷 达获取目标环境的3D点云图像。

在具体实施时，上述图标和第一位置获取模块，还用于：从目标环境 的2D图像中检测指定标志物对应的初始区域；从初始区域中提取指定标 志物的边缘线条，将边缘线条所包围的图像确定为指定标志物对应的图 标。

在另一种实施方式中，上述图标和第一位置获取模块，还用于：采用 深度学习的方式，从目标环境的2D图像中检测指定标志物对应的初始区 域；或者，采用深度学习和跟踪结合的方式，从目标环境的2D图像中检 测指定标志物对应的初始区域。

在另一种实施方式中，上述图标和第一位置获取模块，还用于：如果 指定标志物为三角形或矩形，对初始区域进行线段分割检测LSD，得到指 定标志物的多个线段；根据线段间的顶点位置和连接关系，得到指定标志 物的边缘线条；如果指定标志物为圆形，在初始区域中进行椭圆拟合，得 到指定标志物的边缘线条。

在具体实施时，上述图标和第一位置获取模块，还用于：确定初始区 域在目标环境的2D图像中的坐标；根据2D图像的拍摄位置和初始区域 的坐标，确定初始区域的地理位置；将图像初始区域的地理位置作为指定 标志物对应的图标的第一位置。

进一步地，上述图标和第一位置获取模块，还用于：从初始区域中提 取指定标志物的边缘线条；判断边缘线条组成的当前形状是否发生透视形 变；如果是，根据当前形状所属的图形类别调整边缘线条和边缘线条包围 的图像；将调整后边缘线条所包围的图像确定为指定标志物对应的图标。

在具体实施时，上述图标和第一位置获取模块，还用于：识别指定标 志物的边缘线条组成的当前形状所属的图形类别；判断当前形状是否属于 图形类别对应的标准形状；如果否，确定当前形状发生透视形变。

在具体实施时，上述图标和第一位置获取模块，还用于：按照当前形 状所属的图形类别，获取当前形状的变换基准数据；根据预设的图形类别 对应的变换方程以及变换基准数据，调整边缘线条和边缘线条包围的图 像。

在具体实施时，上述图标和第一位置获取模块，还用于：如果当前形 状所属的图形类别为梯形，将当前形状的角点位置作为变换基准数据；如 果当前形状所属的图形类别为三角形，将当前形状的角点位置和中心点位 置作为变换基准数据；如果当前形状所属的图形类别为椭圆形，将当前形 状的圆心位置和半径作为变换基准数据。

进一步地，上述第二位置确定模块，还用于：从3D点云图像的位置 坐标系中，查找第一位置对应的坐标；将第一位置对应的坐标确定为指定 标志物在3D点云图像中的第二位置。

进一步地，上述平面区域提取模块，还用于：从3D点云图像中获取 距离第二位置预设范围内的局部点云图像；根据预设的平面方程，从局部 点云图像中提取指定标志物对应的平面区域。

在具体实施时，上述平面区域提取模块，还用于：从3D点云图像的 位置坐标系中，获取局部点云图像中，各像素点的位置坐标(x，y，z)； 通过多个相邻的像素点的位置坐标，计算得到预设的平面方程 ax+by+cz＝1中，参数a、参数b和参数c的参数值；将参数值的差值在预 设范围内的对应的像素点确定为同一平面区域；从预设的指定标志物数据 库中查找所述标准形状对应的指定标志物的真实尺寸和比例；从确定出的 平面区域中查找得到与所述指定标志物的真实尺寸和比例相匹配的平面 区域。

进一步地，上述指定标志物为交通标志物。

进一步地，上述装置还包括：地图构建模块，用于对融合有指定标志 物对应的图标的3D点云图像进行地图构建，得到带有指定标志物对应的 图标的3D点云地图。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例 相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例 中相应内容。

本实施例还提供了一种自动驾驶控制装置，如图13所示，该装置包 括：

第二3D点云图像获取模块1300，用于获取车辆所处环境的3D点云 图像，其中，3D点云图像为融合有交通标志物对应的图标，图标的融合 过程采用上述图像融合装置；

信息识别模块1302，用于基于3D点云图像识别车辆距离交通标志物 的距离和交通标志物对应的指示信息；

指令生成模块1304，用于根据距离和指示信息生成行驶控制指令， 以控制车辆按照指示信息行驶。

上述自动驾驶控制装置中，3D点云图像融合有交通标志物对应的图 标；获取到车辆所处环境的3D点云图像后，基于该3D点云图像识别车 辆距离交通标志物的距离和交通标志物对应的指示信息；进而根据距离和 指示信息生成行驶控制指令，以控制车辆按照指示信息行驶；该方式通过 采用3D点云图像，可以精确、全面地检测交通标志物，且实时性较高， 从而帮助自动驾驶车辆安全顺利完成驾驶任务。

对应于上述图像融合方法、自动驾驶控制方法和装置，本发明实施例 提供了一种图像融合设备和自动驾驶控制设备；该图像融合设备或自动驾 驶控制设备包括存储器以及处理器，存储器用于存储支持处理器执行前述 任一项图像融合方法或自动驾驶控制方法的程序，处理器被配置为用于执 行存储器中存储的程序。

参见图14所示的一种图像融合设备或自动驾驶控制设备的结构示意 图，具体包括处理器1400，存储器1401，总线1402和通信接口1403， 处理器1400、通信接口1403和存储器1401通过总线1402连接；处理器 1400用于执行存储器1401中存储的可执行模块，例如计算机程序。

其中，存储器1401可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)， 例如至少一个磁盘存储器。通过至少一个通信接口1403(可以是有线或 者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用 互联网，广域网，本地网，城域网等。

总线1402可以是ISA总线、PCI总线或EISA总线等。总线可以分为 地址总线、数据总线、控制总线等。为便于表示，图14中仅用一个双向 箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器1401用于存储程序，处理器1400在接收到执行指令后， 执行程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行 的方法可以应用于处理器1400中，或者由处理器1400实现。

处理器1400可能是一种集成电路芯片，具有信号的处理能力。在实 现过程中，上述方法的各步骤可以通过处理器1400中的硬件的集成逻辑 电路或者软件形式的指令完成。上述的处理器1400可以是通用处理器， 包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing， 简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称 ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。 可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通 用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结 合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执 行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块 可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦 写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存 储器1401，处理器1400读取存储器1401中的信息，结合其硬件完成上 述方法的步骤。

本实施例提供的图像融合方法和自动驾驶控制方法可以由上述图像 融合设备或自动驾驶控制设备执行，亦或，本实施例提供的图像融合装置 和自动驾驶控制装置可以设置于上述图像融合设备或自动驾驶控制设备 侧。

进一步，本实施例还提供了一种计算机存储介质，用于储存为前述任 一项图像融合装置和自动驾驶控制装置所用的计算机软件指令。

本发明实施例所提供的图像融合方法、自动驾驶控制方法、装置、设 备和计算机存储介质，包括存储了程序代码的计算机可读存储介质，所述 程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现 可参见方法实施例，在此不再赘述。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用 以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于 此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围 内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变 化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都 应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利 要求的保护范围为准。

Claims (35)

1.一种图像融合方法，其特征在于，所述方法包括：

从目标环境的2D图像中获取指定标志物对应的图标和所述图标的第一位置；

在所述目标环境的3D点云图像中，根据所述第一位置确定所述指定标志物的第二位置；

根据所述第二位置，从所述3D点云图像中提取所述指定标志物对应的平面区域；

将所述指定标志物对应的图标融合至所述3D点云图像的平面区域。

2.如权利要求1所述的方法，其特征在于，所述从目标环境的2D图像中获取指定标志物对应的图标和所述图标的第一位置的步骤之前，所述方法还包括：

通过摄像装置获取所述目标环境的2D图像；

通过激光雷达获取所述目标环境的3D点云图像。

3.如权利要求1所述的方法，其特征在于，所述从目标环境的2D图像中获取指定标志物对应的图标的步骤，包括：

从目标环境的2D图像中检测指定标志物对应的初始区域；

从所述初始区域中提取所述指定标志物的边缘线条，将所述边缘线条所包围的图像确定为所述指定标志物对应的图标。

4.如权利要求3所述的方法，其特征在于，从目标环境的2D图像中检测指定标志物对应的初始区域的步骤，包括：

采用深度学习的方式，从目标环境的2D图像中检测指定标志物对应的初始区域；或者，

采用深度学习和跟踪结合的方式，从目标环境的2D图像中检测指定标志物对应的初始区域。

5.如权利要求3所述的方法，其特征在于，从所述初始区域中提取所述指定标志物的边缘线条的步骤，包括：

如果所述指定标志物为三角形或矩形，对所述初始区域进行线段分割检测LSD，得到所述指定标志物的多个线段；根据所述线段间的顶点位置和连接关系，得到所述指定标志物的边缘线条；

如果所述指定标志物为圆形，在所述初始区域中进行椭圆拟合，得到所述指定标志物的边缘线条。

6.如权利要求3所述的方法，其特征在于，所述指定标志物对应的图标的第一位置的获取过程包括：

确定所述初始区域在所述目标环境的2D图像中的坐标；

根据所述2D图像的拍摄位置和所述初始区域的坐标，确定所述初始区域的地理位置；

将所述图像初始区域的地理位置作为所述指定标志物对应的图标的第一位置。

7.如权利要求3所述的方法，其特征在于，从所述初始区域中提取所述指定标志物的边缘线条，将所述边缘线条所包围的图像确定为所述指定标志物对应的图标包括：

从所述初始区域中提取所述指定标志物的边缘线条；

判断所述边缘线条组成的当前形状是否发生透视形变；

如果是，根据所述当前形状所属的图形类别调整所述边缘线条和所述边缘线条包围的图像；

将调整后所述边缘线条所包围的图像确定为所述指定标志物对应的图标。

8.如权利要求7所述的方法，其特征在于，判断所述边缘线条组成的当前形状是否发生透视形变的步骤，包括：

识别所述指定标志物的边缘线条组成的当前形状所属的图形类别；

判断所述当前形状是否属于所述图形类别对应的标准形状；

如果否，确定所述当前形状发生透视形变。

9.如权利要求7所述的方法，其特征在于，根据所述当前形状所属的图形类别调整所述边缘线条和所述边缘线条包围的图像的步骤，包括：

按照当前形状所属的图形类别，获取所述当前形状的变换基准数据；

根据预设的所述图形类别对应的变换方程以及所述变换基准数据，调整所述边缘线条和所述边缘线条包围的图像。

10.如权利要求9所述的方法，其特征在于，按照当前形状所属的图形类别，获取所述当前形状的变换基准数据的步骤，包括：

如果所述当前形状所属的图形类别为梯形，将所述当前形状的角点位置作为变换基准数据；

如果所述当前形状所属的图形类别为三角形，将所述当前形状的角点位置和中心点位置作为变换基准数据；

如果所述当前形状所属的图形类别为椭圆形，将所述当前形状的圆心位置和半径作为变换基准数据。

11.如权利要求1所述的方法，其特征在于，所述在所述目标环境的3D点云图像中，根据所述第一位置确定所述指定标志物的第二位置的步骤，包括：

从所述3D点云图像的位置坐标系中，查找所述第一位置对应的坐标；

将所述第一位置对应的坐标确定为所述指定标志物在所述3D点云图像中的第二位置。

12.如权利要求1所述的方法，其特征在于，所述根据所述第二位置，从所述3D点云图像中提取所述指定标志物对应的平面区域的步骤，包括：

从所述3D点云图像中获取距离所述第二位置预设范围内的局部点云图像；

根据预设的平面方程，从所述局部点云图像中提取所述指定标志物对应的平面区域。

13.如权利要求12所述的方法，其特征在于，所述根据预设的平面方程，从所述局部点云图像中提取所述指定标志物对应的平面区域的步骤，包括：

从所述3D点云图像的位置坐标系中，获取所述局部点云图像中，各像素点的位置坐标(x，y，z)；

通过多个相邻的所述像素点的位置坐标，计算得到预设的平面方程ax+by+cz＝1中，参数a、参数b和参数c的参数值；

将所述参数值的差值在预设范围内的对应的像素点确定为同一平面区域；

从预设的指定标志物数据库中查找标准形状对应的指定标志物的真实尺寸和比例；从确定出的平面区域中查找得到与所述指定标志物的真实尺寸和比例相匹配的平面区域。

14.如权利要求1-13任一项所述的方法，其特征在于，所述指定标志物为交通标志物。

15.如权利要求1-13任一项所述的方法，其特征在于，所述方法还包括：

对融合有所述指定标志物对应的图标的3D点云图像进行地图构建，得到带有所述指定标志物对应的图标的3D点云地图。

16.一种自动驾驶控制方法，其特征在于，所述方法包括：

获取车辆所处环境的3D点云图像，其中，所述3D点云图像为融合有交通标志物对应的图标，所述图标的融合过程采用权利要求1-13任一项所述的方法；

基于所述3D点云图像识别所述车辆距离所述交通标志物的距离和所述交通标志物对应的指示信息；

根据所述距离和所述指示信息生成行驶控制指令，以控制所述车辆按照所述指示信息行驶。

17.一种图像融合装置，其特征在于，所述装置包括：

图标和第一位置获取模块，用于从目标环境的2D图像中获取指定标志物对应的图标和所述图标的第一位置；

第二位置确定模块，用于在所述目标环境的3D点云图像中，根据所述第一位置确定所述指定标志物的第二位置；

平面区域提取模块，用于根据所述第二位置，从所述3D点云图像中提取所述指定标志物对应的平面区域；

图标融合模块，用于将所述指定标志物对应的图标融合至所述3D点云图像的平面区域。

18.如权利要求17所述的装置，其特征在于，所述装置还包括：

2D图像获取模块，用于通过摄像装置获取所述目标环境的2D图像；

第一3D点云图像获取模块，用于通过激光雷达获取所述目标环境的3D点云图像。

19.如权利要求17所述的装置，其特征在于，所述图标和第一位置获取模块，还用于：

从目标环境的2D图像中检测指定标志物对应的初始区域；

从所述初始区域中提取所述指定标志物的边缘线条，将所述边缘线条所包围的图像确定为所述指定标志物对应的图标。

20.如权利要求19所述的装置，其特征在于，所述图标和第一位置获取模块，还用于：

采用深度学习的方式，从目标环境的2D图像中检测指定标志物对应的初始区域；或者，

采用深度学习和跟踪结合的方式，从目标环境的2D图像中检测指定标志物对应的初始区域。

21.如权利要求19所述的装置，其特征在于，所述图标和第一位置获取模块，还用于：

如果所述指定标志物为三角形或矩形，对所述初始区域进行线段分割检测LSD，得到所述指定标志物的多个线段；根据所述线段间的顶点位置和连接关系，得到所述指定标志物的边缘线条；

如果所述指定标志物为圆形，在所述初始区域中进行椭圆拟合，得到所述指定标志物的边缘线条。

22.如权利要求19所述的装置，其特征在于，所述图标和第一位置获取模块，还用于：

确定所述初始区域在所述目标环境的2D图像中的坐标；

根据所述2D图像的拍摄位置和所述初始区域的坐标，确定所述初始区域的地理位置；

将所述图像初始区域的地理位置作为所述指定标志物对应的图标的第一位置。

23.如权利要求19所述的装置，其特征在于，所述图标和第一位置获取模块，还用于：

从所述初始区域中提取所述指定标志物的边缘线条；

判断所述边缘线条组成的当前形状是否发生透视形变；

如果是，根据所述当前形状所属的图形类别调整所述边缘线条和所述边缘线条包围的图像；

将调整后所述边缘线条所包围的图像确定为所述指定标志物对应的图标。

24.如权利要求23所述的装置，其特征在于，所述图标和第一位置获取模块，还用于：

识别所述指定标志物的边缘线条组成的当前形状所属的图形类别；

判断所述当前形状是否属于所述图形类别对应的标准形状；

如果否，确定所述当前形状发生透视形变。

25.如权利要求23所述的装置，其特征在于，所述图标和第一位置获取模块，还用于：

按照当前形状所属的图形类别，获取所述当前形状的变换基准数据；

根据预设的所述图形类别对应的变换方程以及所述变换基准数据，调整所述边缘线条和所述边缘线条包围的图像。

26.如权利要求25所述的装置，其特征在于，所述图标和第一位置获取模块，还用于：

如果所述当前形状所属的图形类别为梯形，将所述当前形状的角点位置作为变换基准数据；

如果所述当前形状所属的图形类别为三角形，将所述当前形状的角点位置和中心点位置作为变换基准数据；

如果所述当前形状所属的图形类别为椭圆形，将所述当前形状的圆心位置和半径作为变换基准数据。

27.如权利要求17所述的装置，其特征在于，所述第二位置确定模块，还用于：

从所述3D点云图像的位置坐标系中，查找所述第一位置对应的坐标；

将所述第一位置对应的坐标确定为所述指定标志物在所述3D点云图像中的第二位置。

28.如权利要求17所述的装置，其特征在于，所述平面区域提取模块，还用于：

从所述3D点云图像中获取距离所述第二位置预设范围内的局部点云图像；

根据预设的平面方程，从所述局部点云图像中提取所述指定标志物对应的平面区域。

29.如权利要求28所述的装置，其特征在于，所述平面区域提取模块，还用于：

从所述3D点云图像的位置坐标系中，获取所述局部点云图像中，各像素点的位置坐标(x，y，z)；

通过多个相邻的所述像素点的位置坐标，计算得到预设的平面方程ax+by+cz＝1中，参数a、参数b和参数c的参数值；

将所述参数值的差值在预设范围内的对应的像素点确定为同一平面区域；

从预设的指定标志物数据库中查找标准形状对应的指定标志物的真实尺寸和比例；从确定出的平面区域中查找得到与所述指定标志物的真实尺寸和比例相匹配的平面区域。

30.如权利要求17-29任一项所述的装置，其特征在于，所述指定标志物为交通标志物。

31.如权利要求17-29任一项所述的装置，其特征在于，所述装置还包括：

地图构建模块，用于对融合有所述指定标志物对应的图标的3D点云图像进行地图构建，得到带有所述指定标志物对应的图标的3D点云地图。

32.一种自动驾驶控制装置，其特征在于，所述装置包括：

第二3D点云图像获取模块，用于获取车辆所处环境的3D点云图像，其中，所述3D点云图像为融合有交通标志物对应的图标，所述图标的融合过程通过权利要求17-29任一项所述的装置实现；

信息识别模块，用于基于所述3D点云图像识别所述车辆距离所述交通标志物的距离和所述交通标志物对应的指示信息；

指令生成模块，用于根据所述距离和所述指示信息生成行驶控制指令，以控制所述车辆按照所述指示信息行驶。

33.一种图像融合设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当图像融合设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1～15任一所述的方法。

34.一种自动驾驶控制设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当图像融合设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求16所述的方法。

35.一种计算机存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1～16任一所述的方法。

Images