CN112257732A - 一种特征图融合方法及装置 - Google Patents

一种特征图融合方法及装置 Download PDF

Info

Publication number
CN112257732A
CN112257732A CN201910662258.0A CN201910662258A CN112257732A CN 112257732 A CN112257732 A CN 112257732A CN 201910662258 A CN201910662258 A CN 201910662258A CN 112257732 A CN112257732 A CN 112257732A
Authority
CN
China
Prior art keywords
camera
feature map
acquiring
laser radar
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910662258.0A
Other languages
English (en)
Inventor
孔慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Artificial Intelligence Advanced Research Institute Co ltd
Original Assignee
Nanjing Artificial Intelligence Advanced Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Artificial Intelligence Advanced Research Institute Co ltd filed Critical Nanjing Artificial Intelligence Advanced Research Institute Co ltd
Priority to CN201910662258.0A priority Critical patent/CN112257732A/zh
Publication of CN112257732A publication Critical patent/CN112257732A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

公开了一种特征图融合方法及装置，该方法包括：获取激光雷达采集的三维点云对应的激光雷达图像；根据三维点云以及相机参数，获取三维点云在相机透视视角下对应的相机透视图；根据激光雷达图像和相机透视图的对应关系，获取激光雷达图像在相机透视视角下的转换特征图；将相机透视图和转换特征图进行融合，获取经过融合的特征图。本公开利用相机透视视角下的相机透视图，同时利用三维点云丰富的语义信息，将激光雷达图像与相机透视图进行融合，所获得的特征图兼具相机特征图和雷达特征图的特点，提高了所获特征图的质量，有助于提高利用该特征图辅助道路检测的检测效果。

Description

一种特征图融合方法及装置
技术领域
本申请涉及图像处理技术领域，且更具体地，涉及一种特征图融合方法及装置。
背景技术
道路检测是自动驾驶领域非常重要的组成部分。为了获得高精度的道路检测结果，人们提出了各种各样的方法，每种方法之间的一大区别在于采集道路图像的传感器不同，例如有的采用激光雷达，有的采用单目相机。
单目相机能够进行高速采集，且采集的图片具有非常丰富的信息，然而，其受到环境的影响非常大，例如在极端光照条件下或者极端天气情况下，通过单目相机则无法获得满意的图片，造成道路检测结果不佳。不仅如此，由于单目相机采集的图片信息流量大，因此建立复杂的模型对其进行处理，处理过程需要耗费大量的时间，因而很难进行实时道路检测。
激光雷达能够提供非常精确的几何信息，但是激光雷达只能获取稀疏的点云信息，且点云分布非常不规律，造成其道路检测效果不佳。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种特征图融合方法、装置、计算机可读存储介质以及电子设备，通过激光雷达获取数据，然后将激光雷达数据进行处理，获得激光雷达图像和相机透视视角下的相机透视图，并将两种图像进行融合后获得特征图，可以极大改善所获特征图的质量，进而有助于提高利用该特征图辅助道路检测的检测效果。
根据本申请的第一方面，提供了一种特征图融合方法，包括：
获取激光雷达采集的三维点云对应的激光雷达图像；
根据所述三维点云以及相机参数，获取所述三维点云在相机透视视角下对应的相机透视图；
根据所述激光雷达图像和所述相机透视图的对应关系，获取所述激光雷达图像在相机透视视角下的转换特征图；
将所述相机透视图和所述转换特征图进行融合，获取经过融合的特征图。
根据本申请的第二方面，提供了一种特征图融合装置，包括：
雷达图像获取模块，用于根据激光雷达采集的三维点云，获取所述三维点云对应的激光雷达图像；
相机透视图获取模块，用于根据激光雷达采集的三维点云，获取所述三维点云在相机透视视角下对应的相机透视图；
转换特征图获取模块，用于根据所述激光雷达图像，获取所述激光雷达图像在相机透视视角下的转换特征图；
融合模块，用于将所述相机透视图和所述转换特征图进行融合，获取经过融合的特征图。
根据本申请的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的特征图融合方法。
根据本申请的第四方面，提供了一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的特征图融合方法。
与现有技术相比，本申请提供的特征图融合方法、装置、计算机可读存储介质及电子设备，至少包括以下有益效果：本申请通过构建虚拟相机，从而将激光雷达获取的三维点云在相机透视视角下进行投影，获得对应的相机透视图，同时充分利用了三维点云丰富的语义信息，将激光雷达图像与相机透视图进行融合，所获得的特征图兼具了相机特征图的特点和雷达特征图的特点，极大提高了所获特征图的质量，进而有助于提高利用该特征图辅助道路检测的检测效果，使得道路检测的精度更高。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本申请一示例性实施例提供的特征图融合方法的流程示意图一。
图2是如图1所示的实施例中步骤10的流程示意图。
图3是本申请一示例性实施例提供的特征图融合方法中获得激光雷达图像的示意图，其中第一行为X方向的深度图像，第二行为Y方向的宽度图像，第三行为Z方向的高度图像，第四行为数据点的分布强度图像。
图4是如图1所示的实施例中步骤20的流程示意图。
图5是如图4所示的实施例中步骤202的流程示意图。
图6是如图4所示的实施例中步骤203的流程示意图。
图7是如图1所示的实施例中步骤30的流程示意图。
图8(1)为映射层的示意图，图8(2)为融合层的示意图。
图9是本申请一示例性实施例提供的特征图融合方法的流程示意图二。
图10是本申请一示例性实施例提供的特征图融合装置的示意图一。
图11是本申请一示例性实施例提供的特征图融合装置中雷达图像获取模块的示意图。
图12是本申请一示例性实施例提供的特征图融合装置中相机透视图获取模块的示意图。
图13是本申请一示例性实施例提供的特征图融合装置的示意图二。
图14是本申请一示例性实施例提供的电子设备的结构图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
车辆在行驶过程中，需要实时进行道路检测，以便能够及时获知路面情况。为了获得高精度的道路检测结果，需要对路面图像进行实时采集，目前常采用的采集图像的方式为激光雷达采集图像和普通相机采集图像。
激光雷达图像能够提供非常精确的几何信息，但是激光雷达只能获取稀疏的点云信息，且点云分布非常不规律，导致采用激光雷达数据进行道路检测时效果不佳。普通相机(例如单目相机)具有价格便宜、能够进行高速连续采集以及采集的图片细节信息非常丰富的特点，越来越受到人们的关注。然而，单目相机也具有其固有的缺点，例如受环境的影响非常大，在一些极端光照条件或天气情况(例如下雨、阴天等)下无法获得满意的图片，因此根据此图片进行道路检测的效果不佳。
本公开提出了一种全新的特征图融合方法，充分利用激光雷达获取的数据不受极端天气情况等影响的特点，通过激光雷达获取数据，然后将激光雷达数据进行处理，获得激光雷达图像和相机透视视角下(虚拟相机)的相机透视图，并将两种图像进行融合后获得特征图，可以极大改善所获特征图的质量，进而有助于提高利用该特征图辅助道路检测的检测效果，使得道路检测的精度更高。
在介绍本公开的基本构思之后，下面将结合附图来具体介绍本申请所述提供技术方案的各种非限制性实施例。
示例性方法
图1是本申请一示例性实施例提供的特征图融合方法的流程示意图。
本实施例可应用在电子设备上，具体可以应用于自动驾驶端上。如图1所示，本申请一示例性实施例提供的特征图融合方法至少包括如下步骤：
步骤10：获取激光雷达采集的三维点云对应的激光雷达图像。
由于激光雷达不受极端天气情况的影响，在任何情况下均能够获得非常精确的图像，因此本实施例采用激光雷达来采集路面图像的三维点云。三维点云包含多个无序排列的数据点，因此数据点分布非常不规律；本实施例通过对三维点云中的每一个数据点的坐标进行处理，可以使得数据点的表达形式更加系统化和组织化，从而可以形成三维点云对应的激光雷达图像。
步骤20：根据三维点云以及相机参数，获取三维点云在相机透视视角下对应的相机透视图。
考虑到激光雷达采集的三维点云数据比较稀疏，如果仅使用三维点云对应的激光雷达图像作为输入时，获得的特征图效果不佳，因此，本实施例通过对激光雷达采集的三维点云数据进行进一步的处理。本实施例构建一个虚拟相机，该虚拟相机的内部参数以及与激光雷达之间的外部参数直接指定，从而可以将三维点云中的数据点投射到虚拟相机的像平面上，获取三维点云在相机透视视角下的相机透视图(也可称为相机特征图)。
步骤30：根据激光雷达图像和相机透视图的对应关系，获取激光雷达图像在相机透视视角下的转换特征图。
由于虚拟相机与激光雷达之间存在投影关系，从而可以进一步对激光雷达图像中的数据点进行数据处理，将激光雷达图像中需要转换的特征图转换到相机透视视角下，以获得对应的转换特征图(也可称为雷达特征图)。此处需要转换的特征图对应于激光雷达图像中感兴趣的部分，例如对应于激光雷达图像中的路面部分；当然，也可以对应于其他部分，此处不做限制。
步骤40：将相机透视图和转换特征图进行融合，获取经过融合的特征图。
在获得的激光雷达的三维点云对应的相机透视图和转换特征图中，相机透视图相当于通过一个虚拟相机获得的图像，而特征转换图则相当于通过激光雷达所获得的图像，其包含了非常丰富的语义信息，因此将相机透视图和转换特征图进行融合之后，所获得的特征图兼具了相机透视图的特点和转换特征图的特点，极大提高了所获特征图的质量。
本实施例所获得的特征图可以根据需要应用于各种不同的场景中，例如特征图可以用于道路检测中，此时转换特征图具备的丰富语义信息可以辅助相机透视视角下的道路检测，有效改善道路检测的精度。
本实施例提供的特征图融合方法的有益效果至少在于：本实施例通过构建虚拟相机，从而将激光雷达获取的三维点云在相机透视视角下进行投影，获得对应的相机透视图，同时充分利用了三维点云丰富的语义信息，将激光雷达图像与相机透视图进行融合，所获得的特征图兼具了相机特征图的特点和雷达特征图的特点，极大提高了所获特征图的质量，进而有助于提高利用该特征图辅助道路检测的检测效果，使得道路检测的精度更高。
图2是本申请一示例性实施例提供的特征图融合方法中步骤10的流程示意图。
如图2所示，本申请一示例性实施例提供的获取三维点云对应的激光雷达图像至少包括如下步骤：
步骤101：通过激光雷达采集图像，获取图像的三维点云。
本实施例采用激光雷达实时采集路面图像，采集的图像为三维点云图像，包括多个分散的数据点，每个数据点具有三维坐标信息，记为Pv(xv,yv,zv)。
步骤102：获取三维点云在极坐标系下对应的激光雷达图像。
通过极坐标变换，可以对三维点云中的每个数据点进行变换，获得极坐标形式的激光雷达图像，从而使得三维点云中的分散的数据点更加有序，表达形式更加系统化。
在本实施例中，激光雷达的三维坐标与极坐标(角度θ、角度
Figure BDA0002138939480000063
和距离pi)之间的转换关系可以为：
θ＝atan2(yv,xv) 公式(1)
Figure BDA0002138939480000061
Figure BDA0002138939480000062
其中，atan2(yv,xv)＝arctan(yv/xv)；角度θ和
Figure BDA0002138939480000064
分别是水平角度和垂直角度；pi则是激光雷达图像中数据点到极坐标原点之间的距离；δθ和
Figure BDA0002138939480000065
分别是水平分辨率和垂直分辨率。在本实施例中，每个像素的水平分辨率δθ可以设置为0.25°。在经过上述公式(1)至公式(3)的转换后，可以获得一个大小为Hi×Wi×Di的3D张量，其中Hi和Wi分别是激光雷达图像的高度和宽度(可以是64和360)，Di则是激光雷达图像中数据点的维度，在本实施例中，Di为4(包括3个坐标轴和1个强度值)。在一个实施例中，三维点云经过处理后，获得的激光雷达图像可以如图3所示，其中第一行为X方向的深度图像，第二行为Y方向的宽度图像，第三行为Z方向的高度图像，第四行为数据点的分布强度图像，黑色区域表明在三维点云中没有对应的数据点。
本实施例通过将三维点云极坐标化，可以使得三维点云中分散的数据点的表达形式更加系统化，从而获得数据点更加有序化的激光雷达图像。
图4是本申请一示例性实施例提供的特征图融合方法中步骤20的流程示意图。
如图4所示，本申请一示例性实施例提供的获取三维点云在相机透视视角下对应的相机透视图至少包括如下步骤：
步骤201：获取激光雷达采集的图像在激光雷达坐标系统下的第一坐标信息。
激光雷达采集的三维点云图像中数据点的第一坐标信息可以表示为Pv(xv,yv,zv)。
步骤202：获取第一坐标信息在相机坐标系统下对应的第二坐标信息。
在本实施例中，相机坐标系统为虚拟相机对应的坐标系统，可以通过指定的方式生成，因此相机坐标系统与激光雷达坐标系统之间的转换关系(虚拟相机的外部参数)可以通过预设的方式生成，数据点的第一坐标信息可以根据该转换关系获得相机坐标系统下的第二坐标信息。
步骤203：获取第二坐标信息在图像坐标系统下对应的像素坐标信息，以获得相机透视图。
在本实施例中，虚拟相机的内部参数可以通过指定的方式生成，因此相机坐标系统与图像坐标系统之间的转换关系可以通过预设的方式获得，数据点的第二坐标信息可以根据该转换关系获得图像坐标系统下的像素坐标信息，所有的像素坐标信息即组成了相机透视图。应当理解的是，图像坐标系统为平面系统，因此在将数据点对应的图像从相机坐标系统向图像坐标系统投影时，会失去图像的深度信息。
本实施例通过构建一个虚拟相机，并指定虚拟相机的外部参数和内部参数，从而可以将三维点云数据投影至虚拟相机的图像平面上，获得相机透视图。
图5是本申请一示例性实施例提供的特征图融合方法中步骤202的流程示意图。
如图5所示，本申请一示例性实施例提供的获取第一坐标信息在相机坐标系统下对应的第二坐标信息包括如下步骤：
步骤2021：获取激光雷达坐标系统和相机坐标系统的转换矩阵和矫正矩阵，转换矩阵和矫正矩阵分别为
Figure BDA0002138939480000071
和Rrect，可通过指定的方式生成。
步骤2022：根据转换矩阵和矫正矩阵，获取第一坐标信息在相机坐标系统下对应的第二坐标信息Pc(xc,yc,zc)。在本实施例中，第二坐标信息的表达方式可以为：
Figure BDA0002138939480000081
本实施例通过构建一个虚拟相机，并指定虚拟相机的外部参数，从而可以获得三维点云数据在相机坐标系统下的坐标信息，实现三维点云数据从激光雷达坐标系统向相机坐标系统的转换。
图6是本申请一示例性实施例提供的特征图融合方法中步骤203的流程示意图。
如图6所示，本申请一示例性实施例提供的获取第二坐标信息在图像坐标系统下对应的像素坐标信息包括如下步骤：
步骤2031：获取相机坐标系统和图像坐标系统的投影矩阵。本实施例的投影矩阵为Tproj，可通过指定的方式生成。
步骤2032：根据投影矩阵，获取第二坐标信息在图像坐标系统下对应的像素坐标信息pc(μc,νc)。在本实施例中，像素坐标信息的表达方式可以为：
Figure BDA0002138939480000082
本实施例通过构建一个虚拟相机，并指定虚拟相机的内部参数，从而可以获得三维点云数据在像素坐标系统下的坐标信息，实现三维点云数据从相机坐标系统向像素坐标系统的转换。在经过上述公式(4)至公式(5)的转换后，可以获得一个大小为Hc×Wc×Dc的3D张量，其中Hc和Wc分别是相机透视图的高度和宽度，Dc则是激光雷达图像中数据点的维度，在本实施例中，Di为4(包括3个坐标轴和1个强度值)。
图7是本申请一示例性实施例提供的特征图融合方法中步骤30的流程示意图。
如图7所示，本申请一示例性实施例提供的获取激光雷达图像在相机透视视角下的转换特征图包括如下步骤：
步骤301：根据激光雷达图像和相机透视图的对应关系，获取映射图。
激光雷达图像和相机透视图的生成均涉及到激光雷达所采集的三维点云中数据点(也可称为雷达点)的坐标信息，此处可以构建一个映射层，利用数据点的坐标信息在激光雷达图像和相机透视图之间建立起对应关系。在本实施例中，考虑激光雷达图像中需要转换的特征图用Fi表示，其大小为Hi×Wi×Di，相机透视图中与需要转换的特征图Fi对应的映射图P用表示，其大小为Hi×Wi，则同一个雷达点在激光雷达图像中的坐标和在相机透视图中投影坐标之间可以为如下关系：
Figure BDA0002138939480000091
其中pi＝(ui，vi)∈Ii和pc＝(uc，vc)∈Ic分别表示同一个雷达点在雷达图像和相机透视图中的投影坐标，width是相机透视图的宽度。由上述公式(6)可知，映射图P存储了上述激光雷达图像和相机透视图之间的对应关系。
步骤302：根据映射图和激光雷达图像，获取特征转换图。
在本实施例中，特征转换图Fc的表达方式可以为：
Fc＝fscatter(Fi,P) 公式(7)
其中，fscatter为映射函数，其可以是Scatter函数。
经过上述公式(7)，可以获得相机透视视角下大小为Hc×Wc×Dc的转换特征图Fc，从而可以将激光雷达图像中提取出的特征图Fi缩放到相机透视图的图像分辨率大小。请参考图8(1)，例如，激光雷达图像中提取出的特征图大小是64×360×4，而相机图像子网络的输入需要是376×1248，通过上述公式(7)，可以将特征图Fi的大小转换为376×1248×4。考虑到激光雷达图像的尺寸，上述变换过程的整体计算量很小。
进一步地，在获得了转换特征图后，为了充分利用激光雷达图像的丰富语义信息，本实施例可以通过构建一个融合层来将转换特征图与相机透视图进行融合，请参考图8(2)，例如可以通过CONCATENATE函数来实现融合，从而实现了一个融合层结合两个视角的图像信息。
进一步地，本实施例在获得了特征图之后，可以进一步将其应用于道路检测中。图9是本申请一示例性实施例提供的特征图融合方法的又一种流程示意图。
如图9所示，本申请一示例性实施例提供的特征图融合方法还包括如下步骤：
步骤50：将融合后的特征图输入相机透视子网络中，以辅助相机透视视角下的道路检测。
考虑到不同特征图之间存在的差异，后期融合是一种比较直接的选择，但是在进行道路检测时，只用相机透视图的道路检测结果并不理想，因此本实施例采用前期融合的方式，即将相机透视图与转换特征图融合形成特征图，再将特征图用于道路检测，此时，具有丰富语义信息的转换特征图可以辅助相机透视视角下的道路检测，可有效改善道路检测效果。
示例性装置
基于与本申请方法实施例相同的构思，本申请实施例还提供了一种特征图融合装置。
图10示出了本申请一示例性实施例提供的特征图融合装置的结构示意图。
本实施例提供的特征图融合装置包括雷达图像获取模块61、相机透视图获取模块62、转换特征图获取模块63以及融合模块64。其中，雷达图像获取模块61用于获取激光雷达采集的三维点云对应的激光雷达图像；相机透视图获取模块62用于根据三维点云以及相机参数，获取三维点云在相机透视视角下对应的相机透视图；转换特征图获取模块63用于根据激光雷达图像和相机透视图的对应关系，获取激光雷达图像在相机透视视角下的转换特征图；融合模块64用于将相机透视图和转换特征图进行融合，获取经过融合的特征图。
请参阅图11，进一步地，雷达图像获取模块61包括图像采集单元611和雷达图像获取单元612。其中，图像采集单元611用于采集图像，并获取图像的三维点云；雷达图像获取单元612用于获取三维点云在极坐标系下对应的激光雷达图像。
请参阅图12，进一步地，相机透视图获取模块62包括第一坐标获取单元621、第二坐标获取单元622以及像素坐标获取单元623。其中，第一坐标获取单元621用于获取激光雷达采集的图像在激光雷达坐标系统下的第一坐标信息，第二坐标获取单元622用于获取第一坐标信息在相机坐标系统下对应的第二坐标信息，像素坐标获取单元623用于获取第二坐标信息在图像坐标系统下对应的像素坐标信息。
请参阅图13，进一步地，特征图融合装置还包括道路检测模块65，道路检测模块65用于将融合后的特征图输入相机透视子网络中，以辅助相机透视视角下的道路检测。
示例性电子设备
图14图示了根据本申请实施例的电子设备的框图。
如图14所示，电子设备700包括一个或多个处理器701和存储器702。
处理器701可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备700中的其他组件以执行期望的功能。
存储器702可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器701可以运行所述程序指令，以实现上文所述的本申请的各个实施例的特征图融合方法以及/或者其他期望的功能。
在一个示例中，电子设备700还可以包括：输入装置703和输出装置704，这些组件通过总线系统和/或其形式的连接机构(未示出)互连。
该输入装置703可以包括例如键盘、鼠标等。
该输出装置704可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置704可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图14中仅示出了该电子设备700中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备700还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的特征图融合方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的特征图融合方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种特征图融合方法，包括：
获取激光雷达采集的三维点云对应的激光雷达图像；
根据所述三维点云以及相机参数，获取所述三维点云在相机透视视角下对应的相机透视图；
根据所述激光雷达图像和所述相机透视图的对应关系，获取所述激光雷达图像在相机透视视角下的转换特征图；
将所述相机透视图和所述转换特征图进行融合，获取经过融合的特征图。
2.根据权利要求1所述的方法，其中，所述根据所述激光雷达图像和所述相机透视图的对应关系，获取所述激光雷达图像在相机透视视角下的转换特征图，包括：
根据所述激光雷达图像和所述相机透视图的对应关系，获取映射图；
根据所述映射图和所述激光雷达图像，获取特征转换图。
3.根据权利要求1所述的方法，其中，所述根据所述三维点云以及相机参数，获取所述三维点云在相机透视视角下对应的相机透视图，包括：
获取激光雷达采集的图像在激光雷达坐标系统下的第一坐标信息；
获取所述第一坐标信息在相机坐标系统下对应的第二坐标信息；
获取所述第二坐标信息在图像坐标系统下对应的像素坐标信息，以获得所述相机透视图。
4.根据权利要求3所述的方法，其中，所述获取所述第一坐标信息在相机坐标系统下对应的第二坐标信息，包括：
获取所述激光雷达坐标系统和所述相机坐标系统的转换矩阵和矫正矩阵；
根据所述转换矩阵和矫正矩阵，获取所述第一坐标信息在相机坐标系统下对应的第二坐标信息。
5.根据权利要求3所述的方法，其中，所述获取所述第二坐标信息在图像坐标系统下对应的像素坐标信息，包括：
获取所述相机坐标系统和所述图像坐标系统的投影矩阵；
根据所述投影矩阵，获取所述第二坐标信息在图像坐标系统下对应的像素坐标信息。
6.根据权利要求1所述的方法，其中，所述获取激光雷达采集的三维点云对应的激光雷达图像，包括：
通过激光雷达采集图像，获取所述图像的三维点云；
获取所述三维点云在极坐标系下对应的激光雷达图像。
7.根据权利要求1～6任一项所述的方法，其中，所述将所述相机透视图和所述转换特征图进行融合，获取经过融合的特征图步骤后，还包括：
将融合后的所述特征图输入相机透视子网络中，以辅助相机透视视角下的道路检测。
8.一种特征图融合装置，包括：
雷达图像获取模块，用于获取激光雷达采集的三维点云对应的激光雷达图像；
相机透视图获取模块，用于根据所述三维点云以及相机参数，获取所述三维点云在相机透视视角下对应的相机透视图；
转换特征图获取模块，用于根据所述激光雷达图像和所述相机透视图的对应关系，获取所述激光雷达图像在相机透视视角下的转换特征图；
融合模块，用于将所述相机透视图和所述转换特征图进行融合，获取经过融合的特征图。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的特征图融合方法。
10.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一所述的特征图融合方法。
CN201910662258.0A 2019-07-22 2019-07-22 一种特征图融合方法及装置 Pending CN112257732A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910662258.0A CN112257732A (zh) 2019-07-22 2019-07-22 一种特征图融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910662258.0A CN112257732A (zh) 2019-07-22 2019-07-22 一种特征图融合方法及装置

Publications (1)

Publication Number Publication Date
CN112257732A true CN112257732A (zh) 2021-01-22

Family

ID=74224375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910662258.0A Pending CN112257732A (zh) 2019-07-22 2019-07-22 一种特征图融合方法及装置

Country Status (1)

Country Link
CN (1) CN112257732A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103026395A (zh) * 2010-11-15 2013-04-03 图像传感系统有限公司 混合交通传感器系统和相关的方法
US20170039765A1 (en) * 2014-05-05 2017-02-09 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
CN108932475A (zh) * 2018-05-31 2018-12-04 中国科学院西安光学精密机械研究所 一种基于激光雷达和单目视觉的三维目标识别系统及方法
JP2019049484A (ja) * 2017-09-11 2019-03-28 コニカミノルタ株式会社 物体検出システム及び物体検出プログラム
CN109696173A (zh) * 2019-02-20 2019-04-30 苏州风图智能科技有限公司 一种车体导航方法和装置
CN109859154A (zh) * 2019-01-31 2019-06-07 深兰科技（上海）有限公司 一种数据融合方法、装置、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103026395A (zh) * 2010-11-15 2013-04-03 图像传感系统有限公司 混合交通传感器系统和相关的方法
US20170039765A1 (en) * 2014-05-05 2017-02-09 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
JP2019049484A (ja) * 2017-09-11 2019-03-28 コニカミノルタ株式会社 物体検出システム及び物体検出プログラム
CN108932475A (zh) * 2018-05-31 2018-12-04 中国科学院西安光学精密机械研究所 一种基于激光雷达和单目视觉的三维目标识别系统及方法
CN109859154A (zh) * 2019-01-31 2019-06-07 深兰科技（上海）有限公司 一种数据融合方法、装置、设备及介质
CN109696173A (zh) * 2019-02-20 2019-04-30 苏州风图智能科技有限公司 一种车体导航方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUO GU等: "3D LiDAR + Monocular Camera: an Inverse-Depth Induced Fusion Framework for Urban Road Detection", 《IEEE TRANSACTIONS ON INTELLIGENT VEHICLE》, pages 351 - 360 *

Similar Documents

Publication Publication Date Title
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN111694903A (zh) 地图构建方法、装置、设备以及可读存储介质
US9591280B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US20130002871A1 (en) Vehicle Vision System
US11816865B2 (en) Extrinsic camera parameter calibration method, extrinsic camera parameter calibration apparatus, and extrinsic camera parameter calibration system
CN112444242A (zh) 一种位姿优化方法及装置
WO2022183685A1 (zh) 目标检测方法、电子介质和计算机存储介质
WO2023221566A1 (zh) 一种基于多视角融合的3d目标检测方法及装置
CN113240734B (zh) 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
CN112036359B (zh) 一种车道线的拓扑信息获得方法、电子设备及存储介质
WO2023231435A1 (zh) 视觉感知方法、装置、存储介质和电子设备
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN113160349A (zh) 点云标注方法、装置、存储介质及电子设备
CN111307163B (zh) 可移动设备的定位方法、定位装置及电子设备
WO2024051344A1 (zh) 一种地图创建方法及装置
CN113281780A (zh) 对图像数据进行标注的方法、装置及电子设备
CN111337010B (zh) 可移动设备的定位方法、定位装置及电子设备
WO2023184869A1 (zh) 室内停车场的语义地图构建及定位方法和装置
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN112257732A (zh) 一种特征图融合方法及装置
CN113808186A (zh) 训练数据生成方法、装置与电子设备
CN112652018A (zh) 外参确定方法、外参确定装置及电子设备
CN117315035B (zh) 一种车辆朝向的处理方法、装置以及处理设备
CN112116804B (zh) 一种车辆状态量信息确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination