CN110378905B - 角点提取、匹配的神经网络和方法及设备标定方法和装置 - Google Patents

角点提取、匹配的神经网络和方法及设备标定方法和装置 Download PDF

Info

Publication number
CN110378905B
CN110378905B CN201810801788.4A CN201810801788A CN110378905B CN 110378905 B CN110378905 B CN 110378905B CN 201810801788 A CN201810801788 A CN 201810801788A CN 110378905 B CN110378905 B CN 110378905B
Authority
CN
China
Prior art keywords
data
layer
point cloud
corner
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810801788.4A
Other languages
English (en)
Other versions
CN110378905A (zh
Inventor
李艳丽
张峥
秦鹏飞
赫桂望
蔡金华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810801788.4A priority Critical patent/CN110378905B/zh
Publication of CN110378905A publication Critical patent/CN110378905A/zh
Application granted granted Critical
Publication of CN110378905B publication Critical patent/CN110378905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种角点提取、匹配的神经网络和方法及设备标定方法和装置，涉及计算机技术领域。本发明的对激光点云进行角点提取的神经网络的一具体实施方式包括：神经网络包括第一数据层和第一网络层，第一数据层用于表示神经网络在运算过程中所传递的数据，且包括第一输入数据层、第一输出数据层以及第一中间数据层，其中，第一输入数据层的数据为点云块数据；第一网络层用于对输入第一网络层的第一输入数据层或第一中间数据层的数据进行运算，以得到第一中间数据层或第一输出数据层的数据，第一网络层包括切分层、第一全卷积层、第一级联层和池化层。该实施方式能够通过神经网络模型进行激光点云的角点提取，且提取速度快，准确度高。

Description

角点提取、匹配的神经网络和方法及设备标定方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种角点提取、匹配的神经网络和方法及设备标定方法和装置。
背景技术
在自动驾驶系统中，激光雷达和摄像机是环境感知的两种常用传感器。激光雷达捕获的点云数据具有环境深度和辐射度属性，摄像机捕获的视频图像具有环境颜色和纹理属性，两者互为有益补充。实验表明，融合激光雷达和摄像机这两种传感器采集的数据有助于提高场景感知的准确性和健壮性，这也是目前车载场景感知的常用手段之一。为了融合两者，需要对激光雷达和摄像机进行标定，即：通过求解激光雷达和摄像机的内外参数，以建立两个传感器坐标之间的几何变换关系，从而在数据采集后根据几何变换关系实现数据对准。
现有激光雷达和摄像机的设备标定方法都是基于标定板的预标定，即车载系统上路之前在固定标定场中进行标定，如图1所示，即为现有进行预标定的标定场示意图。常用的标定板为如图2所示的黑白棋盘格标定板。由于黑白棋盘格上的点、线、面结构单一并且角点突出，因此便于在激光点云和图像数据中进行角点提取和匹配，从而易于获取真实世界下的棋盘角点在激光点云和图像中的投影点，进而根据摄影几何理论恢复出摄像机和激光雷达的几何变换关系，实现激光雷达和摄像机的设备标定。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
首先，在基于标定板的标定方式中，都需要执行数据采集、数据处理和传感器参数标定的流程，因此无法做到实时标定；其次，数据处理还涉及数据导入、区域选取甚至角点提取等操作，因此，操作过程比较复杂，如果设备搭建不合理则需再次标定，这往往是一个反复迭代和验证的过程，极大耗费了研发人员的精力和时间；再次，这种方式在标定后将固定激光雷达和摄像机的位置，然而在车载环境感知过程中，针对不同感知任务(例如车道线检测、路牌检测、车辆和行人检测等)可能需要调整摄像头角度，这种预标定的方式不够灵活多变，特别是，目前很多情况下已使用旋转摄像机取代固定摄像机来自适应拍摄场景，故而亟需进行在自然场景下完成激光雷达和摄像机的实时标定。
发明内容
有鉴于此，本发明实施例提供一种角点提取、匹配的神经网络和方法及设备标定方法和装置，能够通过神经网络模型进行激光点云的角点提取，可以对自然场景下的激光点云进行角点提取，且提取速度快，准确度高。
为实现上述目的，根据本发明实施例的一个方面，提供了一种对激光点云进行角点提取的神经网络。
一种对激光点云进行角点提取的神经网络，所述神经网络包括第一数据层和第一网络层，所述第一数据层用于表示神经网络在运算过程中所传递的数据，且包括第一输入数据层、第一输出数据层以及第一中间数据层，其中，所述第一输入数据层的数据为点云块数据；所述第一网络层用于对输入所述第一网络层的所述第一输入数据层或所述第一中间数据层的数据进行运算，以得到所述第一中间数据层或所述第一输出数据层的数据，所述第一网络层包括切分层、第一全卷积层、第一级联层和池化层。
可选地，所述点云块数据包括不少于4个通道的数据。
可选地，所述点云块数据包括4个通道的数据，分别为点云块的3维空间位置数据和强度数据；并且，所述切分层用于将所述点云块数据切分为点云块的3维空间位置数据和点云块的强度数据；所述第一级联层用于将对所述点云块的3维空间位置数据进行变换运算后得到的第一中间数据层的数据与所述点云块的强度数据进行级联。
可选地，所述变换运算包括通过所述第一全卷积层对所述第一中间数据层的数据进行特征变换。
可选地，所述第一输出数据层的数据为所述点云块是否为角点的概率，所述第一网络层还包括softmax分类运算层，且最后一个第一网络层为softmax分类运算层。
根据本发明实施例的另一方面，提供了一种对激光点云进行角点提取的方法。
一种对激光点云进行角点提取的方法，包括：将激光点云划分为不少于一个点云块；分别将每个点云块的数据输入本发明实施例所提供的对激光点云进行角点提取的神经网络以判断所述点云块是否为角点，以对所述激光点云进行角点提取。
根据本发明实施例的又一方面，提供了一种对激光点云和图像进行角点匹配的神经网络。
一种对激光点云和图像进行角点匹配的神经网络，包括：特征提取子网络一、特征提取子网络二，以及特征匹配子网络；其中，所述特征提取子网络一用于通过如权利要求1-5中任一所述的神经网络对激光点云的角点数据进行特征提取；所述特征提取子网络二用于对图像的角点数据进行特征提取，包括第二输入数据层、第二中间数据层和第二网络层，所述第二输入数据层的数据为图像的角点数据；所述特征匹配子网络用于对通过所述特征提取子网络一所提取的激光点云角点的特征和通过所述特征提取子网络二所提取的图像角点的特征进行特征匹配，以判断所述激光点云的角点和所述图像的角点是否属于同一场景点，包括第二输出数据层和第三网络层。
可选地，所述第三网络层包括第二级联层、全连接层和第二全卷积层。
可选地，所述第二输出数据层的数据为特征匹配的概率，且最后一个第三网络层为全卷积层。
可选地，所述第二输出数据层的数据为特征是否匹配的概率，所述第三网络层还包括softmax分类运算层，且最后一个第三网络层为softmax分类运算层。
根据本发明实施例的又一方面，提供了一种对激光点云和图像进行角点匹配的方法。
一种对激光点云和图像进行角点匹配的方法，包括：通过将激光点云的角点数据和图像的角点数据输入本发明实施例所提供的对激光点云和图像进行角点匹配的神经网络以判断所述激光点云的角点和所述图像的角点是否属于同一场景点，以对所述激光点云和所述图像进行角点匹配。
根据本发明实施例的又一方面，提供了一种激光雷达和摄像机的设备标定方法。
一种激光雷达和摄像机的设备标定方法，包括：获取同步采集的激光点云和图像的数据；分别对所述激光点云和所述图像进行角点提取，以获取激光点云的角点数据和图像的角点数据，其中，使用本发明实施例所提供的对激光点云进行角点提取的方法对所述激光点云进行角点提取；通过对所述激光点云的角点数据和所述图像的角点数据进行特征匹配，以得到属于同一场景点的激光点云的角点数据和图像的角点数据；根据属于同一场景点的激光点云的角点数据和图像的角点数据计算激光点云和图像的投影模型参数，以进行设备标定。
可选地，使用本发明实施例所提供的对激光点云和图像进行角点匹配的方法对所述激光点云的角点数据和所述图像的角点数据进行特征匹配。
根据本发明实施例的又一方面，提供了一种激光雷达和摄像机的设备标定装置。
一种激光雷达和摄像机的设备标定装置，包括：数据获取模块，用于获取同步采集的激光点云和图像的数据；角点提取模块，用于分别对所述激光点云和所述图像进行角点提取，以获取激光点云的角点数据和图像的角点数据，其中，使用本发明实施例所提供的对激光点云进行角点提取的方法对所述激光点云进行角点提取；角点匹配模块，用于通过对所述激光点云的角点数据和所述图像的角点数据进行特征匹配，以得到属于同一场景点的激光点云的角点数据和图像的角点数据；参数计算模块，用于根据属于同一场景点的激光点云的角点数据和图像的角点数据计算激光点云和图像的投影模型参数，以进行设备标定。
可选地，使用本发明实施例所提供的对激光点云和图像进行角点匹配的方法对所述激光点云的角点数据和所述图像的角点数据进行特征匹配。
根据本发明实施例的又一方面，提供了一种电子设备。
一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所提供的角点提取、匹配的神经网络和方法及设备标定的方法和装置。
根据本发明实施例的再一方面，提供了一种计算机可读介质。
一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例所提供的角点提取、匹配的神经网络和方法及设备标定的方法和装置。
上述发明中的一个实施例具有如下优点或有益效果：提供了一种对激光点云进行角点提取的神经网络，包括第一数据层和第一网络层，第一数据层用于表示神经网络在运算过程中所传递的数据，且包括第一输入数据层、第一输出数据层以及第一中间数据层，其中，第一输入数据层的数据为点云块数据；第一网络层用于对输入第一网络层的第一输入数据层或第一中间数据层的数据进行运算，以得到第一中间数据层或第一输出数据层的数据，网络层包括切分层、全卷积层、级联层和池化层，实现了通过神经网络模型进行激光点云的角点提取，可以对自然场景下的激光点云进行角点提取，且提取速度快，准确度高。通过将点云块的多个通道的数据输入神经网络，可以使不同通道之间的数据特征进行相互补充，从而使点云块数据的特征更加饱满，角点提取也更准确；通过对多个通道的数据进行切分和级联，从而保持了点云数据的多尺度属性；通过设置最后一个网络层为softmax分类运算层，从而实现了通过解决机器学习中的分类问题来判断一个点云块是否为角点。
另外，本发明还提供了一种激光点云与图像角点匹配的神经网络和方法，实现了通过神经网络进行角点匹配，通过解决机器学习中的回归问题来判断点云块和图像块是否为同一场景点，可以快速、准确地对角点进行匹配。同时，本发明还提供了一种激光雷达和摄像机的设备标定方法，可以在自然场景下，脱离标定板进行设备标定，从而使得设备标定具有实时性高、操作简单、灵活实用和准确性高的特点。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是现有进行预标定的标定场示意图；
图2是黑白棋盘格标定板示意图；
图3是本发明一个实施例的自然场景下进行设备标定的方法的流程示意图；
图4是图像和深度图中的角点和非角点区域示意图；
图5是图像和激光点云图中的角点和非角点区域示意图；
图6是根据本发明实施例的角点提取的神经网络的结构示意图；
图7是本发明一个实施例的角点提取的神经网络的结构示意图；
图8是根据本发明实施例的角点匹配的神经网络的结构示意图；
图9是本发明一个实施例的角点匹配的神经网络的结构示意图；
图10是根据本发明实施例的设备标定的方法的主要步骤示意图；
图11是根据本发明实施例的设备标定的装置的主要模块示意图；
图12是本发明实施例可以应用于其中的示例性系统架构图；
图13是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
根据对现有技术中存在的问题的分析可知，如何抛开标定板，在自然场景下完成激光雷达和摄像机的实时标定是本发明要实现的主要目标。在本发明中，车载系统在室内外场景下可以随意调整两个传感器的位置，调整结束后开发人员发出标定指令，然后移动车载系统采集多角度下的数据，系统将根据采集数据进行实时标定并反馈标定结果。其中，现有方式之所以采用标定板，主要是便于检测和匹配激光点云和图像中的角点，因此，本发明还提出了一种在自然场景下的激光点云角点检测和角点匹配的方法以及对应的神经网络。
如图3所示，是本发明一个实施例的自然场景下进行设备标定的方法的流程示意图。在本发明的一个实施例中，操作人员和标定系统协同完成激光雷达和摄像机的设备标定，图中虚线左侧是操作人员的任务，虚线右侧为标定系统的任务。操作人员负责启动标定、终止标定和移动车载系统，标定系统负责同步激光雷达和摄像机、数据采集、角点提取和匹配，以及实时标定和判定标定是否结束。下面对其中的各个步骤进行介绍。
启动标定和终止标定，这两个步骤可以是由操作人员手动启动或终止标定任务，其中的操作方式包括而不限于按钮点击、语音指令启动、遥控器控制和生物特征启动等。
移动车载系统的步骤是由操作人员在同一场景下以接近匀速前后左右移动车载系统，以便采集到多组丰富多样的双传感器数据。
同步激光雷达和摄像机，该步骤的目的是保证同一组内的激光点云数据和图像数据是同一时刻采集的。同步方式包括而不限于硬件(如组合惯导GPS+IMU，其中，GPS是全球定位系统，IMU是惯性测量单元)触发、系统时间同步等。其中，硬件触发同步指的是硬件设备向摄像机和激光雷达发送(例如发送频率为1000fps)设备时钟以作为惯导信号，摄像机(例如采集频率20fps)和激光雷达(例如采集频率100fps)采集数据的同时根据收到的惯导信号将采集到的数据的时间属性标记为硬件设备的时钟；系统时间同步指的是在激光雷达和摄像机采集数据的同时将采集到的数据的时间属性标记为系统时间。
数据采集，该步骤的目的是尽量做到均匀连续地采集激光点云和图像的匹配对，可采用现有技术，步骤包括而不限于数据解压、数据同步匹配和噪声去除等。
其中，当采集到的数据为压缩数据时，需要进行数据解压，具体地，例如可以用图像解压技术(如JPEG解压)将图像解压为imW*imH*3的彩色图像，用激光点云解压技术(如PCAP解压)将激光点云解压为N*4点集，其中，N为点云数，4为点云属性个数(例如包括三维空间坐标X、Y、Z和强度I)。
数据同步匹配指的是对于之前采集的图像数据和激光点云数据，根据数据的时间属性值来进行图像和激光点云的同步匹配，具体地，由于图像和激光点云的采集频率不同，例如图像采集频率为20fps，激光点云采集频率为100fps，那么，在进行图像和激光点云的同步匹配时，可按照低于图像采集频率的频率(如1fps)来匹配图像和激光点云，从而获取图像和与其同步的激光点云匹配对。
另外，考虑到设备和环境干扰可能会导致部分激光点云严重偏离原来的位置，故而需要进行噪声去除，可通过将以采集点为中心的三维包围盒(如长度10米的正方体)外的激光点云去除的方式来将噪声点去除。
角点提取和匹配，该步骤的目的是提取激光点云和图像上的角点，并对提取的角点进行匹配，其中的图像角点提取可采用现有技术来进行，包括而不限于SIFT角点、Harris角点和各种神经网络训练出的角点等，激光点云的角点提取和激光点云与图像的角点匹配是本发明的重点，后文将详细介绍。
实时标定，该步骤的目的是求取激光点云和图像的投影模型参数，进而可实现激光雷达和摄像机的设备标定。其中，投影模型参数例如包括激光雷达和摄像机的内外参数，其中的内参数包括摄像机焦距、中心点等，外参数是激光点云(X，Y，Z)和图像像素(x，y)的映射模型中的11个参数。当投影模型参数不同时，构建的投影模型也不同。以需要求解的投影模型参数为外参数为例，构建的投影模型例如是下式：
Figure BDA0001737283240000101
实时标定就是求取上式中的11个参数，可以用直接线性变换标定法拟合激光点云的三维空间坐标(X，Y，Z)到图像像素(x，y)的投影模型，即根据激光点云和图像的投影角点，带入以上公式用最小二次法拟合出这11个参数即可。
标定结束，此步骤的目的是根据标定结果或者用户指令来判定是否结束标定，可采用现有技术，包括而不限于标定结果达到给定指标、设备电量和存储量小于阈值的触发、操作人员手动点击、语音指令终止，以及多种条件的组合触发等。
结果反馈，此步骤的目的是将标定结果反馈给操作人员，包括而不限于语音反馈、命令行反馈和界面反馈等，反馈内容包括而不限于是否标定终止、标定误差和标定参数等。
在上述步骤中，激光点云的角点提取和激光点云与图像的角点匹配是本发明的重点，下面将结合附图对其进行详细阐述，而对其他步骤不做赘述。
图4是图像和深度图中的角点和非角点区域示意图。角点是场景中的显著特征点，具有局部丰富的特征。图4展示了图像(左边)和深度图(右边)中的两个匹配区域块，图4中椭圆块所示意的室内场景中椅子支架处为角点，反之菱形所示意的墙面区域为非角点。
图5是图像和激光点云图中的角点和非角点区域示意图。其中，图5中的图像与图4所示为同一场景下的同一图像。图5展示了图像(左边)和激光点云图(右边)中的两个匹配区域块，图5中椭圆块所示意的室内场景中椅子支架处为角点，反之菱形所示意的墙面区域为非角点。
由图4和图5可以看出，图像与深度图、激光点云图的角点是可以相互匹配的，通过进行角点匹配即可实现设备标定。
在计算机视觉领域中，对图像的角点提取和匹配技术比较成熟，例如SIFT、Harris和Fast等，相比而言，对激光点云的角点提取和匹配却鲜被研究。为了更方便、准确地进行激光点云的角点提取和匹配，本发明提出了一种对激光点云的角点进行提取和匹配方法。
角点提取即是判定一个区域块是否为角点，这是机器学习中的分类问题；角点匹配就是估计给定的两个区域块是同一场景点的概率，这是机器学习中的回归问题。实验表明，深度神经网络能极好处理图像块的分类和回归问题，通过将其扩展到激光块的分类和回归中，即可实现通过深度神经网络来解决激光点云中的角点提取，以及激光点云和图像角点匹配的问题。
图6是根据本发明实施例的角点提取的神经网络的结构示意图。如图6所示，本发明实施例的角点提取的神经网络包括第一数据层和第一网络层，第一数据层用于表示神经网络在运算过程中所传递的数据，且包括第一输入数据层、第一输出数据层以及第一中间数据层，其中，第一输入数据层的数据为点云块数据；第一网络层用于对输入第一网络层的第一输入数据层或第一中间数据层的数据进行运算，以得到第一中间数据层或第一输出数据层的数据，第一网络层包括切分层、第一全卷积层、第一级联层和池化层。
根据本发明的技术方案，点云块数据包括不少于4个通道的数据。通过引入更多通道的数据进行处理，可以使不同通道之间的数据特征进行相互补充，从而使点云块数据的特征更加饱满，角点提取也更准确。点云块数据并不局限于4个通道的数据，还可以包括其他可以表征点云数据特征的数据。
在本发明的一个实施例中，点云块数据包括4个通道的数据，分别为点云块的3维空间位置数据和强度数据；并且，
切分层用于将点云块数据切分为点云块的3维空间位置数据和点云块的强度数据；
第一级联层用于将对点云块的3维空间位置数据进行变换运算后得到的第一中间数据层的数据与点云块的强度数据进行级联。
其中，变换运算包括通过第一全卷积层对第一中间数据层的数据进行特征变换。在一个实施例中，可以通过一全卷积层改变中间数据层的通道(特征)数目，例如将3维特征变换为64维特征。在另一个实施例中，可以通过一全卷积层对中间数据层进行几何变换，例如不改变中间数据层的通道(特征)数目，而是改变其对应特征的取值。
根据本发明实施例的技术方案，第一输出数据层的数据为点云块是否为角点的概率，第一网络层还包括softmax分类运算层，且最后一个第一网络层为softmax分类运算层。
下面结合具体实施例介绍本发明的角点提取的神经网络。
图7是本发明一个实施例的角点提取的神经网络的结构示意图。在该实施例的介绍中，所提及的数据层、网络层、输入数据层、输出数据层、中间数据层、全卷积层和级联层分别对应图6的角点提取的神经网络中的第一数据层、第一网络层、第一输入数据层、第一输出数据层、第一中间数据层、第一全卷积层和第一级联层。
如图7所示，对于给定的固定尺寸(例如长度为3厘米的立方体)激光点云块，点云点的数目为n，借鉴PointNet(CVPR2017)，并对该网络进行了拆分和合并等以将其用于本发明中对角点进行提取。其中，PointNet是斯垣福大学在2016年提出的一种点云分类/分割深度学习框架；CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写，即IEEE国际计算机视觉与模式识别会议的简写，CVPR2017是2017年的CVPR会议论文。
对于每个点云块，通过神经网络对其进行角点判定，最后得到该点云块是否为角点的概率，从而实现了对激光点云数据的角点提取。如图7所示的神经网络中，实线框为数据层，数据在网络中传递计算的过程将生成一系列的数据层，可以包括输入数据层、输出数据层以及中间数据层；虚线框为网络层，每个网络层包括计算公式定义和参数等运算规则，一个输入数据经过层层网络层的运算，最终能够得到输出数据。
在图7所示的实施例中，n为点云块中的点云点的数目，输入数据为(nx4)，是4通道(X，Y，Z，Intensity)的原始(所采集的)点云块数据，其中，X、Y、Z为每个点云点的三维空间位置坐标，Intensity为点云点的强度。输出数据层为1x2的向量，是2通道的、关于该点云块是否为角点的概率判定，例如，(0.2,0.8)的输出数据层是指，该点云块为角点的概率为0.2，不为角点的概率为0.8。其中还有一些数据(nx64)、(nx256)、(nx512)和(nx1024)分别为64、256、512和1024通道的中间数据层。
网络层主要包括切分(Split)层、全卷积层、级联(Concat)层和池化(Pooling)层。
其中，切分层用于对输入的点云块数据进行切分，以得到点云块的3维空间位置数据和点云块的强度数据两部分。由于空间位置数据和强度数据的属性、坐标、度量单位等均不同，两者无法直接进行特征提取，因此，需要将点云块的3维空间位置数据和点云块的强度数据进行拆分，以单独进行特征提取等操作。那么，相应地，在对空间位置数据进行变换运算以得到高维特征后，就需要通过级联层将得到的高维特征与点云块的强度数据进行级联，以便进行更进一步的处理。级联就是相同个数的数据在通道(维度)层串联，例如带坐标(X，Y，Z)的点云(N*3)和带颜色(R，G，B)的点云(N*3)级联，得到带有坐标和颜色的点云(N*3)，这样每个点云点有6个维度的属性。其中，级联的方式比较灵活，可以是将所有数据顺次连接，也可以是将顺序打乱后连接，还可以根据需要制定规则以按照规则进行级联。在本发明的实施例中，级联层Concat层将点云数据进行不同通道的扩展，将中间数据(nx1)、(nx64)、(nx256)和(nx1024)级联为(nx1345)，从而保持了点云数据的多尺度属性，以更好地保持分辨率的普遍性。
全卷积层(例如：图7中的3x64、64x64等)可被认为是由卷积构成的全连接层，是数据共用，即该点云块的数据层跟同一卷积核进行卷积操作，输出为该点云块的下一个数据层，例如(nx3)*(3x64)＝(nx64)是将3通道(特征)的点云数据转换为64通道(特征)的点云数据。
在另一方面，T-Net层也是一种全卷积层，用于对数据进行几何变换和/或特征变换。T-Net层的参数为KxK矩阵(例如图7中的3x3矩阵、64x64矩阵)，计算为矩阵相乘，即将输入至T-Net层的大小为nxK的点云块数据(经过特征变换或未经过特征变换)和大小为KxK的矩阵相乘，以改变该点云块数据的对应特征的取值，以实现几何变换(如仿射变换)和/或特征变换(如类似PCA的正交矩阵)。由于T-Net层也是一种网络层，如同其他网络层，经过训练后其参数(KxK矩阵)保持不变。池化层的作用是对于每个通道(特征)取经特征变换后的点云块数据中该通道的最大值。
根据图7所示的实施例，由于输出数据层为点云块是否为角点的概率，故而最后一个网络层为softmax分类运算层，从而通过解决机器学习中的分类问题实现了判断一个点云块是否为角点。一般地，在具体实现时，可设置当点云块是角点的概率大于预设阈值(例如：90％)时，即判定该点云块为角点。
由上述介绍可以看出，本发明的对激光点云进行角点提取的方法，是通过将激光点云划分为不少于一个点云块；然后，分别将每个点云块的数据输入本发明实施例的对点云数据进行角点提取的神经网络以判断点云块是否为角点，从而实现对激光点云的角点提取。在具体实施过程中，点云块的大小可根据需要进行设定，在设定点云块的大小时，应综合考虑角点提取的计算量、角点提取的计算精度、角点匹配的计算精度和标定精度等多方面因素，以设定合适的大小。
另外，当判断一个点云块为角点时，将会获取该点云块对应的多个点云点的4通道(X，Y，Z，Intensity)数据，以用于进行角点匹配。
图8是根据本发明实施例的角点匹配的神经网络的结构示意图。如图8所示，本发明实施例的角点匹配的神经网络主要包括特征提取子网络一、特征提取子网络二，以及特征匹配子网络，其中，特征提取子网络一用于通过如图6所示的神经网络对激光点云的角点数据进行特征提取；特征提取子网络二用于对图像的角点数据进行特征提取，包括第二输入数据层、第二中间数据层和第二网络层，第二输入数据层的数据为图像的角点数据；特征匹配子网络用于对通过特征提取子网络一所提取的激光点云角点的特征和通过特征提取子网络二所提取的图像角点的特征进行特征匹配，以判断激光点云的角点和图像的角点是否属于同一场景点，包括第二输出数据层和第三网络层。其中，特征匹配子网络根据运算需要，还可包括中间数据层等。
根据本发明的实施例，第三网络层主要包括第二级联层、全连接层和第二全卷积层
根据本发明的一个实施例，第二输出数据层的数据为特征匹配的概率，且最后一个第三网络层为全卷积层。根据该实施例的技术方案，即可通过解决机器学习中的回归问题来判断给定的两个区域块是同一场景点的概率。
根据本发明的另一个实施例，第二输出数据层的数据为特征是否匹配的概率，第三网络层还包括softmax分类运算层，且最后一个第三网络层为softmax分类运算层。根据该实施例的技术方案，是通过将判断给定的两个区域块是否是同一场景点作为机器学习中的分类问题来进行处理的，即：通过解决机器学习中的分类问题来判断给定的两个区域块是否是同一场景点的概率。
下面结合具体实施例介绍本发明的角点匹配的神经网络。
图9是本发明一个实施例的角点匹配的神经网络的结构示意图。如图9所示，其中，在第二级联层Concat层之前，是两个特征提取子网络，从第二级联层Concat层开始及之后，是特征匹配子网络。与图8对应，图9中第二级联层Concat层之前，含有省略部分的神经网络为特征提取子网络一，用于进行激光点云的角点数据的特征提取；位于其下方的另外一个神经网络即为特征提取子网络二，用于进行图像的角点数据的特征提取。其中，特征提取子网络一包括如图7所示的神经网络中由第一输入数据层至池化层的输出对应的第一中间数据层部分，最终得到一个1x512维的特征，其具体实现此处不再赘述。下面着重介绍特征提取子网络二和特征匹配子网络的结构和实现。
在本发明的实施例中，借鉴VGGNet(BMVC2014)设计了特征提取子网络二和特征匹配子网络结构。VGGNet由牛津大学计算机视觉几何组(Visual Geometry Group)和DeepMind公司共同研发的一种深度卷积网络；BMVC2014为2014年举办的British MachineVision Conference会议的简称。
对于给定的固定尺寸(例如长度为3厘米的立方体)的激光点云块，和固定尺寸(例如长宽都是64像素)的图像块，对其进行是否场景同一点的判定。如图9，实线框为数据层(包括特征提取子网络一的数据层、特征提取子网络二的数据层和特征匹配子网络的数据层)，虚线框为网络层(包括特征提取子网络一的网络层、特征提取子网络二的网络层和特征匹配子网络的网络层)，n为点云点个数，输入(nx4)为4通道(X，Y，Z，Intensity)的原始点云块数据，输入(64x64x3)为3通道(R，G，B)的原始图像块数据，输出(1x1)为是否匹配的概率判定。
在特征提取子网络二中，同样包括数据层和网络层，其中，特征提取子网络二的数据层主要可以包括第二输入数据层(用于表示图像的角点数据)和第二中间数据层，以第二中间数据层(32x32x128)为例，该第二中间数据层表示128通道的长宽都是32像素的图块，其他类同，最终获取一个1x512维的特征。特征提取子网络二的网络层主要包括卷积和Relu层(3x3x64、3x3x128、3x3x256等)、池化层Pooling层和全连接层(FC-4096等)。其中，卷积层是数据共用，即每个图像块的数据层跟同一卷积核进行卷积操作，输出为该图像块的下一个数据层，例如：(64x64x3)*(3x3x64)＝(64x64x64)，是将3通道的图像块数据转换为64通道的图像块数据，Relu层为x＝max(x,0)的激活函数。池化层Pooling层为3x3的局部图像块MaxPooling，是从3x3的局部图像块中选取一个最大值传递到下一层，例如[1，2，3；4，5，6；7，8，9]的局部图块经过3x3MaxPooling运算后，结果为9。以全连接层FC-4096为例，FC-4096表示最终输出为4096维的全连接层。
在特征匹配子网络中，特征匹配子网络的数据层例如可以包括中间数据层和第二输出数据层，其网络层主要包括第二级联层、全连接层和第二全卷积层。第二级联层用于将提取的激光点云和图像块的两个1x512维的特征进行级联，以得到1024维的特征数据；全连接层用于对级联后的特征数据进行运算；第二全卷积层是数据共用，最后输出(1x1)为特征匹配的概率。一般地，在具体实现时，可设置当特征匹配的概率大于预设阈值(例如：90％)时，即判定点云角点与图像角点为同一场景点。
由上述介绍可以看出，本发明的对激光点云和图像进行角点匹配的方法，是通过将激光点云的角点数据和图像的角点数据输入本发明实施例的对激光点云和图像进行角点匹配的神经网络以判断激光点云的角点和图像的角点是否属于同一场景点，以对激光点云和图像进行角点匹配。
另外，当判断点云角点与图像角点为同一场景点时，将会获取该点云块对应的多个点云点的3维空间位置坐标X、Y、Z，以及图像块的图像像素x，y，以便根据投影模型计算投影模型参数，从而进行设备标定。
在本发明的实施过程中，为了训练上述两个网络模型，预先获取了大量的点云和图像的匹配结果。首先，收集正负样本训练点云角点提取网络，收集方式包括而不限于采用公开数据集，或者手动获取，或者用现有图像角点提取策略(例如SIFT，HOG等)获取图像角点，根据图像点云匹配结果获取是角点的点云数据的正样本；反之，对图像中的非角点区域随机采样，根据图像点云匹配结果获取非角点数据为负样本。其次，收集正负样本训练角点匹配网络，过程如下：用训练好的角点提取网络获取点云角点，将其和所匹配的图像块匹配作为正样本，反之，随机选取一些图像块和点云块匹配作为负样本。
根据前面所介绍的对激光点云进行角点提取以及和图像进行角点匹配的神经网络和方法，本发明即可实现在自然场景下进行激光雷达和摄像机的设备标定。
图10是根据本发明实施例的设备标定的方法的主要步骤示意图。如图10所示，本发明实施例的设备标定的方法主要包括如下的步骤S1001至步骤S1004。
步骤S1001：获取同步采集的激光点云和图像的数据；
步骤S1002：分别对激光点云和图像进行角点提取，以获取激光点云的角点数据和图像的角点数据，其中，使用本发明实施例所提供的对激光点云进行角点提取的方法对激光点云进行角点提取；
步骤S1003：通过对激光点云的角点数据和图像的角点数据进行特征匹配，以得到属于同一场景点的激光点云的角点数据和图像的角点数据；
步骤S1004：根据属于同一场景点的激光点云的角点数据和图像的角点数据计算激光点云和图像的投影模型参数，以进行设备标定。
其中，本发明的实施例中使用本发明提供的对激光点云和图像进行角点匹配的方法对激光点云的角点数据和图像的角点数据进行特征匹配。
图11是根据本发明实施例的设备标定的装置的主要模块示意图。如图11所示，本发明实施例的设备标定的装置1100主要包括数据获取模块1101、角点提取模块1102、角点匹配模块1103和参数计算模块1104。
数据获取模块1101用于获取同步采集的激光点云和图像的数据；
角点提取模块1102用于分别对激光点云和图像进行角点提取，以获取激光点云的角点数据和图像的角点数据，其中，使用本发明实施例所提供的对激光点云进行角点提取的方法对激光点云进行角点提取；
角点匹配模块1103用于通过对激光点云的角点数据和图像的角点数据进行特征匹配，以得到属于同一场景点的激光点云的角点数据和图像的角点数据；
参数计算模块1104用于根据属于同一场景点的激光点云的角点数据和图像的角点数据计算激光点云和图像的投影模型参数，以进行设备标定。
其中，本发明的实施例中使用本发明提供的对激光点云和图像进行角点匹配的方法对激光点云的角点数据和图像的角点数据进行特征匹配。
根据本发明实施例的技术方案，提供了一种对激光点云进行角点提取的神经网络，包括第一数据层和第一网络层，第一数据层用于表示神经网络在运算过程中所传递的数据，且包括第一输入数据层、第一输出数据层以及第一中间数据层，其中，第一输入数据层的数据为点云块数据；第一网络层用于对输入第一网络层的第一输入数据层或第一中间数据层的数据进行运算，以得到第一中间数据层或第一输出数据层的数据，网络层包括切分层、全卷积层、级联层和池化层，实现了通过神经网络模型进行激光点云的角点提取，可以对自然场景下的激光点云进行角点提取，且提取速度快，准确度高。通过将点云块的多个通道的数据输入神经网络，可以使不同通道之间的数据特征进行相互补充，从而使点云块数据的特征更加饱满，角点提取也更准确；通过对多个通道的数据进行切分和级联，从而保持了点云数据的多尺度属性；通过设置最后一个网络层为softmax分类运算层，从而实现了通过解决机器学习中的分类问题来判断一个点云块是否为角点。
另外，本发明还提供了一种激光点云与图像角点匹配的神经网络和方法，实现了通过神经网络进行角点匹配，通过解决机器学习中的回归问题来判断点云块和图像块是否为同一场景点，可以快速、准确地对角点进行匹配。同时，本发明还提供了一种激光雷达和摄像机的设备标定方法，可以在自然场景下，脱离标定板进行设备标定，从而使得设备标定具有实时性高、操作简单、灵活实用和准确性高的特点。
图12示出了可以应用本发明实施例的角点提取、匹配及设备标定的方法或设备标定的装置的示例性系统架构1200。
如图12所示，系统架构1200可以包括终端设备1201、1202、1203，网络1204和服务器1205。网络1204用以在终端设备1201、1202、1203和服务器1205之间提供通信链路的介质。网络1204可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备1201、1202、1203通过网络1204与服务器1205交互，以接收或发送消息等。终端设备1201、1202、1203上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备1201、1202、1203可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器1205可以是提供各种服务的服务器，例如对用户利用终端设备1201、1202、1203所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的角点提取、匹配及设备标定的方法一般由服务器1205执行，相应地，设备标定的装置一般设置于服务器1205中。
应该理解，图12中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图13，其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统1300的结构示意图。图13示出的终端设备或服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图13所示，计算机系统1300包括中央处理单元(CPU)1301，其可以根据存储在只读存储器(ROM)1302中的程序或者从存储部分1308加载到随机访问存储器(RAM)1303中的程序而执行各种适当的动作和处理。在RAM 1303中，还存储有系统1300操作所需的各种程序和数据。CPU 1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。
以下部件连接至I/O接口1305：包括键盘、鼠标等的输入部分1306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1307；包括硬盘等的存储部分1308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1310上，以便于从其上读出的计算机程序根据需要被安装入存储部分1308。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1309从网络上被下载和安装，和/或从可拆卸介质1311被安装。在该计算机程序被中央处理单元(CPU)1301执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据获取模块、角点提取模块、角点匹配模块和参数计算模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，数据获取模块还可以被描述为“用于获取同步采集的激光点云和图像的数据的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取同步采集的激光点云和图像的数据；分别对所述激光点云和所述图像进行角点提取，以获取激光点云的角点数据和图像的角点数据，其中，使用本发明实施例所提供的对激光点云进行角点提取的方法对所述激光点云进行角点提取；通过对所述激光点云的角点数据和所述图像的角点数据进行特征匹配，以得到属于同一场景点的激光点云的角点数据和图像的角点数据；根据属于同一场景点的激光点云的角点数据和图像的角点数据计算激光点云和图像的投影模型参数，以进行设备标定。
根据本发明实施例的技术方案，提供了一种对激光点云进行角点提取的神经网络，包括第一数据层和第一网络层，第一数据层用于表示神经网络在运算过程中所传递的数据，且包括第一输入数据层、第一输出数据层以及第一中间数据层，其中，第一输入数据层的数据为点云块数据；第一网络层用于对输入第一网络层的第一输入数据层或第一中间数据层的数据进行运算，以得到第一中间数据层或第一输出数据层的数据，网络层包括切分层、全卷积层、级联层和池化层，实现了通过神经网络模型进行激光点云的角点提取，可以对自然场景下的激光点云进行角点提取，且提取速度快，准确度高。通过将点云块的多个通道的数据输入神经网络，可以使不同通道之间的数据特征进行相互补充，从而使点云块数据的特征更加饱满，角点提取也更准确；通过对多个通道的数据进行切分和级联，从而保持了点云数据的多尺度属性；通过设置最后一个网络层为softmax分类运算层，从而实现了通过解决机器学习中的分类问题来判断一个点云块是否为角点。
另外，本发明还提供了一种激光点云与图像角点匹配的神经网络和方法，实现了通过神经网络进行角点匹配，通过解决机器学习中的回归问题来判断点云块和图像块是否为同一场景点，可以快速、准确地对角点进行匹配。同时，本发明还提供了一种激光雷达和摄像机的设备标定方法，可以在自然场景下，脱离标定板进行设备标定，从而使得设备标定具有实时性高、操作简单、灵活实用和准确性高的特点。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种对激光点云和图像进行角点匹配的方法，其特征在于，包括：
通过将激光点云的角点数据和图像的角点数据输入如下的对激光点云和图像进行角点匹配的神经网络以判断所述激光点云的角点和所述图像的角点是否属于同一场景点，以对所述激光点云和所述图像进行角点匹配；
所述对激光点云和图像进行角点匹配的神经网络包括：特征提取子网络一、特征提取子网络二，以及特征匹配子网络；其中，
所述特征提取子网络一用于对激光点云的角点数据进行特征提取，包括第一数据层和第一网络层，所述第一数据层用于表示神经网络在运算过程中所传递的数据，且包括第一输入数据层、第一输出数据层以及第一中间数据层，其中，所述第一输入数据层的数据为点云块数据；所述第一网络层用于对输入所述第一网络层的所述第一输入数据层或所述第一中间数据层的数据进行运算，以得到所述第一中间数据层或所述第一输出数据层的数据，所述第一网络层包括切分层、第一全卷积层、第一级联层和池化层；
所述特征提取子网络二用于对图像的角点数据进行特征提取，包括第二输入数据层、第二中间数据层和第二网络层，所述第二输入数据层的数据为图像的角点数据；所述第二网络层包括卷积和Relu层、池化层和全连接层；
所述特征匹配子网络用于对通过所述特征提取子网络一所提取的激光点云角点的特征和通过所述特征提取子网络二所提取的图像角点的特征进行特征匹配，以判断所述激光点云的角点和所述图像的角点是否属于同一场景点，包括第二输出数据层和第三网络层，所述第三网络层包括第二级联层、全连接层和第二全卷积层。
2.根据权利要求1所述的方法，其特征在于，所述点云块数据包括不少于4个通道的数据。
3.根据权利要求1或2所述的方法，其特征在于，所述点云块数据包括4个通道的数据，分别为点云块的3维空间位置数据和强度数据；并且，
所述切分层用于将所述点云块数据切分为点云块的3维空间位置数据和点云块的强度数据；
所述第一级联层用于将对所述点云块的3维空间位置数据进行变换运算后得到的第一中间数据层的数据与所述点云块的强度数据进行级联。
4.根据权利要求3所述的方法，其特征在于，所述变换运算包括通过所述第一全卷积层对所述第一中间数据层的数据进行特征变换。
5.根据权利要求1所述的方法，其特征在于，所述第一输出数据层的数据为所述点云块是否为角点的概率，所述第一网络层还包括softmax分类运算层，且最后一个第一网络层为softmax分类运算层。
6.根据权利要求1所述的方法，其特征在于，所述第二输出数据层的数据为特征匹配的概率，且最后一个第三网络层为全卷积层。
7.根据权利要求1所述的方法，其特征在于，所述第二输出数据层的数据为特征是否匹配的概率，所述第三网络层还包括softmax分类运算层，且最后一个第三网络层为softmax分类运算层。
8.一种激光雷达和摄像机的设备标定方法，其特征在于，包括：
获取同步采集的激光点云和图像的数据；
分别对所述激光点云和所述图像进行角点提取，以获取激光点云的角点数据和图像的角点数据，其中，将激光点云划分为不少于一个点云块，分别将每个点云块数据输入如权利要求1所述的特征提取子网络一以判断所述点云块是否为角点，以对所述激光点云进行角点提取；
通过对所述激光点云的角点数据和所述图像的角点数据进行特征匹配，以得到属于同一场景点的激光点云的角点数据和图像的角点数据；其中，使用如权利要求1所述的对激光点云和图像进行角点匹配的方法对所述激光点云的角点数据和所述图像的角点数据进行特征匹配；
根据属于同一场景点的激光点云的角点数据和图像的角点数据计算激光点云和图像的投影模型参数，以进行设备标定。
9.一种激光雷达和摄像机的设备标定装置，其特征在于，包括：
数据获取模块，用于获取同步采集的激光点云和图像的数据；
角点提取模块，用于分别对所述激光点云和所述图像进行角点提取，以获取激光点云的角点数据和图像的角点数据，其中，将激光点云划分为不少于一个点云块，分别将每个点云块数据输入如权利要求1所述的特征提取子网络一以判断所述点云块是否为角点，以对所述激光点云进行角点提取；
角点匹配模块，用于通过对所述激光点云的角点数据和所述图像的角点数据进行特征匹配，以得到属于同一场景点的激光点云的角点数据和图像的角点数据；其中，使用如权利要求1所述的对激光点云和图像进行角点匹配的方法对所述激光点云的角点数据和所述图像的角点数据进行特征匹配；
参数计算模块，用于根据属于同一场景点的激光点云的角点数据和图像的角点数据计算激光点云和图像的投影模型参数，以进行设备标定。
10.一种的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN201810801788.4A 2018-07-20 2018-07-20 角点提取、匹配的神经网络和方法及设备标定方法和装置 Active CN110378905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810801788.4A CN110378905B (zh) 2018-07-20 2018-07-20 角点提取、匹配的神经网络和方法及设备标定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810801788.4A CN110378905B (zh) 2018-07-20 2018-07-20 角点提取、匹配的神经网络和方法及设备标定方法和装置

Publications (2)

Publication Number Publication Date
CN110378905A CN110378905A (zh) 2019-10-25
CN110378905B true CN110378905B (zh) 2022-07-05

Family

ID=68243752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810801788.4A Active CN110378905B (zh) 2018-07-20 2018-07-20 角点提取、匹配的神经网络和方法及设备标定方法和装置

Country Status (1)

Country Link
CN (1) CN110378905B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120033851A1 (en) * 2010-04-22 2012-02-09 Shen-En Chen Spatially integrated aerial photography for bridge, structure, and environmental monitoring
WO2017157967A1 (en) * 2016-03-14 2017-09-21 Imra Europe Sas Processing method of a 3d point cloud
CN107516077A (zh) * 2017-08-17 2017-12-26 武汉大学 基于激光点云和影像数据融合的交通标牌信息提取方法
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN108229548A (zh) * 2017-12-27 2018-06-29 华为技术有限公司 一种物体检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120033851A1 (en) * 2010-04-22 2012-02-09 Shen-En Chen Spatially integrated aerial photography for bridge, structure, and environmental monitoring
WO2017157967A1 (en) * 2016-03-14 2017-09-21 Imra Europe Sas Processing method of a 3d point cloud
CN107516077A (zh) * 2017-08-17 2017-12-26 武汉大学 基于激光点云和影像数据融合的交通标牌信息提取方法
CN108229548A (zh) * 2017-12-27 2018-06-29 华为技术有限公司 一种物体检测方法及装置
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PointNet: A 3D Convolutional Neural Network for Real-Time Object Class Recognition;Garcia-Garcia,A 等;《International Joint Conference on Neural Networks》;20160729;第1578-1584页 *
PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation;Charles R. Qi 等;《2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20170726;第652页第2栏第1段-655页第2栏第3段以及附图2 *
Pointwise Convolutional Neural Networks;Binh-Son Hua 等;《31st IEEE Conference on Computer Vision and Pattern Recognition》;20180623;第984-993页 *

Also Published As

Publication number Publication date
CN110378905A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
EP3505866B1 (en) Method and apparatus for creating map and positioning moving entity
CN110400363B (zh) 基于激光点云的地图构建方法和装置
CN109272530B (zh) 面向空基监视场景的目标跟踪方法与装置
KR101854554B1 (ko) 건축물 높이 산출 방법, 장치 및 저장 매체
CN111340864A (zh) 基于单目估计的三维场景融合方法及装置
US10043097B2 (en) Image abstraction system
CN111612760A (zh) 用于检测障碍物的方法和装置
CN108010123B (zh) 一种保留拓扑信息的三维点云获取方法
CN110361005B (zh) 定位方法、定位装置、可读存储介质及电子设备
CN112489099B (zh) 点云配准方法、装置、存储介质及电子设备
CN114648640B (zh) 一种目标物单体化方法、装置、设备及存储介质
Takacs et al. 3D mobile augmented reality in urban scenes
WO2023164845A1 (zh) 三维重建方法、装置、系统及存储介质
WO2023051289A1 (zh) 用于无人设备的导航方法、装置、介质及无人设备
CN108109148A (zh) 图像立体分配方法、移动终端
CN109949414A (zh) 室内地图的构建方法及装置
CN112785651B (zh) 用于确定相对位姿参数的方法和装置
CN117132737A (zh) 一种三维建筑模型构建方法、系统及设备
CN116958485A (zh) 一种可视域分析方法及装置
CN115471574B (zh) 外参的确定方法、装置、存储介质及电子装置
CN110378905B (zh) 角点提取、匹配的神经网络和方法及设备标定方法和装置
CN112270748A (zh) 基于图像的三维重建方法及装置
CN110377776B (zh) 生成点云数据的方法和装置
CN116843754A (zh) 一种基于多特征融合的视觉定位方法及系统
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant