CN115223019A - 一种基于相机与激光雷达融合的全天时停车位检测方法 - Google Patents

一种基于相机与激光雷达融合的全天时停车位检测方法 Download PDF

Info

Publication number
CN115223019A
CN115223019A CN202210834515.6A CN202210834515A CN115223019A CN 115223019 A CN115223019 A CN 115223019A CN 202210834515 A CN202210834515 A CN 202210834515A CN 115223019 A CN115223019 A CN 115223019A
Authority
CN
China
Prior art keywords
point cloud
camera
parking space
parking spaces
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210834515.6A
Other languages
English (en)
Other versions
CN115223019B (zh
Inventor
张新钰
李骏
王力
宋新宇
张皓明
周沫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210834515.6A priority Critical patent/CN115223019B/zh
Publication of CN115223019A publication Critical patent/CN115223019A/zh
Application granted granted Critical
Publication of CN115223019B publication Critical patent/CN115223019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于相机和激光雷达融合的全天时停车位检测方法，所述方法包括：步骤1)利用设置在场端的摄像头和激光雷达分别获取停车场的RGB图像和点云数据，通过标定和对齐，将点云投影到RGB图像上；步骤2)根据停车位的先验信息，将RGB图像对应停车位进行分割，将标定和对齐后的点云对应车位进行分割；步骤3)将分割后的点云数据通过球面投影变换为距离图像；步骤4)把距离图像和分割后的车位RGB图像经拼接后输入词嵌入层进行向量切分，再输入Transformer编码器进行特征提取；步骤5)将特征提取得到的特征向量输入分类网络，得到对应停车位的分类结果，所述分类结果包括停车位空闲或占用。

Description

一种基于相机与激光雷达融合的全天时停车位检测方法
技术领域
本发明涉及智能交通领域，尤其涉及一种基于相机与激光雷达融合的全天时停车位检测方法。
背景技术
随着社会的经济发展和人们生活水平的提高，近年来我国的汽车保有量不断增加，在日益拥堵的城市中，找停车位成为了一个新的难题。当司机驾驶汽车进入停车场后，往往需要很多时间来寻找停车位，无形之中增加了时间成本。而近年来自动驾驶技术的快速发展为这一问题的解决提供了更好的技术支持。停车位检测虽然已经出现，比如利用计数器、车位旁的传感器等方法检测，但是这些方法安装和后期维护的成本较高，这也使得车位检测仍然具有很强的实用意义和价值。
对于停车位检测的问题，目前的解决方案大致有三种：利用计数器、车位传感器及停车场场端摄像头拍摄的方法。利用计数器来进行车位检测的方法应用较为普遍，它主要利用红外传感器对进入停车场的车进行计数，虽然这个方法非常准确，但是对停车场内的情况无法了解，无法检测到车位的空闲与占用情况，对于后续对车辆的泊车无法起到帮助。还有一种是利用提前安装在车位上的红外传感器，当车辆占用车位即可检测到。但是该方法的成本高昂，每个车位都需要安装一个传感器，后期维护费时费力。另外一种方法是利用图像对车辆进行检测，利用图像分类网络对停车位进行分类，该方法在光照条件好的情况下精度较高，但是面对夜晚或者光照条件差的环境时往往无法准确检测车位的占用情况。
发明内容
本发明的目的在于克服现有技术缺陷，提出了一种基于相机和激光雷达融合的全天时停车位检测方法。通过设置在停车场场端的摄像头和激光雷达感知设备，设计图像与激光雷达点云的前融合网络实现对停车位全天时精确的检测。
为了实现上述目的，本发明提出了一种基于相机和激光雷达融合的全天时停车位检测方法，所述方法包括：
步骤1)利用设置在场端的摄像头和激光雷达分别获取停车场的RGB图像和点云数据，通过标定和对齐，将点云投影到RGB图像上；
步骤2)根据停车位的先验信息，将RGB图像对应停车位进行分割，将标定和对齐后的点云对应车位进行分割；
步骤3)将分割后的点云数据通过球面投影变换为距离图像；
步骤4)把距离图像和分割后的车位RGB图像经拼接后输入词嵌入层进行向量切分，再输入Transformer编码器进行特征提取；
步骤5)将特征提取得到的特征向量输入分类网络，得到对应停车位的分类结果，所述分类结果包括停车位空闲或占用。
作为上述方法的一种改进，所述步骤1)通过标定和对齐，将点云投影到RGB图像上；包括：
通过手动标定与对齐，获取激光雷达与相机之间的位置转换矩阵以及相机内参，将点云投影到RGB图像上。
作为上述方法的一种改进，所述步骤2)的先验信息包括：每个停车位的具体位置以及对应的ID编号。
作为上述方法的一种改进，所述步骤3)包括：
遍历每个停车位的每个点云坐标(x,y,z)，根据下式进行坐标转换，得到在2D距离图像上的一个像素点(u,v)：
Figure BDA0003747072350000021
Figure BDA0003747072350000022
式中，FOVup为激光雷达的上部视场，FOV为激光雷达的俯仰角，FOV＝2×FOVup,W，H分别为2D距离图像的宽和高，R表示点云坐标到激光雷达观测点的距离；
将每个停车位的所有像素点构成一个2D距离图像。
作为上述方法的一种改进，所述步骤4)的词嵌入层用于将子向量平铺成一维向量后使用全连接层进行处理，得到一定数量的词嵌入向量。
作为上述方法的一种改进，所述步骤4)的Transformer编码器包括L个编码块，每个编码块包括自注意力机制层和前馈神经网络，其中，
词嵌入向量经过自注意力机制层，得到一个加权之后的特征向量Z:
Figure BDA0003747072350000031
式中，Q,K,V表示为三个向量，它们是用词嵌入向量与一个随机初始化的矩阵相乘的结果，dn表示词嵌入向量的一个维度大小，上角标T表示转置；
前馈神经网络包括两层，第一层的激活函数为修正线性单元ReLU，第二层是线性激活函数；加权之后的特征向量Z经过前馈神经网络层的输出FFN(Z)为：
FFN(Z)＝max(0,ZW1+b1)W2+b2
式中，W1，b1为ReLU的权重和偏置，W2，b2为线性激活函数的权重和偏置。
作为上述方法的一种改进，所述步骤5)的分类网络为ShuffleNet网络。
一种基于相机和激光雷达融合的全天时停车位检测系统，所述系统包括：联合标定模块、分割模块、投影变换模块、特征提取模块和分类模块，其中，
所述联合标定模块，用于利用设置在场端的摄像头和激光雷达分别获取停车场的RGB图像和点云数据，通过标定和对齐，将点云投影到RGB图像上；
所述分割模块，用于根据停车位的先验信息，将RGB图像对应停车位进行分割，将标定和对齐后的点云对应车位进行分割；
所述投影变换模块，用于将分割后的点云数据通过球面投影变换为距离图像；
所述特征提取模块，用于把距离图像和分割后的车位RGB图像经拼接后输入词嵌入层进行向量切分，再输入Transformer编码器进行特征提取；
所述分类模块，用于将特征提取得到的特征向量输入分类网络，得到对应停车位的分类结果，所述分类结果包括停车位空闲或占用。
一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述的方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上述任一项所述的方法。
与现有技术相比，本发明的优势在于：
本发明采用了利用在场端安装的相机与激光雷达融合的方法，利用前融合网络将图像和点云两种数据融合在一起，使两者形成互补，对停车场内的车辆可以在光照条件差的情况下做到准确检测；增强复杂天气、光照条件差时的鲁棒性。
附图说明
图1是本发明的基于相机和激光雷达融合的全天时停车位检测方法实现流程。
具体实施方式
基于上述问题，本发明提供了一种基于相机和激光雷达融合的全天时停车位检测方法，使用相机和激光雷达两种传感器，设计了一种前融合网络，可以有效对图像和点云进行融合，在光照充足时充分利用图像的语义信息，有效提高准确率；在光照不足时点云数据作为检测的主要数据也可以使准确率相比于图像检测方法大大提高。
为了实现上述目标，本发明包括的步骤如下：
步骤1：利用场端的摄像头和激光雷达获取停车场的RGB图像和点云数据，并对两者进行标定和对齐，获取点云的空间数据。
步骤2：因为停车位和传感器的位置短期内不会改变，所以可以获取停车位的先验信息，分割出每一个车位的图像。对于点云数据，通过标定可以将点云数据和RGB图像统一到同一个坐标系，然后分割出和车位图像相对应的点云数据。
步骤3：将分割出的点云数据通过球面投影变换为距离图像(Range Image)。
步骤4：把距离图像和分割后车位的RGB图像进行拼接，再输入到词嵌入层进行向量切分，然后输入到后续的Transformer编码器模块中。利用Transformer编码器模块把数据进行特征提取，可以有效提升模型的准确率。
步骤5：将Transformer编码器模块的输出向量输入到分类网络中，可以得到车位的分类结果。
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
如图1所示，本发明的实施例1提供了一种基于相机和激光雷达融合的全天时停车位检测方法。包括以下步骤：
步骤1：通过设置在场端的摄像头和激光雷达可以全天时的获取到停车场的整体图像与点云数据，然后通过手动标定与对齐，获取激光雷达与相机之间的位置转换矩阵以及相机内参后，可以把点云投影到RGB图像上。
步骤2：对停车位提前进行拍摄，可以获得整个停车位的信息，对各个停车位进行分割，划分出具体的位置，然后对所有的停车位进行ID编号，便可获得车位的先验信息。这个先验信息的获取工作只需提前完成一次，不会占用计算资源。获取到车位的先验信息后，将标定好的点云根据先验信息分割出车位的点云数据，便于之后与RGB图像进行特征融合。
步骤3：获得点云数据后，将每个点云坐标进行坐标转换，转换为2D的距离图像，假设点云的坐标为[x,y,z,s],分别表示点云在激光雷达坐标系中的x,y,z坐标和反射强度s，则转换公式为：
Figure BDA0003747072350000051
Figure BDA0003747072350000052
式中，u,v表示点云转换为距离图像后的坐标，x,y,z表示每一个点云的坐标，是激光雷达的俯仰角，FOVup是激光雷达的上部视场，FOV为激光雷达的俯仰角，FOV＝FOVup+FOVdown＝2×FOVup,W，H分别为距离图像的宽和高，R表示点云坐标到激光雷达观测点的距离。
经过转换公式后就可以获得点云数据在2D的距离图像上的投影，每一个2D像素点坐标对应一个点云坐标，所有像素点构成了距离图像(Range Image)。
步骤4：获得了车位的RGB图像和由点云数据转换的距离图像后，将两者进行拼接(concat)，可以得到一个融合向量，将其输入到词嵌入层(Embedding)后进行向量切分。下面对词嵌入层进行介绍。
词嵌入层将融合向量P∈RC×H×W分为子向量Pi，
Figure BDA0003747072350000053
其中s2表示子向量的大小，C表示向量的通道数。将子向量平铺成一维向量后使用全连接层FC(FullConnection)进行处理。词嵌入层可以表示为：
Emb(i)＝FC(Flatten(Pi))+LPi (3)
把输入向量划分为一定数量的词嵌入向量后输入到Transformer编码器中进行特征提取，可以更好的获得车位的空间特征与语义信息。下面对Transformer编码器进行介绍。
Transformer编码器借鉴了Transformer模型的思想，由L个编码块(block)组成，一般为6个，也可以根据检测效果的好坏和检测速度来增加或减少。对于单个编码块，数据会首先经过自注意力机制模块(self-attention module)，得到一个加权之后的特征向量Z:
Figure BDA0003747072350000061
式中，Q,K,V表示为三个向量，它们是用词嵌入向量与一个随机初始化的矩阵相乘的结果，dn表示词嵌入向量的第一个维度大小,上角标T表示转置。
前馈神经网络：得到向量Z之后，它被输入到前馈神经网络FFN(Feed ForwardNeural Network)中，这个模块有两层，第一层的激活函数为修正线性单元ReLU(RectifiedLinear Unit)，第二层是一个线性激活函数，可以表示为：
FFN(Z)＝max(0,ZW1+b1)W2+b2, (5)
式中，W1，b1为ReLU的权重和偏置，W2，b2为第二个线性激活函数的权重和偏置。
步骤5：经过上述步骤后，车位的融合信息已经进行了有效的特征提取，将特征提取后的数据输入到分类网络中便可以得到车位的分类结果，这里使用轻量化网络ShuffleNet作为分类网络的主干，它是一种计算高效的卷积神经网络模型，主要应用于移动端，可以在速度和精度之间做平衡，对于停车场的场端设备有良好的适用性。
本发明设计的基于相机和激光雷达融合的全天时停车位检测系统可以在多种光照条件下正常运行，尤其是在光照条件差(例如夜晚)的情况时，对于停车位检测的准确率相比于其他仅利用图像的检测方法具有明显的优势，可以做到全天时的车位检测。
实施例2
基于上述系统，本发明的实施例2提出了一种基于相机和激光雷达融合的全天时停车位检测系统，所述系统包括：联合标定模块、分割模块、投影变换模块、特征提取模块和分类模块，其中，
所述联合标定模块，用于利用设置在场端的摄像头和激光雷达分别获取停车场的RGB图像和点云数据，通过标定和对齐，将点云投影到RGB图像上；
所述分割模块，用于根据停车位的先验信息，将RGB图像对应停车位进行分割，将标定和对齐后的点云对应车位进行分割；
所述投影变换模块，用于将分割后的点云数据通过球面投影变换为距离图像；
所述特征提取模块，用于把距离图像和分割后的车位RGB图像经拼接后输入词嵌入层进行向量切分，再输入Transformer编码器进行特征提取；
所述分类模块，用于将特征提取得到的特征向量输入分类网络，得到对应停车位的分类结果，所述分类结果包括停车位空闲或占用。
实施例3
本发明的实施例3还可提供的一种计算机设备，包括：至少一个处理器、存储器、至少一个网络接口和用户接口。该设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
其中，用户接口可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本申请公开实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本公开实施例方法的程序可以包含在应用程序中。
在本上述的实施例中，还可通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于：
执行实施例1的方法的步骤。
实施例1的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行实施例1中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合实施例1所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本发明描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本发明的功能模块(例如过程、函数等)来实现本发明技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
实施例4
本发明实施例4还可提供一种非易失性存储介质，用于存储计算机程序。当该计算机程序被处理器执行时可以实现上述方法实施例中的各个步骤。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于相机与激光雷达融合的全天时停车位检测方法，所述方法包括：
步骤1)利用设置在场端的摄像头和激光雷达分别获取停车场的RGB图像和点云数据，通过标定和对齐，将点云投影到RGB图像上；
步骤2)根据停车位的先验信息，将RGB图像对应停车位进行分割，将标定和对齐后的点云对应车位进行分割；
步骤3)将分割后的点云数据通过球面投影变换为距离图像；
步骤4)把距离图像和分割后的车位RGB图像经拼接后输入词嵌入层进行向量切分，再输入Transformer编码器进行特征提取；
步骤5)将特征提取得到的特征向量输入分类网络，得到对应停车位的分类结果，所述分类结果包括停车位空闲或占用。
2.根据权利要求1所述的基于相机与激光雷达融合的全天时停车位检测方法，其特征在于，所述步骤1)通过标定和对齐，将点云投影到RGB图像上；包括：
通过手动标定与对齐，获取激光雷达与相机之间的位置转换矩阵以及相机内参，将点云投影到RGB图像上。
3.根据权利要求1所述的基于相机与激光雷达融合的全天时停车位检测方法，其特征在于，所述步骤2)的先验信息包括：每个停车位的具体位置以及对应的ID编号。
4.根据权利要求1所述的基于相机与激光雷达融合的全天时停车位检测方法，其特征在于，所述步骤3)包括：
遍历每个停车位的每个点云坐标(x,y,z)，根据下式进行坐标转换，得到在2D距离图像上的一个像素点(u,v)：
Figure FDA0003747072340000011
Figure FDA0003747072340000012
式中，FOVup为激光雷达的上部视场，FOV为激光雷达的俯仰角，FOV＝2×FOVup,W，H分别为2D距离图像的宽和高，R表示点云坐标到激光雷达观测点的距离；
将每个停车位的所有像素点构成一个2D距离图像。
5.根据权利要求1所述的基于相机与激光雷达融合的全天时停车位检测方法，其特征在于，所述步骤4)的词嵌入层用于将子向量平铺成一维向量后使用全连接层进行处理，得到一定数量的词嵌入向量。
6.根据权利要求5所述的基于相机与激光雷达融合的全天时停车位检测方法，其特征在于，所述步骤4)的Transformer编码器包括L个编码块，每个编码块包括自注意力机制层和前馈神经网络，其中，
词嵌入向量经过自注意力机制层，得到一个加权之后的特征向量Z:
Figure FDA0003747072340000021
式中，Q,K,V表示为三个向量，它们是用词嵌入向量与一个随机初始化的矩阵相乘的结果，dn表示词嵌入向量的一个维度大小，上角标T表示转置；
前馈神经网络包括两层，第一层的激活函数为修正线性单元ReLU，第二层是线性激活函数；加权之后的特征向量Z经过前馈神经网络的输出FFN(Z)为：
FFN(Z)＝max(0,ZW1+b1)W2+b2
式中，W1，b1为ReLU的权重和偏置，W2，b2为线性激活函数的权重和偏置。
7.根据权利要求1所述的基于相机与激光雷达融合的全天时停车位检测方法，其特征在于，所述步骤5)的分类网络为ShuffleNet网络。
8.一种基于相机与激光雷达融合的全天时停车位检测系统，其特征在于，所述系统包括：联合标定模块、分割模块、投影变换模块、特征提取模块和分类模块，其中，
所述联合标定模块，用于利用设置在场端的摄像头和激光雷达分别获取停车场的RGB图像和点云数据，通过标定和对齐，将点云投影到RGB图像上；
所述分割模块，用于根据停车位的先验信息，将RGB图像对应停车位进行分割，将标定和对齐后的点云对应车位进行分割；
所述投影变换模块，用于将分割后的点云数据通过球面投影变换为距离图像；
所述特征提取模块，用于把距离图像和分割后的车位RGB图像经拼接后输入词嵌入层进行向量切分，再输入Transformer编码器进行特征提取；
所述分类模块，用于将特征提取得到的特征向量输入分类网络，得到对应停车位的分类结果，所述分类结果包括停车位空闲或占用。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的方法。
CN202210834515.6A 2022-07-14 2022-07-14 一种基于相机与激光雷达融合的全天时停车位检测方法 Active CN115223019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210834515.6A CN115223019B (zh) 2022-07-14 2022-07-14 一种基于相机与激光雷达融合的全天时停车位检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210834515.6A CN115223019B (zh) 2022-07-14 2022-07-14 一种基于相机与激光雷达融合的全天时停车位检测方法

Publications (2)

Publication Number Publication Date
CN115223019A true CN115223019A (zh) 2022-10-21
CN115223019B CN115223019B (zh) 2023-05-19

Family

ID=83611071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210834515.6A Active CN115223019B (zh) 2022-07-14 2022-07-14 一种基于相机与激光雷达融合的全天时停车位检测方法

Country Status (1)

Country Link
CN (1) CN115223019B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116187602A (zh) * 2023-05-05 2023-05-30 松立控股集团股份有限公司 一种停车场车位占用预测方法
CN117111055A (zh) * 2023-06-19 2023-11-24 山东高速集团有限公司 一种基于雷视融合的车辆状态感知方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651558A (zh) * 2020-05-09 2020-09-11 清华大学深圳国际研究生院 基于预训练语义模型的超球面协同度量推荐装置和方法
CN113065590A (zh) * 2021-03-26 2021-07-02 清华大学 一种基于注意力机制的视觉与激光雷达多模态数据融合方法
CN113518226A (zh) * 2021-06-29 2021-10-19 福州大学 一种基于地面分割的g-pcc点云编码改进方法
CN113538904A (zh) * 2021-06-22 2021-10-22 浙江工业大学 一种基于时空前序编解码预测器的交通事故识别方法
CN113673420A (zh) * 2021-08-19 2021-11-19 清华大学 一种基于全局特征感知的目标检测方法及系统
WO2022069735A1 (en) * 2020-10-02 2022-04-07 Deepmind Technologies Limited Neural networks implementing attention over object embeddings for object-centric visual reasoning
CN114398937A (zh) * 2021-12-01 2022-04-26 北京航空航天大学 一种基于混合注意力机制的图像-激光雷达数据融合方法
CN114638751A (zh) * 2022-02-24 2022-06-17 南京邮电大学 基于生成对抗网络的端到端点云补全方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651558A (zh) * 2020-05-09 2020-09-11 清华大学深圳国际研究生院 基于预训练语义模型的超球面协同度量推荐装置和方法
WO2022069735A1 (en) * 2020-10-02 2022-04-07 Deepmind Technologies Limited Neural networks implementing attention over object embeddings for object-centric visual reasoning
CN113065590A (zh) * 2021-03-26 2021-07-02 清华大学 一种基于注意力机制的视觉与激光雷达多模态数据融合方法
CN113538904A (zh) * 2021-06-22 2021-10-22 浙江工业大学 一种基于时空前序编解码预测器的交通事故识别方法
CN113518226A (zh) * 2021-06-29 2021-10-19 福州大学 一种基于地面分割的g-pcc点云编码改进方法
CN113673420A (zh) * 2021-08-19 2021-11-19 清华大学 一种基于全局特征感知的目标检测方法及系统
CN114398937A (zh) * 2021-12-01 2022-04-26 北京航空航天大学 一种基于混合注意力机制的图像-激光雷达数据融合方法
CN114638751A (zh) * 2022-02-24 2022-06-17 南京邮电大学 基于生成对抗网络的端到端点云补全方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116187602A (zh) * 2023-05-05 2023-05-30 松立控股集团股份有限公司 一种停车场车位占用预测方法
CN117111055A (zh) * 2023-06-19 2023-11-24 山东高速集团有限公司 一种基于雷视融合的车辆状态感知方法

Also Published As

Publication number Publication date
CN115223019B (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
US11120276B1 (en) Deep multimodal cross-layer intersecting fusion method, terminal device, and storage medium
CN115223019A (zh) 一种基于相机与激光雷达融合的全天时停车位检测方法
CN115082674B (zh) 基于注意力机制的多模态数据融合三维目标检测方法
CN111814623A (zh) 一种基于深度神经网络的车辆车道偏离视觉检测方法
CN110751693B (zh) 用于相机标定的方法、装置、设备和存储介质
CN109740584B (zh) 基于深度学习的自动泊车停车位检测方法
CN106908064B (zh) 一种基于Kinect2传感器的室内夜间视觉导航方法
US11892311B2 (en) Image processing apparatus, image processing method, computer program and computer readable recording medium
CN116503709A (zh) 一种基于改进YOLOv5的雾霾天气下车辆检测方法
CN115830265A (zh) 一种基于激光雷达的自动驾驶运动障碍物分割方法
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US20230177724A1 (en) Vehicle to infrastructure extrinsic calibration system and method
CN112255604A (zh) 一种雷达数据准确性的判断方法、装置及计算机设备
CN117975418A (zh) 一种基于改进rt-detr的交通标识检测方法
CN116597413A (zh) 一种基于改进的YOLOv5的实时交通标志检测方法
CN116485856A (zh) 一种基于语义分割的无人机图像地理配准方法及相关设备
CN113869440A (zh) 图像处理方法、装置、设备、介质及程序产品
CN114266993A (zh) 一种基于图像的道路环境检测方法及装置
CN110135387B (zh) 一种基于传感器融合的图像快速识别方法
US20240221390A1 (en) Lane line labeling method, electronic device and storage medium
Mao et al. Research on detection method of pavement diseases based on Unmanned Aerial Vehicle (UAV)
CN116797894A (zh) 一种增强特征信息的雷达与视频融合目标检测方法
CN114359258B (zh) 红外移动对象目标部位的检测方法、装置及系统
CN115761699A (zh) 交通信号灯的分类方法、装置及电子设备
CN114973038A (zh) 一种基于transformer的机场跑道线检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant