CN115223132B - 一种空车位识别方法与系统、计算机可读存储介质 - Google Patents

一种空车位识别方法与系统、计算机可读存储介质 Download PDF

Info

Publication number
CN115223132B
CN115223132B CN202111328666.6A CN202111328666A CN115223132B CN 115223132 B CN115223132 B CN 115223132B CN 202111328666 A CN202111328666 A CN 202111328666A CN 115223132 B CN115223132 B CN 115223132B
Authority
CN
China
Prior art keywords
target
empty
parking space
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111328666.6A
Other languages
English (en)
Other versions
CN115223132A (zh
Inventor
翁茂楠
王玉龙
熊硕
黄辉
李智
关倩仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202111328666.6A priority Critical patent/CN115223132B/zh
Publication of CN115223132A publication Critical patent/CN115223132A/zh
Application granted granted Critical
Publication of CN115223132B publication Critical patent/CN115223132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种空车位识别方法与系统、计算机可读存储介质，包括：当车辆泊车时，实时获取当前时刻的多路帧图像；其中所述四路帧图像包括车辆不同方位的车辆环境图像；将所述多路帧图像输入预先训练好的CNN模型进行图像特征提取获得图像特征；将所述图像特征输入预先训练好的Transformer模型依次进行编码、解码和感知推理输出当前时刻车辆周围环境的多个目标点的类别信息和坐标信息；其中所述目标点的类别包括无目标点、车位角中心点和空车位入口中心点；根据所述多个目标点的类别信息和坐标信息确定目标空车位及其坐标信息。通过本发明，能够更好地满足车辆对车位感知的鲁棒性、实时性和准确性的要求。

Description

一种空车位识别方法与系统、计算机可读存储介质
技术领域
本发明涉及车辆泊车过程中的空车位识别技术领域，具体涉及一种空车位识别方法与系统、计算机可读存储介质。
背景技术
空车位识别是自动泊车技术中的基础，当前空车位识别算法主要可分为基于超声波雷达、基于地磁传感器、基于环视图像等三种空车位识别方式；
其中，基于超声波雷达的空车位识别算法中利用超声波雷达对周围环境(车辆、障碍物等)进行感知，但超声波雷达无法对车位线进行检测，只能够规划处可行驶或无障碍区域；
其中，基于地磁传感器的空车位识别算法需要提前实现对停车区域的整体改造；
其中，基于环视图像的空车位识别方式为应用最多的一种方式，其通过环视摄像头进行实时图像采集，对图像中的车位进行提取，并结合对周围环境的感知结果确定目标空车位，但其存在以下问题：其一，大多采用拼接后的俯视图像作为算法处理的对象，在从广角鱼眼图像通过畸变矫正、透视变换转换到俯视图图像的过程中，往往图像视野较原始鱼眼图像变小，且图像中的立体信息丢失，若车位内侧存在障碍物时，容易因图像信息的不完整造成空车位的误识别；其二，大多采用矩形框的方式来表征车位角，以识别出的矩形框的中心点位置作为车位边界的临界位置，而自动泊车需要的空车位信息为车位角中心点(构成车位边界四边形的四个角点)的坐标，矩形框的准确度和识别率不能直接代表空车位边界识别结果的精确度，会出现识别车位与真实值之间存在偏差，影响自动泊车过程中车辆的安全，车位角中心点识别结果的偏差同样会造成车位姿态计算的误差；其三，在识别网络设计阶段并未考虑车位角之间的相对位置关系，而同一车位的多个车位角排列具有几何关系，相邻车位的车位角之间同样具有相似的几何关系，算法设计过程中如果能够充分结合多车位角之间的位置关系是能够有效提高算法的鲁棒性和准确性的。
基于以上内容可知，目前基于超声波雷达、基于地磁传感器、基于环视图像等三种空车位识别方式并不能很好地适应不同车位线划线方式、自然环境变化等因素，不能满足车辆对车位感知的鲁棒性、实时性和准确性的要求。因此，有必要提出一种新的空车位识别方法来取代目前基于超声波雷达、基于地磁传感器、基于环视图像等三种空车位识别方式。
发明内容
本发明的目的在于提出一种空车位识别方法与系统、计算机可读存储介质，以更好地满足车辆对车位感知的鲁棒性、实时性和准确性的要求。
为实现上述目的，本发明的实施例提出一种空车位识别方法，包括如下步骤：
步骤S100、当车辆泊车时，实时获取当前时刻的多路帧图像；其中所述多路帧图像包括车辆不同方位的车辆环境图像；
步骤S200、将所述多路帧图像输入预先训练好的CNN模型进行图像特征提取获得图像特征；
步骤S300、将所述图像特征输入预先训练好的Transformer模型依次进行编码、解码和感知推理输出当前时刻车辆周围环境的多个目标点的类别信息和坐标信息；其中所述目标点的类别包括无目标点、车位角中心点和空车位入口中心点；
步骤S400、根据所述多个目标点的类别信息和坐标信息确定目标空车位及其坐标信息。
优选地，所述Transformer模型输出的目标点的类别信息包括目标点为无目标点的置信度、目标点为车位角中心点的置信度和目标点为空车位入口中心点的置信度，其中三个置信度中最高的一个即为目标点的类别；
所述步骤S400包括：
根据所述多个目标点的类别信息确定一个或多个空车位及其置信度，并选择置信度最高的一个空车位作为当前时刻的目标空车位；其中所述空车位的置信度根据空车位的车位角中心点和空车位入口中心点的置信度确定；
根据所述当前时刻的目标空车位的车位角中心点和空车位入口中心点的坐标信息确定所述当前时刻的目标空车位的坐标信息。
优选地，所述步骤S400包括：
统计当前时刻以及当前时刻之前的连续多个历史时刻所对应的车辆周围环境的所有目标空车位及其置信度，并从中选择置信度最高的一个时刻的目标空车位作为最优空车位。
优选地，所述多路帧图像包括车辆前后左右四个方位的车辆环境图像，通过设置于车辆前后左右的四个180度广角鱼眼摄像头分别拍摄得到。
优选地，所述步骤S200还包括：
在将所述多路帧图像输入所述CNN模型之前，对所述多路帧图像的上、下边缘以黑色像素进行填充，使得填充后的多路帧图像的图像尺寸均为第一预设尺寸；并将所述填充后的多路帧图像的图像尺寸缩放至满足所述CNN模型的输入要求的第二预设尺寸。
优选地，所述CNN模型包括依次连接的第一网络模块、第二网络模块和特征处理模块；
其中，所述第一网络模块包括：依次连接的第一卷积层、第一激活函数层、第一池化层、第二卷积层、第二激活函数层、第二池化层、第三卷积层、第三激活函数层、第四卷积层、第四激活函数层、第五卷积层、第五激活函数层、第三池化层、第六卷积层和第六激活函数层；
其中，所述第二网络模块包括三个分支网络；所述三个分支网络的结构相同，空洞尺度不同；所述三个分支网络均包括：依次连接的第七卷积层、第七激活函数层、第八卷积层、第八激活函数层、第四池化层、第九卷积层、第九激活函数层、第十卷积层、第十激活函数层、第十一卷积层、第十一激活函数层、第十二卷积层、第十二激活函数层、第十三卷积层、第十三激活函数层和第五池化层；
其中，所述第一网络模块的输入为CNN模型的输入，所述三个分支网络的输入均为所述第一网络模块的输出；所述特征处理模块用于根据所述三个分支网络的输出生成用于输入所述Transformer模型的多个词向量。
本发明的实施例还提出一种空车位识别系统，该系统与上述的方法对应，该系统包括：
图像信息获取单元，用于当车辆泊车时，实时获取当前时刻的多路帧图像；其中所述多路帧图像包括车辆不同方位的车辆环境图像；
第一信息处理单元，用于将所述多路帧图像输入预先训练好的CNN模型进行图像特征提取获得图像特征；
第二信息处理单元，用于将所述图像特征输入预先训练好的Transformer模型依次进行编码、解码和感知推理输出当前时刻车辆周围环境的多个目标点的类别信息和坐标信息；其中所述目标点的类别包括无目标点、车位角中心点和空车位入口中心点；以及
空车位识别单元，用于根据所述多个目标点的类别信息和坐标信息确定目标空车位及其坐标信息。
优选地，所述Transformer模型输出的目标点的类别信息包括目标点为无目标点的置信度、目标点为车位角中心点的置信度和目标点为空车位入口中心点的置信度，其中三个置信度中最高的一个即为目标点的类别；
所述空车位识别单元，包括：
第一识别子单元，用于根据所述多个目标点的类别信息确定一个或多个空车位及其置信度，并选择置信度最高的一个空车位作为当前时刻的目标空车位；其中所述空车位的置信度根据空车位的车位角中心点和空车位入口中心点的置信度确定；
第二识别子单元，用于根据所述当前时刻的目标空车位的车位角中心点和空车位入口中心点的坐标信息确定所述当前时刻的目标空车位的坐标信息。
优选地，所述空车位识别单元，还包括：
第三识别子单元，用于统计当前时刻以及当前时刻之前的连续多个历史时刻所对应的车辆周围环境的所有目标空车位及其置信度，并从中选择置信度最高的一个时刻的目标空车位作为最优空车位。
本发明的实施例还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的空车位识别方法的步骤。
本发明的实施例至少具有以下有益效果：
本发明的实施例利用CNN模型对输入的多路帧图像进行图像特征提取；然后将自然语言处理中的Transformer模型应用于本发明实施例的车位感知中，利用Transformer模型中的“编码-解码”机制对CNN模型提取到的图像特征进行计算推理，并在不同序列特征上叠加位置信息，最后通过其前馈神经网络FFN对Transformer模型的解码结果进行感知推理，最终实现对图像中空车位入口中心点、车位角中心点的感知，其中Transformer模型的引入增加了输出目标结果之间的位置关联性和类别关联性，提高了算法的鲁棒性和准确性，能够很好地适应不同车位线划线方式、自然环境变化等因素，不能满足车辆对车位感知的鲁棒性、实时性和准确性的要求。
本发明的实施例的其它特征和优点将在随后的说明书中阐述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种空车位识别方法的流程示意图。
图2为本发明实施例中CNN-Transformer的结构示意图。
图3为本发明实施例中车位角中心点的示意图。
图4为本发明实施例中空车位入口中心点的示意图。
图5为本发明实施例中CNN模型的结构示意图。
图6为本发明实施例中Transformer模型的结构示意图
图7为本发明实施例中一种空车位识别系统的结构示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。
参阅图1，本发明一实施例提出一种空车位识别方法，其可以应用于车辆自动泊车系统中实现空车位的识别和定位，具体包括如下步骤：
步骤S100、当车辆泊车时，实时获取当前时刻的多路帧图像；其中所述多路帧图像包括车辆不同方位的车辆环境图像；
具体而言，自动泊车系统一般配置有四个摄像头，分别设置在车身的车头、后尾、左侧和右侧，用于在进行泊车时，实时拍摄车辆前后左右四个方位的车辆环境图像，以便于能够检测到处于车辆不同方向的车位；
步骤S200、将所述多路帧图像输入预先训练好的CNN模型进行图像特征提取获得图像特征；
具体而言，CNN模型指的是卷积神经网络模型，CNN的英文全称为ConvolutionalNeural Networks；步骤中图像特征的提取具体为对图像进行卷积处理；优选地，在将所述多路帧图像输入预先训练好的CNN模型时，按照预先设定的顺序进行输入，例如按照前后左右的图像顺序依次输入CNN模型；每一路帧图像都有可能检测到车位或检测不到车位；
步骤S300、将所述图像特征输入预先训练好的Transformer模型依次进行编码、解码和感知推理输出当前时刻车辆周围环境的多个目标点的类别信息和坐标信息；其中所述目标点的类别包括无目标点、车位角中心点和空车位入口中心点；
具体而言，本发明实施例中所述Transformer模型优选采用DetectionTransformer(DETR)模型中的Transformer结构，该Transformer结构包括编码部分Encoder、解码部分Decoder和前馈神经网络FNN，这三部分分别具有编码、解码和感知推理的功能；
基于上述的步骤S200和步骤S300可知，本发明实施例中构建了CNN-Transformer的深度学习模型来对车辆周围环境图像直接进行处理，获得辆周围环境的多个目标点的类别信息和坐标信息，本发明实施例的CNN-Transformer的结构如图2所示；其中，相对于其他车位定位识别技术，本发明实施例中还提出了空车位入口中心点的检测，当存在空车位时，会有一个空车位入口中心点，如果不存在空车位，则不会输出空车位入口中心点，以便于更加准确地定位车位位置，方便自动泊车系统能够更好地进行自动泊车；
其中，车位角有两种情况，即“L”型和“T”型，车位角中心点的示意图如图3所示，图3中“L”型和“T”型实线框代表车位角，黑色虚线代表车位线各条边的中心线，两条中心线的交叉点为本文所标注的车位角中心点的位置，即交叉线对应交叉点代表标注的中心点位置；空车位中心点的示意图如图4所示，车位入口对应的2个车位角中心点连线的中点所在位置即车位入口中心点位置，即图3中黑色虚线上中心位置。
需说明的是，现有技术大多采用矩形框的方式来表征车位角，以识别出的矩形框的中心点位置作为车位边界的临界位置，而自动泊车需要的空车位信息为车位角中心点(即构成车位边界四边形的四个角点)的坐标，因此矩形框的准确度和识别率不能直接代表空车位边界识别结果的精确度，会出现识别车位与真实值之间存在偏差，影响自动泊车过程中车辆的安全，车位角中心点识别结果的偏差同样会造成车位姿态计算的误差，而参阅图3可知，本发明实施例中的车位角中心点则没有采用矩形框的方式来表征车位角，因此可以解决现有技术采用矩形框的方式来表征车位角所带来的问题。
步骤S400、根据所述多个目标点的类别信息和坐标信息确定目标空车位及其坐标信息；
具体而言，如上所述，在步骤S400中可以根据Transformer模型输出的空车位入口中心点，来确定是否有空车位存在，在存在有空车位的情况下，结合目标点的坐标信息，即该空车位的车位角中心点和空车位入口中心点的坐标信息来确定空车位的位置，然后输出给自动泊车系统的决策模块，辅助该决策模块进行自动泊车决策，例如生成泊车路径，控制车辆根据泊车路径行驶；
应当理解的是，在整个自动泊车过程中，本发明实施例是持续实时地对车辆周围环境进行空车位的识别定位的，直至自动泊车成功。
需要说明的是，本发明实施例的方法利用CNN模型对输入的多路帧图像进行图像特征提取；然后将自然语言处理中的Transformer模型应用于本发明实施例的车位感知中，利用Transformer模型中的“编码-解码”机制对CNN模型提取到的图像特征进行计算推理，并在不同序列特征上叠加位置信息，最后通过其前馈神经网络FFN对Transformer模型的解码结果进行感知推理，最终实现对图像中空车位入口中心点、车位角中心点的感知，其中Transformer模型的引入增加了输出目标结果之间的位置关联性和类别关联性，提高了算法的鲁棒性和准确性，能够很好地适应不同车位线划线方式、自然环境变化等因素，不能满足车辆对车位感知的鲁棒性、实时性和准确性的要求。
具体在本实施例中，所述Transformer模型输出的目标点的类别信息包括目标点为无目标点的置信度Z1、目标点为车位角中心点的置信度Z2、目标点为空车位入口中心点的置信度Z3，即(Z1，Z2，Z3)，将Z1、Z2、Z3进行比较，其中三个置信度中最高的一个即为目标点的类别；
所述步骤S400具体可以包括：
步骤S401、根据所述多个目标点的类别信息确定一个或多个空车位及其置信度，并选择置信度最高的一个空车位作为当前时刻的目标空车位；其中所述空车位的置信度根据空车位的车位角中心点和空车位入口中心点的置信度确定；
具体而言，空车位的置信度可以结合空车位的车位角中心点和空车位入口中心点的置信度进行确定，例如是，Z＝Z2*M1+Z3*M2，其中，Z为空车位的置信度，M1和M2为预先设定的权重值，M1和M2取0～1之间的值；
应当理解的是，当前时刻的所有空车位包括了根据不同方向的当前时刻的车辆环境图像进行识别得到的空车位；空车位的置信度表示存在一个空车位的概率，因此，当有多个空车位时，步骤中从中选择一个置信度最高的目标空车位；
步骤S402、根据所述当前时刻的目标空车位的车位角中心点和空车位入口中心点的坐标信息确定所述当前时刻的目标空车位的坐标信息；
具体而言，在确定目标空车位的坐标信息之后，将目标空车位的坐标信息输出给自动泊车系统的决策模块以辅助其决策。
具体在本实施例中，所述步骤S400具体可以包括：
步骤S403、统计当前时刻以及当前时刻之前的连续多个历史时刻所对应的车辆周围环境的所有目标空车位及其置信度，并从中选择置信度最高的一个时刻的目标空车位作为最优空车位。
具体而言，本发明实施例中在泊车过程中实时对空车位进行识别和定位，由于不同时刻拍摄的图像因为角度问题可能有差别，因此，优选地，步骤中可以结合连续多帧车辆环境图像进行最优空车位的确定，以此来提高空车位检测的准确性，从而找到一个最合适的空车位。
具体在本实施例中，所述多路帧图像包括车辆前后左右四个方位的车辆环境图像，通过设置于车辆上的多个180度广角鱼眼摄像头分别拍摄得到。
具体在本实施例中，所述步骤S200还包括：
在将所述多路帧图像输入所述CNN模型之前，对所述多路帧图像的上、下边缘以黑色像素进行填充，使得填充后的多路帧图像的图像尺寸均为第一预设尺寸；并将所述填充后的多路帧图像的图像尺寸缩放至满足所述CNN模型的输入要求的第二预设尺寸。
具体而言，鱼眼摄像头的原始图像分辨率与CNN模型的输入要求可能有所不同，例如鱼眼摄像头的原始图像分辨率为1280*720，为保证缩放后图像中目标不出现二次形变，本发明实施例在将图像输入CNN模型之前，先对图像的上、下边缘以黑色像素进行填充至1280*1280，在保证总体填充大小一致的情况下上、下边缘分别填充大小随机生成，然后将图像尺寸缩放至模型的输入尺寸，例如是512*512；
需说明的是，本发明实施例中直接对车载摄像头采集到的广角鱼眼图像进行处理，不需要对图像进行滤波、鱼眼畸变矫正等预处理操作，能够避免从广角鱼眼图像通过畸变矫正、透视变换转换到俯视图图像的过程中，往往图像视野较原始鱼眼图像变小且图像中的立体信息丢失的情况出现，避免出现因为车位内侧存在障碍物时，容易因图像信息的不完整造成空车位的误识别。
具体在本实施例中，所述CNN模型包括依次连接的第一网络模块、第二网络模块和特征处理模块；
其中，所述第一网络模块包括：依次连接的第一卷积层、第一激活函数层、第一池化层、第二卷积层、第二激活函数层、第二池化层、第三卷积层、第三激活函数层、第四卷积层、第四激活函数层、第五卷积层、第五激活函数层、第三池化层、第六卷积层和第六激活函数层；
其中，所述第二网络模块包括三个分支网络；所述三个分支网络的结构相同，空洞尺度不同；所述三个分支网络均包括：依次连接的第七卷积层、第七激活函数层、第八卷积层、第八激活函数层、第四池化层、第九卷积层、第九激活函数层、第十卷积层、第十激活函数层、第十一卷积层、第十一激活函数层、第十二卷积层、第十二激活函数层、第十三卷积层、第十三激活函数层和第五池化层；
其中，所述第一网络模块的输入为CNN模型的输入，所述三个分支网络的输入均为所述第一网络模块的输出；所述特征处理模块用于根据所述三个分支网络的输出生成用于输入所述Transformer模型的多个词向量。
具体而言，本发明实施例CNN模型的主干分支选取Darknet-19模型结构前13个卷积层及卷积层后的13个激活函数层和4个池化层作为主干分支，依次将其中的13卷积层大小依次裁剪成[16，32，64，32，64，128，64，128，256，128，256，128，256]，并在最后添加一层池化层对提取的特征进一步下采样，主干分支中均采用核大小为3*3的卷积层，激活函数选用RuLU激活函数，池化层采用核大小为2*2的最大值池化。
进一步地，为了增加模型的感受野，提取不同尺度的特征，本发明实施例对上述主干分支进行扩展，在上述主干分支的第6层后引入2个不同尺度的分支，2个分支结构与主干分支结构一致，但分别采用空洞尺度为3和空度尺度为7的3*3卷积核，也即主干分支的前6层卷积层为所述第一网络模块，前6层之后的主干分支部分以及其他2个不同尺度的分支构成所述第二网络模块。本发明实施例CNN模型结构图如图5所示，为简化模型结构可视化效果，图5中不考虑各层提取特征的维度，不同K值代表不同的卷积核空洞尺度，所述CNN模型最终输出3个分支分别提取尺度为16*16*256、16*16*256、16*16*256的图像特征，即3个分支的输出即图5中输出的feature1、feature2、feature3；对特征进行拼接后构成16*16*768的特征，前两个通道展开后构成16*16＝256个1*768的词向量，作为后续Transformer模型的输入。
需说明的是，本发明实施例中设计不同的分支是为了获取不同层次的特征，浅层特征是细节特征，深层特征是抽象特征，将不同层次的特征进行拼接，能够更好地对图像特征进行准确识别。
具体而言，本发明实施例中的Transformer结构用于进行所述CNN模型输出的图像特征的编码、解码，本发明实施例的Transformer结构优选采用DETR模型中的Encoder-Decoder结构，其编码-解码模块的结构如图6所示，该Transformer结构中间层充分利用了不同特征之间的相对位置关系叠加了特征位置编码信息，提高了特征对位置信息的表达，将所述CNN模型得到的铺平特征叠加对应的位置编码信息后通过编码模块Encoder得到编码后的特征，后将编码后的特征输入解码模块Decoder进行解码；最后分别通过3层前馈神经网络FFN得到例如维度为16*1*3的多个目标点的类别信息和维度为16*1*2的多个目标点的坐标信息。
图6所示的编码模块Encoder由多头注意力机制层和前馈神经网络层等基础层构成，输入的经拼接、平铺的图像特征首先叠加位置编码信息后经过多头注意力机制层，编码层的输出与输入特征相加后经过前馈神经网络进行编码特征维度的变化；解码模块Encoder与编码模块Decoder结构组成类似，不同的时解码模块Decoder中解码层的V值和K值来源于编码模块Encoder的输出，而Q值来来源于上一时刻解码模块Decoder的输出。编码模块Encoder和解码模块Decoder的结构图如图6中的(a)部分和(b)部分所示，其中，N1和N2分别为编码层和解码层的数量。
具体而言，前馈神经网络FNN进行目标点的类别和坐标预测，本发明实施例的Transformer结构在其解码模块Decoder后分别连接2个前馈神经网络模块分别用于目标点的类别预测和目标点的坐标预测。通过摄像头的覆盖范围、实际应用需求等方面进行分析，单幅图像最多能够涵盖车位数量有限，本发明实施例最终预测的目标点的数量取决于单幅图像能够覆盖的检测范围。具体地，类别预输出结果经Softmax激活函数处理，坐标预测输出结果经Sigmoid激活函数处理。
下面对本发明实施例所提出的CNN-Transformer模型的训练进行补充说明，训练过程主要包括：
(1)车辆多路摄像头的参数标定；需说明的是，摄像头的参数标定是图像坐标系与世界坐标系之间转换的基础，标定的误差直接导致定位结果映射到世界坐标系的误差；而且位于车身各侧的摄像头安装高度、角度存在差异，所以需要分别对各路车载摄像头进行内部参数和外部参数的标定。应当理解的是，车辆自动泊车系统在进行泊车决策时参考的是空车位在世界坐标系中的坐标位置，本发明实施例中CNN-Transformer模型可以输出目标点在图像坐标系的坐标信息或者在世界坐标系的坐标信息，只需要将图像坐标系的坐标信息进行转换至世界坐标系即可；
(2)泊车数据集的采集与标注；需说明的是，泊车数据集的采集与标注用于CNN-Transformer模型的训练，本发明实施例中需要对各路鱼眼图像中的车位角、车位角角点、空车位进行标注，标注方法如图3-4所示，泊车数据集的采集与标注直接影响模型训练的准确性。
(3)训练CNN-Transformer模型；基于(1)～(2)的准备工作，则可以将(2)所得到的泊车数据集输入如图2所示的CNN-Transformer模型中进行训练学习，最后可以得到一个CNN-Transformer模型来实现本发明实施例的方法。
参阅图7，本发明的另一实施例还提出一种空车位识别系统，该系统与上述的方法对应，该系统包括：
图像信息获取单元1，用于当车辆泊车时，实时获取当前时刻的多路帧图像；其中所述多路帧图像包括车辆不同方位的车辆环境图像；
第一信息处理单元2，用于将所述多路帧图像输入预先训练好的CNN模型进行图像特征提取获得图像特征；
第二信息处理单元3，用于将所述图像特征输入预先训练好的Transformer模型依次进行编码、解码和感知推理输出当前时刻车辆周围环境的多个目标点的类别信息和坐标信息；其中所述目标点的类别包括无目标点、车位角中心点和空车位入口中心点；以及
空车位识别单元4，用于根据所述多个目标点的类别信息和坐标信息确定目标空车位及其坐标信息。
具体在本实施例中，所述Transformer模型输出的目标点的类别信息包括目标点为无目标点的置信度、目标点为车位角中心点的置信度和目标点为空车位入口中心点的置信度，其中三个置信度中最高的一个即为目标点的类别；
所述空车位识别单元4，包括：
第一识别子单元，用于根据所述多个目标点的类别信息确定一个或多个空车位及其置信度，并选择置信度最高的一个空车位作为当前时刻的目标空车位；其中所述空车位的置信度根据空车位的车位角中心点和空车位入口中心点的置信度确定；
第二识别子单元，用于根据所述当前时刻的目标空车位的车位角中心点和空车位入口中心点的坐标信息确定所述当前时刻的目标空车位的坐标信息。
具体在本实施例中，所述空车位识别单元4，还包括：
第三识别子单元，用于统计当前时刻以及当前时刻之前的连续多个历史时刻所对应的车辆周围环境的所有目标空车位及其置信度，并从中选择置信度最高的一个时刻的目标空车位作为最优空车位。
具体在本实施例中，所述多路帧图像包括车辆前后左右四个方位的车辆环境图像，通过设置于车辆前后左右的四个180度广角鱼眼摄像头分别拍摄得到。
具体在本实施例中，所述第一信息处理单元，还用于：
在将所述多路帧图像输入所述CNN模型之前，对所述多路帧图像的上、下边缘以黑色像素进行填充，使得填充后的多路帧图像的图像尺寸均为第一预设尺寸；并将所述填充后的多路帧图像的图像尺寸缩放至满足所述CNN模型的输入要求的第二预设尺寸。
具体在本实施例中，所述CNN模型包括依次连接的第一网络模块、第二网络模块和特征处理模块；
其中，所述第一网络模块包括：依次连接的第一卷积层、第一激活函数层、第一池化层、第二卷积层、第二激活函数层、第二池化层、第三卷积层、第三激活函数层、第四卷积层、第四激活函数层、第五卷积层、第五激活函数层、第三池化层、第六卷积层和第六激活函数层；
其中，所述第二网络模块包括三个分支网络；所述三个分支网络的结构相同，空洞尺度不同；所述三个分支网络均包括：依次连接的第七卷积层、第七激活函数层、第八卷积层、第八激活函数层、第四池化层、第九卷积层、第九激活函数层、第十卷积层、第十激活函数层、第十一卷积层、第十一激活函数层、第十二卷积层、第十二激活函数层、第十三卷积层、第十三激活函数层和第五池化层；
其中，所述第一网络模块的输入为CNN模型的输入，所述三个分支网络的输入均为所述第一网络模块的输出；所述特征处理模块用于根据所述三个分支网络的输出生成用于输入所述Transformer模型的多个词向量。
以上所描述的实施例的系统仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现实施例的系统的方案的目的。
需说明的是，上述实施例的系统与上述实施例的方法对应，因此，上述实施例的系统未详述部分可以参阅上述实施例的方法的内容得到，即上述实施例的方法记载的具体步骤内容可以理解为上述实施例的系统所能够实现的功能，此处不再赘述。
并且，上述实施例空车位识别系统若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
本发明另一实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例所述的空车位识别方法的步骤。
具体而言，所述计算机可读存储介质可以包括：能够携带所述计算机程序指令的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种空车位识别方法，其特征在于，包括如下步骤：
步骤S100、当车辆泊车时，实时获取当前时刻的多路帧图像；其中所述多路帧图像包括车辆不同方位的车辆环境图像；
步骤S200、将所述多路帧图像输入预先训练好的CNN模型进行图像特征提取获得图像特征；
步骤S300、将所述图像特征输入预先训练好的Transformer模型依次进行编码、解码和感知推理输出当前时刻车辆周围环境的多个目标点的类别信息和坐标信息；其中所述目标点的类别包括无目标点、车位角中心点和空车位入口中心点；
步骤S400、根据所述多个目标点的类别信息和坐标信息确定目标空车位及其坐标信息。
2.根据权利要求1所述的方法，其特征在于，所述Transformer模型输出的目标点的类别信息包括目标点为无目标点的置信度、目标点为车位角中心点的置信度和目标点为空车位入口中心点的置信度，其中三个置信度中最高的一个即为目标点的类别；
所述步骤S400包括：
根据所述多个目标点的类别信息确定一个或多个空车位及其置信度，并选择置信度最高的一个空车位作为当前时刻的目标空车位；其中所述空车位的置信度根据空车位的车位角中心点和空车位入口中心点的置信度确定；
根据所述当前时刻的目标空车位的车位角中心点和空车位入口中心点的坐标信息确定所述当前时刻的目标空车位的坐标信息。
3.根据权利要求2所述的方法，其特征在于，所述步骤S400包括：
统计当前时刻以及当前时刻之前的连续多个历史时刻所对应的车辆周围环境的所有目标空车位及其置信度，并从中选择置信度最高的一个时刻的目标空车位作为最优空车位。
4.根据权利要求1所述的方法，其特征在于，所述多路帧图像包括车辆前后左右四个方位的车辆环境图像，通过设置于车辆前后左右的四个180度广角鱼眼摄像头分别拍摄得到。
5.根据权利要求4所述的方法，其特征在于，所述步骤S200还包括：
在将所述多路帧图像输入所述CNN模型之前，对所述多路帧图像的上、下边缘以黑色像素进行填充，使得填充后的多路帧图像的图像尺寸均为第一预设尺寸；并将所述填充后的多路帧图像的图像尺寸缩放至满足所述CNN模型的输入要求的第二预设尺寸。
6.根据权利要求1所述的方法，其特征在于，所述CNN模型包括依次连接的第一网络模块、第二网络模块和特征处理模块；
其中，所述第一网络模块包括：依次连接的第一卷积层、第一激活函数层、第一池化层、第二卷积层、第二激活函数层、第二池化层、第三卷积层、第三激活函数层、第四卷积层、第四激活函数层、第五卷积层、第五激活函数层、第三池化层、第六卷积层和第六激活函数层；
其中，所述第二网络模块包括三个分支网络；所述三个分支网络的结构相同，空洞尺度不同；所述三个分支网络均包括：依次连接的第七卷积层、第七激活函数层、第八卷积层、第八激活函数层、第四池化层、第九卷积层、第九激活函数层、第十卷积层、第十激活函数层、第十一卷积层、第十一激活函数层、第十二卷积层、第十二激活函数层、第十三卷积层、第十三激活函数层和第五池化层；
其中，所述第一网络模块的输入为CNN模型的输入，所述三个分支网络的输入均为所述第一网络模块的输出；所述特征处理模块用于根据所述三个分支网络的输出生成用于输入所述Transformer模型的多个词向量。
7.一种空车位识别系统，其特征在于，包括：
图像信息获取单元，用于当车辆泊车时，实时获取当前时刻的多路帧图像；其中所述多路帧图像包括车辆不同方位的车辆环境图像；
第一信息处理单元，用于将所述多路帧图像输入预先训练好的CNN模型进行图像特征提取获得图像特征；
第二信息处理单元，用于将所述图像特征输入预先训练好的Transformer模型依次进行编码、解码和感知推理输出当前时刻车辆周围环境的多个目标点的类别信息和坐标信息；其中所述目标点的类别包括无目标点、车位角中心点和空车位入口中心点；以及
空车位识别单元，用于根据所述多个目标点的类别信息和坐标信息确定目标空车位及其坐标信息。
8.根据权利要求7所述的系统，其特征在于，所述Transformer模型输出的目标点的类别信息包括目标点为无目标点的置信度、目标点为车位角中心点的置信度和目标点为空车位入口中心点的置信度，其中三个置信度中最高的一个即为目标点的类别；
所述空车位识别单元，包括：
第一识别子单元，用于根据所述多个目标点的类别信息确定一个或多个空车位及其置信度，并选择置信度最高的一个空车位作为当前时刻的目标空车位；其中所述空车位的置信度根据空车位的车位角中心点和空车位入口中心点的置信度确定；
第二识别子单元，用于根据所述当前时刻的目标空车位的车位角中心点和空车位入口中心点的坐标信息确定所述当前时刻的目标空车位的坐标信息。
9.根据权利要求8所述的系统，其特征在于，所述空车位识别单元，还包括：
第三识别子单元，用于统计当前时刻以及当前时刻之前的连续多个历史时刻所对应的车辆周围环境的所有目标空车位及其置信度，并从中选择置信度最高的一个时刻的目标空车位作为最优空车位。
10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～6中任一项所述的空车位识别方法的步骤。
CN202111328666.6A 2021-11-10 2021-11-10 一种空车位识别方法与系统、计算机可读存储介质 Active CN115223132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111328666.6A CN115223132B (zh) 2021-11-10 2021-11-10 一种空车位识别方法与系统、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111328666.6A CN115223132B (zh) 2021-11-10 2021-11-10 一种空车位识别方法与系统、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN115223132A CN115223132A (zh) 2022-10-21
CN115223132B true CN115223132B (zh) 2023-10-27

Family

ID=83606404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111328666.6A Active CN115223132B (zh) 2021-11-10 2021-11-10 一种空车位识别方法与系统、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115223132B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116187602B (zh) * 2023-05-05 2023-07-14 松立控股集团股份有限公司 一种停车场车位占用预测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019015497A1 (zh) * 2017-07-18 2019-01-24 武汉智象机器人有限公司 一种智能停车库及其停车方法
CN110969655A (zh) * 2019-10-24 2020-04-07 百度在线网络技术（北京）有限公司 用于检测车位的方法、装置、设备、存储介质以及车辆
CN112009462A (zh) * 2020-08-10 2020-12-01 广州汽车集团股份有限公司 一种前向自动泊车方法及装置
CN112417926A (zh) * 2019-08-22 2021-02-26 广州汽车集团股份有限公司 车位识别方法、装置、计算机设备及可读存储介质
CN113409194A (zh) * 2021-06-30 2021-09-17 上海汽车集团股份有限公司 泊车信息获取方法及装置、泊车方法及装置
CN113561963A (zh) * 2020-04-29 2021-10-29 华为技术有限公司 一种泊车方法、装置及车辆

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019015497A1 (zh) * 2017-07-18 2019-01-24 武汉智象机器人有限公司 一种智能停车库及其停车方法
CN112417926A (zh) * 2019-08-22 2021-02-26 广州汽车集团股份有限公司 车位识别方法、装置、计算机设备及可读存储介质
CN110969655A (zh) * 2019-10-24 2020-04-07 百度在线网络技术（北京）有限公司 用于检测车位的方法、装置、设备、存储介质以及车辆
CN113561963A (zh) * 2020-04-29 2021-10-29 华为技术有限公司 一种泊车方法、装置及车辆
CN112009462A (zh) * 2020-08-10 2020-12-01 广州汽车集团股份有限公司 一种前向自动泊车方法及装置
CN113409194A (zh) * 2021-06-30 2021-09-17 上海汽车集团股份有限公司 泊车信息获取方法及装置、泊车方法及装置

Also Published As

Publication number Publication date
CN115223132A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
KR102566724B1 (ko) 항만 모니터링 장치 및 항만 모니터링 방법
CN106952308B (zh) 运动物体的位置确定方法及系统
US11734918B2 (en) Object identification apparatus, moving body system, object identification method, object identification model learning method, and object identification model learning apparatus
CN111516673B (zh) 基于智能摄像头和高精地图定位的车道线融合系统及方法
CN109649384A (zh) 一种泊车辅助方法
CN111598089B (zh) 一种基于深度学习的车牌矫正与识别方法
CN113936139A (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
CN115861632B (zh) 一种基于图卷积的视觉激光融合的三维目标检测方法
CN111256693B (zh) 一种计算位姿变化方法及车载终端
CN112883790A (zh) 一种基于单目摄像头的3d物体检测方法
CN113658257B (zh) 一种无人设备定位方法、装置、设备及存储介质
CN113095152A (zh) 一种基于回归的车道线检测方法及系统
CN115223132B (zh) 一种空车位识别方法与系统、计算机可读存储介质
CN110659548A (zh) 车辆及其目标检测方法、装置
CN114067292A (zh) 用于智能驾驶的图像处理方法和装置
Jindal et al. Bollard segmentation and position estimation from lidar point cloud for autonomous mooring
CN112529011A (zh) 目标检测方法及相关装置
US20230109473A1 (en) Vehicle, electronic apparatus, and control method thereof
CN114862952B (zh) 无人机检测与防御方法及系统
CN115187959B (zh) 一种基于双目视觉的飞行汽车山地着陆方法及系统
CN116476816A (zh) 泊车规划方法、装置、电子设备及存储介质
CN113624223B (zh) 一种室内停车场地图构建方法及装置
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
CN113408353B (zh) 一种基于rgb-d的实时避障系统
CN117011685B (zh) 场景识别方法、装置和电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant