CN116259042A - 基于图注意力的环视图像停车位检测方法及装置 - Google Patents
基于图注意力的环视图像停车位检测方法及装置 Download PDFInfo
- Publication number
- CN116259042A CN116259042A CN202310330519.5A CN202310330519A CN116259042A CN 116259042 A CN116259042 A CN 116259042A CN 202310330519 A CN202310330519 A CN 202310330519A CN 116259042 A CN116259042 A CN 116259042A
- Authority
- CN
- China
- Prior art keywords
- parking space
- position information
- feature
- detection
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000001514 detection method Methods 0.000 claims abstract description 91
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 230000007246 mechanism Effects 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 25
- 238000010586 diagram Methods 0.000 claims description 15
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 12
- 239000003550 marker Substances 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- CLSIFQGHPQDTHQ-DTWKUNHWSA-N (2s,3r)-2-[(4-carboxyphenyl)methyl]-3-hydroxybutanedioic acid Chemical compound OC(=O)[C@H](O)[C@@H](C(O)=O)CC1=CC=C(C(O)=O)C=C1 CLSIFQGHPQDTHQ-DTWKUNHWSA-N 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 abstract description 6
- 238000012805 post-processing Methods 0.000 abstract description 6
- 238000004590 computer program Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 101150012011 PIANP gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于图注意力的环视图像停车位检测方法及装置，所述方法包括获取鸟瞰图，根据鸟瞰图进行目标点检测、环视图特征提取以及车辆检测；根据目标点检测得到标记点位置信息，根据环视图特征提取得到标记点特征，融合标记点位置信息和标记点特征，得到融合后的停车位点特征图；将停车位点特征图输入至预构建的图注意力神经网络中进行识别，得到停车位检测框；根据车辆检测得到车辆位置信息，结合车辆位置信息和停车位检测框判断停车位是否被占用。本发明提供的方法不存在手工设计和复杂的后处理，将停车位检测与占用情况分类同时进行，完全实现端到端，具有精度高、速度快、鲁棒性好的特点。
Description
技术领域
本发明属于自动驾驶技术领域，具体涉及一种基于图注意力的环视图像停车位检测方法及装置。
背景技术
停车位检测最常见的方法是距离测量法和图像测量法，例如采用超声波传感器探测距离判断是否有空停车位，或者通过对环视图像进行识别判断是否有空停车位，比较常见的还有采用两种相结合的方法。在基于环视图像识别停车位的方法中，比较传统的如基于灰度直方图、利用时隙特征、通过支持向量机来识别停车位占用或采用局部二进制模式（LBP）作为提取停车位特征，它们较易受到环境变化的影响。为进一步提高不同照明条件下停车位占用分类的鲁棒性，一种专为智能摄像头设计的mAlexNet网络被提出，随后基于扩张卷积神经网络设计的一种适用于从不同摄像机视角拍摄的不同图像的广义停车位分类方法被提出。然而，这两种方法都是针对停车场的监控图像而设计的。为了使空置停车位检测不受任何天气和光照条件的影响，一种利用热成像摄像头来检测车辆，训练改进faterRCNN来检测空置停车位的方法被提出。然而，当车辆温度降低时，检测精度急剧下降。
相关技术中，目前基于环视图像的停车位检测方法主要可以分为3类：基于线的方法、基于点的方法和基于语义分割的方法。
其中，基于线特征的方法从最初的基于Hough变换、Randon变换到DBSCAN线级特征聚类算法再到线聚类与多视图特征相结合，但这些原始的方法对实际复杂的环境均不具有鲁棒性。
基于点特征的方法从Harris角点检测器到基于机器学习的PSD_L方法再到基于DCNN的DeepPS方法，这些方法运算速度与精度越来越高，但其仍然需要手工设计和复杂的后处理，并对空车位无法进行检测。
基于语义分割的方法从第一个基于语义分割方法到VH-HFCN网络再到DFNet网络，这些语义分割方法需要经过后处理才能得到停车位，这既耗时又不准确。
因此，现有的基于环视图像的停车位检测方法，均存在检测不够精确以及耗时的问题。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于图注意力的环视图像停车位检测方法及装置，以解决现有技术中均存在检测不够精确以及耗时的问题。
为实现以上目的，本发明采用如下技术方案：一种基于图注意力的环视图像停车位检测方法，包括：
获取鸟瞰图，根据所述鸟瞰图进行目标点检测、环视图特征提取以及车辆检测；
根据目标点检测得到标记点位置信息，根据环视图特征提取得到标记点特征，融合所述标记点位置信息和标记点特征，得到融合后的停车位点特征图；
将所述停车位点特征图输入至预构建的图注意力神经网络中进行识别，得到停车位检测框；
根据车辆检测得到车辆位置信息，结合所述车辆位置信息和停车位检测框判断停车位是否被占用，输出判断结果。
进一步的，所述根据目标点检测得到标记点位置信息，包括：
将所述鸟瞰图调整为预设尺寸的RGB图像；
将所述RGB图像输入设置有CBMA注意力机制的backbone网络中，得到注意力特征；其中，所述CBMA注意力机制采用通道注意力机制与空间注意力机制串联；
根据所述注意力特征，得到三层不同尺寸的特征地图；
根据所述特征地图输出预测的标记点位置信息。
进一步的，所述根据环视图特征提取得到标记点特征，包括：
将所述鸟瞰图输入预构建的标记点特征编码网络，得到环视图特征；
采用双线性插值法计算所述环视图特征图的点级特征，得到标记点特征；
其中，所述标记点特征编码网络采用卷积编码器，所述卷积编码器由四个卷积层构成，输出为16*16*64大小的特征图。
进一步的，融合所述标记点位置信息和标记点特征，包括：
采用以下方式利用多层感知机MLP来将标记点位置信息P编码为高维向量，融合到标记点特征F：
进一步的，所述将所述停车位点特征图输入至预构建的图注意力神经网络中进行识别，包括：
基于所述停车位点特征图，构建一个全连接图；其中，所述全连接图包括多个节点和多条边；
确定所述全连接图的特征向量，将所述特征向量进行以注意力机制为核心的聚合操作后，得到每个节点的新特征向量；
根据每个节点的新特征向量计算该节点与所有邻居节点之间的权重系数；
对所有的权重系数进行归一化、注意力机制处理及平均操作，得到由节点和边组成的停车位检测框。
进一步的，还包括：识别车位入口线；包括：
将任意两个节点的特征向量拼接为128维向量；
将128维向量输入预构建的停车位入口线判别网络中，得到两个停车位入口点以及两个入口点是否组成停车位入口的概率。
进一步的，所述根据车辆检测得到车辆位置信息，结合所述车辆位置信息和停车位检测框判断停车位是否被占用，包括：
根据所述停车位检测框及车辆位置信息，选取相邻的四个车辆检测框位置判断车辆的矩形帧与停车位的矩形帧之间的覆盖率，当四个覆盖率之和小于预设阈值时，则确定停车位未被占用。
本申请实施例提供一种基于图注意力的环视图像停车位检测装置，包括：
获取模块，用于获取鸟瞰图，根据所述鸟瞰图进行目标点检测、环视图特征提取以及车辆检测；
融合模块，用于根据目标点检测得到标记点位置信息，根据环视图特征提取得到标记点特征，融合所述标记点位置信息和标记点特征，得到融合后的停车位点特征图；
识别模块，用于将所述停车位点特征图输入至预构建的图注意力神经网络中进行识别，得到停车位检测框；
判断模块，用于根据车辆检测得到车辆位置信息，结合所述车辆位置信息和停车位检测框判断停车位是否被占用，输出判断结果。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种基于图注意力的环视图像停车位检测方法及装置，本申请采用图注意力神经网络，没有手工设计和复杂的后处理，将停车位检测与占用情况分类同时进行，完全实现端到端，具备精度高、速度快、鲁棒性好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于图注意力的环视图像停车位检测方法的步骤示意图；
图2为本发明基于图注意力的环视图像停车位检测方法的流程示意图；
图3为本发明基于图注意力的环视图像停车位检测装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的基于图注意力的环视图像停车位检测方法及装置。
如图1所示，本申请实施例中提供的基于图注意力的环视图像停车位检测方法，包括：
S101，获取鸟瞰图，根据所述鸟瞰图进行目标点检测、环视图特征提取以及车辆检测；
可以理解的是，本申请中利用卷积神经网络（Resnet、VGG等）对鸟瞰图进行车位线特征提取。
S102，根据目标点检测得到标记点位置信息，根据环视图特征提取得到标记点特征，融合所述标记点位置信息和标记点特征，得到融合后的停车位点特征图；
一些实施例中，所述根据目标点检测得到标记点位置信息，包括：
将所述鸟瞰图调整为预设尺寸的RGB图像；
将所述RGB图像输入设置有CBMA注意力机制的backbone网络中，得到注意力特征；其中，所述CBMA注意力机制采用通道注意力机制与空间注意力机制串联；
根据所述注意力特征，得到三层不同尺寸的特征地图；
根据所述特征地图输出预测的标记点位置信息。
具体的，本申请中对目标点检测的具体方法为：
1，将输入图像调整大小为640*640*3的RGB图像；
2，将1得到的结果输入到主干网络backbone网络中，加入CBAM(ConvolutionalBlock Attention Module)注意力机制，因在车位线检测中车位线只占图像的小部分区域大部分像素内容为背景，为了剔除与车位线无关的冗余特征信息添加CBAM注意力机制。CBAM注意力机制将通道注意力机制与空间注意力机制串联使用，分别关注通道和空间上的重要特征。
3，将2中结果输入预测层（head层），head层网络输出三层不同尺寸大小的特征地图feature map。其中head层是一个路径聚合特征金字塔网络（Path AggregationFeaturepyramid network，pafpn）结构，是获取网络输出内容的网络，利用主干网络（backbone）提取的特征，head利用这些特征，做出预测。本方法中head层指YOLOX系列核心网络结构，在YOLOv7中head层为neck层与head层的融合。其中neck层是放在backbone和head之间，为了更好地利用backbone提取的特征。
4，经过结构重参数化网络（RepVGG）和卷积层（Conv）输出预测结果。
一些实施例中，所述根据环视图特征提取得到标记点特征，包括：
将所述鸟瞰图输入预构建的标记点特征编码网络，得到环视图特征；
采用双线性插值法计算所述环视图特征图的点级特征，得到标记点特征；
其中，所述标记点特征编码网络采用卷积编码器，所述卷积编码器由四个卷积层构成，输出为16*16*64大小的特征图。
具体的，在实现中使用目标检测模型，首先在公开数据集VOC上进行预训练，再对基于目标检测模型的目标检测器在公开数据集上进行微调，调整batch_size、learning_rate、epoch、decay、momentum等参数大小。训练集要预先在目标检测标注工具LabelImg中手工标注检测点（车位线交叉点）。
可以理解的是，对于车辆检测中，本申请在实现中使用上述目标检测模型，在公开数据集上进行训练，得到的训练工程可直接用于停车场中车辆检测。
在一个实施例中，所述根据环视图特征提取得到标记点特征，包括：
将所述鸟瞰图输入预构建的标记点特征编码网络，得到环视图特征；
采用双线性插值法计算所述环视图特征图的点级特征，得到标记点特征；
其中，所述标记点特征编码网络采用卷积编码器，所述卷积编码器由四个卷积层构成，输出为16*16*64大小的特征图。
具体的，本申请中首先对鸟瞰图特征提取网络输出结果经标记点特征编码网络，采用双线性插值法来计算该特征图的点级特征，即将标记点特征编码网络输出结果与标记点位置信息通过双线性插值法输出为标记点特征F。其中标记点特征编码网络采用卷积编码器，由四个卷积层构成，输出为16*16*64大小的特征图，其对输入的特征进行降采样以提供较小维度潜在表示，并强制自编码器学习特征的压缩版本。
然后对标记点位置信息和标记点特征进行融合，其目的是为了提高特征表示能力，利用多层感知机MLP来将位置P编码为高维向量，然后融合到停车位点特征F：
S103，将所述停车位点特征图输入至预构建的图注意力神经网络中进行识别，得到停车位检测框；
基于融合后的停车位点特征图V，构建一个全连接图
，全连接图G包含N个节点/>
，和/>
条边/>
。在第1层特征点/>
所对应的特征向量为/>
（
），/>
表示第/>
层节点特征向量的长度，经过一个以注意力机制为核心的聚合操作之后，输出的是每个节点新的特征向量/>
（/>
），/>
是输出的特征向量的长度（第/>
层节点特征向量的长度）。
图神经网络每一层标记点特征更新方法为：
其中
为特征结合操作，即矩阵拼接。
计算新特征向量
需先计算节点特征/>
以及其邻居节点/>
的权重系数：
显然
是/>
的内积也即两者的相关度。其中,/>
是该层节点特征变化（维度变换）的权重参数。原则上可以计算图中任意一个节点到节点/>
的权重系数，但是为了简化计算，将其限制在一阶邻居内（有直接的边相连），需要注意的是每个节点自身也视作自己的邻居。
同时为了更好地分配权重，需要将当前中心节点与其所有邻居节点计算出得相关度进行统一的归一化处理，具体形式为softmax归一化：
其中，
是权重系数，上式保证了当前中心节点所有邻居的权重系数加和为1。下式给出了完整的权重系数计算公式：
按照注意力机制加权求和的思路，节点
的新特征向量为：
为进一步提升注意力层的表达能力，加入多头注意力机制，也即对上式调用k组相互独立的注意力机制，然后将输出结果进行平均操作：
其中，
是第k组注意力机制计算出的权重系数，/>
是第k组注意力机制对应的学习参数。
综上，对图特征点进行处理后得到由图点及边组成的停车位检测框；
在得出停车位检测框后进一步对车位入口线识别：
将任意两个节点的特征拼接为128维的向量，即两个图节点特征结合得到一个
的输入特征，送入停车位入口线判别网络中，判别网络其由MLP和dropout层组成。模型的输出是一个/>
的矩阵，/>
，表示为标记点对。每一对标记点对包含5个元素：/>
。其中/>
为标记点位置，/>
表示形成车位进入线的概率。
S104，根据车辆检测得到车辆位置信息，结合所述车辆位置信息和停车位检测框判断停车位是否被占用，输出判断结果。
最后，对车位占用类型判断，根据S103中输出结果得到车位检测框以及S101中检测到的车辆位置信息，选取相邻的四个车辆检测框位置判断
，若总和小于设定阈值说明停车位未被占用。其中,/>
计算方法如下：
1，停车状态分为两种类型：已占用（标志=1）和空闲（标志=0）；
2，
为当前车辆的中心点的坐标，/>
为当前车辆识别帧；
3，
为当前第i个停车位的中心点的坐标，/>
分别为当前停车位识别帧的长度和宽度；
4，
为车辆的矩形帧与第i个停车位的矩形帧之间的覆盖率。
基于图注意力的环视图像停车位检测方法的工作原理为：参见图2，首先获取鸟瞰图，然后通过鸟瞰图进行目标点检测、环视图特征提取以及对车辆检测，其中，通过对目标点检测以标记点位置信息，通过环视图特征提取得到标记点特征，将标记点特征和标记点位置信息进行融合，将融合后的停车位点特征输入图注意力神经网络，简称图神经网络中，即可得到停车位检测框，进一步识别停车位入口线；将对车辆检测得到的车辆位置与停车位检测框结合进行停车位面积与车辆面积重合度计算，也就是覆盖率计算，将覆盖率与预设阈值进行对比，即可判断车位是否被占用，如果被占用，输出其他空车位框，如果未被占用，输出停车位框。
综上，可以理解的是，现有技术中无论目标检测方法还是语义分割都需要有复杂的后处理或是手工设计部分，无法进行端到端检测。且传统停车点检测方法需要先将环视图进行局部模式分类，再在其基础上检测角点信息，利用角点信息推测停车位，这其中包含复杂的数学处理。而本申请将环视图上的停车位点建模为图结构数据，设计图注意力神经网络来聚合停车位点之间近邻信息就解决了这一问题；除此之外，传统基于点的停车位检测方法大多需要标注停车点的方向（顺时针或逆时针）和形状（水平、垂直或倾斜），本发明提出的网络模型不需要标注停车位点的方向和形状，从而减少训练成本。
如图3所示，本申请实施例提供一种基于图注意力的环视图像停车位检测装置，包括：
获取模块201，用于获取鸟瞰图，根据所述鸟瞰图进行目标点检测、环视图特征提取以及车辆检测；
融合模块202，用于根据目标点检测得到标记点位置信息，根据环视图特征提取得到标记点特征，融合所述标记点位置信息和标记点特征，得到融合后的停车位点特征图；
识别模块203，用于将所述停车位点特征图输入至预构建的图注意力神经网络中进行识别，得到停车位检测框；
判断模块204，用于根据车辆检测得到车辆位置信息，结合所述车辆位置信息和停车位检测框判断停车位是否被占用，输出判断结果
本申请实施例提供一种基于图注意力的环视图像停车位检测装置的工作原理为，获取模块201获取鸟瞰图，根据所述鸟瞰图进行目标点检测、环视图特征提取以及车辆检测；融合模块202根据目标点检测得到标记点位置信息，根据环视图特征提取得到标记点特征，融合所述标记点位置信息和标记点特征，得到融合后的停车位点特征图；识别模块203将所述停车位点特征图输入至预构建的图注意力神经网络中进行识别，得到停车位检测框；判断模块204根据车辆检测得到车辆位置信息，结合所述车辆位置信息和停车位检测框判断停车位是否被占用，输出判断结果。
综上所述，本发明提供一种基于图注意力的环视图像停车位检测方法及装置，所述方法包括获取鸟瞰图，根据鸟瞰图进行目标点检测、环视图特征提取以及车辆检测；根据目标点检测得到标记点位置信息，根据环视图特征提取得到标记点特征，融合标记点位置信息和标记点特征，得到融合后的停车位点特征图；将停车位点特征图输入至预构建的图注意力神经网络中进行识别，得到停车位检测框；根据车辆检测得到车辆位置信息，结合车辆位置信息和停车位检测框判断停车位是否被占用。本发明提供的方法不存在手工设计和复杂的后处理，将停车位检测与占用情况分类同时进行，完全实现端到端，具有精度高、速度快、鲁棒性好的特点。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种基于图注意力的环视图像停车位检测方法，其特征在于，包括：
获取鸟瞰图，根据所述鸟瞰图进行目标点检测、环视图特征提取以及车辆检测；
根据目标点检测得到标记点位置信息，根据环视图特征提取得到标记点特征，融合所述标记点位置信息和标记点特征，得到融合后的停车位点特征图；
将所述停车位点特征图输入至预构建的图注意力神经网络中进行识别，得到停车位检测框；
根据车辆检测得到车辆位置信息，结合所述车辆位置信息和停车位检测框判断停车位是否被占用，输出判断结果。
2.根据权利要求1所述的方法，其特征在于，所述根据目标点检测得到标记点位置信息，包括：
将所述鸟瞰图调整为预设尺寸的RGB图像；
将所述RGB图像输入设置有CBMA注意力机制的backbone网络中，得到注意力特征；其中，所述CBMA注意力机制采用通道注意力机制与空间注意力机制串联；
根据所述注意力特征，得到三层不同尺寸的特征地图；
根据所述特征地图输出预测的标记点位置信息。
3.根据权利要求1或2所述的方法，其特征在于，所述根据环视图特征提取得到标记点特征，包括：
将所述鸟瞰图输入预构建的标记点特征编码网络，得到环视图特征；
采用双线性插值法计算所述环视图特征图的点级特征，得到标记点特征；
其中，所述标记点特征编码网络采用卷积编码器，所述卷积编码器由四个卷积层构成，输出为16*16*64大小的特征图。
4.根据权利要求3所述的方法，其特征在于，融合所述标记点位置信息和标记点特征，包括：
采用以下方式利用多层感知机MLP来将标记点位置信息P编码为高维向量，融合到标记点特征F：
5.根据权利要求1所述的方法，其特征在于，所述将所述停车位点特征图输入至预构建的图注意力神经网络中进行识别，包括：
基于所述停车位点特征图，构建一个全连接图；其中，所述全连接图包括多个节点和多条边；
确定所述全连接图的特征向量，将所述特征向量进行以注意力机制为核心的聚合操作后，得到每个节点的新特征向量；
根据每个节点的新特征向量计算该节点与所有邻居节点之间的权重系数；
对所有的权重系数进行归一化、注意力机制处理及平均操作，得到由节点和边组成的停车位检测框。
6.根据权利要求5所述的方法，其特征在于，还包括：识别车位入口线；包括：
将任意两个节点的特征向量拼接为128维向量；
将128维向量输入预构建的停车位入口线判别网络中，得到两个停车位入口点以及两个入口点是否组成停车位入口的概率。
7.根据权利要求6所述的方法，其特征在于，所述根据车辆检测得到车辆位置信息，结合所述车辆位置信息和停车位检测框判断停车位是否被占用，包括：
根据所述停车位检测框及车辆位置信息，选取相邻的四个车辆检测框位置判断车辆的矩形帧与停车位的矩形帧之间的覆盖率，当四个覆盖率之和小于预设阈值时，则确定停车位未被占用。
8.一种基于图注意力的环视图像停车位检测装置，其特征在于，包括：
获取模块，用于获取鸟瞰图，根据所述鸟瞰图进行目标点检测、环视图特征提取以及车辆检测；
融合模块，用于根据目标点检测得到标记点位置信息，根据环视图特征提取得到标记点特征，融合所述标记点位置信息和标记点特征，得到融合后的停车位点特征图；
识别模块，用于将所述停车位点特征图输入至预构建的图注意力神经网络中进行识别，得到停车位检测框；
判断模块，用于根据车辆检测得到车辆位置信息，结合所述车辆位置信息和停车位检测框判断停车位是否被占用，输出判断结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310330519.5A CN116259042A (zh) | 2023-03-31 | 2023-03-31 | 基于图注意力的环视图像停车位检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310330519.5A CN116259042A (zh) | 2023-03-31 | 2023-03-31 | 基于图注意力的环视图像停车位检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116259042A true CN116259042A (zh) | 2023-06-13 |
Family
ID=86682633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310330519.5A Pending CN116259042A (zh) | 2023-03-31 | 2023-03-31 | 基于图注意力的环视图像停车位检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116259042A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152716A (zh) * | 2023-09-13 | 2023-12-01 | 哈尔滨理工大学 | 一种考虑方向入口线和辅助标记点的停车位检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112201078A (zh) * | 2020-09-30 | 2021-01-08 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于图神经网络的自动泊车停车位检测方法 |
| CN115272865A (zh) * | 2022-08-17 | 2022-11-01 | 黑龙江智谷科技有限公司 | 一种基于自适应激活函数和注意力机制的目标检测方法 |
| CN115588175A (zh) * | 2022-10-21 | 2023-01-10 | 北京易航远智科技有限公司 | 基于车载环视图像的鸟瞰图特征生成方法 |
-
2023
- 2023-03-31 CN CN202310330519.5A patent/CN116259042A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112201078A (zh) * | 2020-09-30 | 2021-01-08 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于图神经网络的自动泊车停车位检测方法 |
| CN115272865A (zh) * | 2022-08-17 | 2022-11-01 | 黑龙江智谷科技有限公司 | 一种基于自适应激活函数和注意力机制的目标检测方法 |
| CN115588175A (zh) * | 2022-10-21 | 2023-01-10 | 北京易航远智科技有限公司 | 基于车载环视图像的鸟瞰图特征生成方法 |
Non-Patent Citations (1)
| Title |
|---|
| 党顺峰等: "基于改进Mask-ＲCNN算法的车位检测研究", 《现代制造工程》, no. 01, pages 91 - 97 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152716A (zh) * | 2023-09-13 | 2023-12-01 | 哈尔滨理工大学 | 一种考虑方向入口线和辅助标记点的停车位检测方法 |
| CN117152716B (zh) * | 2023-09-13 | 2024-04-02 | 哈尔滨理工大学 | 一种考虑方向入口线和辅助标记点的停车位检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10984659B2 (en) | Vehicle parking availability map systems and methods | |
| CN108694386B (zh) | 一种基于并联卷积神经网络的车道线检测方法 | |
| CN110619279B (zh) | 一种基于跟踪的路面交通标志实例分割方法 | |
| CN112861635B (zh) | 一种基于深度学习的火灾及烟雾实时检测方法 | |
| Huang et al. | Spatial-temproal based lane detection using deep learning | |
| Delibaltov et al. | Parking lot occupancy determination from lamp-post camera images | |
| CN113139470B (zh) | 一种基于Transformer的玻璃识别方法 | |
| CN112434586B (zh) | 一种基于域自适应学习的多复杂场景目标检测方法 | |
| CN111169468A (zh) | 一种自动泊车的系统及方法 | |
| Dib et al. | A review on negative road anomaly detection methods | |
| Liu et al. | A night pavement crack detection method based on image‐to‐image translation | |
| CN112766136B (zh) | 一种基于深度学习的空间车位检测方法 | |
| CN107545263A (zh) | 一种物体检测方法及装置 | |
| CN112883948B (zh) | 一种语义分割与边缘检测模型建立及护栏异常监测方法 | |
| CN112712052A (zh) | 一种机场全景视频中微弱目标的检测识别方法 | |
| CN111098850A (zh) | 一种自动停车辅助系统及自动泊车方法 | |
| CN116259042A (zh) | 基于图注意力的环视图像停车位检测方法及装置 | |
| Bu et al. | A UAV photography–based detection method for defective road marking | |
| CN111259707A (zh) | 一种特殊线型车道线检测模型的训练方法 | |
| CN113158954B (zh) | 交通非现场的基于ai技术的斑马线区域自动检测方法 | |
| Zhang et al. | Image-based approach for parking-spot detection with occlusion handling | |
| CN112597996B (zh) | 基于任务驱动的自然场景中交通标志显著性检测方法 | |
| EP3764335A1 (en) | Vehicle parking availability map systems and methods | |
| CN116259040A (zh) | 识别交通标志的方法、装置和电子设备 | |
| CN114782915B (zh) | 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |