CN117152716A - 一种考虑方向入口线和辅助标记点的停车位检测方法 - Google Patents
一种考虑方向入口线和辅助标记点的停车位检测方法 Download PDFInfo
- Publication number
- CN117152716A CN117152716A CN202311174928.7A CN202311174928A CN117152716A CN 117152716 A CN117152716 A CN 117152716A CN 202311174928 A CN202311174928 A CN 202311174928A CN 117152716 A CN117152716 A CN 117152716A
- Authority
- CN
- China
- Prior art keywords
- parking space
- mark point
- point
- features
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 16
- 239000003550 marker Substances 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出一种考虑方向入口线和辅助标记点的停车位检测方法，旨在通过图注意力机制将方向入口线和辅助标记点相结合以提高停车位检测的鲁棒性和简易性。首先选择合适的数据集制作训练样本和测试样本；其次，将训练样本输入到卷积网络中提取深度特征，将深度特征输入到方向入口线检测器和辅助标记点检测器，综合考虑两者的结果，获取每个标记点的坐标以及相对坐标特征，经过双线性插值、特征融合获取每个标记点的融合特征；然后通过图注意力机制获取包含所有标记点信息的注意力加权特征；最后将重要标记点的注意力加权特征拼接输入到停车位鉴别网络，判断其能否形成合理的停车位。本发明可以使模型快速、鲁棒地检测出各种类型的停车位。
Description
技术领域
本发明属于自动泊车与计算机视觉领域，尤其涉及一种考虑方向入口线和辅助标记点的停车位检测方法。
背景技术
随着城市化进程的加快和汽车保有量的不断增加，停车难问题已经成为城市交通中的瓶颈之一。在城市中，停车位资源有限，停车难不仅给驾驶员带来了不便，还会导致交通拥堵和环境污染等问题，因此自动泊车系统应运而生，它不仅可以方便驾驶员进行停车，还可以减少停车事故的发生，提高停车位利用率。自动泊车系统的核心技术之一就是停车位检测，作为自动泊车系统的一部分，停车位检测模型的准确性和实时性至关重要，当其正确检测车位线位置时可以引导车辆的正确行使，也可以辅助驾驶员判断车辆的行为，当车辆出现违规或者不安全的行为时，也能及时报警提醒驾驶员或者指引车辆进行方向调整，保证车辆处于安全行使状态。
文献《Attentional Graph Neural Network for Parking-slot Detection》提出了一种基于注意力图神经网络的停车位检测方法，该方法不需要手动设计的后处理，可以实现端到端的训练。但是存在以下问题：
1.此论文提出的方法使用的是基于矩形标记点的检测器，无法处理非矩形的停车位，所以只能检测水平和垂直的停车位，在检测倾斜停车位时效果较差；
2.环视图像中停车位的标记点数量太少，即使应用注意力机制，模型也可能会无法捕获足够多的信息以进行准确的预测；
3.此论文提出的方法基本上完全受标记点检测器的限制，当标记点检测器的效果不理想或者标记点被遮挡时都会直接影响停车位检测的准确性。
4.此论文的提出的方法只能检测停车位的位置，而不能识别出停车位的类型，可能会在后续的自动泊车中出现问题。
文献《Parking Slot Detection on Around-View Images Using DCNN》提出了方向入口线的概念，能够提高模型对不同类型停车位的检测的鲁棒性。但是该论文所提出的方法主要依赖于模型的性能，且没有考虑标记点间的联系。
针对上述文献的问题，本发明通过检测方向入口线以解决倾斜停车位检测效果不理想的问题，并且引入了辅助标记点将完整的停车位划分为多个小的停车位以丰富停车位的结构，使模型能够捕获更多的信息，提高模型的检测能力，同时将方向入口线和辅助标记点的预测结果相结合，获取最佳的标记点坐标以判断停车位的位置和类型。
发明内容
针对现有技术存在的问题，本发明提出了一种考虑方向入口线和辅助标记点的停车位检测方法。将停车位分为方向入口线和辅助标记点，综合考虑两者的结果，并结合图注意力机制，提高模型检测停车位的鲁棒性和准确性。
为达到以上目的，本发明采用如下具体技术方案予以解决：
S1：选择合适的数据集，按比例将数据集中的图像分为训练样本和测试样本，训练样本中包含停车位的标注信息，并对样本进行多尺度图像增强操作；
S2：将图像输入到图特征编码网络，以获取每个标记点的坐标以及融合特征，包含以下子步骤：
S2.1：将图像输入到卷积网络中获取图像的深度特征；
S2.2：将深度特征输入到标记点类别检测器，检测标记点属于第n对辅助标记点还是属于方向入口线的中心点，损失函数采用交叉熵，如式(1)所示：
式中，p＝[p0，p1，…，pn]是一个概率分布，每个元素pj表示样本属于第j类的概率，y＝[y0，y1，…，yn]是样本标签的one-hot表示，当样本属于第j类时，yj＝1，否则，yj＝0；
S2.3：将深度特征输入到标记点特征提取网络，获取停车位的标记点特征；
S2.4：将深度特征输入到方向入口线检测器预测方向入口线中心点的坐标p(x，y)，方向入口线的距离l、方向入口线的角度θ，通过式(2)计算出标记点p1(x，y)和p2(x，t)的坐标；
S2.5：将深度特征输入到辅助标记点检测器预测辅助标记点对的坐标，通过式(3)计算出第n对辅助标记点间的(ln，θn，pn(x，y))：
式中，p2n+1(x，y)和p2n+2(x，y)是一对辅助标记点，ρ表示距离，w和h是输入图像的宽度和高度，λ是归一化常数；
S2.6：综合考虑S2.4以及S2.5的预测结果，然后通过非极大值抑制(NMS)选择最优的标记点坐标；
S2.7：将标记点特征与标记点的相对坐标特征进行逐元素相加，获取每个标记点的融合特征；
S3：将融合特征输入到图特征聚合网络，获取注意力加权特征，具体包含以下子步骤：
S3.1：对所有的小停车位都应用图注意力机制以获取每个小停车位4个顶点间的注意力加权特征；
S3.2：对S3.1中所有的注意力加权特征再次应用图注意力机制，获取所有标记点的注意力加权特征；
S3.3：将第一对辅助标记点的注意力加权特征逐元素相加后与方向入口线中心点的注意力加权特征拼接输入到停车位鉴别网络，判断能否形成合理的停车位；
S4：基于S3预测出合理的停车位，计算停车位的类型，具体包含以下子步骤：
S4.1：在一个停车位上至少选择三个点的坐标，其中两个点的坐标是标记点的坐标p1(x，y)和p2(x，y)，另外的一个可以是任意辅助标记点，假设选择的坐标为p4(x，y)；
S4.2：根据标记点的建立规则，可以确定p1(x，y)和p2(x，y)形成一条直线，p1(x，y)和p4(x，y)形成一条直线，然后计算出停车位的角度θ1；
S4.3：根据θ1的值判断停车位的类型，是倾斜的、平行的还是垂直的，接着通过标记点p1(x，y)和p2(x，y)间的距离进一步判断是垂直停车位还是平行停车位；
S4.4：根据S4.2计算出来的θ1以及标记点的坐标，并根据S4.3推断出的停车位的类型，选择合适的分割线长度作为先验知识进一步推断出完整的停车位。
本发明具有如下有益效果：
1.本发明并非直接检测标记点的坐标，而是将标记点检测器替换成方向入口线检测器，通过检测方向入口线中心点的坐标、方向入口线的距离、方向入口线的角度，进而计算出标记点的坐标，这样可以快速、鲁棒地检测各种类型的停车位，对停车位类型的依赖性更小；
2.通过引入辅助标记点对，增加了检测样本的数量，当环视图形受到一定噪声或者遮挡的影响时也能够提高检测的精度和鲁棒性；
3.辅助标记点对使得一个停车位由单独个体变为多个小停车位组成，这种方式丰富了停车位的形式与结构，且辅助标记点对是两个相邻小停车位共用的，具有关联性，通过图注意力机制可以捕捉更多的信息，进而提高停车位检测的精度，也能更好地捕捉停车位的大小和形状；
4.本发明并非只依赖于标记点检测器，而是通过综合考虑辅助标记点对的预测结果和方向入口线的预测结果，进而选择出最优的标记点的坐标，提高了模型在复杂环境下的适应能力；此外，如果某个值检测错误，两者可以对比、修改，在一定程度上，改善了模型检测错误的能力，提高了鲁棒性；
5.本发明并非直接预测停车位的类型，而是在形成合理的停车位后，利用标记点和辅助标记点的坐标，通过两条直线的角度计算出停车位的类型，避免了大量的数据标注和方法调整，提高了效率和灵活性。此外，由于辅助标记点对不止一个，进而可以计算出多个结果，进一步提高了决策的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方案整体流程图；
图2为停车位示意图；
图3为方向入口线的示意图；
图4为辅助标记点的示意图；
图5为方向入口线和辅助标记点标签的示意图；
图6为图特征编码网络的流程图；
图7为图特征聚合网络的流程图；
图8为停车位鉴别网络流程图；
图9为室外光照下停车位检测的结果图；
图10为室外倾斜停车位的检测结果图；
图11为室外光照下方向入口线多检测时的结果图；
图12为室外路灯下方向入口线漏检测时的结果图。
具体实施方式
为使本发明的上述目的、特征和优点更加明显易懂，一种考虑方向入口线和辅助标记点的停车位检测方法，整体结构如图1所示，包括以下步骤：
S1：选择合适的数据集，按比例将数据集中的图像分为训练样本和测试样本，训练样本中包含停车位的标注信息，并对样本进行多尺度图像增强操作，具体包含以下子步骤：
S1.1：建立环视图像中停车位的示例，这些标线表示一个矩形停车位，其顶点为P1、P2、P3和P4。在构成这个矩形的四条概念线中，P1P2线被称为入口线，P1P4线和P2P3线被称为分割线。标记点是指入口线和分割线的交接点，如P1、P2，该标记点对的顺序为四个顶点的逆时针顺序，如图2所示；
S1.2：建立环视图像中方向入口线的示例，用{p(x，y)，θ，l}来表示方向入口线，其中p(x，y)是方向入口线中心点的坐标，θ是方向入口线的角度，l是方向入口线的长度，如图3所示；
S1.3：建立环视图像中辅助标记点的示例，用p2n+1(x，y)和p2n+2(x，y)表示第n对辅助标记点，其与S1.1中描述的标记点对P1、P2是相互平行的，且第n对辅助标记点与标记点P1、P2间的距离为n*d，d表示相邻小停车位间的距离，如图4所示；
S1.4：将图像裁剪成同样的尺寸，并将图像分为大小为S*S的网络，以图像的中点为原点，水平方向向右为x轴，竖直方向向上为y轴建立直角坐标系，以该坐标系为基准，制作方向入口线和辅助标记点的标签，其标签都是以点为中心，大小为N*N的正方形框，如图5所示。
S2：将图像输入到图特征编码网络，如图6所示，用以获取每个标记点的坐标以及融合特征，包含以下子步骤：
S2.1：将图像输入到融入频率注意力机制的卷积网络中，以获取图像低级细粒度的深度特征；
S2.2：将深度特征输入到标记点类别检测器，检测标记点属于第n对辅助标记点还是属于方向入口线的中心点，在这种情况下，每个样本的真实标签和模型的预测结果都是一个长度为n+1的向量，损失函数采用交叉熵，如式(1)所示：
式中，p＝[p0，p1，…，pn]是一个概率分布，每个元素pj表示样本属于第j类的概率，y＝[y0，y1，…，yn]是样本标签的one-hot表示，当样本属于第j类时，yj＝1，否则yj＝0；
S2.3：将深度特征输入到标记点特征提取网络，获取表示停车位的标记点特征；
S2.4：将深度特征输入到辅助标记点检测器预测辅助标记点对在网格中的偏移量(cx，cy)、置信度co，损失函数采用均方误差(MSE)，如式(2)所示：
式中，用*表示真实值，没有*表示预测值，λ(coi＝1)表示当辅助标记点的中点落在网格i时是1，否则是0；
S2.5：将深度特征输入到方向入口线检测器预测方向入口线的中心点在网格中的偏移量(cx，cy)，方向入口线的距离l、方向入口线的角度θ、置信度co，损失函数采用均方误差(MSE)，如式(3)所示：
式中，用*表示真实值，没有*表示预测值，sinθ和cisθ表示θ的正弦值和余弦值，λ(coi＝1)表示当方向入口线的中点落在网格i时是1，否则是0；
S2.6：已知S2.5中方向入口线的预测值，则标记点的坐标p1(x，y)和p2(x，t)通过下式计算得到：
式中，p(x，y)是方向入口线中心点的坐标，其是通过S2.5中的偏移量(cx，cy)计算而来，l和θ为S2.5中方向入口线的距离和角度；
S2.7：已知S2.4中辅助标记点对的坐标，则第n对辅助标记点间的(ln，θn，pn(x，y))可以通过下式计算得到：
式中，p2n+1(x，y)和p2n+2(x，y)是一对辅助标记点，ρ表示距离，w和h是输入图像的宽度和高度，λ是归一化的常数；
S2.8：通过最小二乘拟合直线，设置阈值、或者检测直线斜率的方法，综合考虑S2.6和S2.7的结果后，使用非极大值抑制(NMS)算法在每个标记点区域选择M个标记点并为M个标记点选择合适的偏移量(cx，cy)用以计算每个标记点的坐标；
S2.9：将标记点的坐标与S2.3中的标记点特征进行双线性插值获取标记点的特征F，接着将每个标记点的坐标值与其他标记点的距离拼接而成的向量输入多层感知机(MLP)用以获取每个点基于相对位置的特征L，最后将特征L和特征F进行逐元素相加获取每个点的融合特征V；
S3：将融合特征V输入到图特征聚合网络，如图7所示，获取包含所有标记点的注意力加权特征A，具体包含以下子步骤；
S3.1：选择以标记点为起点的小停车位的四个顶点的融合特征，应用图注意力机制，获取第1个小停车位顶点的注意力加权特征V1；
S3.2：重复S3.1的操作，直至获取完第n个小停车位顶点的注意力加权特征Vn；
S3.3：对S3.1和S3.2获取的所有注意力加权特征再次应用图注意力机制，用于获取包含所有标记点特征的注意力加权特征A；
S3.4：将第一对辅助标记点的注意力加权特征逐元素相加后与方向入口线中心点的注意力加权特征拼接输入到停车位鉴别网络，如图8所示，判断其能否形成合理的停车位，最终的输出为K×5，K＝N×N，为标记点对，每一对标记点中包含5个元素(p(x，y)，l，θ，t)，p(x，y)为方向入口线中心点的位置、l为方向入口线的距离、θ为方向入口线的角度、t为形成停车位的概率，损失函数采用交叉熵，如式(6)所示：
式中，lij表示第i个方向入口线的中心点和第j个第一对辅助标记点能够形成合理停车位的预测概率，表示相应的真实值，N为一副停车位图像中方向入口线或第一对辅助标记点的数量；
S3.5：将所有损失函数加权相加，作为总的损失函数，如式(7)所示：
loss＝λ1·losspoint1+λ2·lisspoint2+λ3·lossline+λ4·lisssort (7)
式中，λi表示损失函数所其占的权重；
S4：基于S3预测出合理的停车位，计算停车位的类型，具体包含以下子步骤：
S4.1：在一个停车位上至少选择三个点的坐标，其中两个点的坐标是标记点的坐标p1(x，y)和p2(x，y)，另外的一个点可以是任意辅助标记点的坐标，假设选择的坐标是p4(x，y)；
S4.2：根据辅助标记点的建立规则，可以确定p1(x，y)和p2(x，y)形成一条直线M1，p1(x，y)和p4(x，y)形成一条直线M2，根据式(8)可以计算出停车位的角度θ1；
式中，m1为直线M1的斜率，m2为直线M2的斜率；
S4.3：根据θ1的值判断停车位的类型，当θ1小于75度或者大于105度时，判定为倾斜停车位，反之，则为垂直停车位或者平行停车位。接着通过标记点之间的距离进一步判断是垂直停车位还是平行停车位，如式(9)所示：
式中，tilt表示倾斜停车位，vert表示垂直停车位，para表示平行停车位，dis是平行停车位入口线长度和垂直停车位入口线长度相加后除以二；
S4.4：根据S4.2计算出来的θ1和标记点的坐标，同时，根据S4.3推断出的停车位的类型，则完整的停车位可以用式(10)推断出：
式中，plast1和plast2为在环视图像中停车位末端不可见的两个标记点，di为分割线的长度，将其选择各类停车位分割线长度的平均值；
对模型进行数值仿真，具体步骤如下：
仿真实验软件环境为Window10+Pycharm+Pytorch，硬件环境为AMD Ryzen53600+NVIDAGeForce RTX 2060+16GB内存。算法参数如表1所示。
表1仿真参数设置
在本次的仿真实验中，选择ps2.0数据集对模型进行训练以及测试，同时，为了减少标记标签时的工作量，只选择一个辅助标记点，在图9、图10、图11以及图12中，dir是检测的方向入口线中心点的坐标，aux是检测的第一对辅助标记点的坐标，黑色的矩形框为车辆；
图9为在室外正常光照下停车位检测的结果图，图10是室外倾斜停车位的检测结果，由结果图可知，效果是比较理想的；本发明通过引入方向入口线的检测的方法成功的解决了倾斜停车位检测效果差的问题，并且将方向入口线的方法和辅助标记点的方法相结合提高了停车位检测的准确性和鲁棒性，成功的检测出了停车位的关键点，然后根据两者的检测结果推断出完整的停车位以及停车位的类型，为后续的自主泊车打好基础。
图11为室外正常光照下的检测结果图，其检测结果也可以验证本发明提出方法的可靠性，从图11中可以看到检测出两个方向入口线，由于其唯一性，可以将置信度为0.32的位置剔除，但是二者的置信度相差不大，贸然剔除置信度小的可能会导致检测结果出错。但是本方法可以通过辅助标记点对的位置以及方向入口线去判断那一个方向入口线是属于该停车位的，从而将置信度为0.32的位置剔除，多了一层的判断，使检测结果更加的可靠。
图12为在室外路灯下的检测结果图，在大多数的情况下，方向入口线中点的特征与周围环境的差别都不是很明显，从而会导致漏检测的情况，虽然方向入口线没有检测到，但是辅助标记点的特征相对于环境来说还是比较明显的，能够成功检测且检测的精度比较高。
虽然图11的检测效果不是完全的理想，存在小的误差，但是通过本发明提出的方法能够进行弥补、完善从而得到不错的效果，可以推断出完整的停车位以及类型；图12虽然没有检测出方向入口线，但是成功的检测出了第一对辅助标记点，然后根据相邻小停车位间的距离d，也是能够推断出停车位的位置，不过不能判断出停车位的类型。
以上所述具体实施方案，对本发明的发明目的和技术方案进行了进一步说明，以上实施例仅用于说明本发明的技术方案，而非对本发明创造保护范围的限制，本领域的普通技术人员应当理解，凡在本发明的技术方案进行修改、等同替换，均包含在本发明的保护范围内。
Claims (1)
1.一种考虑方向入口线和辅助标记点的停车位检测方法，其特征在于，包括以下步骤：
S1：选择合适的数据集，按比例将数据集中的图像分为训练样本和测试样本，训练样本中包含停车位的标注信息，并对样本进行多尺度图像增强操作；
S2：将图像输入到图特征编码网络，以获取每个标记点的坐标以及融合特征，包含以下子步骤：
S2.1：将图像输入到卷积网络中获取图像的深度特征；
S2.2：将深度特征输入到标记点类别检测器，检测标记点属于第n对辅助标记点还是属于方向入口线的中心点，损失函数采用交叉熵，如式(1)所示：
式中，p＝[p0，p1，…，pn]是一个概率分布，每个元素pj表示样本属于第j类的概率，y＝[y0，y1，…，yn]是样本标签的one-hot表示，当样本属于第j类时，yj＝1，否则，yj＝0；
S2.3：将深度特征输入到标记点特征提取网络，获取停车位的标记点特征；
S2.4：将深度特征输入到方向入口线检测器预测方向入口线中心点的坐标p(x，y)，方向入口线的距离l、方向入口线的角度θ，通过式(2)计算出标记点p1(x，y)和p2(x，y)的坐标；
S2.5：将深度特征输入到辅助标记点检测器预测辅助标记点对的坐标，通过式(3)计算出第n对辅助标记点间的(ln，θn，pn(x，y))：
式中，p2n+1(x，y)和p2n+2(x，y)是一对辅助标记点，ρ表示距离，w和h是输入图像的宽度和高度，λ是归一化常数；
S2.6：综合考虑S2.4以及S2.5的预测结果，然后通过非极大值抑制(NMS)选择最优的标记点坐标；
S2.7：将标记点特征与标记点的相对坐标特征进行逐元素相加，获取每个标记点的融合特征；
S3：将融合特征输入到图特征聚合网络，获取注意力加权特征，具体包含以下子步骤：
S3.1：对所有的小停车位都应用图注意力机制以获取每个小停车位4个顶点间的注意力加权特征；
S3.2：对S3.1中所有的注意力加权特征再次应用图注意力机制，获取所有标记点的注意力加权特征；
S3.3：将第一对辅助标记点的注意力加权特征逐元素相加后与方向入口线中心点的注意力加权特征拼接输入到停车位鉴别网络，判断能否形成合理的停车位；
S4：基于S3预测出合理的停车位，计算停车位的类型，具体包含以下子步骤：
S4.1：在一个停车位上至少选择三个点的坐标，其中两个点的坐标是标记点的坐标p1(x，y)和p2(x，y)，另外的一个可以是任意辅助标记点，假设选择的坐标为p4(x，y)；
S4.2：根据标记点的建立规则，可以确定p1(x，y)和p2(x，y)形成一条直线，p1(x，y)和p4(x，y)形成一条直线，然后计算出停车位的角度θ1；
S4.3：根据θ1的值判断停车位的类型，是倾斜的、平行的还是垂直的，接着通过标记点p1(x，y)和p2(x，y)间的距离进一步判断是垂直停车位还是平行停车位；
S4.4：根据S4.2计算出来的θ1以及标记点的坐标，并根据S4.3推断出的停车位的类型，选择合适的分割线长度作为先验知识进一步推断出完整的停车位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311174928.7A CN117152716B (zh) | 2023-09-13 | 2023-09-13 | 一种考虑方向入口线和辅助标记点的停车位检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311174928.7A CN117152716B (zh) | 2023-09-13 | 2023-09-13 | 一种考虑方向入口线和辅助标记点的停车位检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117152716A true CN117152716A (zh) | 2023-12-01 |
| CN117152716B CN117152716B (zh) | 2024-04-02 |
Family
ID=88885191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311174928.7A Active CN117152716B (zh) | 2023-09-13 | 2023-09-13 | 一种考虑方向入口线和辅助标记点的停车位检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152716B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110348407A (zh) * | 2019-07-16 | 2019-10-18 | 同济大学 | 一种泊车位检测方法 |
| CN110852313A (zh) * | 2020-01-15 | 2020-02-28 | 魔视智能科技(上海)有限公司 | 一种车位检测方法 |
| CN114842447A (zh) * | 2022-05-06 | 2022-08-02 | 福州大学 | 一种基于卷积神经网络的车位快速识别方法 |
| US20230146185A1 (en) * | 2021-11-05 | 2023-05-11 | Vinai Artificial Intelligence Application And Research Joint Stock Company | Parking slot detection method and system |
| CN116229426A (zh) * | 2023-05-09 | 2023-06-06 | 华东交通大学 | 基于全景环视图像的无人驾驶泊车停车位检测方法 |
| CN116259042A (zh) * | 2023-03-31 | 2023-06-13 | 斯润天朗（北京）科技有限公司 | 基于图注意力的环视图像停车位检测方法及装置 |
-
2023
- 2023-09-13 CN CN202311174928.7A patent/CN117152716B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110348407A (zh) * | 2019-07-16 | 2019-10-18 | 同济大学 | 一种泊车位检测方法 |
| CN110852313A (zh) * | 2020-01-15 | 2020-02-28 | 魔视智能科技(上海)有限公司 | 一种车位检测方法 |
| US20230146185A1 (en) * | 2021-11-05 | 2023-05-11 | Vinai Artificial Intelligence Application And Research Joint Stock Company | Parking slot detection method and system |
| CN114842447A (zh) * | 2022-05-06 | 2022-08-02 | 福州大学 | 一种基于卷积神经网络的车位快速识别方法 |
| CN116259042A (zh) * | 2023-03-31 | 2023-06-13 | 斯润天朗（北京）科技有限公司 | 基于图注意力的环视图像停车位检测方法及装置 |
| CN116229426A (zh) * | 2023-05-09 | 2023-06-06 | 华东交通大学 | 基于全景环视图像的无人驾驶泊车停车位检测方法 |
Non-Patent Citations (6)
| Title |
|---|
| CHEN MIN 等: "Attentional Graph Neural Network for Parking-slot Detection", 《ARXIV:2104.02576V1》, 6 April 2021 (2021-04-06), pages 1 - 6 * |
| JUNHAO HUANG 等: "DMPR-PS: A Novel Approach for Parking-Slot Detection Using Directional Marking-Point Regression", 《2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》, 12 July 2019 (2019-07-12), pages 212 - 217, XP033590188, DOI: 10.1109/ICME.2019.00045 * |
| WEI LI 等: "Parking Slot Detection on Around-View Images Using DCNN", 《FRONTIERS IN NEUROROBOTICS》, vol. 14, 2 July 2020 (2020-07-02), pages 1 - 9 * |
| 曹立波 等: "基于全景图像与人机交互的自动泊车系统", 《汽车技术》, 9 June 2023 (2023-06-09), pages 1 - 6 * |
| 李伟东 等: "一种基于环视图像的空停车位检测方法", 《大连理工大学学报》, vol. 62, no. 5, 30 September 2022 (2022-09-30), pages 535 - 542 * |
| 李琳辉 等: "基于协作注意力和图神经网络的轻量化车位检测算法", 《汽车技术》, 11 July 2023 (2023-07-11), pages 1 - 8 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117152716B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111368687B (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
| KR102143108B1 (ko) | 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기 | |
| CN109033950B (zh) | 基于多特征融合级联深度模型的车辆违停检测方法 | |
| CN108319964B (zh) | 一种基于混合特征和流形学习的火灾图像识别方法 | |
| CN108596055B (zh) | 一种复杂背景下高分辨遥感图像的机场目标检测方法 | |
| CN106599792B (zh) | 一种手部驾驶违规行为的检测方法 | |
| CN111191654B (zh) | 道路数据生成方法、装置、电子设备及存储介质 | |
| CN113822247B (zh) | 基于航拍影像的违章建筑识别方法及系统 | |
| CN110533039B (zh) | 一种车牌的真伪检测方法、装置及设备 | |
| CN110688922A (zh) | 基于深度学习的交通拥堵检测系统及检测方法 | |
| CN106778633B (zh) | 一种基于区域分割的行人识别方法 | |
| CN111160205A (zh) | 一种交通场景嵌入式多类目标端对端统一检测方法 | |
| CN112215190A (zh) | 基于yolov4模型的违章建筑检测方法 | |
| CN111898491A (zh) | 一种车辆逆向行驶的识别方法、装置及电子设备 | |
| CN111242002A (zh) | 基于计算机视觉的共享单车规范化停放判定方法 | |
| CN112308040A (zh) | 一种基于高清图像的河流排污口检测方法及系统 | |
| Zhang et al. | Image-based approach for parking-spot detection with occlusion handling | |
| Masmoudi et al. | Trajectory analysis for parking lot vacancy detection system | |
| CN115115915A (zh) | 基于智能路口的斑马线检测方法以及系统 | |
| CN113158954B (zh) | 交通非现场的基于ai技术的斑马线区域自动检测方法 | |
| CN117152716B (zh) | 一种考虑方向入口线和辅助标记点的停车位检测方法 | |
| CN113628180A (zh) | 一种基于语义分割网络的遥感建筑物检测方法及系统 | |
| CN116259042A (zh) | 基于图注意力的环视图像停车位检测方法及装置 | |
| Zhang et al. | A road extraction method based on high resolution remote sensing image | |
| Song et al. | A robust detection method for multilane lines in complex traffic scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240524 Address after: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Patentee after: Shenzhen Wanzhida Technology Co.,Ltd. Country or region after: China Address before: 150080 Harbin University of Science and Technology, Harbin Road, Nangang District, Heilongjiang, 52 Patentee before: HARBIN University OF SCIENCE AND TECHNOLOGY Country or region before: China |