CN113537105B - 一种车位检测方法及装置 - Google Patents
一种车位检测方法及装置 Download PDFInfo
- Publication number
- CN113537105B CN113537105B CN202110836350.1A CN202110836350A CN113537105B CN 113537105 B CN113537105 B CN 113537105B CN 202110836350 A CN202110836350 A CN 202110836350A CN 113537105 B CN113537105 B CN 113537105B
- Authority
- CN
- China
- Prior art keywords
- parking space
- branch
- prediction
- image
- parking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 27
- 238000013136 deep learning model Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 20
- 238000002372 labelling Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 abstract description 10
- 235000005121 Sorbus torminalis Nutrition 0.000 description 5
- 244000152100 Sorbus torminalis Species 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 241000791900 Selene vomer Species 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003623 enhancer Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开的一种车位检测方法及装置，在利用预先构建的车位检测模型中的自学习特征提取网络，提取车身周围的环视俯视拼接图中的特征图之后，通过将特征图输入车位检测模型中的多任务分支网络中每个分支，得到每个分支的预测结果，综合每个分支的预测结果实现对车位信息的准确识别。本实施例的技术方案，利用自学习特征提取网络实现环视俯视拼接图中的特征图的提取，利用多任务分支网络预测车位的共有属性，最终利用各分支的预测结果实现车位信息的筛选。因此，本发明的技术方案，无需手工选取车位特征，也无需手工设计车位筛选规则，提高了车位检测的鲁棒性和准确性。
Description
技术领域
本发明涉及智能驾驶技术领域，更具体的，涉及一种车位检测方法及装置。
背景技术
随着城市汽车保有量的增加以及汽车高级辅助驾驶技术的飞速发展，自主泊车技术逐渐开始在低速智能驾驶场景中得到应用。
车位检测是自主泊车技术的关键，目标检测方法为目前常用的一种车位检测方法。目标检测方法需要手工选取车位特征，且在确定检测目标后，针对不同工况再手工设计车位筛选规则，从而识别检测目标是否为可用车位，但是该方法车位检测的鲁棒性和准确性较差，且在车位线严重磨损甚至部分丢失等工况下无法准确检测到目标。
发明内容
有鉴于此，本发明提供了一种车位检测方法及装置，实现对各种工况下车位的准确检测。
为了实现上述发明目的，本发明提供的具体技术方案如下：
一种车位检测方法，其特征在于，包括：
响应于车位检测指令，获取车身周围的环视俯视拼接图；
利用预先构建的车位检测模型中的自学习特征提取网络，提取所述环视俯视拼接图中的特征图；
将所述特征图输入所述车位检测模型中的多任务分支网络中的每个分支，得到每个分支的预测结果，所述多任务分支网络用于预测车位的共有属性，每个分支的预测结果表征车位的一种属性；
根据每个分支的预测结果确定是否存在可用车位，并在存在可用车位的情况下，输出可用车位信息。
可选的，所述多任务分支网络包括车位类型预测分支、入口角点预测分支、是否可泊预测分支、角点定位预测分支和车位线方向预测分支；
所述根据每个分支的预测结果确定是否存在可用车位，并在存在可用车位的情况下，输出可用车位信息，包括：
根据所述是否可泊预测分支的预测结果，确定是否存在可用车位；
在存在可用车位的情况下，对所述车位类型预测分支的预测结果进行连通域分析，获取包含车位的目标区域；
根据所述入口角点预测分支和所述角点定位预测分支的预测结果，确定车位入口角点的具体位置；
依据所述车位线方向预测分支的预测结果，确定车位线方向；
输出包括车位的目标区域、车位入口角点的具体位置以及车位线方向的可用车位信息。
可选的，所述车位检测模型的构建方法如下：
获取已标注车位信息的训练样本；
构建包括所述自学习特征提取网络和所述多任务分支网络的深度学习模型；
按照预先设定的所述自学习特征提取网络的训练参数以及所述多任务分支网络中每个分支的权重，利用所述训练样本对所述深度学习模型进行训练，得到所述车位检测模型，所述深度学习模型的损失函数为两次加权损失函数。
可选的，所述深度学习模型的损失函数如下：
其中，L为总损失，Ln为第n个分支的损失，αn为第n个分支的权重，N为分支的数量，S为网格大小，i表示对第i个图像块计算损失，R为负样本比例因子，pi表示第i个图像块的预测值，表示第i个图像块的正样本的真实值，/>表示第i个图像块的负样本的真实值，正样本为包含车位目标的图像块，负样本为不包含车位目标的图像块，Ii表示第i个图像块内有无车位目标，当第i个图像块的中心在车位内部时Ii＝1，否则Ii＝0。
可选的，所述获取已标注车位信息的训练样本，包括：
获取不同天气、不同时间段、不同车位类型、不同车位线类型的样本图像；
将所述样本图像中不同车位类型的车位抽象为四边形，在四边形中将车位入口角点标注为A、B，并将车位停止角点标注为C、D，AC和BD为车位线；
根据AB与AC之间的夹角，标注所述样本图像的车位类型；
依据所述样本图像中车位内是否有障碍物，标注所述样本图像是否为可泊车位；
对已标注样本图像进行数据增强处理，得到扩增样本图像，将所述扩增样本图像作为所述训练样本。
可选的，数据增强处理包括以下的一项或多项操作：
以预设概率分别对所述样本图像进行随机水平翻转和随机垂直翻转；
以所述样本图像中心为原点添加随机旋转量；
对所述样本图像添加随机对比度调整，模拟不同光照条件；
在所述样本图像中随机裁剪图像，模拟车位在不同位置。
可选的，所述获取车身周围的环视俯视拼接图，包括：
获取车身安装的多个图像采集设备采集的图像；
对每个图像进行棋盘格检测，得到每个图像中的棋盘格角点；
根据每个图像中的棋盘格角点以及每个图像与环视俯视拼接图之间的变换关系，将棋盘格检测后的多个图像转换为所述环视俯视拼接图。
一种车位检测装置，包括：
图像获取单元，用于响应于车位检测指令，获取车身周围的环视俯视拼接图；
特征提取单元，用于利用预先构建的车位检测模型中的自学习特征提取网络，提取所述环视俯视拼接图中的特征图；
分支预测单元，用于将所述特征图输入所述车位检测模型中的多任务分支网络中的每个分支，得到每个分支的预测结果，所述多任务分支网络用于预测车位的共有属性，每个分支的预测结果表征车位的一种属性；
车位信息输出单元，用于根据每个分支的预测结果确定是否存在可用车位，并在存在可用车位的情况下，输出可用车位信息。
可选的，所述多任务分支网络包括车位类型预测分支、入口角点预测分支、是否可泊预测分支、角点定位预测分支和车位线方向预测分支；
所述车位信息输出单元，具体用于：
根据所述是否可泊预测分支的预测结果，确定是否存在可用车位；
在存在可用车位的情况下，对所述车位类型预测分支的预测结果进行连通域分析，获取包含车位的目标区域；
根据所述入口角点预测分支和所述角点定位预测分支的预测结果，确定车位入口角点的具体位置；
依据所述车位线方向预测分支的预测结果，确定车位线方向；
输出包括车位的目标区域、车位入口角点的具体位置以及车位线方向的可用车位信息。
可选的，所述装置还包括：
样本获取单元，用于获取已标注车位信息的训练样本；
模型构建单元，用于构建包括所述自学习特征提取网络和所述多任务分支网络的深度学习模型；
模型训练单元，用于按照预先设定的所述自学习特征提取网络的训练参数以及所述多任务分支网络中每个分支的权重，利用所述训练样本对所述深度学习模型进行训练，得到所述车位检测模型，所述深度学习模型的损失函数为两次加权损失函数。
可选的，所述深度学习模型的损失函数如下：
其中，L为总损失，Ln为第n个分支的损失，αn为第n个分支的权重，N为分支的数量，S为网格大小，i表示对第i个图像块计算损失，R为负样本比例因子，pi表示第i个图像块的预测值，表示第i个图像块的正样本的真实值，/>表示第i个图像块的负样本的真实值，正样本为包含车位目标的图像块，负样本为不包含车位目标的图像块，Ii表示第i个图像块内有无车位目标，当第i个图像块的中心在车位内部时Ii＝1，否则Ii＝0。
可选的，所述样本获取单元，包括：
图像获取子单元，用于获取不同天气、不同时间段、不同车位类型、不同车位线类型的样本图像；
车位线标注子单元，用于将所述样本图像中不同车位类型的车位抽象为四边形，在四边形中将车位入口角点标注为A、B，并将车位停止角点标注为C、D，AD和BC为车位线；
车位类型标注子单元，用于根据AB与AC之间的夹角，标注所述样本图像的车位类型；
可泊车位标注子单元，用于依据所述样本图像中车位内是否有障碍物，标注所述样本图像是否为可泊车位；
数据增强子单元，用于对已标注样本图像进行数据增强处理，得到扩增样本图像，将所述扩增样本图像作为所述训练样本。
可选的，所述数据增强子单元用于执行以下的一项或多项操作：
以预设概率分别对所述样本图像进行随机水平翻转和随机垂直翻转；
以所述样本图像中心为原点添加随机旋转量；
对所述样本图像添加随机对比度调整，模拟不同光照条件；
在所述样本图像中随机裁剪图像，模拟车位在不同位置。
可选的，所述图像获取单元，具体用于：
获取车身安装的多个图像采集设备采集的图像；
对每个图像进行棋盘格检测，得到每个图像中的棋盘格角点；
根据每个图像中的棋盘格角点以及每个图像与环视俯视拼接图之间的变换关系，将棋盘格检测后的多个图像转换为所述环视俯视拼接图。
相对于现有技术，本发明的有益效果如下：
本发明公开的一种车位检测方法，在利用预先构建的车位检测模型中的自学习特征提取网络，提取车身周围的环视俯视拼接图中的特征图之后，通过将特征图输入车位检测模型中的多任务分支网络中每个分支，得到每个分支的预测结果，综合每个分支的预测结果实现对车位信息的准确识别。本发明的技术方案，利用自学习特征提取网络实现环视俯视拼接图中的特征图的提取，利用多任务分支网络预测车位的共有属性，最终利用各分支的预测结果实现车位信息的筛选。因此，本发明的技术方案，无需手工选取车位特征，也无需手工设计车位筛选规则，提高了车位检测的鲁棒性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种车位检测方法的流程示意图；
图2为本发明实施例公开的图像拼接示意图；
图3为本发明实施例公开的车位目标抽象化标注示意图；
图4为本发明实施例公开的车位检测模型的结构示意图；
图5为本发明实施例公开的一种车位检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种车位检测方法，实现了车身环视俯视拼接图像到车位目标的端到端多属性学习，不需要人工选择特征，也不需要人工设计车位筛选规则，适用于不同场景下的车位检测，通用性和鲁棒性较强，通过多任务分支网络预测车位类型、入口角点、是否可泊、角点定位以及车位方向，实现对各种工况下车位的准确检测。同时，本发明中的车位检测模型具有轻量化特点，运算量较小，适用于计算量受限的边缘设备，如车载处理器。
具体的，请参阅图1，本实施例公开的一种车位检测方法包括如下步骤：
S101：响应于车位检测指令，获取车身周围的环视俯视拼接图。
具体的，车身安装有多个图像采集设备，如鱼眼摄像头。在一些实施例中，鱼眼摄像头焦距约在6-16毫米之间，是一种短焦距的超广角镜头，具有视场角大的特征。预先采用经典的张正友标定法或其他标定法标定图像采集设备的畸变系数D，使用直接线性变换法求取采集图像与环视俯视拼接图之间的变换矩阵H。
在一些实施例中，步骤S101可以包括：响应于车位检测指令，获取车身安装的多个图像采集设备采集的图像，对每个图像进行棋盘格检测，得到每个图像中的棋盘格角点，再根据每个图像中的棋盘格角点以及每个图像与环视俯视拼接图之间的变换关系，将棋盘格检测后的多个图像转换为环视俯视拼接图。
其中，棋盘格检测包括：对采集到的原始图像依次进行灰度化、自适应阈值化、计算棋盘格凸包、阈值过滤干扰棋盘格、计算凸包角点等步骤，得到每个图像中的棋盘格角点。
需要说明的是，上述预先标定的采集图像与环视俯视拼接图之间的变换矩阵H，实质上是对采集图像进行棋盘格检测后得到的棋盘格角点与环视俯视拼接图之间的变换矩阵。具体的，变换矩阵H的标定方法如下：
假设A点在图像中的坐标为(u,v)，在环视俯视拼接图中的坐标为(x,y)，二者之间的变换关系如下所示：
其中，(u,v)坐标由上述棋盘格检测算法求得，(x,y)坐标由标定板的安装位置、车辆尺寸、拼接图尺寸确定，具体确定方法如图2所示：如已知环视俯视拼接图尺寸为10m*10m，车辆位于图像中心且车长、车宽属性已知，分别为L和W，另外棋盘格安装位置同车辆中轴线对称，棋盘格下边缘紧靠车体，横纵向棋盘格数目分别为8、6，每一个黑白格尺寸为20cmx20cm，因此a点的横坐标x为：(5m-3*0.2m),纵坐标y为(5m-L/2-4*0.2m)，其他点坐标根据a点坐标和相对关系亦可求得。
在标定板中选取N个点对组成线性方程组，通过最小二乘法求解m1～m9值，从而得到图像到环视俯视拼接图的变换关系。
分别对采集到的多个图像进行俯视图变换实现360度俯视拼接图效果。此时，车位在环视俯视拼接图中显示为位置、朝向不确定的多边形，如图2所示。
S102：利用预先构建的车位检测模型中的自学习特征提取网络，提取环视俯视拼接图中的特征图。
S103：将特征图输入车位检测模型中的多任务分支网络中的每个分支，得到每个分支的预测结果。
车位目标具有各种不同的方向、位置，且车位除了平行、垂直等类别属性，还包括车位是否被占用即是否可以泊车属性，本发明利用多任务分支网络解决这一问题，提升车位检测的通用性和鲁棒性。多任务分支网络用于预测车位的共有属性，每个分支的预测结果表征车位的一种属性。车位的共有属性为所有工况下的车位所共有的属性，如车位类型、入口角点、车位线方向等，也就是说，多任务分支网络适用于不同场景下的车位检测，通用性和鲁棒性较强。
S104：根据每个分支的预测结果确定是否存在可用车位，并在存在可用车位的情况下，输出可用车位信息。
需要说明的是，在利用车位检测模型进行车位检测之前，需要预先构建车位检测模型。具体的，首先获取已标注车位信息训练样本，然后构建包括自学习特征提取网络和多任务分支网络的深度学习模型，最后按照预先设定的自学习特征提取网络的训练参数以及多任务分支网络中每个分支的权重，利用训练样本对深度学习模型进行训练，得到车位检测模型。其中，已标注车位信息的训练样本包括不同场景下的训练样本，如包括不同时间段、不同天气、不同颜色和材质车位线、不同车位类型、室内室外等不同场景下的训练样本。
由于模型训练依赖大量已标注车位信息的训练样本，训练样本包括不同天气、不同时间段、不同车位类型、不同车位线类型的图像。针对车位具有一定的旋转角度这一特点，本实施例将不同车位类型的车位统一抽象为四边形，在四边形中将车位入口角点标注为A、B，并将车位停止角点标注为C、D，AC和BD为车位线，具体如图3所示。根据AB与AC之间的夹角，标注样本图像的车位类型，如AB与AC连线的夹角在[85,95]度且AB长度小于Lmid时标注为垂直车位，即车位抽象得到的四边形的长边与行车主路方向垂直。AB与AC连线的夹角在[85,95]度且AB长度大于Lmid时标注为平行车位，即车位抽象得到的四边形的长边与行车主路方向平行，否则标注为倾斜车位。Lmid为泊车位入口角点的距离阈值，可以设置为3m。依据样本图像中车位内是否有障碍物，标注样本图像是否为可泊车位。当车位内包含汽车、行人、动物、自行车及竖立的地锁等障碍物时，标记为不可泊车，否则为可泊。
可选的，还可以采用多种数据增强方法对已有样本进行扩增，可在有限样本的基础上，增强对未知场景车位目标的泛化识别能力，有效降低数据标注成本。
数据增强处理包括以下的一项或多项操作：
以预设概率(如0.5)分别对样本图像进行随机水平翻转和随机垂直翻转；
以样本图像中心为原点添加随机旋转量；
对样本图像添加随机对比度调整，模拟不同光照条件；
在样本图像中随机裁剪图像，模拟车位在不同位置。
利用上述训练样本对深度学习模型进行训练后得到的车位检测模型的结构如图4所示，其中，上半部分为自学习特征提取网络，下半部分为多任务分支网络。多任务分支网络中的倾斜框表示待检测的车位，0和1表示每一个分支的分类结果，其中每一个小方格尺寸可以为32x32像素。网格尺寸为17x17(考虑到示意图的简洁性仅显示了5x5)。
自学习特征提取网络的输入尺寸可以为544x544像素，每一个像素表示实际停车场内区域2.5cmx2.5cm，环视俯视拼接图对应的真实区域尺寸为13.6m*13.6m。自学习特征提取网络由连续的五层卷积层(Conv)+批归一化层(BN)+修正线性单元层(ReLU)结构堆叠构成，且每经过一次卷积下采样一次，因此网络最终的特征图尺寸为17x17，特征图上的每一个元素对应原图中一块32x32像素的图像块。
网络训练具体参数可以为：批次大小Batchsize为64，使用Adam优化器，初始学习率为1e-3，总迭代次数为12w次，且每经过4w次迭代，学习率降到原来的十分之一，即初始学习率1e-3，训练4w次后为1e-4，以此类推。五个分支的分支权重分别可以设置为1,10,10,10,10。
多任务分支网络共有5个分支，分别预测车位的一种属性，分支一为车位类型预测分支，预测车位类型(0为背景，1为垂直车位，2为水平车位，3为倾斜车位)，分支二为入口角点预测分支，预测车位入口角点是否存在(0不存在，1存在)，分支三为是否可泊预测分支，预测车位是否被占用(0未被占用，1被占用)，分支四为角点定位预测分支，预测车位入口角点相对于网格的偏移量，分支五为车位线方向预测分支，预测当前入口角点的方向，五个分支的大小分别为4x17x17,1x17x17,1x17x17,4x17x17，2x17x17。需要说明的是，图4所示实施例中，根据实际需求，车位类型预测分支、入口角点预测分支、是否可泊预测分支用sigmoid作为激活函数，另外两个分支用atanh作为激活函数。在实际使用中，也存在其他的激活函数组合用于预测各分支的预测结果。
传统的目标检测算法损失函数无法直接应用于本实施例中的车位检测模型，因此本实施例提出了一种两次加权的损失函数训练网络，损失函数如下：
其中，L为总损失，Ln为第n个分支的损失，αn为第n个分支的权重，n的取值分别为1至5，N为分支的数量，S为网格大小，本实施例中为17，i表示对第i个图像块计算损失，R为负样本比例因子，pi表示第i个图像块的预测值，表示第i个图像块的正样本的真实值，/>表示第i个图像块的负样本的真实值，正样本为包含车位目标的图像块，负样本为不包含车位目标的图像块，Ii表示第i个图像块内有无车位目标，当第i个图像块的中心在车位内部时Ii＝1，否则Ii＝0。
进一步，为了综合每个分支的预测结果确定是否存在可用车位，并在存在可用车位的情况下，输出可用车位信息，将多任务分支网络的各个特征图输入至车位融合模块，综合网络多分支的输出层信息，整合不同分支的网络推理结果，计算当前帧图像中车位的具体信息。
具体的，根据是否可泊预测分支的预测结果，确定是否存在可用车位，在存在可用车位的情况下，对车位类型预测分支的预测结果进行连通域分析，获取车位的目标区域，根据入口角点预测分支和角点定位预测分支的预测结果，确定车位入口角点的具体位置，依据车位线方向预测分支的预测结果，确定车位线方向，输出包括车位的目标区域、车位入口角点的具体位置、车位线方向、车位类型以及是否为可泊状态。
由于本实施例利用多任务分支网络预测车位的共有属性，通过对每个分支的预测结果进行融合，得到包括车位的目标区域、车位入口角点的具体位置、车位线方向、车位类型以及是否为可泊状态的车位信息，因此，即使在车位线严重磨损甚至部分丢失等工况下，也能实现对车位信息的准确识别。
可见，本实施例公开的一种车位检测方法，在利用预先构建的车位检测模型中的自学习特征提取网络，提取车身周围的环视俯视拼接图中的特征图之后，通过将特征图输入车位检测模型中的多任务分支网络中每个分支，得到每个分支的预测结果，综合每个分支的预测结果实现对车位信息的准确识别。本实施例的技术方案，利用自学习特征提取网络实现环视俯视拼接图中的特征图的提取，利用多任务分支网络预测车位的共有属性，最终利用各分支的预测结果实现车位信息的筛选。因此，本发明的技术方案，无需手工选取车位特征，也无需手工设计车位筛选规则，提高了车位检测的鲁棒性和准确性。
此外，在实际应用中，也会出现检测出的可用车位部分重合的情形。对于检测出的车位重合度较大的车位，取入口角点置信度较高的目标作为最终的车位，并输出最终的车位检测信息。
基于上述实施例公开的一种车位检测方法，本实施例对应公开了一种车位检测装置，请参阅图5，该装置包括：
图像获取单元100，用于响应于车位检测指令，获取车身周围的环视俯视拼接图；
特征提取单元200，用于利用预先构建的车位检测模型中的自学习特征提取网络，提取所述环视俯视拼接图中的特征图；
分支预测单元300，用于将所述特征图输入所述车位检测模型中的多任务分支网络中的每个分支，得到每个分支的预测结果，所述多任务分支网络用于预测车位的共有属性，每个分支的预测结果表征车位的一种属性；
车位信息输出单元400，用于根据每个分支的预测结果确定是否存在可用车位，并在存在可用车位的情况下，输出可用车位信息。
可选的，所述多任务分支网络包括车位类型预测分支、入口角点预测分支、是否可泊预测分支、角点定位预测分支和车位线方向预测分支；
所述车位信息输出单元400，具体用于：
根据所述是否可泊预测分支的预测结果，确定是否存在可用车位；
在存在可用车位的情况下，对所述车位类型预测分支的预测结果进行连通域分析，获取包含车位的目标区域；
根据所述入口角点预测分支和所述角点定位预测分支的预测结果，确定车位入口角点的具体位置；
依据所述车位线方向预测分支的预测结果，确定车位线方向；
输出包括车位的目标区域、车位入口角点的具体位置以及车位线方向的可用车位信息。
可选的，所述装置还包括：
样本获取单元，用于获取已标注车位信息的训练样本；
模型构建单元，用于构建包括所述自学习特征提取网络和所述多任务分支网络的深度学习模型；
模型训练单元，用于按照预先设定的所述自学习特征提取网络的训练参数以及所述多任务分支网络中每个分支的权重，利用所述训练样本对所述深度学习模型进行训练，得到所述车位检测模型，所述深度学习模型的损失函数为两次加权损失函数。
可选的，所述深度学习模型的损失函数如下：
其中，L为总损失，Ln为第n个分支的损失，αn为第n个分支的权重，N为分支的数量，S为网格大小，i表示对第i个图像块计算损失，R为负样本比例因子，pi表示第i个图像块的预测值，表示第i个图像块的正样本的真实值，/>表示第i个图像块的负样本的真实值，正样本为包含车位目标的图像块，负样本为不包含车位目标的图像块，Ii表示第i个图像块内有无车位目标，当第i个图像块的中心在车位内部时Ii＝1，否则Ii＝0。
可选的，所述样本获取单元，包括：
图像获取子单元，用于获取不同天气、不同时间段、不同车位类型、不同车位线类型的样本图像；
车位线标注子单元，用于将所述样本图像中不同车位类型的车位抽象为四边形，在四边形中将车位入口角点标注为A、B，并将车位停止角点标注为C、D，AC和BD为车位线；
车位类型标注子单元，用于根据AB与AC之间的夹角，标注所述样本图像的车位类型；
可泊车位标注子单元，用于依据所述样本图像中车位内是否有障碍物，标注所述样本图像是否为可泊车位；
数据增强子单元，用于对已标注样本图像进行数据增强处理，得到扩增样本图像，将所述扩增样本图像作为所述训练样本。
可选的，所述数据增强子单元用于执行以下的一项或多项操作：
以预设概率分别对所述样本图像进行随机水平翻转和随机垂直翻转；
以所述样本图像中心为原点添加随机旋转量；
对所述样本图像添加随机对比度调整，模拟不同光照条件；
在所述样本图像中随机裁剪图像，模拟车位在不同位置。
可选的，所述图像获取单元100，具体用于：
获取车身安装的多个图像采集设备采集的图像；
对每个图像进行棋盘格检测，得到每个图像中的棋盘格角点；
根据每个图像中的棋盘格角点以及每个图像与环视俯视拼接图之间的变换关系，将棋盘格检测后的多个图像转换为所述环视俯视拼接图。
本实施例公开的一种车位检测装置，在利用预先构建的车位检测模型中的自学习特征提取网络，提取车身周围的环视俯视拼接图中的特征图之后，通过将特征图输入车位检测模型中的多任务分支网络中每个分支，得到每个分支的预测结果，综合每个分支的预测结果实现对车位信息的准确识别。本实施例的技术方案，利用自学习特征提取网络实现环视俯视拼接图中的特征图的提取，利用多任务分支网络预测车位的共有属性，最终利用各分支的预测结果实现车位信息的筛选。因此，本实施例的技术方案，无需手工选取车位特征，也无需手工设计车位筛选规则，提高了车位检测的鲁棒性和准确性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
上述各个实施例之间可任意组合，对所公开的实施例的上述说明，本说明书中各实施例中记载的特征可以相互替换或者组合，使本领域专业技术人员能够实现或使用本申请。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种车位检测方法，其特征在于，包括：
响应于车位检测指令，获取车身周围的环视俯视拼接图；
利用预先构建的车位检测模型中的自学习特征提取网络，提取所述环视俯视拼接图中的特征图；
将所述特征图输入所述车位检测模型中的多任务分支网络中的每个分支，得到每个分支的预测结果，所述多任务分支网络用于预测车位的共有属性，每个分支的预测结果表征车位的一种属性；
根据每个分支的预测结果确定是否存在可用车位，并在存在可用车位的情况下，输出可用车位信息；
其中，所述获取车身周围的环视俯视拼接图，包括：
获取车身安装的多个图像采集设备采集的图像；
对每个图像进行棋盘格检测，得到每个图像中的棋盘格角点；
根据每个图像中的棋盘格角点以及每个图像与环视俯视拼接图之间的变换关系，将棋盘格检测后的多个图像转换为所述环视俯视拼接图；
其中，所述多任务分支网络包括车位类型预测分支、入口角点预测分支、是否可泊预测分支、角点定位预测分支和车位线方向预测分支；
所述根据每个分支的预测结果确定是否存在可用车位，并在存在可用车位的情况下，输出可用车位信息，包括：
根据所述是否可泊预测分支的预测结果，确定是否存在可用车位；
在存在可用车位的情况下，对所述车位类型预测分支的预测结果进行连通域分析，获取包含车位的目标区域；
根据所述入口角点预测分支和所述角点定位预测分支的预测结果，确定车位入口角点的具体位置；
依据所述车位线方向预测分支的预测结果，确定车位线方向；
输出包括车位的目标区域、车位入口角点的具体位置以及车位线方向的可用车位信息。
2.根据权利要求1所述的方法，其特征在于，所述车位检测模型的构建方法如下：
获取已标注车位信息的训练样本；
构建包括所述自学习特征提取网络和所述多任务分支网络的深度学习模型；
按照预先设定的所述自学习特征提取网络的训练参数以及所述多任务分支网络中每个分支的权重，利用所述训练样本对所述深度学习模型进行训练，得到所述车位检测模型，所述深度学习模型的损失函数为两次加权损失函数。
3.根据权利要求2所述的方法，其特征在于，所述深度学习模型的损失函数如下：
其中，L为总损失，Ln为第n个分支的损失，αn为第n个分支的权重，N为分支的数量，S为网格大小，i表示对第i个图像块计算损失，R为负样本比例因子，pi表示第i个图像块的预测值，表示第i个图像块的正样本的真实值，/>表示第i个图像块的负样本的真实值，正样本为包含车位目标的图像块，负样本为不包含车位目标的图像块，Ii表示第i个图像块内有无车位目标，当第i个图像块的中心在车位内部时Ii＝1，否则Ii＝0。
4.根据权利要求2所述的方法，其特征在于，所述获取已标注车位信息的训练样本，包括：
获取不同天气、不同时间段、不同车位类型、不同车位线类型的样本图像；
将所述样本图像中不同车位类型的车位抽象为四边形，在四边形中将车位入口角点标注为A、B，并将车位停止角点标注为C、D，AC和BD为车位线；
根据AB与AC之间的夹角，标注所述样本图像的车位类型；
依据所述样本图像中车位内是否有障碍物，标注所述样本图像是否为可泊车位；
对已标注样本图像进行数据增强处理，得到扩增样本图像，将所述扩增样本图像作为所述训练样本。
5.根据权利要求4所述的方法，其特征在于，数据增强处理包括以下的一项或多项操作：
以预设概率分别对所述样本图像进行随机水平翻转和随机垂直翻转；
以所述样本图像中心为原点添加随机旋转量；
对所述样本图像添加随机对比度调整，模拟不同光照条件；
在所述样本图像中随机裁剪图像，模拟车位在不同位置。
6.一种车位检测装置，其特征在于，包括：
图像获取单元，用于响应于车位检测指令，获取车身周围的环视俯视拼接图；
特征提取单元，用于利用预先构建的车位检测模型中的自学习特征提取网络，提取所述环视俯视拼接图中的特征图；
分支预测单元，用于将所述特征图输入所述车位检测模型中的多任务分支网络中的每个分支，得到每个分支的预测结果，所述多任务分支网络用于预测车位的共有属性，每个分支的预测结果表征车位的一种属性；
车位信息输出单元，用于根据每个分支的预测结果确定是否存在可用车位，并在存在可用车位的情况下，输出可用车位信息；
其中，所述图像获取单元，具体用于：获取车身安装的多个图像采集设备采集的图像；
对每个图像进行棋盘格检测，得到每个图像中的棋盘格角点；
根据每个图像中的棋盘格角点以及每个图像与环视俯视拼接图之间的变换关系，将棋盘格检测后的多个图像转换为所述环视俯视拼接图；
其中，所述多任务分支网络包括车位类型预测分支、入口角点预测分支、是否可泊预测分支、角点定位预测分支和车位线方向预测分支；
所述车位信息输出单元，具体用于：
根据所述是否可泊预测分支的预测结果，确定是否存在可用车位；
在存在可用车位的情况下，对所述车位类型预测分支的预测结果进行连通域分析，获取包含车位的目标区域；
根据所述入口角点预测分支和所述角点定位预测分支的预测结果，确定车位入口角点的具体位置；
依据所述车位线方向预测分支的预测结果，确定车位线方向；
输出包括车位的目标区域、车位入口角点的具体位置以及车位线方向的可用车位信息。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
样本获取单元，用于获取已标注车位信息的训练样本；
模型构建单元，用于构建包括所述自学习特征提取网络和所述多任务分支网络的深度学习模型；
模型训练单元，用于按照预先设定的所述自学习特征提取网络的训练参数以及所述多任务分支网络中每个分支的权重，利用所述训练样本对所述深度学习模型进行训练，得到所述车位检测模型，所述深度学习模型的损失函数为两次加权损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110836350.1A CN113537105B (zh) | 2021-07-23 | 2021-07-23 | 一种车位检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110836350.1A CN113537105B (zh) | 2021-07-23 | 2021-07-23 | 一种车位检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113537105A CN113537105A (zh) | 2021-10-22 |
| CN113537105B true CN113537105B (zh) | 2024-05-10 |
Family
ID=78120682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110836350.1A Active CN113537105B (zh) | 2021-07-23 | 2021-07-23 | 一种车位检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113537105B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114038235A (zh) * | 2021-11-29 | 2022-02-11 | 安徽江淮汽车集团股份有限公司 | 基于车规级控制器的智能泊车车位检测方法 |
| CN113901961B (zh) * | 2021-12-02 | 2022-03-25 | 禾多科技（北京）有限公司 | 车位检测方法、装置、设备及存储介质 |
| CN114419922B (zh) * | 2022-01-17 | 2023-04-07 | 北京经纬恒润科技股份有限公司 | 车位识别方法及装置 |
| CN114758318A (zh) * | 2022-02-21 | 2022-07-15 | 北京航空航天大学 | 一种基于全景视图的任意角度车位检测方法 |
| CN114694117A (zh) * | 2022-03-30 | 2022-07-01 | 东风汽车集团股份有限公司 | 一种基于图像的停车位识别方法 |
| CN115345321B (zh) * | 2022-10-19 | 2023-02-17 | 小米汽车科技有限公司 | 数据增广方法、装置、电子设备及存储介质 |
| CN118072545A (zh) * | 2022-11-22 | 2024-05-24 | 华为技术有限公司 | 一种车位开口检测方法及装置 |
| CN118334627A (zh) * | 2024-06-07 | 2024-07-12 | 比亚迪股份有限公司 | 车位检测方法、设备、介质、计算机程序产品和车辆 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111178236A (zh) * | 2019-12-27 | 2020-05-19 | 清华大学苏州汽车研究院（吴江） | 一种基于深度学习的车位检测方法 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN111862067A (zh) * | 2020-07-28 | 2020-10-30 | 中山佳维电子有限公司 | 一种焊接缺陷检测方法、装置、电子设备以及存储介质 |
| CN112417926A (zh) * | 2019-08-22 | 2021-02-26 | 广州汽车集团股份有限公司 | 车位识别方法、装置、计算机设备及可读存储介质 |
| WO2021068588A1 (zh) * | 2019-10-12 | 2021-04-15 | 东软睿驰汽车技术（沈阳）有限公司 | 车位及其方向角度检测方法、装置、设备及介质 |
| CN112766136A (zh) * | 2021-01-14 | 2021-05-07 | 华南理工大学 | 一种基于深度学习的空间车位检测方法 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10720058B2 (en) * | 2018-09-13 | 2020-07-21 | Volvo Car Corporation | System and method for camera or sensor-based parking spot detection and identification |
-
2021
- 2021-07-23 CN CN202110836350.1A patent/CN113537105B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN112417926A (zh) * | 2019-08-22 | 2021-02-26 | 广州汽车集团股份有限公司 | 车位识别方法、装置、计算机设备及可读存储介质 |
| WO2021068588A1 (zh) * | 2019-10-12 | 2021-04-15 | 东软睿驰汽车技术（沈阳）有限公司 | 车位及其方向角度检测方法、装置、设备及介质 |
| CN111178236A (zh) * | 2019-12-27 | 2020-05-19 | 清华大学苏州汽车研究院（吴江） | 一种基于深度学习的车位检测方法 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| CN111862067A (zh) * | 2020-07-28 | 2020-10-30 | 中山佳维电子有限公司 | 一种焊接缺陷检测方法、装置、电子设备以及存储介质 |
| CN112766136A (zh) * | 2021-01-14 | 2021-05-07 | 华南理工大学 | 一种基于深度学习的空间车位检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于YOLOv2-Tiny的环视实时车位线识别算法;何俏君;郭继舜;关倩仪;钟斌;付颖;谷俊;;汽车电器(09);全文 * |
| 基于小型深度学习网络的车位检测方法;杨科;王炜斌;徐维庆;;汽车实用技术(13);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113537105A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113537105B (zh) | 一种车位检测方法及装置 | |
| CN113761976B (zh) | 基于全局引导选择性上下文网络的场景语义解析方法 | |
| CN110619750B (zh) | 面向违停车辆的智能航拍识别方法及系统 | |
| CN111368687A (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
| CN113874927A (zh) | 停车检测方法、系统、处理设备和存储介质 | |
| CN111860072A (zh) | 泊车控制方法、装置、计算机设备及计算机可读存储介质 | |
| CN115116012B (zh) | 基于目标检测算法的车辆停车位停车状态检测方法及系统 | |
| CN112666553B (zh) | 一种基于毫米波雷达的道路积水识别方法及设备 | |
| WO2020160981A1 (en) | Determination of the driving context of a vehicle | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN113901961B (zh) | 车位检测方法、装置、设备及存储介质 | |
| CN116612103B (zh) | 一种基于机器视觉的建筑结构裂缝智能检测方法及其系统 | |
| CN113378642B (zh) | 一种对农村违法占地建筑物进行检测的方法 | |
| CN117115770A (zh) | 一种基于卷积神经网络和注意力机制的自动驾驶方法 | |
| CN113147746A (zh) | 坡道车位的探测方法及装置 | |
| CN118172763B (zh) | 物体检测方法、智能设备及计算机可读存储介质 | |
| CN114495571B (zh) | 基于跨层耦合网络的车位状态检测方法、装置及存储介质 | |
| CN118397602B (zh) | 一种智能路牌识别车载摄像头系统 | |
| Saponara | Real-time color/shape-based traffic signs acquisition and recognition system | |
| Skariah | Effective Image-Based Parking Occupancy Detection using Masked Region Based Convolutional Neural Network | |
| CN118521997A (zh) | 驾驶感知方法、装置、电子设备及车辆 | |
| CN118570768A (zh) | 检测可行驶区域的方法、电子设备、非易失性可读存储介质和车辆 | |
| CN116229409A (zh) | 一种引入全局特征和多尺度特征的人行横道线检测方法 | |
| CN114511844A (zh) | 边框分类车牌防伪方法、装置、设备及存储介质 | |
| CN117315604A (zh) | 基于深度学习的车用视觉检测方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |