CN113781300A - 一种用于远距离自主泊车的车辆视觉定位方法 - Google Patents
一种用于远距离自主泊车的车辆视觉定位方法 Download PDFInfo
- Publication number
- CN113781300A CN113781300A CN202110943688.7A CN202110943688A CN113781300A CN 113781300 A CN113781300 A CN 113781300A CN 202110943688 A CN202110943688 A CN 202110943688A CN 113781300 A CN113781300 A CN 113781300A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- parking lot
- parking
- information
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000000007 visual effect Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 8
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 7
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 21
- 230000004807 localization Effects 0.000 claims description 16
- 230000036544 posture Effects 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 241001300198 Caperonia palustris Species 0.000 claims description 3
- 235000000384 Veronica chamaedrys Nutrition 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于远距离自主泊车的车辆视觉定位方法，该方法在训练阶段利用环视摄像头得到的鸟瞰图中的实例信息以及轮速脉冲计获取的运动信息生成停车场语义地图；将获取的实例信息与停车场语义地图进行匹配，获取车辆的位置信息，将停车场划分若干区域，每个区域包含若干位置信息，根据位置信息将环视摄像头获取的车辆周边图像进行拼接，建立区域特征网络，以位置信息为标签从拼接的图像中提取特征，生成停车场区域特征地图；车辆定位时用区域特征网络与停车场区域特征地图进行匹配，获得当前车辆所在区域，随后根据实时获取的鸟瞰图中的实例信息与停车场语义地图中的实例信息进行匹配，获得当前车辆的准确位置和姿态。
Description
技术领域
本发明涉及车辆定位领域，具体涉及一种用于远距离自主泊车的车辆视觉定位方法。
背景技术
目前自主泊车中，车辆定位是关键问题，现有技术中往往采用车轮脉冲编码器、IMU、GPS来实现自动泊车中的车辆定位。然而车轮脉冲编码器与IMU融合进行定位的方式，其定位累计误差非常大，无法胜任远距离的自主泊车任务；GPS信号在地下、室内停车场等场景下会导致GPS信号缺失，无法精确定位。现有技术中还有基于前视摄像头，使用基于特征点的SLAM技术，实现车辆定位，例如ORB-SLAM，主要有：基于特征的方法、直接SLAM方法和深度学习方法；其中于特征的方法利用描述性图像特征进行跟踪和深度估计，这会导致地图稀疏；直接SLAM方法在整个图像上起作用，而不是在稀疏特征上起作用，以帮助构建密集的地图；密集跟踪和映射(DTAM)和大规模半密集SLAM(LSD-SLAM)是基于最小化光度误差的流行直接方法；诸如这样的较新方法直接考虑了图像；但是，用于单目Visual SLAM的经典方法在地图鲁棒性方面有一个主要限制；一方面，室内和地下停车场主要由无纹理的墙壁，电线杆和地面组成，特征检测和匹配不稳定；传统的视觉方法很容易遭受跟踪丢失的困扰；另一方面，不同的车辆可能在不同的日期停留在不同的停车位，这使得外观变化很大；长时间无法通过基于外观的地图对车辆进行重新定位；这种情况给传统的视觉本地化方法带来了巨大挑战。
发明内容
本发明的目的在于提供一种用于远距离自主泊车的车辆视觉定位方法，以解决室内场景下无GPS信号时的远距离自主泊车的车辆定位问题。
为解决上述技术问题，本发明提供了一种技术方案：一种用于远距离自主泊车的车辆视觉定位方法，该方法包括停车场地图绘制和车辆定位，其中：
在训练阶段，对该停车场进行地图绘制，具体包括以下步骤：
停车场语义地图生成：
车辆在停车场行驶过程中，利用车载的环视摄像头获取车辆周边图像，生成鸟瞰图；
采用多任务级联实例分割网络检测鸟瞰图中的实例信息，所述实例信息包括停车角和引导标志；
根据所述实例信息判断鸟瞰图中的停车角以及由停车角形成的停车位的位置；
利用车载的轮速脉冲计在行驶过程中获取的运动信息，结合鸟瞰图中的实例信息，生成停车场语义地图；
停车场区域特征地图生成：
将实例信息与所述停车场语义地图匹配，得到车辆在停车场中的位置信息，并输出该位置信息；
将停车场划分为m个区域，对应与m个类别；其中每个区域包含n个位置信息，作为n个标签；
根据所述位置信息将环视摄像头的图像进行拼接；
建立区域特征网络以生成停车场区域特征地图，具体采用度量学习方案，其中利用车辆位置信息作为标签，从拼接的环视摄像头的图像中提取特征；
车辆定位：
车辆再次驶入停车场时，利用区域特征网络与停车场区域特征地图进行匹配，获得当前车辆所在区域，随后根据实时获取的鸟瞰图中的实例信息与停车场语义地图中的实例信息进行匹配，获得当前车辆的准确位置和姿态。
按上述方案，所述的停车场语义地图为占据栅格地图，该占据栅格地图生成过程中将获取的停车位添加到其中，以增强停车场地图的鲁棒性。
按上述方案，所述将环视摄像头的图像进行拼接，具体采用OpenCV库生成拼接的图像，将所述位置信息作为图像级标签；其中采用ImageFolder组织环视摄像头采集的数据集，具体按7:1:2的比例将数据集分为训练集、验证集和测试集。
按上述方案，所述度量学习方案的损失函数设计具体为：参考FaceNet网络使用三元组对损失函数进行排名，每个元组包括查询图像q、相同区域中的图像q+和不同区域中的另一个图像q-。
按上述方案，停车场语义地图的生成过程中，每隔一定距离储存一张本地地图，在一定时期内不同本地地图之间的匹配中，根据匹配效果与计算资源消耗之间的关系做循环检测；匹配成功后，获得局部的停车场语义地图之间的相关姿势，根据相关姿势变化情况和运动信息对停车场语义地图执行全局优化，最终输出优化后的停车场语义地图。
按上述方案，所述的多任务级联实例分割网络具体采用基于Mask R-CNN的实例分割网络，具体如下：
首先选择ResNet-101-FPN作为骨干网络，并参考可变形卷积网络对骨干网络进行修改：
将ResNet-101的conv5中的有效步幅减少到16个像素，ResNet-101的conv5块中的最后三个卷积层使用可变形卷积。
一种用于实现如上文所述的用于远距离自主泊车的车辆视觉定位方法的用于远距离自主泊车的车辆视觉定位系统，其特征在于：该系统包括：
环视摄像头，用于获取车辆周边图像；
环视拼接模块，用于根据所述车辆周边图像生成鸟瞰图；
轮速脉冲计，用于获取车辆在行驶过程中的运动信息；
实例信息获取模块，用于获取所述鸟瞰图中的实例信息；
停车场语义地图生成模块，用于利用车载的轮速脉冲计在行驶过程中获取的运动信息，结合鸟瞰图中的实例信息，生成停车场语义地图；
车辆位置信息获取模块，用于将实例信息与所述停车场语义地图匹配，得到车辆在停车场中的位置信息，并输出该位置信息；
停车场区域特征地图生成模块，用于采用度量学习方案生成停车场区域特征地图；
特征提取模块，用于利用车辆位置信息作为标签，从拼接的环视摄像头的图像中提取特征；
定位模块，用于在车辆再次驶入停车场时，利用区域特征网络与停车场区域特征地图进行匹配，获得当前车辆所在区域，随后根据实时获取的鸟瞰图中的实例信息与停车场语义地图中的实例信息进行匹配，获得当前车辆的准确位置和姿态。
一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上文所述的用于远距离自主泊车的车辆视觉定位方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的用于远距离自主泊车的车辆视觉定位方法的步骤。
本发明的有益效果是：利用多任务级联实例分割网络对鸟瞰图中的实例信息进行获取，结合轮速脉冲计获取的运动信息生成停车场语义地图；车辆行驶时，通过将获取的实例信息与停车场语义地图进行匹配获得车辆的位置信息，建立区域特征网络以生成停车场区域特征地图，具体采用度量学习方案，其中利用车辆位置信息作为标签，从拼接的环视摄像头的图像中提取特征，当车辆再次驶入停车场时，根据停车场区域特征地图和停车场语义地图得到当前车辆的准确位置和姿态，实现了远距离、室内条件下的车辆精确定位。
附图说明
图1为本发明一实施例的停车场语义地图和停车场区域特征地图的生成流程图；
图2为本发明一实施例的停车场语义地图示意图；
图3为本发明一实施例的停车场区域划分示意图；
图4为本发明一实施例的停车场区域特征地图生成流程图；
图5为本发明一实施例的区域信息获取流程图；
图6为本发明一实施例的车辆自主泊车过程中的车辆定位流程图；
图7为本发明一实施例的Mask R-CNN体系结构示意图；
图8为本发明一实施例的卷积替换示意图；
图9为本发明一实施例的多任务级联实例分割网络模型示意图；
图10为本发明一实施例的多阶段Mask分支的体系结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
本实施例中选用车辆配备了4个环视摄像头和2个车轮编码器，其中环视摄像头固定在车辆的前侧、后侧、左侧以及右侧，车轮编码器固定在左后轮和右后轮的支架上；所用环视摄像头和车轮编码器的性能参数如下：
| 名称 | 数量 | 性能指标 |
| 环视摄像头 | 2 | 视场角186°(H),120°(V)；分辨率1280(W),720(H) |
| 车轮编码器 | 4 | 96脉冲/周 |
参见图1，一种用于远距离自主泊车的车辆视觉定位方法，该方法包括停车场地图绘制和车辆定位，其中：
在训练阶段，对该停车场进行地图绘制，具体包括以下步骤：
停车场语义地图生成：
车辆在停车场行驶过程中，利用车载的环视摄像头获取车辆周边图像，生成鸟瞰图；
采用多任务级联实例分割网络检测鸟瞰图中的实例信息，所述实例信息包括停车角和引导标志；
根据所述实例信息判断鸟瞰图中的停车角以及由停车角形成的停车位的位置；
利用车载的轮速脉冲计在行驶过程中获取的运动信息，结合鸟瞰图中的实例信息，生成停车场语义地图，参见图2；
停车场区域特征地图生成：
将实例信息与所述停车场语义地图匹配，得到车辆在停车场中的位置信息，并输出该位置信息；
将停车场划分为m个区域，对应与m个类别；其中每个区域包含n个位置信息，作为n个标签，参见图3；
根据所述位置信息将环视摄像头的图像进行拼接；
参见图4，建立区域特征网络以生成停车场区域特征地图，具体采用度量学习方案，其中利用车辆位置信息作为标签，从拼接的环视摄像头的图像中提取特征；
车辆定位：
参见图5、图6，车辆再次驶入停车场时，利用区域特征网络与停车场区域特征地图进行匹配，获得当前车辆所在区域，随后根据实时获取的鸟瞰图中的实例信息与停车场语义地图中的实例信息进行匹配，获得当前车辆的准确位置和姿态。
进一步地，所述的停车场语义地图为占据栅格地图，该占据栅格地图生成过程中将获取的停车位添加到其中，以增强停车场地图的鲁棒性。
进一步地，所述将环视摄像头的图像进行拼接，具体采用OpenCV库生成拼接的图像，将所述位置信息作为图像级标签；其中采用ImageFolder组织环视摄像头采集的数据集，具体按7:1:2的比例将数据集分为训练集、验证集和测试集。
进一步地，参见图5，所述度量学习方案的损失函数设计具体为：参考FaceNet网络使用三元组对损失函数进行排名，每个元组包括查询图像q、相同区域中的图像q+和不同区域中的另一个图像q-。
进一步地，停车场语义地图的生成过程中，每隔一定距离储存一张本地地图，在一定时期内不同本地地图之间的匹配中，根据匹配效果与计算资源消耗之间的关系做循环检测；匹配成功后，获得局部的停车场语义地图之间的相关姿势，根据相关姿势变化情况和运动信息对停车场语义地图执行全局优化，最终输出优化后的停车场语义地图。
进一步地，所述的多任务级联实例分割网络具体采用基于Mask R-CNN的实例分割网络，具体如下：
首先选择ResNet-101-FPN作为骨干网络，并参考可变形卷积网络(DCN)对骨干网络进行修改：
将ResNet-101的conv5中的有效步幅减少到16个像素，ResNet-101的conv5块中的最后三个卷积层使用可变形卷积，实验证明，在骨干网络中使用DCN可以增强转换建模能力；
Mask R-CNN的第三个分支是mask分割的分支，该分支应用于每个ROI的小型完全卷积网络(FCN)，参见图7，图中箭头表示Conv，Deconv或FC图层；本实施例中修改了点箭头表示的卷积，参考非对称卷积，将3×3卷积分解为3×1和1×3卷积，参见图8，替换后减弱了函数学习的过度拟合，增加了接收范围并减少了模型参数的数量；
参见图9，在多任务级联实例分割网络的网络框架中，每个阶段都有一个mask分支和box分支，当前阶段将接受RPN或前一阶段返回的框作为输入，然后预测新框和蒙版，在每个阶段，首先执行box分支，然后将返回的box信息传递到mask分支以预测mask，即mask分支可以使用更新后的box信息进行预测；相邻级的mask分支也具有信息流，将框的回归与蒙版的预测交织在一起，并通过将前一阶段的蒙版特征馈入当前的蒙版特征来增强蒙版分支之间的信息流，参见图10，其中gt表示1×1卷积层用于对齐尺寸，Mt表示mask分支，
表示图10中用虚线箭头代表的新卷积，
是
的输出，并且是变换后的特征，
代表骨干网络的CNN功能；
根据上述内容，可得到：
其中，
可以对齐
和
的尺寸，
和
的加法是按元素求和，F是组合
和
的函数，于是mask分支可以获得骨干网络和
的特征：
损失函数：
其中，Lbbox与级联R-CNN的定义一致，它是阶段t的Lcls和Lreg之和，代表分类和边界框的回归；Lmask与Mask R-CNN的定义一致，并使用二进制制交叉熵形式；T默认为3，代表阶段数；
得到的实例信息分为六类，分别为：signs_straight，signss_turn，parking_corner，speed_bumps，lane_line，parking_space，分别代表直的引导标志，其他引导标志，停车角，减速带，车道线，空闲停车位；实例信息的数据集按照7:1:2的比例分为训练集、验证集和测试集。
一种用于实现如上文所述的用于远距离自主泊车的车辆视觉定位方法的用于远距离自主泊车的车辆视觉定位系统，其特征在于：该系统包括：
环视摄像头，用于获取车辆周边图像；
环视拼接模块，用于根据所述车辆周边图像生成鸟瞰图；
轮速脉冲计，用于获取车辆在行驶过程中的运动信息；
实例信息获取模块，用于获取所述鸟瞰图中的实例信息；
停车场语义地图生成模块，用于利用车载的轮速脉冲计在行驶过程中获取的运动信息，结合鸟瞰图中的实例信息，生成停车场语义地图；
车辆位置信息获取模块，用于将实例信息与所述停车场语义地图匹配，得到车辆在停车场中的位置信息，并输出该位置信息；
停车场区域特征地图生成模块，用于采用度量学习方案生成停车场区域特征地图；
特征提取模块，用于利用车辆位置信息作为标签，从拼接的环视摄像头的图像中提取特征；
定位模块，用于在车辆再次驶入停车场时，利用区域特征网络与停车场区域特征地图进行匹配，获得当前车辆所在区域，随后根据实时获取的鸟瞰图中的实例信息与停车场语义地图中的实例信息进行匹配，获得当前车辆的准确位置和姿态。
一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上文所述的用于远距离自主泊车的车辆视觉定位方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的用于远距离自主泊车的车辆视觉定位方法的步骤。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种用于远距离自主泊车的车辆视觉定位方法，其特征在于：该方法包括停车场地图绘制和车辆定位，其中：
在训练阶段，对该停车场进行地图绘制，具体包括以下步骤：
停车场语义地图生成：
车辆在停车场行驶过程中，利用车载的环视摄像头获取车辆周边图像，生成鸟瞰图；
采用多任务级联实例分割网络检测鸟瞰图中的实例信息，所述实例信息包括停车角和引导标志；
根据所述实例信息判断鸟瞰图中的停车角以及由停车角形成的停车位的位置；
利用车载的轮速脉冲计在行驶过程中获取的运动信息，结合鸟瞰图中的实例信息，生成停车场语义地图；
停车场区域特征地图生成：
将实例信息与所述停车场语义地图匹配，得到车辆在停车场中的位置信息，并输出该位置信息；
将停车场划分为m个区域，对应与m个类别；其中每个区域包含n个位置信息，作为n个标签；
根据所述位置信息将环视摄像头的图像进行拼接；
建立区域特征网络以生成停车场区域特征地图，具体采用度量学习方案，其中利用车辆位置信息作为标签，从拼接的环视摄像头的图像中提取特征；
车辆定位：
车辆再次驶入停车场时，利用区域特征网络与停车场区域特征地图进行匹配，获得当前车辆所在区域，随后根据实时获取的鸟瞰图中的实例信息与停车场语义地图中的实例信息进行匹配，获得当前车辆的准确位置和姿态。
2.根据权利要求1所述的用于远距离自主泊车的车辆视觉定位方法，其特征在于：所述的停车场语义地图为占据栅格地图，该占据栅格地图生成过程中将获取的停车位添加到其中，以增强停车场地图的鲁棒性。
3.根据权利要求1所述的用于远距离自主泊车的车辆视觉定位方法，其特征在于：所述将环视摄像头的图像进行拼接，具体采用OpenCV库生成拼接的图像，将所述位置信息作为图像级标签；其中采用ImageFolder组织环视摄像头采集的数据集，具体按7：1：2的比例将数据集分为训练集、验证集和测试集。
4.根据权利要求1所述的用于远距离自主泊车的车辆视觉定位方法，其特征在于：所述度量学习方案的损失函数设计具体为：参考FaceNet网络使用三元组对损失函数进行排名，每个元组包括查询图像q、相同区域中的图像q+和不同区域中的另一个图像q-。
5.根据权利要求1所述的用于远距离自主泊车的车辆视觉定位方法，其特征在于：停车场语义地图的生成过程中，每隔一定距离储存一张本地地图，在一定时期内不同本地地图之间的匹配中，根据匹配效果与计算资源消耗之间的关系做循环检测；匹配成功后，获得局部的停车场语义地图之间的相关姿势，根据相关姿势变化情况和运动信息对停车场语义地图执行全局优化，最终输出优化后的停车场语义地图。
6.根据权利要求1所述的用于远距离自主泊车的车辆视觉定位方法，其特征在于：所述的多任务级联实例分割网络具体采用基于Mask R-CNN的实例分割网络，具体如下：
首先选择ResNet-101-FPN作为骨干网络，并参考可变形卷积网络对骨干网络进行修改：
将ResNet-101的conv5中的有效步幅减少到16个像素，ResNet-101的conv5块中的最后三个卷积层使用可变形卷积。
7.一种用于实现如权利要求1-6任一所述的用于远距离自主泊车的车辆视觉定位方法的用于远距离自主泊车的车辆视觉定位系统，其特征在于：该系统包括：
环视摄像头，用于获取车辆周边图像；
环视拼接模块，用于根据所述车辆周边图像生成鸟瞰图；
轮速脉冲计，用于获取车辆在行驶过程中的运动信息；
实例信息获取模块，用于获取所述鸟瞰图中的实例信息；
停车场语义地图生成模块，用于利用车载的轮速脉冲计在行驶过程中获取的运动信息，结合鸟瞰图中的实例信息，生成停车场语义地图；
车辆位置信息获取模块，用于将实例信息与所述停车场语义地图匹配，得到车辆在停车场中的位置信息，并输出该位置信息；
停车场区域特征地图生成模块，用于采用度量学习方案生成停车场区域特征地图；
特征提取模块，用于利用车辆位置信息作为标签，从拼接的环视摄像头的图像中提取特征；
定位模块，用于在车辆再次驶入停车场时，利用区域特征网络与停车场区域特征地图进行匹配，获得当前车辆所在区域，随后根据实时获取的鸟瞰图中的实例信息与停车场语义地图中的实例信息进行匹配，获得当前车辆的准确位置和姿态。
8.一种计算机设备，其特征在于：包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6任一所述的用于远距离自主泊车的车辆视觉定位方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一所述的用于远距离自主泊车的车辆视觉定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110943688.7A CN113781300B (zh) | 2021-08-17 | 2021-08-17 | 一种用于远距离自主泊车的车辆视觉定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110943688.7A CN113781300B (zh) | 2021-08-17 | 2021-08-17 | 一种用于远距离自主泊车的车辆视觉定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113781300A true CN113781300A (zh) | 2021-12-10 |
| CN113781300B CN113781300B (zh) | 2023-10-13 |
Family
ID=78837993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110943688.7A Active CN113781300B (zh) | 2021-08-17 | 2021-08-17 | 一种用于远距离自主泊车的车辆视觉定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113781300B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114427863A (zh) * | 2022-04-01 | 2022-05-03 | 天津天瞳威势电子科技有限公司 | 车辆定位方法及系统、自动泊车方法及系统、存储介质 |
| CN114684149A (zh) * | 2022-04-27 | 2022-07-01 | 广州文远知行科技有限公司 | 泊车评估方法、装置、设备及存储介质 |
| CN114863096A (zh) * | 2022-04-02 | 2022-08-05 | 合众新能源汽车有限公司 | 室内停车场的语义地图构建及定位方法和装置 |
| CN116129566A (zh) * | 2023-04-18 | 2023-05-16 | 松立控股集团股份有限公司 | 一种智能车位锁联动方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017517174A (ja) * | 2014-04-04 | 2017-06-22 | ワイズ オートモーティブ コーポレーションＷｉｓｅ Ａｕｔｏｍｏｔｉｖｅ Ｃｏｒｐｏｒａｔｉｏｎ | 車両周辺イメージ生成装置および方法 |
| JP2017147629A (ja) * | 2016-02-18 | 2017-08-24 | 三菱重工業株式会社 | 駐車位置検出システム及びそれを用いた自動駐車システム |
| CN110415550A (zh) * | 2019-07-31 | 2019-11-05 | 北京智行者科技有限公司 | 基于视觉的自动泊车方法 |
| WO2020056874A1 (zh) * | 2018-09-17 | 2020-03-26 | 魔门塔(苏州)科技有限公司 | 一种基于视觉识别的自动泊车系统及方法 |
| CN111169468A (zh) * | 2018-11-12 | 2020-05-19 | 北京初速度科技有限公司 | 一种自动泊车的系统及方法 |
| CN111976720A (zh) * | 2020-08-12 | 2020-11-24 | 东风柳州汽车有限公司 | 自主式代客泊车方法、装置、设备及存储介质 |
| CN112102646A (zh) * | 2019-06-17 | 2020-12-18 | 北京初速度科技有限公司 | 一种泊车定位中的停车场入口定位方法、装置及车载终端 |
| CN112650220A (zh) * | 2020-12-04 | 2021-04-13 | 东风汽车集团有限公司 | 一种车辆自动驾驶方法、车载控制器及系统 |
| US20210224562A1 (en) * | 2020-01-21 | 2021-07-22 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Locating element detection method, device and medium |
-
2021
- 2021-08-17 CN CN202110943688.7A patent/CN113781300B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017517174A (ja) * | 2014-04-04 | 2017-06-22 | ワイズ オートモーティブ コーポレーションＷｉｓｅ Ａｕｔｏｍｏｔｉｖｅ Ｃｏｒｐｏｒａｔｉｏｎ | 車両周辺イメージ生成装置および方法 |
| JP2017147629A (ja) * | 2016-02-18 | 2017-08-24 | 三菱重工業株式会社 | 駐車位置検出システム及びそれを用いた自動駐車システム |
| WO2020056874A1 (zh) * | 2018-09-17 | 2020-03-26 | 魔门塔(苏州)科技有限公司 | 一种基于视觉识别的自动泊车系统及方法 |
| CN111169468A (zh) * | 2018-11-12 | 2020-05-19 | 北京初速度科技有限公司 | 一种自动泊车的系统及方法 |
| CN112102646A (zh) * | 2019-06-17 | 2020-12-18 | 北京初速度科技有限公司 | 一种泊车定位中的停车场入口定位方法、装置及车载终端 |
| CN110415550A (zh) * | 2019-07-31 | 2019-11-05 | 北京智行者科技有限公司 | 基于视觉的自动泊车方法 |
| US20210224562A1 (en) * | 2020-01-21 | 2021-07-22 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Locating element detection method, device and medium |
| CN111976720A (zh) * | 2020-08-12 | 2020-11-24 | 东风柳州汽车有限公司 | 自主式代客泊车方法、装置、设备及存储介质 |
| CN112650220A (zh) * | 2020-12-04 | 2021-04-13 | 东风汽车集团有限公司 | 一种车辆自动驾驶方法、车载控制器及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 文翊;丁宗阳;李泽彬;孙国正;何班本;: "基于虚拟现实技术的全景泊车系统及其扩展应用", 汽车科技, no. 02, pages 19 - 26 * |
| 王雪;隋立春;李顶萌;李丽;: "区域卷积神经网络用于遥感影像车辆检测", 公路交通科技, no. 03, pages 107 - 112 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114427863A (zh) * | 2022-04-01 | 2022-05-03 | 天津天瞳威势电子科技有限公司 | 车辆定位方法及系统、自动泊车方法及系统、存储介质 |
| CN114863096A (zh) * | 2022-04-02 | 2022-08-05 | 合众新能源汽车有限公司 | 室内停车场的语义地图构建及定位方法和装置 |
| CN114863096B (zh) * | 2022-04-02 | 2024-04-16 | 合众新能源汽车股份有限公司 | 室内停车场的语义地图构建及定位方法和装置 |
| CN114684149A (zh) * | 2022-04-27 | 2022-07-01 | 广州文远知行科技有限公司 | 泊车评估方法、装置、设备及存储介质 |
| CN116129566A (zh) * | 2023-04-18 | 2023-05-16 | 松立控股集团股份有限公司 | 一种智能车位锁联动方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113781300B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109117718B (zh) | 一种面向道路场景的三维语义地图构建和存储方法 | |
| CN113781300A (zh) | 一种用于远距离自主泊车的车辆视觉定位方法 | |
| CN108665496B (zh) | 一种基于深度学习的端到端的语义即时定位与建图方法 | |
| Maddern et al. | 1 year, 1000 km: The oxford robotcar dataset | |
| CN111507927A (zh) | 在神经网络中统合图像及点云图的方法及装置 | |
| Li et al. | Stepwise domain adaptation (SDA) for object detection in autonomous vehicles using an adaptive CenterNet | |
| CN111860227A (zh) | 训练轨迹规划模型的方法、装置和计算机存储介质 | |
| Pepperell et al. | Towards persistent visual navigation using smart | |
| CN114663852A (zh) | 车道线图的构建方法、装置、电子设备及可读存储介质 | |
| CN113095152A (zh) | 一种基于回归的车道线检测方法及系统 | |
| Tian et al. | Road marking detection based on mask R-CNN instance segmentation model | |
| CN111126327A (zh) | 车道线检测方法、系统、车载系统及车辆 | |
| CN113012191B (zh) | 一种基于点云多视角投影图的激光里程计算法 | |
| CN114067142A (zh) | 一种实现场景结构预测、目标检测和车道级定位的方法 | |
| CN114549542A (zh) | 视觉语义分割方法、装置及设备 | |
| CN116229406B (zh) | 车道线检测方法、系统、电子设备及存储介质 | |
| Huang et al. | Overview of LiDAR point cloud target detection methods based on deep learning | |
| CN114821651B (zh) | 一种行人重识别方法、系统、设备及计算机可读存储介质 | |
| CN115909245A (zh) | 一种基于深度学习的视觉多任务处理方法 | |
| CN115909241A (zh) | 一种车道线检测方法、系统、电子设备和存储介质 | |
| Komori et al. | Lane detection based on object detection and image-to-image translation | |
| Shi et al. | Lane-level road network construction based on street-view images | |
| Varisteas et al. | RoboBus: A Diverse and Cross-Border Public Transport Dataset | |
| Di et al. | Spatial prior for nonparametric road scene parsing | |
| Wu et al. | Deepword: A gcn-based approach for owner-member relationship detection in autonomous driving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |