CN113362394A - 一种基于视觉语义分割技术的车辆实时定位方法 - Google Patents
一种基于视觉语义分割技术的车辆实时定位方法 Download PDFInfo
- Publication number
- CN113362394A CN113362394A CN202110654423.5A CN202110654423A CN113362394A CN 113362394 A CN113362394 A CN 113362394A CN 202110654423 A CN202110654423 A CN 202110654423A CN 113362394 A CN113362394 A CN 113362394A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- semantic
- semantic segmentation
- panoramic
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000000007 visual effect Effects 0.000 title claims abstract description 16
- 238000001914 filtration Methods 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 4
- 241000283070 Equus zebra Species 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及车辆实时定位技术领域，具体为一种基于视觉语义分割技术的车辆实时定位方法，标定全景环视相机的内外参数，用于获取车辆的全景拼接图像，并获取图像中物体与车辆的位置关系；训练语义分割模型；实时采集相机图像，通过搭载在车上的4个环视语义相机采集图像，输入到控制系统；拼接全景俯视图，输出全景拼接俯视图；通过建立的语义分割模型，输出语义分割结果；提取语义与形状信息，形成多个语义目标块；地图比对，迭代优化自车在地图中的位置，完成准确定位。本发明实现狭窄道路环境下的高精度定位，且利用全景环视系统实现低成本的高精度定位。
Description
技术领域
本发明涉及车辆实时定位技术领域，具体为一种基于视觉语义分割技术的车辆实时定位方法。
背景技术
自主泊车系统是一种用于解决车辆从停车场入口到停车位之间的车辆自动驾驶的问题，在level4的限定场景中完全无人驾驶系统。该系统通过车载运算单元以及车载的传感器实现对于环境的感知、路径避障、车位搜寻以及车位泊入等全自动功能。同时，为了实现停车场范围内的自主巡航，自主泊车系统需要一套停车场的高精地图，以及相应的实时定位系统。自主泊车中的实时定位系统一般采用车载传感器，如环视相机、前视相机、毫米波雷达等，通过传感器提取的信息跟高精地图进行比对，实现对于车辆在高精地图中的定位。在这过程中，基于毫米波/视觉SLAM定位技术或基于高精度地图+语义目标检测的视觉定位是常见的解决方法。然而，毫米波定位法容易在车身周围产生无法感知的盲区、视觉语义目标检测在目标离车辆距离很近时难以正常工作，因此这些方法无法应用于道路狭窄的场景，如地下车库的上下坡入口或狭窄的过道当中。
语义分割定位方案可以有效地处理盲区影响严重，狭窄视野受限的复杂场景，视觉语义分割是对图像像素进行分类的一种图像处理技术，结合全景拼接与语义分割能够在形状结构复杂的场景中可以清晰、直接地描述车辆的周边环境的轮廓，进而能够地图数据的语义类型与不规则边缘形状形成更鲁棒与精确的匹配。因此，利用语义分割进行环境感知，可以有效地实现车辆在封闭复杂场景中的高精度定位。鉴于此，我们提出一种基于视觉语义分割技术的车辆实时定位方法。
发明内容
本发明的目的在于提供一种基于视觉语义分割技术的车辆实时定位方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于视觉语义分割技术的车辆实时定位方法，其特征在于，包括以下步骤：
步骤1：标定全景环视相机的内外参数，用于获取车辆的全景拼接图像，并获取图像中物体与车辆的位置关系；
步骤2：训练语义分割模型，通过设计基于全景拼接图像与深度学习算法的语义分割网络，采集数据进行训练；
步骤3：实时采集相机图像，通过搭载在车上的4个环视语义相机采集图像，输入到控制系统；
步骤4：拼接全景俯视图，输入相机参数与相机图像，输出全景拼接俯视图；
步骤5：语义分割算法，输入全景拼接俯视图，通过建立的语义分割模型，输出语义分割结果；
步骤6：提取语义与形状信息，语义分割结果为单个通道的图像，语义类型通过像素值反映，将原始的像素数据按照类型进行聚类并提取目标边缘轮廓，形成多个语义目标块；
步骤7：地图比对，定位滤波算法，通过建立基于不规则形状语义特征的测量模型，通过定位滤波算法跟地图上的信息作对比，即可以迭代优化自车在地图中的位置，完成准确定位。
优选的，步骤2中，语义分割网络的网络输出包括但不限于以下语义信息：立柱、墙面、路面、轮档、斑马线、减速带、道路箭头、停车位、车道线。
与现有技术相比，本发明的有益效果是：该基于视觉语义分割技术的车辆实时定位方法，建立狭窄上下坡道路的高精地图，包含道路两旁的障碍物信息，针对车辆标定全景环视相机生成拼接图像，基于实时的拼接图像，识别车辆周边场景，实现狭窄道路环境下的高精度定位，且利用全景环视系统实现低成本的高精度定位。
附图说明
图1为本发明的车辆实时定位方法流程图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于视觉语义分割技术的车辆实时定位方法，如图1所示，包括以下步骤：
步骤1：标定全景环视相机的内外参数，用于获取车辆的全景拼接图像，并获取图像中物体与车辆的位置关系；
步骤2：训练语义分割模型，通过设计基于全景拼接图像与深度学习算法的语义分割网络，采集数据进行训练，其中，语义分割网络的网络输出包括但不限于以下语义信息：立柱、墙面、路面、轮档、斑马线、减速带、道路箭头、停车位、车道线；
步骤3：实时采集相机图像，通过搭载在车上的4个环视语义相机采集图像，输入到控制系统；
步骤4：拼接全景俯视图，输入相机参数与相机图像，输出全景拼接俯视图；
步骤5：语义分割算法，输入全景拼接俯视图，通过建立的语义分割模型，输出语义分割结果；
步骤6：提取语义与形状信息，语义分割结果为单个通道的图像，语义类型通过像素值反映，将原始的像素数据按照类型进行聚类并提取目标边缘轮廓，形成多个语义目标块；
步骤7：地图比对，定位滤波算法，通过建立基于不规则形状语义特征的测量模型，通过定位滤波算法跟地图上的信息作对比，即可以迭代优化自车在地图中的位置，完成准确定位。
按照上述方法执行上述步骤，建立狭窄上下坡道路的高精地图，包含道路两旁的障碍物信息，针对车辆标定全景环视相机生成拼接图像，基于实时的拼接图像，识别车辆周边场景，实现车辆在该道路上的定位，实现狭窄道路环境下的高精度定位，利用全景环视系统实现低成本的高精度定位。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (2)
1.一种基于视觉语义分割技术的车辆实时定位方法，其特征在于，包括以下步骤：
步骤1：标定全景环视相机的内外参数，用于获取车辆的全景拼接图像，并获取图像中物体与车辆的位置关系；
步骤2：训练语义分割模型，通过设计基于全景拼接图像与深度学习算法的语义分割网络，采集数据进行训练；
步骤3：实时采集相机图像，通过搭载在车上的4个环视语义相机采集图像，输入到控制系统；
步骤4：拼接全景俯视图，输入相机参数与相机图像，输出全景拼接俯视图；
步骤5：语义分割算法，输入全景拼接俯视图，通过建立的语义分割模型，输出语义分割结果；
步骤6：提取语义与形状信息，语义分割结果为单个通道的图像，语义类型通过像素值反映，将原始的像素数据按照类型进行聚类并提取目标边缘轮廓，形成多个语义目标块；
步骤7：地图比对，定位滤波算法，通过建立基于不规则形状语义特征的测量模型，通过定位滤波算法跟地图上的信息作对比，即可以迭代优化自车在地图中的位置，完成准确定位。
2.根据权利要求1所述的基于视觉语义分割技术的车辆实时定位方法，其特征在于：步骤2中，语义分割网络的网络输出包括但不限于以下语义信息：立柱、墙面、路面、轮档、斑马线、减速带、道路箭头、停车位、车道线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110654423.5A CN113362394A (zh) | 2021-06-11 | 2021-06-11 | 一种基于视觉语义分割技术的车辆实时定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110654423.5A CN113362394A (zh) | 2021-06-11 | 2021-06-11 | 一种基于视觉语义分割技术的车辆实时定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113362394A true CN113362394A (zh) | 2021-09-07 |
Family
ID=77533900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110654423.5A Pending CN113362394A (zh) | 2021-06-11 | 2021-06-11 | 一种基于视觉语义分割技术的车辆实时定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113362394A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113821033A (zh) * | 2021-09-18 | 2021-12-21 | 鹏城实验室 | 一种无人车路径规划方法、系统及终端 |
| CN114782459A (zh) * | 2022-06-21 | 2022-07-22 | 山东极视角科技有限公司 | 一种基于语义分割的拼接图像分割方法、装置及设备 |
| CN115273530A (zh) * | 2022-07-11 | 2022-11-01 | 上海交通大学 | 一种基于协同感知的停车场定位与感知系统 |
| CN115294204A (zh) * | 2022-10-10 | 2022-11-04 | 浙江光珀智能科技有限公司 | 一种户外目标定位方法及系统 |
| CN117893591A (zh) * | 2024-01-19 | 2024-04-16 | 上海艺嘉智慧科技集团有限公司 | 光幕模板识别方法及装置、设备、存储介质和程序产品 |
| CN117893591B (zh) * | 2024-01-19 | 2024-06-25 | 上海艺嘉智慧科技集团有限公司 | 光幕模板识别方法及装置、设备、存储介质和程序产品 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814683A (zh) * | 2020-07-09 | 2020-10-23 | 北京航空航天大学 | 一种基于语义先验和深度学习特征的鲁棒视觉slam方法 |
| CN212220070U (zh) * | 2020-05-08 | 2020-12-25 | 上海追势科技有限公司 | 基于视觉语义分割技术的车辆实时定位系统 |
| CN112734845A (zh) * | 2021-01-08 | 2021-04-30 | 浙江大学 | 一种融合场景语义的室外单目同步建图与定位方法 |
-
2021
- 2021-06-11 CN CN202110654423.5A patent/CN113362394A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN212220070U (zh) * | 2020-05-08 | 2020-12-25 | 上海追势科技有限公司 | 基于视觉语义分割技术的车辆实时定位系统 |
| CN111814683A (zh) * | 2020-07-09 | 2020-10-23 | 北京航空航天大学 | 一种基于语义先验和深度学习特征的鲁棒视觉slam方法 |
| CN112734845A (zh) * | 2021-01-08 | 2021-04-30 | 浙江大学 | 一种融合场景语义的室外单目同步建图与定位方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113821033A (zh) * | 2021-09-18 | 2021-12-21 | 鹏城实验室 | 一种无人车路径规划方法、系统及终端 |
| CN114782459A (zh) * | 2022-06-21 | 2022-07-22 | 山东极视角科技有限公司 | 一种基于语义分割的拼接图像分割方法、装置及设备 |
| CN114782459B (zh) * | 2022-06-21 | 2022-08-30 | 山东极视角科技有限公司 | 一种基于语义分割的拼接图像分割方法、装置及设备 |
| CN115273530A (zh) * | 2022-07-11 | 2022-11-01 | 上海交通大学 | 一种基于协同感知的停车场定位与感知系统 |
| CN115294204A (zh) * | 2022-10-10 | 2022-11-04 | 浙江光珀智能科技有限公司 | 一种户外目标定位方法及系统 |
| CN117893591A (zh) * | 2024-01-19 | 2024-04-16 | 上海艺嘉智慧科技集团有限公司 | 光幕模板识别方法及装置、设备、存储介质和程序产品 |
| CN117893591B (zh) * | 2024-01-19 | 2024-06-25 | 上海艺嘉智慧科技集团有限公司 | 光幕模板识别方法及装置、设备、存储介质和程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113362394A (zh) | 一种基于视觉语义分割技术的车辆实时定位方法 | |
| WO2022141910A1 (zh) | 一种基于行车安全风险场的车路激光雷达点云动态分割及融合方法 | |
| CN112180373B (zh) | 一种多传感器融合的智能泊车系统和方法 | |
| Li et al. | Springrobot: A prototype autonomous vehicle and its algorithms for lane detection | |
| US11670087B2 (en) | Training data generating method for image processing, image processing method, and devices thereof | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
| CN110737266B (zh) | 一种自动驾驶控制方法、装置、车辆和存储介质 | |
| CN106845547A (zh) | 一种基于摄像头的智能汽车定位与道路标识识别系统及方法 | |
| CN111448478A (zh) | 用于基于障碍物检测校正高清地图的系统和方法 | |
| CN111563415A (zh) | 一种基于双目视觉的三维目标检测系统及方法 | |
| CN112740225B (zh) | 一种路面要素确定方法及装置 | |
| CN212220188U (zh) | 地下停车场融合定位系统 | |
| Jang et al. | Semantic segmentation-based parking space detection with standalone around view monitoring system | |
| CN112967283A (zh) | 基于双目摄像头的目标识别方法、系统、设备及存储介质 | |
| CN112654998B (zh) | 一种车道线检测方法和装置 | |
| CN114663852A (zh) | 车道线图的构建方法、装置、电子设备及可读存储介质 | |
| CN111323027A (zh) | 一种基于激光雷达与环视相机融合制作高精度地图方法及装置 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| Lim et al. | Implementation of semantic segmentation for road and lane detection on an autonomous ground vehicle with LIDAR | |
| CN110780287A (zh) | 基于单目相机的测距方法及测距系统 | |
| Rasib et al. | Pixel level segmentation based drivable road region detection and steering angle estimation method for autonomous driving on unstructured roads | |
| CN114549542A (zh) | 视觉语义分割方法、装置及设备 | |
| CN212220070U (zh) | 基于视觉语义分割技术的车辆实时定位系统 | |
| Ho et al. | Localization on freeways using the horizon line signature | |
| CN115294545A (zh) | 一种基于深度学习的复杂路面车道识别方法及芯片 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |