CN114419922A - 车位识别方法及装置 - Google Patents
车位识别方法及装置 Download PDFInfo
- Publication number
- CN114419922A CN114419922A CN202210048323.2A CN202210048323A CN114419922A CN 114419922 A CN114419922 A CN 114419922A CN 202210048323 A CN202210048323 A CN 202210048323A CN 114419922 A CN114419922 A CN 114419922A
- Authority
- CN
- China
- Prior art keywords
- parking space
- target
- parking
- information
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000000007 visual effect Effects 0.000 claims abstract description 253
- 238000007499 fusion processing Methods 0.000 claims abstract description 17
- 238000010801 machine learning Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 79
- 230000011218 segmentation Effects 0.000 claims description 41
- 238000006073 displacement reaction Methods 0.000 claims description 19
- 238000003062 neural network model Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 230000033228 biological regulation Effects 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 10
- 230000009191 jumping Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种车位识别方法及装置,方法包括:基于预设视觉深度学习算法对待识别车辆场景图像进行车位识别,获得待识别车位场景图像对应的视觉车位信息,并为视觉车位信息添加第一时间戳;基于预设机器学习算法对待识别超声波雷达数据进行车位识别,获得待识别超声波雷达数据对应的空间车位信息,并为空间车位信息添加第二时间戳;查找与目标第二时间戳匹配的目标第一时间戳;根据目标空间车位信息与目标视觉车位信息之间的差异,对目标空间车位信息与目标视觉车位信息进行融合处理,获得目标车位信息,其中,目标视觉车位信息为目标第一时间戳对应的视觉车位信息,目标车位信息为最终所需的车位信息。
Description
技术领域
本发明涉及汽车技术领域,具体而言,涉及一种车位识别方法及装置。
背景技术
随着生活水平的提高,汽车保有量越来越高,车位也越来越多。许多人员流动大、商业往来频繁的地方都会设有地上、地下的停车位,在城市规划的公路两旁或开阔处一般都会划出停车位以为驾驶员停车提供便利,且为了充分利用停车空间,不同停车场可能会设置不同类型的车位,例如垂直车位、水平车位和倾斜车位。目前驾驶员有停车需求时,往往会先通过导航系统定位出附近的停车场,再将汽车开到该停车场,并在该停车场内人工查找可泊车位。然而,人工查找可泊车位却存在很多问题,例如,有时定位的停车场可能已经没有可泊车位,有时可能因为停车场太大或者车位不合适等原因很难快速找到合适的可泊车位。
发明内容
本发明提供了一种车位识别方法及装置,能够自动、快速且精确地进行车位识别。
具体的技术方案如下:
第一方面,本发明实施例提供了一种车位识别方法,所述方法包括:
基于预设视觉深度学习算法对待识别车辆场景图像进行车位识别,获得所述待识别车位场景图像对应的视觉车位信息,并为所述视觉车位信息添加第一时间戳,所述第一时间戳为所述待识别车辆场景图像的拍摄时间;
基于预设机器学习算法对待识别超声波雷达数据进行车位识别,获得所述待识别超声波雷达数据对应的空间车位信息,并为所述空间车位信息添加第二时间戳,其中,所述第二时间戳为超声波雷达接收到所述待识别超声波雷达数据中回波信号时的时间;
查找与目标第二时间戳匹配的目标第一时间戳,其中,所述目标第二时间戳为待进行车位融合处理的目标空间车位信息对应的第二时间戳,所述目标第一时间戳为与所述目标第二时间戳之间差值在预设差值范围内的第一时间戳;
根据所述目标空间车位信息与目标视觉车位信息之间的差异,对所述目标空间车位信息与目标视觉车位信息进行融合处理,获得目标车位信息,其中,所述目标视觉车位信息为所述目标第一时间戳对应的视觉车位信息,所述目标车位信息为最终所需的车位信息。
在一种实施方式中,所述视觉车位信息包括视觉车位角点信息、视觉车位泊车属性、视觉车位类型和视觉车位尺寸中任一项或多项的组合,所述空间车位信息包括空间车位角点信息、空间车位泊车属性、空间车位类型和空间车位尺寸中任一项或多项的组合,所述视觉车位泊车属性和所述空间车位泊车属性均包括可泊车位或者不可泊车位。
在一种实施方式中,根据所述目标空间车位信息与目标视觉车位信息之间的差异,对所述目标空间车位信息与目标视觉车位信息进行融合处理,获得目标车位信息,包括:
确定所述目标空间车位信息中目标空间车位角点信息与所述目标视觉车位信息中目标视觉车位角点信息之间的相关度;
在所述相关度大于第一预设相关度阈值的情况下,若所述目标空间车位信息中目标空间车位泊车属性与所述目标视觉车位信息中目标视觉车位泊车属性均为可泊车位,则基于所述目标空间车位信息中的目标空间车位角点信息对所述目标视觉车位信息中的目标视觉车位角点信息进行修正,在修改正后的目标视觉车位信息中增加用于表征有车位线的车位线属性,并将增加车位线属性后的目标视觉车位信息确定为目标车位信息;
在所述相关度大于所述第一预设相关度阈值的情况下,若所述目标空间车位泊车属性为不可泊车位且所述目标视觉车位泊车属性为可泊车位,则将所述目标视觉车位泊车属性修改为不可泊车位,并将修改后的目标视觉车位信息确定为目标车位信息;
在所述相关度大于第一预设相关度阈值的情况下,若所述目标空间车位泊车属性和所述目标视觉车位泊车属性均为不可泊车位,或者所述目标空间车位泊车属性为可泊车位,所述目标视觉车位泊车属性为不可泊车位,则将原始的目标视觉车位信息确定为目标车位信息;
在所述相关度小于或者等于所述第一预设相关度阈值的情况下,若所述目标空间车位信息中目标空间车位泊车属性为可泊车位,则在所述目标空间车位信息中增加用于表征无车位线的车位线属性,并将增加车位线属性后的目标空间车位信息和原始的目标视觉车位信息确定为目标车位信息。
在一种实施方式中,基于预设视觉深度学习算法对待识别车辆场景图像进行车位识别,获得所述待识别车位场景图像对应的视觉车位信息,包括:
获取摄像头采集的待识别车辆场景图像;
通过将所述待识别车辆场景图像输入语义分割模型获得语义分割信息,其中,所述语义分割模型为基于包含语义分割标签的历史车辆场景图像训练得到的神经网络模型,所述语义分割信息包括车位区域、背景区域、视觉车位泊车属性、视觉车位类型,所述语义分割标签包括车位区域标签、背景区域标签、视觉车位泊车属性标签、视觉车位类型标签;
通过将所述待识别车辆场景图像输入角点检测模型获得所述待识别车辆场景图像的视觉车位角点信息,所述角点检测模型为基于包含角点标签的历史车辆场景图像训练得到的神经网络模型;
基于所述语义分割信息和所述待识别车辆场景图像的视觉车位角点信息生成所述待识别车位场景图像对应的视觉车位信息。
在一种实施方式中,基于预设机器学习算法对待识别超声波雷达数据进行车位识别,获得所述待识别超声波雷达数据对应的空间车位信息,包括:
通过将所述待识别超声波雷达数据输入跳变节点识别模型获得目标第一跳变时间和目标第二跳变时间,其中,所述跳变节点识别模型为基于包含跳变节点标签的历史超声波雷达数据训练得到的神经网络模型,所述目标第一跳变时间为所述待识别超声波雷达数据中的第一跳变时间,所述第一跳变时间为空间车位进入超声波雷达探测范围时的时间点,所述目标第二跳变时间为所述待识别超声波雷达数据中的第二跳变时间,所述第二跳变时间为空间车位离开所述超声波雷达探测范围时的时间点,所述跳变节点标签包括用于标记第一跳变节点的标签和用于标记第二跳变节点的标签,所述第一跳变节点为第一跳变时间处的节点,所述第二跳变节点为第二跳变时间处的节点;
根据所述目标第一跳变时间、所述目标第二跳变时间、目标第一探测深度、目标第二探测深度和目标车速,确定所述待识别超声波雷达数据对应的空间车位信息,其中,所述目标第一探测深度为在所述目标第一跳变时间处的第一跳变节点所表征的第一探测深度,所述目标第二探测深度为在所述目标第二跳变时间处的第二跳变节点所表征的第二探测深度,所述目标车速为车辆在目标时间段内的车速,所述目标时间段为以所述目标第一跳变时间为起始时间,以所述目标第二跳变时间为终止时间的时间段。
在一种实施方式中,当所述空间车位尺寸包括空间车位长度和空间车位深度时,根据所述目标第一跳变时间、所述目标第二跳变时间、目标第一探测深度、目标第二探测深度和目标车速,确定所述待识别超声波雷达数据对应的空间车位信息,包括:
根据所述目标第一跳变时间与所述目标第二跳变时间之差和所述目标车速,计算所述待识别超声波雷达数据对应的空间车位长度;
将所述目标第一探测深度和所述目标第二探测深度确定为所述待识别超声波雷达数据对应的空间车位深度;
基于所述待识别超声波雷达数据对应的空间车位长度和空间车位深度确定激光雷达发射源坐标系下的车位角点信息;
将所述激光雷达发射源坐标系下的车位角点信息转换为泊车地图坐标系下的车位角点信息;
若在所述目标时间段内存在小于所述空间车位长度或者所述空间车位深度的回拨信号,则确定所述待识别超声波雷达数据对应的空间车位泊车属性为不可泊车位;
若在所述时间段内不存在小于所述空间车位长度或者所述空间车位深度的回拨信号,则确定所述待识别超声波雷达数据对应的空间车位泊车属性为可泊车位。
在一种实施方式中,在获得目标车位信息后,所述方法还包括:
获取当前时刻检测到的当前目标车位信息的目标时间戳,其中,当所述当前目标车位信息为视觉车位信息时,所述目标时间戳为所述当前目标车位信息所对应的车辆场景图像的拍摄时间,当所述当前目标车位信息为空间车位信息时,所述目标时间戳为所述超声波雷达接收到所述当前目标车位信息所对应的超声波雷达数据中回波信号时的时间;
从惯导系统中获取与所述当前目标车位信息的目标时间戳差值最小的惯导信息;
根据所述惯导信息为所述当前目标车位信息增加车辆位移信息;
根据增加车辆位移信息的当前目标车位信息生成车位地图;
当下一时刻检测到下一个目标车位信息时,在所述车位地图中添加所述下一个目标车位信息以及所述下一个目标车位信息对应的车辆位移信息。
在一种实施方式中,所述方法还包括:
若相邻目标时间戳的两个目标车位信息的相关度大于第二预设相关度阈值,则将所述相邻目标时间戳中最小的目标时间戳对应的目标车位信息删除。
在一种实施方式中,所述方法还包括:
向服务器发送车辆的地理位置坐标;
接收所述服务器根据所述地址位置坐标反馈的停车场泊车规定;
在所述车位地图中添加所述停车场泊车规定。
第二方面,本发明实施例提供了一种车位识别装置,所述装置包括:
视觉车位识别单元,用于基于预设视觉深度学习算法对待识别车辆场景图像进行车位识别,获得所述待识别车位场景图像对应的视觉车位信息,并为所述视觉车位信息添加第一时间戳,所述第一时间戳为所述待识别车辆场景图像的拍摄时间;
空间车位识别单元,用于基于预设机器学习算法对待识别超声波雷达数据进行车位识别,获得所述待识别超声波雷达数据对应的空间车位信息,并为所述空间车位信息添加第二时间戳,其中,所述第二时间戳为超声波雷达接收到所述待识别超声波雷达数据中回波信号时的时间;
查找单元,用于查找与目标第二时间戳匹配的目标第一时间戳,其中,所述目标第二时间戳为待进行车位融合处理的目标空间车位信息对应的第二时间戳,所述目标第一时间戳为与所述目标第二时间戳之间差值在预设差值范围内的第一时间戳;
融合单元,用于根据所述目标空间车位信息与目标视觉车位信息之间的差异,对所述目标空间车位信息与目标视觉车位信息进行融合处理,获得目标车位信息,其中,所述目标视觉车位信息为所述目标第一时间戳对应的视觉车位信息,所述目标车位信息为最终所需的车位信息。
在一种实施方式中,所述视觉车位信息包括视觉车位角点信息、视觉车位泊车属性、视觉车位类型和视觉车位尺寸中任一项或多项的组合,所述空间车位信息包括空间车位角点信息、空间车位泊车属性、空间车位类型和空间车位尺寸中任一项或多项的组合,所述视觉车位泊车属性和所述空间车位泊车属性均包括可泊车位或者不可泊车位。
在一种实施方式中,融合单元,包括:
相关度确定模块,用于确定所述目标空间车位信息中目标空间车位角点信息与所述目标视觉车位信息中目标视觉车位角点信息之间的相关度;
第一融合模块,用于在所述相关度大于第一预设相关度阈值的情况下,若所述目标空间车位信息中目标空间车位泊车属性与所述目标视觉车位信息中目标视觉车位泊车属性均为可泊车位,则基于所述目标空间车位信息中的目标空间车位角点信息对所述目标视觉车位信息中的目标视觉车位角点信息进行修正,在修改正后的目标视觉车位信息中增加用于表征有车位线的车位线属性,并将增加车位线属性后的目标视觉车位信息确定为目标车位信息;
第二融合模块,用于在所述相关度大于所述第一预设相关度阈值的情况下,若所述目标空间车位泊车属性为不可泊车位且所述目标视觉车位泊车属性为可泊车位,则将所述目标视觉车位泊车属性修改为不可泊车位,并将修改后的目标视觉车位信息确定为目标车位信息;
第三融合模块,用于在所述相关度大于第一预设相关度阈值的情况下,若所述目标空间车位泊车属性和所述目标视觉车位泊车属性均为不可泊车位,或者所述目标空间车位泊车属性为可泊车位,所述目标视觉车位泊车属性为不可泊车位,则将原始的目标视觉车位信息确定为目标车位信息;
第四融合模块,用于在所述相关度小于或者等于所述第一预设相关度阈值的情况下,若所述目标空间车位信息中目标空间车位泊车属性为可泊车位,则在所述目标空间车位信息中增加用于表征无车位线的车位线属性,并将增加车位线属性后的目标空间车位信息和原始的目标视觉车位信息确定为目标车位信息。
在一种实施方式中,视觉车位识别单元,包括:
图像获取模块,用于获取摄像头采集的待识别车辆场景图像;
语义识别模块,用于通过将所述待识别车辆场景图像输入语义分割模型获得语义分割信息,其中,所述语义分割模型为基于包含语义分割标签的历史车辆场景图像训练得到的神经网络模型,所述语义分割信息包括车位区域、背景区域、视觉车位泊车属性、视觉车位类型,所述语义分割标签包括车位区域标签、背景区域标签、视觉车位泊车属性标签、视觉车位类型标签;
角点识别模块,用于通过将所述待识别车辆场景图像输入角点检测模型获得所述待识别车辆场景图像的视觉车位角点信息,所述角点检测模型为基于包含角点标签的历史车辆场景图像训练得到的神经网络模型;
生成模块,用于基于所述语义分割信息和所述待识别车辆场景图像的视觉车位角点信息生成所述待识别车位场景图像对应的视觉车位信息。
在一种实施方式中,空间车位识别单元,包括:
跳变时间识别模块,用于通过将所述待识别超声波雷达数据输入跳变节点识别模型获得目标第一跳变时间和目标第二跳变时间,其中,所述跳变节点识别模型为基于包含跳变节点标签的历史超声波雷达数据训练得到的神经网络模型,所述目标第一跳变时间为所述待识别超声波雷达数据中的第一跳变时间,所述第一跳变时间为空间车位进入超声波雷达探测范围时的时间点,所述目标第二跳变时间为所述待识别超声波雷达数据中的第二跳变时间,所述第二跳变时间为空间车位离开所述超声波雷达探测范围时的时间点,所述跳变节点标签包括用于标记第一跳变节点的标签和用于标记第二跳变节点的标签,所述第一跳变节点为第一跳变时间处的节点,所述第二跳变节点为第二跳变时间处的节点;
空间车位信息确定模块,用于根据所述目标第一跳变时间、所述目标第二跳变时间、目标第一探测深度、目标第二探测深度和目标车速,确定所述待识别超声波雷达数据对应的空间车位信息,其中,所述目标第一探测深度为在所述目标第一跳变时间处的第一跳变节点所表征的第一探测深度,所述目标第二探测深度为在所述目标第二跳变时间处的第二跳变节点所表征的第二探测深度,所述目标车速为车辆在目标时间段内的车速,所述目标时间段为以所述目标第一跳变时间为起始时间,以所述目标第二跳变时间为终止时间的时间段。
在一种实施方式中,空间车位信息确定模块,用于当所述空间车位尺寸包括空间车位长度和空间车位深度时,根据所述目标第一跳变时间与所述目标第二跳变时间之差和所述目标车速,计算所述待识别超声波雷达数据对应的空间车位长度;将所述目标第一探测深度和所述目标第二探测深度确定为所述待识别超声波雷达数据对应的空间车位深度;基于所述待识别超声波雷达数据对应的空间车位长度和空间车位深度确定激光雷达发射源坐标系下的车位角点信息;将所述激光雷达发射源坐标系下的车位角点信息转换为泊车地图坐标系下的车位角点信息;若在所述目标时间段内存在小于所述空间车位长度或者所述空间车位深度的回拨信号,则确定所述待识别超声波雷达数据对应的空间车位泊车属性为不可泊车位;若在所述时间段内不存在小于所述空间车位长度或者所述空间车位深度的回拨信号,则确定所述待识别超声波雷达数据对应的空间车位泊车属性为可泊车位。
在一种实施方式中,所述装置还包括:
时间戳获取单元,用于在获得目标车位信息后,获取当前时刻检测到的当前目标车位信息的目标时间戳,其中,当所述当前目标车位信息为视觉车位信息时,所述目标时间戳为所述当前目标车位信息所对应的车辆场景图像的拍摄时间,当所述当前目标车位信息为空间车位信息时,所述目标时间戳为所述超声波雷达接收到所述当前目标车位信息所对应的超声波雷达数据中回波信号时的时间;
惯导信息获取单元,用于从惯导系统中获取与所述当前目标车位信息的目标时间戳差值最小的惯导信息;
位移增加单元,用于根据所述惯导信息为所述当前目标车位信息增加车辆位移信息;
地图生成单元,用于根据增加车辆位移信息的当前目标车位信息生成车位地图;
添加单元,用于当下一时刻检测到下一个目标车位信息时,在所述车位地图中添加所述下一个目标车位信息以及所述下一个目标车位信息对应的车辆位移信息。
在一种实施方式中,所述装置还包括:
删除单元,用于当相邻目标时间戳的两个目标车位信息的相关度大于第二预设相关度阈值时,将所述相邻目标时间戳中最小的目标时间戳对应的目标车位信息删除。
在一种实施方式中,所述装置还包括:
发送单元,用于向服务器发送车辆的地理位置坐标;
接收单元,用于接收所述服务器根据所述地址位置坐标反馈的停车场泊车规定;
所述添加单元,还用于在所述车位地图中添加所述停车场泊车规定。
第三方面,本发明实施例提供了一种存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现第一方面中任一实施方式所述的方法。
第四方面,本发明实施例提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现第一方面中任一项实施方式所述的方法。
由上述内容可知,本发明实施例提供的车位识别方法及装置,能够先基于预设视觉深度学习算法对待识别车辆场景图像进行车位识别,获得待识别车位场景图像对应的视觉车位信息,并为视觉车位信息添加第一时间戳,基于预设机器学习算法对待识别超声波雷达数据进行车位识别,获得所述待识别超声波雷达数据对应的空间车位信息,并为所述空间车位信息添加第二时间戳,再查找与目标第二时间戳匹配的目标第一时间戳,最后根据目标空间车位信息与目标视觉车位信息之间的差异,对目标空间车位信息与目标视觉车位信息进行融合处理,获得目标车位信息。由此可知,本发明实施例不仅可以基于机器视觉识别方法实现视觉车位识别,基于超声波雷达实现空间车位识别,还可以对这两种识别结果进行融合得到更精确的车位识别结果,进而与人工识别车位相比,可以达到自动、快速且精确地识别车位的效果。
本发明实施例还可以实现的技术效果至少包括:
1、本发明实施例可以结合惯导信息和目标车位信息生成一个可以跟随车辆移动动态更新的车位地图,从而使得驾驶员能够看到泊车过程中所需的所有车位信息,进而提高驾车体验。
2、为了让驾驶员快速获知停车场泊车规定,避免对停车造成影响,本发明实施例还可以将停车场泊车规定融合到车位地图中。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种车位识别方法的流程示意图;
图2为本发明实施例提供的一种车位信息融合方法示例图;
图3为本发明实施例提供的一种安装车身环视摄像头的车辆示意图;
图4为本发明实施例提供的一种车位角点信息的示例图;
图5为本发明实施例提供的一种车位识别装置的组成框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
图1为一种车位识别方法的流程示意图,该方法主要应用于车辆,该方法可以包括如下步骤:
S110:基于预设视觉深度学习算法对待识别车辆场景图像进行车位识别,获得所述待识别车位场景图像对应的视觉车位信息,并为所述视觉车位信息添加第一时间戳。
所述第一时间戳为所述待识别车辆场景图像的拍摄时间。所述视觉车位信息包括视觉车位角点信息、视觉车位泊车属性、视觉车位类型和视觉车位尺寸中任一项或多项的组合,所述视觉车位泊车属性包括可泊车位或者不可泊车位。视觉车位角点信息包括视觉车位角点坐标和视觉车位角点角度。视觉车位类型包括垂直车位、水平车位和倾斜车位。视觉车位尺寸包括视觉车位长度和视觉车位深度,视觉车位长度是车位线中沿着道路方向的第一车位边的长度,视觉车位深度为车位线中与第一车位边交叉的第二车位边的长度,第二车位边有两条,这两条车位边的长度可能相同,也可能不同(例如画的不是很平行)。
下面结合图2对视觉车位信息的识别方法进行阐述:
(A1)获取摄像头采集的待识别车辆场景图像,如图2中最左侧包括汽车图标的图像。
车辆场景图像是车辆所在场景的局部图像或者全景图像,具体根据需求而定。当车辆场景图像为全景图像时,可以为安装在车身环视摄像头(即安装在车辆不同方向的摄像头)从不同方向采集的多张图像拼接而成的图像,也可以为安装在车辆顶部的360度摄像头采集的图像,还可以为路边设备或者远程设备根据车辆当前位置向车辆发送的与该当前位置对应的全景图像。当车辆场景图像为局部图像时,可以为安装在车辆上的一个摄像头采集的图像,或者多个摄像头采集的多张图像拼接而成的图像(但不是全景图像),还可以为路边设备或者远程设备根据车辆当前位置向车辆发送的与该当前位置对应的局部图像。
示例性的,图3为一种车身环视摄像头的安装方式,在车辆上安装4个鱼眼摄像头,并对这4个鱼眼摄像头进行相机内外参数标定。完成标定后,获取4个鱼眼摄像头同一时间采集的4张图像,对4张图像依次进行去畸变、拼接等操作,最后获得环视拼接图(即车辆场景图像)。
(A2)通过将所述待识别车辆场景图像输入语义分割模型获得语义分割信息。
其中,所述语义分割模型(即图2中的语义模型)为基于包含语义分割标签的历史车辆场景图像训练得到的神经网络模型,所述语义分割信息包括车位区域、背景区域、视觉车位泊车属性、视觉车位类型,所述语义分割标签是人工标记的,主要包括车位区域标签、背景区域标签、视觉车位泊车属性标签、视觉车位类型标签。
语义分割模型可以为主干网络附加多任务检测头的结构,其中,主干网络可以为ResNet18网络,检测头可以有3个,检测头a1用于检测车位区域和背景区域(即图2中是否为车位),检测头a2用于检测车位是否被占用(即视觉车位泊车属性),检测头a3用于检测车位类型(即视觉车位类型)。将包含语义分割标签的历史车辆场景图像输入初始的语义分割模型中进行模型训练,当每个检测头都收敛时,获得最终所需的语义分割模型。
(A3)通过将所述待识别车辆场景图像输入角点检测模型获得所述待识别车辆场景图像的视觉车位角点信息。
所述角点检测模型为基于包含角点标签的历史车辆场景图像训练得到的神经网络模型,角点标签是指能够表征出历史车辆场景图像哪些是车位角点的标签。角点检测模型也可以为主干网络附加多任务检测头的结构,其中,主干网络可以为ResNet18网络,检测头可以有2个,检测头b1用于检测车位角点坐标(即视觉车位角点坐标,图2中为角点位置),检测头b2用于检测车位角点角度(即视觉车位角点角度)。视觉车位角点角度的确定方法包括但不限于:以视觉车位角点为圆心,以预设长度为半径画一个圆,获取该圆与第二车位边的交点,并将视觉车位角点向交点的连线所确定的向量分解到车身坐标系的横纵坐标上,分别得到横坐标分量和纵坐标分量,并计算出视觉车位角点角度θ=arctan(纵坐标分量/横坐标分量),当然也可以仅存储纵坐标分量和横坐标分量,其中,在车身坐标系中,车后轴中心为原点,车辆行驶方式为纵轴正方向,车辆右侧为横轴正方向。将包含角点标签的历史车辆场景图像输入初始的角点检测模型中进行模型训练,当每个检测头都收敛时,获得最终所需的角点检测模型。车位角点(包括视觉车位角点和空间车位角点)包括车位内角点和车位外角点,如图4所示,点A和点B为车位外角点,点C和点D为车位内角点,AB为车位长度,AC和BD为车位深度,点A的车位角点角度为θ,θ=arctan(y1/x1),y1为AM在车身坐标系中的纵坐标分量,x1为AM在车身坐标系中的横坐标分量。一般情况下,只使用车位外角点信息便可以拟合出车位框(即多个车位线组成的多边形),所以车位角点信息中也可以仅保留车位外角点信息。
(A4)基于所述语义分割信息和所述待识别车辆场景图像的视觉车位角点信息生成所述待识别车位场景图像对应的视觉车位信息。
在获得待识别车位场景图像的语义分割信息和视觉车位角点信息后,可以利用视觉车位角点信息中的视觉车位角点坐标和视觉车位角点角度拟合出车位框,再将拟合出的车位框与语义分割信息中的车位区域进行匹配,获得最终的车位框,并计算车位框的视觉车位尺寸,将视觉车位角点信息、视觉车位泊车属性、视觉车位类型和视觉车位尺寸中任一项或多项组合作为视觉车位信息。
此外,为了防止检测出的车位框存在冗余,还可以当检测出多个车位框时,对多个车位框进行非极大值抑制操作,从而实现车位框的去重操作。
S120:基于预设机器学习算法对待识别超声波雷达数据进行车位识别,获得所述待识别超声波雷达数据对应的空间车位信息,并为所述空间车位信息添加第二时间戳。
其中,所述第二时间戳为超声波雷达接收到所述待识别超声波雷达数据中回波信号时的时间。所述空间车位信息包括空间车位角点信息、空间车位泊车属性、空间车位类型和空间车位尺寸中任一项或多项的组合,所述空间车位泊车属性均包括可泊车位或者不可泊车位。空间车位角点信息包括空间车位角点坐标和空间车位角点角度,空间车位类型包括垂直车位、水平车位和倾斜车位。空间车位尺寸包括空间车位长度和空间车位深度。
需要说明的是,视觉车位信息和空间车位信息本质相同,只是为了区分两者识别的手段不同,而在名称进行区分表述。
识别空间车位信息的识别方法可以如步骤B1-B3所述:
(B1)通过将所述待识别超声波雷达数据输入跳变节点识别模型获得目标第一跳变时间和目标第二跳变时间。
其中,所述跳变节点识别模型为基于包含跳变节点标签的历史超声波雷达数据训练得到的神经网络模型,所述目标第一跳变时间为所述待识别超声波雷达数据中的第一跳变时间,所述第一跳变时间为空间车位进入超声波雷达探测范围时的时间点,所述目标第二跳变时间为所述待识别超声波雷达数据中的第二跳变时间,所述第二跳变时间为空间车位离开所述超声波雷达探测范围时的时间点,所述跳变节点标签包括用于标记第一跳变节点的标签和用于标记第二跳变节点的标签,所述第一跳变节点为第一跳变时间处的节点,所述第二跳变节点为第二跳变时间处的节点。也就是说,可以基于历史超声波雷达数据绘制成以时间为横轴,以探测深度为纵轴的曲线图,然后技术人员从曲线图中查找并标记出发生跳变的节点,以便基于包含跳变节点标签的历史超声波雷达数据进行模型训练,当模型达到收敛时,获得最终所需的跳变节点识别模型。
(B2)根据所述目标第一跳变时间、所述目标第二跳变时间、目标第一探测深度、目标第二探测深度和目标车速,确定所述待识别超声波雷达数据对应的空间车位信息。
其中,所述目标第一探测深度为在所述目标第一跳变时间处的第一跳变节点所表征的第一探测深度,所述目标第二探测深度为在所述目标第二跳变时间处的第二跳变节点所表征的第二探测深度,所述目标车速为车辆在目标时间段内的车速,所述目标时间段为以所述目标第一跳变时间为起始时间,以所述目标第二跳变时间为终止时间的时间段。
步骤B2的具体实现方式可以为:
(B21)根据所述目标第一跳变时间与所述目标第二跳变时间之差和所述目标车速,计算所述待识别超声波雷达数据对应的空间车位长度。具体计算公式可以为l=(t2-t1)*v,其中,l为空间车位长度,t2为目标第二跳变时间,t1为目标第一跳变时间,v为车速。当车辆在目标时间段内的车速存在不同时,目标车速可以为在目标时间段内平均车速。
(B22)将所述目标第一探测深度和所述目标第二探测深度确定为所述待识别超声波雷达数据对应的空间车位深度。
(B23)基于所述待识别超声波雷达数据对应的空间车位长度和空间车位深度确定激光雷达发射源坐标系下的车位角点信息。超声波雷达进行探测过程中,会建立激光雷达发射源坐标系,所以根据空间车位长度和空间车位深度是可以计算出待识别超声波雷达数据所对应空间车位在激光雷达发射源坐标系下的车位角点信息。
(B24)将所述激光雷达发射源坐标系下的车位角点信息转换为泊车地图坐标系下的车位角点信息。
具体的,可以先获取车辆在目标时间段内的车辆地理位置,再基于车辆地理位置将激光雷达发射源坐标系下的车位角点信息转换为车辆后轴坐标系下的车位角点信息,最后将车辆后轴坐标系下的车位角点信息转换为泊车地图坐标系下的车位角点信息。
(B25)若在目标时间段内存在小于所述空间车位长度或者所述空间车位深度的回拨信号,则确定所述待识别超声波雷达数据对应的空间车位泊车属性为不可泊车位,其中,所述目标时间段为以所述目标第一跳变时间为起始时间,以所述目标第二跳变时间为终止时间的时间段;若在所述目标时间段内不存在小于所述空间车位长度或者所述空间车位深度的回拨信号,则确定所述待识别超声波雷达数据对应的空间车位泊车属性为可泊车位。
若在目标时间段内存在小于所述空间车位长度或者所述空间车位深度的回拨信号,则说明在识别出的空间车位内存在障碍物,从而确定该空间车位被占用,进而确定空间车位泊车属性为不可泊车位,反之为可泊车位。
S130:查找与目标第二时间戳匹配的目标第一时间戳。
其中,所述目标第二时间戳为待进行车位融合处理的目标空间车位信息对应的第二时间戳,所述目标第一时间戳为与所述目标第二时间戳之间差值在预设差值范围内的第一时间戳。预设差值范围可以根据实际情况而定。
S140:根据所述目标空间车位信息与目标视觉车位信息之间的差异,对所述目标空间车位信息与目标视觉车位信息进行融合处理,获得目标车位信息。
其中,所述目标视觉车位信息为所述目标第一时间戳对应的视觉车位信息,所述目标车位信息为最终所需的车位信息。由于基于单一传感器识别出的车位信息可能存在不准确的问题,所以直接将目标空间车位信息或者目标视觉车位信息作为最终所需的目标车位信息可能会对驾驶员停车造成误导。因此,为了进一步提高目标车位信息的精度,可以将目标空间车位信息与目标视觉车位信息进行融合。
车位信息融合的具体实现方案可以如步骤C1-C5所述:
(C1)确定所述目标空间车位信息中目标空间车位角点信息与所述目标视觉车位信息中目标视觉车位角点信息之间的相关度。
可以利用数据点的相关度算法计算目标空间车位角点信息与目标视觉车位角点信息之间的相关度。
(C2)在所述相关度大于第一预设相关度阈值的情况下,若所述目标空间车位信息中目标空间车位泊车属性与所述目标视觉车位信息中目标视觉车位泊车属性均为可泊车位,则基于所述目标空间车位信息中的目标空间车位角点信息对所述目标视觉车位信息中的目标视觉车位角点信息进行修正,在修改正后的目标视觉车位信息中增加用于表征有车位线的车位线属性,并将增加车位线属性后的目标视觉车位信息确定为目标车位信息。
在所述相关度大于第一预设相关度阈值的情况下,若所述目标空间车位信息中目标空间车位泊车属性与所述目标视觉车位信息中目标视觉车位泊车属性均为可泊车位,则说明两种车位识别方法识别结果基本一致,但是基于超声波雷达数据确定的空间车位角点信息往往比基于车辆场景图像确定的视觉车位角点信息更准确,所以可以基于所述目标空间车位信息中的目标空间车位角点信息对所述目标视觉车位信息中的目标视觉车位角点信息进行修正。其中,第一预设相关度阈值可以根据实际需求设定。
具体的,可以仅对车位的内角点信息进行修正,也可以对车位的所有角点信息进行修正。因此,目标空间车位角点信息为目标空间车位信息中参与修正的空间角点信息,目标视觉车位角点信息为目标视觉车位信息中参与修正的视觉角点信息,且目标空间车位角点信息与目标视觉车位角点信息针对的是同一个目标角点。
修正的方法包括:(1)直接使用目标空间车位角点信息替换目标视觉车位角点信息;(2)针对同一个目标角点,先计算目标空间车位角点信息中目标空间车位角点坐标与目标视觉车位角点信息中目标视觉车位角点坐标的平均值,目标空间车位角点信息中目标空间车位角点角度与目标视觉车位角点信息中目标视觉车位角点角度的平均值,再利用角点坐标的平均值和角点角度的平均值替换目标视觉车位角点信息。
此外,由于基于车辆场景图像仅能识别出包含车位线的车位,所以可以在修改正后的目标视觉车位信息中增加用于表征有车位线的车位线属性。
(C3)在所述相关度大于所述第一预设相关度阈值的情况下,若所述目标空间车位泊车属性为不可泊车位且所述目标视觉车位泊车属性为可泊车位,则将所述目标视觉车位泊车属性修改为不可泊车位,并将修改后的目标视觉车位信息确定为目标车位信息。
在所述相关度大于第一预设相关度阈值的情况下,若两种车位识别方法均识别出了车位,说明对应位置处确实存在车位,但是由于车辆场景图像角度或者像素问题,可能会导致无法识别出车位内存在的障碍物,而激光雷达在探测障碍物方面更为精准,因此若所述目标空间车位泊车属性为不可泊车位且所述目标视觉车位泊车属性为可泊车位,则将所述目标视觉车位泊车属性修改为不可泊车位,并将修改后的目标视觉车位信息确定为目标车位信息。
(C4)在所述相关度大于第一预设相关度阈值的情况下,若所述目标空间车位泊车属性和所述目标视觉车位泊车属性均为不可泊车位,或者所述目标空间车位泊车属性为可泊车位,所述目标视觉车位泊车属性为不可泊车位,则将原始的目标视觉车位信息确定为目标车位信息。
在相关度大于第一预设相关度阈值的前提下,除了C2和C3两种情况外,基于车辆场景图像的视觉识别结果相对准确,所以其他识别结果均以基于车辆场景图像的视觉识别结果为准。
(C5)在所述相关度小于或者等于所述第一预设相关度阈值的情况下,若所述目标空间车位信息中目标空间车位泊车属性为可泊车位,则在所述目标空间车位信息中增加用于表征无车位线的车位线属性,并将增加车位线属性后的目标空间车位信息和原始的目标视觉车位信息确定为目标车位信息。
在所述相关度小于或者等于所述第一预设相关度阈值的情况下,说明目标空间车位信息和目标视觉车位信息分别表征不同的车位,且目标空间车位信息为基于车辆场景图像无法识别出的无车位线的车位,因此可以在所述目标空间车位信息中增加用于表征无车位线的车位线属性,并将增加车位线属性后的目标空间车位信息和原始的目标视觉车位信息确定为目标车位信息。
本发明实施例提供的车位识别方法,能够先基于预设视觉深度学习算法对待识别车辆场景图像进行车位识别,获得待识别车位场景图像对应的视觉车位信息,并为视觉车位信息添加第一时间戳,基于预设机器学习算法对待识别超声波雷达数据进行车位识别,获得所述待识别超声波雷达数据对应的空间车位信息,并为所述空间车位信息添加第二时间戳,再查找与目标第二时间戳匹配的目标第一时间戳,最后根据目标空间车位信息与目标视觉车位信息之间的差异,对目标空间车位信息与目标视觉车位信息进行融合处理,获得目标车位信息。由此可知,本发明实施例不仅可以基于机器视觉识别方法实现视觉车位识别,基于超声波雷达实现空间车位识别,还可以对这两种识别结果进行融合得到更精确的车位识别结果,进而与人工识别车位相比,可以达到自动、快速且精确地识别车位的效果。
在一种实施方式中,为了向驾驶员提供一种可以跟随车辆移动而更新车位的车位地图,从而使得驾驶员能够看到泊车过程中所需的所有车位信息,进而提高驾车体验。本发明实施例可以在获得目标车位信息后,获取当前时刻检测到的当前目标车位信息的目标时间戳,其中,当所述当前目标车位信息为视觉车位信息时,所述目标时间戳为所述当前目标车位信息所对应的车辆场景图像的拍摄时间,当所述当前目标车位信息为空间车位信息时,所述目标时间戳为所述超声波雷达接收到所述当前目标车位信息所对应的超声波雷达数据中回波信号时的时间;从惯导系统中获取与所述当前目标车位信息的目标时间戳差值最小的惯导信息;根据所述惯导信息为所述当前目标车位信息增加车辆位移信息;根据增加车辆位移信息的当前目标车位信息生成车位地图;当下一时刻检测到下一个目标车位信息时,在所述车位地图中添加所述下一个目标车位信息以及所述下一个目标车位信息对应的车辆位移信息。
车辆位移信息为车辆当前位置相对于目标起点的位移,目标起点为车辆从开启车位识别功能时所在的位置。惯导信息包括车辆在导航坐标系中的速度、偏航角、位置、加速度等信息。
在相邻时间检测到的目标车位信息可能存在重复,所以还需要进行去重处理。具体的,若相邻目标时间戳的两个目标车位信息的相关度大于第二预设相关度阈值,则将所述相邻目标时间戳中最小的目标时间戳对应的目标车位信息删除。第二预设相关度阈值可以根据实际需求而定,且第一预设相关度阈值可以与第二预设相关度阈值相同,也可以不同。
在一种实施方式中,不同停车场对车位的规定可能存在不同,尤其是收费标准和停车权限限制等。为了让驾驶员快速获知停车场泊车规定,避免对停车造成影响,本发明实施例还可以向服务器发送车辆的地理位置坐标,接收所述服务器根据所述地址位置坐标反馈的停车场泊车规定,并在车位地图中添加停车场泊车规定。停车场泊车规定包括停车场是否开放停车,可停放的车位类型,停车的收费标准等信息。如果停车场泊车规定表示当前位置不可泊(不在停车时段、车型不符等),则会在交互界面进行预警提示。
相应于上述方法实施例,本发明实施例提供了一种车位识别装置,如图5所示,所述装置包括:
视觉车位识别单元20,用于基于预设视觉深度学习算法对待识别车辆场景图像进行车位识别,获得所述待识别车位场景图像对应的视觉车位信息,并为所述视觉车位信息添加第一时间戳,所述第一时间戳为所述待识别车辆场景图像的拍摄时间;
空间车位识别单元22,用于基于预设机器学习算法对待识别超声波雷达数据进行车位识别,获得所述待识别超声波雷达数据对应的空间车位信息,并为所述空间车位信息添加第二时间戳,其中,所述第二时间戳为超声波雷达接收到所述待识别超声波雷达数据中回波信号时的时间;
查找单元24,用于查找与目标第二时间戳匹配的目标第一时间戳,其中,所述目标第二时间戳为待进行车位融合处理的目标空间车位信息对应的第二时间戳,所述目标第一时间戳为与所述目标第二时间戳之间差值在预设差值范围内的第一时间戳;
融合单元26,用于根据所述目标空间车位信息与目标视觉车位信息之间的差异,对所述目标空间车位信息与目标视觉车位信息进行融合处理,获得目标车位信息,其中,所述目标视觉车位信息为所述目标第一时间戳对应的视觉车位信息,所述目标车位信息为最终所需的车位信息。
在一种实施方式中,所述视觉车位信息包括视觉车位角点信息、视觉车位泊车属性、视觉车位类型和视觉车位尺寸中任一项或多项的组合,所述空间车位信息包括空间车位角点信息、空间车位泊车属性、空间车位类型和空间车位尺寸中任一项或多项的组合,所述视觉车位泊车属性和所述空间车位泊车属性均包括可泊车位或者不可泊车位。
在一种实施方式中,融合单元26,包括:
相关度确定模块,用于确定所述目标空间车位信息中目标空间车位角点信息与所述目标视觉车位信息中目标视觉车位角点信息之间的相关度;
第一融合模块,用于在所述相关度大于第一预设相关度阈值的情况下,若所述目标空间车位信息中目标空间车位泊车属性与所述目标视觉车位信息中目标视觉车位泊车属性均为可泊车位,则基于所述目标空间车位信息中的目标空间车位角点信息对所述目标视觉车位信息中的目标视觉车位角点信息进行修正,在修改正后的目标视觉车位信息中增加用于表征有车位线的车位线属性,并将增加车位线属性后的目标视觉车位信息确定为目标车位信息;
第二融合模块,用于在所述相关度大于所述第一预设相关度阈值的情况下,若所述目标空间车位泊车属性为不可泊车位且所述目标视觉车位泊车属性为可泊车位,则将所述目标视觉车位泊车属性修改为不可泊车位,并将修改后的目标视觉车位信息确定为目标车位信息;
第三融合模块,用于在所述相关度大于第一预设相关度阈值的情况下,若所述目标空间车位泊车属性和所述目标视觉车位泊车属性均为不可泊车位,或者所述目标空间车位泊车属性为可泊车位,所述目标视觉车位泊车属性为不可泊车位,则将原始的目标视觉车位信息确定为目标车位信息;
第四融合模块,用于在所述相关度小于或者等于所述第一预设相关度阈值的情况下,若所述目标空间车位信息中目标空间车位泊车属性为可泊车位,则在所述目标空间车位信息中增加用于表征无车位线的车位线属性,并将增加车位线属性后的目标空间车位信息和原始的目标视觉车位信息确定为目标车位信息。
在一种实施方式中,视觉车位识别单元20,包括:
图像获取模块,用于获取摄像头采集的待识别车辆场景图像;
语义识别模块,用于通过将所述待识别车辆场景图像输入语义分割模型获得语义分割信息,其中,所述语义分割模型为基于包含语义分割标签的历史车辆场景图像训练得到的神经网络模型,所述语义分割信息包括车位区域、背景区域、视觉车位泊车属性、视觉车位类型,所述语义分割标签包括车位区域标签、背景区域标签、视觉车位泊车属性标签、视觉车位类型标签;
角点识别模块,用于通过将所述待识别车辆场景图像输入角点检测模型获得所述待识别车辆场景图像的视觉车位角点信息,所述角点检测模型为基于包含角点标签的历史车辆场景图像训练得到的神经网络模型;
生成模块,用于基于所述语义分割信息和所述待识别车辆场景图像的视觉车位角点信息生成所述待识别车位场景图像对应的视觉车位信息。
在一种实施方式中,空间车位识别单元22,包括:
跳变时间识别模块,用于通过将所述待识别超声波雷达数据输入跳变节点识别模型获得目标第一跳变时间和目标第二跳变时间,其中,所述跳变节点识别模型为基于包含跳变节点标签的历史超声波雷达数据训练得到的神经网络模型,所述目标第一跳变时间为所述待识别超声波雷达数据中的第一跳变时间,所述第一跳变时间为空间车位进入超声波雷达探测范围时的时间点,所述目标第二跳变时间为所述待识别超声波雷达数据中的第二跳变时间,所述第二跳变时间为空间车位离开所述超声波雷达探测范围时的时间点,所述跳变节点标签包括用于标记第一跳变节点的标签和用于标记第二跳变节点的标签,所述第一跳变节点为第一跳变时间处的节点,所述第二跳变节点为第二跳变时间处的节点;
空间车位信息确定模块,用于根据所述目标第一跳变时间、所述目标第二跳变时间、目标第一探测深度、目标第二探测深度和目标车速,确定所述待识别超声波雷达数据对应的空间车位信息,其中,所述目标第一探测深度为在所述目标第一跳变时间处的第一跳变节点所表征的第一探测深度,所述目标第二探测深度为在所述目标第二跳变时间处的第二跳变节点所表征的第二探测深度,所述目标车速为车辆在目标时间段内的车速,所述目标时间段为以所述目标第一跳变时间为起始时间,以所述目标第二跳变时间为终止时间的时间段。
在一种实施方式中,空间车位信息确定模块,用于当所述空间车位尺寸包括空间车位长度和空间车位深度时,根据所述目标第一跳变时间与所述目标第二跳变时间之差和所述目标车速,计算所述待识别超声波雷达数据对应的空间车位长度;将所述目标第一探测深度和所述目标第二探测深度确定为所述待识别超声波雷达数据对应的空间车位深度;基于所述待识别超声波雷达数据对应的空间车位长度和空间车位深度确定激光雷达发射源坐标系下的车位角点信息;将所述激光雷达发射源坐标系下的车位角点信息转换为泊车地图坐标系下的车位角点信息;若在所述目标时间段内存在小于所述空间车位长度或者所述空间车位深度的回拨信号,则确定所述待识别超声波雷达数据对应的空间车位泊车属性为不可泊车位;若在所述时间段内不存在小于所述空间车位长度或者所述空间车位深度的回拨信号,则确定所述待识别超声波雷达数据对应的空间车位泊车属性为可泊车位。
在一种实施方式中,所述装置还包括:
时间戳获取单元,用于在获得目标车位信息后,获取当前时刻检测到的当前目标车位信息的目标时间戳,其中,当所述当前目标车位信息为视觉车位信息时,所述目标时间戳为所述当前目标车位信息所对应的车辆场景图像的拍摄时间,当所述当前目标车位信息为空间车位信息时,所述目标时间戳为所述超声波雷达接收到所述当前目标车位信息所对应的超声波雷达数据中回波信号时的时间;
惯导信息获取单元,用于从惯导系统中获取与所述当前目标车位信息的目标时间戳差值最小的惯导信息;
位移增加单元,用于根据所述惯导信息为所述当前目标车位信息增加车辆位移信息;
地图生成单元,用于根据增加车辆位移信息的当前目标车位信息生成车位地图;
添加单元,用于当下一时刻检测到下一个目标车位信息时,在所述车位地图中添加所述下一个目标车位信息以及所述下一个目标车位信息对应的车辆位移信息。
在一种实施方式中,所述装置还包括:
删除单元,用于当相邻目标时间戳的两个目标车位信息的相关度大于第二预设相关度阈值时,将所述相邻目标时间戳中最小的目标时间戳对应的目标车位信息删除。
在一种实施方式中,所述装置还包括:
发送单元,用于向服务器发送车辆的地理位置坐标;
接收单元,用于接收所述服务器根据所述地址位置坐标反馈的停车场泊车规定;
所述添加单元,还用于在所述车位地图中添加所述停车场泊车规定。
基于上述方法实施例,本发明的另一实施例提供了一种存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现如上所述的方法。
基于上述方法实施例,本发明的另一实施例提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上所述的方法。
上述装置实施例与方法实施例相对应,与该方法实施例具有同样的技术效果,具体说明参见方法实施例。装置实施例是基于方法实施例得到的,具体的说明可以参见方法实施例部分,此处不再赘述。本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (10)
1.一种车位识别方法,其特征在于,所述方法包括:
基于预设视觉深度学习算法对待识别车辆场景图像进行车位识别,获得所述待识别车位场景图像对应的视觉车位信息,并为所述视觉车位信息添加第一时间戳,所述第一时间戳为所述待识别车辆场景图像的拍摄时间;
基于预设机器学习算法对待识别超声波雷达数据进行车位识别,获得所述待识别超声波雷达数据对应的空间车位信息,并为所述空间车位信息添加第二时间戳,其中,所述第二时间戳为超声波雷达接收到所述待识别超声波雷达数据中回波信号时的时间;
查找与目标第二时间戳匹配的目标第一时间戳,其中,所述目标第二时间戳为待进行车位融合处理的目标空间车位信息对应的第二时间戳,所述目标第一时间戳为与所述目标第二时间戳之间差值在预设差值范围内的第一时间戳;
根据所述目标空间车位信息与目标视觉车位信息之间的差异,对所述目标空间车位信息与目标视觉车位信息进行融合处理,获得目标车位信息,其中,所述目标视觉车位信息为所述目标第一时间戳对应的视觉车位信息,所述目标车位信息为最终所需的车位信息。
2.根据权利要求1所述的方法,其特征在于,所述视觉车位信息包括视觉车位角点信息、视觉车位泊车属性、视觉车位类型和视觉车位尺寸中任一项或多项的组合,所述空间车位信息包括空间车位角点信息、空间车位泊车属性、空间车位类型和空间车位尺寸中任一项或多项的组合,所述视觉车位泊车属性和所述空间车位泊车属性均包括可泊车位或者不可泊车位。
3.根据权利要求2所述的方法,其特征在于,根据所述目标空间车位信息与目标视觉车位信息之间的差异,对所述目标空间车位信息与目标视觉车位信息进行融合处理,获得目标车位信息,包括:
确定所述目标空间车位信息中目标空间车位角点信息与所述目标视觉车位信息中目标视觉车位角点信息之间的相关度;
在所述相关度大于第一预设相关度阈值的情况下,若所述目标空间车位信息中目标空间车位泊车属性与所述目标视觉车位信息中目标视觉车位泊车属性均为可泊车位,则基于所述目标空间车位信息中的目标空间车位角点信息对所述目标视觉车位信息中的目标视觉车位角点信息进行修正,在修改正后的目标视觉车位信息中增加用于表征有车位线的车位线属性,并将增加车位线属性后的目标视觉车位信息确定为目标车位信息;
在所述相关度大于所述第一预设相关度阈值的情况下,若所述目标空间车位泊车属性为不可泊车位且所述目标视觉车位泊车属性为可泊车位,则将所述目标视觉车位泊车属性修改为不可泊车位,并将修改后的目标视觉车位信息确定为目标车位信息;
在所述相关度大于第一预设相关度阈值的情况下,若所述目标空间车位泊车属性和所述目标视觉车位泊车属性均为不可泊车位,或者所述目标空间车位泊车属性为可泊车位,所述目标视觉车位泊车属性为不可泊车位,则将原始的目标视觉车位信息确定为目标车位信息;
在所述相关度小于或者等于所述第一预设相关度阈值的情况下,若所述目标空间车位信息中目标空间车位泊车属性为可泊车位,则在所述目标空间车位信息中增加用于表征无车位线的车位线属性,并将增加车位线属性后的目标空间车位信息和原始的目标视觉车位信息确定为目标车位信息。
4.根据权利要求2所述的方法,其特征在于,基于预设视觉深度学习算法对待识别车辆场景图像进行车位识别,获得所述待识别车位场景图像对应的视觉车位信息,包括:
获取摄像头采集的待识别车辆场景图像;
通过将所述待识别车辆场景图像输入语义分割模型获得语义分割信息,其中,所述语义分割模型为基于包含语义分割标签的历史车辆场景图像训练得到的神经网络模型,所述语义分割信息包括车位区域、背景区域、视觉车位泊车属性、视觉车位类型,所述语义分割标签包括车位区域标签、背景区域标签、视觉车位泊车属性标签、视觉车位类型标签;
通过将所述待识别车辆场景图像输入角点检测模型获得所述待识别车辆场景图像的视觉车位角点信息,所述角点检测模型为基于包含角点标签的历史车辆场景图像训练得到的神经网络模型;
基于所述语义分割信息和所述待识别车辆场景图像的视觉车位角点信息生成所述待识别车位场景图像对应的视觉车位信息。
5.根据权利要求2所述的方法,其特征在于,基于预设机器学习算法对待识别超声波雷达数据进行车位识别,获得所述待识别超声波雷达数据对应的空间车位信息,包括:
通过将所述待识别超声波雷达数据输入跳变节点识别模型获得目标第一跳变时间和目标第二跳变时间,其中,所述跳变节点识别模型为基于包含跳变节点标签的历史超声波雷达数据训练得到的神经网络模型,所述目标第一跳变时间为所述待识别超声波雷达数据中的第一跳变时间,所述第一跳变时间为空间车位进入超声波雷达探测范围时的时间点,所述目标第二跳变时间为所述待识别超声波雷达数据中的第二跳变时间,所述第二跳变时间为空间车位离开所述超声波雷达探测范围时的时间点,所述跳变节点标签包括用于标记第一跳变节点的标签和用于标记第二跳变节点的标签,所述第一跳变节点为第一跳变时间处的节点,所述第二跳变节点为第二跳变时间处的节点;
根据所述目标第一跳变时间、所述目标第二跳变时间、目标第一探测深度、目标第二探测深度和目标车速,确定所述待识别超声波雷达数据对应的空间车位信息,其中,所述目标第一探测深度为在所述目标第一跳变时间处的第一跳变节点所表征的第一探测深度,所述目标第二探测深度为在所述目标第二跳变时间处的第二跳变节点所表征的第二探测深度,所述目标车速为车辆在目标时间段内的车速,所述目标时间段为以所述目标第一跳变时间为起始时间,以所述目标第二跳变时间为终止时间的时间段。
6.根据权利要求5所述的方法,其特征在于,当所述空间车位尺寸包括空间车位长度和空间车位深度时,根据所述目标第一跳变时间、所述目标第二跳变时间、目标第一探测深度、目标第二探测深度和目标车速,确定所述待识别超声波雷达数据对应的空间车位信息,包括:
根据所述目标第一跳变时间与所述目标第二跳变时间之差和所述目标车速,计算所述待识别超声波雷达数据对应的空间车位长度;
将所述目标第一探测深度和所述目标第二探测深度确定为所述待识别超声波雷达数据对应的空间车位深度;
基于所述待识别超声波雷达数据对应的空间车位长度和空间车位深度确定激光雷达发射源坐标系下的车位角点信息;
将所述激光雷达发射源坐标系下的车位角点信息转换为泊车地图坐标系下的车位角点信息;
若在所述目标时间段内存在小于所述空间车位长度或者所述空间车位深度的回拨信号,则确定所述待识别超声波雷达数据对应的空间车位泊车属性为不可泊车位;
若在所述时间段内不存在小于所述空间车位长度或者所述空间车位深度的回拨信号,则确定所述待识别超声波雷达数据对应的空间车位泊车属性为可泊车位。
7.根据权利要求1-6中任一项所述的方法,其特征在于,在获得目标车位信息后,所述方法还包括:
获取当前时刻检测到的当前目标车位信息的目标时间戳,其中,当所述当前目标车位信息为视觉车位信息时,所述目标时间戳为所述当前目标车位信息所对应的车辆场景图像的拍摄时间,当所述当前目标车位信息为空间车位信息时,所述目标时间戳为所述超声波雷达接收到所述当前目标车位信息所对应的超声波雷达数据中回波信号时的时间;
从惯导系统中获取与所述当前目标车位信息的目标时间戳差值最小的惯导信息;
根据所述惯导信息为所述当前目标车位信息增加车辆位移信息;
根据增加车辆位移信息的当前目标车位信息生成车位地图;
当下一时刻检测到下一个目标车位信息时,在所述车位地图中添加所述下一个目标车位信息以及所述下一个目标车位信息对应的车辆位移信息。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
若相邻目标时间戳的两个目标车位信息的相关度大于第二预设相关度阈值,则将所述相邻目标时间戳中最小的目标时间戳对应的目标车位信息删除。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
向服务器发送车辆的地理位置坐标;
接收所述服务器根据所述地址位置坐标反馈的停车场泊车规定;
在所述车位地图中添加所述停车场泊车规定。
10.一种车位识别装置,其特征在于,所述装置包括:
视觉车位识别单元,用于基于预设视觉深度学习算法对待识别车辆场景图像进行车位识别,获得所述待识别车位场景图像对应的视觉车位信息,并为所述视觉车位信息添加第一时间戳,所述第一时间戳为所述待识别车辆场景图像的拍摄时间;
空间车位识别单元,用于基于预设机器学习算法对待识别超声波雷达数据进行车位识别,获得所述待识别超声波雷达数据对应的空间车位信息,并为所述空间车位信息添加第二时间戳,其中,所述第二时间戳为超声波雷达接收到所述待识别超声波雷达数据中回波信号时的时间;
查找单元,用于查找与目标第二时间戳匹配的目标第一时间戳,其中,所述目标第二时间戳为待进行车位融合处理的目标空间车位信息对应的第二时间戳,所述目标第一时间戳为与所述目标第二时间戳之间差值在预设差值范围内的第一时间戳;
融合单元,用于根据所述目标空间车位信息与目标视觉车位信息之间的差异,对所述目标空间车位信息与目标视觉车位信息进行融合处理,获得目标车位信息,其中,所述目标视觉车位信息为所述目标第一时间戳对应的视觉车位信息,所述目标车位信息为最终所需的车位信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210048323.2A CN114419922B (zh) | 2022-01-17 | 2022-01-17 | 车位识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210048323.2A CN114419922B (zh) | 2022-01-17 | 2022-01-17 | 车位识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114419922A true CN114419922A (zh) | 2022-04-29 |
CN114419922B CN114419922B (zh) | 2023-04-07 |
Family
ID=81273304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210048323.2A Active CN114419922B (zh) | 2022-01-17 | 2022-01-17 | 车位识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114419922B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114943954A (zh) * | 2022-07-21 | 2022-08-26 | 苏州魔视智能科技有限公司 | 一种车位检测方法、装置和系统 |
CN115482668A (zh) * | 2022-09-22 | 2022-12-16 | 安徽江淮汽车集团股份有限公司 | 一种视觉车位管理方法、系统、电子设备及计算机可读存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109544990A (zh) * | 2018-12-12 | 2019-03-29 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于实时电子地图识别可用泊车位的方法及系统 |
US20200125112A1 (en) * | 2018-10-22 | 2020-04-23 | Waymo Llc | Object Action Classification For Autonomous Vehicles |
CN111624610A (zh) * | 2020-04-29 | 2020-09-04 | 东风汽车集团有限公司 | 基于车位角度自适应调节泊车超声波雷达的方法 |
CN111753649A (zh) * | 2020-05-13 | 2020-10-09 | 上海欧菲智能车联科技有限公司 | 车位检测方法、装置、计算机设备和存储介质 |
CN112633152A (zh) * | 2020-12-22 | 2021-04-09 | 深圳佑驾创新科技有限公司 | 停车位检测方法、装置、计算机设备和存储介质 |
CN113160605A (zh) * | 2020-12-22 | 2021-07-23 | 东风汽车集团有限公司 | 一种融合的车位识别方法 |
CN113253278A (zh) * | 2021-04-28 | 2021-08-13 | 奇瑞汽车股份有限公司 | 车位的识别方法、装置及计算机存储介质 |
CN113408514A (zh) * | 2021-06-16 | 2021-09-17 | 超级视线科技有限公司 | 一种基于深度学习检测路侧停车场泊位的方法及装置 |
CN113537105A (zh) * | 2021-07-23 | 2021-10-22 | 北京经纬恒润科技股份有限公司 | 一种车位检测方法及装置 |
CN113705474A (zh) * | 2021-08-30 | 2021-11-26 | 北京易航远智科技有限公司 | 车位检测方法和装置 |
-
2022
- 2022-01-17 CN CN202210048323.2A patent/CN114419922B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200125112A1 (en) * | 2018-10-22 | 2020-04-23 | Waymo Llc | Object Action Classification For Autonomous Vehicles |
CN109544990A (zh) * | 2018-12-12 | 2019-03-29 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于实时电子地图识别可用泊车位的方法及系统 |
CN111624610A (zh) * | 2020-04-29 | 2020-09-04 | 东风汽车集团有限公司 | 基于车位角度自适应调节泊车超声波雷达的方法 |
CN111753649A (zh) * | 2020-05-13 | 2020-10-09 | 上海欧菲智能车联科技有限公司 | 车位检测方法、装置、计算机设备和存储介质 |
CN112633152A (zh) * | 2020-12-22 | 2021-04-09 | 深圳佑驾创新科技有限公司 | 停车位检测方法、装置、计算机设备和存储介质 |
CN113160605A (zh) * | 2020-12-22 | 2021-07-23 | 东风汽车集团有限公司 | 一种融合的车位识别方法 |
CN113253278A (zh) * | 2021-04-28 | 2021-08-13 | 奇瑞汽车股份有限公司 | 车位的识别方法、装置及计算机存储介质 |
CN113408514A (zh) * | 2021-06-16 | 2021-09-17 | 超级视线科技有限公司 | 一种基于深度学习检测路侧停车场泊位的方法及装置 |
CN113537105A (zh) * | 2021-07-23 | 2021-10-22 | 北京经纬恒润科技股份有限公司 | 一种车位检测方法及装置 |
CN113705474A (zh) * | 2021-08-30 | 2021-11-26 | 北京易航远智科技有限公司 | 车位检测方法和装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114943954A (zh) * | 2022-07-21 | 2022-08-26 | 苏州魔视智能科技有限公司 | 一种车位检测方法、装置和系统 |
CN115482668A (zh) * | 2022-09-22 | 2022-12-16 | 安徽江淮汽车集团股份有限公司 | 一种视觉车位管理方法、系统、电子设备及计算机可读存储介质 |
CN115482668B (zh) * | 2022-09-22 | 2023-09-19 | 安徽江淮汽车集团股份有限公司 | 一种视觉车位管理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114419922B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11967109B2 (en) | Vehicle localization using cameras | |
CN112180373B (zh) | 一种多传感器融合的智能泊车系统和方法 | |
US11094112B2 (en) | Intelligent capturing of a dynamic physical environment | |
CN114419922B (zh) | 车位识别方法及装置 | |
CN113936198B (zh) | 低线束激光雷达与相机融合方法、存储介质及装置 | |
CN111830953A (zh) | 车辆自定位方法、装置及系统 | |
CN113379805A (zh) | 一种交通节点的多信息资源融合处理方法 | |
JP2018525633A (ja) | 正確な車両位置特定のためのシステムおよび方法 | |
EP3871935A1 (en) | Parking space detection method and apparatus | |
CN110998684B (zh) | 图像收集系统、图像收集方法、图像收集装置、记录介质 | |
US11892300B2 (en) | Method and system for determining a model of the environment of a vehicle | |
CN113469045B (zh) | 无人集卡的视觉定位方法、系统、电子设备和存储介质 | |
CN111754388B (zh) | 一种建图方法及车载终端 | |
CN112753038A (zh) | 识别车辆变道趋势的方法和装置 | |
CN111723723A (zh) | 一种图像检测方法及装置 | |
CN114639085A (zh) | 交通信号灯识别方法、装置、计算机设备和存储介质 | |
CN115164918A (zh) | 语义点云地图构建方法、装置及电子设备 | |
CN115366885A (zh) | 用于辅助机动车的驾驶操作的方法、辅助装置及机动车 | |
CN112414430B (zh) | 一种电子导航地图质量检测方法及装置 | |
CN114141055B (zh) | 一种智能泊车系统的泊车位检测装置和检测方法 | |
CN115965682B (zh) | 一种车辆可通行区域确定方法、装置及计算机设备 | |
CN116385336B (zh) | 基于深度学习的焊缝检测方法、系统、装置及存储介质 | |
CN113048988B (zh) | 一种导航地图对应场景的变化元素检测方法及装置 | |
CN113345251A (zh) | 一种车辆逆行检测方法及相关装置 | |
JP2022056153A (ja) | 一時停止検出装置、一時停止検出システム、及び一時停止検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |