CN114179788A - 自动泊车方法、系统、计算机可读存储介质及车机端 - Google Patents
自动泊车方法、系统、计算机可读存储介质及车机端 Download PDFInfo
- Publication number
- CN114179788A CN114179788A CN202111638211.4A CN202111638211A CN114179788A CN 114179788 A CN114179788 A CN 114179788A CN 202111638211 A CN202111638211 A CN 202111638211A CN 114179788 A CN114179788 A CN 114179788A
- Authority
- CN
- China
- Prior art keywords
- parking space
- parking
- image data
- point cloud
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 28
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 238000013145 classification model Methods 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/50—Barriers
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种自动泊车方法、系统、计算机可读存储介质及车机端，自动泊车方法包括：获取实时泊车环视图像数据，并于所述泊车环视图像数据中提取未占用车位，以形成车位待检测图像数据；于所述车位待检测图像数据中提取车位轮廓的点云数据，并判断该车位轮廓的区域内是否存在障碍物；若是，则过滤掉存在障碍物的车位；若否，则表示该车位为可泊入车位；控制车辆泊入所述可泊入车位内。本发明自动泊车方法、系统、计算机可读存储介质及车机端实现车机端在实现立体车位的自动泊车功能时，若面临立体车位空间狭窄，车位平面高于地平面的情况，可以精确感知车位顶点位置坐标，提升泊车准确度。
Description
技术领域
本发明属于驾驶辅助技术领域，特别是涉及一种自动泊车方法、系统、计算机可读存储介质及车机端。
背景技术
目前，随着人们对交通安全的重视，高级驾驶辅助系统(ADAS)在汽车中成为了重要的功能。自动泊车是其中一个产品，可帮助司机自动检测车位和泊入车位，在越来越多的车型上成为了一种标配。
车位检测在自动泊车中是一个重要的功能模块，目前基于超声波和视觉的融合自动泊车功能中，超声波检测空间车位和视觉检测划线车位的自动泊车都得到了很好的解决。但随着城市车辆数量的持续增加，停车位将持续紧张，越来越多的立体停车位出现在日常生活中。
而目前的自动泊车产品还无法很好的支持立体停车位，主要原因是立体停车位的宽度较小，从而对检测精度有更高的要求，另外立体车位平面与地平面存在高度差(通常高出地面10cm至40cm)，对目前基于图片检测的方法制造了更大的难度，尤其在确定立体车位顶点坐标与自车车身的对应位置关系方面，这关系到了后面泊车路线的规划。
现有技术在检测和泊车时，基于深度神经网络检测立体车位和自动泊车，会面临一些较大的挑战。虽然神经网络在识别立体车位方面有较强的能力，但是也存在测距不准的情况。相对于测量的摄像头传感器位置，网络很难将车位坐标的距离精确到5％以内，对于鱼眼摄像头，10％的精度都比较困难。而立体车位对车位坐标点的精度要求在3％以内，显然单纯基于图像的车位检测没有办法支持这种精度要求。
另外，单目鱼眼摄像头缺少尺度信息，通常要测量划线车位精确的车位顶点坐标，要先假设车位处于地平面上，从而可以利用车子标定信息估计点的坐标，但现有技术不适用于立体车位的车位顶点坐标。因为，立体车位通常高于地平面10cm至40cm，不能直接假设位于地平面上，需要给出一种估计车位顶点高度值的方法。
即使现有技术考虑了立体车位平面高于地面10cm至40cm的问题。因此，提出了使用环视鱼眼摄像头加后视双面摄像头的方案，基于图像SLAM方法实时定位车子的位置。但是该技术计算量较大，实时性有较大挑战，同时需要的硬件摄像头数量较多，不适用于低成本的方案。
因此，如何提供一种自动泊车方法、系统、计算机可读存储介质及车机端，以解决现有技术启动自动泊车功能后，若面临立体车位空间狭窄，车位平面高于地平面时，无法精确感知立体车位等缺陷，实已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种自动泊车方法、系统、计算机可读存储介质及车机端，用于解决现有技术启动自动泊车功能后，若面临立体车位空间狭窄，车位平面高于地平面时，无法精确感知立体车位的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种自动泊车方法，包括：获取实时泊车环视图像数据，并于所述泊车环视图像数据中提取未占用车位，以形成车位待检测图像数据；于所述车位待检测图像数据中提取车位轮廓的点云数据，并判断该车位轮廓的区域内是否存在障碍物；若是，则过滤掉存在障碍物的车位；若否，则表示该车位为可泊入车位；控制车辆泊入所述可泊入车位内。
于本发明的一实施例中，于所述泊车环视图像数据中提取未占用车位，并形成车位待检测图像数据的步骤包括：利用预存目标检测模型于所述泊车环视图像数据中检测出包含车位的图像数据；利用预存分类模型，于所述包含车位的图像数据中识别出占位的车辆，以判断所述车位图像数据中车位是否为已占用车位，若是，则剔除已占用车位；若否，则提取未占用车位；其中，所述未占用车位为立体车位。
于本发明的一实施例中，于所述泊车环视图像数据中提取未占用，并形成车位待检测图像数据的步骤还包括：从车位待检测图像数据中标注出立体车位于图像中的四个顶点坐标，以形成车位待检测图像数据；其中，车位待检测图像数据包括四个顶点坐标连接而成的矩形为每帧图像中车位的最大外接矩形。
于本发明的一实施例中，于所述车位待检测图像数据中提取车位轮廓的点云数据的步骤包括：于所述车位待检测图像数据中提取车位轮廓的点云数据，对所述点云数据进行云聚类和拟合，以形成立体车位的轮廓。
于本发明的一实施例中，对所述点云数据进行云聚类和拟合，形成立体车位的轮廓的步骤包括：在所有点云数据中，随机选取一点云，以该点云为中心，以预设半径阈值进行聚类；循环聚类步骤，待遍历完所有点云后，形成多组聚类点云；于所述多组聚类点云中选取聚类的点云数据最多的三组聚类点云，将这三组聚类点云定义为待处理聚类点云；其中，三组聚类点云中一组聚类点云为最接近道路的聚类点云；从待处理聚类点云中分别随机选取两个点云进行拟合直线；利用所述待处理聚类点云中剩余的点云对所拟合的直线进行评价，选取评价指标最小的直线定义为所述待处理聚类点云的拟合直线；将被定义的拟合直线作为立体车位的两条侧向车位线及一条正向车位线，以形成车位的轮廓。
于本发明的一实施例中，利用所述待处理聚类点云中剩余的点云对所拟合的直线进行评价，选取评价指标最小的直线定义为所述待处理聚类点云的拟合直线的步骤包括：计算剩余的点云与随机选取两个点云所拟合的直线之间的距离；计算的所有距离的平均值，将平均值作为直线的评价指标；选取评价指标最小的直线作为所述待处理聚类点云的拟合直线。
于本发明的一实施例中，判断该车位轮廓的区域内是否存在障碍物的步骤包括：利用查找到的点云于立体车位的轮廓内进行检测，以判断出该车位轮廓的区域内是否存在障碍物。
于本发明的一实施例中，待形成立体车位的轮廓后，所述自动泊车方法还包括计算立体车位的侧向车位线/正向车位线与立体车位表平面的高度差；计算立体车位的侧向车位线/正向车位线与立体车位表平面的高度差的步骤包括：提取组成侧向车位线的点云的高度；按照预设比例提取高度最高的点云，并计算最高的高度平均值，作为侧向车位线的线棱上沿的高度；按照预设比例提取高度最低的点云，并计算最低的高度平均值，作为立体车位表平面的高度；侧向车位线的线棱上沿的高度与立体车位表平面的高度相减，以获取立体车位的侧向车位线与立体车位表平面的高度差；提取组成正向车位线的点云的高度；按照预设比例提取高度最高的点云，并计算最高的高度平均值，作为正向车位线的与立体车位表平面的高度。
于本发明的一实施例中，控制车辆泊入所述可泊入车位内的步骤包括：当检测到车辆的泊车路径与车辆的位置偏差查过预设偏差阈值时，重新于所述车位待检测图像数据中提取车位轮廓的点云数据，并以车位的轮廓于车位待检测图像中的顶点坐标为基准，重新更新泊车路径。
本发明另一方面提供一种自动泊车系统，包括：数据获取模块，用于获取实时泊车环视图像数据；检测模块，用于于所述泊车环视图像数据中提取待检测车位，并形成车位待检测图像数据；提取模块，用于于所述车位待检测图像数据中提取车位轮廓的点云数据，并判断该车位轮廓的区域内是否存在障碍物；若是，则过滤掉存在障碍物的车位；若否，则表示该车位为可泊入车位；控制模块，用于控制车辆泊入所述可泊入车位内。
本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述自动泊车方法。
本发明最后一方面提供一种车机端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述车机端执行所述自动泊车方法。
如上所述，本发明所述的自动泊车方法、系统、计算机可读存储介质及车机端，具有以下有益效果：
第一，本发明将深度网络的检测能力，和三维点云重建的高精度能力相结合，可检测立体车位的精确位置信息。
第二.本发明利用四路鱼眼摄像头进行点云生成，可检测空间中更全的范围。同时点云可判断车位内是否有立体物占用，弥补深度学习判断车位占用需要预先设定目标类别的要求。
第三.本发明设计对计算力要求较小，可无障碍运行在嵌入式平台上。
附图说明
图1显示为本发明的自动泊车方法于一实施例中的流程示意图。
图2显示为本发明的车位待检测图像数据的示例图。
图3显示为本发明的S12的一种实施流程示意图。
图4显示为本发明形成的车位的轮廓的示例图。
图5显示为通过本发明形成的4组聚类点云示例图。
图6显示为本发明拟合的评价指标最小的直线示例图。
图7显示为本发明提取的立体车位示意图。
图8显示为本发明的自动泊车系统于一实施例中的原理结构示意图。
元件标号说明
8 自动泊车系统
81 数据获取模块
82 检测模块
83 提取模块
84 控制模块
S11～S13 步骤
S121～S128 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
本实施例提供一种自动泊车方法，包括：
获取实时泊车环视图像数据，并于所述泊车环视图像数据中提取待检测车位，形成车位待检测图像数据；
于所述车位待检测图像数据中提取车位轮廓的点云数据，并判断该车位轮廓的区域内是否存在障碍物；若是，则过滤掉存在障碍物的车位；若否，则表示该车位为可泊入车位；
控制车辆泊入所述可泊入车位内。
以下将结合图示对本实施例所提供的自动泊车方法进行详细描述。本实施例所述自动泊车方法应用于车机端。在所述车机端中存储有预存目标检测模型及预存分类模型。其中，预存目标检测模型及预存分类模型的获取方法包括：
首先，获取泊车场景中所有立体车位的视频，拆帧得到包含立体车位的图片，构建包含立体车位的数据集，并对每张拆解图片中立体车位的边和顶点进行标注。
接着，对包含立体车位的数据集中每一张图片中车辆的外接矩形进行标注。
然后，建立识别立体车位和车辆的分类模型，训练可识别立体车位的模型，同时获取立体车位于图片中的顶点坐标，并对立体车位的外接矩形进行标注。
立体车位检测网络不限制于某个特定的网络结构，在此使用CornerNet网络。CornerNet网络检测目标框的左上角和右下角位置。
例如，摄像头采集图像流，图像尺寸1280*720，通过插值方式将图像降采样为320*240，输入CornerNet网络。该网络的第一阶段是hourglass network结构的特征提取网络，包括多层的hourglass module结构，houglass module先降采样图像大小，得到输入图像尺寸比例(1/2)*(1/2)的中间层，在上采样中间层，返回到320*240的原图大小的特征层。
Hourglass network提取特征后，输出heatmaps、embedding和offsets。Heatmaps表示每个位置是角点的置信度，embedding表示每个位置的类别信息，offsets表示偏移量。
将标注好的立体车位框、车辆框作为真值，训练此网络，通过不停迭代得到网络模型的权重。
利用训练好的模型，预测新一帧输入图像中是否包含立体车位或车辆，如果包含，输出左上角和右下角顶点坐标。
请参阅图1，显示为自动泊车方法于一实施例中的流程示意图。如图1所示，所述自动泊车方法具体包括以下步骤：
S11，获取实时泊车环视图像数据，并于所述泊车环视图像数据中提取未占用车位，以形成车位待检测图像数据。在本实施例中，通过鱼眼摄像头实时采集泊车环视图像数据。
在本实施例中，所述S11包括：
利用预存目标检测模型于所述泊车环视图像数据中检测出包含车位的图像数据。
利用预存分类模型，于所述包含车位的图像数据中识别出占位的车辆，以判断所述车位图像数据中车位是否为已占用车位，若是，则剔除已占用车位；若否，则提取未占用车位；其中，所述未占用车位为立体车位。
从车位待检测图像数据中标注出车位于图像中的四个顶点坐标，以形成车位待检测图像数据；其中，车位待检测图像数据包括四个顶点坐标连接而成的矩形为每帧图像中车位的最大外接矩形。
请参与图2，显示为车位待检测图像数据的示例图。如图2所示，从车位待检测图像数据中标注出车位于图像中的四个顶点坐标；其中，四个顶点坐标连接而成的矩形为每帧图像中车位的最大外接矩形A，B及C。
在本实施例中，通过所述预存分类模型识别图像中的车辆，通过检测立体车位的区域和车辆的区域是否关联在一起来判断所述车位图像数据中车位是否为已占用车位。
例如，车位区域位于立体车位的50％区域内，可认为该车位为已占用车位。排除占用车位，得到空闲的立体车位。
S12，于所述车位待检测图像数据中提取车位轮廓的点云数据，并判断该车位轮廓的区域内是否存在障碍物；若是，则表示该车位为已占用车位；若否，则表示该车位为可泊入车位。在本实施例中，由于立体车位平面高于地平面，车子在泊入或泊出过程中，车子和目标立体车位的相对位姿信息误差会明显增大，利用实时检测车位顶点和车位轮廓的点云信息，可将立体车位的坐标位置精度约束在3％的误差范围内，以此来保证车辆精确泊入空闲车位。
请参阅图3，显示为S12的一种实施流程示意图。如图3所示，所述S12具体包括以下步骤：
S121，在获取实时泊车环视图像数据的不同图像时刻下，同时获取不同图像时刻下的车身信号。
在本实施例中，所述不同图像时刻下的车身信号包括轮速脉冲、车速和/或轮转角等等。
S122，对不同图像时刻下的车身信号进行运算，以计算出车身信号下不同图像时刻的车辆位姿转换关系。
在本实施例中，通过对轮速脉冲、车速、轮转角和/或高精度IMU等其他传感器获取车身信号等等信号在时间上进行积分运算来获取车身信号下不同图像时刻的车辆位姿转换关系。所述车辆位姿转换关系包括车辆的位置信息和姿态信息。
例如，从初始时刻0ms开始，一组由车身信号得到的，车身信号时刻下，初始时刻到当前时刻的车辆位姿转换关系表如表1所示。
表1：初始时刻到当前时刻的车辆位姿转换关系表
| 图像时刻 | 0ms | 20ms | 40ms | 60ms | 80ms | 100ms | 120ms |
| pos.x(cm) | 0.0 | 10.0 | 18.0 | 27.0 | 38.0 | 48.0 | 58.0 |
| pos.y(cm) | 0.0 | 30.0 | 61.0 | 92.0 | 121.0 | 152.0 | 182.0 |
| theta | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 |
S123，以当前图像时刻为基准，查找与所述当前图像时刻最接近的前一图像时刻的车辆位姿转换关系和后一图像时刻的车辆位姿转换关系。
例如，当前图像时刻为33ms，通过查表找到与其时间戳最接近的车身信号时间戳为20ms和40ms，对应查找到初始时刻0ms到20ms的前一图像时刻的车辆位姿转换关系为：
同理，对应查找到0ms到40ms的后一图像时刻的车辆位姿转换关系为：
S124，对前一图像时刻的车辆位姿转换关系和后一图像时刻的车辆位姿转换关系进行插值，以求取到相邻两个图像时刻之间的车辆位姿转换关系。在本实施例中，利用车身信号求得摄像头图像流中，帧与帧之间转换矩阵，可使得测距的误差低于3％，不存在尺度缩放的问题。
例如，由当前图像时刻与前一车身信号的时间差值为33ms-20ms＝13ms，后一车身信号时刻与图像时间戳差值为40ms-33ms＝7ms，通过插值运算，求得初始时刻到第一帧图像时间戳时刻的车辆位姿转换关系为：
S125，从所述车位待检测图像数据中提取图像中所有物体的物体边缘点。
在本实施例中，所述S125具体包括：
S1251，根据图像采集设备的环视标定数据，对所述图像进行畸变校正，以形成底层图像；所述图像采集设备的环视标定数据包括图像采集设备的内参数据和外参数据(内参数据和外参数据为矩阵)。
所述内参数据用于去除图像中的鱼眼畸变和矫正图像偏心，包含了摄像头坐标系和图像之间的转换关系。
例如，摄像头坐标系可以定义为摄像头光轴方向为x轴正方向，与图像水平轴平行朝左为y轴正方向，与图像竖直轴平行超上为z轴正方向。在不考虑畸变情况下，内参矩阵
表示了焦距参数(200,200)和偏心参数(320,240)，单位为像素。摄像头坐标系中任意点坐标(Xc,Yc,Zc)，按照Zc归一化后，由K可以转换为图像坐标(x,y)：
所述外参数据用于将通过内参数据矫正后的图像投影至垂直于地面的平面上，形成所述底层图像，描述摄像头坐标系和车身坐标系之间的关系。
例如，车身坐标系定义为后轮中心为原点，车头方向为x轴正方向，左后轮方向为y轴正方向，正上方方向为z轴正方向。例如，外参矩阵
表示车身坐标系中的点(Xw,Yw,Zw)经过旋转R和t，可以转换为摄像头坐标系下的点(Xc,Yc,Zc)。
S1252，基于底层图像，构建图像金字塔，以便于后续图像处理。
具体地，本实施例所述图像金字塔分三层，其中底层图像最大，对底层图像中对应2*2方格的4个像素值插值得到第二层图像每个坐标位置的像素值，因此，第二层图像大小缩小为底层图像大小的(1/2)*(1/2)；以此递推，顶层图像再由第二层插值得到。
S1253，对所述图像金字塔中每一层图像进行像素遍历，计算像素点的梯度值。在本实施例中，可以采用Canny算子、Roberts算子、Sobel算子等方法计算像素的梯度值。
例如，采用Sobel算子计算像素的梯度值，Sobel算子在水平方向和垂直方向求图像梯度
和
再求梯度值G＝sqrt(Gx 2+Gy 2)。
S1254，将像素点的梯度值与预设梯度阈值进行比较，将梯度值大于所述预设梯度阈值的像素点定义为物体边缘点，并从所述图像金字塔的底层由低到高依次提取。其中，预设梯度阈值的设定可以是基于整幅图像灰度平均值统计的全局动态阈值，也可以是基于局部区域灰度平均值统计的局部动态阈值。
S126，于存在物体边缘点的相邻两帧车位待检测图像中，利用所述相邻两个图像时刻之间的车辆位姿转换关系，将物体边缘点转换为点云数据；所述点云数据用于还原物体于实际场景中的位置信息。
在本实施例中，所述S126包括：
S1261，于存在物体边缘点的相邻两帧车位待检测图像中，查找连接跟踪点；所述连接跟踪点为于存在物体边缘点的相邻两帧车位待检测图像中查找到的有效匹配点。
具体地，所述S1261包括：
首先，对前一图像时刻的车位待检测图像中物体边缘点进行特征描述。在本实施例中，特征描述是指点周边邻域方块的灰度值，也可以是梯度值大小和梯度方向，也可以是其他特征描述方法。
例如，对前一图像时刻的车位待检测图像中一像素点3×3邻域上的灰度值为
接着，于后一图像时刻的车位待检测图像的线段上遍历每一个像素点，并利用领域上的灰度值，计算前一图像时刻的车位待检测图像中一像素点与后一图像时刻的车位待检测图像的线段上遍历每一个像素点之间的差异值。
例如，后一图像时刻的车位待检测图像的线段上遍历的一像素点为
两像素点之间的差异值为对
相加，和等于38。
然后，查找线段上最小差异值对应的像素点。
最后，若所计算的差异值小于预设差异阈值时，则认为该物体边缘点为连接跟踪点。
S1262，将在前一图像时刻的车位待检测图像中连接跟踪点的点坐标与拍摄该车位待检测图像时图像采集设备于实际场景中的点坐标相连接，形成一直线；
S1263，利用所述相邻两个图像时刻之间的车辆位姿转换关系，将该直线投影至后一图像时刻的车位待检测图像中，形成投影直线；
S1264，将在后一图像时刻的车位待检测图像中连接跟踪点的点坐标与拍摄该车位待检测图像时图像采集设备于实际场景中的点坐标相连接，形成另一直线；
S1265，查找所述投影直线与所述另一直线的交点；所述交点为物体边缘点转换为的点云；
S127，对所述点云数据进行云聚类和拟合，形成车位的轮廓；其中，根据车位的轮廓可获知该轮廓于车位待检测图像中的顶点坐标。请参阅图4，显示为本发明形成的车位的轮廓的示例图。在本实施例中，通过S127形成的立体车位轮廓相对于摄像头的位置精度在3％以内。
在本实施例中，所述S127包括以下步骤：
S1271，在所有点云数据中，随机选取一点云，以该点云为中心，以预设半径阈值进行聚类。
具体地，基于密度的聚类点云，预先设定半径阈值为r，假设有n个点，A1，A2，...，An，初始化每个点的状态为0，表示该点没有被使用过。第一次从中选取A1，设定为第S0类，同时对A1的状态置为1，表示已使用。
S1272，循环聚类步骤，及循环S1271，待遍历完所有点云后，形成多组聚类点云。
具体地，遍历剩余的所有状态为0的点，例如Am，计算A1到Am的距离d_1m，若d_1m小于半径阈值r，则将Am归为和A1同一个类别S0类中，同时Am状态置为1；若d_1m大于半径阈值r，则认为Am和A1是不同类别，保留Am状态为0。依次分类所有点云，构成S0，S1，...，Sa类聚类点云，请参阅图5，显示为4组聚类点云示例图。如图5所示，每一个方框内的点云为一类。
S1273，于所述多组聚类点云中选取聚类的点云数据最多的三组聚类点云，将这三组聚类点云定义为待处理聚类点云；其中，三组聚类点云中一组聚类点云为最接近道路的聚类点云。
S1274，从待处理聚类点云中分别随机选取两个点云进行拟合直线,。
在实施例中，基于随机一致性检测的思想进行直线拟合。其中，随机一致性检测是指，拟合一条空间中的直线ax+by+cz+d＝0最少需要已知两个空间点(x0,y0,z0)，(x1,y1,z1)，因此对于点云聚类中的点云，每次随机提取两个点求出一条直线的方程，点云聚类中剩下的其他点用于对直线打分。
S1275，利用所述待处理聚类点云中剩余的点云对所拟合的直线进行评价，选取评价指标最小的直线定义为所述待处理聚类点云的拟合直线。
具体地，S1275包括计算剩余的点云与随机选取两个点云所拟合的直线之间的距离；计算的所有距离的平均值；将平均值作为直线的评价指标；选取评价指标最小的直线作为所述待处理聚类点云的拟合直线。在本实施例中，由于评价指标最小的直线为拟合效果最好的直线，因此，选取它作为聚类点云的拟合直线，参阅图6中点云1和点2之间的直线为评价指标最小的直线。
S1276，将被定义的拟合直线作为立体车位的两条侧向车位线及一条正向车位线，以形成立体车位的轮廓。
S1277，待形成立体车位的轮廓后，计算立体车位的侧向车位线/正向车位线与立体车位表平面的高度差。在本实施例中，通过计算立体车位的侧向车位线/正向车位线与立体车位表平面的高度差，可以准确地得到立体车位的位置信息，更有利于车辆控制泊车。所述S1277包括：
S12771，提取组成侧向车位线的点云的高度。
S12772，按照预设比例提取高度最高的点云，并计算最高的高度平均值，作为侧向车位线的线棱上沿的高度。在本实施例中，一条边上包含的点云数量大约在50-200个。
例如，提取高度最高的前10％的点云的Z坐标，根据前10％的点云的Z坐标，计算最高的高度平均值，以此作为车位线棱上沿的高度。
S12773，按照预设比例提取高度最低的点云，并计算最低的高度平均值，作为立体车位表平面的高度。
例如，提取高度高度最低的前10％点云的Z坐标，根据前10％的点云的Z坐标，计算最低高度的平均值，作为立体车位表平面的高度。
S12774，侧向车位线的线棱上沿的高度与立体车位表平面的高度相减，以获取立体车位的侧向车位线与立体车位表平面的高度差，即如图7中所示H1的值。
S12775，提取组成正向车位线的点云的高度。
S12776，按照预设比例提取高度最高的点云，并计算最高的高度平均值，作为正向车位线的与立体车位表平面的高度，即如图7所示H2的值。
S128，利用查找到的点云于车位的轮廓内进行检测，以判断出该车位轮廓的区域内是否存在障碍物；若是，则过滤掉存在障碍物的车位；若否，则表示该车位为可泊入车位。
例如，当车位的轮廓内出现类似于锥桶、行人、限位器、水马、自行车等物体时，生成对应的点云信息，通过点云信息判断出立体车位的区域内是否存在障碍物，从而过滤掉已占用的车位，获取可泊入车位。
在本实施例中，所述S12还可以利用三维稠密重建方式，于所述车位待检测图像数据中提取车位轮廓的点云数据，对所述点云数据进行云聚类和拟合，形成车位的轮廓来实现于所述车位待检测图像数据中提取车位轮廓的点云数据；或
所述S12还可以利用预存深度点云构建网络，于所述车位待检测图像数据中提取车位轮廓的点云数据，对所述点云数据进行云聚类和拟合，形成车位的轮廓来实现于所述车位待检测图像数据中提取车位轮廓的点云数据。
因此，在本实施例中，构建点云的方法不仅限于上述描述地方法，凡是可以构建点云数据的方法都适用于本发明。
S13，控制车辆泊入所述可泊入车位内。
在本实施例中，所述S13包括：
S131，在车辆进入泊车模式时，以当前时间的车辆位置建立局部坐标系，并且车辆在每个时间戳下的坐标都以该局部坐标系为基准。
S132，当检测到车辆的泊车路径与车辆的位置偏差查过预设偏差阈值时，重新于所述车位待检测图像数据中提取车位轮廓的点云数据，以车位的轮廓于车位待检测图像中的顶点坐标为基准，重新更新泊车路径。
在本实施例中S132中重新于所述车位待检测图像数据中提取车位轮廓的点云数据的方法同S12的方法相同，此处不再赘述。
S133，循环控制车辆，重新规划泊车路径，直到泊入或泊出目标车位，自动泊车功能结束。在本实施例中，防止一些车位难度较高，或者出现有占用物体等不可泊入的状态，设定泊车循环最大次数，当超过此数值时，泊车失败，终止泊车。
本实施例所述自动泊车方法具有以下有益效果：
第一，本实施例所述自动泊车方法将深度网络的检测能力，和三维点云重建的高精度能力相结合，可检测立体车位的精确位置信息。
第二.本实施例所述自动泊车方法利用四路鱼眼摄像头进行点云生成，可检测空间中更全的范围。同时点云可判断车位内是否有立体物占用，弥补深度学习判断车位占用需要预先设定目标类别的要求。
第三.本实施例所述自动泊车方法设计对计算力要求较小，可无障碍运行在嵌入式平台上。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的自动泊车方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
本实施例再提供一种自动泊车系统，包括：
数据获取模块，用于获取实时泊车环视图像数据；
检测模块，用于于所述泊车环视图像数据中提取待检测车位，并形成车位待检测图像数据；提取模块，用于于所述车位待检测图像数据中提取车位轮廓的点云数据，并判断该车位轮廓的区域内是否存在障碍物；若是，则过滤掉存在障碍物的车位；若否，则表示该车位为可泊入车位；
控制模块，用于控制车辆泊入所述可泊入车位内。
以下将结合图示对本实施例所提供的自动泊车系统进行详细描述。请参阅图8，显示为自动泊车系统于一实施例中的原理结构示意图。如图8所示，所述自动泊车系统8具体包括：数据获取模块81、检测模块52、提取模块83及控制模块84。
所述数据获取模块81用于获取实时泊车环视图像数据。
所述检测模块82用于于所述泊车环视图像数据中剔除已占用车位，形成车位待检测图像数据。
具体地，所述检测模块82利用预存目标检测模型于所述泊车环视图像数据中检测出包含车位的图像数据；利用预存分类模型，于所述包含车位的图像数据中识别出占位的车辆，以判断所述车位图像数据中车位是否为已占用车位，若是，则剔除已占用车位；若否，则形成车位待检测图像数据；其中，所述车位为立体车位。从车位待检测图像数据中标注出车位于图像中的四个顶点坐标；其中，四个顶点坐标连接而成的矩形为每帧图像中车位的最大外接矩形。
所述提取模块83用于于所述车位待检测图像数据中提取车位轮廓的点云数据，并判断该车位轮廓的区域内是否存在障碍物；若是，则过滤掉存在障碍物的车位；若否，则表示该车位为可泊入车位。
具体地，所述提取模块83用于在获取实时泊车环视图像数据的不同图像时刻下，同时获取不同图像时刻下的车身信号；对不同图像时刻下的车身信号进行运算，以计算出车身信号下不同图像时刻的车辆位姿转换关系；以当前图像时刻为基准，查找与所述当前图像时刻最接近的前一图像时刻的车辆位姿转换关系和后一图像时刻的车辆位姿转换关系；对前一图像时刻的车辆位姿转换关系和后一图像时刻的车辆位姿转换关系进行插值，以求取到相邻两个图像时刻之间的车辆位姿转换关系；从所述车位待检测图像数据中提取图像中所有物体的物体边缘点；于存在物体边缘点的相邻两帧车位待检测图像中，利用所述相邻两个图像时刻之间的车辆位姿转换关系，将物体边缘点转换为点云数据；所述点云数据用于还原物体于实际场景中的位置信息；对所述点云数据进行云聚类和拟合，形成车位的轮廓；其中，根据车位的轮廓可获知该轮廓于车位待检测图像中的顶点坐标；利用查找到的点云于车位的轮廓内进行检测，以判断出该车位轮廓的区域内是否存在障碍物。
其中，所述提取模块83通过于存在物体边缘点的相邻两帧车位待检测图像中，查找连接跟踪点；所述连接跟踪点为于存在物体边缘点的相邻两帧车位待检测图像中查找到的有效匹配点；将在前一图像时刻的车位待检测图像中连接跟踪点的点坐标与拍摄该车位待检测图像时图像采集设备于实际场景中的点坐标相连接，形成一直线；利用所述相邻两个图像时刻之间的车辆位姿转换关系，将该直线投影至后一图像时刻的车位待检测图像中，形成投影直线；
将在后一图像时刻的车位待检测图像中连接跟踪点的点坐标与拍摄该车位待检测图像时图像采集设备于实际场景中的点坐标相连接，形成另一直线；查找所述投影直线与所述另一直线的交点；所述交点为物体边缘点转换为的点云来实现将物体边缘点转换为点云数据。
所述提取模块83还可以通过利用三维稠密重建方式，于所述车位待检测图像数据中提取车位轮廓的点云数据，对所述点云数据进行云聚类和拟合，形成车位的轮廓；或利用预存深度点云构建网络，于所述车位待检测图像数据中提取车位轮廓的点云数据，对所述点云数据进行云聚类和拟合，形成车位的轮廓。
在本实施例中，所述提取模块83通过在所有点云数据中，随机选取一点云，以该点云为中心，以预设半径阈值进行聚类；循环聚类，待遍历完所有点云后，形成多组聚类点云；于所述多组聚类点云中选取聚类的点云数据最多的三组聚类点云，将这三组聚类点云定义为待处理聚类点云；其中，三组聚类点云中一组聚类点云为最接近道路的聚类点云；从待处理聚类点云中分别随机选取两个点云进行拟合直线；利用所述待处理聚类点云中剩余的点云对所拟合的直线进行评价，选取评价指标最小的直线定义为所述待处理聚类点云的拟合直线；将被定义的拟合直线作为立体车位的两条侧向车位线及一条正向车位线，实现对所述点云数据进行云聚类和拟合，以形成车位的轮廓。
所述提取模块83还用于待形成立体车位的轮廓后，计算立体车位的侧向车位线/正向车位线与立体车位表平面的高度差。
具体地，所述提取模块83通过提取组成侧向车位线的点云的高度；按照预设比例提取高度最高的点云，并计算最高的高度平均值，作为侧向车位线的线棱上沿的高度；按照预设比例提取高度最低的点云，并计算最低的高度平均值，作为立体车位表平面的高度；侧向车位线的线棱上沿的高度与立体车位表平面的高度相减，以获取立体车位的侧向车位线与立体车位表平面的高度差；提取组成正向车位线的点云的高度；按照预设比例提取高度最高的点云，并计算最高的高度平均值，作为正向车位线的与立体车位表平面的高度，即如图7所示H2的值来计算立体车位的侧向车位线/正向车位线与立体车位表平面的高度差。
所述控制模块84用于控制车辆泊入所述可泊入车位内。
在本实施例中，所述控制模块84在车辆进入泊车模式时，以当前时间的车辆位置建立局部坐标系，并且车辆在每个时间戳下的坐标都以该局部坐标系为基准。当检测到车辆的泊车路径与车辆的位置偏差查过预设偏差阈值时，重新于所述车位待检测图像数据中提取车位轮廓的点云数据，以车位的轮廓于车位待检测图像中的顶点坐标为基准，重新更新泊车路径。循环控制车辆，重新规划泊车路径，直到泊入或泊出目标车位，自动泊车功能结束。在本实施例中，防止一些车位难度较高，或者出现有占用物体等不可泊入的状态，设定泊车循环最大次数，当超过此数值时，泊车失败，终止泊车。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
实施例二
本实施例提供一种车机端，所述车机端包括：处理器、存储器、收发器、通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使车机端执行如上实施例一所述自动泊车方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明所述的自动泊车方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明还提供一种自动泊车系统，所述自动泊车系统可以实现本发明所述的自动泊车方法，但本发明所述的自动泊车方法的实现装置包括但不限于本实施例列举的自动泊车系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明所述自动泊车方法、系统、计算机可读存储介质及车机端具有以下有益效果：
第一，本发明将深度网络的检测能力，和三维点云重建的高精度能力相结合，可检测立体车位的精确位置信息。
第二.本发明利用四路鱼眼摄像头进行点云生成，可检测空间中更全的范围。同时点云可判断车位内是否有立体物占用，弥补深度学习判断车位占用需要预先设定目标类别的要求。
第三.本发明设计对计算力要求较小，可无障碍运行在嵌入式平台上。因此，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (12)
1.一种自动泊车方法，其特征在于，包括：
获取实时泊车环视图像数据，并于所述泊车环视图像数据中提取未占用车位，以形成车位待检测图像数据；
于所述车位待检测图像数据中提取车位轮廓的点云数据，并判断该车位轮廓的区域内是否存在障碍物；若是，则过滤掉存在障碍物的车位；若否，则表示该车位为可泊入车位；
控制车辆泊入所述可泊入车位内。
2.根据权利要求1所述的自动泊车方法，其特征在于，于所述泊车环视图像数据中提取未占用车位，并形成车位待检测图像数据的步骤包括：
利用预存目标检测模型于所述泊车环视图像数据中检测出包含车位的图像数据；
利用预存分类模型，于所述包含车位的图像数据中识别出占位的车辆，以判断所述车位图像数据中车位是否为已占用车位，若是，则剔除已占用车位；若否，则提取未占用车位；其中，所述未占用车位为立体车位。
3.根据权利要求1或2所述的自动泊车方法，其特征在于，于所述泊车环视图像数据中提取未占用，并形成车位待检测图像数据的步骤还包括：
从车位待检测图像数据中标注出立体车位于图像中的四个顶点坐标，以形成车位待检测图像数据；其中，车位待检测图像数据包括四个顶点坐标连接而成的矩形为每帧图像中车位的最大外接矩形。
4.根据权利要求1所述的自动泊车方法，其特征在于，于所述车位待检测图像数据中提取车位轮廓的点云数据的步骤包括：
于所述车位待检测图像数据中提取车位轮廓的点云数据，对所述点云数据进行云聚类和拟合，以形成立体车位的轮廓。
5.根据权利要求4所述的自动泊车方法，其特征在于，对所述点云数据进行云聚类和拟合，形成立体车位的轮廓的步骤包括：
在所有点云数据中，随机选取一点云，以该点云为中心，以预设半径阈值进行聚类；
循环聚类步骤，待遍历完所有点云后，形成多组聚类点云；
于所述多组聚类点云中选取聚类的点云数据最多的三组聚类点云，将这三组聚类点云定义为待处理聚类点云；其中，三组聚类点云中一组聚类点云为最接近道路的聚类点云；
从待处理聚类点云中分别随机选取两个点云进行拟合直线；
利用所述待处理聚类点云中剩余的点云对所拟合的直线进行评价，选取评价指标最小的直线定义为所述待处理聚类点云的拟合直线；
将被定义的拟合直线作为立体车位的两条侧向车位线及一条正向车位线，以形成车位的轮廓。
6.根据权利要求5所述的自动泊车方法，其特征在于，利用所述待处理聚类点云中剩余的点云对所拟合的直线进行评价，选取评价指标最小的直线定义为所述待处理聚类点云的拟合直线的步骤包括：
计算剩余的点云与随机选取两个点云所拟合的直线之间的距离；
计算的所有距离的平均值，将平均值作为直线的评价指标；
选取评价指标最小的直线作为所述待处理聚类点云的拟合直线。
7.根据权利要求4或5所述的自动泊车方法，其特征在于，判断该车位轮廓的区域内是否存在障碍物的步骤包括：
利用查找到的点云于立体车位的轮廓内进行检测，以判断出该车位轮廓的区域内是否存在障碍物。
8.根据权利要求5所述的自动泊车方法，其特征在于，待形成立体车位的轮廓后，所述自动泊车方法还包括计算立体车位的侧向车位线/正向车位线与立体车位表平面的高度差；
计算立体车位的侧向车位线/正向车位线与立体车位表平面的高度差的步骤包括：
提取组成侧向车位线的点云的高度；
按照预设比例提取高度最高的点云，并计算最高的高度平均值，作为侧向车位线的线棱上沿的高度；
按照预设比例提取高度最低的点云，并计算最低的高度平均值，作为立体车位表平面的高度；
侧向车位线的线棱上沿的高度与立体车位表平面的高度相减，以获取立体车位的侧向车位线与立体车位表平面的高度差；
提取组成正向车位线的点云的高度；
按照预设比例提取高度最高的点云，并计算最高的高度平均值，作为正向车位线的与立体车位表平面的高度。
9.根据权利要求4所述的自动泊车方法，其特征在于，控制车辆泊入所述可泊入车位内的步骤包括：
当检测到车辆的泊车路径与车辆的位置偏差查过预设偏差阈值时，重新于所述车位待检测图像数据中提取车位轮廓的点云数据，并以车位的轮廓于车位待检测图像中的顶点坐标为基准，重新更新泊车路径。
10.一种自动泊车系统，其特征在于，包括：
数据获取模块，用于获取实时泊车环视图像数据；
检测模块，用于于所述泊车环视图像数据中提取待检测车位，并形成车位待检测图像数据；提取模块，用于于所述车位待检测图像数据中提取车位轮廓的点云数据，并判断该车位轮廓的区域内是否存在障碍物；若是，则过滤掉存在障碍物的车位；若否，则表示该车位为可泊入车位；
控制模块，用于控制车辆泊入所述可泊入车位内。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至9中任一项所述自动泊车方法。
12.一种车机端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述车机端执行如权利要求1至9中任一项所述自动泊车方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111638211.4A CN114179788A (zh) | 2021-12-29 | 2021-12-29 | 自动泊车方法、系统、计算机可读存储介质及车机端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111638211.4A CN114179788A (zh) | 2021-12-29 | 2021-12-29 | 自动泊车方法、系统、计算机可读存储介质及车机端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114179788A true CN114179788A (zh) | 2022-03-15 |
Family
ID=80545182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111638211.4A Pending CN114179788A (zh) | 2021-12-29 | 2021-12-29 | 自动泊车方法、系统、计算机可读存储介质及车机端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114179788A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114648890A (zh) * | 2022-03-23 | 2022-06-21 | 深圳一清创新科技有限公司 | 一种停车位状态检测方法、装置及智能车 |
| CN114926817A (zh) * | 2022-05-20 | 2022-08-19 | 远峰科技股份有限公司 | 识别车位的方法、装置、电子设备和计算机可读存储介质 |
| CN115384518A (zh) * | 2022-10-28 | 2022-11-25 | 杭州枕石智能科技有限公司 | 基于超声波雷达的侧边车位定位方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107665603A (zh) * | 2017-09-06 | 2018-02-06 | 哈尔滨工程大学 | 一种判定车位占用的实时检测方法 |
| CN110379178A (zh) * | 2019-07-25 | 2019-10-25 | 电子科技大学 | 基于毫米波雷达成像的无人驾驶汽车智能泊车方法 |
| CN110766979A (zh) * | 2019-11-13 | 2020-02-07 | 奥特酷智能科技(南京)有限公司 | 一种用于自动驾驶车辆的泊车车位检测方法 |
| CN110949257A (zh) * | 2019-12-23 | 2020-04-03 | 深圳市豪恩汽车电子装备股份有限公司 | 机动车辅助泊车装置及方法 |
| CN112216136A (zh) * | 2020-09-15 | 2021-01-12 | 华人运通(上海)自动驾驶科技有限公司 | 泊车位检测方法、装置、车辆及存储介质 |
| CN113673288A (zh) * | 2020-05-15 | 2021-11-19 | 深圳市航盛电子股份有限公司 | 空闲车位检测方法、装置、计算机设备及存储介质 |
-
2021
- 2021-12-29 CN CN202111638211.4A patent/CN114179788A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107665603A (zh) * | 2017-09-06 | 2018-02-06 | 哈尔滨工程大学 | 一种判定车位占用的实时检测方法 |
| CN110379178A (zh) * | 2019-07-25 | 2019-10-25 | 电子科技大学 | 基于毫米波雷达成像的无人驾驶汽车智能泊车方法 |
| CN110766979A (zh) * | 2019-11-13 | 2020-02-07 | 奥特酷智能科技(南京)有限公司 | 一种用于自动驾驶车辆的泊车车位检测方法 |
| CN110949257A (zh) * | 2019-12-23 | 2020-04-03 | 深圳市豪恩汽车电子装备股份有限公司 | 机动车辅助泊车装置及方法 |
| CN113673288A (zh) * | 2020-05-15 | 2021-11-19 | 深圳市航盛电子股份有限公司 | 空闲车位检测方法、装置、计算机设备及存储介质 |
| CN112216136A (zh) * | 2020-09-15 | 2021-01-12 | 华人运通(上海)自动驾驶科技有限公司 | 泊车位检测方法、装置、车辆及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114648890A (zh) * | 2022-03-23 | 2022-06-21 | 深圳一清创新科技有限公司 | 一种停车位状态检测方法、装置及智能车 |
| CN114648890B (zh) * | 2022-03-23 | 2023-02-28 | 深圳一清创新科技有限公司 | 一种停车位状态检测方法、装置及智能车 |
| CN114926817A (zh) * | 2022-05-20 | 2022-08-19 | 远峰科技股份有限公司 | 识别车位的方法、装置、电子设备和计算机可读存储介质 |
| CN115384518A (zh) * | 2022-10-28 | 2022-11-25 | 杭州枕石智能科技有限公司 | 基于超声波雷达的侧边车位定位方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
| CN108319655B (zh) | 用于生成栅格地图的方法和装置 | |
| CN110148185B (zh) | 确定成像设备坐标系转换参数的方法、装置和电子设备 | |
| JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
| CN114179788A (zh) | 自动泊车方法、系统、计算机可读存储介质及车机端 | |
| CN104833370B (zh) | 用于映射、定位和位姿校正的系统和方法 | |
| US10909395B2 (en) | Object detection apparatus | |
| CN112836633A (zh) | 停车位检测方法以及停车位检测系统 | |
| CN110879994A (zh) | 基于形状注意力机制的三维目测检测方法、系统、装置 | |
| CN110119679B (zh) | 物体三维信息估计方法及装置、计算机设备、存储介质 | |
| CN112740225B (zh) | 一种路面要素确定方法及装置 | |
| CN112097732A (zh) | 一种基于双目相机的三维测距方法、系统、设备及可读存储介质 | |
| CN112883820B (zh) | 基于激光雷达点云的道路目标3d检测方法及系统 | |
| Muñoz-Bañón et al. | Targetless camera-LiDAR calibration in unstructured environments | |
| CN110853085B (zh) | 基于语义slam的建图方法和装置及电子设备 | |
| JP7343054B2 (ja) | 位置推定方法、位置推定装置、および位置推定プログラム | |
| CN111860072A (zh) | 泊车控制方法、装置、计算机设备及计算机可读存储介质 | |
| WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| US11842440B2 (en) | Landmark location reconstruction in autonomous machine applications | |
| CN112562000A (zh) | 基于特征点检测和误匹配筛选的机器人视觉定位方法 | |
| CN114792416A (zh) | 一种目标检测方法及装置 | |
| JP2018073275A (ja) | 画像認識装置 | |
| CN112405526A (zh) | 一种机器人的定位方法及装置、设备、存储介质 | |
| CN111259709B (zh) | 基于弹性多边形的停车位结构检测模型的训练方法 | |
| CN114648639B (zh) | 一种目标车辆的检测方法、系统及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |