CN113096437B - 自动停车方法、装置及车辆 - Google Patents
自动停车方法、装置及车辆 Download PDFInfo
- Publication number
- CN113096437B CN113096437B CN202110341231.9A CN202110341231A CN113096437B CN 113096437 B CN113096437 B CN 113096437B CN 202110341231 A CN202110341231 A CN 202110341231A CN 113096437 B CN113096437 B CN 113096437B
- Authority
- CN
- China
- Prior art keywords
- parking
- vehicle
- image
- determining
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims description 59
- 230000000007 visual effect Effects 0.000 claims description 57
- 238000010276 construction Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 9
- 239000003550 marker Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
- G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种自动停车方法、装置及车辆，其中方法包括：获取车辆周围环境的影像；若在所述影像中检测到停车标识，则基于所述停车标识在所述影像中的位置，确定所述停车标识相对于所述车辆的位置；基于所述停车标识相对于所述车辆的位置，确定所述车辆的停车车位；基于所述车辆的当前位置、当前姿态以及所述停车车位，控制所述车辆从当前位置驶入所述停车车位。本发明提供的方法、装置和车辆，实现了通过影像实现车辆在复杂环境下自动搜索车位并进行自动停车，无需借助车位矩形框的提示，提高了自动停车的效率和安全性。
Description
技术领域
本发明涉及工程机械技术领域，尤其涉及一种自动停车方法、装置及车辆。
背景技术
搅拌车是一种用于运输混凝土的作业机械，在运输过程中需要保持车上的搅拌筒不停地转动，以免混凝土凝固。搅拌车驶入施工区域后，需要停泊到指定位置。一般而言，施工区域环境恶劣，人车混杂，搅拌车泊入时盲区大，很容易造成安全事故。
现有的搅拌车停车完全依靠人工完成。驾驶员在停车时注意力需要高度集中，遇到特别复杂的停车情形，驾驶员还需要中途下车察看周边情况后才能继续停车。此外，搅拌车的施工泊位一般不带车位矩形标识，基于车位矩形标识的自动停车方法无法适用。
发明内容
本发明提供一种自动停车方法、装置及车辆，用以解决现有技术中施工作业场景中车辆无法自动停车的技术问题。
本发明提供一种自动停车方法，包括：
获取车辆周围环境的影像；
若在所述影像中检测到停车标识，则基于所述停车标识在所述影像中的位置，确定所述停车标识相对于所述车辆的位置；
基于所述停车标识相对于所述车辆的位置，确定所述车辆的停车车位；
基于所述车辆的当前位置、当前姿态以及所述停车车位，控制所述车辆从当前位置驶入所述停车车位。
根据本发明提供的一种自动停车方法，所述基于所述停车标识相对于所述车辆的位置，确定所述车辆的停车车位，包括：
基于所述停车标识相对于所述车辆的位置，以及停车区域的大小，确定所述影像中所述停车标识处的检测范围；
若在所述影像中所述停车标识处的检测范围内未检测到停车车辆，则基于所述停车标识相对于所述车辆的位置，确定所述车辆的停车车位；
若在所述影像中所述停车标识处的检测范围内检测到停车车辆，则基于所述停车车辆的位置，确定所述车辆的停车车位。
根据本发明提供的一种自动停车方法，所述若在所述影像中所述停车标识处的检测范围内检测到停车车辆，则基于所述停车车辆的位置，确定所述车辆的停车车位，包括：
若在所述影像中所述停车标识处的检测范围内检测到一辆停车车辆，则基于所述停车车辆的位置，对所述停车车辆两侧的空间位置进行障碍物检测；
若所述停车车辆的任一侧的空间位置未检测到障碍物，则将所述任一侧的空间位置作为所述车辆的停车车位。
根据本发明提供的一种自动停车方法，所述若在所述影像中所述停车标识处的检测范围内检测到停车车辆，则基于所述停车车辆的位置，确定所述车辆的停车车位，包括：
若在所述影像中所述停车标识处的检测范围内检测到多辆停车车辆，则基于每一停车车辆的位置以及所述车辆的尺寸，确定所述多辆停车车辆之间的空隙位置的尺寸；
若存在大于所述车辆的尺寸的空隙位置，则将所述空隙位置作为所述车辆的停车车位。
根据本发明提供的一种自动停车方法，所述基于所述车辆的当前位置、当前姿态以及所述停车车位，控制所述车辆从当前位置驶入所述停车车位，包括：
基于所述车辆的当前位置、当前姿态以及所述停车车位，确定所述车辆的停车可通行轨迹；
基于所述车辆的停车可通行轨迹，确定所述车辆在任一轨迹点的停车速度和停车方向；
基于所述车辆在每一轨迹点的停车速度和停车方向，控制所述车辆从当前位置驶入所述停车车位。
根据本发明提供的一种自动停车方法，所述基于所述车辆在每一轨迹点的停车速度和停车方向，控制所述车辆从当前位置驶入所述停车车位，包括：
获取所述车辆在停车可通行轨迹上的实时影像；
若在所述实时影像中检测到障碍物，则基于所述障碍物的类型，确定所述障碍物对所述车辆的停车可通行轨迹是否存在影响；
若是，则控制所述车辆停止驶入所述停车车位；若否，则控制所述车辆从当前位置驶入所述停车车位。
根据本发明提供的一种自动停车方法，所述获取车辆周围环境的影像，包括：
对所述车辆周围环境的多个不同视角的视觉影像进行拼接后，确定所述影像；
其中，所述视觉影像是分别基于设置在所述车辆车身周围的多个摄像头获取的。
根据本发明提供的一种自动停车方法，所述对所述车辆周围环境的多个不同视角的视觉影像进行拼接后，确定所述影像，之前包括：
获取与所述视觉影像在同一视角下的三维点云；
基于所述三维点云，对所述视觉影像进行校正；
其中，所述三维点云是基于激光雷达获取的。
本发明提供一种自动停车装置，包括：
影像获取单元，用于获取车辆周围环境的影像；
标识检测单元，用于若在所述影像中检测到停车标识，则基于所述停车标识在所述影像中的位置，确定所述停车标识相对于所述车辆的位置；
车位确定单元，用于基于所述停车标识相对于所述车辆的位置，确定所述车辆的停车车位；
停车控制单元，用于基于所述车辆的当前位置、当前姿态以及所述停车车位，控制所述车辆从当前位置驶入所述停车车位。
本发明还提供一种车辆，包括上述的自动停车装置。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述自动停车方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述自动停车方法的步骤。
本发明实施例提供的自动停车方法、装置及车辆，通过获取车辆周围环境的影像，对影像中的停车标识以及停车标识处的停车车辆进行检测，确定车辆的停车车位，结合车辆的当前位置和当前姿态，进行自动停车，实现了通过影像实现车辆在复杂环境下自动搜索车位并进行自动停车，无需借助车位矩形框的提示，提高了自动停车的效率和安全性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的自动停车方法的流程示意图；
图2为本发明提供的搅拌车自动停车方法的流程示意图；
图3为本发明提供的自动停车装置的结构示意图；
图4为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
作业机械为进行工程作业的各类工程机械。搅拌车，是一种用来运送建筑用的混凝土的作业机械。在运输过程中会始终保持搅拌筒转动，以保证所运载的混凝土不会凝固。运送完混凝土后，通常都会用水冲洗搅拌筒内部，防止残余混凝土硬化占用空间，使搅拌筒的容积越来越少。搅拌车运输完混凝土后，需要按照作业要求，停泊到指定位置。现有的搅拌车的停车都是依靠人工完成的，需要驾驶员中途下车察看周边情况后才能继续停车，安全性差。
图1为本发明提供的自动停车方法的流程示意图，如图1所示，该方法包括：
步骤110，获取车辆周围环境的影像。
具体地，车辆可以为搅拌车、起重机、推土机和挖掘机等作业机械中的一种。作业机械的周围环境为施工作业环境。
影像可以为车辆周围360度的全景影像。可以在车辆的四周设置多个摄像头，对车辆周围的各个不同方向进行影像采集，对采集到的影像进行拼接处理后，可以得到影像。例如，可以在车辆的四周分别设置4个摄像头，分别对车辆的前方、后方、左方和右方分别采集影像，进行拼接后得到影像。又例如，可以在车辆的顶部设置一个360度旋转摄像头，通过摄像头的旋转采集得到该车辆的影像。
步骤120，若在影像中检测到停车标识，则基于停车标识在影像中的位置，确定停车标识相对于车辆的位置。
具体地，停车标识可以为用于指示车辆进行停车的标识物。例如，可以为带有易于识别的图形或者字母符号的标识牌。
对停车标识的检测，可以由驾驶员通过控制系统进行手动触发，也可以通过设定车速自动触发。例如，对于搅拌车，在完成运输混凝土任务后，当车速低于10千米每小时，搅拌车的控制系统可以自动触发停车标识检测程序，在采集到的影像中进行停车标识的检测。
在车辆的控制器中，可以预先存储用于检测停车标识的图像检测算法。例如，可以采集大量的停车标识图像，以神经网络模型为初始模型进行训练后得到停车标识检测模型，将停车标识检测模型预先存储在车辆的控制器中，当启动停车标识检测时，控制器直接调用停车标识检测模型对采集到的影像中的每一帧进行检测，确定该影像中是否存在停车标识。
停车标识在影像中的位置可以用停车标识在影像中的像素坐标来表示。例如，可以在影像中建立像素坐标系，确定每一像素点的像素坐标。通过影像中停车标识的像素坐标，以及影像中像素与现实世界中物体之间的几何对应关系，确定现实世界中停车标识的位置。
根据停车标识的位置，以及车辆的位置，可以得到停车标识相对于车辆的位置。例如，可以建立以车辆为原点的相对坐标系，根据停车标识的位置以及车辆的位置，确定停车标识在该相对坐标系中的坐标，从而根据坐标计算得到停车标识相对于车辆的位置。
此处，影像中像素与现实世界中物体之间的几何对应关系可以通过摄像头标定得到。例如，可以预先确定现实世界中已知物体的多个特征点，通过车辆上的摄像头采集包含已知物体的影像，根据已知物体的每一特征点在影像中的像素坐标，以及已知物体的每一特征点在大地坐标系中的空间坐标，计算得到影像所在的像素坐标系与大地坐标系之间的坐标转换关系，从而得到影像中像素与现实世界中物体之间的几何对应关系。又例如，可以在车辆上的摄像头的拍摄视野中设置目标框，预先标定目标框在现实世界中对应的尺寸，换算得到摄像头拍摄得到的影像中每一像素对应的现实物体的尺寸。
步骤130，基于停车标识相对于车辆的位置，确定车辆的停车车位。
具体地，施工区域通常是封闭式的场景，其内部又可以划分为作业区域、生活区域、办公区域和停车区域等，并且这些区域的位置和大小也经常随着施工作业的开展进行动态调整。停车区域通常是不固定的，没有固定的停车车位，也不会用车位矩形框进行提示。通常用停车标识指示大概的停车区域，各个车辆按照一定的顺序自动停放。
根据停车标识相对于车辆的位置，可以确定该车辆的停车区域。为了进行自动停车，还需要在停车区域内进一步搜索停车车位。由于没有固定的停车车位以及用于提示停车车位的车位矩形框，车辆的停车车位可以根据停车标识或者停车标识处的已经停放的停车车辆进行确定。例如，若停车标识处无停车车辆，则车辆可以在停车标识附近随机确定停车车位，靠近停车标识停放；若停车标识处存在停车车辆，则车辆可以根据停车车辆的停车位置，确定用于自身停车的停车车位。
停车标识处是否存在停车车辆，可以通过对影像中停车标识周围进行车辆检测，根据车辆检测结果进行确定。例如，在车辆的控制器中，可以预先存储用于检测车辆的图像检测算法。可以采集大量的车辆图像，以神经网络模型为初始模型进行训练后得到车辆识别模型，将车辆识别模型预先存储在车辆的控制器中，控制器在检测到影像中存在停车标识后，调用车辆识别模型对影像中停车标识周围进行检测，确定停车标识处是否存在停车车辆以及停车车辆的数量。
步骤140，基于车辆的当前位置、当前姿态以及停车车位，控制车辆从当前位置驶入停车车位。
具体地，根据停车车位，可以确定车辆最终停放的停放位置和停放姿态。根据停放位置和停放姿态，以及车辆的当前位置和当前姿态，可以确定停车轨迹。根据停车轨迹可以控制车辆从当前位置驶入停车车位。
此处，车辆的当前位置可以根据车辆上设置的定位设备进行获取。例如，可以在车辆上安装GPS(Global Positioning System，全球定位系统)和IMU(Inertial MeasurementUnit，惯性测量单元)，对车辆的当前位置进行确定。
本发明实施例提供的自动停车方法，通过获取车辆周围环境的影像，对影像中的停车标识以及停车标识处的停车车辆进行检测，确定车辆的停车车位，结合车辆的当前位置和当前姿态，进行自动停车，实现了通过影像实现车辆在复杂环境下自动搜索车位并进行自动停车，无需借助车位矩形框的提示，提高了自动停车的效率和安全性。
基于上述实施例，步骤130包括：
基于停车标识相对于车辆的位置，以及停车区域的大小，确定影像中停车标识处的检测范围；
若在影像中停车标识处的检测范围内未检测到停车车辆，则基于停车标识相对于车辆的位置，确定车辆的停车车位；
若在影像中停车标识处的检测范围内检测到停车车辆，则基于停车车辆的位置，确定车辆的停车车位。
具体地，检测范围的大小可以根据施工现场实际规定的停车区域的大小进行设定。例如，检测范围可以为以停车标识为圆心的圆形区域，也可以为以停车标识为顶点的矩形区域。
若在影像中停车标识处的检测范围内未检测到停车车辆，则表明停车标识处不存在其余停车车辆。此时，车辆的停车车位可以根据停车标识的位置进行确定。例如，可以将距离停车标识的位置在10米以内的任意位置作为停车车位。
若在影像中停车标识处的检测范围内检测到停车车辆，则可以根据检测到的停车车辆的位置，确定车辆的停车车位。
基于上述任一实施例，若在影像中停车标识处的检测范围内检测到停车车辆，则基于停车车辆的位置，确定车辆的停车车位，包括：
若在影像中停车标识处的检测范围内检测到一辆停车车辆，则基于停车车辆的位置，对停车车辆两侧的空间位置进行障碍物检测；
若停车车辆的任一侧的空间位置未检测到障碍物，则将任一侧的空间位置作为车辆的停车车位。
具体地，若在影像中停车标识处的检测范围内检测到一辆停车车辆，则可以将车辆靠近停车车辆进行停放，此时，可以根据停车车辆的位置确定该车辆的停车车位。
例如，可以在影像中对停车车辆的两侧的空间位置附近进行障碍物检测，若影像中该停车车辆的左侧不存在障碍物，则可以将停车车辆左侧的位置作为停车车位；若影像中该停车车辆的右侧不存在障碍物，则可以将停车车辆右侧的位置作为停车车位。
基于上述任一实施例，若在影像中停车标识处的检测范围内检测到停车车辆，则基于停车车辆的位置，确定车辆的停车车位，包括：
若在影像中停车标识处的检测范围内检测到多辆停车车辆，则基于每一停车车辆的位置以及车辆的尺寸，确定多辆停车车辆之间的空隙位置的尺寸；
若存在大于车辆的尺寸的空隙位置，则将空隙位置作为车辆的停车车位。
具体地，若在影像中停车标识处的检测范围内检测到多辆停车车辆，则可以将车辆停放在多辆停车车辆之间的空隙位置。空隙位置可以根据每一停车车辆的位置进行确定。
若多辆停车车辆之间的任一空隙位置的尺寸大于车辆的尺寸，则多辆停车车辆之间存在停车车位，该空隙位置即可作为该车辆的停车车位。若多辆停车车辆之间的任一空隙位置的尺寸小于车辆的尺寸，则该空隙位置无法作为该车辆的停车车位。此时，车辆对多辆停车车辆之间的其他空隙位置进行搜索。
若多辆停车车辆之间的间隙位置均小于车辆的尺寸，则多辆停车车辆之间不存在车辆的停车车位。此时，车辆可以根据多辆停车车辆中两侧停车车辆的位置，确定停车车位。
基于上述任一实施例，步骤140包括：
基于车辆的当前位置、当前姿态以及停车车位，确定车辆的停车可通行轨迹；
基于车辆的停车可通行轨迹，确定车辆在任一轨迹点的停车速度和停车方向；
基于车辆在每一轨迹点的停车速度和停车方向，控制车辆从当前位置驶入停车车位。
具体地，根据停车车位，可以确定车辆最终停放的停放位置和停放姿态。根据停放位置和停放姿态，以及车辆的当前位置和当前姿态，可以确定停车可通行轨迹。停车可通行轨迹用于控制车辆进行安全停车。根据停车可通行轨迹可以控制车辆进行停车。
确定停车可通行轨迹后，可以根据停车可通行轨迹的走向，确定车辆在每一停车可通行轨迹点处的停车方向，可以根据停车可通行轨迹的曲率，确定车辆在每一停车可通行轨迹点处的停车速度。根据车辆在每一停车可通行轨迹点处的停车方向和停车速度，控制车辆进行自动停车，即从当前位置驶入停车车位。
基于上述任一实施例，基于车辆的停车速度和停车方向，控制车辆从当前位置驶入停车车位，包括：
获取车辆在停车可通行轨迹上的实时影像；
若在实时影像中检测到障碍物，则基于障碍物的类型，确定障碍物对车辆的停车可通行轨迹是否存在影响；
若是，则控制车辆停止驶入停车车位；若否，则控制车辆从当前位置驶入停车车位。
具体地，在车辆从当前位置驶入停车车位的过程中，可以持续获取车辆在停车可通行轨迹上的实时影像，对实时影像进行障碍物检测，若检测到障碍物，则可以对障碍物进行识别后，判断障碍物的类型。障碍物的类型可以为人、动物、机械设备、土堆、石块等。障碍物识别的算法可以采用现有的目标检测算法。例如，YOLO(You Only Look Once)算法等。
若障碍物为人、动物或者机械设备，则障碍物对车辆的停车可通行轨迹存在影响，应当立即停车；若障碍物为土堆或者石块，则障碍物对车辆的停车可通行轨迹不存在影响，可以继续停车。
例如，车辆从当前位置采用倒车的方式驶入停车车位，则对车辆在停车可通行轨迹上的实时影像进行检测，若在实时影像中检测到人、车辆或者物体，则立即停止驶入停车车位，并根据车辆在当前位置的影像，重新确定停车车位。
基于上述任一实施例，步骤110包括：
对车辆周围环境的多个不同视角的视觉影像进行拼接后，确定影像；
其中，视觉影像是分别基于设置在车辆车身周围的多个摄像头获取的。
具体地，可以在车辆的车身四周安装四个摄像头，分别从前后左右四个视角获取能够包含车辆周围环境的前后左右等四个视角的视觉影像。其中，获取前视觉影像的摄像头可以设置在车辆的车头，获取后视觉影像的摄像头可以设置在车辆的车尾，获取左视觉影像的摄像头可以设置在车辆的左后视镜处，获取右视觉影像的摄像头可以设置在车辆的右后视镜处。
获取四个视角的视觉影像后，可以对各个影像进行预处理。预处理包括降噪、裁剪和畸变校正中的至少一种。
对预处理后的各个影像进行拼接后，可以得到影像。
基于上述任一实施例，摄像头为鱼眼摄像头。
具体地，鱼眼摄像机可以独立实现大范围无死角监控。例如，可以在车身的前后左右安装4个鱼眼摄像头，对各个鱼眼摄像头拍摄的影像结合等距投影模型和三角多项式等标定方法，实现从鱼眼摄像机到等效理想相机模型的高精度标定，从而保证了从鱼眼影像到相应影像的准确转换。
基于上述任一实施例，对车辆周围环境的多个不同视角的视觉影像进行拼接后，确定影像，之前包括：
获取与视觉影像在同一视角下的三维点云；
将三维点云投影到视觉影像所在的图像平面中，对视觉影像进行校正；
其中，三维点云是基于激光雷达获取的。
具体地，可以在车辆上按照多个固定视角的激光雷达，通过对车身周围环境进行扫描，得到三维点云。激光雷达的视角与采集视觉影像的摄像头的视角保持相同。
可以同步获取同一视角下，车辆周围环境的视觉影像和三维点云。可以借助三维点云对视觉影像进行校正，以改善摄像头的镜头畸变现象。可以将三维点云投影到视觉影像所在的图像平面，得到投影图。根据同一事物在投影图中的形状特征，对视觉影像进行校正。例如，车辆周围环境中存在一辆卡车，鱼眼镜头得到的视觉影像会产生严重的形状畸变，此时，可以根据卡车在三维点云投影得到的投影图中的形状，以及该卡车在视觉影像中的形状，计算得到视觉影像的畸变系数，进而确定对视觉影像进行校正。
基于上述任一实施例，图2为本发明提供的搅拌车自动停车方法的流程示意图，应用于在封闭施工场景中的搅拌车。在搅拌车上前后左右安装4个鱼眼摄像头、1个GPS+IMU定位设备、1个控制器、1个ARM芯片、一个中控屏幕。其中4个摄像头主要用于360度全景环视拼接、目标检测以及目标与目标间、目标与车辆间的距离测量。GPS+IMU用于车辆定位，ARM芯片主要用于深度学习算法推理，路径规划运算。控制器用于控制车辆避开障碍物自动停车，软件以及显示屏进行功能显示。
如图2所示，该方法包括：
步骤一、车位标记
在施工区域标记一个可停车区域，标注可为一个停车位标志或者其他明显的标记；
步骤二、标记搜索
搅拌车完成作业任务后，车辆行驶在封闭区域中且车速低于10km/h时触发车位搜索功能，搅拌车搜索到有车位标记的地方且在车控屏显示车位；
步骤三、自动停车：
搅拌车获取车位位置，并根据车身与车位的定位位置规划停车行驶路线。搜索车位标记处是否有车辆、当没有车辆条件下，利用车身的四个摄像头计算车身与车位标记处的距离，在垂直停车过程中，后视摄像头识别车位底端障碍物，比如行人、自行车、摩托车以及柱状物。
在有一台车辆条件下，利用摄像头标记算法计算当前车辆与检测车辆距离，在垂直停车过程中，后视摄像头识别车位底端障碍物，比如行人、自行车、摩托车以及柱状物。
当有多辆车辆且车辆之间有足够空隙实现停车条件下，搅拌车利用摄像头目标检测计算车位大小，在垂直停车过程中，后视摄像头识别车位底端障碍物，比如行人、自行车、摩托车以及柱状物，当发现障碍物无法停车情况下，退出停车位重新寻找车位。
本发明实施例提供的搅拌车自动停车方法，4个摄像头弥补超声波雷达检测距离短的曲线、车身360度环视能够无死角障碍物感知，能够在无车辆、单辆车以及多辆车缝隙处寻找车位并实现车位深处障碍物检测并自动停车。基于视觉算法实现目标识别和距离计算，弥补超声波检测距离近的缺陷，实现在搅拌车在复杂环境下自动停车功能，降低安全事故的风险。该方案算法复杂，但实现成本低。
基于上述任一实施例，图3为本发明提供的自动停车装置的结构示意图，如图3所示，该装置包括：
影像获取单元310，用于获取车辆周围环境的影像；
标识检测单元320，用于若在影像中检测到停车标识，则基于停车标识在影像中的位置，确定停车标识相对于车辆的位置；
车位确定单元330，用于基于停车标识相对于车辆的位置，确定车辆的停车车位；
停车控制单元340，用于基于车辆的当前位置、当前姿态以及停车车位，进行停车。
本发明实施例提供的自动停车装置，通过获取车辆周围环境的影像，对影像中的停车标识以及停车标识处的停车车辆进行检测，确定车辆的停车车位，结合车辆的当前位置和当前姿态，进行自动停车，实现了通过影像实现车辆在复杂环境下自动搜索车位并进行自动停车，无需借助车位矩形框的提示，提高了自动停车的效率和安全性。
基于上述任一实施例，车位确定单元330包括：
检测范围确定子单元，用于基于停车标识相对于车辆的位置，以及停车区域的大小，确定影像中停车标识处的检测范围；
第一车位确定子单元，用于若在影像中停车标识处的检测范围内未检测到停车车辆，则基于停车标识相对于车辆的位置，确定车辆的停车车位；
第二车位确定子单元，用于若在影像中停车标识处的检测范围内检测到停车车辆，则基于停车车辆的位置，确定车辆的停车车位。
基于上述任一实施例，第一车位确定子单元用于：
若在影像中停车标识处的检测范围内检测到一辆停车车辆，则基于停车车辆的位置，对停车车辆两侧的空间位置进行障碍物检测；
若停车车辆的任一侧的空间位置未检测到障碍物，则将任一侧的空间位置作为车辆的停车车位。
基于上述任一实施例，第二车位确定子单元用于：
若在影像中停车标识处的检测范围内检测到多辆停车车辆，则基于每一停车车辆的位置以及车辆的尺寸，确定多辆停车车辆之间的空隙位置的尺寸；
若存在大于车辆的尺寸的空隙位置，则将空隙位置作为车辆的停车车位。
基于上述任一实施例，停车控制单元340包括：
轨迹确定子单元，用于基于车辆的当前位置、当前姿态以及停车车位，确定车辆的停车可通行轨迹；
速度方向确定子单元，用于基于车辆的停车可通行轨迹，确定车辆在任一停车可通行轨迹点的停车速度和停车方向；
停车控制子单元，用于基于车辆在每一停车可通行轨迹点的停车速度和停车方向，控制车辆从当前位置驶入停车车位。
基于上述任一实施例，停车控制子单元用于：
获取车辆在停车可通行轨迹上的实时影像；
若在实时影像中检测到障碍物，则基于障碍物的类型，确定障碍物对车辆的停车可通行轨迹是否存在影响；
若是，则控制车辆停止驶入停车车位；若否，则控制车辆从当前位置驶入停车车位。
基于上述任一实施例，影像获取单元310用于：
对车辆周围环境的多个不同视角的视觉影像进行拼接后，确定影像；
其中，视觉影像是分别基于设置在车辆车身周围的多个摄像头获取的。
基于上述任一实施例，影像获取单元310还用于：
获取与视觉影像在同一视角下的三维点云；
将三维点云投影到视觉影像所在的图像平面中，对视觉影像进行校正；
其中，三维点云是基于激光雷达获取的。
基于上述任一实施例，本发明提供一种车辆，包括上述的自动停车装置。
具体地，车辆可以为搅拌车、起重机、推土机和挖掘机等作业机械中的一种，也可以为乘用车或者商用车等。
基于上述任一实施例，图4为本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(Processor)410、通信接口(Communications Interface)420、存储器(Memory)430和通信总线(Communications Bus)440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑命令，以执行如下方法：
获取车辆周围环境的影像；若在影像中检测到停车标识，则基于停车标识在影像中的位置，确定停车标识相对于车辆的位置；基于停车标识相对于车辆的位置，确定车辆的停车车位；基于车辆的当前位置、当前姿态以及停车车位，控制车辆从当前位置驶入停车车位。
此外，上述的存储器430中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令，实现上述方法，其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：
获取车辆周围环境的影像；若在影像中检测到停车标识，则基于停车标识在影像中的位置，确定停车标识相对于车辆的位置；基于停车标识相对于车辆的位置，确定车辆的停车车位；基于车辆的当前位置、当前姿态以及停车车位，控制车辆从当前位置驶入停车车位。
本发明实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述方法，其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种自动停车方法，其特征在于，包括：
获取车辆周围环境的影像；
若在所述影像中检测到停车标识，则基于所述停车标识在所述影像中的位置，确定所述停车标识相对于所述车辆的位置；
基于所述停车标识相对于所述车辆的位置，确定所述车辆的停车车位；
基于所述车辆的当前位置、当前姿态以及所述停车车位，控制所述车辆从当前位置驶入所述停车车位；
所述获取车辆周围环境的影像，包括：
对所述车辆周围环境的多个不同视角的视觉影像进行拼接后，确定所述影像；
其中，所述视觉影像是分别基于设置在所述车辆车身周围的多个摄像头获取的；
所述对所述车辆周围环境的多个不同视角的视觉影像进行拼接后，确定所述影像，之前包括：
获取与所述视觉影像在同一视角下的三维点云；
将所述三维点云投影到所述视觉影像所在的图像平面中，对所述视觉影像进行校正；
其中，所述三维点云是基于激光雷达获取的；
所述基于所述停车标识相对于所述车辆的位置，确定所述车辆的停车车位，包括：
基于所述停车标识相对于所述车辆的位置，以及停车区域的大小，确定所述影像中所述停车标识处的检测范围；
若在所述影像中所述停车标识处的检测范围内未检测到停车车辆，则基于所述停车标识相对于所述车辆的位置，确定所述车辆的停车车位；
若在所述影像中所述停车标识处的检测范围内检测到停车车辆，则基于所述停车车辆的位置，确定所述车辆的停车车位。
2.根据权利要求1所述的自动停车方法，其特征在于，所述若在所述影像中所述停车标识处的检测范围内检测到停车车辆，则基于所述停车车辆的位置，确定所述车辆的停车车位，包括：
若在所述影像中所述停车标识处的检测范围内检测到一辆停车车辆，则基于所述停车车辆的位置，对所述停车车辆两侧的空间位置进行障碍物检测；
若所述停车车辆的任一侧的空间位置未检测到障碍物，则将所述任一侧的空间位置作为所述车辆的停车车位。
3.根据权利要求1所述的自动停车方法，其特征在于，所述若在所述影像中所述停车标识处的检测范围内检测到停车车辆，则基于所述停车车辆的位置，确定所述车辆的停车车位，包括：
若在所述影像中所述停车标识处的检测范围内检测到多辆停车车辆，则基于每一停车车辆的位置以及所述车辆的尺寸，确定所述多辆停车车辆之间的空隙位置的尺寸；
若存在大于所述车辆的尺寸的空隙位置，则将所述空隙位置作为所述车辆的停车车位。
4.根据权利要求1所述的自动停车方法，其特征在于，所述基于所述车辆的当前位置、当前姿态以及所述停车车位，控制所述车辆从当前位置驶入所述停车车位，包括：
基于所述车辆的当前位置、当前姿态以及所述停车车位，确定所述车辆的停车可通行轨迹；
基于所述车辆的停车可通行轨迹，确定所述车辆在任一停车可通行轨迹点的停车速度和停车方向；
基于所述车辆在每一停车可通行轨迹点的停车速度和停车方向，控制所述车辆从当前位置驶入所述停车车位。
5.根据权利要求4所述的自动停车方法，其特征在于，所述基于所述车辆在每一停车可通行轨迹点的停车速度和停车方向，控制所述车辆从当前位置驶入所述停车车位，包括：
获取所述车辆在停车可通行轨迹上的实时影像；
若在所述实时影像中检测到障碍物，则基于所述障碍物的类型，确定所述障碍物对所述车辆的停车可通行轨迹是否存在影响；
若是，则控制所述车辆停止驶入所述停车车位；若否，则控制所述车辆从当前位置驶入所述停车车位。
6.一种自动停车装置，其特征在于，包括：
影像获取单元，用于获取车辆周围环境的影像；
标识检测单元，用于若在所述影像中检测到停车标识，则基于所述停车标识在所述影像中的位置，确定所述停车标识相对于所述车辆的位置；
车位确定单元，用于基于所述停车标识相对于所述车辆的位置，确定所述车辆的停车车位；
停车控制单元，用于基于所述车辆的当前位置、当前姿态以及所述停车车位，控制所述车辆从当前位置驶入所述停车车位；
所述影像获取单元用于：
对所述车辆周围环境的多个不同视角的视觉影像进行拼接后，确定所述影像；
其中，所述视觉影像是分别基于设置在所述车辆车身周围的多个摄像头获取的；
所述影像获取单元还用于：
获取与所述视觉影像在同一视角下的三维点云；
将所述三维点云投影到所述视觉影像所在的图像平面中，对所述视觉影像进行校正；
其中，所述三维点云是基于激光雷达获取的；
所述车位确定单元包括：
检测范围确定子单元，用于基于所述停车标识相对于所述车辆的位置，以及停车区域的大小，确定所述影像中所述停车标识处的检测范围；
第一车位确定子单元，用于若在所述影像中所述停车标识处的检测范围内未检测到停车车辆，则基于所述停车标识相对于所述车辆的位置，确定所述车辆的停车车位；
第二车位确定子单元，用于若在所述影像中所述停车标识处的检测范围内检测到停车车辆，则基于所述停车车辆的位置，确定所述车辆的停车车位。
7.一种车辆，其特征在于，所述车辆包括如权利要求6所述的自动停车装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110341231.9A CN113096437B (zh) | 2021-03-30 | 2021-03-30 | 自动停车方法、装置及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110341231.9A CN113096437B (zh) | 2021-03-30 | 2021-03-30 | 自动停车方法、装置及车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113096437A CN113096437A (zh) | 2021-07-09 |
| CN113096437B true CN113096437B (zh) | 2022-12-02 |
Family
ID=76670951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110341231.9A Active CN113096437B (zh) | 2021-03-30 | 2021-03-30 | 自动停车方法、装置及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113096437B (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198223B (zh) * | 2018-01-29 | 2020-04-07 | 清华大学 | 一种激光点云与视觉图像映射关系快速精确标定方法 |
| CN109693666B (zh) * | 2019-02-02 | 2021-03-05 | 中国第一汽车股份有限公司 | 一种用于泊车的人机交互系统及泊车方法 |
| CN109949372B (zh) * | 2019-03-18 | 2021-12-10 | 北京智行者科技有限公司 | 一种激光雷达与视觉联合标定方法 |
| CN111619552A (zh) * | 2020-05-26 | 2020-09-04 | 三一专用汽车有限责任公司 | 适于施工区域的工程车辆自主泊车系统和自主泊车方法 |
-
2021
- 2021-03-30 CN CN202110341231.9A patent/CN113096437B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113096437A (zh) | 2021-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7073315B2 (ja) | 乗物、乗物測位システム、及び乗物測位方法 | |
| US10073462B2 (en) | Autonomous vehicle with improved visual detection ability | |
| US10147323B2 (en) | Driver assistance system with path clearance determination | |
| CN111247575B (zh) | 车辆驾驶辅助系统、方法及计算机可读取的存储介质 | |
| CN106462727B (zh) | 车辆、车道终止检测系统和方法 | |
| CN110126820A (zh) | 自动泊车系统、泊车方法及车辆 | |
| US20180099663A1 (en) | Vehicle with environmental context analysis | |
| US8050460B2 (en) | Method for recognition of an object | |
| CN111028534B (zh) | 一种泊车位检测方法及装置 | |
| JP2001195699A (ja) | 車両用周辺監視装置及び、車両用衝突危険判断処理プログラムを記録した記録媒体 | |
| JP2008250503A (ja) | 運転支援装置 | |
| CN108202669A (zh) | 基于车车通信的不良天气视觉增强行车辅助系统及其方法 | |
| JP2009211624A (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
| JP2016057677A (ja) | 走行支援制御装置 | |
| CN109739243B (zh) | 一种车辆定位方法、自动驾驶控制方法及相关系统 | |
| JP2008222153A (ja) | 合流支援装置 | |
| CN110491156A (zh) | 一种感知方法、装置及系统 | |
| CN107798306A (zh) | 一种智能驾驶和远程可视化智能定损系统及方法 | |
| CN112406855A (zh) | 自动泊车方法、装置、车辆及存储介质 | |
| CN112172793A (zh) | 泊车路径规划方法、装置、车辆及存储介质 | |
| JP2005202787A (ja) | 車両用表示装置 | |
| CN113096437B (zh) | 自动停车方法、装置及车辆 | |
| CN112215214A (zh) | 调整智能车载终端的摄像头偏移的方法及系统 | |
| CN112224197B (zh) | 倒车检测泊车位的方法、装置、车辆及存储介质 | |
| US20220171063A1 (en) | Target detection apparatus and vehicle having the same mounted thereon |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Gong Liuqing Inventor before: Gong Liuqing Inventor before: Chang Xu |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |