CN117068145B - 泊车方法、泊车装置、计算设备和存储介质 - Google Patents
泊车方法、泊车装置、计算设备和存储介质 Download PDFInfo
- Publication number
- CN117068145B CN117068145B CN202311337956.6A CN202311337956A CN117068145B CN 117068145 B CN117068145 B CN 117068145B CN 202311337956 A CN202311337956 A CN 202311337956A CN 117068145 B CN117068145 B CN 117068145B
- Authority
- CN
- China
- Prior art keywords
- parking space
- information
- current frame
- deep learning
- parking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 197
- 238000013135 deep learning Methods 0.000 claims description 114
- 230000011218 segmentation Effects 0.000 claims description 57
- 238000013136 deep learning model Methods 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 18
- 238000009825 accumulation Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 9
- 238000000926 separation method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及自动泊车技术领域,公开了一种泊车方法、泊车装置、计算设备和存储介质。泊车方法包括基于航迹推算,确定待泊车位的当前帧推算车位信息;基于待泊车位的全景图像,确定待泊车位的当前帧检测车位信息;以及基于当前帧推算车位信息和当前帧检测车位信息,确定继续进行航迹推算使用的下一帧基础车位信息,以进行泊车。籍此,实现了缓解了因航迹推算导致误差累积而使得车辆不能居中停靠甚至车轮压线的情况,使得车辆尽量居中停靠。
Description
技术领域
本发明涉及自动泊车技术领域,具体地,涉及一种泊车方法、泊车装置、计算设备和存储介质。
背景技术
随着融合泊车、记忆泊车等越来越多的车位识别和自动泊车技术得到很大的提高,越来越多的厂商更加愿意使用和青睐自动泊车技术产品。当用户选择任意一个检测到的待泊车位时,如何保证本车辆能够居中停靠在所选中的待泊车位内变得越来越重要,直接影响自动泊车产品的性能和质量。
对于自动泊车,现有技术中通常根据以下内容进行处理。选择一个待泊车位,使用被选择的待泊车位进行航迹推算来跟踪其与车辆的相对位置,规划路径进行泊车。待泊车位与车辆的相对位置的更新始终是使用航迹推算来做的,这个可能会导致更新的车位位置与实际场景的车位位置有误差,最终泊车完成后,车辆不能居中停靠待泊车位中,甚至出现车轮压线的情况。尤其是在车辆在狭小空间泊车或者是路面不平滑(有限速带等)情况下,车辆调整步数过多,航迹推算得到的车位与实际场景车位出入更多,车辆更加不能居中停靠。
发明内容
本发明实施例的目的是提供一种泊车方法、泊车装置、计算设备和存储介质。
第一方面,本发明实施例提供一种泊车方法,该泊车方法包括:基于航迹推算,确定待泊车位的当前帧推算车位信息;基于待泊车位的全景图像,确定待泊车位的当前帧检测车位信息;以及基于当前帧推算车位信息和当前帧检测车位信息,确定继续进行航迹推算使用的下一帧基础车位信息,以进行泊车。
可选地,基于当前帧推算车位信息和当前帧检测车位信息确定继续进行航迹推算使用的下一帧基础车位信息包括:基于当前帧推算车位信息和当前帧检测车位信息,确定当前帧推算车位和当前帧检测车位的重合程度,其中,当前帧推算车位对应于当前帧推算车位信息,当前帧检测车位对应于当前帧检测车位信息;以及基于所确定的重合程度,确定下一帧基础车位信息。
可选地,基于所确定的重合程度确定下一帧基础车位信息包括:在所确定的重合程度未超过预设重合条件的情况下,将当前帧推算车位信息确定为下一帧基础车位信息;以及在所确定的重合程度超过预设重合条件的情况下,将当前帧检测车位信息确定为下一帧基础车位信息。
可选地,重合程度基于交并比而被确定。
可选地,当前帧推算车位信息、当前帧检测车位信息和下一帧基础车位信息包括车位角点的坐标信息。
可选地,基于待泊车位的全景图像确定待泊车位的当前帧检测车位信息包括:基于预设深度学习模型对全景图像进行检测,确定当前帧检测车位信息。
可选地,在当前帧检测车位信息包括车位角点的坐标信息的情况下,预设深度学习模型包括深度学习车位实例分割模型和/或深度学习车位角点检测模型。
可选地,在预设深度学习模型包括深度学习车位实例分割模型和深度学习车位角点检测模型的情况下,基于预设深度学习模型对全景图像进行检测确定当前帧检测车位信息包括:若仅深度学习车位实例分割模型能够基于全景图像检测到待泊车位,则将第一当前帧检测车位信息确定为当前帧检测车位信息,其中,第一当前帧检测车位信息基于深度学习车位实例分割模型对全景图像进行检测而被确定;和/或若仅深度学习车位角点检测模型能够基于全景图像检测到待泊车位,则将第二当前帧检测车位信息确定为当前帧检测车位信息,其中,第二当前帧检测车位信息基于深度学习车位角点检测模型对全景图像进行检测而被确定;和/或若深度学习车位实例分割模型和深度学习车位角点检测模型均能够基于全景图像检测到待泊车位,则基于第一当前帧检测车位和第二当前帧检测车位分别与当前帧推算车位的重合程度,确定当前帧检测车位信息,其中,第一当前帧检测车位对应于第一当前帧检测车位信息,第二当前帧检测车位对应于第二当前帧检测车位信息,当前帧推算车位对应于当前帧推算车位信息。
可选地,在基于深度学习车位实例分割模型仅能得到三条车位线信息和基于深度学习车位角点检测模型仅能得到两组坐标信息或三组坐标信息的情况下,基于预设深度学习模型对全景图像进行检测确定当前帧检测车位信息包括:在预设深度学习模型仅包括深度学习车位实例分割模型的情况下,基于三条车位线信息和待泊车位的长度或宽度及角度,确定出第一四组坐标信息,将第一四组坐标信息确定为当前帧检测车位信息;在预设深度学习模型仅包括深度学习车位角点检测模型的情况下,基于两组坐标信息或三组坐标信息和待泊车位的长度或宽度及角度,确定出第二四组坐标信息,将第二四组坐标信息确定为当前帧检测车位信息;以及在预设深度学习模型包括深度学习车位实例分割模型和深度学习车位角点检测模型的情况下,基于三条车位线信息和待泊车位的长度或宽度及角度,确定出第一四组坐标信息;基于两组坐标信息或三组坐标信息和待泊车位的长度或宽度及角度,确定出第二四组坐标信息;以及基于第一四组坐标信息和第二四组坐标信息,确定当前帧检测车位信息。
第二方面,本发明实施例还提供一种泊车装置,该泊车装置包括:推算模块,用于基于航迹推算,确定待泊车位的当前帧推算车位信息;检测模块,用于基于待泊车位的全景图像,确定待泊车位的当前帧检测车位信息;以及下一帧基础车位信息确定模块,用于基于当前帧推算车位信息和当前帧检测车位信息,确定继续进行航迹推算使用的下一帧基础车位信息,以进行泊车。
第三方面,本发明实施例还提供一种计算设备,该计算设备包括:处理器和存储器;其中,存储器与处理器连接,存储器用于存储计算机程序;处理器,用于通过运行存储器中存储的计算机程序,实现上述的泊车方法。
第四方面,本发明实施例还提供一种存储介质,所述存储介质上存储有计算机程序,计算机程序被处理器运行时,实现上述的泊车方法。
通过上述技术方案,基于根据航迹推算得到的当前帧推算车位信息和根据待泊车位的全景图像得到的当前帧检测车位信息,确定出下一帧进行航迹推算使用的下一帧基础车位信息,从而进行泊车,如此,在泊车的过程中不仅仅基于航迹推算更新待泊车位与车辆的相对位置,考虑到了从视觉角度获取到的全景图像,使得对待泊车位与车辆的相对位置的更新更加贴合实际,缓解了因航迹推算导致误差累积而使得车辆不能居中停靠甚至车轮压线的情况,使得车辆尽量居中停靠。
本发明的其他特征和优点将在随后的具体实施方式予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。
图1是本发明一实施例提供的泊车方法的流程图。
图2a是平行车位的车位分隔线和车位进口线的示意图。
图2b是垂直车位的车位分隔线和车位进口线的示意图。
图3是本发明另一实施例提供的求解待泊车位的两个车位角点的坐标的示意图。
图4是本发明另一实施例提供的泊车方法的逻辑示意图。
图5是本发明另一实施例提供的泊车装置的结构框图。
图6是本发明另一实施例提供的计算设备的结构示意图。
附图标记说明
500、泊车装置;501、推算模块;502下一帧基础车位信息确定模块;503、检测模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在进行泊车时,泊车居中停靠是驾驶员比较倾向的情况。其中,泊车居中停靠是指车辆能够自动停到视觉车位(非空间车位,包括但不限于线车位、砖石车位、杂草车位等)的框的中间位置。
此外,车位框线并不一定是严格意义上的车位线,也可以是砖石、车位角等组成实际场景车位。为了方便,下文统一把这些场景都称为车位框线。对于垂直车位和斜列车位,泊车完成后,计算车辆四个车轮与左右侧实际车位框线距离。若最大距离偏差值小于10cm、车身位姿和实际车位框保持平行且车身位姿和实际车位框线角度最大偏差值小于1度,并且车头完全进入车位框线内。对于平行车位,泊车完成后,计算车辆四个车轮与车头前侧和车尾后侧到实际车位框线距离。若最大距离偏差值小于10cm、车身位姿和实际车位框保持平行且车身位姿和实际车位框线角度最大偏差值小于1度,并且车身完全进入车位框线内。
第一方面,本发明实施例提供一种泊车方法。
图1是本发明一实施例提供的泊车方法的流程图。
在步骤S10中,基于航迹推算,确定待泊车位的当前帧推算车位信息。其中,当前帧推算车位信息为基于航迹推算得到的当前帧的车位信息。当前帧进行航迹推算使用的基础车位信息是上一帧推算车位信息。需要说明的是,在初始进行航迹推算时第一帧基础车位信息为在选定待泊车位后根据针对待泊车位预先存储的信息得到的。此外,针对任一帧,基础车位信息为该帧进行航迹推算的基础;基础车位信息,结合基于航迹推算得到的该帧与上一帧之间的针对待泊车位的偏差,得到该帧的推算车位信息。可选地,在本发明实施例中,当前帧推算车位信息可以是任何能够基于航迹推算进行泊车的信息,例如,可以包括车位四个车位角点的坐标信息。
在步骤S11中,基于待泊车位的全景图像,确定待泊车位的当前帧检测车位信息。通过对待泊车位的全景图像进行检测,确定检测车位信息,即,当前帧检测车位信息。当前帧检测车位信息为基于全景图像确定的当前帧的车位信息。可选地,可以是使用预设深度学习模型对全景图像进行检测,得到当前帧检测车位信息。可选地,在本发明实施例中,可以是通过提取全景图像的特征点以及对特征点进行聚类得到当前帧检测车位信息。另外,可以是在车辆前后左右四个方向安装摄像头,采集针对待泊车位的视频数据,合成得到全景图像。使用预设深度学习模型对全景图像进行检测,仅输入全景图像即可,简单且易操作;并且预设深度学习模型经过训练,对全景图像检测的准确率更高。
在步骤S12中,基于当前帧推算车位信息和当前帧检测车位信息,确定继续进行航迹推算使用的下一帧基础车位信息,以进行泊车。具体地,可以是从当前帧推算车位信息和当前帧检测车位信息中选择一者作为继续进行航迹推算使用的下一帧基础车位信息。可选地,还可以是将当前帧推算车位信息和当前帧检测车位信息进行结合,例如,基于运算法则进行结合,确定出继续进行航迹推算使用的下一帧基础车位信息。需要说明的是,在泊车成功之前,可以是重复执行步骤S10至步骤S12,直到泊车完成。
通过上述技术方案,基于根据航迹推算得到的当前帧推算车位信息和根据待泊车位的全景图像得到的当前帧检测车位信息,确定出下一帧进行航迹推算使用的下一帧基础车位信息,从而进行泊车,如此,在泊车的过程中不仅仅基于航迹推算更新待泊车位与车辆的相对位置,考虑到了从视觉角度获取到的全景图像,使得对待泊车位与车辆的相对位置的更新更加贴合实际,缓解了因航迹推算导致误差累积而使得车辆不能居中停靠甚至车轮压线的情况,使得车辆尽量居中停靠。
可选地,在本发明实施例中,基于当前帧推算车位信息和当前帧检测车位信息确定继续进行航迹推算使用的下一帧基础车位信息可以包括以下内容。基于当前帧推算车位信息和当前帧检测车位信息,确定当前帧推算车位和当前帧检测车位的重合程度,其中,当前帧推算车位对应于当前帧推算车位信息,当前帧检测车位对应于当前帧检测车位信息。也就是,当前帧推算车位为基于当前帧推算车位信息确定的车位;当前帧检测车位为基于当前帧检测车位信息确定的车位。可选地,在本发明实施例中,体现当前帧推算车位和当前帧检测车位的重合程度的方式有很多。例如,可以是使用两个车位分别对应的车位分隔线和车位进口线之间的距离来体现重合程度。再例如,可以是使用两个车位对应的车位角点之间的距离来体现重合程度。再例如,可以是使用两个车位的交并比来体现重合程度,重合程度基于交并比而被确定。基于所确定的重合程度,确定下一帧基础车位信息。重合程度能够比较直接且准确的体现出当前针推算车位信息和当前帧检测车位信息之间的关系,能够更加直接且准确的确定出下一帧基础车信息,提高泊车的成功率。
可选地,在本发明实施例中,基于所确定的重合程度确定下一帧基础车位信息可以包括以下内容。在所确定的重合程度未超过预设重合条件的情况下,将当前帧推算车位信息确定为下一帧基础车位信息;在所确定的重合程度超过预设重合条件的情况下,将当前帧检测车位信息确定为下一帧基础车位信息。
具体地,预设重合条件可以是基于体现重合程度的参数来设定。例如,若使用交并比来体现重合程度,则预设条件可以是交并比阈值。在超过交并比阈值的情况下,将当前帧检测车位信息确定为下一帧基础车位信息;在未超过交并比阈值的情况下,将当前帧推算车位信息确定为下一帧基础车位信息。使用交并比来体现重合程度更加直接且简单的确定出重合程度。
具体地,可以根据以下内容来计算交并比。根据当前帧推算车位信息和当前帧检测车位信息计算出当前帧推算车位和当前帧检测车位的重叠面积S0,即交集面积I。然后分别根据当前帧推算车位信息和当前帧检测车位信息计算出当前帧推算车位的面积S1和当前帧检测车位的面积S2。当前帧推算车位和当前帧检测车位并集的面积U = S1+S2-S0,当前帧检测车位与当前帧推算车位的交并比计算公式为IOU = I / U。
再例如,若使用两个车位分别对应的车位分隔线和车位进口线之间的距离来体现重合程度,则预设重合条件可以是距离阈值。在未超过距离阈值的情况下,将当前帧检测车位信息确定为下一帧基础车位信息;在超过距离阈值的情况下,将当前帧推算车位信息确定为下一帧基础车位信息。
再例如,若使用两个车位对应的车位角点之间的距离来体现重合程度,则预设重合条件也可以是距离阈值,具体内容可以参照上述关于距离阈值的描述。
可选地,在本发明实施例中,当前帧推算车位信息、当前帧检测车位信息和下一帧基础车位信息包括车位角点的坐标信息。当前帧推算车位信息、当前帧检测车位信息和下一帧基础车位信息中的每一者均包括四组坐标信息,对应的四个车位角点。使用车位角点的坐标信息来体现车位信息能够比较直接且准确地限定出车位的范围,方便计算。
可选地,在本发明实施例中,在基于预设深度学习模型对全景图像进行检测确定当前帧检测车位信息的情况下,预设深度学习模型可以包括任何能够通过对全景图像进行检测而得到车位信息的神经网络模型。具体地,在当前帧检测车位信息包括车位角点的坐标信息的情况下,预设深度学习模型可以包括深度学习车位实例分割模型和/或深度学习车位角点检测模型。深度学习车位实例分割模型是用于分割车位线的深度学习网络;深度学习车位角点检测模型是用于车位角点检测的深度学习网络。基于深度学习车位实例分割模型对全景图像进行检测,得到车位的车位线;基于深度学习车位角点检测模型对全景图像进行检测,得到车位角点的坐标信息。对于车位来说,车位线和车位角点是比较直观的特征。因此,使用深度学习车位实例分割模型和/或深度学习车位角点检测模型对全景图像进行检测,得到的信息能够比较直接的体现出车位,提高泊车的成功率。
可选地,深度学习车位实例分割模型可以基于卷积神经网络而被构建。深度学习车位实例分割模型包括Bias层、Convolution层+BatchNorm层+Relu层的组合模块、pooling层、Deconvolution层、Eltwise层。深度学习车位实例分割模型先通过卷积下采样对输入的全景图像的每一个像素进行学习,然后通过反卷积输出与输入的原图等大小的全景分割结果图。深度学习车位实例分割模型是对输入的全景图像的每一个像素进行分类,0代表非车位线,即背景,1代表车位线,即分割的目标。
可选地,在本发明实施例中,深度学习车位角点检测模型可以基于卷积神经网络而被构建。深度学习车位角点检测模型包括卷积层,BN层、激活函数ReLU以及Pooling层。深度学习车位角点检测模型是基于SSD模型构建的,并对深度学习车位角点检测模型进行数据转化,把浮点型按照整型8位来计算,从而提高计算效率和速度,达到实时的效果。深度学习车位角点检测模型用于学习车位角点的特征,输出包含检测出的车位角点的目标框以及该目标框的类型和置信度,目标框通过目标框在原图中的左上角坐标和右下角坐标进行表示,会输出检测得到的车位角点目标框的置信度,深度学习车位角点检测模型输出的置信度是检测的车位角点目标框可信度。
可选地,在本发明实施例中,在预设深度学习模型仅包括深度学习车位实例分割模型的情况下,可以基于以下内容确定当前帧检测车位信息。
若能基于深度学习车位实例分割模型得到四条车位线信息,则通过回归定位得到四条车位线信息分别对应的四条直线的信息。通过计算四条直线中的相交直线的交点的坐标信息,能够得到四个交点的坐标信息,从而确定出四个车位角点的坐标信息,从而确定出当前帧检测车位信息。
若基于深度学习车位实例分割模型仅能得到三条车位线信息,则结合待泊车位的长度或宽度及角度,来确定出四个车位角点的坐标信息。其中,针对待泊车位,长度为车位分隔线的长度,宽度为车位进口线的长度,角度为车位分隔线和车位进口线的夹角。可以参照图2a和图2b来理解车位分隔线和车位进口线,车位进口线对应待泊车位中车辆进入车位的一侧。需要说明的是,在车位中,需要车位进口线相对的一侧的线的长度与车位进口线的长度相同。
具体地,基于三条车位线信息,通过回归定位得到三条车位线分别对应的三条直线的信息。计算出三条直线中的相交直线的交点的坐标信息,能够确定出两个交点的坐标信息,即能够确定出两个车位角点的坐标。基于确定出的两个交点的坐标信息和三条直线的信息,结合待泊车位的长度或宽度及角度,确定出另外两个车位角点的坐标信息,从而得到四个车位角点的坐标信息。
可选地,在本发明实施例中,在预设深度学习模型仅包括深度学习车位角点检测模型的情况下,可以基于以下内容确定当前帧检测车位信息。
若能基于深度学习车位角点检测模型得到四个车位角点的坐标信息,则可以直接确定出当前帧检测车位信息。若基于深度学习车位角点检测模型仅能得到两组坐标信息或者三组坐标信息,则结合待泊车位的长度或宽度及角度,来确定剩余车位角点的坐标信息,从而得到四个车位角点的坐标信息。具体地,结合待泊车位的长度或宽度及角度来确定出剩余车位角点的坐标信息。
可选地,在本发明实施例中,在预设深度学习模型包括深度学习车位实例分割模型和深度学习车位角点检测模型的情况下,基于预设深度学习模型对全景图像进行检测确定当前帧检测车位信息可以包括以下内容。
若仅深度学习车位实例分割模型能够基于全景图像检测到待泊车位,则将第一当前帧检测车位信息确定为当前帧检测车位信息,其中,第一当前帧检测车位信息基于深度学习车位实例分割模型对全景图像进行检测而被确定;和/或,若仅深度学习车位角点检测模型能够基于全景图像检测到待泊车位,则将第二当前帧检测车位信息确定为当前帧检测车位信息,其中,第二当前帧检测车位信息基于深度学习车位角点检测模型对全景图像进行检测而被确定;和/或,若深度学习车位实例分割模型和深度学习车位角点检测模型均能够基于全景图像检测到待泊车位,则基于第一当前帧检测车位和第二当前帧检测车位分别与当前帧推算车位的重合程度,确定当前帧检测车位信息,其中,第一当前帧检测车位对应于第一当前帧检测车位信息,第二当前帧检测车位对应于第二当前帧检测车位信息,当前帧推算车位对应于当前帧推算车位信息。第一和第二分别对应于两种不同深度学习检测方法,第一对应于深度学习车位实例分割模型,第二对应于深度学习车位角点检测模型,为了区别,用第一和第二来代替表述。针对重合程度的计算,可以参照上述实施例中的介绍。若第一当前帧检测车位与当前帧推算车位的重合程度较高,则将第一当前帧检测车位信息确定为当前帧检测车位信息;若第二当前帧检测车位与当前帧推算车位的重合程度较高,则将第二当前帧检测车位信息确定为当前帧检测车位信息;若第一当前帧检测车位与当前帧推算车位的重合程度和第二当前帧检测车位与当前帧推算车位的重合程度相同,则随机从第一当前帧检测车位信息和第二当前帧检测车位信息中选择一者,确定为当前帧检测车位信息。
在使用深度学习车位实例分割模型和深度学习车位角点检测模型两者对全景图像进行检测时,可以在其中一者出现状况的情况下使用另外一者进行弥补,也可以在两者均能够进行检测的情况下使用更加准确的检查车位信息进行泊车,使得本发明实施例提供的泊车方法更加可靠。
可选地,在本发明实施例中,在基于深度学习车位实例分割模型仅能得到三条车位线信息和基于深度学习车位角点检测模型仅能得到两组坐标信息或三组坐标信息的情况下,基于预设深度学习模型对全景图像进行检测确定当前帧检测车位信息可以包括以下内容。
在预设深度学习模型仅包括深度学习车位实例分割模型的情况下,基于三条车位线信息和待泊车位的长度或宽度及角度,确定出第一四组坐标信息,将第一四组坐标信息确定为当前帧检测车位信息。这里描述的待泊车位的长度、宽度及角度根据以下内容而得到。当前用户选择某一个车位作为待泊车位后,获取到信号传送过来的所选车位的车位坐标信息,通过这个车位坐标信息计算出该待泊车位的长度、宽度及角度值。
在预设深度学习模型仅包括深度学习车位角点检测模型的情况下,基于两组坐标信息或三组坐标信息和待泊车位的长度或宽度及角度,确定出第二四组坐标信息,将第二四组坐标信息确定为当前帧检测车位信息。
在预设深度学习模型包括深度学习车位实例分割模型和深度学习车位角点检测模型的情况下,基于三条车位线信息和待泊车位的长度或宽度及角度,确定出第一四组坐标信息;基于两组坐标信息或所述三组坐标信息和待泊车位的长度或宽度及角度,确定出第二四组坐标信息;以及基于第一四组坐标信息和第二四组坐标信息,确定当前帧检测车位信息。在本发明实施例中,如何基于第一四组坐标信息和第二四组坐标信息确定出当前检测车位信息,可以有很多种方式,例如可以根据第一车位和第二车位分别与当前帧推算车位的重合程度来确定当前帧检测车位信息。其中,第一车位对应于第一四组坐标信息,第二车位对应于第二四组坐标信息,当前帧推算车位对应于当前帧推算车位信息。如何根据重合程度确定出当前帧检测车位信息可以参照上述实施例中所述的内容。
在基于深度学习车位实例分割模型不能得到四个车位角点的坐标信息或者在基于深度学习车位角点检测模型不能得到四个车位角点的坐标信息的情况下,基于待泊车位的长度或宽度及角度确定四个车位角点的坐标信息可以对检测情况进行弥补,保障能够继续使用对全景图像进行检测得到的车位信息进行泊车,提高了本发明实施例提供的技术方案的可靠性。
结合图3,对如何基于已知的两个车位角点的坐标信息求解出剩余两个车位角点的坐标信息进行示例性说明。在任何状况下,只要能确定出两个车位角点的坐标,均可以参照下述内容确定出剩余两个车位角点的坐标信息。
待泊车辆在某一时刻的姿态如图3所示。以车辆中心为坐标轴中心点O,待泊车位的四个车位角点的坐标分别为P1、P2、P3以及P4。在已知进口线的两个车位角点P1(x1, y1)和P2(x2, y2)的情况下,求解另外两个车位角点P3(x3,y3)和P4(x4, y4)的坐标。其中,直线方程采用x= ky +b。其中,k是斜率,b是截距。
记录的待泊车位的角度为∠P2P1P3或者∠P1P2P4,其中,待泊车位的角度小于或等于90度。
假设保存的角为∠P1P2P4,重命名记录的待泊车位的角度为a0。进口线P1P2此刻的角度值为a1,即为∠OP2P1,则此刻车位分隔线P1P3的角度为a2,车位分割线P2P4的角度为a3,a2 = a3 = a0 + a1; 斜率k1 = k2 = tan(a2)。则b1和b2的值分别为,/>。
那么分隔线P1P3和P2P4直线方程分别为:,/>。
假设记录的车位长度为L,根据三角函数可知sin(a2) = sin(Π-a2)。
若泊入的为右侧车位,,/>。
若泊入的为左侧车位,,/>。
则y3 = (x3 – b1) / k1, y4 = (x4 – b2) / k2。最终得到完整的四个车位角点的坐标值。
需要说明书的是上述计算示例是在已知进口线上的两个车位角点的坐标的情况下计算另外两个车位角点的坐标,使用到的是车位的长度,若已知分隔线上的两个车位角点的坐标则需要使用车位的宽度,也就是将上述计算示例中使用车位的长度的地方替换为使用车位的宽度。
此外,基于深度学习车位实例分割模型若能够分割得到四条车位线信息或者基于深度学习车位角点检测模型若能够检测到四个车位角点信息,则很容易直接计算出车位完整四个角点信息,后续将不再单独介绍此种情况。
图4是本发明另一实施例提供的泊车方法的逻辑示意图。其中,在该实施例中,当前帧推算车位信息、当前帧检测车位信息和下一帧基础车位信息包括车位角点的坐标信息。
在步骤S40中,确定待泊车位的第一帧车位信息。其中,第一帧车位信息包括待泊车位的长度、宽度、角度和第一帧基础车位角点坐标集。例如,可以是垂直车位的角度为89度及斜列车位的角度为50度。第一帧基础车位角点坐标集为车辆基于航迹推算初始泊车时的基础,是车位角点的坐标的集合。初始进行泊车时,当前帧即为第一帧;第一帧基础坐标车位角点坐标集即为当前帧基础车位角点坐标集。
在本发明实施例中,可以根据以下内容确定出第一帧车位信息,具体包括两种方式。
第一种方式对应于预先存储数据时可以在全景中检测到完整的四个车位角点的坐标信息,包括以下内容。具体地,从接收到的所有待泊车位中选择一待泊车位作为泊车对象,从预先存储的数据中获取到该被选择的待泊车位对应的四个车位角点坐标、车位的方向和车位类型等信息,获取到的四个车位角点坐标即为第一帧基础车位角点坐标集。根据获取到的四个车位角点坐标计算出车位的长度、宽度和角度。如此,确定出第一帧车位信息。
第二种方式对应于预先存储数据时不能在全景中检测到完整的四个角点车位坐标信息。具体地,从接收到的所有待泊车位中选择一待泊车位作为泊车对象,从预先存储的数据中获取到该被选择的待泊车位对应的车位角点坐标(至少包括进口线上到两个车位角点的坐标)、车位的方向和车位类型及默认的长度和宽度等信息。此时得到的是默认的车位长度和宽度,而不是实际场景的车位长度和宽度。其中,垂直车位和斜列车位默认的车位长度为550cm,平行车位默认的长度为220cm;垂直车位和斜列车位的默认宽度是250cm,平行车位的默认的宽度是550cm。在得到的是默认的长度和宽度的情况下,利用深度学习车位实例分割模型得到至少一条分隔线。利用上述实施例中提供的计算示例得到另外两个车位角点的坐标。进而得到角度,其中,该角度为分隔线和进口线的角度差值,具体地,可以利用直线的斜率进行计算。如此,得到第一帧车位信息。
此外,针对预先存储的不是四个车位角点的坐标的情况,当在泊车过程中能够根据深度学习车位角点检测模型检测到四个车位角点的坐标时,可以根据检测到的四个车位角点的坐标计算出待泊车位的实际的长度和宽度及角度,使用实际的长度和宽度及角度替换第一帧车位信息中记录的长度、宽度和角度,用于后续的计算。
在步骤S41中,基于航迹推算确定当前帧推算车位角点坐标集。当前帧推算车位角点坐标集为基于航迹推算得到的针对当前帧的车位角点的坐标的集合。具体地,根据左后轮和右后轮的轮速脉冲、单位轮速脉冲距离、航向角和车辆的当前档位,计算航迹信息。其中,航迹信息为针对上一帧和当前帧车辆位置的偏差。将当前帧基础车位角点坐标集结合航迹信息,确定出当前帧推算车位角点坐标集。
在步骤S42中,基于深度学习车位线实例分割模型和深度学习车位角点检测模型对全景图像进行检测,确定当前帧检测车位角点坐标集。其中,当前帧检测车位角点坐标集为基于深度学习车位线实例分割模型和深度学习车位角点检测模型对全景图像进行检测得到的车位角点的坐标的集合。
若仅深度学习车位实例分割模型能够基于全景图像检测到待泊车位,则将第一当前帧检测车位角点坐标集确定为当前帧检测车位角点坐标集,其中,第一当前帧检测车位角点坐标集基于深度学习车位实例分割模型对全景图像进行检测而被确定。
若仅深度学习车位角点检测模型能够基于全景图像检测到待泊车位,则将第二当前帧检测车位角点坐标集确定为当前帧检测车位角点坐标集,其中,第二当前帧检测车位角点坐标集基于深度学习车位角点检测模型对全景图像进行检测而被确定。
若深度学习车位实例分割模型和深度学习车位角点检测模型均能够基于全景图像检测到待泊车位,则基于第一当前帧检测车位和第二当前帧检测车位分别与当前帧推算车位的重合程度,确定当前帧检测车位角点坐标集,其中,第一当前帧检测车位对应于第一当前帧检测车位角点坐标集,第二当前帧检测车位对应于第二当前帧检测车位角点坐标集,当前帧推算车位对应于当前帧推算车位角点坐标集。
在基于深度学习车位实例分割模型能够得到四条车位线信息的情况下,根据四条车位线信息可以直接确定出四个交点的坐标,从而确定出第一当前帧检测车位角点坐标集。在基于深度学习车位实例分割模型仅能够得到三条车位线信息的情况下,基于三条车位线信息和待泊车位的长度或宽度及角度,确定出第一当前帧检测车位角点坐标集。
在基于深度学习车位角点检测模型得到四个车位角点的坐标信息的情况下,则可以直接确定出第二当前帧检测车位角点坐标集。在基于深度学习车位角点检测模型仅能得到两组坐标信息或三组坐标信息的情况下,基于两组坐标信息或三组坐标信息和待泊车位的长度或宽度及角度,计算出剩余的车位角点的坐标信息,从而确定出第二当前帧检测车位角点坐标集。
在步骤S43中,计算当前帧推算车位和当前帧检测车位的交并比。其中,当前帧推算车位对应于当前帧推算车位角点坐标集,当前帧检测车位对应于当前帧检测车位角点坐标集。
在步骤S44中,判断交并比是否大于80%。若大于80%,执行步骤S45。若交并比大于80%则认为当前帧检测得到的车位信息可信,用当前深度学习检测得到的车位信息更新航迹推算得到的车位信息,然后继续对新检测得到的车位进行下一帧航迹推算。若交并比小于80%,则执行步骤S46。若交并比小于80%,则认为当前帧检测得到的车位信息不可信,仍然保留航迹推算的车位信息继续下一帧的航迹推算。
在步骤S45中,使用当前帧检测车位角点坐标集继续进行航迹推算,也就是,将当前帧检测车位角点坐标集确定为下一帧基础车位角点坐标集。然后,执行步骤S47。
在步骤S46中,使用当前帧推算车位角点坐标集继续进行航迹推算,也就是,将当前帧推算车位角点坐标集确定为下一帧基础车位角点坐标集。然后,执行步骤S47。
在步骤S47中,判断泊车是否结束。具体地,判断是否接收到APA状态为完成(Complete)的完成信号。若接收到完成信号,则泊车结束,执行步骤S38。若未接收到完成信号,则泊车未结束,执行步骤S41;此时,下一帧更新为当前帧。
在步骤S48中,泊车完成。
综上所述,本发明实施例提供的技术方案主要包括以下内容。1)在航迹推算的基础上,添加了车位的视觉检测。在选中某一个待泊车位后,除了继续用航迹推算外,添加基于视觉的车位检测功能,即对待泊车位时刻进行检测。将检测得到的车位与航迹推算的车位进行对比,检测到的车位与航迹推算的车位交并比大于80%,用当前帧检测到的车位对航迹推算的车位进行更新,然后使用当前帧检测到的车位继续进行航迹推算跟踪。在整个泊车过程中,可以对航迹推算的车位进行更新,缓解了长时间航迹推算导致推算得到的车位和实际场景车位的存在误差的情况。2)针对车位的视觉检测,做了一些改进。(1)在选定待泊车位的第一帧,记录待泊车位的宽度、长度和角度。(2)同时使用车位分割和车位角点检测对给待泊车位进行识别。(3)如果在全景不能完全显示该待泊车位,将可以结合记录的宽度、长度和角度,计算出完整车位的完整四个角点坐标。
通过本发明实施例提供的技术方案,1)可以是根据全景图像检测到的车位信息对航迹推算得到的车位进行更新,解决航迹推算的跟踪的车位与实际场景车位带来的位置误差的问题,最终达到车辆泊车居中的目的;2)在泊车过程中,使用车位分割和车位角点检测双网络对待泊车位进行识别,并同时记录待泊车位的宽度、长度以及角度,对于不能完整检测到车位四个车位角点的情况,可以根据待泊车位的宽度、长度以及角度方便地计算出剩余的车位角点的坐标;3)在对待泊车位检测的过程中,车位分割和车位角点检测可以相互弥补,能够最大限度地适应更多场景泊车居中要求。
通过实验验证,相同场景下,仅基于航迹推算进行泊车的居中停靠泊车成功率相比本发明实施例提供的技术方案,至少低于10%,尤其是目前规划一步泊入的情况下。所谓一步泊入,也就是说车辆一次性进入待泊车位,而不是在待泊车位中通过来回进出来调整车辆姿态。
第二方面,本发明实施例提供一种泊车装置。
图5是本发明另一实施例提供的泊车装置的结构框图。如图5所示,泊车装置500包括推算模块501、检测模块503和下一帧基础车位信息确定模块502。其中,推算模块501用于基于航迹推算,确定待泊车位的当前帧推算车位信息;检测模块503用于基于待泊车位的全景图像,确定待泊车位的当前帧检测车位信息;下一帧基础车位信息确定模块502用于基于当前帧推算车位信息和当前帧检测车位信息,确定继续进行航迹推算使用的下一帧基础车位信息,以进行泊车。
可选地,基于当前帧推算车位信息和当前帧检测车位信息确定继续进行航迹推算使用的下一帧基础车位信息包括:基于当前帧推算车位信息和当前帧检测车位信息,确定当前帧推算车位和当前帧检测车位的重合程度,其中,当前帧推算车位对应于当前帧推算车位信息,当前帧检测车位对应于当前帧检测车位信息;以及基于所确定的重合程度,确定下一帧基础车位信息。
可选地,基于所确定的重合程度确定下一帧基础车位信息包括:在所确定的重合程度未超过预设重合条件的情况下,将当前帧推算车位信息确定为下一帧基础车位信息;以及在所确定的重合程度超过预设重合条件的情况下,将当前帧检测车位信息确定为下一帧基础车位信息。
可选地,重合程度基于交并比而被确定。
可选地,当前帧推算车位信息、当前帧检测车位信息和下一帧基础车位信息包括车位角点的坐标信息。
可选地,基于待泊车位的全景图像确定待泊车位的当前帧检测车位信息包括:基于预设深度学习模型对全景图像进行检测,确定当前帧检测车位信息。
可选地,在当前帧检测车位信息包括车位角点的坐标信息的情况下,预设深度学习模型包括深度学习车位实例分割模型和/或深度学习车位角点检测模型。
可选地,在预设深度学习模型包括深度学习车位实例分割模型和深度学习车位角点检测模型的情况下,基于预设深度学习模型对全景图像进行检测确定当前帧检测车位信息包括:若仅深度学习车位实例分割模型能够基于全景图像检测到待泊车位,则将第一当前帧检测车位信息确定为当前帧检测车位信息,其中,第一当前帧检测车位信息基于深度学习车位实例分割模型对全景图像进行检测而被确定;和/或若仅深度学习车位角点检测模型能够基于全景图像检测到待泊车位,则将第二当前帧检测车位信息确定为当前帧检测车位信息,其中,第二当前帧检测车位信息基于深度学习车位角点检测模型对全景图像进行检测而被确定;和/或若深度学习车位实例分割模型和深度学习车位角点检测模型均能够基于全景图像检测到待泊车位,则基于第一当前帧检测车位和第二当前帧检测车位分别与当前帧推算车位的重合程度,确定当前帧检测车位信息,其中,第一当前帧检测车位对应于第一当前帧检测车位信息,第二当前帧检测车位对应于第二当前帧检测车位信息,当前帧推算车位对应于当前帧推算车位信息。
可选地,在基于深度学习车位实例分割模型仅能得到三条车位线信息和基于深度学习车位角点检测模型仅能得到两组坐标信息或三组坐标信息的情况下,基于预设深度学习模型对全景图像进行检测确定当前帧检测车位信息包括:在预设深度学习模型仅包括深度学习车位实例分割模型的情况下,基于三条车位线信息和待泊车位的长度或宽度及角度,确定出第一四组坐标信息,将第一四组坐标信息确定为当前帧检测车位信息;在预设深度学习模型仅包括深度学习车位角点检测模型的情况下,基于两组坐标信息或三组坐标信息和待泊车位的长度或宽度及角度,确定出第二四组坐标信息,将第二四组坐标信息确定为当前帧检测车位信息;以及在预设深度学习模型包括深度学习车位实例分割模型和深度学习车位角点检测模型的情况下,基于三条车位线信息和待泊车位的长度或宽度及角度,确定出第一四组坐标信息;基于两组坐标信息或三组坐标信息和待泊车位的长度或宽度及角度,确定出第二四组坐标信息;以及基于第一四组坐标信息和第二四组坐标信息,确定当前帧检测车位信息。
本发明实施例提供的泊车装置的具体工作原理及益处与本发明实施例提供的泊车方法的具体工作原理及益处相似,这里将不再赘述。
第三方面,本发明实施例提供一种计算设备。该计算设备包括:处理器和存储器;其中,存储器与处理器连接,存储器用于存储计算机程序;处理器,用于通过运行存储器中存储的计算机程序,实现上述实施例中所述的泊车方法。
图6是本发明另一实施例提供的计算设备的结构示意图。参见图6所示,计算设备包括:存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时执行上述实施例中所述的泊车方法的步骤。
该计算设备的内部结构可以如图6所示,该计算设备包括通过系统总线连接的处理器、存储器、网络接口和输入装置。其中,该计算设备的处理器用于提供计算和控制能力。该计算设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以执行上述实施例中所述的泊车方法的步骤。
处理器可包括主处理器,还可包括基带芯片、调制解调器等。
存储器中保存有执行本发明技术方案的程序,还可以保存有操作系统和其他关键业务。具体地,程序可以包括程序代码,程序代码包括计算机操作指令。更具体地,存储器可以包括只读存储器(read-only memory,ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory,RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。
处理器可以是通用处理器,例如通用中央处理器(CPU)、微处理器等,也可以是特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
输入设备可包括接收用户输入的数据和信息的装置,例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。
输出设备可包括允许输出信息给用户的装置,例如显示屏、打印机、扬声器等。
通信接口可包括使用任何收发器一类的装置,以便与其他设备或通信网络通信,如以太网,无线接入网(RAN),无线局域网(WLAN)等。
处理器执行存储器中所存放的程序,以及调用其他设备,可用于实现执行上述实施例中所述的泊车方法。
该计算设备还可以包括显示组件和语音组件,该显示组件可以是液晶显示屏或者电子墨水显示屏,该计算设备的输入装置可以是显示组件上覆盖的触摸层,也可以是计算设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本说明书方案相关的部分结构的框图,并不构成对本说明书方案所应用于其上的计算设备的限定,具体的计算设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
第四方面,本发明实施例还提供一种存储介质。存储介质上存储有计算机程序,计算机程序被处理器运行时,实现上述实施例中所述的泊车方法。
第五方面,本发明实施例还提供一种计算机程序产品,其包括计算机程序指令,计算机程序指令在被处理器运行时使得所述处理器执行上述实施例中所述的泊车方法的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本说明书所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本说明书的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本说明书构思的前提下,还可以做出若干变形和改进,这些都属于本说明书的保护范围。因此,本说明书专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种泊车方法,其特征在于,该泊车方法包括:
基于航迹推算,确定待泊车位的当前帧推算车位信息;
基于预设深度学习模型对全景图像进行检测,确定所述待泊车位的当前帧检测车位信息;以及
基于所述当前帧推算车位信息和所述当前帧检测车位信息,确定继续进行所述航迹推算使用的下一帧基础车位信息,以进行泊车;
其中,在所述当前帧检测车位信息包括车位角点的坐标信息的情况下,所述预设深度学习模型包括深度学习车位实例分割模型和/或深度学习车位角点检测模型;
其中,在基于所述深度学习车位实例分割模型仅能得到三条车位线信息和基于所述深度学习车位角点检测模型仅能得到两组坐标信息或三组坐标信息的情况下,基于预设深度学习模型对所述全景图像进行检测确定所述当前帧检测车位信息包括:
在所述预设深度学习模型仅包括所述深度学习车位实例分割模型的情况下,基于所述三条车位线信息和所述待泊车位的长度或宽度及角度,确定出第一四组坐标信息,将所述第一四组坐标信息确定为所述当前帧检测车位信息;
在所述预设深度学习模型仅包括所述深度学习车位角点检测模型的情况下,基于所述两组坐标信息或所述三组坐标信息和所述待泊车位的长度或宽度及角度,确定出第二四组坐标信息,将所述第二四组坐标信息确定为所述当前帧检测车位信息;以及
在所述预设深度学习模型包括所述深度学习车位实例分割模型和所述深度学习车位角点检测模型的情况下,
基于所述三条车位线信息和所述待泊车位的长度或宽度及角度,确定出第一四组坐标信息;
基于所述两组坐标信息或所述三组坐标信息和所述待泊车位的长度或宽度及角度,确定出第二四组坐标信息;以及
基于所述第一四组坐标信息和所述第二四组坐标信息,确定所述当前帧检测车位信息。
2.根据权利要求1所述的泊车方法,其特征在于,基于所述当前帧推算车位信息和所述当前帧检测车位信息确定继续进行所述航迹推算使用的下一帧基础车位信息包括:
基于所述当前帧推算车位信息和所述当前帧检测车位信息,确定当前帧推算车位和当前帧检测车位的重合程度,其中,所述当前帧推算车位对应于所述当前帧推算车位信息,所述当前帧检测车位对应于所述当前帧检测车位信息;以及
基于所确定的重合程度,确定所述下一帧基础车位信息。
3.根据权利要求2所述的泊车方法,其特征在于,基于所确定的重合程度确定所述下一帧基础车位信息包括:
在所确定的重合程度未超过预设重合条件的情况下,将所述当前帧推算车位信息确定为所述下一帧基础车位信息;以及
在所确定的重合程度超过预设重合条件的情况下,将所述当前帧检测车位信息确定为所述下一帧基础车位信息。
4.根据权利要求2所述的泊车方法,其特征在于,所述重合程度基于交并比而被确定。
5.根据权利要求1-4中任一项所述的泊车方法,其特征在于,所述当前帧推算车位信息、所述当前帧检测车位信息和所述下一帧基础车位信息包括车位角点的坐标信息。
6.一种泊车装置,其特征在于,该泊车装置包括:
推算模块,用于基于航迹推算,确定待泊车位的当前帧推算车位信息;
检测模块,用于基于预设深度学习模型对全景图像进行检测,确定所述待泊车位的当前帧检测车位信息;以及
下一帧基础车位信息确定模块,用于基于所述当前帧推算车位信息和所述当前帧检测车位信息,确定继续进行所述航迹推算使用的下一帧基础车位信息,以进行泊车;
其中,在所述当前帧检测车位信息包括车位角点的坐标信息的情况下,所述预设深度学习模型包括深度学习车位实例分割模型和/或深度学习车位角点检测模型;
其中,在基于所述深度学习车位实例分割模型仅能得到三条车位线信息和基于所述深度学习车位角点检测模型仅能得到两组坐标信息或三组坐标信息的情况下,基于预设深度学习模型对所述全景图像进行检测确定所述当前帧检测车位信息包括:
在所述预设深度学习模型仅包括所述深度学习车位实例分割模型的情况下,基于所述三条车位线信息和所述待泊车位的长度或宽度及角度,确定出第一四组坐标信息,将所述第一四组坐标信息确定为所述当前帧检测车位信息;
在所述预设深度学习模型仅包括所述深度学习车位角点检测模型的情况下,基于所述两组坐标信息或所述三组坐标信息和所述待泊车位的长度或宽度及角度,确定出第二四组坐标信息,将所述第二四组坐标信息确定为所述当前帧检测车位信息;以及
在所述预设深度学习模型包括所述深度学习车位实例分割模型和所述深度学习车位角点检测模型的情况下,
基于所述三条车位线信息和所述待泊车位的长度或宽度及角度,确定出第一四组坐标信息;
基于所述两组坐标信息或所述三组坐标信息和所述待泊车位的长度或宽度及角度,确定出第二四组坐标信息;以及
基于所述第一四组坐标信息和所述第二四组坐标信息,确定所述当前帧检测车位信息。
7.一种计算设备,其特征在于,该计算设备包括:处理器和存储器;
其中,所述存储器与所述处理器连接,所述存储器用于存储计算机程序;
所述处理器,用于通过运行所述存储器中存储的计算机程序,实现权利要求1-5中任一项所述的泊车方法。
8.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时,实现权利要求1-5中任一项所述的泊车方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311337956.6A CN117068145B (zh) | 2023-10-17 | 2023-10-17 | 泊车方法、泊车装置、计算设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311337956.6A CN117068145B (zh) | 2023-10-17 | 2023-10-17 | 泊车方法、泊车装置、计算设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117068145A CN117068145A (zh) | 2023-11-17 |
CN117068145B true CN117068145B (zh) | 2024-01-26 |
Family
ID=88717651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311337956.6A Active CN117068145B (zh) | 2023-10-17 | 2023-10-17 | 泊车方法、泊车装置、计算设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117068145B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115083199A (zh) * | 2021-03-12 | 2022-09-20 | 上海汽车集团股份有限公司 | 一种车位信息确定方法及其相关设备 |
CN115223135A (zh) * | 2022-04-12 | 2022-10-21 | 广州汽车集团股份有限公司 | 车位跟踪方法、装置、车辆及存储介质 |
WO2022222036A1 (zh) * | 2021-04-20 | 2022-10-27 | 深圳市大疆创新科技有限公司 | 车位确定方法及装置 |
CN116012817A (zh) * | 2023-02-13 | 2023-04-25 | 北京茵沃汽车科技有限公司 | 基于双网络深度学习的实时全景车位检测方法、装置 |
CN116476816A (zh) * | 2023-05-23 | 2023-07-25 | 合肥欧菲智能车联科技有限公司 | 泊车规划方法、装置、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220055657A1 (en) * | 2019-01-09 | 2022-02-24 | Itsec Analytics Pte. Ltd. | System and method to enhance autonomous vehicle operations |
-
2023
- 2023-10-17 CN CN202311337956.6A patent/CN117068145B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115083199A (zh) * | 2021-03-12 | 2022-09-20 | 上海汽车集团股份有限公司 | 一种车位信息确定方法及其相关设备 |
WO2022222036A1 (zh) * | 2021-04-20 | 2022-10-27 | 深圳市大疆创新科技有限公司 | 车位确定方法及装置 |
CN115223135A (zh) * | 2022-04-12 | 2022-10-21 | 广州汽车集团股份有限公司 | 车位跟踪方法、装置、车辆及存储介质 |
CN116012817A (zh) * | 2023-02-13 | 2023-04-25 | 北京茵沃汽车科技有限公司 | 基于双网络深度学习的实时全景车位检测方法、装置 |
CN116476816A (zh) * | 2023-05-23 | 2023-07-25 | 合肥欧菲智能车联科技有限公司 | 泊车规划方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117068145A (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7461720B2 (ja) | 車両位置決定方法及び車両位置決定装置 | |
US11210534B2 (en) | Method for position detection, device, and storage medium | |
JP6844043B2 (ja) | 視覚測位方法、装置、電子機器およびシステム | |
US9270891B2 (en) | Estimation of panoramic camera orientation relative to a vehicle coordinate frame | |
US8885049B2 (en) | Method and device for determining calibration parameters of a camera | |
US20220169280A1 (en) | Method and Device for Multi-Sensor Data Fusion For Automated and Autonomous Vehicles | |
US11157753B2 (en) | Road line detection device and road line detection method | |
US11436815B2 (en) | Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same | |
US20090195410A1 (en) | Image processing device and vehicle detection device provided with the same | |
TW202033932A (zh) | 資料處理方法、裝置、設備和機器可讀媒體 | |
JP6776202B2 (ja) | 車載カメラのキャリブレーション装置及び方法 | |
CN114705121B (zh) | 车辆位姿测量方法、装置及电子设备、存储介质 | |
CN114694111A (zh) | 车辆定位 | |
JP6988873B2 (ja) | 位置推定装置および位置推定用コンピュータプログラム | |
US11908206B2 (en) | Compensation for vertical road curvature in road geometry estimation | |
CN117576650A (zh) | 基于融合的车辆变道检测方法和系统 | |
CN117068145B (zh) | 泊车方法、泊车装置、计算设备和存储介质 | |
JP7421923B2 (ja) | 位置推定装置、及び位置推定方法 | |
US20230162513A1 (en) | Vehicle environment modeling with a camera | |
CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
CN113147746A (zh) | 坡道车位的探测方法及装置 | |
JP4847303B2 (ja) | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 | |
US11767033B2 (en) | System and method for avoiding collision based on vision | |
US11726483B2 (en) | Apparatus for detecting inclination angle and controller | |
JP2019156198A (ja) | 車両位置判定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |