自动泊车方法、电子设备及计算机可读存储介质
技术领域
本发明涉及自动驾驶技术领域,尤其涉及一种自动泊车方法、电子设备及计算机可读存储介质。
背景技术
现有技术中要实现自动泊车,需要用户进行泊入车位和驶出车位的完整动作,从而获得完整的泊车轨迹地图,包括泊车起点、专属车位倒车入库、出库并驾驶到召唤点的全过程轨迹地图。在执行自动泊车的过程时,车辆只需要按照地图轨迹进行简单的寻迹泊车即可完成泊车动作。这种方法有较多的局限性,例如,中间过程遇到障碍物难以正确绕行,当停车位两边车辆停放偏差较大时,会导致车辆寻迹泊车难以泊入,在训练过程中新手车主没有良好的泊车技能时会导致训练轨迹混乱等问题。
发明内容
本发明实施例提供一种自动泊车方法、电子设备及计算机可读存储介质,用于至少解决上述技术问题之一。
第一方面,本发明实施例提供一种自动泊车方法,应用于车辆,该方法包括:
获取停车场的地图数据,所述地图数据包括所述停车场内的景物的参考特征信息;
通过搭载于所述车辆的传感器实时获取所述停车场的环境图像;
根据所述环境图像中景物的特征信息和所述地图数据中的景物的参考特征信息确定所述车辆在所述停车场内的实时位姿;
基于所述环境图像和所述地图数据确定所述车辆在所述停车场的目标停车位停放时的目标位姿,并确定运动路径,所述运动路径用于指引所述车辆由所述实时位姿运动至所述目标位姿;
基于规划的所述运动路径控制所述车辆运动。
第二方面,本发明实施例提供一种电子设备,应用于车辆,所述电子设备包括:
至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行时实现以下步骤:
获取停车场的地图数据,所述地图数据包括所述停车场内的景物的参考特征信息;
通过搭载于所述车辆的传感器实时获取所述停车场的环境图像;
根据所述环境图像中景物的特征信息和所述地图数据中的景物的参考特征信息确定所述车辆在所述停车场内的实时位姿;
基于所述环境图像和所述地图数据确定所述车辆在所述停车场的目标停车位停放时的目标位姿,并确定运动路径,所述运动路径用于指引所述车辆由所述实时位姿运动至目标位姿;
基于规划的所述运动路径控制所述车辆运动。
第三方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任一项实施例所述自动泊车方法的步骤。
第四方面,本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行本发明任一项实施例所述自动泊车方法的步骤。
第五方面,本发明实施例还提供一种车辆,其安装有本发明任一项实施例所述的电子设备。
本发明实施例的有益效果在于:通过搭载于车辆的传感器实时获取停车场的环境图像并将其与当前停车场的地图数据中的景物的参考特征信息进行匹配确定车辆在停车场中的实时位姿,从而不仅实现了对车辆在停车场内的准确定位,还掌握了车辆的姿态信息。进一步地,通过基于实时采集的环境图像和停车场的地图数据确定所述车辆在所述停车场的目标停车位停放时的目标位姿,并规划指引车辆从实时位姿到目标位姿的运动 轨迹,综合考虑了实时采集的真实环境信息和停车场的地图数据来规划运动轨迹,使得到的运动轨迹符合当前停车场的实际场景状况,确保了规划出的运动轨迹的有效性和可用性。此外,发明实施例的方法无需用户预先进行轨迹训练,降低了对用户的驾驶技术的要求,提升了用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的自动泊车方法的一实施例的流程图;
图2为本发明的自动泊车方法的另一实施例的流程图;
图3为本发明的自动泊车方法的另一实施例的流程图;
图4为本发明的自动泊车方法的另一实施例的流程图;
图5为本发明的自动泊车方法的另一实施例的流程图;
图6为本发明的自动泊车方法的另一实施例的流程图;
图7为本发明的自动泊车方法的另一实施例的流程图;
图8为本发明的电子设备的一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”,不仅包括那些要素,而且还包括没 有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
如图1所示,本发明的实施例提供一种自动泊车方法,应用于车辆,所述方法包括:
S110、获取停车场的地图数据,所述地图数据包括所述停车场内的景物的参考特征信息。
示例性地,当车辆到达停车场后根据车辆的GPS定位信息确定与该GPS定位信息相对应的停车场的地图数据(例如,预先建立了GPS定位信息与停车场地图之间的映射关系)。地图数据可以从云端服务器或者停车场本地服务器或者用户的移动终端获取。
示例性地,当根据GPS定位信息匹配到多个停车场的地图数据时,可进一步地b)利用词袋模型(DBOW)对关键帧以及相邻关键帧进行相似度匹配,找到最匹配的停车场的地图数据。
S120、通过搭载于所述车辆的传感器实时获取所述停车场的环境图像。示例性地,传感器可以是单目相机或者双目相机或者其它可感知环境图像的传感器,本发明对此不作限定。
示例性地,地图数据由当前用户或者其他用户预先在地图创建模式下通过搭载于车辆的传感器采集得到。在一些实施例中在通过传感器采集环境图像的同时还采集车辆的位姿信息,并建立环境图像与车辆的位姿信息之间的映射关系。
例如,当用户首次到达停车场后在没有地图数据可用的情况下,可以开启车辆的地图创建模式,在该模式下车辆的传感器将自动启动并实时采集环境图像。本实施例中用户只需驾驶车辆在停车场中行驶即可,传感器实时采集环境图像,对于驾驶员的驾驶水平没有要求。所行驶的路径可以是任意路径,例如,可以是用户经常走的路径,用户也可以驾驶车辆遍历整个停车场的所有路径,本发明对此不作限定。
S130、根据所述环境图像中景物的特征信息和所述地图数据中的景物 的参考特征信息确定所述车辆在所述停车场内的实时位姿。
示例性地,从地图数据中的景物的参考特征信息中查找与环境图像中景物的特征信息相匹配的参考特征信息,该相匹配的参考特征信息对应有相应的环境图像,从而可以根据该相应的环境图像所对应的车辆的位姿信息确定车辆在停车场内的实时位姿。
示例性地,车辆在所述停车场内的实时位姿可表示为(x、y、θ),其中x和y分别表示在停车场中的横纵坐标,θ用于表征车辆的朝向。
S140、基于所述环境图像和所述地图数据确定所述车辆在所述停车场的目标停车位停放时的目标位姿,并确定运动路径,所述运动路径用于指引所述车辆由所述实时位姿运动至目标位姿
示例性地,可以根据用户在车辆的显示屏幕的交互页面上的操作来确定目标停车位。例如,车辆的显示屏幕上显示有停车场的车位分布图,用户通过点击操作来选择目标停车位。还可以是根据来自用户的移动终端的控制信息确定,例如,用户在移动终端的交互界面上(例如,自动泊车APP)所显示的停车场的车位分布图中选择目标停车位,然后移动终端据此生成控制信息并发送至车辆。
S150、基于确定的所述运动路径控制所述车辆运动。
本实施例中通过搭载于车辆的传感器实时获取停车场的环境图像并将其与当前停车场的地图数据中的景物的参考特征信息进行匹配确定车辆在停车场中的实时位姿,从而不仅实现了对车辆在停车场内的准确定位,还掌握了车辆的姿态信息。进一步地,通过基于实时采集的环境图像和停车场的地图数据确定所述车辆在所述停车场的目标停车位停放时的目标位姿,并确定运动路径,综合考虑了实时采集的真实环境信息和停车场的地图数据来规划运动轨迹,使得到的运动轨迹符合当前停车场的实际场景状况,确保了规划出的运动轨迹的有效性和可用性。此外,发明实施例的方法无需用户预先进行轨迹训练,降低了对用户的驾驶技术的要求,提升了用户体验。
如图2所示,为本发明的自动泊车方法的另一实施例的流程图,在该实施例中,根据所述环境图像中景物的特征信息和所述地图数据中的景物 的参考特征信息确定所述车辆在所述停车场内的实时位姿,包括:
S131、确定地图数据中的与环境图像中景物的特征信息相匹配的景物的参考特征信息。
示例性地,地图数据中的景物的参考特征信息根据地图数据中的环境图像确定的。地图数据中的环境图像是在构建停车场地图时由搭载于车辆的传感器采集获得的,每张环境图像都有其相对应的车辆在停车场中的位姿信息。
S132、根据相匹配的景物的参考特征信息确定车辆在停车场内的实时位姿。示例性地,地图数据还包括采集得到所述景物的参考特征信息时所述车辆在所述停车场内的参考位姿;根据所述相匹配的景物的参考特征信息确定所述车辆在所述停车场内的实时位姿,包括:根据所述相匹配的景物的参考特征信息所对应的参考位姿确定所述车辆在所述停车场内的实时位姿。
在一些实施例中,环境图像中景物的特征信息包括所述环境图像中景物的特征向量。如图3所示,为本发明的自动泊车方法的另一实施例的流程图,在该实施例中,确定所述地图数据中的与所述环境图像中景物的特征信息相匹配的景物的参考特征信息,包括:
S1311、计算所述环境图像中景物的特征向量与所述地图数据中的景物的参考特征向量之间的多个特征向量相似度值。
示例性地,可以计算环境图像中景物的特征向量与地图数据中的景物的参考特征向量之间的余弦相似度,余弦相似度越大表明相应的两者之间的匹配度越高。还可以采用其它衡量两者之间匹配程度的计算方法,例如,欧拉距离,本发明对此不作限定。
S1312、根据最大特征相似度值确定与所述环境图像中景物的特征信息相匹配的景物的参考特征信息。
本实施例中通过对比环境图像中景物的参考特征向量与地图数据中的景物整体的特征向量,从整体上对环境图像中景物与地图数据中的景物进行了匹配程度的衡量。
在一些实施例中,环境图像中景物的特征信息包括多种语义信息。如图4所示,为本发明的自动泊车方法的另一实施例的流程图,在该实施例中,确定所述地图数据中的与所述环境图像中景物的特征信息相匹配的景物的参考特征信息,包括:
S1311′、确定所述环境图像中景物的多种语义信息与所述地图数据中的各景物的多种参考语义信息相匹配的语义信息数量。
示例性地,多种语义信息包括但不限于道路车道线、道路行驶方向、行人、车辆、路障等中的一种或者多种。
S1312′、根据最大相匹配的语义信息数量确定与所述环境图像中景物的特征信息相匹配的景物的参考特征信息。
本实施例中通过多种语义信息的考量,在确定两图像之间匹配程度时充分考虑了两图像的局部特征信息,匹配的语义信息的数量越大,表明两图像之间越接近,最终反映出的就是当前车辆的位姿与创建地图时车辆的位姿之间是非常匹配的。
在一些实施例中,环境图像中景物的特征信息包括所述环境图像中景物的特征向量和多种语义信息。如图5所示,为本发明的自动泊车方法的另一实施例的流程图,在该实施例中,确定所述地图数据中的与所述环境图像中景物的特征信息相匹配的景物的参考特征信息,包括:
S1311″、计算所述环境图像中景物的特征向量与所述地图数据中的景物的参考特征向量之间的多个特征向量相似度值;
S1312″、确定所述环境图像中景物的多种语义信息与所述地图数据中的各景物的多种参考语义信息相匹配的语义信息数量;
S1313″、根据最大特征相似度值和最大相匹配的语义信息数量确定与所述环境图像中景物的特征信息相匹配的景物的参考特征信息。
本实施例中在对比两图像(实时采集的环境图像和地图数据中的环境图像)之间的匹配程度时同时考虑了图像整体的特征向量还同时考虑了图像的局部语义信息,从而使得最终能够更加精准的确定两图像之间的匹配程度。
在一些实施例中,地图数据包括至少一条由当前用户或者其他用户在地图创建模式下所创建的运动路径上的景物的参考特征信息。
本实施例中地图数据包括了至少一条预先创建的运动路径上的景物的参考特征信息。该预先创建的运动路径为当前用户或者其他用户所创建。从而在实际应用中用户即可以基于自己创建的地图数据实现自动泊车,也可以借助其他用户所创建的地图数据实现自动泊车。
在一些实施例中,基于所述环境图像和所述地图数据确定所述车辆在所述停车场的目标停车位停放时的目标位姿,并确定运动路径,包括:基于所述至少一条运动路径上的景物的参考特征信息规划从所述实时位姿到车辆在所述目标停车位停放时的目标位姿的运动路径。
本实施例中从预先创建的至少一条运动路径中查找一条包含了当前车辆的位置和目标停车位运动路径,基于该运动路径上的景物的参考特征信息进行路径规划。
在一些实施例中,在自动泊车过程中,当实现停车场匹配后,可以从停车场的地图数据中找到匹配的运动路径,可将需要从当前位置行驶到指定停车位的轨迹进行截取,并发送给控制规划模块作为全局路径规划使用。另外,地图数据还包括停车场场景的交通信息、环境信息、道路车道线信息、道路行驶方向等信息,这些信息能有效的辅助规划模块进行更优的行为规划。
在一些实施例中优先获取与当前车辆相同类型的车辆所创建的运动路径。通过优先考虑相同类型的车辆所创建的运动路径是因为发明人在实现本发明的过程中发现,由于车辆类型的不同会存在车辆高低的不同,从而导致即便是在相同朝向相同位置由传感器所采集的环境图像也是有差别的,从而导致后续车辆的定位以及运动路径的规划出现偏差甚至错误。
在一些实施例中,基于所述环境图像和所述地图数据确定所述车辆在所述停车场的目标停车位停放时的目标位姿,并确定运动路径还包括:当从所述环境图像中检测到所述运动路径上存在障碍时,重新基于所述至少一条运动路径上的景物的参考特征信息规划从所述实时位姿到车辆在所 述目标停车位停放时的目标位姿的新的运动路径。
本实施例中通过实时采集的环境图像来检测当前的运动路径上是否存在障碍(例如,行人、车辆或者其他物体),并且当检测到存在障碍时重新规划运动路径,从而确保了自动泊车的顺利进行。
在一些实施例中,所述运动路径包括第一子运动路径和第二子运动路径,所述第一子运动路径用于指引所述车辆运动至所述目标停车位附近,所述第二子运动路径用于指引所述车辆泊入所述目标停车位。。
本实施例中将运动路径划分为第一子运动路径和第二子运动路径两部分。其中第一子运动路径基于实时采集的环境图像和停车场的地图数据确定,第二子运动路径基于实时采集的环境图像确定。通过实时采集的环境图像来规划第二子运动路径,并按照该第二子运动路径控制车辆泊入目标停车位,不依赖于用户预先训练的轨迹,一方面降低了对用户泊车水平的要求,另一方面也解决了目标停车位两侧所停车辆不规范造成的泊车难的问题。
如图6所示为本发明的自动泊车方法的另一实施例的流程图,在该实施例中目标停车位为指定车位,该指定车位可以是由系统内容预先约定的车位(例如,预先预定的该用户的专属车位),还可以是由用户所选择的车位;该方法还包括:
S210、当根据所述环境图像检测到所述目标停车位不可用时,根据所述地图数据在第一预设范围内规划新的运动路径,用于指引所述车辆在所述第一预设范围内检测可用车位。
示例性地,第一预设范围可以是距离目标停车位预设距离内的区域范围,例如,预设距离可以是10m,本发明对此不作限定。
S220、当在所述第一预设范围内未检测到可用车位时,根据所述地图数据在第二预设范围内规划新的运动路径,用于指引所述车辆在所述第二预设范围内检测可用车位;所述第二预设范围大于所述第一预设范围。
示例性地,第二预设范围可以是距离目标停车位预设距离内的区域范围,例如,预设距离可以是50m,本发明对此不作限定。
本实施例中满足自动泊车中指定车位泊车功能使用。自动泊车地图通过云端给用户的移动终端的APP进行推送,用户接收到匹配的停车场地图,并得到地图中的指定车位信息,为用户提供指定车位泊车功能。
由于自动泊车地图中包括多个已知停车位,用户可通过在APP可视化界面中选择任意一个停车位进行指定车位泊车。但该指定车位可能存在被占据的情况,这种情况泊车会自动退化为区域泊车,并在指定车位附件10米范围内进行有效停车位搜索并反馈用户确认。当10米范围的区域无可用车位时,车辆会直接退化成探索模式,并沿着运动路径进行逐个停车位寻找。当发现可用车位时,车辆会通过地图信息,反馈给车主所发现的车位信息,包括:车位号、车位在停车场相对于指定车位的位置等信息,并让车主确认是否要泊车到所发现的停车位。
在一些实施例中,支持选定特定区域的车位进行辅助泊车,当车辆在指定区域无法找到空闲车位进行泊车时,则会触发探索模式并让用户确认是否进行探索模式泊车。
在一些实施例中,当全过程都没有停车位时,可退化为停车场巡航模式,直到发现停车位后进行自主泊车。
在一些实施例中,本发明的自动泊车方法还包括:当检测到所述可用车位时,将所述可用车位的车位信息发送给用户的移动终端,以向用户确认是否泊入所述可用车位。
在一些实施例中,所述目标停车位是召唤点停车位。
如图7所示为本发明的自动泊车方法的另一实施例的流程图,在该实施例中还包括:
S310、响应于接收到的泊车召唤指令,查询历史自动泊车记录信息。
示例性地,用户在移动终端的APP页面上选择召唤车辆,从而APP通过移动终端向电子设备发送泊车召唤指令。在接收到该泊车召唤指令之后查询所存储的历史自动泊车记录信息。
S320、当从所述历史自动泊车记录信息中查询到当前停车场的地图数据时,通过搭载于所述车辆的传感器实时获取所述当前停车场的环境图 像。示例性地,如果车辆停入当前停车位时采用的是自动泊车方法,则会存储有车辆在当前停车位时的停车位姿。如果是由用户自行驾驶泊入车位的,则没有相关停车位姿。
S330、根据所述当前停车场的环境图像中景物的特征信息和所述当前停车场的地图数据中的景物的参考特征信息确定所述车辆在所述当前停车场内的实时位姿。
S340、基于所述当前停车场的环境图像和所述当前停车场的地图数据确定所述车辆从在所述当前停车场内的实时位姿到所述车辆停放在召唤点停车位时的召唤位姿的召唤路径,所述运动路径用于指引所述车辆从在所述当前停车场内的实时位姿运动至所述召唤位姿。
S350、基于确定的所述召唤路径控制所述车辆运动。
本发明实施例借助于自动泊车时所记录的停车场的地图数据,从而能够基于实时采集的环境图像和该停车场的地图数据来确定车辆的实时位姿,以进一步确定从当前的实时位姿到达召唤位姿的召唤路径,实现了泊车召唤功能。
在一些实施例中,当从所述历史自动泊车记录信息中未查询到当前停车场的地图数据时,根据所述当前停车场的环境图像控制所述车辆运动,并实时地根据所述当前停车场的环境图像进行地图数据匹配,以获得所述当前停车场的地图数据时。
在一些实施例中,当从所述历史自动泊车记录信息中未查询到当前停车场的地图数据时,向用户的移动终端发送获取所述当前停车场的地图数据的请求信息,以获得所述移动终端发来的所述当前停车场的地图数据。
在一些实施例中,在获得所述当前停车场的地图数据之后,向用户的移动终端发送提醒信息,以提醒用户选择召唤点。
在一些实施例中,在泊车召唤时主要涉及两个不同的状态:热启动和冷启动。其中,热启动是指停车入库的动作采用自动泊车功能,在泊车结束后,记录所使用的地图以及车辆在地图中的位姿、车位ID等信息。在泊车召唤阶段,通过提前规划召唤路径实现有效的召唤功能。冷启动是指停车动作采用人为泊车入库,但召唤时采用自动泊车的召唤功能。由于冷启动没有地图号码以及车辆位姿的信息,自动召唤功能无法实现,本发明 通过结合在线感知或者向用户询问的方法有效的解决此问题。
在一些实施例中,热启动时车辆泊车入库过程是通过自动泊车功能实现的。在这种情况下,系统在熄火前,会记录当前泊车的车位ID,车辆在地图中的位姿以及车辆在召唤时需要从车位走向训练轨迹或当前车道的行驶路径(举例:没有地图信息,则难以指导车辆从停车位出车该往左还是往右,如果道路是单行车道时,可能会存在违反行驶规则的问题)。另外,通过地图的使用,用户可以选择地图任意位置作为召唤点,基于地图路网信息,可自动生成运动路径,引导车辆正确的行驶到召回地点。
在一些实施例中,冷启动时由于车辆缺少泊进车位时的状态信息,包括车位ID和车辆当前在地图中的位姿。因此,在车辆召唤功能启动时,本发明通过两个方式来解决此问题:
a)、用户知道当前车辆所在的地图ID以及所停车位的ID时,可以将这些提供给自动泊车系统,并利用地图信息计算出车辆需要行驶的方向、路网节点、以及到达召唤点的参考运动路径。
b)、当用户无法提供车辆当前所在的地图及停车位ID时,车辆会进行智能化环境探索。车辆会从车位使出,往可通行区域较大的方向进行行驶,并在行驶过程中进行实时地图定位。当地图匹配完成、定位状态稳定时,则可通知车主进行召唤地点选择,车辆继续完成召唤工作。当车辆长时间无法找到匹配的地图或定位无法收敛,则会触发车辆沿路返回到停车位,并往相反方向进行行驶。如果车辆仍然长时间无法找到匹配的地图和定位无法收敛,则会触发报警,当前场景无法触发召唤功能。
在一些实施例中,本发明还提供一种电子设备,应用于车辆,所述电子设备包括:
至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行时实现以下步骤:
获取停车场的地图数据,所述地图数据包括所述停车场内的景物的参考特征信息;
通过搭载于所述车辆的传感器实时获取所述停车场的环境图像;
根据所述环境图像中景物的特征信息和所述地图数据中的景物的参考特征信息确定所述车辆在所述停车场内的实时位姿;
基于所述环境图像和所述地图数据确定所述车辆在所述停车场的目标停车位停放时的目标位姿,并确定运动路径,所述运动路径用于指引所述车辆由所述实时位姿运动至目标位姿;
基于确定的所述运动路径控制所述车辆运动。
在一些实施例中,根据所述环境图像中景物的特征信息和所述地图数据中的景物的参考特征信息确定所述车辆在所述停车场内的实时位姿,包括:
确定所述地图数据中的与所述环境图像中景物的特征信息相匹配的景物的参考特征信息;
根据所述相匹配的景物的参考特征信息确定所述车辆在所述停车场内的实时位姿。
在一些实施例中,地图数据由当前用户或者其他用户预先在地图创建模式下通过搭载于所述车辆的传感器采集得到。
在一些实施例中,地图数据还包括采集得到所述景物的参考特征信息时所述车辆在所述停车场内的参考位姿;
根据所述相匹配的景物的参考特征信息确定所述车辆在所述停车场内的实时位姿,包括:
根据所述相匹配的景物的参考特征信息所对应的参考位姿确定所述车辆在所述停车场内的实时位姿。
在一些实施例中,环境图像中景物的特征信息包括所述环境图像中景物的特征向量;
确定所述地图数据中的与所述环境图像中景物的特征信息相匹配的景物的参考特征信息,包括:
计算所述环境图像中景物的特征向量与所述地图数据中的景物的参考特征向量之间的多个特征向量相似度值;
根据最大特征相似度值确定与所述环境图像中景物的特征信息相匹配的景物的参考特征信息。
在一些实施例中,环境图像中景物的特征信息包括多种语义信息;
确定所述地图数据中的与所述环境图像中景物的特征信息相匹配的景物的参考特征信息,包括:
确定所述环境图像中景物的多种语义信息与所述地图数据中的各景物的多种参考语义信息相匹配的语义信息数量;
根据最大相匹配的语义信息数量确定与所述环境图像中景物的特征信息相匹配的景物的参考特征信息。
在一些实施例中,环境图像中景物的特征信息包括所述环境图像中景物的特征向量和多种语义信息;
确定所述地图数据中的与所述环境图像中景物的特征信息相匹配的景物的参考特征信息,包括:
计算所述环境图像中景物的特征向量与所述地图数据中的景物的参考特征向量之间的多个特征向量相似度值;
确定所述环境图像中景物的多种语义信息与所述地图数据中的各景物的多种参考语义信息相匹配的语义信息数量;
根据最大特征相似度值和最大相匹配的语义信息数量确定与所述环境图像中景物的特征信息相匹配的景物的参考特征信息。
在一些实施例中,地图数据包括至少一条由当前用户或者其他用户在地图创建模式下所创建的运动路径上的景物的参考特征信息。
在一些实施例中,基于所述环境图像和所述地图数据确定所述车辆在所述停车场的目标停车位停放时的目标位姿,并确定运动路径,包括:基于所述至少一条运动路径上的景物的参考特征信息规划从所述实时位姿到车辆在所述目标停车位停放时的目标位姿的运动路径。
在一些实施例中,基于所述环境图像和所述地图数据确定所述车辆在所述停车场的目标停车位停放时的目标位姿,并确定运动路径,还包括:当从所述环境图像中检测到所述运动路径上存在障碍时,重新基于所述至少一条运动路径上的景物的参考特征信息规划从所述实时位姿到车辆在所述目标停车位停放时的目标位姿的新的运动路径。
在一些实施例中,所述运动路径包括第一子运动路径和第二子运动路径,所述第一子运动路径用于指引所述车辆运动至所述目标停车位附近,所述第二子运动路径用于指引所述车辆泊入所述目标停车位。
在一些实施例中,目标停车位为指定车位;所述至少一个处理器还配置为:
当根据所述环境图像检测到所述目标停车位不可用时,根据所述地图数据在第一预设范围内规划新的运动路径,用于指引所述车辆在所述第一预设范围内检测可用车位;
当在所述第一预设范围内未检测到可用车位时,根据所述地图数据在第二预设范围内规划新的运动路径,用于指引所述车辆在所述第二预设范围内检测可用车位;所述第二预设范围大于所述第一预设范围。
在一些实施例中,至少一个处理器还配置为:当检测到所述可用车位时,将所述可用车位的车位信息发送给用户的移动终端,以向用户确认是否泊入所述可用车位。
在一些实施例中,目标停车位是召唤点停车位。
在一些实施例中,至少一个处理器还配置为:
响应于接收到的泊车召唤指令,查询历史自动泊车记录信息;
当从所述历史自动泊车记录信息中查询到当前停车场的地图数据时,通过搭载于所述车辆的传感器实时获取所述当前停车场的环境图像;
根据所述当前停车场的环境图像中景物的特征信息和所述当前停车场的地图数据中的景物的参考特征信息确定所述车辆在所述当前停车场内的实时位姿;
基于所述当前停车场的环境图像和所述当前停车场的地图数据确定所述车辆从在所述当前停车场内的实时位姿到所述车辆停放在召唤点停车位时的召唤位姿的召唤路径,所述运动路径用于指引所述车辆从在所述当前停车场内的实时位姿运动至所述召唤位姿;
基于确定的所述召唤路径控制所述车辆运动。
在一些实施例中,当从所述历史自动泊车记录信息中未查询到当前停车场的地图数据时,根据所述当前停车场的环境图像控制所述车辆运动,并实时地根据所述当前停车场的环境图像进行地图数据匹配,以获得所述当前停车场的地图数据时。
在一些实施例中,当从所述历史自动泊车记录信息中未查询到当前停车场的地图数据时,向用户的移动终端发送获取所述当前停车场的地图数 据的请求信息,以获得所述移动终端发来的所述当前停车场的地图数据。
在一些实施例中,在获得所述当前停车场的地图数据之后,向用户的移动终端发送提醒信息,以提醒用户选择召唤点。
本发明实施例中的自动泊车方法至少实现了以下四项功能:
功能一,自动泊车地图辅助停车场识别以及停车场全局定位;
功能二,提供自动泊车中的车位选择功能;
功能三,提供在自动泊车过程导航、轨迹规划、泊车辅助;
功能四,泊车召唤功能辅助。
以下分别就四项功能分别展开进行描述:
功能一,自动泊车地图辅助停车场识别以及停车场全局定位
a1)利用GPS信息实现初步停车场的地图筛选,选择GPS信号匹配的停车场地图进行匹配;
b1)利用词袋模型(DBOW)进行关键帧以及相邻关键帧相似度匹配,找到最匹配的停车场数据;
c1)利用图像特征、语义信息等跟地图数据进行比较,找出最相近的位姿;
d1)进行持续多次观测和校验,直到匹配特征数量和语义信息足够多,则可认为找到正确的停车场地图以及在地图中的位置。
功能二:提供自动泊车中的车位选择功能
a2)满足自动泊车中专属车位泊车功能使用;自动泊车地图通过云端给APP进行推送,用户接收到匹配的停车场地图,并得到地图中的专属车位信息,为用户提供专属车位泊车功能;
b2)由于自动泊车地图中包括多个已知停车位,用户可通过在APP可视化界面中选择任意一个停车位进行指定车位泊车。但该指定车位可能存在被占据的情况,这种情况泊车会自动退化为区域泊车,并在指定车位附近件10米范围内进行有效停车位搜索并反馈用户确认。当10米范围的区域无可用车位时,车辆会直接退化成探索模式,并沿着运动路径进行逐个停车位寻找。当发现可用车位时,车辆会通过地图信息,反馈给车主所发现的车位信息,包括:车位号、车位在停车场相对于指定车位的位置等信息,并让车主确认是否要泊车到所发现的停车位。
c2)支持选定特定区域的车位进行辅助泊车,当车辆在指定区域无法找到空闲车位进行泊车时,则会触发探索模式并让用户确认是否进行探索模式泊车。
d2)当泊车地图为停车场的完整高精地图时,则可在停车场任意位置进行停车位搜索,从小区域逐步扩散到全停车场范围的车位检测。当全过程都没有停车位时,可退化为停车场绕圈模式,直到发现停车位后进行自主泊车。
功能三:提供在自动泊车过程导航、轨迹规划、泊车辅助
在自动泊车过程中,当实现地图定位后,通过地图信息,可将需要从当前位置行驶到指定车位的路径进行截取,并发送给控制规划模块作为全局路径规划使用。另外,由于地图中存储了停车场场景的交通信息、环境信息、道路车道线信息、道路行驶方向等信息,这些信息能有效的辅助规划模块进行更优的行为规划。另外,由于低成本传感器感知距离受限,难以完整观测大范围车道线、远距离道路标识等重要交通信息。通过停车场地图信息,可以准确的获得道路行驶方向、两侧车道线、两边停车位信息、停车场道路拓扑结构信息。
在泊车过程中,系统会进行实时局部地图(如50米范围)构建,在局部地图中也会出现在线检测的停车位。可通过在全局坐标系与局部坐标系的对齐,实现在线观测的车位框与地图车位框进行关联,从而实现专属车位在局部地图中的位置标记。泊车入库过程中,第一运动路径将车辆引导到指定车位附近,并通过基于实时采集的环境图像规划第二运动路径,以完成泊车入库等动作。通过这种方式进行辅助泊车,地图不需要提供完整的泊车路径,而只需要引导车辆到达指定车位附近即可。该方式可以有效节省地图训练或者地图制作的难度。
功能四:泊车召唤功能辅助
在泊车召唤时,主要涉及两个不同的状态:热启动和冷启动。其中,热启动是指停车入库的动作采用辅助泊车功能,在泊车结束后,记录所使用的地图以及车辆在地图中的位置、车位ID等信息。在泊车召唤阶段,通过提前规划召唤路径实现有效的召唤功能。冷启动是指停车动作采用人为泊车入库,但召唤时采用采用自动泊车的召唤功能。由于冷启动没有地 图号码以及车辆位置的信息,自动召唤功能难以实现,本专利通过结合在线感知方法有效的解决此问题。
热启动时,车辆泊车入库过程是通过自动泊车功能实现的。在这种情况下,系统在熄火前,会记录当前泊车的车位ID,车辆在地图中的位置以及车辆在召唤时需要从车位走向训练轨迹或当前车道的行驶路径(举例:没有地图信息,则难以指导车辆从停车位出车该往左还是往右,如果道路是单行车道时,可能会存在违反行驶规则的问题)。另外,通过地图的使用,用户可以选择地图任意位置作为召唤点,基于地图路网信息,可自动生成全局路径规划,引导车辆正确的行驶到召回地点。
冷启动时,由于车辆缺少泊进车位时的状态信息,包括车位ID和车辆当前在地图中的位置。因此,在车辆召唤功能启动时,系统通过两个方式来解决此问题:
a3)用户指导当前车辆所在的地图ID以及所停车位的ID时,可以将这些提供给辅助泊车系统,并利用地图信息计算出车辆需要行驶的方向、路网节点、以及到达召唤点的全局参考轨迹。
b3)当用户无法提供车辆当前所在的地图及停车位ID时,车辆会进行智能化环境探索。车辆会从车位使出,往可通行区域较大的方向进行行驶,并在行驶过程中进行实时地图定位。当地图匹配完成、定位状态稳定时,则可通知车主进行召唤地点选择,车辆继续完成召唤工作。当车辆长时间无法找到匹配的地图或定位无法收敛,则会触发车辆沿路返回到停车位,并往相反方向进行行驶。如果车辆仍然长时间无法找到匹配的地图和定位无法收敛,则会触发报警,当前场景无法触发召唤功能。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作合并,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在一些实施例中,本发明还提供一种计算机可读存储介质,其上存储 有计算机程序,该程序被处理器执行时实现本发明任一项实施例所述自动泊车方法的步骤。
在一些实施例中,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行本发明任一项实施例所述自动泊车方法的步骤。
在一些实施例中,本发明还提供一种车辆,其安装有本发明任一项实施例所述的电子设备。
图8是本申请另一实施例提供的执行自动泊车方法的电子设备的硬件结构示意图,如图8所示,该设备包括:
一个或多个处理器810以及存储器820,图8中以一个处理器810为例。
执行自动泊车方法的设备还可以包括:输入装置830和输出装置840。
处理器810、存储器820、输入装置830和输出装置840可以通过总线或者其他方式连接,图8中以通过总线连接为例。
存储器820作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的自动泊车方法对应的程序指令/模块。处理器810通过运行存储在存储器820中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例自动泊车方法。
存储器820可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据自动泊车装置的使用所创建的数据等。此外,存储器820可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器820可选包括相对于处理器810远程设置的存储器,这些远程存储器可以通过网络连接至自动泊车装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置830可接收输入的数字或字符信息,以及产生与自动泊车装 置的用户设置以及功能控制有关的信号。输出装置840可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器820中,当被所述一个或者多个处理器810执行时,执行上述任意方法实施例中的自动泊车方法。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。