CN111976718A - 自动泊车的控制方法和系统 - Google Patents
自动泊车的控制方法和系统 Download PDFInfo
- Publication number
- CN111976718A CN111976718A CN202010667804.2A CN202010667804A CN111976718A CN 111976718 A CN111976718 A CN 111976718A CN 202010667804 A CN202010667804 A CN 202010667804A CN 111976718 A CN111976718 A CN 111976718A
- Authority
- CN
- China
- Prior art keywords
- acquiring
- result
- information
- parking
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 73
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 230000004927 fusion Effects 0.000 claims abstract description 54
- 238000004458 analytical method Methods 0.000 claims description 25
- 230000000007 visual effect Effects 0.000 claims description 23
- 230000001133 acceleration Effects 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000010845 search algorithm Methods 0.000 claims description 10
- 230000003068 static effect Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000006399 behavior Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 230000001276 controlling effect Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005036 potential barrier Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本申请涉及一种自动泊车的控制方法和系统,其中,该控制方法包括:接收环视装置采集的场景图像,以及雷达传感器采集的检测信息;根据该场景图像和该检测信息,获取数据融合后的栅格地图;并根据该场景图像,利用多维定位算法获取定位信息;根据该栅格地图和该定位信息获取自动泊车的轨迹规划结果;通过本申请,解决了自动泊车的控制中效率较低的问题,实现了智能化代客泊车。
Description
技术领域
本申请涉及自动驾驶技术领域,特别是涉及自动泊车的控制方法和系统。
背景技术
智能化是如今汽车行业发展的重要趋势之一,预计2020年-2030年期间智能驾驶技术与系统将在世界范围内快速发展。目前自动驾驶技术与系统的研究与开发大多基于高速公路与泊车两种应用场景,其系统组成通常包括感知、定位、规划以及决策控制等子模块;针对泊车场景应用,相应系统的智能化程度不断提升,量产车型的泊车场景解决方案正逐步从泊车辅助系统升级为自动泊车系统。
在相关技术中,一般基于视觉或超声波雷达系统输入,在特定场景下完成泊车位搜索并按照使用者选择响应完成相应泊车操作,应用的自动泊车系统主要包含泊车位检测、泊车轨迹规划与跟踪以及避障等算法模块;在寻找车位的过程中,车辆完全由驾驶者控制;在目标车位经驾驶者确认后,车辆完全由自动泊车系统接管并完成剩余泊车操作;然而在相关技术中,无法实现控制系统替代驾驶者自主完成泊车位搜索与选择,进而向用户提供代客泊车体验,导致自动泊车的控制中效率较低。
目前针对相关技术中自动泊车的控制中效率较低的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种自动泊车的控制方法和系统,以至少解决相关技术中自动泊车的控制中效率较低的问题。
第一方面,本申请实施例提供了一种自动泊车的控制方法,所述方法包括:
接收环视装置采集的场景图像,以及雷达传感器采集的检测信息;
根据所述场景图像和所述检测信息,获取数据融合后的栅格地图;并根据所述场景图像,利用多维定位算法获取定位信息;
根据所述栅格地图和所述定位信息获取自动泊车的轨迹规划结果。
在其中一些实施例中,所述根据所述栅格地图和所述定位信息获取自动泊车的轨迹规划结果包括:
获取终端发送的预设泊车模式信息;
利用与所述预设泊车模式相适应的规划算法,根据所述栅格地图和所述定位信息获取所述轨迹规划结果。
在其中一些实施例中,所述利用与所述预设泊车模式相适应的规划算法,根据所述栅格地图和所述定位信息获取所述轨迹规划结果包括:
在所述预设泊车模式为历史轨迹泊车模式的情况下,将所述规划算法设置为离散轨迹线段表达式,并利用所述离散轨迹线段表达式,根据所述栅格地图和所述定位信息获取所述轨迹规划结果;
在所述预设泊车模式为搜索泊车模式的情况下,将所述规划算法设置为随机搜索算法,并利用所述随机搜索算法,根据所述栅格地图和所述定位信息获取所述轨迹规划结果;
在所述预设泊车模式为地图指定泊车模式的情况下,将所述规划算法设置为自动泊车调度算法,并利用所述自动泊车调度算法,根据所述栅格地图和所述定位信息获取所述轨迹规划结果。
在其中一些实施例中,所述利用与所述预设泊车模式相适应的规划算法,根据所述栅格地图和所述定位信息获取所述轨迹规划结果包括:
利用与所述预设泊车模式相适应的规划算法获取全局路径信息;
根据所述全局路径信息、所述栅格地图和所述定位信息,生成驾驶行为状态,并根据所述驾驶行为状态获取决策结果;
根据所述决策结果获取所述轨迹规划结果。
在其中一些实施例中,所述根据所述决策结果获取所述轨迹规划结果包括:
在所述决策结果为泊车决策或低速行驶决策的情况下,根据轨迹拼接获取起始点坐标,并根据所述起始点坐标拟合路径曲线;
利用路径平滑性,根据所述路径曲线确定最优路径;并根据所述栅格地图获取最优路径中各点的加速度;
根据所述最优路径和所述加速度,获取所述轨迹规划结果。
在其中一些实施例中,所述获取所述轨迹规划结果之后,所述方法还包括:
利用轨迹跟踪算法,根据所述轨迹规划结果和所述定位信息确定状态量信息,并根据所述状态量信息建立预测模型;
根据所述预测模型输出控制信号,进而根据所述控制信号控制车辆运动。
在其中一些实施例中,所述根据所述决策结果获取所述轨迹规划结果还包括:
在所述决策结果为紧急避障决策或安全退出决策的情况下,控制车辆根据生成的预测局部轨迹,减速运动至车辆静止状态。
在其中一些实施例中,所述根据所述场景图像和所述检测信息,获取数据融合后的栅格地图;并根据所述场景图像,利用多维定位算法获取定位信息包括:
将所述场景图像输入卷积神经网络进行检测,并输出视觉语义分析结果;
根据所述视觉语义分析结果和所述检测信息,获取数据融合后的栅格地图;并根据所述视觉语义分析结果获取所述定位信息。
在其中一些实施例中,所述根据所述视觉语义分析结果和所述检测信息,获取数据融合后的栅格地图包括:
获取所述环视装置和所述雷达传感器的标定结果;
根据所述标定结果、所述视觉语义分析结果和所述检测信息,利用匀速运动学模型获取目标融合结果,并利用车辆运动学模型获取区域融合结果;
根据所述目标融合结果和所述区域融合结果,获取所述栅格地图。
在其中一些实施例中,所述根据所述场景图像,利用多维定位算法获取定位信息包括:
根据所述场景图像,利用所述多维定位算法获取航位推算结果;
根据所述航位推算结果获取匹配路标关键点;并根据所述匹配路标关键点,利用最小二乘法获取修正量;
根据所述航位推算结果和所述修正量,获取所述定位信息。
第二方面,本申请实施例提供了一种自动泊车的控制系统,环视装置、雷达传感器和主控装置;所述主控装置包括视觉协处理器和中央控制器;
所述视觉协处理器分别与所述环视装置、所述雷达传感器连接;所述视觉协处理器用于根据所述环视装置采集的场景图像,以及所述雷达传感器采集的检测信息,获取数据融合后的栅格地图;
所述中央处理器与所述视觉协处理器连接;所述中央处理器用于根据所述栅格地图,利用多维定位算法获取定位信息,并根据所述定位信息获取自动泊车的轨迹规划结果。
在其中一些实施例中,所述系统还包括车载终端,所述中央控制器与所述车载终端连接,所述中央控制器接收所述车载终端的预设泊车模式;或者,
所述系统还包括所述车载终端和移动终端;所述车载终端与所述移动终端连接,所述中央控制器通过所述车载终端,接收所述移动终端的所述预设泊车模式。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的自动泊车的控制方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的自动泊车的控制方法。
相比于相关技术,本申请实施例提供的自动泊车的控制方法和系统,通过接收环视装置采集的场景图像,以及雷达传感器采集的检测信息;根据该场景图像和该检测信息,获取数据融合后的栅格地图;并根据该场景图像,利用多维定位算法获取定位信息;根据该栅格地图和该定位信息获取自动泊车的轨迹规划结果,解决了自动泊车的控制中效率较低的问题,实现了智能化代客泊车。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为根据本申请实施例的一种自动泊车控制方法的流程图;
图2为根据本申请实施例的另一种自动泊车控制方法的流程图;
图3为根据本申请实施例的一种局部规划算法的流程图;
图4为根据本申请实施例的一种轨迹跟踪算法的流程图;
图5为根据本申请实施例的又一种自动泊车控制方法的流程图;
图6为根据本申请实施例的一种卷积神经网络架构的示意图;
图7为根据本申请实施例的再一种自动泊车控制方法的流程图;
图8为根据本申请实施例的一种多维定位算法的流程图;
图9为根据本申请实施例的一种自动泊车控制系统的结构框图;
图10为根据本申请实施例的另一种自动泊车控制系统的结构框图;
图11为根据本申请实施例的一种自动泊车控制系统结构的示意图;
图12为根据本申请实施例的一种自动泊车控制方法架构的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本实施例中,提供了一种自动泊车的控制方法,图1为根据本申请实施例的一种自动泊车控制方法的流程图,如图1所示,该流程包括如下步骤:
步骤S102,接收环视装置采集的场景图像,以及雷达传感器采集的检测信息,并进行信号预处理;其中,该雷达传感器包括超声波传感器,或者该雷达传感器还可以包括毫米波传感器;需要说明的是,在自动泊车的控制系统中,主控装置包括视觉协处理器和中央控制器;其中,该中央控制器与该视觉协处理器可以集成于同一个硬件设备,包含通用处理单元、视觉处理单元、神经网络加速单元、网关单元、高安全等级微控制器以及各类输入/输出接口;该视觉处理单元主要进行视觉信号采集以及预处理,该神经网络加速单元主要进行视觉感知,该通用处理单元主要进行信号处理、融合以及行车轨迹规划,感知系统信号在中央控制器内部经融合与规划决策,按交互系统用户输入信号,将底层执行机构所需的相应控制信号经控制器局域网络(Controller Area Network,简称为CAN)总线发送至相应执行机构的控制器;
则在进行信号采集和预处理时,该中央控制器通过CAN总线接收各检测信号,并对该检测信号进行信号ID过滤、信号解析以及输入结构体重构;该视觉协处理器接收各场景图像,并对该场景图像进行图像缩放、ROI裁剪、通道裁剪、格式转换以及亮度归一化等预处理;
步骤S104,根据该场景图像和该检测信息,获取数据融合后的栅格地图;并根据该场景图像,利用多维定位算法获取定位信息;其中,该视觉协处理器根据预处理过的场景图像和检测信息,进行目标以及可行驶区域层级数据融合,并获取数据融合后的栅格地图;其中,数据融合是基于环视装置和雷达传感器的各感知结果输入,进行目标以及可行驶区域层级数据融合,进而输出栅格地图;该多维定位算法用于进行多维定位,基于轮速以及车辆运动学信号输入,利用车辆运动学卡尔曼滤波进行航位推算,并依据图像定位路标信息输出进行定位闭环修正并获取包括车辆位置姿态的定位信息。
步骤S106,根据该栅格地图和该定位信息获取自动泊车的轨迹规划结果;其中,基于该栅格地图和该定位信息,可以利用轨迹跟踪算法,实时确定自动泊车轨迹和控制参数。
通过上述步骤S102至步骤S106,通过车端视觉、雷达传感器信号融合,生成泊车场景结构化数据,并依此定位车辆自身位置、规划决策车辆自主驾驶操作,实现家庭、商用泊车场景的车辆自主驾驶与泊车,从而解决了自动泊车的控制中效率较低的问题,实现了全自动化智能代客泊车;并且本申请实施例通过对环视装置以及雷达传感器的数据融合分析,能够感知包括车辆、行人、锥桶等常见泊车场景障碍物,使得自动泊车控制的应用场景更加广泛。
在其中一些实施例中,图2为根据本申请实施例的另一种自动泊车控制方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,获取终端发送的预设泊车模式信息;其中,该终端可以设置为车载终端,即用户可以通过车载终端(CAN总线)与自动泊车的控制系统进行设置该预设泊车模式信息等交互;或者,该终端也可以设置为移动终端,该用户经该移动终端(4G/5G/WIFI协议)由车载终端转发相应信号与系统进行交互;需要说明的是,图2中的步骤S202可以在步骤S102之前执行,也可以在执行步骤S102获取栅格地图之后执行步骤S202,或者同步执行步骤S102与步骤S202。
步骤S204,在根据该栅格地图,利用多维定位算法获取定位信息之后,利用与该预设泊车模式相适应的规划算法,基于场景图像、检测信息以及该定位信息,生成全局路径,该全局路径可与离线地图模块集成一体,进而获取到该轨迹规划结果;其中,该预设泊车模式可以包括:历史轨迹泊车模式、搜索泊车模式和地图指定模式。
通过上述步骤S202至步骤S204,中央处理器基于感知与定位信息,针对预设泊车模式生成相应泊车决策与泊车轨迹,
在其中一些实施例中,在该预设泊车模式为历史轨迹泊车模式的情况下,将该规划算法设置为离散轨迹线段表达式;其中,根据历史行车数据,生成先验泊车路径地图,包含以初始化位置为原点的离散轨迹线段解析表达式以及各路径段的定位语义路标;该预设泊车模式适用于家庭、工作区域具有固定泊车位的使用场景,需完成私人泊车信息(即上述先验特定场景轨迹信息)采集后才能使用相应功能;在历史轨迹泊车模式下,全局路径为唯一路径,不需要通过搜索算法完成。
在该预设泊车模式为搜索泊车模式的情况下,将该规划算法设置为随机搜索算法,并利用该随机搜索算法,根据该定位信息获取该轨迹规划结果;其中,基于泊车场所先验地图信息(即符合定位精度要求的场景语义路标信息),由地图模块播发基于停车场初始化位置坐标系的相应泊车位搜索路径;在搜索泊车模式下,可由RRT或RRT*等随机搜索算法完成,搜索目标可设置为最短路径遍历所有车位;亦可认为预设各停车场的先验寻车位路径,并作为离线信息存储于地图数据中;该搜索泊车模式适用于具备先验地图信息但不具备泊车位调度系统的商业泊车场景。
在该预设泊车模式为地图指定泊车模式的情况下,将该规划算法设置为自动泊车调度算法,并利用该自动泊车调度算法,根据该定位信息获取该轨迹规划结果;其中,基于停车场车位调度系统,自动播发基于停车场初始化位置坐标系的目标泊车位行驶路径;该地图指定泊车模式适用于具备自动泊车调度系统(系统具备离线地图并实时更新场景车流以及空车位情况)的商业泊车场景。
通过上述实施例,针对历史轨迹泊车模式、搜索泊车模式和地图指定泊车模式,利用相应算法获取轨迹规划结果,从而实现了在不同泊车模式下的自动泊车的自适应控制,进一步提高了自动泊车控制的效率。
在其中一些实施例中,利用与该预设泊车模式相适应的规划算法,根据该定位信息获取全局路径信息之后,根据该全局路径信息、该栅格地图和该定位信息,生成驾驶行为状态,并根据该驾驶行为状态获取决策结果;其中,据全局路径、定位、车位搜索以及栅格地图信息,通过状态机生成车辆当前所处驾驶行为状态,并将相应决策状态输入后续局部轨迹规划模块,包括低速行驶、紧急避障以及泊车等行驶决策输出;该轨迹规划结果的获取包括如下步骤:
首先需要进行控制系统的工作和故障状态判断:通过车辆运动学状态实时观测判断控制系统是否处于预设工作域内,即控制系统运行状态下车辆车速、横摆角速度、横/纵向加速度等信号的数值范围是否处于设计工作阈值范围内;通过各感知器件的的工作状态实时观测判断系统是否处于故障状态,即系统运行状态下相机、雷达、处理单元以及执行机构的工作状态是否处于正常范围。若系统处于工作域内且无故障状态,则进入相应决策规划模块,反之则系统进入安全退出状态;
然后获取该决策结果;例如,该决策结果为低速行驶决策,即当控制系统以及车辆系统处于正常状态(无非工作域动力学状态信号以及故障信号),并且车辆处于行车区域时(即车辆不处于泊车车道的起始泊车区域范围内时),系统进入低速行驶状态;
或者该决策结果为泊车决策,即当控制系统以及车辆系统处于正常状态(无非工作域动力学状态信号以及故障信号),并且车辆处于泊车起始区域时(即车辆处于泊车车道的起始泊车区域范围内时),系统进入泊车状态;
或者该决策结果为紧急避障决策,即当自身车辆与运动目标预碰撞时间(TTC)小于预设阈值时,触发紧急避障决策状态,决策触发且相应制动操作完成后系统自动进入待定状态。
或者该决策结果为安全退出决策,即当车辆处于异常或故障状态时,系统按预设规则将车辆停在预定义安全区域内,并向操作者发送接管请求以及车辆定位信息。
或者该决策结果为决策转换,即在上述决策中,低速泊车为状态类决策,决策转换需要在车辆处于驻车/静止状态下进行;紧急避障与安全退出为事件类决策,需要在该决策事件触发的时刻及时进行。
最后根据该决策结果获取该轨迹规划结果;其中,基于全局路径、行为决策状态机以及相应感知结果,生成定预测域局部行驶轨迹;当控制系统处于安全退出以及紧急制动决策状态时,控制系统按预设局部轨迹减速运动至车辆静止状态,进而避免了自动泊车过程中车辆发生碰撞或其他意外事故,提高了自动泊车控制的安全性;当控制系统处于低速行驶或泊车状态时,控制系统进入局部轨迹规划,共包含规划起始点计算、路径规划、速度规划、以及轨迹曲线组合匹配等部分。
通过上述实施例,通过驾驶行为状态确定决策结果,以便控制系统的中央处理器及时对车辆状态进行掌握并分类,进而根据分类后不同的决策结果规划车辆轨迹以及进行车辆控制,有效提高了自动泊车控制的精确度。
在其中一些实施例中,利用局部轨迹算法,根据该决策结果获取该轨迹规划结果,图3为根据本申请实施例的一种局部规划算法的流程图,如图3所示,该流程包括如下步骤:
步骤S302,计算起止点;其中,起始点规划包括轨迹拼接和非轨迹拼接,轨迹拼接即从上一个周期中根据空间和时间最小的原则获取与当前位置对应的轨迹点,将这些轨迹点拼接到当前所获取的参考点集前面;轨迹拼接主要保证每个规划周期的轨迹在空间上的连续性;非轨迹拼接即直接使用车辆当前状态,第一个周期采用非轨迹拼接,后面的周期采用轨迹拼接。
步骤S304,进行路径规划;首先,将起始点坐标转到Frenet坐标系,根据规划起始点和本周期的全局路径参考点,进行路径点采样:纵向距离每隔15米,横向间隔根据纵向距离和采样点个数计算获取,相关参数可配置;基于上述采样点可获取多条线段,利用五次曲线拟合Frenet坐标系下的多条路径曲线;综合考虑路径的平滑性代价以及安全性代价,选取总代价J最小的一条路径为最优路径,如公式1至公式8所示:
J=smoothcost+safetycost 公式1
cost(l)=l2·Kl·f(l) 公式5
步骤S306,进行速度规划;其中,根据栅格地图,规划每一个里程s与时间t,并建立一张代价表,每个点元素的代价指的是该元素和上一个点的和,通过计算获取最后一个点的代价值,根据其中的pre-point属性,回溯一条代价最小的曲线,该代价标里程长度s为横坐标,时间t为纵坐标的曲线,根据v=s/t,a=v/t可得每个点的加速度。
步骤S308,关联轨迹曲线;其中,根据局部规划时间间隔从最优速度曲线上取点,根据点的历程属性,从路径点集汇总获取最近的点,将两者组合则生成最终的轨迹点。
通过上述步骤S302至步骤S308,控制系统的中央处理器设置了局部规划算法,使得控制系统具有局部轨迹规划能力,能够动态优化全局路径,可以避开地图中新增动静态障碍物,从而进一步提高了自动泊车控制的准确性。
在其中一些实施例中,获取该轨迹规划结果之后,利用轨迹跟踪算法,根据该轨迹规划结果和该定位信息确定状态量信息,并根据该状态量信息建立预测模型;根据该预测模型输出控制信号,进而根据该控制信号控制车辆运动;
其中,轨迹跟踪算法是通过模型预设控制,基于定位信息和轨迹规划结果输入,并将输出的目标速度、加速度以及目标方法盘转角(或扭矩),发送至相应的执行控制单元;图4为根据本申请实施例的一种轨迹跟踪算法的流程图,如图4所示,该算法还包括如下步骤:
步骤S402,初始化模型预测控制参数;其中,主要包括预测时域(默认50周期)、控制时域(默认10周期)、控制频率(默认50Hz)、控制输出阈值以及模型预测状态空间矩阵初始化;
步骤S404,进行输入预处理;其中,根据步骤S402中所设置的控制频率参数重置轨迹曲线离散采样点间隔,根据定位信息输出搜索当前车辆预瞄位置处最近邻轨迹点,选取该点为跟踪起点;
步骤S406,进行模型预测控制;其中,状态量为[纵向位置x,侧向位置y,横摆角θ,车速v],控制量为[纵向加速度a,前轮转角δ],控制周期为T,轴距为L,根据车辆运动学公式,通过对定义状态量求一阶偏导近似,建立预测模型如公式9所示:
通过上述模型递归迭代计算预测时域范围内的状态量与控制量,构造代价函数J,如公式10所示,并利用OSQP.org算法库求解最优控制输出;
其中,X定义为[x,y,θ,v,a,δ],下标c代表模型预测状态,下标g代表轨迹规划模块输出状态,n为预测时域长度,Q和R为权重系数矩阵,为平滑因子。
步骤S408,输出控制信号;其中,根据中央控制器与底层执行机构控制器交互协议通过CAN总线输出目标控制信号;模型预测控制器输出的目标减速度经滤波后送入制动控制单元ESC,目标前轮转角经车辆转向系统几何计算后以方向盘转角信号送入转向控制单元EPS,目标加速度经积分运算转换为目标车速后送入动力控制单元MCU,档位信号由目标车速信号符号转换后送入车辆电子控制单元VCU。
通过上述实施例,通过轨迹跟踪算法建立模型进行预测控制,并通过模型预测控制将底层车辆控制信号下发至车辆执行机构,从而实现了自动泊车的实时精确控制,进一步提高了自动泊车控制的准确性。
在其中一些实施例中,提供了一种自动泊车的控制方法。图5为根据本申请实施例的又一种自动泊车控制方法的流程图,如图5所示,该流程包括如下步骤:
步骤S502,将该场景图像输入卷积神经网络进行检测,并输出视觉语义分析结果;其中,基于环视装置采集场景图像输入,利用卷积神经网络进行场景视觉语义分析;图6为根据本申请实施例的一种卷积神经网络架构的示意图,如图6所示,上述检测包括目标检测、可行驶区域检测、定位路标检测以及泊车位分类检测,进而输出车辆周围目标、可行驶区域、泊车位以及定位路标信息;该卷积神经网络经离线训练以及相应的模型压缩移植后部署于相应嵌入式运算平台,以便进行后续运算;
其中,在图6所示的目标检测分支中,输入为预处理后RGB图像,利用卷积神经网络对环视系统图像输入进行多尺度场景特征描述,主要包括卷积、池化、激活、上采样以及通道级联等神经网络运算操作。基于上述离线训练所得特征图谱,利用先验目标候选区域对潜在障碍物区域进行分类与位置回归,网络输出经极大值抑制等后处理操作后,输出预定义目标类别(0-背景,1-汽车,2-行人,3-非机动车,4-柱类障碍物,5-定位路标)及其图像坐标系下的位置(x-中心横坐标,y-中心纵坐标,w-宽度,h-高度);
在图6所示的可行驶区域检测分支中,基于上述特征图谱,选取特定尺度特征经反卷积操作后在预设尺度上进行特征级联以及像素级分类,经上采样、膨胀腐蚀以及置信度过滤等后处理操作,输出二进制可行驶区域mask(0-背景,1-可行驶路面);
在图6所示的泊车位角点检测分支以及泊车位分类分支中,基于上述特征图谱,与可行驶区域分割操作相类似,在特定尺度的特征图谱上进行像素级泊车位角点分类,经置信度阈值过滤后,输出泊车位角点区域mask(0-背景,1-泊车位角点)。根据离线标定相机参数以及先验车位几何模板参数,关联检出泊车位角点生成泊车位感兴趣区域,通过感兴趣区域池化送入泊车位分类分支,输出泊车位类别(0-背景,1-空车位,2-被占车位);
在图6所示的定位标识检测分支中,基于上述特征图谱图谱以及定位路标检测输出结果进行定位路标感兴趣区域池化,将池化后特征送入定位路标分类以及关键点检测分支,输出各定位路标类别(包括初始化路标、地面路标以及空间路标在内共十余类空间定位标识)以及相应关键点的图像坐标位置。
步骤S504,根据该视觉语义分析结果和该检测信息,获取数据融合后的栅格地图;
在其中一些实施例中,获取数据融合后的栅格地图包括如下步骤:获取该环视装置和该雷达传感器的标定结果,离线联合标定环视装置和雷达传感器,其中,环视装置标定通过棋盘格方式进行,雷达传感器安装通过车载安装限位支架完成,进而进行数据坐标对齐;统一参考坐标系定义为:1、坐标原点为车辆正前方前悬最大值中心处,即前保险杠中点处;2、纵向定义为沿车身中心线,侧向定义为纵向的垂直方向;
然后根据该标定结果、该视觉语义分析结果和该检测信息,利用匀速运动学模型获取目标融合结果,并利用车辆运动学模型获取区域融合结果;其中,目标融合分为目标匹配及目标跟踪两部分;基于上述获取到的标定结果中的车辆坐标系,利用匈牙利算法或最近邻算法匹配毫米波雷达以及视觉系统目标检测结果利用卡尔曼滤波,基于车辆匀速运动学模型更新匹配成功目标的输出位置结果,如公式11至公式13所示:
xt=xt-1+Δx 公式11
yt=yt-1+Δy 公式12
zt=[xt,yt]T 公式13
对于行人类目标创建与更新,以视觉检测结果为主;对于车辆等金属类目标,其创建需综合两系统测量结果,位置更新以毫米波雷达为主。上述设置可以通过调节配置观测噪声矩阵实现;
其中,区域融合结果包括可行驶区域级融合;利用上述公式11至公式13所示的横摆平面车辆低速运动学模型,按各装置自身采样频率实时更新园区坐标系下环视装置可行驶区域以及雷达传感器可行驶区域检测结果。
最后根据该目标融合结果和该区域融合结果,获取该栅格地图;其中,在预设分辨率鸟瞰栅格地图上取目标融合结果和该区域融合结果的交集,输出融合后可行驶区域。
通过上述步骤S502至步骤S504,通过视觉系统多任务卷积神经网络语义分析,经目标层级、可行驶区域层级以及泊车位层级信息融合后,输出泊车场景结构化数据,包括目标信息、可行驶区域信息、泊车位信息以及定位标识信息,使得场景检测分析的准确性更高,并且,通过综合上述视觉语义分析结果以及各传感器检测结果并进行融合分析,也可以提高实际应用中各数据分析的准确性,从而进一步提高了自动泊车控制的准确性。
在其中一些实施例中,提供了一种自动泊车的控制方法,图7为根据本申请实施例的再一种自动泊车控制方法的流程图,如图7所示,该流程包括如下步骤:
步骤S702,根据该栅格地图,利用该多维定位算法获取航位推算结果;
步骤S704,根据该航位推算结果获取匹配路标关键点;并根据该匹配路标关键点,利用最小二乘法获取修正量;
步骤S706,根据该航位推算结果和该修正量,获取该定位信息;
在其中一些实施例中,通过多维定位算法,基于轮速以及车辆运动学信号输入,利用车辆运动学卡尔曼滤波进行航位推算,并依据图像定位路标信息输出进行定位闭环修正;图8为根据本申请实施例的一种多维定位算法的流程图,如图8所示,该算法包括如下步骤:
步骤S802,获取园区定位初始化结果;在预设停车场入口搜索范围内(可根据GPS定位信号等)进行停车场定位初始化;基于视觉定位路标检测输出信息,时序多帧确认初始化路标识别结果;支持的初始化定位路标包括停车场入库闸机以及空间标识牌组合等;根据上述步骤S504中获取的环视装置的离线标定结果,计算该初始化路标的相对位置;例如,该初始化路标可以为闸机,则根据平面路面模型假设计算该闸机的相对初始化位置;或者该初始化路标为组合标识牌,则根据其先验几何尺寸信息计算该组合标识牌的相对初始化位置。
步骤S804,获取航位推算结果;其中,基于车辆运动学信号输入,在无视觉定位信号矫正的情况下,利用运动学卡尔曼滤波状态更新车辆位置姿态,如公式14至公式16所示:
θt=θt-1+ωt×ts 公式14
xt=xt-1+vt×ts×cosθt 公式15
yt=yt-1+vt×ts×sinθt 公式16
其中,θt为航向角,xt为全局横纵向车辆位置,yt为车辆角速度,ωt为车速。
步骤S806,进行视觉定位闭环校正;其中,基于环视系统定位路标结果输出,按预设距离阈值根据历史航位推算结果与离线地图所存信息进行定位路标匹配,读取该匹配路标的关键点,通过最小二乘法进行解算对应的偏差角度及位移量,得到车辆当前位置姿态的修正量;在定位路标匹配更新的情况下,利用卡尔曼滤波观测更新,基于定位结果闭环校正车辆位置姿态,状态量如公式14至公式16所示,为[θt,xt,yt],观测空间为单位矩阵。
通过上述步骤S702至步骤S706,通过同时地图创建与定位能力,使得自动泊车控制可以应用于不具备地图与调度能力的家庭、工作等重复泊车场景,从而进一步增加了自动泊车控制的应用场景;并且,根据各检测信号,利用匀速车辆运动学方程进行位姿状态更新,并利用视觉定位标识信息与地图定位关键点匹配结果进行定位校正,有利于提高自动泊车控制的精确度。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中,提供了一种自动泊车的控制系统,图9为根据本申请实施例的一种自动泊车控制系统的结构框图,如图9所示,该控制系统包括:环视装置902、雷达传感器904和主控装置906;该主控装置906包括视觉协处理器908和中央控制器910;
该视觉协处理器908分别与该环视装置902、该雷达传感器904连接;该视觉协处理器908用于根据该环视装置902采集的场景图像,以及该雷达传感器904采集的检测信息,获取数据融合后的栅格地图;该中央处理器910与该视觉协处理器908连接;该中央处理器910用于根据该栅格地图,利用多维定位算法获取定位信息,并根据该定位信息获取自动泊车的轨迹规划结果。
通过上述实施例,视觉协处理器908通过车端视觉、雷达传感器904信号融合,生成泊车场景结构化数据,中央处理器910依此定位车辆自身位置、规划决策车辆自主驾驶操作,实现家庭、商用泊车场景的车辆自主驾驶与泊车,从而解决了自动泊车的控制中效率较低的问题,实现了全自动化智能代客泊车;并且本申请实施例通过对环视装置902以及雷达传感器904的数据融合分析,能够感知包括车辆、行人、锥桶等常见泊车场景障碍物,使得自动泊车控制的应用场景更加广泛。
在其中一些实施例中,提供了一种自动泊车的控制系统,图10为根据本申请实施例的另一种自动泊车控制系统的结构框图,如图10所示,该控制系统还包括车载终端1002,该中央控制器910与该车载终端1002连接,该中央控制器910接收该车载终端1002的预设泊车模式;或者,该控制系统还包括该车载终端1002和移动终端1004;该车载终端1002与该移动终端1004连接,该中央控制器910通过该车载终端1002,接收该移动终端1004的该预设泊车模式。
在其中一些实施例中,该中央控制器910还用于获取终端发送的预设泊车模式信息;该中央控制器910利用与该预设泊车模式相适应的规划算法,根据该定位信息获取该轨迹规划结果。
在其中一些实施例中,该中央控制器910还用于在该预设泊车模式为历史轨迹泊车模式的情况下,将该规划算法设置为离散轨迹线段表达式,并利用该离散轨迹线段表达式,根据该定位信息获取该轨迹规划结果;该中央控制器910在该预设泊车模式为搜索泊车模式的情况下,将该规划算法设置为随机搜索算法,并利用该随机搜索算法,根据该定位信息获取该轨迹规划结果;该中央控制器910在该预设泊车模式为地图指定泊车模式的情况下,将该规划算法设置为自动泊车调度算法,并利用该自动泊车调度算法,根据该定位信息获取该轨迹规划结果。
在其中一些实施例中,该中央控制器910还用于利用与该预设泊车模式相适应的规划算法,根据该定位信息获取全局路径信息;该中央控制器910根据该全局路径信息、该栅格地图和该定位信息,生成驾驶行为状态,并根据该驾驶行为状态获取决策结果;该中央控制器910根据该决策结果获取该轨迹规划结果。
在其中一些实施例中,该中央控制器910还用于在该决策结果为泊车决策或低速行驶决策的情况下,根据轨迹拼接获取起始点坐标,并根据该起始点坐标拟合路径曲线;该中央控制器910利用路径平滑性,根据该路径曲线确定最优路径;并根据该栅格地图获取最优路径中各点的加速度;该中央控制器910根据该最优路径和该加速度,获取该轨迹规划结果。
在其中一些实施例中,该中央控制器910还用于利用轨迹跟踪算法,根据该轨迹规划结果和该定位信息确定状态量信息,并根据该状态量信息建立预测模型;根据该预测模型输出控制信号,进而根据该控制信号控制车辆运动。
在其中一些实施例中,该中央控制器910还用于在该决策结果为紧急避障决策或安全退出决策的情况下,控制车辆根据生成的预测局部轨迹,减速运动至车辆静止状态。
在其中一些实施例中,该视觉协处理器908还用于将该场景图像输入卷积神经网络进行检测,并输出视觉语义分析结果;该视觉协处理器908根据该视觉语义分析结果和该检测信息,获取数据融合后的栅格地图。
在其中一些实施例中,该视觉协处理器908还用于获取该环视装置902和该雷达传感器904的标定结果;该视觉协处理器908根据该标定结果、该视觉语义分析结果和该检测信息,利用匀速运动学模型获取目标融合结果,并利用车辆运动学模型获取区域融合结果;该视觉协处理器908根据该目标融合结果和该区域融合结果,获取该栅格地图。
在其中一些实施例中,该视觉协处理器908还用于根据该栅格地图,利用该多维定位算法获取航位推算结果;该视觉协处理器908根据该航位推算结果获取匹配路标关键点;并根据该匹配路标关键点,利用最小二乘法获取修正量;该视觉协处理器908根据该航位推算结果和该修正量,获取该定位信息。
下面结合实际应用场景对本发明的实施例进行详细说明,图11为根据本申请实施例的一种自动泊车控制系统结构的示意图,如图11所示,本申请实施例提出了一种低速自主泊车系统,能够实现泊车场景下驾驶里程“最后一公里”的车辆自动驾驶;其中,该控制系统硬件架构包括:环视装置902、超声波雷达传感器、毫米波雷达传感器、轮速计、陀螺仪、视觉协处理器908、中央控制器910、动力执行机构、转向执行机构以及交互系统等。
环视装置902共包含4个鱼眼相机,各相机水平视场角为180°,通过同轴线缆或车载以太网传输到视觉协处理器908(结构上可与中央控制器910集成一体)中,经视觉泊车位、目标以及可行域检测等视觉分析后,按预定义数据接口送入多层级的中央控制器910;超声波雷达系统作为可选项,该超声波雷达系统共包含12个超声波雷达传感器,分别水平向外安装于车辆前后保险杠以及车身两侧高度50cm处,信号由I/O接口输入中央控制器910;车辆前后为避撞雷达,水平探测视场角为60°,最远探测距离为3米;车辆两侧为车位探测雷达,水平探测视场角为30°,最远探测距离为5米;毫米波雷达系统共包含5个77GHz毫米波雷达,分别水平向外安装于车辆正前方以及四个拐角处,正前方毫米波雷达探测距离200米,角落处毫米波雷达探测距离80米,信号由独立CAN(或CANFD)总线输入中央控制器910;该中央控制器910与视觉协处理器908集成于同一个硬件结构,包含通用处理单元、视觉处理单元、神经网络加速单元、网关单元、高安全等级微控制器以及各类输入/输出接口。其中,视觉处理单元主要进行视觉信号采集以及预处理,神经网络加速单元主要进行通用处理单元主要进行感知系统信号后处理、融合以及行车轨迹规划,感知系统信号在中央控制器910内部经融合与规划决策,按交互系统用户输入信号,将底层执行机构所需的相应控制信号经CAN总线发送至相应执行机构的控制器;需要说明的是,本申请实施例中所涉及的硬件系统方案与多数可量产高速自动驾驶系统一致,因此该硬件系统方案可集成于此类系统分时复用相关硬件资源。
图12为根据本申请实施例的一种自动泊车控制方法架构的示意图,如图12所示,根据泊车场景先验信息条件,分为“历史轨迹代客泊车”、“搜索泊车”以及“地图指定泊车”三种模式;系统基于离线地图先验信息以及用户输入配置信息内容,选择系统当前所处模式;算法主要由感知、融合、定位、规划与控制等模块构成;
其中,对通过离线地图、轮速及、陀螺仪、环视装置、毫米波雷达传感器和超声波雷达传感器的地图、轮速、运动学状态、场景图像、毫米波雷达检测信号和超声波雷达检测信号进行信号采集和预处理;然后对处理后的场景图像进行视觉感知输出视觉路标、可行驶区域和泊车位信息;根据该视觉路标、泊车位信息、地图、轮速和运动状态学输入进行多维定位,输出车辆位姿;同时,根据毫米波雷达检测信号、超声波雷达检测信号,进行目标融合以及可行驶区域融合,并输出栅格地图;
用户通过HMI输入配置信息进行交互,根据该配置信息和地图选择预设泊车模式,并根据该预设泊车模式进行全局路径规划输出全局路径;根据车辆位姿、泊车位信息、栅格地图和全局路径进行行为规划并输出行为模式;根据行为模式进行局部轨迹规划输出目标轨迹;最后根据车辆位姿和目标规矩进行轨迹跟踪控制,并将输出的目标车速、目标减速度、目标转向角和目标档位,分别发送给MCU、ESC、EPS和VCU,从而实现自动泊车的全自动化智能控制。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种自动泊车的控制方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述各实施例提供的自动泊车的控制方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各个实施例提供的自动泊车的控制方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种自动泊车的控制方法,其特征在于,所述方法包括:
接收环视装置采集的场景图像,以及雷达传感器采集的检测信息;
根据所述场景图像和所述检测信息,获取数据融合后的栅格地图;并根据所述场景图像,利用多维定位算法获取定位信息;
根据所述栅格地图和所述定位信息获取自动泊车的轨迹规划结果。
2.根据权利要求1所述的控制方法,其特征在于,所述根据所述栅格地图和所述定位信息获取自动泊车的轨迹规划结果包括:
获取终端发送的预设泊车模式信息;
利用与所述预设泊车模式相适应的规划算法,根据所述栅格地图和所述定位信息获取所述轨迹规划结果。
3.根据权利要求2所述的控制方法,其特征在于,所述利用与所述预设泊车模式相适应的规划算法,根据所述栅格地图和所述定位信息获取所述轨迹规划结果包括:
在所述预设泊车模式为历史轨迹泊车模式的情况下,将所述规划算法设置为离散轨迹线段表达式,并利用所述离散轨迹线段表达式,根据所述栅格地图和所述定位信息获取所述轨迹规划结果;
在所述预设泊车模式为搜索泊车模式的情况下,将所述规划算法设置为随机搜索算法,并利用所述随机搜索算法,根据所述栅格地图和所述定位信息获取所述轨迹规划结果;
在所述预设泊车模式为地图指定泊车模式的情况下,将所述规划算法设置为自动泊车调度算法,并利用所述自动泊车调度算法,根据所述栅格地图和所述定位信息获取所述轨迹规划结果。
4.根据权利要求2所述的控制方法,其特征在于,所述利用与所述预设泊车模式相适应的规划算法,根据所述栅格地图和所述定位信息获取所述轨迹规划结果包括:
利用与所述预设泊车模式相适应的规划算法获取全局路径信息;
根据所述全局路径信息、所述栅格地图和所述定位信息,生成驾驶行为状态,并根据所述驾驶行为状态获取决策结果;
根据所述决策结果获取所述轨迹规划结果。
5.根据权利要求4所述的控制方法,其特征在于,所述根据所述决策结果获取所述轨迹规划结果包括:
在所述决策结果为泊车决策或低速行驶决策的情况下,根据轨迹拼接获取起始点坐标,并根据所述起始点坐标拟合路径曲线;
利用路径平滑性,根据所述路径曲线确定最优路径;并根据所述栅格地图获取最优路径中各点的加速度;
根据所述最优路径和所述加速度,获取所述轨迹规划结果。
6.根据权利要求5所述的控制方法,其特征在于,所述获取所述轨迹规划结果之后,所述方法还包括:
利用轨迹跟踪算法,根据所述轨迹规划结果和所述定位信息确定状态量信息,并根据所述状态量信息建立预测模型;
根据所述预测模型输出控制信号,进而根据所述控制信号控制车辆运动。
7.根据权利要求4所述的控制方法,其特征在于,所述根据所述决策结果获取所述轨迹规划结果还包括:
在所述决策结果为紧急避障决策或安全退出决策的情况下,控制车辆根据生成的预测局部轨迹,减速运动至车辆静止状态。
8.根据权利要求1所述的控制方法,其特征在于,所述根据所述场景图像和所述检测信息,获取数据融合后的栅格地图;并根据所述场景图像,利用多维定位算法获取定位信息包括:
将所述场景图像输入卷积神经网络进行检测,并输出视觉语义分析结果;
根据所述视觉语义分析结果和所述检测信息,获取数据融合后的栅格地图;并根据所述视觉语义分析结果获取所述定位信息。
9.根据权利要求8所述的控制方法,其特征在于,所述根据所述视觉语义分析结果和所述检测信息,获取数据融合后的栅格地图包括:
获取所述环视装置和所述雷达传感器的标定结果;
根据所述标定结果、所述视觉语义分析结果和所述检测信息,利用匀速运动学模型获取目标融合结果,并利用车辆运动学模型获取区域融合结果;
根据所述目标融合结果和所述区域融合结果,获取所述栅格地图。
10.根据权利要求1所述的控制方法,其特征在于,所述根据所述场景图像,利用多维定位算法获取定位信息包括:
根据所述场景图像,利用所述多维定位算法获取航位推算结果;
根据所述航位推算结果获取匹配路标关键点;并根据所述匹配路标关键点,利用最小二乘法获取修正量;
根据所述航位推算结果和所述修正量,获取所述定位信息。
11.一种自动泊车的控制系统,其特征在于,所述系统包括:环视装置、雷达传感器和主控装置;所述主控装置包括视觉协处理器和中央控制器;
所述视觉协处理器分别与所述环视装置、所述雷达传感器连接;所述视觉协处理器用于根据所述环视装置采集的场景图像,以及所述雷达传感器采集的检测信息,获取数据融合后的栅格地图;
所述中央处理器与所述视觉协处理器连接;所述中央处理器用于根据所述栅格地图,利用多维定位算法获取定位信息,并根据所述定位信息获取自动泊车的轨迹规划结果。
12.根据权利要求11所述的控制系统,其特征在于,所述系统还包括车载终端,所述中央控制器与所述车载终端连接,所述中央控制器接收所述车载终端的预设泊车模式;或者,
所述系统还包括所述车载终端和移动终端;所述车载终端与所述移动终端连接,所述中央控制器通过所述车载终端,接收所述移动终端的所述预设泊车模式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010667804.2A CN111976718B (zh) | 2020-07-13 | 2020-07-13 | 自动泊车的控制方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010667804.2A CN111976718B (zh) | 2020-07-13 | 2020-07-13 | 自动泊车的控制方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111976718A true CN111976718A (zh) | 2020-11-24 |
CN111976718B CN111976718B (zh) | 2022-03-01 |
Family
ID=73437662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010667804.2A Active CN111976718B (zh) | 2020-07-13 | 2020-07-13 | 自动泊车的控制方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111976718B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112434682A (zh) * | 2021-01-27 | 2021-03-02 | 知行汽车科技(苏州)有限公司 | 基于多传感器的数据融合方法、装置及存储介质 |
CN112506196A (zh) * | 2020-12-07 | 2021-03-16 | 合肥工业大学 | 基于先验知识的机器人避障方法和系统 |
CN112562409A (zh) * | 2020-12-04 | 2021-03-26 | 上海淞泓智能汽车科技有限公司 | 一种基于多接入边缘计算的自主泊车系统及方法 |
CN113830081A (zh) * | 2021-11-24 | 2021-12-24 | 北京四维图新科技股份有限公司 | 一种基于融合定位的自动泊车方法、装置及存储介质 |
CN113984403A (zh) * | 2021-09-13 | 2022-01-28 | 惠州市德赛西威智能交通技术研究院有限公司 | 一种Autobox端实时泊车试验台及泊车测试方法 |
CN114750750A (zh) * | 2022-04-28 | 2022-07-15 | 南阳理工学院 | 一种自动泊车的最优跟踪控制方法、系统、设备和介质 |
CN115035728A (zh) * | 2020-12-28 | 2022-09-09 | 苏州易航远智智能科技有限公司 | 基于云端共享和地图融合的自主泊车系统和方法 |
CN115376347A (zh) * | 2022-10-26 | 2022-11-22 | 禾多科技(北京)有限公司 | 智驾域控制器以及车辆的控制方法 |
WO2022252220A1 (zh) * | 2021-06-01 | 2022-12-08 | 山东建筑大学 | 一种多轴线平板车精准停靠系统及方法 |
CN115828608A (zh) * | 2022-12-12 | 2023-03-21 | 中汽院智能网联科技有限公司 | 用于智能泊车测试的场景构建方法 |
CN116101269A (zh) * | 2023-01-03 | 2023-05-12 | 广州汽车集团股份有限公司 | 一种对自动泊车过程进行安全监控的方法、系统及车辆 |
CN113984403B (zh) * | 2021-09-13 | 2024-06-07 | 惠州市德赛西威智能交通技术研究院有限公司 | 一种Autobox端实时泊车试验台及泊车测试方法 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004001555A1 (de) * | 2004-01-10 | 2005-08-04 | Robert Bosch Gmbh | Verfahren und System für die Spurführung eines Fahrzeugs |
CN107600067A (zh) * | 2017-09-08 | 2018-01-19 | 中山大学 | 一种基于多视觉惯导融合的自主泊车系统及方法 |
CN108482366A (zh) * | 2018-03-23 | 2018-09-04 | 重庆长安汽车股份有限公司 | 基于车辆自动驾驶的代客泊车系统及方法 |
CN109031346A (zh) * | 2018-07-09 | 2018-12-18 | 江苏大学 | 一种基于3d激光雷达的周边泊车位辅助检测方法 |
CN109131317A (zh) * | 2018-07-23 | 2019-01-04 | 同济大学 | 基于多段式规划与机器学习的自动垂直泊车系统及方法 |
CN109186586A (zh) * | 2018-08-23 | 2019-01-11 | 北京理工大学 | 一种面向动态泊车环境的同时定位及混合地图构建方法 |
CN110371108A (zh) * | 2019-06-14 | 2019-10-25 | 浙江零跑科技有限公司 | 车载超声波雷达与车载环视系统融合方法 |
CN110517526A (zh) * | 2019-08-14 | 2019-11-29 | 北京智行者科技有限公司 | 一种代客泊车方法和系统 |
CN110562244A (zh) * | 2019-08-07 | 2019-12-13 | 武汉乐庭软件技术有限公司 | 一种基于目标停车位出库的自动泊车轨迹规划方法 |
CN110696818A (zh) * | 2019-10-12 | 2020-01-17 | 深圳市布谷鸟科技有限公司 | 一种基于最优路径的自动泊车方法及系统 |
CN110775052A (zh) * | 2019-08-29 | 2020-02-11 | 浙江零跑科技有限公司 | 一种基于视觉与超声波感知融合的自动泊车方法 |
CN110867132A (zh) * | 2019-10-15 | 2020-03-06 | 百度在线网络技术(北京)有限公司 | 环境感知的方法、装置、电子设备和计算机可读存储介质 |
CN110901632A (zh) * | 2019-11-29 | 2020-03-24 | 长城汽车股份有限公司 | 一种自动泊车控制方法及装置 |
CN111016887A (zh) * | 2019-12-23 | 2020-04-17 | 深圳市豪恩汽车电子装备股份有限公司 | 机动车自动泊车装置及方法 |
CN111311925A (zh) * | 2020-01-21 | 2020-06-19 | 北京百度网讯科技有限公司 | 车位的检测方法和装置、电子设备、车辆、存储介质 |
-
2020
- 2020-07-13 CN CN202010667804.2A patent/CN111976718B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004001555A1 (de) * | 2004-01-10 | 2005-08-04 | Robert Bosch Gmbh | Verfahren und System für die Spurführung eines Fahrzeugs |
CN107600067A (zh) * | 2017-09-08 | 2018-01-19 | 中山大学 | 一种基于多视觉惯导融合的自主泊车系统及方法 |
CN108482366A (zh) * | 2018-03-23 | 2018-09-04 | 重庆长安汽车股份有限公司 | 基于车辆自动驾驶的代客泊车系统及方法 |
CN109031346A (zh) * | 2018-07-09 | 2018-12-18 | 江苏大学 | 一种基于3d激光雷达的周边泊车位辅助检测方法 |
CN109131317A (zh) * | 2018-07-23 | 2019-01-04 | 同济大学 | 基于多段式规划与机器学习的自动垂直泊车系统及方法 |
CN109186586A (zh) * | 2018-08-23 | 2019-01-11 | 北京理工大学 | 一种面向动态泊车环境的同时定位及混合地图构建方法 |
CN110371108A (zh) * | 2019-06-14 | 2019-10-25 | 浙江零跑科技有限公司 | 车载超声波雷达与车载环视系统融合方法 |
CN110562244A (zh) * | 2019-08-07 | 2019-12-13 | 武汉乐庭软件技术有限公司 | 一种基于目标停车位出库的自动泊车轨迹规划方法 |
CN110517526A (zh) * | 2019-08-14 | 2019-11-29 | 北京智行者科技有限公司 | 一种代客泊车方法和系统 |
CN110775052A (zh) * | 2019-08-29 | 2020-02-11 | 浙江零跑科技有限公司 | 一种基于视觉与超声波感知融合的自动泊车方法 |
CN110696818A (zh) * | 2019-10-12 | 2020-01-17 | 深圳市布谷鸟科技有限公司 | 一种基于最优路径的自动泊车方法及系统 |
CN110867132A (zh) * | 2019-10-15 | 2020-03-06 | 百度在线网络技术(北京)有限公司 | 环境感知的方法、装置、电子设备和计算机可读存储介质 |
CN110901632A (zh) * | 2019-11-29 | 2020-03-24 | 长城汽车股份有限公司 | 一种自动泊车控制方法及装置 |
CN111016887A (zh) * | 2019-12-23 | 2020-04-17 | 深圳市豪恩汽车电子装备股份有限公司 | 机动车自动泊车装置及方法 |
CN111311925A (zh) * | 2020-01-21 | 2020-06-19 | 北京百度网讯科技有限公司 | 车位的检测方法和装置、电子设备、车辆、存储介质 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112562409A (zh) * | 2020-12-04 | 2021-03-26 | 上海淞泓智能汽车科技有限公司 | 一种基于多接入边缘计算的自主泊车系统及方法 |
CN112562409B (zh) * | 2020-12-04 | 2022-11-15 | 上海淞泓智能汽车科技有限公司 | 一种基于多接入边缘计算的自主泊车系统及方法 |
CN112506196A (zh) * | 2020-12-07 | 2021-03-16 | 合肥工业大学 | 基于先验知识的机器人避障方法和系统 |
CN115035728A (zh) * | 2020-12-28 | 2022-09-09 | 苏州易航远智智能科技有限公司 | 基于云端共享和地图融合的自主泊车系统和方法 |
CN112434682A (zh) * | 2021-01-27 | 2021-03-02 | 知行汽车科技(苏州)有限公司 | 基于多传感器的数据融合方法、装置及存储介质 |
WO2022252220A1 (zh) * | 2021-06-01 | 2022-12-08 | 山东建筑大学 | 一种多轴线平板车精准停靠系统及方法 |
CN113984403A (zh) * | 2021-09-13 | 2022-01-28 | 惠州市德赛西威智能交通技术研究院有限公司 | 一种Autobox端实时泊车试验台及泊车测试方法 |
CN113984403B (zh) * | 2021-09-13 | 2024-06-07 | 惠州市德赛西威智能交通技术研究院有限公司 | 一种Autobox端实时泊车试验台及泊车测试方法 |
CN113830081A (zh) * | 2021-11-24 | 2021-12-24 | 北京四维图新科技股份有限公司 | 一种基于融合定位的自动泊车方法、装置及存储介质 |
CN114750750A (zh) * | 2022-04-28 | 2022-07-15 | 南阳理工学院 | 一种自动泊车的最优跟踪控制方法、系统、设备和介质 |
CN115376347A (zh) * | 2022-10-26 | 2022-11-22 | 禾多科技(北京)有限公司 | 智驾域控制器以及车辆的控制方法 |
CN115828608A (zh) * | 2022-12-12 | 2023-03-21 | 中汽院智能网联科技有限公司 | 用于智能泊车测试的场景构建方法 |
CN116101269A (zh) * | 2023-01-03 | 2023-05-12 | 广州汽车集团股份有限公司 | 一种对自动泊车过程进行安全监控的方法、系统及车辆 |
CN116101269B (zh) * | 2023-01-03 | 2024-03-19 | 广州汽车集团股份有限公司 | 一种对自动泊车过程进行安全监控的方法、系统及车辆 |
Also Published As
Publication number | Publication date |
---|---|
CN111976718B (zh) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111976718B (zh) | 自动泊车的控制方法和系统 | |
US11932284B2 (en) | Trajectory setting device and trajectory setting method | |
US10073456B2 (en) | Automated co-pilot control for autonomous vehicles | |
US11498577B2 (en) | Behavior prediction device | |
CN111653113B (zh) | 车辆的局部路径确定方法、装置、终端和存储介质 | |
US11625038B2 (en) | Autonomous driving device | |
JP6601696B2 (ja) | 予測装置、予測方法、およびプログラム | |
CN113267199B (zh) | 行驶轨迹规划方法及装置 | |
US20220373353A1 (en) | Map Updating Method and Apparatus, and Device | |
JP2003536096A (ja) | 追跡マップジェネレータ | |
CN111986128A (zh) | 偏心图像融合 | |
CN111522350A (zh) | 感知方法、智能控制设备及自动驾驶车辆 | |
CN117440908A (zh) | 用于自动驾驶系统中基于图神经网络的行人动作预测的方法和系统 | |
DE102018103473A1 (de) | Wirksamer rollradius | |
JP2023548879A (ja) | 交通流情報の決定方法、装置、電子機器及び記憶媒体 | |
CN112950927B (zh) | 使用众感数据进行交通灯定位和映射的方法和设备 | |
US20220198203A1 (en) | Three dimensional traffic sign detection | |
US11100344B2 (en) | Image-based three-dimensional lane detection | |
CN114084132A (zh) | 控制方法与装置、终端设备 | |
CN116580374A (zh) | 车辆定位 | |
US11640173B2 (en) | Control apparatus, control method, and computer-readable storage medium storing program | |
US20230080281A1 (en) | Precautionary observation zone for vehicle routing | |
CN112249010A (zh) | 车辆自动紧急制动的控制方法和装置及存储介质 | |
US20230322268A1 (en) | Determining Criticality for Autonomous Driving | |
US11869250B2 (en) | Systems and methods for detecting traffic objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 310051 Room 301, building 3, no.2930, South Ring Road, Puyan street, Binjiang District, Hangzhou City, Zhejiang Province Applicant after: Zhejiang huaruijie Technology Co.,Ltd. Address before: 310051 Room 301, building 3, no.2930, South Ring Road, Puyan street, Binjiang District, Hangzhou City, Zhejiang Province Applicant before: Zhejiang Dahua Automobile Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |