CN107856667B - 辅助泊车系统和方法 - Google Patents

辅助泊车系统和方法 Download PDF

Info

Publication number
CN107856667B
CN107856667B CN201711093865.7A CN201711093865A CN107856667B CN 107856667 B CN107856667 B CN 107856667B CN 201711093865 A CN201711093865 A CN 201711093865A CN 107856667 B CN107856667 B CN 107856667B
Authority
CN
China
Prior art keywords
lines
fitting
vehicle
parking space
target parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711093865.7A
Other languages
English (en)
Other versions
CN107856667A (zh
Inventor
郑祥祥
郭涛
杨珩
龙思源
胡诗卉
胡金水
刘庆峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN201711093865.7A priority Critical patent/CN107856667B/zh
Publication of CN107856667A publication Critical patent/CN107856667A/zh
Application granted granted Critical
Publication of CN107856667B publication Critical patent/CN107856667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means

Abstract

本发明公开了一种辅助泊车系统及方法,该系统包括:监测模块,包括设置在车辆上的一个或多个摄像头,所述摄像头用于采集车身周围图像;人机交互触摸屏,用于显示所述摄像头采集的图像;目标车位确定模块,用于确定在车辆坐标系中的目标车位;路径规划模块,用于根据车辆当前位置及所述目标车位进行路径规划,得到规划路径;控制模块,用于根据所述规划路径完成泊车。利用本发明,即使在周围环境复杂、无明显停车线等情况下,也能够得到准确的规划路径,对用户进行有效的泊车辅助。

Description

辅助泊车系统和方法
技术领域
本发明涉及辅助驾驶领域,具体涉及一种辅助泊车系统和方法。
背景技术
目前,汽车已经成为人类日常生活中不可替代的交通工具。然而,对于很多驾驶员特别是新手来说,泊车是一件相当棘手的事情,特别是当前车辆大量增多,车位紧张的情况下,泊车更是经常发生刮蹭等事故,给车主带来不必要的麻烦。泊车辅助系统可以大幅度提高泊车的安全性和效率,目前,一般只有部分高端车型搭载泊车辅助系统,但多是支持倒车雷达或者倒车影像的方式提示驾驶员进行操作。因此,一种高效的泊车辅助系统对提升用户体验,降低事故发生概率十分有必要。
现有的泊车辅助系统通常分为四个部分:外部环境感知、泊车路径规划、路径跟随控制和人机交互。其中外部环境感知包括障碍物检测、车位检测等等,现有不同的泊车辅助系统的区别之一在于外部环境感知的方式不同,传统方式采用的是使用超声波或者雷达识别相邻车来构建局部3D信息来检测车位的方法。基于超声波或者激光雷达的方法主要对障碍物进行检测,只有在车位周边的其他车位有障碍物的情况下才能通过构建局部3D信息来检测车位。另外,超声传感器存在精度低、探测距离短等缺陷,为了找到车位需要在车身四周安装大量探头,适用性不大且可靠性不高。激光雷达精度高,但是其成本高、寿命短且体积大,在汽车应用中不太现实。
随着机器视觉的不断发展,通过检测直线或者检测角点来测量车位和确定泊车环境成为目前车位检测技术的主流,但是车位线经常会存在模糊不清,甚至不存在车位线的情况,这也限制了机器视觉方法在车位检测上的应用。
发明内容
本发明实施例提供一种辅助泊车系统和方法,以解决现有技术中对停车周围环境比较复杂,如周围车辆多、杂乱、无明显停车线等情况,无法进行准确泊车的问题。
为此,本发明提供如下技术方案:
一种辅助泊车系统,包括:
监测模块,包括设置在车辆上的一个或多个摄像头,所述摄像头用于采集车身周围图像;
人机交互触摸屏,用于显示所述摄像头采集的图像;
目标车位确定模块,用于确定在车辆坐标系中的目标车位;
路径规划模块,用于根据车辆当前位置及所述目标车位进行路径规划,得到规划路径;
控制模块,用于根据所述规划路径完成泊车。
优选地,所述系统还包括:
图像处理模块,分别与所述摄像头及所述人机交互触摸屏相连,用于对所述摄像头采集的图像进行处理,得到处理后的图像,并将所述处理后的图像输出到所述人机交互触摸屏进行显示,所述处理后的图像包含目标车位。
优选地,所述目标车位确定模块包括:画线辅助模块,和/或模型辅助模块;
所述画线辅助模块,用于根据人工在所述人机交互触摸屏上画出的线段确定在车辆坐标系中的目标车位;
所述模型辅助模块,用于通过在所述人机交互触摸屏上显示虚拟车辆,并根据人工在所述人机交互触摸屏上拖动所述虚拟车辆最终到达的位置确定在车辆坐标系中的目标车位。
优选地,所述画线辅助模块具体通过以下方式确定在车辆坐标系中的目标车位:获取人工根据目标车位类型对目标车位所画的两条初始直线:对于车位类型为垂直车位的情况,所述两条初始直线位于目标车位两侧;对于车位类型为平行车位的情况,所述两条初始直线位于目标车位前后;对所述两条初始直线进行拟合,得到满足安全要求的最终拟合线;根据所述最终拟合线确定在车辆坐标系中的目标车位。
优选地,所述对所述两条初始直线进行拟合,得到满足安全要求的最终拟合线包括:
对画出的两条初始直线s1、s2进行直线拟合,根据得到的两拟合线的斜率差和距离确定是否满足安全要求;
如果是,则将当前两拟合线作为最终拟合线;
否则,提示用户重新对目标车位进行画线,然后重新进行直线拟合。
优选地,所述对画出的两条初始直线s1、s2进行直线拟合,根据得到的两拟合线的斜率差和距离确定是否满足安全要求包括:
(1)对画出的两条初始直线s1、s2进行直线拟合,得到对应的两条拟合线l1、l2及其各自的斜率;
(2)计算所述两条拟合线l1、l2的斜率差;如果两条拟合线l1、l2的斜率差大于设定阈值,则确定不满足安全要求;如果所述两条拟合线l1、l2的斜率差大于0并且小于等于所述设定阈值,则执行步骤(3);如果所述两条拟合线l1、l2的斜率差等于0,则计算所述两条拟合线l1、l2之间的距离,然后执行步骤(4);
(3)将其中一条拟合线l1或l2作为标准直线,重新拟合另一条初始直线s2或s1,得到对应的新拟合线l′2或l′1;计算所述标准直线和所述新拟合线之间的距离;
(4)判断所述距离是否在设定的安全距离内;如果所述距离在设定的安全距离内,则确定满足安全要求;否则,确定不满足安全要求。
优选地,所述模型辅助模块包括:
虚拟模型生成单元,用于根据车辆当前位置在人机交互界面显示的图像中插入虚拟车辆模型;
跟踪单元,用于获取用户手动拖动所述虚拟车辆模型到达的目标位置,并将所述目标位置作为在车辆坐标系中的目标车位。
一种辅助泊车方法,包括:
利用设置在车辆上的摄像头采集车身周围图像;
在人机交互触摸屏上显示所述摄像头采集的图像;
确定在车辆坐标系中的目标车位;
根据车辆当前位置及所述目标车位进行路径规划,得到规划路径;
根据所述规划路径完成泊车。
优选地,所述方法还包括:
对所述摄像头采集的图像进行处理,得到处理后的图像,并在所述人机交互触摸屏上显示所述处理后的图像,所述处理后的图像包含目标车位。
优选地,所述确定在车辆坐标系中的目标车位包括:画线辅助方式,和/或模型辅助方式;
所述画线辅助方式:根据人工在所述人机交互触摸屏上画出的线段确定在车辆坐标系中的目标车位;
所述模型辅助方式:通过在所述人机交互触摸屏上显示虚拟车辆,并根据人工在所述人机交互触摸屏上拖动所述虚拟车辆最终到达的位置确定在车辆坐标系中的目标车位。
优选地,所述通过在所述人机交互触摸屏上画线的方式确定在车辆坐标系中的目标车位包括:
根据目标车位类型对目标车位画线:如果选择的车位类型为垂直车位,则在目标车位两侧分别画线,得到两条初始直线;如果选择的车位类型为平行车位,则在目标车位前后分别画线,得到两条初始直线;
对所述两条初始直线进行拟合,得到满足安全要求的最终拟合线;
根据所述最终拟合线确定在车辆坐标系中的目标车位。
优选地,所述对所述两条初始直线进行拟合,得到满足安全要求的最终拟合线包括:
对画出的两条初始直线s1、s2进行直线拟合,根据得到的两拟合线的斜率差和距离确定是否满足安全要求;
如果是,则将当前两拟合线作为最终拟合线;
否则,提示用户重新对目标车位进行画线,然后重新进行直线拟合。
优选地,所述对画出的两条初始直线s1、s2进行直线拟合,根据得到的两拟合线的斜率差和距离确定是否满足安全要求包括:
(1)对画出的两条初始直线s1、s2进行直线拟合,得到对应的两条拟合线l1、l2及其各自的斜率;
(2)计算所述两条拟合线l1、l2的斜率差;如果两条拟合线l1、l2的斜率差大于设定阈值,则确定不满足安全要求;如果所述两条拟合线l1、l2的斜率差大于0并且小于等于所述设定阈值,则执行步骤(3);如果所述两条拟合线l1、l2的斜率差等于0,则计算所述两条拟合线l1、l2之间的距离,然后执行步骤(4);
(3)将其中一条拟合线l1或l2作为标准直线,重新拟合另一条初始直线s2或s1,得到对应的新拟合线l′2或l′1;计算所述标准直线和所述新拟合线之间的距离;
(4)判断所述距离是否在设定的安全距离内;如果所述距离在设定的安全距离内,则确定满足安全要求;否则,确定不满足安全要求。
优选地,所述通过在所述人机交互触摸屏上显示虚拟车辆的方式确定在车辆坐标系中的目标车位包括:
根据车辆当前位置在人机交互界面显示的图像中插入虚拟车辆模型;
获取用户手动拖动所述虚拟车辆模型到达的目标位置,并将所述目标位置作为在车辆坐标系中的目标车位。
本发明实施例提供的辅助泊车系统和方法,在车辆上设置用于采集车身周围图像的摄像头,得到包含目标车位的图像,在人机交互触摸屏上显示该图像,并确定在车辆坐标系中的目标车位,根据车辆当前位置及目标车位进行路径规划,得到规划路径,进而可以根据规划路径完成泊车。利用本发明方案,即使在周围车辆多、杂乱、无明显停车线等情况下,也能够得到准确的规划路径,根据该规划路径准确完成泊车。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1是本发明实施例辅助泊车系统的一种结构示意图;
图2是本发明实施例辅助泊车系统的另一种结构示意图;
图3是本发明实施例中垂直车位示意图;
图4是本发明实施例中平行车位示意图;
图5是本发明实施例中基于双圆弧的路径生成过程示意图;
图6是本发明实施例辅助泊车方法的流程图;
图7是本发明实施例中针对垂直车位画线拟合的过程示意图;
图8是本发明实施例中针对平行车位画线拟合的过程示意图;
图9是本发明实施例中拖动车辆模型的过程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例的方案,下面结合附图和实施方式对本发明实施例作进一步的详细说明。
本发明实施例提供的辅助泊车系统,利用设置在车辆上的摄像头,采集车身周围图像,对各摄像头采集的图像进行处理,得到包含目标车位的图像,将该图像显示在人机交互触摸屏上,并借助于人机交互触摸屏定位目标车位,根据车辆当前位置及目标车位进行路径规划,得到规划路径,进而根据该规划路径完成泊车。
如图1所示,是本发明实施例辅助泊车系统的结构示意图。
在该实施例中,所述系统包括:
监测模块101,包括设置在车辆上的一个或多个摄像头;比如将摄像头布置在车顶,或者在车辆的前、后、左、右四个方位分别布置一个广角摄像头或鱼眼摄像头。当然,车辆摄像头也可以有其它安装方式,比如,前方车头左右侧可以安装2个,后方左右侧可以安装2个,左右车身可以各安装2个或以上摄像头。
人机交互触摸屏103,用于显示所述摄像头采集的图像;
目标车位确定模块104,用于确定在车辆坐标系中的目标车位;
路径规划模块105,用于根据车辆当前位置及所述目标车位进行路径规划,得到规划路径;
控制模块106,用于根据所述规划路径完成泊车。
如图2所示,在本发明系统另一实施例中,所述系统还包括:图像处理模块102,分别与所述摄像头及所述人机交互触摸屏103相连,用于对所述摄像头采集的图像进行处理,得到处理后的图像,并将所述处理后的图像输出到所述人机交互触摸屏103进行显示,所述处理后的图像包含目标车位。具体地,图像处理模块102需要对摄像头采集的图像进行畸变矫正,以提高目标车位定位的准确性。进一步地,对于俯视拍照的摄像头所拍摄的图像,还需要对所述图像进行视角变换;如果有多个摄像头,则还需要对各图像进行拼接融合,得到无缝拼接的图像,即一幅可以看到目标车位的图像,显示在车机的显示屏上,帮助驾驶员了解车辆周边的视线盲区,使得停车更直观、方便。
相应地,所述图像处理模块102具体可以包括矫正单元,进一步地,还可包括变换单元、拼接融合单元。其中:
所述矫正单元用于对所述摄像头进行标定,根据标定结果对所述摄像头采集的图像进行畸变矫正。
相机标定是为了求取相机的内外参数,具体可以采用理论上较为成熟的张正友标定法,以棋盘格平面图为标定物,通过世界坐标系中的多个点的坐标和图像坐标系中点的坐标的对应关系,建立方程组,求解该标定平面的单应性矩阵,根据单应性矩阵,可以求得相机的内参(比如焦距、图像中心、畸变系数等)和外参(包括相机坐标系相对于其它参考坐标系的旋转矩阵和平移矩阵)。
真实环境中,鱼眼相机镜头并不严格满足小孔成像模型,因此会产生非线性畸变。本发明实施例中,可以利用畸变系数{k1,k2,k3,k4}对镜头畸变建模,利用该模型以及相机内参,结合图像插值方法对鱼眼图像进行畸变校正。
所述变换单元用于对矫正后的图像进行视角变换。由于在实际应用中,摄像头通常斜向下布置,为得到俯视环视图,需要计算摄像头采集的图像和俯视环视图的视角变换,即原始图像到俯视图像间的单应性关系。具体地,可以首先由世界坐标计算虚拟俯视图像坐标,然后根据实拍图像中标定点坐标和虚拟俯视图像中标定点坐标求解单应性矩阵,最后根据单应性矩阵将实拍图像转换为俯视环视图。
所述拼接融合单元用于对各图像进行拼接融合,由于不同摄像头视角间存在重合区域,因此需要对不同图像的重合区域进行拼接融合处理,得到无缝图像。
在本发明实施例中,由于关注的是车身周围的地面区域,因此在计算单应性矩阵时,可以以地面即Z=0平面为单应性平面进行计算。在相机视角重合区域标定点选取较为合理的情况下,地面平面以及地面上的物体经变换后,重合区域可以实现像素级的一一对应,在这种情况下,无需匹配也可以实现像素级的融合。
为了便于后续的目标车位定位,显示屏采用触摸屏,即上述人机交互触摸屏103,利用该触摸屏,可方便地实现车位检测,确定在车辆坐标系中的目标车位。
具体地,上述目标车位确定模块104可以采用画线辅助方式和/或模型辅助方式确定在车辆坐标系中的目标车位。其中,画线辅助方式可以人工在上述人机交互触摸屏103上的目标车位处画线,由画线辅助模块(未图示)根据人工画出的线段来确定在车辆坐标系中的目标车位;模型辅助可以通过在人机交互触摸屏103上显示虚拟车辆,人工拖动该虚拟车辆到目标车位,由模型辅助模块(未图示)根据虚拟车辆最终所处的位置确定目标车位。
也就是说,所述目标车位确定模块104包括:画线辅助模块,和/或模型辅助模块。其中,所述画线辅助模块用于通过在所述人机交互触摸屏103上画线的方式确定在车辆坐标系中的目标车位;所述模型辅助模块用于通过在所述人机交互触摸屏103上显示虚拟车辆的方式确定在车辆坐标系中的目标车位。
在实际应用中,为了便于驾驶员选择目标车位的定位方式,可以设置方式控制模块(未图示)来控制所述目标车位确定模块104所采用的定位方式。所述方式控制模块可以通过开关、按键等元件来实现,也可以通过语音控制来实现,对此本发明实施例不做限定。
在车位线不清晰或者不存在车位线的情况下,在人机交互界面手动画线指定车位最为直接。当前,常见的车位分为两种:垂直车位,如图3所示;平行车位,如图4所示。
所述画线辅助模块具体可以通过以下方式确定在车辆坐标系中的目标车位:获取人工根据目标车位类型对目标车位所画的两条初始直线:对于车位类型为垂直车位的情况,所述两条初始直线位于目标车位两侧;对于车位类型为平行车位的情况,所述两条初始直线位于目标车位前后;对所述两条初始直线进行拟合,得到最终拟合线;根据所述最终拟合线确定在车辆坐标系中的目标车位。
上述对所述两条初始直线进行拟合,得到最终拟合线具体为:对画出的两条初始直线s1、s2进行直线拟合,根据得到的两拟合线的斜率差和距离确定是否满足安全要求;如果是,则将当前两拟合线作为最终拟合线;否则,提示用户重新对目标车位进行画线,然后重新进行直线拟合。
其中,对画出的两条初始直线s1、s2进行直线拟合,根据得到的两拟合线的斜率差和距离确定是否满足安全要求的过程如下:
(1)对画出的两条初始直线s1、s2进行直线拟合,得到对应的两条拟合线l1、l2及其各自的斜率;
(2)计算所述两条拟合线l1、l2的斜率差;如果两条拟合线l1、l2的斜率差大于设定阈值,则确定不满足安全要求;如果所述两条拟合线l1、l2的斜率差大于0并且小于等于所述设定阈值,则执行步骤(3);如果所述两条拟合线l1、l2的斜率差等于0,则计算所述两条拟合线l1、l2之间的距离,然后执行步骤(4);
(3)将其中一条拟合线l1或l2作为标准直线,重新拟合另一条初始直线s2或s1,得到对应的新拟合线l′2或l′1;计算所述标准直线和所述新拟合线之间的距离;
(4)判断所述距离是否在设定的安全距离内;如果所述距离在设定的安全距离内,则确定满足安全要求;否则,确定不满足安全要求。
需要说明的是,上述处理均是在车辆坐标系下进行的。
所述模型辅助模块可以包括:虚拟模型生成单元和跟踪单元。其中:
所述虚拟模型生成单元用于根据车辆当前位置在人机交互界面显示的图像中插入虚拟车辆模型;
所述跟踪单元用于获取用户手动拖动所述虚拟车辆模型到达的目标位置,并将所述目标位置作为在车辆坐标系中的目标车位。
在目标车位确定后,由路径规划模块105根据所述车辆当前位置及所述目标车位进行路径规划,得到规划路径。具体地,路径规划模块105利用车辆和车位的相对位置和姿态,决策并规划出一条易于达到目标车位的最优路径。
路径规划通常需要满足两个约束条件:一是车辆在泊车的过程中,速度较低,根据车辆的运动学原理,此时车辆不会侧向滑动,车轮只做纯滚动和侧转;二是车辆的转弯运动由车辆自身的轴距决定,轴距的大小约束着车辆的最小转弯半径。为此,本发明实施例中,路径规划模块105可以在满足以上约束的前提下,对泊车过程中车辆的运动学建模,使用基于双圆弧的路径生成方法进行路径规划。
基于双圆弧的路径生成过程的示意图如图5所示,其核心在于确定三段路径的切换点A、B、C。三个切换点确定之后,车辆的运动轨迹也就确定了。即:
在车辆到达A切换点之前,车辆将做直线运动;
当车辆到达A点,车辆在一定转向角下沿
Figure GDA0002202350960000101
做前进的圆弧运动,直止到达切换点B;
当车辆到达B点,改变车辆转向角并沿
Figure GDA0002202350960000111
做倒车的圆弧运动直止到达切换点C;
当车辆到达C点,车辆做直线倒车运动到终点停车。
在路径规划完成之后,控制模块106可以结合车辆的实际位置及所述规划路径辅助完成泊车。比如通过包括但不限于语音或则文字的方式提示驾驶员操作等。当然,控制模块106也可以根据车辆的实际位置及所述规划路径自动控制车辆的运行,完成泊车。
本发明实施例提供的辅助泊车系统,在车辆上设置用于采集车身周围图像的摄像头,利用所述摄像头得到包含目标车位的图像,在人机交互触摸屏上显示该图像,并确定在车辆坐标系中的目标车位,根据车辆当前位置及目标车位进行路径规划,得到规划路径,进而可以根据规划路径完成泊车。利用本发明方案,即使在周围车辆多、杂乱、无明显停车线等情况下,也能够得到准确的规划路径,根据该规划路径完成泊车。
相应地,本发明实施例还提供一种辅助泊车方法,如图6所示,是该方法的流程图,包括以下步骤:
步骤601,利用设置在车辆上的摄像头采集车身周围图像。
步骤602,在人机交互触摸屏上显示所述摄像头采集的图像。
需要说明的是,为了保证采集的图像的质量,在上述步骤601和步骤602之间,还可进一步包括:对所述摄像头采集的图像进行处理的步骤,具体地,对各摄像头进行标定,根据标定结果对所述摄像头采集的图像进行畸变矫正。进一步地,针对不同的摄像头,对图像的处理还可包括:对图像进行视角变换、拼接融合等。
步骤603,确定在车辆坐标系中的目标车位。
具体地,可以采用画线辅助方式和/或模型辅助方式确定在车辆坐标系中的目标车位。所述画线辅助方式是指通过在所述人机交互触摸屏上画线的方式确定在车辆坐标系中的目标车位;所述模型辅助方式是指通过在所述人机交互触摸屏上显示虚拟车辆的方式确定在车辆坐标系中的目标车位。下面对这两种方式进行详细说明。
1.画线辅助方式
首先根据目标车位类型对目标车位画线:如果选择的车位类型为垂直车位,则在目标车位两侧分别画线,得到两条初始直线;如果选择的车位类型为平行车位,则在目标车位前后分别画线,得到两条初始直线;对所述两条初始直线进行拟合,得到最终拟合线;根据所述最终拟合线确定在车辆坐标系中的目标车位。
在实际应用中,车位类型的确定可以由驾驶员根据自己的停车习惯来选择。若选择垂直车位,则在目标车位两侧画线s1,s2,,如图7中所示。若选择平行车位,则在目标车位前后画线s1,s2,如图8中所示。
将上面所画的两条线段作为初始直线,对两条初始直线进行拟合,得到最终拟合线的过程如下:
1)对线s1,s2利用最小二乘法进行直线拟合,如图7和图8中所示。记线s1对应点的坐标为
Figure GDA0002202350960000121
记线s2对应点的坐标为
Figure GDA0002202350960000122
对于线s1,假设对应点坐标满足:其中a1表示截距,b1表示斜率。用最小二乘法估计参数时,要求
Figure GDA0002202350960000124
的加权平方和最小,即令最小,故只需令该式对a1,b1的偏导为零,解方程组即可求得a1即确定了线s1拟合出的直线l1。同理,利用最小二乘法,可以得到线s2对应拟合直线l2的截距a2和斜率b2
2)比较直线l1和直线l2的斜率b1和b2,若|b1-b2|>β,则清除s1,s2,l1,l2,重新开始画线;若0<|b1-b2|≤β,则执行步骤3);若|b1-b2|=0,则计算直线l1和直线l2之间的距离d,然后执行步骤4)。其中β为经验参数,需要在实验中根据经验设定。
3)将其中一条拟合线l1或l2作为标准直线,重新拟合另一条初始直线s2或s1,得到对应的新拟合线l′2或l′1;计算所述标准直线和所述新拟合线之间的距离d。假设以直线l1作为标准,直线l1的斜率b1作为已知参数重新拟合s2,如图7和图8中所示。对应的直线方程为
Figure GDA0002202350960000131
Figure GDA0002202350960000132
的加权平方和最小,即令
Figure GDA0002202350960000133
最小,由b1已知,只需对a3求偏导,得到方程
Figure GDA0002202350960000134
求解该方程得到a3,即确定了直线l′2,直线l′2平行于直线l1;计算直线l1和直线l′2之间的距离d,如图7和图8中所示。
4)若a<d<b,计算线s1起点(x1,y1)到直线l1的投影点m1,到直线l′2的投影点m2,计算线s2起点(x2,y2)到直线l′2的投影点n2,到直线l1的投影点n1,连接线段m1n1和线段m2n2的中点得到线段l3。将直线l1和直线l′2和线段l3所围区域作为目标车位,或者将该区域作为候选车位提供给驾驶员确认,否则清除所有线并重新画线。其中a,b为经验参数,对于垂直车位模式,则a,b表示车位的最小安全宽度和最大安全宽度,对于平行车位模式,则a,b表示车位的最小安全长度和最大安全长度。
驾驶员若选择候选车位作为正式车位,则车位检测结束。否则,驾驶员可以选择重新画线,也可以选择其它方式确定目标车位。
2.模型辅助方式
当选择本方式进行车位检测时,会在人机交互屏上出现虚拟车辆的模型,如图9所示,驾驶员可以通过人机交互界面将虚拟车辆拖动到目标位置,具体的,可以通过手指按住车身任意位置平移模型,还可以同时按住车头和车尾对模型进行旋转。相应地,通过获取用户手动拖动所述虚拟车辆模型到达的目标位置,即可得到目标车位。
需要说明的是,在实际应用中,上述两种方式之间可以通过包括但不仅限于按钮或者语音的方式进行切换。
步骤604,根据车辆当前位置及所述目标车位进行路径规划,得到规划路径。
需要说明的是,所述车辆当前位置是指在车辆坐标系中的车辆当前位置,该位置可以根据摄像头在车辆上的安装位置及车型参数计算得到。
在进行路径规划时,需要满足两个约束条件:一是车辆在泊车的过程中,速度较低,根据车辆的运动学原理,此时车辆不会侧向滑动,车轮只做纯滚动和侧转;二是车辆的转弯运动由车辆自身的轴距决定,轴距的大小约束着车辆的最小转弯半径。
在满足以上约束的前提下,可以采用现有技术通过对泊车过程中车辆的运动学建模,使用基于双圆弧的路径生成方法进行路径规划。基于双圆弧的路径生成的过程在前面已有详细说明,在此不再赘述。
步骤605,根据所述规划路径完成泊车。
在路径规划完成之后,可以结合车辆的实际位置,为泊车提供一些辅助操作,比如包括但不仅限于语音或则文字的方式提示驾驶员操作。当然,也可以根据规划路径自动完成泊车。
本发明实施例提供的辅助泊车方法,在车辆上设置用于采集车身周围图像的摄像头,利用所述摄像头采集得到包含目标车位的图像,在人机交互触摸屏上显示该图像,并确定在车辆坐标系中的目标车位,根据车辆当前位置及目标车位进行路径规划,得到规划路径,进而可以根据规划路径完成泊车。利用本发明方案,即使在周围车辆多、杂乱、无明显停车线等情况下,也能够得到准确的规划路径,根据该规划路径完成泊车。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本发明实施例进行了详细介绍,本文中应用了具体实施方式对本发明进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及系统;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种辅助泊车系统,其特征在于,包括:
监测模块,包括设置在车辆上的一个或多个摄像头,所述摄像头用于采集车身周围图像;
人机交互触摸屏,用于显示所述摄像头采集的图像;
目标车位确定模块,用于确定在车辆坐标系中的目标车位;
路径规划模块,用于根据车辆当前位置及所述目标车位进行路径规划,得到规划路径;
控制模块,用于根据所述规划路径完成泊车;
所述目标车位确定模块包括:画线辅助模块,和/或模型辅助模块;
所述画线辅助模块,用于根据人工在所述人机交互触摸屏上画出的线段确定在车辆坐标系中的目标车位;
所述模型辅助模块,用于通过在所述人机交互触摸屏上显示虚拟车辆,并根据人工在所述人机交互触摸屏上拖动所述虚拟车辆最终到达的位置确定在车辆坐标系中的目标车位。
2.根据权利要求1所述的系统,其特征在于,所述系统还包括:
图像处理模块,分别与所述摄像头及所述人机交互触摸屏相连,用于对所述摄像头采集的图像进行处理,得到处理后的图像,并将所述处理后的图像输出到所述人机交互触摸屏进行显示,所述处理后的图像包含目标车位。
3.根据权利要求1所述的系统,其特征在于,
所述画线辅助模块,具体通过以下方式确定在车辆坐标系中的目标车位:获取人工根据目标车位类型对目标车位所画的两条初始直线:对于车位类型为垂直车位的情况,所述两条初始直线位于目标车位两侧;对于车位类型为平行车位的情况,所述两条初始直线位于目标车位前后;对所述两条初始直线进行拟合,得到满足安全要求的最终拟合线;根据所述最终拟合线确定在车辆坐标系中的目标车位。
4.根据权利要求3所述的系统,其特征在于,所述对所述两条初始直线进行拟合,得到满足安全要求的最终拟合线包括:
对画出的两条初始直线s1、s2进行直线拟合,根据得到的两拟合线的斜率差和距离确定是否满足安全要求;
如果是,则将当前两拟合线作为最终拟合线;
否则,提示用户重新对目标车位进行画线,然后重新进行直线拟合。
5.根据权利要求4所述的系统,其特征在于,所述对画出的两条初始直线s1、s2进行直线拟合,根据得到的两拟合线的斜率差和距离确定是否满足安全要求包括:
(1)对画出的两条初始直线s1、s2进行直线拟合,得到对应的两条拟合线l1、l2及其各自的斜率;
(2)计算所述两条拟合线l1、l2的斜率差;如果两条拟合线l1、l2的斜率差大于设定阈值,则确定不满足安全要求;如果所述两条拟合线l1、l2的斜率差大于0并且小于等于所述设定阈值,则执行步骤(3);如果所述两条拟合线l1、l2的斜率差等于0,则计算所述两条拟合线l1、l2之间的距离,然后执行步骤(4);
(3)将其中一条拟合线l1或l2作为标准直线,重新拟合另一条初始直线s2或s1,得到对应的新拟合线l′2或l′1;计算所述标准直线和所述新拟合线之间的距离;
(4)判断所述距离是否在设定的安全距离内;如果所述距离在设定的安全距离内,则确定满足安全要求;否则,确定不满足安全要求。
6.根据权利要求3所述的系统,其特征在于,所述模型辅助模块包括:
虚拟模型生成单元,用于根据车辆当前位置在人机交互界面显示的图像中插入虚拟车辆模型;
跟踪单元,用于获取用户手动拖动所述虚拟车辆模型到达的目标位置,并将所述目标位置作为在车辆坐标系中的目标车位。
7.一种辅助泊车方法,其特征在于,包括:
利用设置在车辆上的摄像头采集车身周围图像;
在人机交互触摸屏上显示所述摄像头采集的图像;
确定在车辆坐标系中的目标车位,包括:画线辅助方式,和/或模型辅助方式;所述画线辅助方式:根据人工在所述人机交互触摸屏上画出的线段确定在车辆坐标系中的目标车位;所述模型辅助方式:通过在所述人机交互触摸屏上显示虚拟车辆,并根据人工在所述人机交互触摸屏上拖动所述虚拟车辆最终到达的位置确定在车辆坐标系中的目标车位;
根据车辆当前位置及所述目标车位进行路径规划,得到规划路径;
根据所述规划路径完成泊车。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
对所述摄像头采集的图像进行处理,得到处理后的图像,并在所述人机交互触摸屏上显示所述处理后的图像,所述处理后的图像包含目标车位。
9.根据权利要求7所述的方法,其特征在于,所述通过在所述人机交互触摸屏上画线的方式确定在车辆坐标系中的目标车位包括:
根据目标车位类型对目标车位画线:如果选择的车位类型为垂直车位,则在目标车位两侧分别画线,得到两条初始直线;如果选择的车位类型为平行车位,则在目标车位前后分别画线,得到两条初始直线;
对所述两条初始直线进行拟合,得到满足安全要求的最终拟合线;
根据所述最终拟合线确定在车辆坐标系中的目标车位。
10.根据权利要求9所述的方法,其特征在于,所述对所述两条初始直线进行拟合,得到满足安全要求的最终拟合线包括:
对画出的两条初始直线s1、s2进行直线拟合,根据得到的两拟合线的斜率差和距离确定是否满足安全要求;
如果是,则将当前两拟合线作为最终拟合线;
否则,提示用户重新对目标车位进行画线,然后重新进行直线拟合。
11.根据权利要求10所述的方法,其特征在于,所述对画出的两条初始直线s1、s2进行直线拟合,根据得到的两拟合线的斜率差和距离确定是否满足安全要求包括:
(1)对画出的两条初始直线s1、s2进行直线拟合,得到对应的两条拟合线l1、l2及其各自的斜率;
(2)计算所述两条拟合线l1、l2的斜率差;如果两条拟合线l1、l2的斜率差大于设定阈值,则确定不满足安全要求;如果所述两条拟合线l1、l2的斜率差大于0并且小于等于所述设定阈值,则执行步骤(3);如果所述两条拟合线l1、l2的斜率差等于0,则计算所述两条拟合线l1、l2之间的距离,然后执行步骤(4);
(3)将其中一条拟合线l1或l2作为标准直线,重新拟合另一条初始直线s2或s1,得到对应的新拟合线l′2或l′1;计算所述标准直线和所述新拟合线之间的距离;
(4)判断所述距离是否在设定的安全距离内;如果所述距离在设定的安全距离内,则确定满足安全要求;否则,确定不满足安全要求。
12.根据权利要求9所述的方法,其特征在于,所述通过在所述人机交互触摸屏上显示虚拟车辆的方式确定在车辆坐标系中的目标车位包括:
根据车辆当前位置在人机交互界面显示的图像中插入虚拟车辆模型;
获取用户手动拖动所述虚拟车辆模型到达的目标位置,并将所述目标位置作为在车辆坐标系中的目标车位。
CN201711093865.7A 2017-11-08 2017-11-08 辅助泊车系统和方法 Active CN107856667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711093865.7A CN107856667B (zh) 2017-11-08 2017-11-08 辅助泊车系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711093865.7A CN107856667B (zh) 2017-11-08 2017-11-08 辅助泊车系统和方法

Publications (2)

Publication Number Publication Date
CN107856667A CN107856667A (zh) 2018-03-30
CN107856667B true CN107856667B (zh) 2020-02-14

Family

ID=61699935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711093865.7A Active CN107856667B (zh) 2017-11-08 2017-11-08 辅助泊车系统和方法

Country Status (1)

Country Link
CN (1) CN107856667B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610523B (zh) * 2018-06-15 2023-04-25 杭州海康威视数字技术股份有限公司 汽车环视标定方法及装置、计算机可读存储介质
CN109085560B (zh) * 2018-08-13 2022-07-15 陕西科技大学 一种提取激光雷达特征点的方法
CN109446909B (zh) * 2018-09-27 2020-12-29 山东省科学院自动化研究所 一种单目测距辅助泊车系统及方法
CN109278744B (zh) * 2018-10-24 2020-07-07 广州小鹏汽车科技有限公司 一种自动泊车方法及车辆控制系统
CN109606247A (zh) * 2018-11-23 2019-04-12 浙江大学 汽车激光点倒车辅助选配件
CN109740521B (zh) * 2018-12-29 2021-02-19 百度在线网络技术(北京)有限公司 自动泊车的车位位置确定方法及装置、电子设备和计算机可读介质
CN109693666B (zh) * 2019-02-02 2021-03-05 中国第一汽车股份有限公司 一种用于泊车的人机交互系统及泊车方法
CN111547038B (zh) * 2019-02-11 2022-02-01 上海欧菲智能车联科技有限公司 一种车辆控制系统,设备及方法
CN109703554B (zh) * 2019-02-27 2020-11-24 湖北亿咖通科技有限公司 泊车车位确认方法及装置
CN110132278B (zh) * 2019-05-14 2021-07-02 驭势科技(北京)有限公司 一种即时定位与建图的方法及装置
CN110576848A (zh) * 2019-08-27 2019-12-17 北京踏歌智行科技有限公司 动态路径规划的方法及装置
CN111413969B (zh) * 2020-03-18 2023-07-28 东软睿驰汽车技术(沈阳)有限公司 倒车控制方法、装置、电子设备及存储介质
CN115447568A (zh) * 2020-04-08 2022-12-09 华为技术有限公司 数据处理的方法和装置
CN111678518B (zh) * 2020-05-29 2023-07-28 南京市德赛西威汽车电子有限公司 一种用于修正自动泊车路径的视觉定位方法
CN111746522B (zh) * 2020-06-29 2021-08-27 广州橙行智动汽车科技有限公司 一种泊车交互方法和装置
CN112158195B (zh) * 2020-09-16 2022-07-08 重庆长安汽车股份有限公司 泊车路径规划方法、系统、车辆及存储介质
CN112183413A (zh) * 2020-09-30 2021-01-05 东风柳州汽车有限公司 一种车位检测方法、装置、存储介质及车辆
CN112598922B (zh) * 2020-12-07 2023-03-21 安徽江淮汽车集团股份有限公司 车位检测方法、装置、设备及存储介质
CN113581198B (zh) * 2021-06-24 2022-08-05 安徽海博智能科技有限责任公司 一种基于泊车控制点的无人驾驶矿车泊车控制方法
CN113665591B (zh) * 2021-09-28 2023-07-11 上海焱眼鑫睛智能科技有限公司 无人驾驶控制方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011135672A1 (ja) * 2010-04-27 2011-11-03 トヨタ自動車株式会社 駐車支援装置
CN103863320A (zh) * 2012-12-11 2014-06-18 现代自动车株式会社 提供泊车辅助的装置和方法
CN105270262A (zh) * 2014-07-02 2016-01-27 现代摩比斯株式会社 全景式监控影像系统及其工作方法
CN105416280A (zh) * 2014-09-12 2016-03-23 爱信精机株式会社 停车辅助装置,停车辅助方法以及车辆辅助控制程序
FR3032410A1 (fr) * 2015-02-10 2016-08-12 Renault Sa Dispositif et procede de stationnement automatique d'un vehicule automobile.
CN106945660A (zh) * 2017-02-24 2017-07-14 宁波吉利汽车研究开发有限公司 一种自动泊车系统
CN107284443A (zh) * 2016-04-12 2017-10-24 福特全球技术公司 检测可用停车位

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078789B2 (en) * 2015-07-17 2018-09-18 Magna Electronics Inc. Vehicle parking assist system with vision-based parking space detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011135672A1 (ja) * 2010-04-27 2011-11-03 トヨタ自動車株式会社 駐車支援装置
CN103863320A (zh) * 2012-12-11 2014-06-18 现代自动车株式会社 提供泊车辅助的装置和方法
CN105270262A (zh) * 2014-07-02 2016-01-27 现代摩比斯株式会社 全景式监控影像系统及其工作方法
CN105416280A (zh) * 2014-09-12 2016-03-23 爱信精机株式会社 停车辅助装置,停车辅助方法以及车辆辅助控制程序
FR3032410A1 (fr) * 2015-02-10 2016-08-12 Renault Sa Dispositif et procede de stationnement automatique d'un vehicule automobile.
CN107284443A (zh) * 2016-04-12 2017-10-24 福特全球技术公司 检测可用停车位
CN106945660A (zh) * 2017-02-24 2017-07-14 宁波吉利汽车研究开发有限公司 一种自动泊车系统

Also Published As

Publication number Publication date
CN107856667A (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
CN107856667B (zh) 辅助泊车系统和方法
CN110775052B (zh) 一种基于视觉与超声波感知融合的自动泊车方法
JP5454934B2 (ja) 運転支援装置
JP3947375B2 (ja) 駐車補助装置
CN102616182B (zh) 停车辅助系统和方法
EP3650285B1 (en) Parking assistance method and parking assistance device
CN1987357B (zh) 基于全方位计算机视觉的智能停车辅助装置
CN102745138B (zh) 一种双视场动态轨迹倒车影像系统
US8044781B2 (en) System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
EP3140725B1 (en) Dynamic camera view to aid with trailer attachment
US20160207526A1 (en) Vehicle-side method and vehicle-side device for detecting and displaying parking spaces for a vehicle
KR101340738B1 (ko) 주차 보조 시스템
US20140114534A1 (en) Dynamic rearview mirror display features
JP5724446B2 (ja) 車両の運転支援装置
JP2009083764A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
US20150197281A1 (en) Trailer backup assist system with lane marker detection
US9162621B2 (en) Parking support apparatus
JP5278528B2 (ja) 車両用表示装置および車両用映像表示制御方法
JP5278527B2 (ja) 車両用表示装置および車両用映像表示制御方法
JP4769631B2 (ja) 車両運転支援装置および車両運転支援方法
JP4613884B2 (ja) 駐車支援装置
JP5617396B2 (ja) 運転支援装置
CN202847561U (zh) 一种倒车影像系统
JP2009071659A (ja) 駐車支援装置
JP2011155651A (ja) 車両周辺画像表示装置および車両周辺画像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant