CN112172797B - 泊车控制方法、装置、设备和存储介质 - Google Patents

泊车控制方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN112172797B
CN112172797B CN202011033235.2A CN202011033235A CN112172797B CN 112172797 B CN112172797 B CN 112172797B CN 202011033235 A CN202011033235 A CN 202011033235A CN 112172797 B CN112172797 B CN 112172797B
Authority
CN
China
Prior art keywords
vehicle
parking
ground
parking space
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011033235.2A
Other languages
English (en)
Other versions
CN112172797A (zh
Inventor
丁磊
张波
张长驰
柴丽颖
苏海飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Human Horizons Shanghai Autopilot Technology Co Ltd
Original Assignee
Human Horizons Shanghai Autopilot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Human Horizons Shanghai Autopilot Technology Co Ltd filed Critical Human Horizons Shanghai Autopilot Technology Co Ltd
Priority to CN202011033235.2A priority Critical patent/CN112172797B/zh
Publication of CN112172797A publication Critical patent/CN112172797A/zh
Application granted granted Critical
Publication of CN112172797B publication Critical patent/CN112172797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/15Road slope
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/35Road bumpiness, e.g. pavement or potholes

Abstract

本发明公开了一种泊车控制方法,包括:获取车位特征线;其中,所述车位特征线为车位线的部分或全部线段;当相对的两条车位特征线不平行时,检测车辆的可通行区域;根据所述可通行区域对地面进行高度建模,构建地面高度模型;根据所述地面高度模型对所述车位线的坐标信息进行补偿;控制所述车辆根据补偿后的坐标信息进行泊车操作。本发明还公开一种泊车控制装置、一种泊车控制设备和一种计算机可读存储介质。采用本发明实施例,能够在泊车时消除坡度带来的泊车位置偏差,提高用户的泊车体验。

Description

泊车控制方法、装置、设备和存储介质
技术领域
本发明涉及车辆控制技术,尤其涉及一种泊车控制方法、装置、设备和存储介质。
背景技术
随着社会发展水平的不断进步,现在路面上通行的车辆越来越多,导致车位越来越紧张。有些开发商为增加更多的车位,将斜坡或者不平的路面也建成了车位,大大节省了停车空间。而全自动泊车系统是完全依靠系统控制加减速、刹车等,由于系统标定参数必须要适应大多数平地泊车场景,所以针对斜坡或者不平的路面的车位,由于停车场景的复杂性,当车辆与车位不处于同一平面时,会造成车位坐标输出的误差较大,影响最终的泊车效果,自动泊车系统可能会出现换挡时车辆的抖动,或是泊车系统无缘无故就退出等现象,导致用户泊车体验不佳。
发明内容
本发明实施例的目的是提供一种泊车控制方法、装置、设备和存储介质,能够在泊车时消除坡度带来的泊车位置偏差,提高用户的泊车体验。
为实现上述目的,本发明实施例提供了一种泊车控制方法,包括:
获取车位特征线;其中,所述车位特征线为车位线的部分或全部线段;
当相对的两条车位特征线不平行时,检测车辆的可通行区域;
根据所述可通行区域对地面进行高度建模,构建地面高度模型;
根据所述地面高度模型对所述车位线的坐标信息进行补偿;
控制所述车辆根据补偿后的坐标信息进行泊车操作。
作为上述方案的改进,所述方法还包括:
当相对的任意两条车位特征线平行时,获取所述车位线的坐标信息;
控制所述车辆根据所述车位线的坐标信息进行泊车操作。
作为上述方案的改进,所述获取车位特征线,包括:
获取安装在车辆若干个不同方位的摄像机采集的当前图像;
将每一所述摄像机采集采集的当前图像拼接成一张俯视图;
识别拼接后的所述俯视图中的车位特征线。
作为上述方案的改进,所述根据所述可通行区域对地面进行高度建模,构建地面高度模型,包括:
获取所述当前图像中大于预设像素阈值的目标像素点;
从所述目标像素点中筛选出位于所述可通行区域中的目标像素点作为地面特征点;
对所述地面特征点进行光流跟踪;
计算所述车辆的位姿变化;
根据所述光流跟踪的结果和所述车辆的位姿变化计算所述地面特征点的高度;
根据所述地面特征点的高度构建地面高度模型。
为实现上述目的,本发明实施例还提供了一种泊车控制装置,包括:
车位特征线获取模块,用于获取车位特征线;其中,所述车位特征线为车位线的部分或全部线段;
可通行区域检测模块,用于当相对的两条车位特征线不平行时,检测车辆的可通行区域;
地面高度模型构建模块,用于根据所述可通行区域对地面进行高度建模,构建地面高度模型;
坐标信息补偿模块,用于根据所述地面高度模型对所述车位线的坐标信息进行补偿;
泊车控制模块,用于控制所述车辆根据补偿后的坐标信息进行泊车操作。
作为上述方案的改进,所述装置还包括:
坐标信息获取模块,用于当相对的任意两条车位特征线平行时,获取所述车位线的坐标信息;
则,所述泊车控制模块,还用于控制所述车辆根据所述车位线的坐标信息进行泊车操作。
作为上述方案的改进,所述车位特征线获取模块,具体用于:
获取安装在车辆若干个不同方位的摄像机采集的当前图像;
将每一所述摄像机采集采集的当前图像拼接成一张俯视图;
识别拼接后的所述俯视图中的车位特征线。
作为上述方案的改进,所述地面高度模型构建模块,具体用于:
获取所述当前图像中大于预设像素阈值的目标像素点;
从所述目标像素点中筛选出位于所述可通行区域中的目标像素点作为地面特征点;
对所述地面特征点进行光流跟踪;
计算所述车辆的位姿变化;
根据所述光流跟踪的结果和所述车辆的位姿变化计算所述地面特征点的高度;
据所述地面特征点的高度构建地面高度模型。
为实现上述目的,本发明实施例还提供一种泊车控制设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一实施例所述的泊车控制方法。
为实现上述目的,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一实施例所述的泊车控制方法。
相比于现有技术,本发明实施例公开的泊车控制方法、装置、设备和存储介质,首先,获取车位特征线,当相对的两条车位特征线不平行时,表明车位处于斜坡或者不平的路面上,此时需要检测车辆的可通行区域;然后,根据所述可通行区域对地面进行高度建模,构建地面高度模型;最后,根据所述地面高度模型对所述车位线的坐标信息进行补偿,并控制所述车辆根据补偿后的坐标信息进行泊车操作。由于在检测到车位处于斜坡或者不平的路面上时,对地面进行高度建模,以构建地面高度模型,能够对车位线的坐标信息进行补偿,能够能够在泊车时消除坡度带来的泊车位置偏差,提高用户的泊车体验。
附图说明
图1是本发明实施例提供的一种泊车控制方法的流程图;
图2是本发明实施例提供的计算坡度高度的示意图;
图3是本发明实施例提供的泊车控制装置的结构框图;
图4是本发明实施例提供的泊车控制设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1是本发明实施例提供的一种泊车控制方法的流程图,所述泊车控制方法包括:
S1、获取车位特征线;其中,所述车位特征线为车位线的部分或全部线段;
S2、当相对的两条车位特征线不平行时,检测车辆的可通行区域;
S3、根据所述可通行区域对地面进行高度建模,构建地面高度模型;
S4、根据所述地面高度模型对所述车位线的坐标信息进行补偿;
S5、控制所述车辆根据补偿后的坐标信息进行泊车操作。
值得说明的是,本发明实施例所述的泊车控制方法可以由车辆中的车载终端执行实现,所述车载终端是车辆监控管理系统的前端设备,集成了数据处理和数据通信等多项功能,具有强大的业务调度功能和数据处理能力。所述车载终端能够对设于车辆上的摄像机采集的车辆图像进行分析,以得到车位特征线。可以理解的是,所述车载终端预先与设于车辆中的摄像机建立好数据通信,可以随时获取所述摄像机的数据。
具体地,在步骤S1中,所述车辆上安装有若干个摄像机,所述摄像机用于在所述车辆需要进行泊车时获取图像。进一步地,为节省所述摄像机的的电能,所述摄像机在接收到用户需要进行泊车时发送的泊车指令才自动开启,或者所述车载终端在检测到所述车辆需要进行泊车时启动所述摄像机。
可选地,所述获取车位特征线,包括步骤S11~S13:
S11、获取安装在车辆若干个不同方位的摄像机采集的当前图像;
S12、将每一所述摄像机采集采集的当前图像拼接成一张俯视图;
S13、识别拼接后的所述俯视图中的车位特征线。
示例性的,所述摄像机安装在所述车辆的不同方位,可以采用最少的摄像机又能采集车辆周围全方位的图像。示例性的,可以在所述车辆的前后左右分别安装一个摄像机。将每一所述摄像机采集采集的当前图像拼接成一张俯视图(鸟瞰图),在这张俯视图上,使用深度学习技术识别其中的车位特征线。
在实际情况中,所述车位线可能无法全部被所述摄像机识别,比如部分线段在所述摄像机的盲区,或者所述车位线上有遮挡物导致所述摄像机无法识别,又或者因所述摄像机本身分辨率的问题导致部分车位线无法准确识别,当出现只识别到部分车位线时,针对部分车位线也能进行后续判断。
具体地,在步骤S2中,若相对的两条所述车位特征线不平行时,表明车位处于斜坡或者不平的路面上,此时需要检测车辆的可通行区域。示例性的,通过图像识别技术判断当前图像中每一个像素是属于障碍物(车辆、行人、锥桶等立体物)还是地面,而所有属于地面的像素都是可通行的区域。
具体地,在步骤S3中,所述根据所述可通行区域对地面进行高度建模,构建地面高度模型,包括步骤S31~S36:
S31、获取所述当前图像中大于预设像素阈值的目标像素点;
S32、从所述目标像素点中筛选出位于所述可通行区域中的目标像素点作为地面特征点;
S33、对所述地面特征点进行光流跟踪;
S34、计算所述车辆的位姿变化;
S35、根据所述光流跟踪的结果和所述车辆的位姿变化计算所述地面特征点的高度;
S36、根据所述地面特征点的高度构建地面高度模型。
具体地,在步骤S31~S32中,通过获取所述当前图像中大于预设像素阈值的目标像素点,所述目标像素点都是特征明显(比如边缘特征,纹理特征)的像素点,为后续更方便进行建模。
具体地,在步骤S33中,光流是一种运动模式,使用摄像机拍摄运动物体,物体上的点会在不同时刻的图像中有不同的位置,针对某一点观察,形成类似流动的运动模式。可以理解为视频图像的一帧中的代表同一对象(物体)像素点移动到下一帧的移动量,能够使用二维向量表示。
光流跟踪有多种算法,本发明实施例中采用比较常用的Lucas–Kanade光流法,它是基于两帧差分的稀疏光流方法。实现此方法基于三个假设:①亮度恒定,即一个像素点随着时间的变化,其亮度值(像素灰度值)是恒定不变的;②时间连续或者运动是“小运动”,即某一特征点在两帧之间运动趋势不大,时间的变化不会引起位置的剧烈变化,这样才能利用相邻帧之间的位置变化引起的灰度值变化,去求取灰度对位置的偏导数;③空间一致,即前一帧中相邻像素点在后一帧中也是相邻的。根据上述三个假设,可以知道两帧之间的特征点亮度差应该为0,两帧之间特征点坐标相距不远,可以在小范围内搜索找到当前帧特征点在新一帧图像中的位置,根据光流法的约束方程就可以计算所述地面特征点在两帧之间的光流(即在两帧之间的坐标变换)。值得说明的是,具体的光流法的约束方程可以参考现有技术,在此不再赘述。
具体地,在步骤S34中,利用惯性测量单元(Inertial Measurement Unit,IMU)计算所述车辆的位姿变化。所述惯性测量单元可以通过自车运动时的惯性,计算出自车在三维方向上的角度变化。而通过对车速数据积分,可以得到自车的位移信息,有了自车的角度和位移,可以得出自车在两个时间段时间的坐标变化了,即与步骤S34中获取的地面特征点的坐标相对应,自车位姿变化时,因摄像机会随着车辆运动,此时能够对应的获取变化的地面特征点的坐标。
具体地,在步骤S35中,根据所述光流跟踪的结果和所述车辆的位姿变化计算所述地面特征点的高度。
示例性的,根据摄像机的成像原理,世界坐标到摄像机坐标的转换关系如下:
Figure BDA0002704396790000071
其中,R为旋转矩阵,大小为3x3;T为偏移矩阵,大小为3x1;K为摄像机内参矩阵,大小为3x3;X、Y、Z为所述地面特征点的世界坐标;u、v为所述地面特征点的图像坐标。
假设公式(1)为时刻t某一地面特征点P的坐标转换公式,则在时刻t+1,转换为:
Figure BDA0002704396790000072
对于地面特征点可以认为其为静止的点,对于两个时刻,特征点相对于自车的变化可以根据自车的运动参数求解。读取所述惯性测量单元的数据和自车车速数据,可以计算出t时刻和t+1时刻特征点的坐标变化,如下公式:
Figure BDA0002704396790000081
其中,ΔR为旋转矩阵,大小为3x3;ΔT为偏移矩阵,大小为3x1。
将公式(3)代入公式(2),与公式(1)联立,每一对地面特征点可以列出四个方程,而其中有3个未知数,可以求取三个未知数,也即能够得到地面的高度信息。拟合所有的地面特征点,可以得到关于横纵向距离与地面高度的方程:
ax2+bxy+cy2+dx+ey+f=f(h)公式(4);
其中,f(h)为所述地面特征点的高度;a、b、c、d、e、f均是拟合后的参数,为一常数。
在步骤S36中,在得到所有所述地面特征点的高度后,根据所述地面特征点的高度构建地面高度模型。
具体地,在步骤S4中,在进行图像2D转3D坐标时(从摄像机建立的图像坐标系转换到世界坐标系),由于单目摄像机没有深度信息,转换过程中需要已知一维尺寸信息才能计算出来。一般做法是寻找地面的点,因为摄像机高度已知,所以可以通过单目摄像机计算出对应像素点的深度信息。不过由于地面存在坡度,处于坡度的地面特征点高度信息不再是摄像机高度,在本发明实施例中可以计算出对应坡度,将坡度高度补偿回来就可以计算出更加准确的距离信息了。
如图2所示,三角形1代表了摄像机构建的图像坐标系下地面特征点和摄像机之间的位置示意图,三角形2是现实环境中地面特征点和摄像机之间的位置示意图(也可以理解为在世界坐标系中地面特征点和摄像机之间的位置示意图),S1为摄像机的光轴水平线,S2为地面水平线,A为所述地面特征点在图像坐标系中的位置,B为摄像机的光心,P为摄像机的安装位置,P'为摄像机在地面上的投影点,H为摄像机的安装高度,Q为地面特征点的实际位置,Q'为地面特征点在地面上的投影点,X为摄像机投影点到地面特征点的投影点的距离,D为坡高。可以使用相似三角形的原则,求出D的长度,三角形1和三角形2正好满足这个相似三角形的关系:
Figure BDA0002704396790000091
其中,f为摄像机的焦距,即P到B的像素距离;d为A到B的像素距离。
具体地,在步骤S5中,控制所述车辆根据补偿后的坐标信息进行泊车操作。
进一步地,在执行完步骤S1后,所述泊车控制方法还包括:
S6、当相对的任意两条车位特征线平行时,获取所述车位线的坐标信息;
S7、控制所述车辆根据所述车位线的坐标信息进行泊车操作。
示例性的,当判定相对的任意两条车位特征线平行时,可以表明此时车位线是平地上的,此时则无需对地面进行建模,直接获取车位线的坐标即可进行泊车。
相比于现有技术,本发明实施例公开的泊车控制方法,首先,获取车位特征线,当相对的两条车位特征线不平行时,表明车位处于斜坡或者不平的路面上,此时需要检测车辆的可通行区域;然后,根据所述可通行区域对地面进行高度建模,构建地面高度模型;最后,根据所述地面高度模型对所述车位线的坐标信息进行补偿,并控制所述车辆根据补偿后的坐标信息进行泊车操作。由于在检测到车位处于斜坡或者不平的路面上时,对地面进行高度建模,以构建地面高度模型,能够对车位线的坐标信息进行补偿,能够能够在泊车时消除坡度带来的泊车位置偏差,提高用户的泊车体验。
参见图3,图3是本发明实施例提供的泊车控制装置10的结构框图,所述泊车控制装置10包括:
车位特征线获取模块11,用于获取车位特征线;其中,所述车位特征线为车位线的部分或全部线段;
可通行区域检测模块12,用于当相对的两条车位特征线不平行时,检测车辆的可通行区域;
地面高度模型构建模块13,用于根据所述可通行区域对地面进行高度建模,构建地面高度模型;
坐标信息补偿模块14,用于根据所述地面高度模型对所述车位线的坐标信息进行补偿;
泊车控制模块15,用于控制所述车辆根据补偿后的坐标信息进行泊车操作。
值得说明的是,本发明实施例所述的泊车控制装置10为车辆中的车载终端,所述车载终端是车辆监控管理系统的前端设备,集成了数据处理和数据通信等多项功能,具有强大的业务调度功能和数据处理能力。所述车载终端能够对设于车辆上的摄像机采集的车辆图像进行分析,以得到车位特征线。可以理解的是,所述车载终端预先与设于车辆中的摄像机建立好数据通信,可以随时获取所述摄像机的数据。
具体地,所述车辆上安装有若干个摄像机,所述摄像机用于在所述车辆需要进行泊车时获取图像。进一步地,为节省所述摄像机的的电能,所述摄像机在接收到用户需要进行泊车时发送的泊车指令才自动开启,或者所述车载终端在检测到所述车辆需要进行泊车时启动所述摄像机。
可选地,所述车位特征线获取模块11具体用于:
获取安装在车辆若干个不同方位的摄像机采集的当前图像;将每一所述摄像机采集采集的当前图像拼接成一张俯视图;识别拼接后的所述俯视图中的车位特征线。
示例性的,所述摄像机安装在所述车辆的不同方位,可以采用最少的摄像机又能采集车辆周围全方位的图像。示例性的,可以在所述车辆的前后左右分别安装一个摄像机。将每一所述摄像机采集采集的当前图像拼接成一张俯视图(鸟瞰图),在这张俯视图上,使用深度学习技术识别其中的车位特征线。
在实际情况中,所述车位线可能无法全部被所述摄像机识别,比如部分线段在所述摄像机的盲区,或者所述车位线上有遮挡物导致所述摄像机无法识别,又或者因所述摄像机本身分辨率的问题导致部分车位线无法准确识别,当出现只识别到部分车位线时,针对部分车位线也能进行后续判断。
具体地,若相对的两条所述车位特征线不平行时,表明车位处于斜坡或者不平的路面上,此时所述可通行区域检测模块12需要检测车辆的可通行区域。示例性的,通过图像识别技术判断当前图像中每一个像素是属于障碍物(车辆、行人、锥桶等立体物)还是地面,而所有属于地面的像素都是可通行的区域。
具体地,所述地面高度模型构建模块13具体用于:
获取所述当前图像中大于预设像素阈值的目标像素点;从所述目标像素点中筛选出位于所述可通行区域中的目标像素点作为地面特征点;对所述地面特征点进行光流跟踪;计算所述车辆的位姿变化;根据所述光流跟踪的结果和所述车辆的位姿变化计算所述地面特征点的高度;根据所述地面特征点的高度构建地面高度模型。
具体地,通过获取所述当前图像中大于预设像素阈值的目标像素点,所述目标像素点都是特征明显(比如边缘特征,纹理特征)的像素点,为后续更方便进行建模。
具体地,光流是一种运动模式,使用摄像机拍摄运动物体,物体上的点会在不同时刻的图像中有不同的位置,针对某一点观察,形成类似流动的运动模式。可以理解为视频图像的一帧中的代表同一对象(物体)像素点移动到下一帧的移动量,能够使用二维向量表示。
光流跟踪有多种算法,本发明实施例中采用比较常用的Lucas–Kanade光流法,它是基于两帧差分的稀疏光流方法。实现此方法基于三个假设:①亮度恒定,即一个像素点随着时间的变化,其亮度值(像素灰度值)是恒定不变的;②时间连续或者运动是“小运动”,即某一特征点在两帧之间运动趋势不大,时间的变化不会引起位置的剧烈变化,这样才能利用相邻帧之间的位置变化引起的灰度值变化,去求取灰度对位置的偏导数;③空间一致,即前一帧中相邻像素点在后一帧中也是相邻的。根据上述三个假设,可以知道两帧之间的特征点亮度差应该为0,两帧之间特征点坐标相距不远,可以在小范围内搜索找到当前帧特征点在新一帧图像中的位置,根据光流法的约束方程就可以计算所述地面特征点在两帧之间的光流(即在两帧之间的坐标变换)。值得说明的是,具体的光流法的约束方程可以参考现有技术,在此不再赘述。
具体地,利用惯性测量单元(Inertial Measurement Unit,IMU)计算所述车辆的位姿变化。所述惯性测量单元可以通过自车运动时的惯性,计算出自车在三维方向上的角度变化。而通过对车速数据积分,可以得到自车的位移信息,有了自车的角度和位移,可以得出自车在两个时间段时间的坐标变化了,即与步骤S34中获取的地面特征点的坐标相对应,自车位姿变化时,因摄像机会随着车辆运动,此时能够对应的获取变化的地面特征点的坐标。
具体地,根据所述光流跟踪的结果和所述车辆的位姿变化计算所述地面特征点的高度。
示例性的,根据摄像机的成像原理,世界坐标到摄像机坐标的转换关系如下:
Figure BDA0002704396790000121
其中,R为旋转矩阵,大小为3x3;T为偏移矩阵,大小为3x1;K为摄像机内参矩阵,大小为3x3;X、Y、Z为所述地面特征点的世界坐标;u、v为所述地面特征点的图像坐标。
假设公式(1)为时刻t某一地面特征点P的坐标转换公式,则在时刻t+1,转换为:
Figure BDA0002704396790000122
对于地面特征点可以认为其为静止的点,对于两个时刻,特征点相对于自车的变化可以根据自车的运动参数求解。读取所述惯性测量单元的数据和自车车速数据,可以计算出t时刻和t+1时刻特征点的坐标变化,如下公式:
Figure BDA0002704396790000131
其中,ΔR为旋转矩阵,大小为3x3;ΔT为偏移矩阵,大小为3x1。
将公式(3)代入公式(2),与公式(1)联立,每一对地面特征点可以列出四个方程,而其中有3个未知数,可以求取三个未知数,也即能够得到地面的高度信息。拟合所有的地面特征点,可以得到关于横纵向距离与地面高度的方程:
ax2+bxy+cy2+dx+ey+f=f(h) 公式(4);
其中,f(h)为所述地面特征点的高度;a、b、c、d、e、f均是拟合后的参数,为一常数。
在得到所有所述地面特征点的高度后,根据所述地面特征点的高度构建地面高度模型。在进行图像2D转3D坐标时(从摄像机建立的图像坐标系转换到世界坐标系),由于单目摄像机没有深度信息,转换过程中需要已知一维尺寸信息才能计算出来。一般做法是寻找地面的点,因为摄像机高度已知,所以可以通过单目摄像机计算出对应像素点的深度信息。不过由于地面存在坡度,处于坡度的地面特征点高度信息不再是摄像机高度,在本发明实施例中可以计算出对应坡度,将坡度高度补偿回来就可以计算出更加准确的距离信息了。
进一步地,所述泊车控制装置还包括:
坐标信息获取模块16,用于当相对的任意两条车位特征线平行时,获取所述车位线的坐标信息;
则,所述泊车控制模块15,还用于控制所述车辆根据所述车位线的坐标信息进行泊车操作。
示例性的,当判定相对的任意两条车位特征线平行时,可以表明此时车位线是平地上的,此时则无需对地面进行建模,直接获取车位线的坐标即可进行泊车。
相比于现有技术,本发明实施例公开的泊车控制装置10,首先,获取车位特征线,当相对的两条车位特征线不平行时,表明车位处于斜坡或者不平的路面上,此时需要检测车辆的可通行区域;然后,根据所述可通行区域对地面进行高度建模,构建地面高度模型;最后,根据所述地面高度模型对所述车位线的坐标信息进行补偿,并控制所述车辆根据补偿后的坐标信息进行泊车操作。由于在检测到车位处于斜坡或者不平的路面上时,对地面进行高度建模,以构建地面高度模型,能够对车位线的坐标信息进行补偿,能够能够在泊车时消除坡度带来的泊车位置偏差,提高用户的泊车体验。
参见图4,图4是本发明实施例提供的泊车控制设备20的结构框图,所述泊车控制设备20包括:处理器21、存储器22以及存储在所述存储器中并可在所述处理器上运行的计算机程序,例如行驶控制程序。所述处理器21执行所述计算机程序时实现上述泊车控制方法实施例中的步骤,例如图1所示的步骤S1~S5。或者,所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能,例如车位特征线获取模块11。
示例性的,所述计算机程序可以被分割成一个或多个模块,所述一个或者多个模块被存储在所述存储器22中,并由所述处理器21执行,以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述泊车控制设备20中的执行过程。例如,所述计算机程序可以被分割成车位特征线获取模块11、可通行区域检测模块12、地面高度模型构建模块13、坐标信息补偿模块14、泊车控制模块15和坐标信息获取模块16。具体的各个模块的工作过程可参考上述实施例所述的泊车控制10的工作过程,在此不再赘述。
所述泊车控制设备20可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述泊车控制设备20可包括,但不仅限于,处理器21、存储器22。本领域技术人员可以理解,所述示意图仅仅是图像增强设备的示例,并不构成对泊车控制设备20的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述泊车控制设备20还可以包括输入输出设备、网络接入设备、总线等。
所称处理器21可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器21是所述泊车控制设备20的控制中心,利用各种接口和线路连接整个泊车控制设备20的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块,所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块,以及调用存储在存储器22内的数据,实现所述泊车控制设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,所述泊车控制设备20集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种泊车控制方法,其特征在于,包括:
获取车位特征线;其中,所述车位特征线为车位线的部分或全部线段;
当相对的两条所述车位特征线不平行时,检测车辆的可通行区域;
根据所述可通行区域对地面进行高度建模,构建地面高度模型;
根据所述地面高度模型对所述车位线的坐标信息进行补偿;
控制所述车辆根据补偿后的坐标信息进行泊车操作。
2.如权利要求1所述的泊车控制方法,其特征在于,所述方法还包括:
当相对的任意两条车位特征线平行时,获取所述车位线的坐标信息;
控制所述车辆根据所述车位线的坐标信息进行泊车操作。
3.如权利要求1所述的泊车控制方法,其特征在于,所述获取车位特征线,包括:
获取安装在车辆若干个不同方位的摄像机采集的当前图像;
将每一所述摄像机采集采集的当前图像拼接成一张俯视图;
识别拼接后的所述俯视图中的车位特征线。
4.如权利要求2所述的泊车控制方法,其特征在于,所述根据所述可通行区域对地面进行高度建模,构建地面高度模型,包括:
获取所述当前图像中大于预设像素阈值的目标像素点;
从所述目标像素点中筛选出位于所述可通行区域中的目标像素点作为地面特征点;
对所述地面特征点进行光流跟踪;
计算所述车辆的位姿变化;
根据所述光流跟踪的结果和所述车辆的位姿变化计算所述地面特征点的高度;
根据所述地面特征点的高度构建地面高度模型。
5.一种泊车控制装置,其特征在于,包括:
车位特征线获取模块,用于获取车位特征线;其中,所述车位特征线为车位线的部分或全部线段;
可通行区域检测模块,用于当相对的两条车位特征线不平行时,检测车辆的可通行区域;
地面高度模型构建模块,用于根据所述可通行区域对地面进行高度建模,构建地面高度模型;
坐标信息补偿模块,用于根据所述地面高度模型对所述车位线的坐标信息进行补偿;
泊车控制模块,用于控制所述车辆根据补偿后的坐标信息进行泊车操作。
6.如权利要求5所述的泊车控制装置,其特征在于,所述装置还包括:
坐标信息获取模块,用于当相对的任意两条车位特征线平行时,获取所述车位线的坐标信息;
则,所述泊车控制模块,还用于控制所述车辆根据所述车位线的坐标信息进行泊车操作。
7.如权利要求5所述的泊车控制装置,其特征在于,所述车位特征线获取模块,具体用于:
获取安装在车辆若干个不同方位的摄像机采集的当前图像;
将每一所述摄像机采集采集的当前图像拼接成一张俯视图;
识别拼接后的所述俯视图中的车位特征线。
8.如权利要求5所述的泊车控制装置,其特征在于,所述地面高度模型构建模块,具体用于:
获取所述当前图像中大于预设像素阈值的目标像素点;
从所述目标像素点中筛选出位于所述可通行区域中的目标像素点作为地面特征点;
对所述地面特征点进行光流跟踪;
计算所述车辆的位姿变化;
根据所述光流跟踪的结果和所述车辆的位姿变化计算所述地面特征点的高度;
据所述地面特征点的高度构建地面高度模型。
9.一种泊车控制设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的泊车控制方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至4中任意一项所述的泊车控制方法。
CN202011033235.2A 2020-09-27 2020-09-27 泊车控制方法、装置、设备和存储介质 Active CN112172797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011033235.2A CN112172797B (zh) 2020-09-27 2020-09-27 泊车控制方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011033235.2A CN112172797B (zh) 2020-09-27 2020-09-27 泊车控制方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN112172797A CN112172797A (zh) 2021-01-05
CN112172797B true CN112172797B (zh) 2021-12-17

Family

ID=73944295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011033235.2A Active CN112172797B (zh) 2020-09-27 2020-09-27 泊车控制方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112172797B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112572422B (zh) * 2020-12-30 2022-08-16 广州小鹏自动驾驶科技有限公司 一种泊车控制方法和装置
CN113147746A (zh) * 2021-05-20 2021-07-23 宝能(广州)汽车研究院有限公司 坡道车位的探测方法及装置
CN114030484B (zh) * 2021-12-21 2023-06-02 华人运通(江苏)技术有限公司 自动驾驶功能控制方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101735732B1 (ko) * 2015-12-11 2017-05-15 현대오트론 주식회사 주차 공간 탐색을 위한 모서리 검출 장치 및 방법
CN108423068A (zh) * 2018-03-05 2018-08-21 耐世特汽车系统(苏州)有限公司 一种自动泊车系统及车位识别方法
CN109435942A (zh) * 2018-10-31 2019-03-08 合肥工业大学 一种基于信息融合的车位线车位识别方法及装置
CN110766979A (zh) * 2019-11-13 2020-02-07 奥特酷智能科技(南京)有限公司 一种用于自动驾驶车辆的泊车车位检测方法
CN110949374A (zh) * 2019-11-14 2020-04-03 江苏大学 基于两段二阶贝塞尔曲线的自动平行泊车路径规划方法
JP2020112892A (ja) * 2019-01-08 2020-07-27 株式会社豊田中央研究所 情報生成装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101735732B1 (ko) * 2015-12-11 2017-05-15 현대오트론 주식회사 주차 공간 탐색을 위한 모서리 검출 장치 및 방법
CN108423068A (zh) * 2018-03-05 2018-08-21 耐世特汽车系统(苏州)有限公司 一种自动泊车系统及车位识别方法
CN109435942A (zh) * 2018-10-31 2019-03-08 合肥工业大学 一种基于信息融合的车位线车位识别方法及装置
JP2020112892A (ja) * 2019-01-08 2020-07-27 株式会社豊田中央研究所 情報生成装置
CN110766979A (zh) * 2019-11-13 2020-02-07 奥特酷智能科技(南京)有限公司 一种用于自动驾驶车辆的泊车车位检测方法
CN110949374A (zh) * 2019-11-14 2020-04-03 江苏大学 基于两段二阶贝塞尔曲线的自动平行泊车路径规划方法

Also Published As

Publication number Publication date
CN112172797A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
US11915502B2 (en) Systems and methods for depth map sampling
CN112172797B (zh) 泊车控制方法、装置、设备和存储介质
US11474247B2 (en) Methods and systems for color point cloud generation
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
JP6743882B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
CN113421289A (zh) 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法
CN110717445A (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
CN113034586B (zh) 道路倾角检测方法和检测系统
CN109791607A (zh) 借助单应矩阵从摄像机的一系列图像中探测和验证对象
CN112529968A (zh) 摄像设备标定方法、装置、电子设备及存储介质
CN111738033A (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN114550042A (zh) 一种道路消失点提取方法、车载传感器标定方法及装置
US20200193184A1 (en) Image processing device and image processing method
CN116778094B (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
JP7315216B2 (ja) 補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法
CN110414392B (zh) 一种障碍物距离的确定方法及装置
KR102065337B1 (ko) 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
JP2020166758A (ja) 画像処理装置および画像処理方法
CN115223031A (zh) 一种单目边框测距方法、装置、介质及幕墙机器人
DE102020213799A1 (de) Hindernisdetektionsvorrichtung und Hindernisdetektionsverfahren
CN114493967A (zh) 图像获取装置及方法、图像处理装置及方法、图像处理系统
CN112184605A (zh) 一种车辆驾驶视野增强方法、设备及系统
CN111780744A (zh) 移动机器人混合导航方法、设备及存储装置
JP6561688B2 (ja) 検出装置、検出方法、撮像装置、機器制御システム、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant