CN113147746A - 坡道车位的探测方法及装置 - Google Patents
坡道车位的探测方法及装置 Download PDFInfo
- Publication number
- CN113147746A CN113147746A CN202110550619.XA CN202110550619A CN113147746A CN 113147746 A CN113147746 A CN 113147746A CN 202110550619 A CN202110550619 A CN 202110550619A CN 113147746 A CN113147746 A CN 113147746A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- information
- parameter
- correction parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012937 correction Methods 0.000 claims abstract description 82
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000013136 deep learning model Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/076—Slope angle of the road
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种坡道车位的探测方法及装置，该探测方法应用于车辆。本申请提供的探测方法中，首先获取摄像头的参数信息、待处理图像和车辆所在路面的坡度信息，然后根据摄像头的参数信息和车辆所在路面的坡度信息对待处理图像进行畸变校正，得到校正后的图像；最终根据校正后的图像识别坡道车位。该方法将坡道车位纳入到了自动泊车的常规支持场景，增强了自动泊车系统的健壮性，进一步的，该方法提升了自动泊车系统对坡道车位的识别精度和识别成功率，提升了用户体验。
Description
技术领域
本申请涉及自动泊车领域，尤其涉及坡道车位的探测方法及装置。
背景技术
快速增长的机动车保有量给交通环境带来了巨大的压力，同时加剧了泊车难的问题，自动泊车功能作为消费者最为期待却尚不成熟的辅助驾驶功能，对于解决泊车难的问题具有重要研究意义。
现有技术中，自动泊车系统已经可以支持现实生活中绝大部分车位的探测及泊入，比如常规的水平车位、垂直车位及斜列车位。
然而，对于坡度大于8度(或者说坡度大于15％)的车位探测，现有的自动泊车系统识别精度差、识别误差大甚至无法有效识别，这样就大大限制了自动泊车的使用场景，影响用户体验。
发明内容
本申请提供一种坡道车位的探测方法，该方法可以提升探测坡度车位的能力，提升用户体验。
第一方面，本申请提供一种坡道车位的探测方法，所述探测方法应用于车辆，所述方法包括：获取摄像头的参数信息和待处理图像，所述摄像头的参数信息包括所述摄像头的内参矩阵和所述摄像头的畸变系数，所述待处理图像为所述摄像头对所述车辆所在环境进行拍摄得到的图像；获取所述车辆所在路面的坡度信息；根据所述摄像头的参数信息和所述坡度信息对所述待处理图像进行畸变校正，得到校正后的图像；根据所述校正后的图像识别所述坡道车位。
本实施例提供的方法，与现有技术中仅利用摄像头的参数信息对拍摄到的原始图像进行畸变校正相比，又结合了车辆所在路面的坡度信息来得到校正后的图像，提升了自动泊车系统对坡道车位的识别成功率。
结合第一方面，在第一种可能的实现方式中，所述根据所述摄像头的参数信息和所述坡度信息对所述待处理图像进行畸变校正，得到校正后的图像，包括：根据所述参数信息确定所述待处理图像的第一校正参数；根据所述坡度信息确定所述待处理图像的第二校正参数；根据所述第一校正参数和所述第二校正参数对所述待处理图像进行校正，得到所述校正后的图像。
结合第一种可能的实现方式，在第二种可能的实现方式中，所述根据所述坡度信息确定所述待处理图像的第二校正参数，包括：根据所述坡度信息和所述内参矩阵确定所述第二校正参数。
结合第二种可能的实现方式，在第三种可能的实现方式中，所述坡度信息、所述内参矩阵和所述第二校正参数满足如下关系式：
t2＝k3r6
其中，k3为所述坡度信息，r为所述内参矩阵，t2为所述第二校正参数。
结合第三种可能的实现方式，在第四种可能的实现方式中，所述参数信息和所述第一校正参数满足如下关系式：
t1＝1+k1r2+k2r4
其中，k1和k2为所述畸变系数，t1为所述第一校正参数，r为所述内参矩阵。
结合第四种可能的实现方式，在第五种可能的实现方式中，所述第一校正参数、所述第二校正参数、所述待处理图像和所述校正后的图像满足如下关系式：
x0＝x(1+k1r2+k2r4+k3r6)
y0＝y(1+k1r2+k2r4+k3r6)
其中，(x,y)为所述待处理图像的像素点坐标，(x0,y0)为所述校正后的图像的像素点坐标，k1和k2为所述畸变系数，k3为所述坡度信息，r为所述内参矩阵。
结合第一方面，在第六种可能的实现方式中，所述根据所述校正后的图像识别所述坡道车位，包括：根据俯视变换算法，对所述校正后的图像进行俯视变换，得到俯视图；根据加权平均融合算法，对多个所述俯视图的重叠区域进行融合，得到所述坡道车位的全景环视图像；将所述全景环视图像输入至预设神经网络模型中，输出有效车位信息。
第二方面，本申请提供一种坡道车位的探测装置，所述装置包括：获取模块，用于获取摄像头的参数信息和待处理图像，所述摄像头的参数信息包括所述摄像头的内参矩阵和所述摄像头的畸变系数，所述待处理图像为所述摄像头对所述车辆所在环境进行拍摄得到的图像；所述获取模块，还用于获取所述车辆所在路面的坡度信息；校正模块，用于根据所述摄像头的参数信息和所述坡度信息对所述待处理图像进行畸变校正，得到校正后的图像；识别模块，用于根据所述校正后的图像识别所述坡道车位。
结合第二方面，在第一种可能的实现方式中，所述校正模块用于：根据所述参数信息确定所述待处理图像的第一校正参数；根据所述坡度信息确定所述待处理图像的第二校正参数；根据所述第一校正参数和所述第二校正参数对所述待处理图像进行校正，得到所述校正后的图像。
结合第一种可能的实现方式，在第二种可能的实现方式中，所述校正模块具体用于：根据所述坡度信息和所述内参矩阵确定所述第二校正参数。
结合第二种可能的实现方式，在第三种可能的实现方式中，所述坡度信息、所述内参矩阵和所述第二校正参数满足如下关系式：
t2＝k3r6
其中，k3为所述坡度信息，r为所述内参矩阵，t2为所述第二校正参数。
结合第三种可能的实现方式，在第四种可能的实现方式中，所述参数信息和所述第一校正参数满足如下关系式：
t1＝1+k1r2+k2r4
其中，k1和k2为所述畸变系数，t1为所述第一校正参数，r为所述内参矩阵。
结合第四种可能的实现方式，在第五种可能的实现方式中，所述第一校正参数、所述第二校正参数、所述待处理图像和所述校正后的图像满足如下关系式：
x0＝x(1+k1r2+k2r4+k3r6)
y0＝y(1+k1r2+k2r4+k3r6)
其中，(x,y)为所述待处理图像的像素点坐标，(x0,y0)为所述校正后的图像的像素点坐标，k1和k2为所述畸变系数，k3为所述坡度信息，r为所述内参矩阵。
结合第二方面，在第六种可能的实现方式中，所述识别模块还用于：根据俯视变换算法，对所述校正后的图像进行俯视变换，得到俯视图；根据加权平均融合算法，对多个所述俯视图的重叠区域进行融合，得到所述坡道车位的全景环视图像；将所述全景环视图像输入至预设神经网络模型中，输出有效车位信息。
第三方面，本申请提供一种坡道车位的探测装置，所述装置包括与存储器耦合的处理器，所述处理器用于执行所述存储器中的程序代码，以实现如第一方面或其中任意一种可能的实现方式所述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述存储介质中存储有计算机程序或指令，当所述计算机程序或指令被处理器执行时，实现如第一方面或其中任意一种可能的实现方式所述的方法。
第五方面，本申请提供一种计算机程序产品，所述计算机程序产品中包括计算机程序代码，当所述计算机程序代码在计算机上运行时，使得所述计算机实现第一方面或其中任意一种可能的实现方式所述的方法。
第六方面，本申请提供一种车辆，所述车辆包括第二方面或第三方面中的探测装置。
附图说明
图1为本申请实施例提供的应用场景示意图；
图2为本申请一个实施例提供的车辆的结构示意图；
图3为本申请一个实施例提供的坡道车位探测方法的流程示意图；
图4为本申请一个实施例提供的像素点坐标对比示意图；
图5为本申请另一个实施例提供的车位探测方法的流程示意图；
图6为本申请一个实施例提供的坡道车位探测装置示意图；
图7为本申请另一个实施例提供的坡道车位探测装置示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在根据本实施例的启示下作做出的所有其他实施例，都属于本申请保护的范围。
伴随着时代的发展和人民生活水平的提高，我国的汽车保有量持续快速增长，庞大的机动车保有量给交通环境带来了巨大的压力，尤其是在城市人流量较大的地段，车位数量有限且狭小，车流量却很大，而泊车过程存在很大的视野盲区，这就造成了泊车难的问题。对于很多车主而言，即使在没有干扰的情况下，也很难把车快速地停放到车位中，而泊车几乎是车主每天都需要面对的事情，泊车过程常常会造成交通的局部堵塞，同时易导致剐蹭事故，这不仅会给车主带来经济损失，同时也会给车主带来一定的精神压力，为了解决这个问题，能够代替车主进行自动泊车的技术应运产生。
图1为本申请实施例的一种应用场景示意图。如图1所示，车辆101行驶在有坡度的路面上，驾驶员准备泊车时，启动车辆的自动泊车系统，开始探测车位。
图2为车辆101的一种结构示意图。如图2所示，车辆101上安装有4个鱼眼环视摄像头1011、1012、1013和1014，这些摄像头分别遍布在车辆的前后左右四个方向。车辆101还包括惯性导航系统(inertial navigation system，INS)1015、自动泊车系统(automaticparking system，APS)1016和车身电子稳定系统(electronic stability program，ESP)1017。
需要说明的是，图2中各个部件指示的区域只是作为一种示例，其在车辆101上的具体位置不局限于此。此外，本申请实施例中的车辆也不限于图2所述的结构，本申请实施例的车辆可以包括更多或更好的部分，或者可以包括功能相似的部件。
鱼眼环视摄像头1011至1014是一种带有鱼眼镜头的摄像头，其焦距短且视角接近180度，视角范围大，可以用于对车辆101所处的环境进行拍摄。
惯性导航系统1015是一种以陀螺和加速度计为敏感器件的导航参数解算系统，该系统根据陀螺的输出建立导航坐标系，根据加速度计输出解算出运载体在导航坐标系中的速度和位置。该惯性导航系统105可以用于输出车辆101的加速度值。
自动泊车系统1016就是不用人工干预，自动停车入位的系统。该系统设计的目的是辅助驾驶员完成泊车任务，其主要包含了三块内容：车位探测与定位、路径规划以及路径追踪，其中，车位的探测与定位无疑是最基础也是最重要的部分，能否找到车位以及能否准确地对其进行定位将直接决定泊车的成功与否，同时也是后续路径规划和路径追踪技术的前提。
车位检测与定位时，需要通过特定的传感器从外界环境中获取信息，按照所使用的传感器划分，可以分为基于超声波的自动泊车、基于图像的自动泊车，以及基于超声波和图像融合的自动泊车三种。本申请涉及的自动泊车方式主要是基于图像的自动泊车，该种类型的自动泊车使用摄像头对车身周围的环境图像进行拍摄，例如可以使用鱼眼摄像头进行图像采集，通过一定的算法合成360度全景环视图像，之后通过图像处理与识别算法检测出所采集画面中的车位，最后将计算得到的车位具体位置坐标信息传递给路径规划系统，以完成后续的泊车任务。
车身电子稳定系统1017是对旨在提升车辆的操控表现的同时、有效地防止汽车达到其动态极限时失控的系统或程序的通称。通常车辆的底盘也指的是该系统，该系统可以通过对从各传感器传来的车辆行驶状态信息进行分析，然后向各个部位发出纠偏指令，来帮助车辆维持动态平衡。
在当前的技术状态下，自动泊车已能支持现实生活中绝大部分车位的探测及泊入，比如常规的水平车位、垂直车位及斜列车位等。然而，对于坡度大于8度的车位探测，现有的自动系统识别精度差、识别误差大甚至无法有效识别，这大大限制了自动泊车的使用场景，影响用户体验。
有鉴于此，本申请提供了一种坡道车位的探测方法，该方法可以提升准确探测坡度车位的能力，提升用户体验。
下面通过附图及具体实施例对本申请的技术方案进行说明。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图3为本申请一个实施例提供的坡道车位探测方法的流程图。如图3所示，本实施例的方法可以包括：S301、S302、S303和S304。本申请实施例的方法的执行主体可以是图2所示结构中的自动泊车系统1016。
S301，获取摄像头的参数信息和待处理图像，所述摄像头的参数信息包括所述摄像头的内参矩阵和所述摄像头的畸变系数，所述待处理图像为所述摄像头对所述车辆所在环境进行拍摄得到的图像。
可以理解的是，摄像头的内参矩阵可以通过张正友标定法得到，该方法因实现成本低，精度高等优点，得到了广泛的使用。张正友标定法需要使用摄像头从不同的角度对标定板等物体进行拍摄，拍摄的画面越多，标定的结果就会越准确，通常要大于3张图。其具体实现方式是通过将图像坐标系下的每个画面与标定板之间建立起映射关系，也就是获取透视映射矩阵，其中，图像坐标系指的是摄像头最终呈现的画面是以数字存储显示展示的，即以横向纵向规则排列的像素点进行画面的存储；之后根据摄像头旋转矩阵的正交性对该矩阵进行限制，从而可以获得关于摄像头内参的两个方程，从不同角度拍摄的每一个画面都可以获得不同的方程，最终求解出摄像头的内参矩阵。
由于鱼眼摄像头拍摄获得的画面存在较大的畸变，所以鱼眼摄像头都会存在一个畸变系数。例如，当鱼眼摄像头的镜头曲面是球面时，一条平行于平面的直线段在经过半球面折射之后于成像面所成的画面不再是直线段，而是一条曲线，那么实际成像点的像素坐标和画面畸变校正后的图像像素坐标会存在一个转换关系，这个转换关系中的系数就是畸变系数。
作为一种示例，摄像头的参数信息可以从自动泊车系统1016获取。
作为一种示例，待处理图像可以包括车辆101上的4个鱼眼环视摄像头1011、1012、1013和1014中一个或多个摄像头拍摄得到的图像。
S302，获取所述车辆所在路面的坡度信息。
作为一种示例，车辆101上的惯性导航系统1015输出车辆在X轴和Y轴的加速度值至车辆101的底盘，也就是车身电子稳定系统1017，即ESP，ESP根据收到的加速度值进行计算，得到车辆101所在路面的坡度信息。
ESP根据加速度计算得到坡度值的实现方式可以参考现有相关技术，此处不再赘述。
S303，根据所述摄像头的参数信息和所述坡度信息对所述待处理图像进行畸变校正，得到校正后的图像。
作为一种示例，可以将摄像头的内参矩阵和畸变系数与车辆所在路面的坡度信息结合，对待处理图像进行畸变校正，得到校正后的图像。
与仅仅利用摄像头的参数信息对拍摄得到的原始图像进行畸变校正相比，本实施例结合了车辆所在路面的坡度信息，这就使得自动泊车系统1016可以识别到坡度不同的更多场景下的车位，也就是说，扩展了自动泊车的使用场景，增强了自动泊车系统的健壮性。
通常情况下，仅利用摄像头的参数信息对拍摄得到的原始图像进行畸变校正，然后基于校正后的图像进行车位探测的方法，只能探测到坡度在8度以下的车位。对于坡度在8度以上的车位，由于坡度的影响，摄像头拍摄到的车位线的坐标与车位线的真实坐标之间会有误差，因此，在坡度大于8度以上的泊车场景，不仅基于摄像头的参数信息来对摄像头采集的图像进行畸变矫正，还考虑了坡度来对摄像头采集的图像进行畸变矫正，可以有效提高坡度车位的准确率，扩展车辆的自动泊车应用场景。
作为一种示例，根据所述摄像头的参数信息和所述坡度信息对所述待处理图像进行畸变校正的一种可实现方式包括：根据所述参数信息确定所述待处理图像的第一校正参数；根据所述坡度信息确定所述待处理图像的第二校正参数；根据所述第一校正参数和所述第二校正参数对所述待处理图像进行校正，得到所述校正后的图像。
根据所述参数信息确定所述待处理图像的第一校正参数的实现方式，可以参考现有技术中根据摄像头的内参矩阵和畸变系统计算图像的校正参数的实现方式。
作为另一种示例，摄像头的内参矩阵、畸变系数和第一校正参数满足如下关系式：
t1＝1+k1r2+k2r4 (1)
其中，k1和k2为畸变系数，t1为第一校正参数，r为内参矩阵。
或者说，可以根据摄像头的内参矩阵、畸变系数和式(1)计算第一校正参数。
在一些实现方式中，根据所述坡度信息确定所述待处理图像的第二校正参数，可以包括：根据所述坡度信息和所述内参矩阵确定所述第二校正参数。
作为一种示例，坡度信息、内参矩阵和第二校正参数满足如下关系式：
t2＝k3r6 (2)
其中，k3为坡度信息，r为内参矩阵，t2为第二校正参数。
或者说，可以根据坡度信息、内参矩阵和式(2)计算第二校正参数。
可以理解的是，本申请实施例对获取第一校正参数和第二校正参数的先后顺序不作限制。
作为一种可选的实施例，第一校正参数、第二校正参数、待处理图像和校正后的图像满足如下关系式：
其中，(x,y)为待处理图像的像素点坐标，(x0,y0)为校正后的图像的像素点坐标，k1和k2为畸变系数，k3为坡度信息，r为内参矩阵。
或者说，可以根据第一校正参数、第二校正参数和式(3)来对待处理图像的像素点坐标进行畸变校正，以得到校正后的图像的像素点坐标。
该实施例中，将第一校正参数和第二校正参数结合对待处理图像进行畸变校正，通过上述示例的公式可以得到最终校正后的图像的所有像素点坐标。
作为一种示例，在实际的校正过程中，待处理图像的示例像素点坐标和校正后的图像的示例像素点坐标的对比示意图可以如图4所示。
可以理解的是，待处理图像可以包括多个图像，每个图像进行畸变校正后得到对应的校正后图像，则多个待处理图像对应多个校正后图像。
S304，根据所述校正后的图像识别所述坡道车位。
作为一种示例，根据所述校正后的图像识别所述坡道车位可以包括：根据俯视变换算法，对所述校正后的图像进行俯视变换，得到俯视图，其中，多个校正后图像对应多个俯视图；根据加权平均融合算法，对多个所述俯视图的重叠区域进行融合，得到所述坡道车位的全景环视图像；将所述全景环视图像输入至预设神经网络模型中，输出有效车位信息。
可以理解的是，由于安装好的鱼眼环视摄像头光轴不与路面垂直，总是存在一定的夹角，所以所获得的画面也是带有一定的倾斜角度的，为了得到从空中垂直俯视的画面，需要对校正后的图像进行俯视变换操作。此处利用直接线性变换法校正后的图像作俯视变换，得到对应的俯视图。
由于四个摄像头拍摄的画面经过俯视变换之后，相邻的画面之间会存在一部分重叠的画面区域，所以需要采用图像融合算法对这部分重叠的区域进行融合处理，之后对其他重叠区域依次完成上述操作，最终得到全景环视图像。
其中，本实施例用到的图像融合算法是像素级图像融合中的加权平均融合算法，主要是依据重叠区域像素点的位置对像素点进行加权平均处理，该方法可以有效地对图像细节进行保留，效果较好。
作为一种可选的实施例，将上面得到的全景环视图像输入至预设神经网络模型中，输出有效车位信息。
该预设神经网络模型是以采集到的不同坡度和不同场景的坡度车位图像信息作为训练样本，对深度学习模型进行训练，得到一个基于深度学习的车位检测模型，目的是从所输入的图像中检测并提取出车位信息。
作为一种示例，训练样本的获取，可以是车辆出厂时，将人为采集好的不同坡度和不同场景的坡度车位图像信息输入至深度学习模型中进行训练；也可以是车辆在行驶过程中利用车辆上的环视摄像头对不同场景、不同坡度下的车位进行拍摄得到的。
进一步的，为了节省运算资源，降低能耗，当车辆上ESP判断得出当前车辆处于坡道车位时，运行该深度学习模型算法，否则，不加载该深度学习模型算法。
可选的，为了进一步提升坡道车位的识别成功率，在深度学习模型检测车位的基础上，还可以增加一套增强图像识别算法，用于对车位角点的定位，辅助深度学习模型，增加车位识别精度。该图像识别算法使用灰度化算法和滤波算法对深度学习模型检测并提取出全景环视图像中的车位信息(车位区域)进行预处理，以降低图像噪声的干扰。针对光照不均匀、存在大量阴影，背景信息复杂的图象，普通的二值化方法难以处理得到完整车位，再通过形态学运算算法获取图像的背景，并将其从原始图像中去除后再进行二值化操作。而后根据车位的特征，设计了一种基于连通区域的车位提取方法；最后，通过霍夫(Hough)直线检测完成对车位角点的定位，输出车位的四个角点坐标，并通过坐标转换得到该车位位于全景图像中的坐标值，最终，确定车位四个角点的坐标即可识别为有效车位。
需要说明的是，使用增强图像识别算法可以提升自动泊车系统对坡道车位的识别精度和识别成功率，提升客户体验。
综上所述，本申请提供的坡道车位探测方法不仅扩展了现有自动泊车系统的使用场景，将坡道车位纳入到了自动泊车的常规支持场景，增强了自动泊车系统的健壮性；进一步的，提升了自动泊车系统对坡道车位的识别精度和识别成功率，为后续泊车过程中规划泊车路径、跟踪泊车轨迹奠定了好的基础，给客户带来更好的泊车体验。
进一步的，本申请提供的坡道车位探测方法主要是应用于基于图像的自动泊车系统中，此外，该方法还可以用于图像和超声波融合的自动泊车系统中，更进一步的提升坡道车位探测成功率。
图5为本申请另一个实施例的车位探测方法的流程示意图。图5所示的方法可以包括S501、S502、S503、S504、S505和S506。
其中，S501、S502、S505和S506可以分别参考S301、S302、S303和S304。
S503，判断车辆所在路面的坡度值是否大于预设坡度值。若是，则执行S505，否则执行S504。
预设坡度值的一种示例为8度。
S504，根据摄像头的参数信息对待处理图像进行畸变校正处理，得到校正后的图像。
也就是说，车辆所在路面的坡度值大于预设坡度值时，基于摄像头的参数信息和路面坡度信息来对摄像头采集的图像进行畸变校正；车辆所在路面的坡度值不大于预设坡度值时，可以忽略路面坡度的影响，例如可以仅使用摄像头的参数信息来对摄像头采集的图像进行畸变矫正。
本实施例基于路面的实际坡度值来选择摄像头采集的图像的校正方法，既能保证车位的探测准确率，又能避免资源的浪费，提高车辆的资源利用率。
图6为本申请一个实施例提供的坡道车位探测装置的结构示意图。图6所示的装置可以用于执行前述任意一个实施例所述的方法。如图6所示，本实施例的装置600可以包括：获取模块601、校正模块602、识别模块603和判断模块604。
在一种示例中，装置600可以用于执行图3所述的方法。例如，获取模块601可以用于执行S301和S302，校正模块602可以用于执行S303，识别模块603可以用于执行S304。
在另一种示例中，装置600可以用于执行图5所述的方法。例如，获取模块601可以用于执行S501和S502，判断模块604可以用于执行S503，校正模块602可以用于执行S504和S505，识别模块603可以用于执行S506。
图7为本申请另一个实施例提供的坡道车位探测装置示意图。图7所示的装置可以用于执行前述任意一个实施例所述的方法。
如图7所示，本实施例的装置700包括：存储器701、处理器702、通信接口703以及总线704。其中，存储器701、处理器702、通信接口703通过总线704实现彼此之间的通信连接。
存储器701可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器701可以存储程序，当存储器701中存储的程序被处理器702执行时，处理器702用于执行图3或图5所示的方法的各个步骤。
处理器702可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现本申请各个实施例中的方法。
处理器702还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请各个实施例的方法的各个步骤可以通过处理器702中的硬件的集成逻辑电路或者软件形式的指令完成。
上述处理器702还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器701，处理器702读取存储器701中的信息，结合其硬件完成本申请的装置包括的单元所需执行的功能，例如，可以执行图3或图5所示实施例的各个步骤/功能。
通信接口703可以使用但不限于收发器一类的收发装置，来实现装置700与其他设备或通信网络之间的通信。
总线704可以包括在装置700各个部件(例如，存储器701、处理器702、通信接口703)之间传送信息的通路。
应理解，本申请实施例所示的装置700可以是计算设备，或者，也可以是配置于计算设备中的芯片。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种坡道车位的探测方法，其特征在于，所述探测方法应用于车辆，所述方法包括：
获取摄像头的参数信息和待处理图像，所述摄像头的参数信息包括所述摄像头的内参矩阵和所述摄像头的畸变系数，所述待处理图像为所述摄像头对所述车辆所在环境进行拍摄得到的图像；
获取所述车辆所在路面的坡度信息；
根据所述摄像头的参数信息和所述坡度信息对所述待处理图像进行畸变校正，得到校正后的图像；
根据所述校正后的图像识别所述坡道车位。
2.根据权利要求1所述的方法，其特征在于，所述根据所述摄像头的参数信息和所述坡度信息对所述待处理图像进行畸变校正，得到校正后的图像，包括：
根据所述参数信息确定所述待处理图像的第一校正参数；
根据所述坡度信息确定所述待处理图像的第二校正参数；
根据所述第一校正参数和所述第二校正参数对所述待处理图像进行校正，得到所述校正后的图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述坡度信息确定所述待处理图像的第二校正参数，包括：
根据所述坡度信息和所述内参矩阵确定所述第二校正参数。
4.根据权利要求3所述的方法，其特征在于，所述坡度信息、所述内参矩阵和所述第二校正参数满足如下关系式：
t2＝k3r6
其中，k3为所述坡度信息，r为所述内参矩阵，t2为所述第二校正参数。
5.根据权利要求4所述的方法，其特征在于，所述参数信息和所述第一校正参数满足如下关系式：
t1＝1+k1r2+k2r4
其中，k1和k2为所述畸变系数，t1为所述第一校正参数，r为所述内参矩阵。
6.根据权利要求5所述的方法，其特征在于，所述第一校正参数、所述第二校正参数、所述待处理图像和所述校正后的图像满足如下关系式：
x0＝x(1+k1r2+k2r4+k3r6)
y0＝y(1+k1r2+k2r4+k3r6)
其中，(x,y)为所述待处理图像的像素点坐标，(x0,y0)为所述校正后的图像的像素点坐标，k1和k2为所述畸变系数，k3为所述坡度信息，r为所述内参矩阵。
7.根据权利要求1所述的方法，其特征在于，所述根据所述校正后的图像识别所述坡道车位，包括：
根据俯视变换算法，对所述校正后的图像进行俯视变换，得到俯视图；
根据图像融合算法，对多个所述俯视图的重叠区域进行融合，得到所述坡道车位的全景环视图像；
将所述全景环视图像输入至预设神经网络模型中，输出有效车位信息。
8.一种坡道车位的探测装置，其特征在于，所述装置包括与存储器耦合的处理器，所述处理器用于执行所述存储器中的程序代码，以实现如权利要求1至7中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序或指令，当所述计算机程序或指令被处理器执行时，实现如权利要求1至7中任一项所述的方法。
10.一种计算机程序产品，所述计算机程序产品中包括计算机程序代码，其特征在于，当所述计算机程序代码在计算机上运行时，使得所述计算机实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110550619.XA CN113147746A (zh) | 2021-05-20 | 2021-05-20 | 坡道车位的探测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110550619.XA CN113147746A (zh) | 2021-05-20 | 2021-05-20 | 坡道车位的探测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113147746A true CN113147746A (zh) | 2021-07-23 |
Family
ID=76877067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110550619.XA Pending CN113147746A (zh) | 2021-05-20 | 2021-05-20 | 坡道车位的探测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113147746A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116778457A (zh) * | 2023-08-16 | 2023-09-19 | 钧捷科技（北京）有限公司 | 一种车辆自动泊车辅助控制系统及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507131A (zh) * | 2017-08-08 | 2017-12-22 | 广州市安晓科技有限责任公司 | 基于单摄像头的360度全景倒车影像生成方法 |
| CN110861639A (zh) * | 2019-11-28 | 2020-03-06 | 安徽江淮汽车集团股份有限公司 | 泊车信息融合方法、装置、电子设备及存储介质 |
| CN112172797A (zh) * | 2020-09-27 | 2021-01-05 | 华人运通(上海)自动驾驶科技有限公司 | 泊车控制方法、装置、设备和存储介质 |
| CN112418040A (zh) * | 2020-11-16 | 2021-02-26 | 南京邮电大学 | 一种基于双目视觉的障碍物占用消防通道的检测与识别方法 |
| CN112648976A (zh) * | 2020-12-23 | 2021-04-13 | 北京恒达时讯科技股份有限公司 | 实景影像测量方法、装置、电子设备及存储介质 |
-
2021
- 2021-05-20 CN CN202110550619.XA patent/CN113147746A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507131A (zh) * | 2017-08-08 | 2017-12-22 | 广州市安晓科技有限责任公司 | 基于单摄像头的360度全景倒车影像生成方法 |
| CN110861639A (zh) * | 2019-11-28 | 2020-03-06 | 安徽江淮汽车集团股份有限公司 | 泊车信息融合方法、装置、电子设备及存储介质 |
| CN112172797A (zh) * | 2020-09-27 | 2021-01-05 | 华人运通(上海)自动驾驶科技有限公司 | 泊车控制方法、装置、设备和存储介质 |
| CN112418040A (zh) * | 2020-11-16 | 2021-02-26 | 南京邮电大学 | 一种基于双目视觉的障碍物占用消防通道的检测与识别方法 |
| CN112648976A (zh) * | 2020-12-23 | 2021-04-13 | 北京恒达时讯科技股份有限公司 | 实景影像测量方法、装置、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116778457A (zh) * | 2023-08-16 | 2023-09-19 | 钧捷科技（北京）有限公司 | 一种车辆自动泊车辅助控制系统及装置 |
| CN116778457B (zh) * | 2023-08-16 | 2023-11-03 | 钧捷科技（北京）有限公司 | 一种车辆自动泊车辅助控制系统及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11210534B2 (en) | Method for position detection, device, and storage medium | |
| CN107341453B (zh) | 一种车道线提取方法及装置 | |
| CN110758246B (zh) | 一种自动泊车方法及装置 | |
| CN113874927B (zh) | 停车检测方法、系统、处理设备和存储介质 | |
| CN106952308B (zh) | 运动物体的位置确定方法及系统 | |
| JP6995188B2 (ja) | 車載カメラの姿勢推定方法、装置およびシステムならびに電子機器 | |
| CN110861639A (zh) | 泊车信息融合方法、装置、电子设备及存储介质 | |
| JP5146446B2 (ja) | 移動体検知装置および移動体検知プログラムと移動体検知方法 | |
| CN111626295B (zh) | 车牌检测模型的训练方法和装置 | |
| CN109871739B (zh) | 基于yolo-sioctl的机动站自动目标检测与空间定位方法 | |
| CN110929655A (zh) | 一种行驶过程中车道线识别方法、终端设备及存储介质 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN112634359A (zh) | 车辆防碰撞预警方法、装置、终端设备及存储介质 | |
| CN114543819A (zh) | 车辆定位方法、装置、电子设备及存储介质 | |
| CN111386530A (zh) | 车辆检测方法和设备 | |
| CN112634628B (zh) | 一种车辆速度确定方法、终端及存储介质 | |
| CN116863124B (zh) | 车辆姿态确定方法、控制器及存储介质 | |
| CN112598743B (zh) | 一种单目视觉图像的位姿估算方法及相关装置 | |
| CN113147746A (zh) | 坡道车位的探测方法及装置 | |
| CN113902047B (zh) | 图像元素匹配方法、装置、设备以及存储介质 | |
| JP4462533B2 (ja) | 路面走行レーン検出装置 | |
| Chen et al. | Integrated vehicle and lane detection with distance estimation | |
| CN113255405B (zh) | 车位线识别方法及其系统、车位线识别设备、存储介质 | |
| CN113591720A (zh) | 车道偏离检测方法、装置及计算机存储介质 | |
| CN114758318A (zh) | 一种基于全景视图的任意角度车位检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210723 |
|
| WD01 | Invention patent application deemed withdrawn after publication |