CN112416000B - 无人驾驶方程式赛车环境感知和导航方法及转向控制方法 - Google Patents

无人驾驶方程式赛车环境感知和导航方法及转向控制方法 Download PDF

Info

Publication number
CN112416000B
CN112416000B CN202011204075.3A CN202011204075A CN112416000B CN 112416000 B CN112416000 B CN 112416000B CN 202011204075 A CN202011204075 A CN 202011204075A CN 112416000 B CN112416000 B CN 112416000B
Authority
CN
China
Prior art keywords
cone
color
red
image
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011204075.3A
Other languages
English (en)
Other versions
CN112416000A (zh
Inventor
王立勇
孙鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202011204075.3A priority Critical patent/CN112416000B/zh
Publication of CN112416000A publication Critical patent/CN112416000A/zh
Application granted granted Critical
Publication of CN112416000B publication Critical patent/CN112416000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种无人驾驶方程式赛车环境感知和导航方法及转向控制方法,其包括:对预先建立的单应性矩阵H进行标定求解;对彩色图像上的锥桶进行识别,获取锥桶在彩色图像上的位置坐标;通过标定后的单应性矩阵H将各彩色锥桶的位置坐标和图像上锥桶包络矩形的四个顶点映射至深度图像中,获取对应深度图像中锥桶的中心位置和覆盖范围;对覆盖范围内所有像素的空间三维坐标值求均值,作为此颜色锥桶的空间三维坐标,进而实现各色锥桶的识别和空间定位,获得赛车行进路径。本发明能实现彩色目标和深度数据的快速融合,计算量小、准确度高;可以广泛在无人驾驶技术领域中应用。

Description

无人驾驶方程式赛车环境感知和导航方法及转向控制方法
技术领域
本发明涉及一种无人驾驶技术领域,特别是关于一种无人驾驶方程式赛车环境感知和导航方法及转向控制方法。
背景技术
在无人驾驶方程式大赛的比赛中,一系列红色和蓝色交通锥桶分别标识了行进路径的两个边界,无人驾驶赛车在两边界中间的有限道路范围内自动行进,完成比赛规定的跑动路程,如图1所示。因此,赛车需要依靠搭载的各种传感器识别道路两侧的锥桶,并规划出行进路线。在此基础上,控制系统实时制定赛车转向的最佳指令,控制车辆按照路线前进,即赛车导航。赛车的传感系统需要从复杂的环境中感知交通锥桶、区分道路两侧的红色和蓝色锥桶,并且获得锥桶在三维空间中的准确的位置信息,才可进一步规划出有效的行进路线,并做出正确的转向控制。
目前,在无人驾驶方程式比赛中,最为常用的感知和控制部分由雷达组感知、摄像头感知和导航定位构成的环境感知模块、规划决策上位机(车载计算机)和底层控制块组成,车载计算机接收激光雷达和摄像头的数据,综合分析得到周围环境信息,进而规划路径并对转向、油门、制动等底层模块发送指令。其中,激光雷达通过水平扫描获取环境中物体的三维点云数据,如图2所示。摄像头拍摄赛车前方环境的图像,计算机通过对图像进行分析,识别并区分不同颜色的锥桶。计算机通过将激光雷达的三维数据和摄像头的二维数据结合,获得红色和蓝色锥桶的空间位置。激光雷达扫描线在竖直方向具有一定的分辨率,且随着探测距离增加,其空间分辨率急剧下降,甚至低于交通锥桶的高度,可能导致交通锥的点云数据量不足甚至丢失数据,造成较大定位误差甚至是漏检。为了提高分辨率,需要增加激光雷达的线数,然而其成本也会急剧增加。而且,由于激光雷达的扫描机制,当车速较快时,同一帧点云数据之间存在时序上的偏差,导致点云畸变,影响定位精度。
在图像中锥桶识别方面,目前最常用的是机器学习的方法,通过大量正负样本图像提前训练学习网络,进而利用网络在比赛时的图像中识别锥桶。由于锥桶形状和姿态单一,容易出现网络过拟合从而训练失败的问题。同时,前期训练网络的过程复杂,耗费时间和精力。在三维点云数据和二维图像数据融合方面,常用的方法是将摄像头采集到的图像投影到新的观看平面,进而将图像空间中的物体投影到激光雷达坐标系中,从而实现三维点云数据和二维图像数据的匹配。
在无人驾驶方程式比赛中,利用激光雷达获取环境的三维信息,由于受到纵向分辨率、扫描时间的影响,存在锥桶定位误差较大、漏检及成本高等缺陷。在锥桶图像识别方面,机器学习的目标检测方法存在训练过程复杂、模型过拟合及硬件资源要求高等问题。
发明内容
针对上述问题,本发明的目的是提供一种无人驾驶方程式赛车环境感知和导航方法及转向控制方法,其能实现彩色目标和深度数据的快速融合,计算量小、准确度高。
为实现上述目的,本发明采取以下技术方案:一种无人驾驶方程式赛车的环境感知和导航方法,其包括以下步骤:对预先建立的单应性矩阵H进行标定求解;对彩色图像上的锥桶进行识别,获取锥桶在彩色图像上的位置坐标;通过标定后的单应性矩阵H将各彩色锥桶的位置坐标和图像上锥桶包络矩形的四个顶点映射至深度图像中,获取对应深度图像中锥桶的中心位置和覆盖范围;对覆盖范围内所有像素的空间三维坐标值求均值,作为此颜色锥桶的空间三维坐标,进而实现各色锥桶的识别和空间定位,获得赛车行进路径。
进一步,所述单应性矩阵的建立方法包括以下步骤:
1.1)将空间三维景物投影到二维像面上的成像过程简化为仿射变换;
1.2)确定某个锥桶在地面坐标系中的坐标Xi与其在深度图像中的图像坐标udi满足的仿射变换:
udi=HdXi
其中,Xi=[Xi Yi 1]T是第i个锥桶的齐次平面坐标,udi=[udi vdi 1]T是这个点在深度图像上的齐次坐标值,Hd是地面与深度图像之间的单应性矩阵;
1.3)确定该锥桶在地面坐标系中的坐标Xi与其在彩色图像中的坐标uci满足的仿射变换:
uci=HcXi
其中,uci=[uci vci 1]T是这个点在彩色图像上的齐次坐标值,Hc是地面与彩色图像之间的单应性矩阵;
1.4)由步骤1.2)和步骤1.3)推知,锥桶在深度和彩色图像上的坐标udi和uci满足如下仿射变换:
进而得到单应性矩阵H。
进一步,所述单应性矩阵H的标定求解方法为:采用立体视觉系统和彩色相机采集标定场图像,并提取各锥桶在两个图像中的坐标值;利用仿射变换,通过svd分解法求解单应性矩阵H中的元素,完成对单应性矩阵H的标定求解。
进一步,对彩色图像上锥桶的识别方法包括以下步骤:
2.1)利用不同颜色锥桶成像RGB分量值之间具有的比例差别,分别获取黄色目标图、红色目标图和蓝色目标图;
2.2)在各色目标图像上,通过二值化和连通区域分析,获得颜色块;
2.3)通过约束条件对各个颜色块进行处理,确定这个颜色块外观是否符合锥桶形状,从而获得其是否是锥桶及其颜色的判定。
进一步,对Yellow,Red和Blue数组进行处理,通过面积、形状、位置约束条件剔除干扰目标,保留真正的锥桶目标;对Yellow数组进行连通区域分析,为每个连通的色块进行标识;处理方法包括以下步骤:
2.3.1)遍历第m个连通区域,求解此连通区域的面积iSizeTar,即有多少个像素值为1;判断该连通区域的面积是否小于第一预设值,若小于则不是锥桶,反之,则进入下一步;
2.3.2)根据此连通区域包络矩形的左上角点纵向坐标iUp、右下角点纵向坐标iDown、包络矩形的高度iRowSize和宽度iColSize,求解包络矩形的形状比;
2.3.3)判断包络矩形的形状比是否小于第二预设值,若小于第二预设值则不是锥桶,继续判断下一个连通区域;若大于第二预设值,则可能是锥桶目标,则求解此色块目标的上边缘和下边缘对应的成像放大率;
2.3.4)分别求解在上边缘和下边缘对应的成像放大率下的锥桶有色区域的成像面积iS1和iS2;
2.3.5)根据两个成像放大率下的锥桶有色区域的成像面积iS1和iS2,以及此连通区域的面积,判断该色块目标是否为锥桶,完成彩色图像上锥桶的识别;
2.4)保存锥桶色块的中心坐标、左上角点坐标、右下角点坐标和形状比信息,以锥桶色块的几何中心,作为锥桶在彩色图像上的位置坐标。
进一步,判断该色块目标是否为锥桶的方法为:如果满足iSizeTar<iS1或者满足iSizeTar>5*iS2,则此色块目标不是锥桶,继续判断下一个连通区域;如果满足iSizeTar>iS1并且iSizeTar<5*iS2,则确定这个色块是一个锥桶。
进一步,各色锥桶的空间坐标获取方法包括以下步骤:
4.1)利用预先标定的相机内参数对图像上锥桶目标的中心坐标、左上角点坐标、右下角点坐标进行畸变校正;
4.2)利用单应性矩阵H将彩色图像上锥桶的坐标映射至深度图像中;
4.3)统计每个目标范围内,Z坐标在预设容许范围内的像素点的个数N,将该个数与预设值比较,进而确定有效的匹配目标,求该有效的匹配目标内所有像素的空间三维坐标值的均值,作为该锥桶的空间坐标;
如果N<3,则找不到有效的匹配目标;如果n>3,则找到了有效的匹配目标,进而求该有效的匹配目标的N个像素X,Y,Z方向坐标值的均值,记录为这个锥桶的空间坐标。
一种无人驾驶方程式赛车的转向控制方法,其包括以下步骤:
根据上述环境感知和导航方法,获得车辆前方红、蓝色锥桶的位置;
根据获取的锥桶位置,求解最近红色锥桶与最近蓝色锥桶中点Mid的方向角φ、最近两个红色锥桶的方向矢量角φr以及最近两个蓝色锥桶的方向角φb
根据方向角φ、方向矢量角φr和方向角φb综合判断得到车辆转向角。
进一步,所述最近两个红色锥桶的方向矢量角φr的求解方法与最近两个蓝色锥桶的方向角φb的求解方法相同;则两个红色锥桶的方向矢量角φr的求解方法为:
2011)判断找到的红色锥桶的数量是否大于1,若是,则进入下一步;
2012)遍历每个红色锥桶的空间坐标[Xr Yr Zr],求解各红色锥桶到车辆的平面距离Dr,得到距离车辆最近的两个红色锥桶,两个红色锥桶到车辆的距离分别为Dr1和Dr2;
2013)判断两个距离Dr1和Dr2是否在预设范围内,若在预设范围内,则找到了距离车辆最近的红色锥桶和距离车辆次近的红色锥桶,保存这两个红色锥桶的坐标[Xr1 Zr1]和[Xr2 Zr2];
2014)根据保存的红色锥桶的坐标计算得到红色锥桶标识的方向矢量角φr
φr=arctan((Xr2–Xr1)/(Zr2–Zr1))。
进一步,所述综合判断方法如下:
如果找到了最近和次近的红色锥桶,但是没有找到蓝色锥桶,则将最近两个红色锥桶的方向矢量角φr作为车辆转向角;
如果找到了最近和次近的蓝色锥桶,但是没有找到红色锥桶,则将最近两个蓝色锥桶的方向角φb作为车辆转向角;
若找到距离车辆最近的一个红色锥桶和一个蓝色锥桶,则将矢量方向角φ作为车辆转角;
若没有找到红色锥桶和蓝色锥桶,或者只找到一个红色锥桶,或者只找到一个蓝色锥桶,则继续沿用上一时刻的转向角为车辆当前转向角。
本发明由于采取以上技术方案,其具有以下优点:1、本发明采用立体视觉系统代替激光雷达感知三维环境,由于相机图像在横纵方向具有相同的空间分辨能力、没有扫描机制、硬件设备价格低,能够解决光雷达纵向分辨率不足、三维数据畸变、存在扫描盲区、成本高等问题,为无人驾驶方程式赛车提供准确可靠的三维环境信息。2、本发明的图像锥桶目标识别基于颜色分量比例以及多种几何约束,处理单帧图像即可获得各锥桶的颜色、位置和尺寸信息。不依赖于复杂的机器学习模型、训练样本和训练方法,能够在保证识别准确率的前提下,降低算法复杂度和硬件要求。3、本发明在三维数据和二维锥桶目标匹配方面,基于仿射变换的映射模型,仅仅对锥桶的像面位置坐标进行映射变换即可实现彩色目标和深度数据的快速融合,模型简单可靠、计算量小、准确度高。同时对单应性矩阵H进行标定,不需要借助额外的标定物,仅通过在相机视场的地面上摆放若干锥桶和简单计算,就可以获得高精度的标定结果。
附图说明
图1是现有技术中无人驾驶方程式比赛赛道示意图。
图2是现有技术中激光雷达获取的点云数据示意图。
图3是本发明空间平面物体与其像面物体的映射变换示意图。
图4a是标定场的彩色图像;
图4b是标定场的深度图像。
图5a是标定图像中黄色目标识别结果;
图5b是标定图像中红色目标识别结果;
图5c是标定图像中蓝色目标识别结果。
图6是彩色图像上各颜色锥桶的识别结果。
图7是蓝色锥桶成像范围的映射结果。
图8是锥桶的识别和定位结果;其中黑色圆点表示红色锥桶,黑星表示蓝色锥桶。
图9是由获取的车辆前方红、蓝色锥桶的位置计算车辆转向角的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
在本实施例中,提供一种无人驾驶方程式赛车的环境感知和导航方法,其包括以下步骤:
1)对预先建立的单应性矩阵H进行标定求解;
其中,单应性矩阵H为预先采集到的深度图像和彩色图像之间的映射模型;
2)对彩色图像上的锥桶进行识别,获取锥桶在彩色图像上的位置坐标;
3)通过标定后的单应性矩阵H将各彩色锥桶的位置坐标和图像上锥桶包络矩形的四个顶点映射至深度图像中,获取对应深度图像中锥桶的中心位置和覆盖范围。
4)对覆盖范围内所有像素的空间三维坐标值求均值,作为此颜色锥桶的空间三维坐标,进而实现各色锥桶的识别和空间定位,获得赛车行进路径。
上述步骤1)中,采用设置在赛车前端的环境感知模块采集赛车前方环境的深度图像和彩色图像。环境感知模块包括由两台并列设置用于采集深度图像的灰度相机构成的立体视觉系统和一台用于采集彩色图像的彩色相机。
其中,两台灰度相机具有相同的分辨率和成像结果,一台灰度相机用于获取深度二值图像,另一台灰度相机用于获取深度伪彩色图像,通过该深度伪彩色图像获取锥桶精确的空间位置。彩色相机设置有广角镜头,用于获取赛车前方环境和颜色,进而识别不同颜色的锥桶。
上述步骤1)中,单应性矩阵的建立方法包括以下步骤:
1.1)将空间三维景物投影到二维像面上的成像过程简化为仿射变换:
u=HX
其中,X=[X Y 1]T是平面一点在平面坐标系中的齐次坐标值,u=[u v 1]T是该点的成像点在像面上的齐次坐标值。
在本实施例中,相机对于环境的成像过程是一种透视投影变换,将空间三维景物投影到二维像面上。对于二维平面物体的成像过程,这种变换能够简化为仿射变换,如图3所示。
1.2)确定某个锥桶在地面坐标系中的坐标Xi与其在深度图像中的图像坐标udi满足的仿射变换:
udi=HdXi (2)
其中,Xi=[Xi Yi 1]T是第i个锥桶的齐次平面坐标,udi=[udi vdi 1]T是这个点在深度图像上的齐次坐标值,Hd是地面与深度图像之间的单应性矩阵。
由于无人驾驶方程式比赛的目标锥桶都位于地面所在的平面上,故某个锥桶在地面坐标系中的坐标Xi与它在深度图像中的图像坐标udi满足上述仿射变换。
1.3)确定该锥桶在地面坐标系中的坐标Xi与其在彩色图像中的坐标uci满足的仿射变换:
uci=HcXi (3)
其中,uci=[uci vci 1]T是这个点在彩色图像上的齐次坐标值,Hc是地面与彩色图像之间的单应性矩阵。
1.4)由公式(2)和(3)可以推知,锥桶在深度和彩色图像上的坐标udi和uci满足如下仿射变换:
进而得到单应性矩阵H。
上述步骤1)中,单应性矩阵H的标定求解方法为:采用立体视觉系统和彩色相机采集标定场图像,并提取各锥桶在两个图像中的坐标值;利用仿射变换,通过svd分解法求解单应性矩阵H中的元素,完成对单应性矩阵H的标定求解。
在本实施例中,具体标定求解方法为:
在立体视觉相机和彩色相机的公共视场内,均匀摆放锥桶作为标定场。使用立体视觉系统和彩色相机分别拍摄标定场的图像,如图4a、图4b所示。
在彩色图像上,手动定位每个锥桶的中心位置uci=[uci vci]T,并在深度图像上手动定位其对应的锥桶的中心位置udi=[udi vdi 1]T,它们应满足公式(4)表示的仿射变换:
通过变换,可以将上式改写成:
通过手动方式找到n组对应的彩色和深度图像锥桶位置坐标,可以将他们联立为:
UH=0
如果n≥5,那么可以通过svd分解法,求解单应性矩阵H中的元素。首先对H’*H进行svd分解:
[U S V]=svd(H′*H) (8)
其中,S为9*9的对角线矩阵,其对角线元素是H’*H矩阵的特征值;H’为单应性矩阵H的转置矩阵;V为特征向量矩阵,该矩阵中各列是对应各个特征值的特征向量;U是保证H’*H=U*S*V’的矩阵。那么V中对应于S中最小值的列向量即为H的最优解。进而求得了描述深度图像和彩色图像之间映射关系的单应性矩阵H。
上述步骤2)中,对彩色图像上锥桶的识别方法包括以下步骤:
2.1)利用不同颜色锥桶成像RGB分量值之间具有的比例差别,分别获取黄色目标图、红色目标图和蓝色目标图;
具体为:建立三个布尔型二维数组Yellow、Red和Blue,数组的行数和列数同彩色图像的行列数一致,用来存储黄色、红色和蓝色的颜色数据。当数组中某个像素的元素为1时,表明原彩色图像相应像素的颜色是黄色、红色或者蓝色。
遍历访问彩色图像I的每个像素,获取其红色、绿色和蓝色分量Rij,Gij和Bij
Rkj=I(k,j,1)Gkj=I(k,j,2)Bkj=I(k,j,3)
其中,k表示像素所在行数,j表示像素所在列数。
求解如下颜色分量的比值:
其中,变量rbkj表示第k行、第j列像素红色分量与蓝色分量之间的比值;gbkj表示第k行、第j列像素绿色分量和蓝色分量之间的比值;rgkj表示第k行、第j列像素红色分量和绿色分量之间的比值。
计算Yellow数组中各元素的值:
Yellow(k,j)=(rbkj>3)×(gbkj>2)×(rgkj>1.1)
如果Yellow(k,j)=1,表明彩色图像上这个像素是黄色,否则像素不是黄色。
计算Red数组中各元素的值:
Red(k,j)=(rbkj>10)×(gbkj<0.5)
如果Red(k,j)=1,表明彩色图像上这个像素是红色,否则像素不是红色。
计算Blue数组中各元素的值:
Blue(k,j)=(gbkj<0.7)×(rgkj<0.3)
如果Blue(k,j)=1,表明彩色图像上这个像素是蓝色,否则像素不是蓝色。
如图5a~图5c所示,为场景中,黄色、红色、蓝色色块的识别结果,亮斑表明识别出相应的颜色。可以看到,本实施例中采用的识别方法得到了不同的颜色的色块,但是其中有一些并非锥桶目标,而是背景中的干扰目标,需要进一步判别和剔除。
2.2)在各色目标图像上,通过二值化和连通区域分析,获得颜色块;
2.3)通过约束条件对各个颜色块进行处理,确定这个颜色块外观是否符合锥桶形状,从而获得其是否是锥桶及其颜色的判定;
在本实施例中,对Yellow,Red和Blue数组进行处理,通过面积、形状、位置等约束条件剔除干扰目标,保留真正的锥桶目标。
以Yellow数组为例,首先对其进行连通区域分析,为每个连通的色块进行标识。处理方法包括以下步骤:
2.3.1)遍历第m个连通区域,求解此连通区域的面积iSizeTar(单位:像素),即有多少个像素值为1;判断该连通区域的面积是否小于第一预设值,若小于则不是锥桶,反之,则进入下一步;
优选的,第一预设值为15,即:如果iSizeTar<15,则目标太小,不是锥桶,继续判断下一个连通区域;如果iSizeTar>=15,则进入下一步。
2.3.2)根据此连通区域包络矩形的左上角点纵向坐标(像素)iUp、右下角点纵向坐标iDown、包络矩形的高度iRowSize和宽度iColSize,求解包络矩形的形状比:
包络矩形的形状比iShapeRatio=min([iRowSize iColSize])/max([iRowSizeiColSize]);
2.3.3)判断包络矩形的形状比是否小于第二预设值,若小于第二预设值则不是锥桶,继续判断下一个连通区域;若大于第二预设值,则可能是锥桶目标,则求解此色块目标的上边缘和下边缘对应的成像放大率;
优选的,第二预设值为0.5;即:如果iShapeRatio<0.5,则不是锥桶,继续判断下一个连通区域;如果形状比满足要求,iShapeRatio>0.5,那这是一个可能的锥桶目标,求此色块目标上边缘和下边缘对应的成像放大率S1和S2:
S1=abs(iUp-2*iRowSize)/(h-obst_h);
S2=abs(iDown)/(h);
其中,h为设相机距离地面的高度,obst_h为锥桶的实际物理高度,abs表示取绝对值,iUp表示图像中这个色块包络矩形的上边沿纵坐标,iDown表示图像中这个色块包络矩形的下边沿纵坐标。
2.3.4)分别求解在上边缘和下边缘对应的成像放大率下的锥桶有色区域的成像面积iS1和iS2:
iS1=SDownLadder*S1^2;
iS2=SDownLadder*S2^2;
其中,SDownLadder表示锥桶实体过轴线的纵向剖面的面积。
2.3.5)根据两个成像放大率下的锥桶有色区域的成像面积iS1和iS2,以及此连通区域的面积,判断该色块目标是否为锥桶,完成彩色图像上锥桶的识别;
具体为:如果满足iSizeTar<iS1或者满足iSizeTar>5*iS2,满足任意一个条件,则此色块目标不是锥桶,继续判断下一个连通区域。如果满足iSizeTar>iS1并且iSizeTar<5*iS2,则可以确定这个色块是一个锥桶。
2.4)保存锥桶色块的中心坐标、左上角点坐标、右下角点坐标和形状比等信息,以锥桶色块的几何中心,作为锥桶在彩色图像上的位置坐标。最终获取的彩色图像上锥桶的识别结果如图6所示。
上述步骤4)中,各色锥桶的空间坐标获取方法包括以下步骤:
4.1)利用预先标定的相机内参数对图像上锥桶目标的中心坐标、左上角点坐标、右下角点坐标进行畸变校正。
4.2)利用单应性矩阵H将彩色图像上锥桶的坐标映射至深度图像中;
设彩色图像上某个锥桶的中心坐标为[u v],其在深度图像上的位置坐标为[uDisvDis],则有:
采用同样的方法,将每个锥桶左上角点和右下角点的坐标也映射至深度图像,获得目标的所在范围如图7中方框所示。
4.3)统计每个目标范围内,Z坐标在预设容许范围内的像素点的个数N,将该个数与预设值比较,进而确定有效的匹配目标,求该有效的匹配目标内所有像素的空间三维坐标值的均值,作为该锥桶的空间坐标;
优选的,预设容许范围为3000<Z<20000,单位为毫米;
如果N<3,则找不到有效的匹配目标;如果n>3,则找到了有效的匹配目标,进而求该有效的匹配目标的N个像素X,Y,Z方向坐标值的均值,记录为这个锥桶的空间坐标。
综上,识别出黄、红、蓝三色锥桶,并获得了它们在三维空间中的坐标。如图8所示,展示了由识别出的锥桶构成的空间路径感知结果。
实施例2:
基于实施例1中的无人驾驶方程式赛车的环境感知和导航方法,在本实施例中提供一种无人驾驶方程式赛车的转向控制方法,用于实现无人驾驶方程式赛车的自主导航。本实施根据锥桶在彩色图像上不同的可视条件,求解距离赛车最近的路径中心位置,以及车辆中心与目标路径中心之间的方向矢量,分解得到赛车的偏摆角,作为赛车转向角度。具体的,该转向控制方法包括以下步骤:
10)根据无人驾驶方程式赛车的环境感知和导航方法获得车辆前方红、蓝色锥桶的位置,如图9所示。
20)根据获取的锥桶位置,求解最近红色锥桶与最近蓝色锥桶中点Mid的方向角φ、最近两个红色锥桶的方向矢量角φr以及最近两个蓝色锥桶的方向角φb
30)根据方向角φ、方向矢量角φr和方向角φb综合判断得到车辆转向角。转向角指向道路中点或者红、蓝锥桶所指向的方向矢量与车辆z坐标轴之间的夹角。
上述步骤中,最近两个红色锥桶的方向矢量角φr的求解方法为:
2011)判断找到的红色锥桶的数量是否大于1,若是,则进入下一步;
2012)遍历每个红色锥桶的空间坐标[Xr Yr Zr],求解各红色锥桶到车辆的平面距离Dr,得到距离车辆最近的两个红色锥桶,两个红色锥桶到车辆的距离分别为Dr1和Dr2。
Dr=sqrt(Xr^2+Zr^2);
其中sqrt表示开方运算。
2013)判断两个距离Dr1和Dr2是否在预设范围内,若在预设范围内,则找到了距离车辆最近的红色锥桶和距离车辆次近的红色锥桶,保存这两个红色锥桶的坐标[Xr1 Zr1]和[Xr2 Zr2];
优选的,预设范围为[3000,10000],单位为毫米。
2014)根据保存的红色锥桶的坐标计算得到红色锥桶标识的方向矢量角φr
φr=arctan((Xr2–Xr1)/(Zr2–Zr1))。
上述步骤中,最近两个蓝色锥桶的方向角φb的求解方法与最近两个红色锥桶的方向矢量角φr的求解相同:判断找到的蓝色锥桶的数量是否大于1,若大于1,则判断确定距离车辆最近及次近的两个蓝色锥桶,,并保存离车辆最近和次近的两个蓝色锥桶的坐标[Xb1 Zb1]和[Xb2 Zb2],计算蓝色锥桶标识的方向角φb
φb=arctan((Xb2–Xb1)/(Zb2–Zb1))。
上述步骤中,最近红色锥桶与最近蓝色锥桶中点Mid的方向角φ的求解方法为:
2021)判断找到的一个红色锥桶和一个蓝色锥桶是否为距离车辆最近;若距离最近,保存该红色锥桶和该蓝色锥桶坐标[Xr1 Zr1]、[Xb1 Zb1],并进入下一步;
判断方法为:
(a)分别计算该红色锥桶和该蓝色锥桶到车辆的平面距离Dr;
Dr=sqrt(Xr^2+Zr^2);
其中sqrt表示开方运算;
(b)分别判断该红色锥桶和该蓝色锥桶到车辆的平面距离是否在预设范围内,若都在预设范围内,则该红色锥桶和该蓝色锥为距离车辆最近;
优选的,预设范围为[3000,10000],单位为毫米。
2022)求解最近的红色锥桶和最近的蓝色锥桶之间中点Mid的平面坐标(xMidzMid):
xMid=(Xr1+Xb1)/2,zMid=(Zr1+Zb1)/2;
2023)根据中点Mid的平面坐标(xMid zMid)求解中点Mid与车辆原点之间的矢量方向角φ:
φ=arctan(xMid/zMid)。
上述步骤中,综合判断方法如下:
301)如果找到了最近和次近的红色锥桶,但是没有找到蓝色锥桶,则将最近两个红色锥桶的方向矢量角φr作为车辆转向角;
302)如果找到了最近和次近的蓝色锥桶,但是没有找到红色锥桶,则将最近两个蓝色锥桶的方向角φb作为车辆转向角;
303)若找到距离车辆最近的一个红色锥桶和一个蓝色锥桶,则将矢量方向角φ作为车辆转角;
304)若没有找到红色锥桶和蓝色锥桶,或者只找到一个红色锥桶,或者只找到一个蓝色锥桶,则继续沿用上一时刻的转向角为车辆当前转向角。
上述各实施例仅用于说明本发明,各部件的结构、尺寸、设置位置及形状都是可以有所变化的,在本发明技术方案的基础上,凡根据本发明原理对个别部件进行的改进和等同变换,均不应排除在本发明的保护范围之外。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (8)

1.一种无人驾驶方程式赛车的环境感知和导航方法,其特征在于,包括以下步骤:
对预先建立的单应性矩阵H进行标定求解;
对彩色图像上的锥桶进行识别,获取锥桶在彩色图像上的位置坐标;
通过标定后的单应性矩阵H将各彩色锥桶的位置坐标和图像上锥桶包络矩形的四个顶点映射至深度图像中,获取对应深度图像中锥桶的中心位置和覆盖范围;
对覆盖范围内所有像素的空间三维坐标值求均值,作为此颜色锥桶的空间三维坐标,进而实现各色锥桶的识别和空间定位,获得赛车行进路径;
所述单应性矩阵的建立方法包括以下步骤:
1.1)将空间三维景物投影到二维像面上的成像过程简化为仿射变换;
其中,X=[X Y 1]T是平面一点在平面坐标系中的齐次坐标值,u=[u v 1]T是该点的成像点在像面上的齐次坐标值;
1.2)确定某个锥桶在地面坐标系中的坐标值Xi与其在深度图像中的图像坐标值udi满足的仿射变换:
udi=HdXi (2)
其中,Xi=[Xi Yi 1]T是第i个锥桶的齐次平面坐标值,udi=[udi vdi 1]T是这个点在深度图像上的齐次坐标值,Hd是地面与深度图像之间的单应性矩阵;
由于无人驾驶方程式比赛的目标锥桶都位于地面所在的平面上,故某个锥桶在地面坐标系中的坐标值Xi与它在深度图像中的图像坐标值udi满足上述仿射变换;
1.3)确定该锥桶在地面坐标系中的坐标值Xi与其在彩色图像中的坐标值uci满足的仿射变换:
uci=HcXi (3)
其中,uci=[uci vci 1]T是这个点在彩色图像上的齐次坐标值,Hc是地面与彩色图像之间的单应性矩阵;
1.4)由步骤1.2)和步骤1.3)推知,锥桶在深度和彩色图像上的坐标值udi和uci满足如下仿射变换:
进而得到单应性矩阵H;
所述单应性矩阵H的标定求解方法为:采用立体视觉系统和彩色相机采集标定场图像,并提取各锥桶在两个图像中的坐标值;利用仿射变换,通过svd分解法求解单应性矩阵H中的元素,完成对单应性矩阵H的标定求解;
标定求解方法为:
在立体视觉相机和彩色相机的公共视场内,均匀摆放锥桶作为标定场;使用立体视觉系统和彩色相机分别拍摄标定场的图像;
在彩色图像上,手动定位每个锥桶的中心位置uci=[uci vci]T,并在深度图像上手动定位其对应的锥桶的中心位置udi=[udi vdi 1]T,它们应满足公式(4)表示的仿射变换:
通过变换,将上式改写成:
通过手动方式找到n组对应的彩色和深度图像锥桶位置坐标,将他们联立为:
UH=0
如果n≥5,那么通过svd分解法,求解单应性矩阵H中的元素;首先对H’*H进行svd分解:
[U S V]=svd(H′*H) (8)
其中,S为9*9的对角线矩阵,其对角线元素是H’*H矩阵的特征值;H’为单应性矩阵H的转置矩阵;V为特征向量矩阵,该矩阵中各列是对应各个特征值的特征向量;U是保证H’*H=U*S*V’的矩阵;那么V中对应于S中最小值的列向量即为H的最优解,进而求得了描述深度图像和彩色图像之间映射关系的单应性矩阵H。
2.如权利要求1所述环境感知和导航方法,其特征在于,对彩色图像上锥桶的识别方法包括以下步骤:
2.1)利用不同颜色锥桶成像RGB分量值之间具有的比例差别,分别获取黄色目标图、红色目标图和蓝色目标图;
2.2)在各色目标图像上,通过二值化和连通区域分析,获得颜色块;
2.3)通过约束条件对各个颜色块进行处理,确定这个颜色块外观是否符合锥桶形状,从而获得其是否是锥桶及其颜色的判定。
3.如权利要求2所述环境感知和导航方法,其特征在于,对Yellow,Red和Blue数组进行处理,通过面积、形状和位置约束条件剔除干扰目标,保留真正的锥桶目标;对Yellow数组进行连通区域分析,为每个连通的色块进行标识;处理方法包括以下步骤:
2.3.1)遍历第m个连通区域,求解此连通区域的面积iSizeTar,即有多少个像素值为1;判断该连通区域的面积是否小于第一预设值,若小于则不是锥桶,反之,则进入下一步;
2.3.2)根据此连通区域包络矩形的左上角点纵向坐标iUp、右下角点纵向坐标iDown、包络矩形的高度iRowSize和宽度iColSize,求解包络矩形的形状比;
2.3.3)判断包络矩形的形状比是否小于第二预设值,若小于第二预设值则不是锥桶,继续判断下一个连通区域;若大于第二预设值,则可能是锥桶目标,则求解此色块目标的上边缘和下边缘对应的成像放大率;
2.3.4)分别求解在上边缘和下边缘对应的成像放大率下的锥桶有色区域的成像面积iS1和iS2;
2.3.5)根据两个成像放大率下的锥桶有色区域的成像面积iS1和iS2,以及此连通区域的面积,判断该色块目标是否为锥桶,完成彩色图像上锥桶的识别;
2.4)保存锥桶色块的中心坐标、左上角点坐标、右下角点坐标和形状比信息,以锥桶色块的几何中心,作为锥桶在彩色图像上的位置坐标。
4.如权利要求3所述环境感知和导航方法,其特征在于,判断该色块目标是否为锥桶的方法为:如果满足iSizeTar<iS1或者满足iSizeTar>5*iS2,则此色块目标不是锥桶,继续判断下一个连通区域;如果满足iSizeTar>iS1并且iSizeTar<5*iS2,则确定这个色块是一个锥桶。
5.如权利要求1所述环境感知和导航方法,其特征在于,各色锥桶的空间坐标获取方法包括以下步骤:
4.1)利用预先标定的相机内参数对图像上锥桶目标的中心坐标、左上角点坐标和右下角点坐标进行畸变校正;
4.2)利用单应性矩阵H将彩色图像上锥桶的坐标映射至深度图像中;
4.3)统计每个目标范围内,Z坐标在预设容许范围内的像素点的个数N,将该个数与预设值比较,进而确定有效的匹配目标,求该有效的匹配目标内所有像素的空间三维坐标值的均值,作为该锥桶的空间坐标;
如果N<3,则找不到有效的匹配目标;如果n>3,则找到了有效的匹配目标,进而求该有效的匹配目标的N个像素方向坐标值的均值,记录为这个锥桶的空间坐标。
6.一种无人驾驶方程式赛车的转向控制方法,其特征在于,包括以下步骤:
根据如权利要求1至5任一项所述环境感知和导航方法,获得车辆前方红和蓝色锥桶的位置;
根据获取的锥桶位置,求解最近红色锥桶与最近蓝色锥桶中点Mid的方向角φ、最近两个红色锥桶的方向矢量角φr以及最近两个蓝色锥桶的方向角φb
根据方向角φ、方向矢量角φr和方向角φb综合判断得到车辆转向角。
7.如权利要求6所述转向控制方法,其特征在于,所述最近两个红色锥桶的方向矢量角φr的求解方法与最近两个蓝色锥桶的方向角φb的求解方法相同;则两个红色锥桶的方向矢量角φr的求解方法为:
2011)判断找到的红色锥桶的数量是否大于1,若是,则进入下一步;
2012)遍历每个红色锥桶的空间坐标[Xr Yr Zr],求解各红色锥桶到车辆的平面距离Dr,得到距离车辆最近的两个红色锥桶,两个红色锥桶到车辆的距离分别为Dr1和Dr2;
2013)判断两个距离Dr1和Dr2是否在预设范围内,若在预设范围内,则找到了距离车辆最近的红色锥桶和距离车辆次近的红色锥桶,保存这两个红色锥桶的坐标[Xr1 Zr1]和[Xr2 Zr2];
2014)根据保存的红色锥桶的坐标计算得到红色锥桶标识的方向矢量角φr
φr=arctan((Xr2–Xr1)/(Zr2–Zr1))。
8.如权利要求6所述转向控制方法,其特征在于,所述根据方向角φ、方向矢量角φr和方向角φb综合判断得到车辆转向角,包括:
如果找到了最近和次近的红色锥桶,但是没有找到蓝色锥桶,则将最近两个红色锥桶的方向矢量角φr作为车辆转向角;
如果找到了最近和次近的蓝色锥桶,但是没有找到红色锥桶,则将最近两个蓝色锥桶的方向角φb作为车辆转向角;
若找到距离车辆最近的一个红色锥桶和一个蓝色锥桶,则将矢量方向角φ作为车辆转角;
若没有找到红色锥桶和蓝色锥桶,或者只找到一个红色锥桶,或者只找到一个蓝色锥桶,则继续沿用上一时刻的转向角为车辆当前转向角。
CN202011204075.3A 2020-11-02 2020-11-02 无人驾驶方程式赛车环境感知和导航方法及转向控制方法 Active CN112416000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011204075.3A CN112416000B (zh) 2020-11-02 2020-11-02 无人驾驶方程式赛车环境感知和导航方法及转向控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011204075.3A CN112416000B (zh) 2020-11-02 2020-11-02 无人驾驶方程式赛车环境感知和导航方法及转向控制方法

Publications (2)

Publication Number Publication Date
CN112416000A CN112416000A (zh) 2021-02-26
CN112416000B true CN112416000B (zh) 2023-09-15

Family

ID=74827292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011204075.3A Active CN112416000B (zh) 2020-11-02 2020-11-02 无人驾驶方程式赛车环境感知和导航方法及转向控制方法

Country Status (1)

Country Link
CN (1) CN112416000B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313725B (zh) * 2021-05-28 2022-06-17 湖北三江航天江河化工科技有限公司 含能材料药桶的桶口识别方法及系统
CN114750147B (zh) * 2022-03-10 2023-11-24 深圳甲壳虫智能有限公司 机器人的空间位姿确定方法、装置和机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651953A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于交通指示牌的车辆位姿估计方法
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN110163064A (zh) * 2018-11-30 2019-08-23 腾讯科技(深圳)有限公司 一种道路标志物的识别方法、装置及存储介质
CN110706248A (zh) * 2019-08-20 2020-01-17 广东工业大学 一种基于slam的视觉感知建图算法及移动机器人
CN110895826A (zh) * 2018-09-12 2020-03-20 三星电子株式会社 图像处理的训练数据生成方法、图像处理方法及其装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651953A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于交通指示牌的车辆位姿估计方法
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN110895826A (zh) * 2018-09-12 2020-03-20 三星电子株式会社 图像处理的训练数据生成方法、图像处理方法及其装置
CN110163064A (zh) * 2018-11-30 2019-08-23 腾讯科技(深圳)有限公司 一种道路标志物的识别方法、装置及存储介质
CN110706248A (zh) * 2019-08-20 2020-01-17 广东工业大学 一种基于slam的视觉感知建图算法及移动机器人

Also Published As

Publication number Publication date
CN112416000A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112669393B (zh) 一种激光雷达与相机联合标定方法
EP3407294B1 (en) Information processing method, device, and terminal
CN111311689B (zh) 一种激光雷达与相机相对外参的标定方法及系统
AU2018282302B2 (en) Integrated sensor calibration in natural scenes
CN102646343B (zh) 车辆检测装置
CN112416000B (zh) 无人驾驶方程式赛车环境感知和导航方法及转向控制方法
CN110490936B (zh) 车辆摄像头的标定方法、装置、设备及可读存储介质
CN107590836A (zh) 一种基于Kinect的充电桩动态识别与定位方法及系统
CN112907676A (zh) 传感器的标定方法、装置、系统、车辆、设备及存储介质
CN112037159B (zh) 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统
CN108068817A (zh) 一种无人驾驶汽车自动变道装置及方法
EP3510562A1 (en) Method and system for calibrating multiple cameras
CN112308916B (zh) 一种基于图像靶标的目标位姿识别方法
CN113050074B (zh) 无人驾驶环境感知中相机与激光雷达标定系统及标定方法
CN106446785A (zh) 基于双目视觉的可行道路检测方法
CN110705485A (zh) 一种交通信号灯识别方法及装置
CN112464812A (zh) 一种基于车辆的凹陷类障碍物检测方法
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN112017238A (zh) 一种线状物体的空间位置信息确定方法及装置
CN115239822A (zh) 分体式飞行车辆多模块间实时视觉识别定位方法及系统
CN117078717A (zh) 基于无人机单目相机的道路车辆轨迹提取方法
EP3893150A1 (en) Camera pose estimation techniques
CN107085869A (zh) 基于物联网与云计算的数据处理系统
CN113655803A (zh) 基于视觉的隧道环境下旋翼无人机航向校准系统及方法
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant