CN111572633A - 转向角度检测方法、装置及系统 - Google Patents

转向角度检测方法、装置及系统 Download PDF

Info

Publication number
CN111572633A
CN111572633A CN201910123410.8A CN201910123410A CN111572633A CN 111572633 A CN111572633 A CN 111572633A CN 201910123410 A CN201910123410 A CN 201910123410A CN 111572633 A CN111572633 A CN 111572633A
Authority
CN
China
Prior art keywords
tractor
identification points
trailer
camera
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910123410.8A
Other languages
English (en)
Other versions
CN111572633B (zh
Inventor
叶卉
项党
刘玉
刘元伟
鲍凤卿
卢远志
梁伟铭
刘奋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Automobile Industry Group Co Ltd
SAIC Motor Corp Ltd
Original Assignee
SAIC Motor Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Motor Corp Ltd filed Critical SAIC Motor Corp Ltd
Priority to CN201910123410.8A priority Critical patent/CN111572633B/zh
Publication of CN111572633A publication Critical patent/CN111572633A/zh
Application granted granted Critical
Publication of CN111572633B publication Critical patent/CN111572633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021Determination of steering angle
    • B62D15/024Other means for determination of steering angle without directly measuring it, e.g. deriving from wheel speeds on different sides of the car

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请一种转向角度检测方法、装置及系统,其中方法应用于转向角度检测系统中的处理器,转向角度检测系统还包括设置于牵引车驾驶舱后侧面的摄像设备,设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,平面靶标设置有多个标识点,且,摄像设备的视角能够完全覆盖平面靶标的多个标识点;方法包括:接收摄像设备于牵引车转向过程中拍摄并发送的图像;识别图像中的多个标识点;确定多个标识点于摄像设备坐标系中当前坐标;依据多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。本申请对于各种机型的卡车均可以能够适应且获得转向角度准确度较高。

Description

转向角度检测方法、装置及系统
技术领域
本申请涉及自动驾驶技术领域,尤其涉及转向角度检测方法、装置及系统。
背景技术
自动驾驶技术已开始应用于卡车领域。对于卡车而言包括牵引车和挂车,且牵引车和挂车之间通过牵引车上的鞍座和挂车上的牵引销连接,鞍座可绕着牵引销旋转,牵引车驱动并牵引挂车行驶。
在卡车行驶过程中,车辆拐弯、掉头、换道、泊车等工况下,挂车相对于牵引车有一定的转向角度。该转向角度对于自动驾驶传感器标定及路径规划决策来说至关重要。
目前主要使用含角度传感器的特定检测装置安装在鞍座或牵引销上,以获取牵引车和挂车之间相对的转向角度。
但是,由于挂车的转轴与牵引车鞍座之间具有较大的晃动余量,角度传感器难以直接测量角度,并且,上述方案需要改造原有鞍座或牵引销,由于不同卡车车型其改造方式不同,所以适应性较差。
发明内容
申请人在研究过程中还发现一些其它测量转向角度的方案:基于GPS系统、惯性导航系统或航姿参考系统来确定转向角度。
对于基于GPS转向角度来确定转向角度而言:GPS系统可通过多颗卫星定位接收机的位置,因此通过在牵引车和挂车上分别安装两套接收机,计算牵引车和挂车的行进方向,便可以确定挂车的转角。但是,本方案中若道路两侧具有高大建筑物,则GPS信号较弱,因此本方法难以工作,鲁棒性较差。
对于基于惯性导航系统来确定转向角度而言:惯性导航系统具有陀螺仪和加速度计等元件,可直接测量车辆的三轴角速度与角加速度,通过积分获得角度信息。因此将惯性导航系统安装于牵引车和挂车上,分别测量牵引车和挂车的航向角即可相减获得挂车的转向角度。
为了提高转向角度的精度,经常采用GPS信号进行航向初始化并修正惯性导航系统的航向与位移信息。但是由于惯性导航系统的初始化需要GPS信号,因此初始化操作仅能在空旷场地进行,同时惯性导航系统的初始化需要一定的时间,对于不同的挂车适配性较差。
鉴于此,本申请提供转向角度检测方法、装置及系统,可以适用于各种类型的卡车,以获得牵引车和挂车之间相对的转向角度。
为了实现上述目的,本申请提供下述技术特征:
一种转向角度检测方法,应用于转向角度检测系统中的处理器,所述转向角度检测系统还包括设置于牵引车驾驶舱后侧面的摄像设备,设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,所述平面靶标设置有多个标识点,且,摄像设备的视角能够完全覆盖所述平面靶标的多个标识点;所述方法包括:
接收摄像设备于牵引车转向过程中拍摄并发送的图像;
识别所述图像中的多个标识点;
确定所述多个标识点于摄像设备坐标系中当前坐标;
依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。
可选的,所述摄像设备的中心和平面靶标的中心处于同一水平面;
且,摄像设备的中心与牵引车与挂车之间中心线之间的误差小于预设误差,且,平面靶标的中心与牵引车与挂车之间中心线之间的误差小于预设误差。
可选的,所述平面靶标包括四个标识点,且,四个标识点组成正方形。
可选的,所述摄像设备坐标系包括:
以摄像设备的光心为原点;
以摄像设备的光轴为Z轴;
以水平面内垂直Z轴的直线为X轴;
以左手定则确定垂直于X轴和Z轴所在平面的Y轴;
构建X轴、Y轴和Z轴组成的摄像设备坐标系Oc-XcYcZc
可选的,所述确定所述多个标识点于摄像设备坐标系中当前坐标,包括:
当牵引车相对于挂车转动角度为θ时,依据下述公式计算每个标识点Pi于摄像设备坐标系中的
Figure BDA0001972759560000031
下的当前坐标Pci θ=(xci θ,yci θ,zci θ),(i=1,2,3,4);
其中,
Figure BDA0001972759560000032
Figure BDA0001972759560000033
的计算方式如下:
Figure BDA0001972759560000034
其中,xi、yi为平面靶标上四个空间特征点在摄像设备归一化图像平面下的坐标值;
L为靶标上四个特征点组成的正方形边长;
K1、K2、K2、和K4是和xi、yi有关的参数,关系如下:
K1=|x1(y2-y3)+y1(x3-y2)+x2y3-x3y2|
K2=|x1(y2-y4)+y1(x4-y2)+x2y4-x4y2|
K3=|x1(y3-y4)+y1(x4-y3)+x3y4-x4y3|
K4=|x2(y3-y4)+y2(x4-y3)+x3y4-x4y3|。
可选的,在接收摄像设备于牵引车转向过程中拍摄并发送的图像之前,还包括:
当牵引车相对于挂车转动角度为0°的情况下,通过视觉定位技术确定出平面靶标中四个标识点在摄像设备坐标系
Figure BDA0001972759560000035
下的原始坐标Pci 0=(xci 0,yci 0,zci 0),(i=1,2,3,4)。
可选的,所述依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度,包括:
构建
Figure BDA0001972759560000036
Figure BDA0001972759560000037
中之间的位姿关系
Figure BDA0001972759560000038
其中,R为旋转矩阵,T为平移矩阵,
Figure BDA0001972759560000039
Figure BDA0001972759560000041
其中,εx、εy、和εz分别为
Figure BDA0001972759560000042
的三坐标轴相对于
Figure BDA0001972759560000043
三坐标轴的旋转角度,ΔX、ΔY、ΔZ分别为
Figure BDA0001972759560000044
的三坐标轴相对于
Figure BDA0001972759560000045
三坐标轴的平移量;
采用P4P定向求解方法计算得到εx、εy、和εz,将εy确定为牵引车与挂车之间的转向角度。
一种转向角度检测装置,集成于转向角度检测系统中的处理器,所述转向角度检测系统还包括设置于牵引车驾驶舱后侧面的摄像设备,设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,所述平面靶标设置有多个标识点,且,摄像设备的视角能够完全覆盖所述平面靶标的多个标识点;所述装置包括:
接收单元,用于接收摄像设备于牵引车转向过程中拍摄并发送的图像;
识别单元,用于识别所述图像中的多个标识点;
确定单元,用于确定所述多个标识点于摄像设备坐标系中当前坐标;
计算单元,用于依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。
一种转向角度检测系统,包括:
处理器;
与处理器相连,且,设置于牵引车驾驶舱后侧面的摄像设备;
设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,且,所述平面靶标设置有多个标识点,且,摄像设备的视角能够完全覆盖所述平面靶标的多个标识点;
其中,处理器用于接收摄像设备于牵引车转向过程中拍摄并发送的图像;识别所述图像中的多个标识点;确定所述多个标识点于摄像设备坐标系中当前坐标;依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。
可选的,所述摄像设备的中心和平面靶标的中心处于同一水平面;
且,摄像设备的中心与牵引车与挂车之间中心线之间的误差小于预设误差,且,平面靶标的中心与牵引车与挂车之间中心线之间的误差小于预设误差;
所述平面靶标包括四个标识点,且,四个标识点组成正方形。
通过以上技术手段,可以实现以下有益效果:
根据卡车无人驾驶实际应用场景的需求,合理布置平面靶标和摄像设备于挂车和牵引车上的位置,结合平面靶标的标识点的先验信息确定原始状态下的平面靶标的原始坐标,以及通过图像处理方法确定转动一定角度后平面靶标的当前坐标,最后通过求解绝对定向问题,即可计算得到牵引车相对于挂车的转向角度。
本发明无需改造卡车、牵引销和鞍座,仅通过简单的靶标布置和视觉检测手段来实时获取牵引车相对于牵引销的转向角度。本申请对于各种机型的卡车均可以能够适应,且,准确度较高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的转向角度检测系统的结构示意图;
图2为本申请实施例公开的又一转向角度检测系统的结构示意图;
图3为本申请实施例公开的平面靶标的结构示意图;
图4为本申请实施例公开的又一平面靶标的结构示意图;
图5为本申请实施例公开的转向角度检测方法的流程图;
图6为本申请实施例公开的转向角度检测方法中坐标系示意图;
图7为本申请实施例公开的又一转向角度检测方法中坐标系示意图;
图8为本申请实施例公开的转向角度检测装置的流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供一种转向角度检测系统,参见图1(原始状态下)和图2(一定转向角度下),转向角度检测系统包括:
处理器(图示为示出)。
设置于牵引车的驾驶舱后侧面的摄像设备1,摄像设备1的拍摄视野为牵引车的正后方。例如,在牵引车的驾驶舱内后挡玻璃上安装一个视野朝向牵引车正后方的单目摄像头。
设置于牵引车与挂车之间且附着于挂车前侧面的平面靶标2(图示中加黑部分)。
牵引车和挂车之间通过牵引车上的鞍座4和挂车上的牵引销3连接,鞍座4可绕着牵引销3旋转,牵引车驱动并牵引挂车行驶。
由于平面靶标2与挂车的牵引销3相对位置固定不变,摄像设备1与牵引车的相对位置固定不变,所以摄像设备1相对于平面靶标2的转动角度θ即是牵引车与挂车之间的转向角度。
为了便于后续计算转向角度,于平面靶标2上设置有多个标识点,且,相邻标识点之间的距离相等。参见图3,以平面靶标2上设置有4个标识点为例,4个标识点可以组成一个正方形,4个标识点即为正方形的四个顶点。
其中,平面靶标2上多个标识点组成形状的尺寸(例如,图3中的正方形尺寸),随着摄像设备1与平面靶标2之间的距离而定。其原则为摄像设备1的视角能够完全覆盖多个标识点组成形状的边界。摄像设备的视角指镜头所能覆盖的范围,当被拍摄物体超过该视角则无法收入镜头中。
即,摄像设备1与平面靶标2的距离越短,多个标识点组成形状的尺寸越小,反之,摄像设备1与平面靶标2的距离越长,多个标识点组成形状的尺寸可以越大。
参见图4,为平面靶标2的一种设计示意图,在摄像设备1到平面靶标2为1.5m左右情况下,设计平面靶标为边长50cm的正方形,四组同心圆作为标识点,同心圆的圆心均匀分布在平面靶标2中边长D=30cm的正方形的四个顶点处。
可以理解的是,为了便于检测转向角度的准确性,摄像设备1的中心、平面靶标2的中心尽可能地位于牵引车与挂车的中心线,当然,鉴于安装的偏差,偏差在一定范围内也是可以允许的。摄像设备1和平面靶标2的安装位置尽量不会影响卡车的装卸货物和正常行驶。
以平面靶标2包括4个标识点,且,4个标识点组成一个正方形为例,对本申请转向角度检测方法进行详细描述。由于平面靶标具有四个标识点的情况下,四个标识点位于边长相等的正方形的顶点处,这保证相邻两个标识点之间的距离相等,这种特殊设计可以提高标识点提取时的鲁棒性,并使得求解问题变成等距约束下的共面P4P求解问题。
参见图5,本申请提供一种转向角度检测方法,可以包括如下步骤:
步骤S501:处理器构建摄像设备坐标系。
参见图6,为摄像设备和平面靶标于卡车中的俯视图,以摄像设备1的光心(镜头中心)为原点,光轴(镜头中心与平面靶标中心的连线)为Z轴,水平面内垂直Z轴的直线为X轴,以左手定则确定垂直于X轴和Z轴所在平面的Y轴,构建X轴、Y轴和Z轴的摄像设备坐标系Oc-XcYcZc
步骤S502:在牵引车相对于挂车转动角度为0°的情况下,处理器通过视觉定位确定平面靶标中四个标识点于摄像设备坐标系下的坐标。
S1:摄像设备拍摄包含四个标识点的图像并发送至处理器。
S2:处理器对图像进行预处理,获得于摄像设备坐标系中四个标识点的坐标。
摄像设备拍摄包含平面靶标的图像,并进行畸变矫正、灰度处理、平滑滤波、直方图均衡化、图像二值化等预处理,再通过自适应阈值分割将包含平面靶标的图像从背景图像中分割开来。
对包含平面靶标的图像进行轮廓跟踪和椭圆拟合法,确定平面靶标中四个标识点的位置,最后获得四个标识点于摄像设备坐标系下的坐标Pi 0=(xi 0,yi 0,zi 0),(i=1,2,3,4)。
上述为处理器的预执行过程,下面介绍本申请转向角度检测方法。
步骤S503:处理器接收摄像设备于牵引车转向过程中拍摄并发送的图像。
在牵引车转向过程中,摄像设备拍摄包含四个标识点的图像,并发送至处理器,以供处理器接收图像。
步骤S504:处理器识别所述图像中的多个标识点。
摄像设备拍摄包含平面靶标的图像,处理器对图像进行畸变矫正、灰度处理、平滑滤波、直方图均衡化、图像二值化等预处理,再通过自适应阈值分割将包含平面靶标的图像从背景图像中分割开来。
对包含平面靶标的图像进行轮廓跟踪和椭圆拟合法,确定平面靶标中四个标识点的位置。
参见图7为平面靶标坐标系,在平面靶标坐标系的原点平面靶标的四个标识点组成的正方形的中心Ow处,中方形中心点为P0,Xw轴与
Figure BDA0001972759560000081
重合,Yw轴与
Figure BDA0001972759560000082
重合,并在平面靶标坐标系中确定四个标识点坐标。
例如,设正方形的边长为L,则共面四点P1~P4在靶标本体坐标系下的坐标分别为
Figure BDA0001972759560000083
当牵引车带动摄像设备绕着挂车旋转角度θ时,其摄像设备坐标系变更为
Figure BDA0001972759560000084
如图6所示。通过亚像素定位技术确定平面靶标上四个标识点,于旋转后的摄像设备坐标系
Figure BDA0001972759560000085
下的坐标Pci θ=(xci θ,yci θ,zci θ),(i=1,2,3,4)。
当牵引车相对于挂车转动角度为θ时,依据下述公式计算每个标识点Pi于摄像设备坐标系中的
Figure BDA0001972759560000086
下的当前坐标Pci θ=(xci θ,yci θ,zci θ),(i=1,2,3,4);
其中,摄像设备坐标系下的标识点的坐标值xci、yci和zci如下:
Figure BDA0001972759560000087
其中,xi、yi为平面靶标上四个空间特征点在摄像设备归一化图像平面下的坐标值;摄像设备归一化图像平面图7中虚线所示的平面,可以通过亚像素定位技术获得pi(i=0,...,4)在摄像设备坐标系下的坐标为(xi,yi,1)。
L为靶标上四个特征点组成的正方形边长;
K1、K2、K2、和K4是和xi、yi有关的参数,关系如下:
K1=|x1(y2-y3)+y1(x3-y2)+x2y3-x3y2|
K2=|x1(y2-y4)+y1(x4-y2)+x2y4-x4y2|
K3=|x1(y3-y4)+y1(x4-y3)+x3y4-x4y3|
K4=|x2(y3-y4)+y2(x4-y3)+x3y4-x4y3|。
步骤S505:依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。
如图6所示,牵引车相对于挂车转动角度为0°时,定位出靶标上四个标识点在摄像设备坐标系
Figure BDA0001972759560000091
下的坐标
Figure BDA0001972759560000092
当牵引车带动摄像头绕着挂车上的牵引销旋转角度θ时,定位出靶标上四个标识点在旋转后的摄像设备坐标系
Figure BDA0001972759560000093
下的坐标
Figure BDA0001972759560000094
在已知空间两坐标系
Figure BDA0001972759560000095
Figure BDA0001972759560000096
下四个公共点的坐标,求解这两个坐标系之间的位姿关系,即可得到该绝对定向问题的闭式解。
构建
Figure BDA0001972759560000097
Figure BDA0001972759560000098
中之间的位姿关系
Figure BDA0001972759560000099
其中,R为旋转矩阵,T为平移矩阵,
Figure BDA00019727595600000910
Figure BDA00019727595600000911
其中,εx、εy、和εz分别为
Figure BDA00019727595600000912
的三坐标轴相对于
Figure BDA00019727595600000913
三坐标轴的旋转角度(由于卡车可能存在翻滚和俯仰,因此εx和εz不一定完全等于0°),ΔX、ΔY、ΔZ分别为
Figure BDA00019727595600000914
的三坐标轴相对于
Figure BDA00019727595600000915
三坐标轴的平移量;
采用绝对定向问题求解方法计算得到εx、εy、和εz,将εy确定为牵引车与挂车之间的转向角度。
该绝对定向问题的求解即是求解旋转矩阵R和平移矩阵T的过程。求解方式可以采用多种,可以采用基于罗格里德矩阵的转换方法,本方法可同时满足小角度和大角度情况,从而获得εx、εy、和εz
其中,Y方向的旋转角度εy即为牵引车相对于牵引销的旋转角度θ。
上述公式1的大体推导过程如下:
参见图7,设定平面靶标中四个标识点P1~P4和中心点P0在摄像设备归一化图像平面(图示中虚线所示的四边形)的投影点仍然是P1~P4和P0;通过亚像素定位技术获得pi(i=0,...,4)在摄像设备坐标系下的坐标为(xi,yi,1),Z轴为数字1。
下面以标识点Pi为例进行说明,假设Pi的深度
Figure BDA0001972759560000101
其投影点Pi到Oc的距离记为
Figure BDA0001972759560000102
在摄像设备坐标系下Pi的坐标为Pi c=(xci,yci,zci),则
Figure BDA0001972759560000103
由于四个标识点分布于正方形的四个顶点处,则任意三点与摄像设备的光心Oc所组成的四个三棱锥的体积相等。基于三棱锥体积计算公式可得:
Figure BDA0001972759560000104
代入等距约束关系
Figure BDA0001972759560000105
可得:
L2=(xc2-xc1)2+(yc2-yc1)2+(zc2-zc1)2……公式4
综合上述两式3和公式4可得:
Figure BDA0001972759560000106
将公式5代入公式2中,即可获得摄像设备坐标系下Pi的坐标为
Figure BDA0001972759560000107
通过上述方案可以得知,本申请具有如下有益效果:
根据卡车无人驾驶实际应用场景的需求,合理布置平面靶标和摄像设备于挂车和牵引车上的位置,结合平面靶标的标识点的先验信息确定原始状态下的平面靶标的原始坐标,以及通过图像处理方法确定转动一定角度后平面靶标的当前坐标,最后通过求解绝对定向问题,即可计算得到牵引车相对于挂车的转向角度。
本发明无需改造卡车、牵引销和鞍座,仅通过简单的靶标布置和视觉检测手段来实时获取牵引车相对于牵引销的转向角度。对于各种机型的卡车均可以能够适应,且,准确度较高。
参见图8,本申请提供了一种转向角度检测装置,集成于转向角度检测系统中的处理器,所述转向角度检测系统还包括设置于牵引车驾驶舱后侧面的摄像设备,设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,所述平面靶标设置有多个标识点,且,摄像设备的视角能够完全覆盖所述平面靶标的多个标识点;所述装置包括:
接收单元81,用于接收摄像设备于牵引车转向过程中拍摄并发送的图像;
识别单元82,用于识别所述图像中的多个标识点;
确定单元83,用于确定所述多个标识点于摄像设备坐标系中当前坐标;
计算单元84,用于依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。
关于转向角度检测装置的具体实现可以参见图5所示的实施例,在此不再赘述。
参见图1和2本申请提供了一种转向角度检测系统,包括:
处理器(图示未示出);
与处理器相连,且,设置于牵引车驾驶舱后侧面的摄像设备1;
设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标2,且,所述平面靶标2设置有多个标识点,且,摄像设备的视角能够完全覆盖所述平面靶标的多个标识点;
其中,处理器用于接收摄像设备于牵引车转向过程中拍摄并发送的图像;识别所述图像中的多个标识点;确定所述多个标识点于摄像设备坐标系中当前坐标;依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。
其中,所述摄像设备的中心和平面靶标的中心处于同一水平面;
且,摄像设备的中心与牵引车与挂车之间中心线之间的误差小于预设误差,且,平面靶标的中心与牵引车与挂车之间中心线之间的误差小于预设误差;所述平面靶标包括四个标识点,且,四个标识点组成正方形。
通过上述方案可以得知,本申请具有如下有益效果:
根据卡车无人驾驶实际应用场景的需求,合理布置平面靶标和摄像设备于挂车和牵引车上的位置,结合平面靶标的标识点的先验信息确定原始状态下的平面靶标的原始坐标,以及通过图像处理方法确定转动一定角度后平面靶标的当前坐标,最后通过求解绝对定向问题,即可计算得到牵引车相对于挂车的转向角度。
本发明无需改造卡车、牵引销和鞍座,仅通过简单的靶标布置和视觉检测手段来实时获取牵引车相对于牵引销的转向角度。对于各种机型的卡车均可以能够适应,且,准确度较高。
本实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。基于这样的理解,本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算设备(可以是个人计算机,服务器,移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种转向角度检测方法,其特征在于,应用于转向角度检测系统中的处理器,所述转向角度检测系统还包括设置于牵引车驾驶舱后侧面的摄像设备,设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,所述平面靶标设置有多个标识点,且,摄像设备的视角能够完全覆盖所述平面靶标的多个标识点;所述方法包括:
接收摄像设备于牵引车转向过程中拍摄并发送的图像;
识别所述图像中的多个标识点;
确定所述多个标识点于摄像设备坐标系中当前坐标;
依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。
2.如权利要求1所述的方法,其特征在于,
所述摄像设备的中心和平面靶标的中心处于同一水平面;
且,摄像设备的中心与牵引车与挂车之间中心线之间的误差小于预设误差,且,平面靶标的中心与牵引车与挂车之间中心线之间的误差小于预设误差。
3.如权利要求2所述的方法,其特征在于,
所述平面靶标包括四个标识点,且,四个标识点组成正方形。
4.如权利要求3所述的方法,其特征在于,所述摄像设备坐标系包括:
以摄像设备的光心为原点;
以摄像设备的光轴为Z轴;
以水平面内垂直Z轴的直线为X轴;
以左手定则确定垂直于X轴和Z轴所在平面的Y轴;
构建X轴、Y轴和Z轴组成的摄像设备坐标系Oc-XcYcZc
5.如权利要求4所述的方法,其特征在于,所述确定所述多个标识点于摄像设备坐标系中当前坐标,包括:
当牵引车相对于挂车转动角度为θ时,依据下述公式计算每个标识点Pi于摄像设备坐标系中的
Figure FDA0001972759550000011
下的当前坐标Pci θ=(xci θ,yci θ,zci θ),(i=1,2,3,4);
其中,xci θ
Figure FDA0001972759550000012
Figure FDA0001972759550000013
的计算方式如下:
Figure FDA0001972759550000021
其中,xi、yi为平面靶标上四个空间特征点在摄像设备归一化图像平面下的坐标值;
L为靶标上四个特征点组成的正方形边长;
K1、K2、K2、和K4是和xi、yi有关的参数,关系如下:
K1=|x1(y2-y3)+y1(x3-y2)+x2y3-x3y2|
K2=|x1(y2-y4)+y1(x4-y2)+x2y4-x4y2|
K3=|x1(y3-y4)+y1(x4-y3)+x3y4-x4y3|
K4=|x2(y3-y4)+y2(x4-y3)+x3y4-x4y3|。
6.如权利要求5所述的方法,其特征在于,在接收摄像设备于牵引车转向过程中拍摄并发送的图像之前,还包括:
当牵引车相对于挂车转动角度为0°的情况下,通过视觉定位技术确定出平面靶标中四个标识点在摄像设备坐标系
Figure RE-FDA0002049228890000022
下的原始坐标
Figure RE-FDA0002049228890000023
7.如权利要求6所述的方法,其特征在于,所述依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度,包括:
构建
Figure FDA0001972759550000024
Figure FDA0001972759550000025
中之间的位姿关系
Figure FDA0001972759550000026
其中,R为旋转矩阵,T为平移矩阵,
Figure FDA0001972759550000027
Figure FDA0001972759550000028
其中,εx、εy、和εz分别为
Figure FDA0001972759550000031
的三坐标轴相对于
Figure FDA0001972759550000032
三坐标轴的旋转角度,ΔX、ΔY、ΔZ分别为
Figure FDA0001972759550000033
的三坐标轴相对于
Figure FDA0001972759550000034
三坐标轴的平移量;
采用P4P定向求解方法计算得到εx、εy、和εz,将εy确定为牵引车与挂车之间的转向角度。
8.一种转向角度检测装置,其特征在于,集成于转向角度检测系统中的处理器,所述转向角度检测系统还包括设置于牵引车驾驶舱后侧面的摄像设备,设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,所述平面靶标设置有多个标识点,且,摄像设备的视角能够完全覆盖所述平面靶标的多个标识点;所述装置包括:
接收单元,用于接收摄像设备于牵引车转向过程中拍摄并发送的图像;
识别单元,用于识别所述图像中的多个标识点;
确定单元,用于确定所述多个标识点于摄像设备坐标系中当前坐标;
计算单元,用于依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。
9.一种转向角度检测系统,其特征在于,包括:
处理器;
与处理器相连,且,设置于牵引车驾驶舱后侧面的摄像设备;
设置于牵引车驾驶舱后侧面与挂车前侧面之间且附着于挂车前侧面的平面靶标,且,所述平面靶标设置有多个标识点,且,摄像设备的视角能够完全覆盖所述平面靶标的多个标识点;
其中,处理器用于接收摄像设备于牵引车转向过程中拍摄并发送的图像;识别所述图像中的多个标识点;确定所述多个标识点于摄像设备坐标系中当前坐标;依据所述多个标识点于摄像设备坐标系中的原始坐标以及多个标识点于摄像设备坐标系中的当前坐标,计算牵引车与挂车之间的转向角度。
10.如权利要求10所述的系统,其特征在于,
所述摄像设备的中心和平面靶标的中心处于同一水平面;
且,摄像设备的中心与牵引车与挂车之间中心线之间的误差小于预设误差,且,平面靶标的中心与牵引车与挂车之间中心线之间的误差小于预设误差;
所述平面靶标包括四个标识点,且,四个标识点组成正方形。
CN201910123410.8A 2019-02-18 2019-02-18 转向角度检测方法、装置及系统 Active CN111572633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910123410.8A CN111572633B (zh) 2019-02-18 2019-02-18 转向角度检测方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910123410.8A CN111572633B (zh) 2019-02-18 2019-02-18 转向角度检测方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111572633A true CN111572633A (zh) 2020-08-25
CN111572633B CN111572633B (zh) 2021-09-24

Family

ID=72112891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910123410.8A Active CN111572633B (zh) 2019-02-18 2019-02-18 转向角度检测方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111572633B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112356626A (zh) * 2020-12-04 2021-02-12 顺为智能科技(常州)有限公司 用于自动驾驶牵引车与拖斗自动对接的方法
CN113212079A (zh) * 2021-05-31 2021-08-06 驭势科技(北京)有限公司 一种牵引车与被牵引目标对接控制方法、设备和存储介质
CN114872790A (zh) * 2022-04-29 2022-08-09 盛视科技股份有限公司 基于视觉的拖挂车的转向夹角的检测方法及检测系统
CN116823954A (zh) * 2023-08-29 2023-09-29 深圳魔视智能科技有限公司 铰接式车辆的位姿估计方法、装置、车辆及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008064892A1 (de) * 2006-11-29 2008-06-05 Universität Koblenz-Landau Verfahren zum bestimmen einer position, vorrichtung und computerprogrammprodukt
CN103328285A (zh) * 2011-01-13 2013-09-25 大陆汽车系统公司 用于在反向行进中操纵车辆拖车单元的系统和方法
CN104417546A (zh) * 2013-08-27 2015-03-18 福特环球技术公司 用于挂车倒退辅助的挂车识别系统
US20150367886A1 (en) * 2013-02-04 2015-12-24 Ford Global Technologies, Llc Control modes for a trailer backup assist system
JP6376936B2 (ja) * 2014-10-14 2018-08-22 アルパイン株式会社 運転支援装置
CN108778784A (zh) * 2016-01-14 2018-11-09 大陆汽车系统公司 具有无目标挂钩角度探测和拖车几何学习的车辆-拖车倒车系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008064892A1 (de) * 2006-11-29 2008-06-05 Universität Koblenz-Landau Verfahren zum bestimmen einer position, vorrichtung und computerprogrammprodukt
CN103328285A (zh) * 2011-01-13 2013-09-25 大陆汽车系统公司 用于在反向行进中操纵车辆拖车单元的系统和方法
US20150367886A1 (en) * 2013-02-04 2015-12-24 Ford Global Technologies, Llc Control modes for a trailer backup assist system
CN104417546A (zh) * 2013-08-27 2015-03-18 福特环球技术公司 用于挂车倒退辅助的挂车识别系统
JP6376936B2 (ja) * 2014-10-14 2018-08-22 アルパイン株式会社 運転支援装置
CN108778784A (zh) * 2016-01-14 2018-11-09 大陆汽车系统公司 具有无目标挂钩角度探测和拖车几何学习的车辆-拖车倒车系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112356626A (zh) * 2020-12-04 2021-02-12 顺为智能科技(常州)有限公司 用于自动驾驶牵引车与拖斗自动对接的方法
CN113212079A (zh) * 2021-05-31 2021-08-06 驭势科技(北京)有限公司 一种牵引车与被牵引目标对接控制方法、设备和存储介质
CN113212079B (zh) * 2021-05-31 2023-01-20 驭势科技(北京)有限公司 一种牵引车与被牵引目标对接控制方法、设备和存储介质
CN114872790A (zh) * 2022-04-29 2022-08-09 盛视科技股份有限公司 基于视觉的拖挂车的转向夹角的检测方法及检测系统
CN116823954A (zh) * 2023-08-29 2023-09-29 深圳魔视智能科技有限公司 铰接式车辆的位姿估计方法、装置、车辆及存储介质
CN116823954B (zh) * 2023-08-29 2023-12-08 深圳魔视智能科技有限公司 铰接式车辆的位姿估计方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
CN111572633B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN111572633B (zh) 转向角度检测方法、装置及系统
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
CN111862672B (zh) 基于顶视图的停车场车辆自定位及地图构建方法
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
EP3678096B1 (en) Method for calculating a tow hitch position
CN108665499B (zh) 一种基于视差法的近距飞机位姿测量方法
WO2020133172A1 (zh) 图像处理方法、设备及计算机可读存储介质
CN106183995B (zh) 一种基于立体视觉的可视倒车方法
CN111862673A (zh) 基于顶视图的停车场车辆自定位及地图构建方法
CN109523579B (zh) 一种无人机视频图像与三维地图的匹配方法和装置
CN107560603A (zh) 一种无人机倾斜摄影测量系统及测量方法
CN108288065A (zh) 一种基于图像分析的四轮定位仪检测方法
CN104949657A (zh) 物体检测装置、物体检测方法、以及包括物体检测程序的计算机可读非瞬时性存储介质
CN112257539A (zh) 车辆与车道线的位置关系检测方法、系统和存储介质
WO2018149539A1 (en) A method and apparatus for estimating a range of a moving object
CN107209930A (zh) 环视图像稳定方法和装置
CN103204104A (zh) 一种车辆全视角驾驶监控系统及方法
CN111273701A (zh) 一种云台视觉控制系统以及控制方法
CN113436313B (zh) 一种基于无人机的三维重建误差主动修正方法
CN112529935A (zh) 目标车辆运动状态识别方法及装置
CN112308899B (zh) 一种挂车角度识别方法及装置
CN112102396B (zh) 桥吊下的车辆定位方法、装置、设备及存储介质
EP3629292A1 (en) Reference point selection for extrinsic parameter calibration
Del Pizzo et al. Reliable vessel attitude estimation by wide angle camera
CN110992291A (zh) 基于三目视觉的测距方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220518

Address after: No. 203, Shanghai Songjiang Road, No. 201563, Pudong New Area

Patentee after: SAIC Motor Corp.,Ltd.

Patentee after: Shanghai automobile industry (Group) Co., Ltd

Address before: 201203 Room 509, Building No. 1, 563 Songtao Road, Zhangjiang High-tech Park, Pudong New Area, Shanghai

Patentee before: SAIC Motor Corp.,Ltd.

TR01 Transfer of patent right