CN114872790A - 基于视觉的拖挂车的转向夹角的检测方法及检测系统 - Google Patents

Abstract

本申请公开一种基于视觉的拖挂车的转向夹角的检测方法，其包括：制作包含多个横向并排设置的矩形块的标定板图案，将标定板图案喷涂或固定设置于车厢朝向牵引车车头的一侧；安装相机于牵引车车头并将相机正对标定板图案正中心，对相机进行标定获得内外参数及畸变参数；利用相机拍摄标定板图像，提取标定板图像中每一矩形块的中心点，并以每一矩形块的中心点为起点遍历图像获得该矩形块的高度；以及依据相机标定获得的参数和标定板图像的每一矩形块的高度获得该矩形块的中心点至相机镜头的距离，并利用任意两个相邻的矩形块的中心点至相机镜头的距离和该两个矩形块的中心点之间的距离求得拖挂车的转向夹角。本申请还提供一种转向夹角检测系统。

Description

基于视觉的拖挂车的转向夹角的检测方法及检测系统

技术领域

本申请涉及图像处理领域，更具体地说，一种基于视觉的拖挂车的转向夹角的检测方法及检测系统。

背景技术

拖挂车随着国家经济的发展,保有量迅速增加，被越来越多的运用到运输中. 随着社会的发展，拖挂车智能化逐渐引起人们的关注，拖挂车有牵引车和挂车组成并通过牵引销联结将牵引车动力传给挂车，所以车辆在转弯时挂车的位置和方向与牵引车不一致。在保证拖挂车的在运输货物过程中行驶安全，需通过解决拖挂车的盲区问题的全景环视拼接对周围环境监控，像拖挂车这样可分离式的车辆，在行驶过程中要完成准确的全景环视拼接，必须检测出牵引车相对于挂车的转向夹角。

发明内容

针对现有技术，本申请解决的技术问题是提供一种能获取拖挂车转向夹角的基于视觉的拖挂车的转向夹角的检测方法及检测系统。

为解决上述技术问题，本申请提供一种基于视觉的拖挂车的转向夹角的检测方法，其包括：

制作包含多个横向并排设置的矩形块的标定板图案，并将该标定板图案喷涂或固定设置于车厢朝向牵引车车头的一侧，

安装相机于牵引车车头并将相机正对标定板图案正中心，对相机进行标定获得内外参数及畸变参数；

在拖挂车行驶过程中利用相机拍摄标定板图像，提取标定板图像中每一矩形块的中心点，并以每一矩形块的中心点为起点遍历图像获得该矩形块的高度；以及

依据相机标定获得的参数和标定板图像的每一矩形块的高度获得该矩形块的中心点至相机镜头的距离，并利用任意两个相邻的矩形块的中心点至相机镜头的距离和该两个矩形块的中心点之间的距离求得拖挂车的转向夹角；

其中，其中每一矩形块包括黑色区域和由黑色区域包围的矩形的白色区域，白色区域位于矩形块的中心且矩形的白色区域的四个边与矩形块的外围的四个边一一平行对应；记任一矩形块的中心为O_i和该矩形块的高度为h_i。

在一种可能的实现方式中，设定标定板图案中并排设置的矩形块为3个，设定矩形的白色区域的每一边的边长为该边与矩形块外围的相对应的边的边长的一半；提取每一矩形块的中心点，并以每一矩形块的中心点为起点遍历图像获得标定板图像中该矩形块的高度的步骤包括：

对牵引车行驶过程中的相机采集的一帧标定板图像进行灰度化处理，并对该帧标定板图像进行二值化处理使得黑色矩形区域的灰度值为0和白色矩形区域的灰度值为255；

以图像左上角为坐标原点，逐行逐列遍历二值化后的该帧标定板图像，依次搜索沿横轴方向排布的第一个、第二个和第三个矩形块，搜索过程中计算出第一个矩形块的中心点O₁(C_x1,C_y1)、第二个矩形块的中心点O₂(C_x2,C_y2)、第三个矩形块的中心点O₃(C_x3,C_y3)；

以每一矩形块的中心点为遍历沿Y轴方向遍历二值化图像，获得该矩形块在Y轴方向的上下黑色边界的，该每一矩形块的高度为下黑色边界的Y轴坐标与上黑色边界的Y轴坐标的差值；

记获得第一矩形块、第二矩形块和第三矩形块的高度分别为h₁、h₂和h₃。

在一种可能的实现方式中，拖挂车的转向夹角α为：α＝arccos((d₂ ²+D²- d₃ ²)/(2d₂·D))，或者α＝arccos((d₂ ²+D²-d₁ ²)/(2d₂·D))；

任一矩形块的中心点至相机镜头的距离d_i为:d_i＝(S_标·H·f)/(h_i·S_芯)；

其中，S_标为标定板图案的实际物理尺寸，S_芯相机的CMOS芯片的实际物理尺寸，h_i为一矩形块在标定板图像中的高度，i取值1,2和3，H为标定板图像的高度，f为进行对相机进行标定获得的焦距，d₁为标定板图像中第一个矩形块的中心点至相机镜头的距离，d₂为标定板图像中第二个矩形块至相机镜头的距离，d₃为标定板图像中第三个矩形块至相机镜头的距离，D为任意两个相邻的矩形块的中心点之间距离。

在一种可能的实现方式中，D＝50cm。

在一种可能的实现方式中，设定每一帧标定板图像的大小为W×H，搜索第一个矩形块和求解第一个矩形块的中心点的步骤包括：

逐行逐列遍历二值化后的标定板图像，直至纵坐标y＝y₀时遇到第一次横向的黑白黑宽度比例为1:2:1区域，记第一次出现的黑白黑宽度比例为1:2:1的区域为G₁，记区域G₁的左端点坐标、右端点坐标和宽度分别为X_L1、X_R1、X_R1- X_L1，区域G₁的中心点O₁坐标为O₁((X_R1+X_L1)/2,y₀)；

以横坐标(X_R+X_L)/2为中心且以(X_R+X_L)/2+1形式往右横向递增地遍历图像直至X_R的位置，且以横坐标(X_R+X_L)/2为中心且以(X_R+X_L)/2-1形式往左横向递减地遍历图像直至X_L的位置，每依次横向递增后和递减后沿纵向遍历该标定板图像的像素点以寻找在纵方向上所有满足黑白黑宽度比例为1:2:1区域，并记录在纵方向上所有满足黑白黑宽度比例为1:2:1区域的上端点U和下端点 D；

第一个矩形块的中心的纵坐标的求解：将上述往右横向递增遍历图像以及往左横向递减遍历图像获得的上端点U的纵坐标求平均值以获得U_A，将往右横向递增遍历图像以及往左横向递减遍历图像获得的下端点D的纵坐标求平均值以获得D_A，C_y1＝(U_A+D_A)/2；

以纵坐标(U_A+D_A)/2为中心且以(U_A+D_A)/2+1形式往上纵向递增地遍历图像直至U_A的位置，且以纵坐标(U_A+D_A)/2为中心且以(U_A+D_A)/2-1形式往下纵向递减地遍历图像直至D_A的位置，每依次横向递增后和递减后沿纵向遍历该标定板图像的像素点以寻找在横方向上所有满足黑白黑宽度比例为1:2:1区域，并记录在纵方向上所有满足黑白黑宽度比例为1:2:1区域的左端点L和右端点 R；

第一个矩形块的中心的横坐标的求解：将上述往上纵向递增遍历图像以及往下纵向递减遍历图像获得的左端点U的横坐标求平均值以获得L_A，将往上纵向递增遍历图像以及往下纵向递减遍历图像获得的右端点R的横坐标求平均值以获得R_A，C_x1＝(L_A+R_A)/2。

在一种可能的实现方式中，在完成第一个矩形块的搜索和第一个矩形块的中心点的求解之后依次进行第二个矩形块和第三个矩形块的搜索，在第一矩形块的右侧搜索第二个矩形块以及在第二个矩形块的右侧搜索第三个矩形块。

在一种可能的实现方式中，对该帧标定板图像进行灰度化处理：M(x,y) ＝0.3*r(x,y)+0.59*g(x,y)+0.11*b(x,y)；对该帧标定板图像进行二值化处理：遍历灰度化后的标定板图像所有像素，如果M(x,y)>t，则bin(x,y)＝0，否则bin(x,y)＝255；

其中，M(x,y)为标定板图像的像素点(x,y)灰度化后的结果，r、g和b 分别为标定板图像的像素点(x,y)的红色通道、绿色通道和蓝色通道的值； t为二值化阈值，bin(x,y)为像素点(x,y)二值化的结果。

在一种可能的实现方式中，t取值为100。

本申请还提供一种拖挂车转向夹角检测系统，包括设置于所述牵引车上的相机、喷涂或固定设置于车厢朝向所述牵引车的车头的侧面上的标定板图案、和设置于牵引车上的处理器；所述处理器连接所述相机，所述相机正对所述标定板图像的正中心，所述标定板图案包含多个横向并排设置的矩形块，其中每一矩形块由黑色区域包围白色矩形块、白色矩形块位于正中心且白色区域的面积为该矩形块面积的一半；所述处理器用于执行可执行代码以实现所述基于视觉的拖挂车的转向夹角的检测方法。

在一种可能的实现方式中，该标定板图案包括并排设置的3个矩形块，其中每一矩形块为正方形且白色区域为正方形。

在所述基于视觉的拖挂车的转向夹角的检测方法和拖挂车转向夹角检测系统中，通过相机采集标定板图像，依据相机标定获得的参数和标定板图像的每一矩形块的高度获得该矩形块的中心点至相机镜头的距离，并利用任意两个相邻的矩形块的中心点至相机镜头的距离和该两个矩形块的中心点之间的距离求得拖挂车的转向夹角。故而该转向夹角检测方法通过图像处理方式实时获取拖挂车行驶过程中转向夹角。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的基于视觉的拖挂车的转向夹角的检测方法的整体流程图；

图2为本申请实施例的采集到的车厢上的显示标定板图案的标定板图像的局部图；

图3为本申请实施例的提取每一矩形块的中心点，并以每一矩形块的中心点为起点遍历图像获得标定板图像中该矩形块的高度的步骤流程图；

图4为本申请实施例的计算转向夹角的三角函数的示意图；

图5为本申请实施例的对图像2进行二值化处理后的结果图；

图6为本申请实施例的进行矩形块搜索过程中被一个矩形块的黑色区域和白色区域同时贯穿的横纵方向的部分直线的示意图；

图7为本申请实施例的设置于拖挂车上的检测系统的示意图。

具体实施方式

为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

现结合附图对本申请的基于视觉的拖挂车的转向夹角的检测方法及转向夹角检测系统进行具体说明。

一并参照图1，本申请实施例提供基于视觉的拖挂车的转向夹角的检测方法。通常情况下，拖挂车包括前方的牵引车、由牵引车拖挂的挂车和设置在拖车上用于运载货物的车厢。基于视觉的拖挂车的转向夹角的检测方法用于检测拖挂车在行驶过程中牵引车相对于挂车的转向夹角。基于视觉的拖挂车的转向夹角的检测方法包括如下步骤：

步骤S100：制作包含多个横向并排设置的矩形块的标定板图案，并将该标定板图案喷涂或固定设置于车厢朝向牵引车车头的一侧，

步骤S200：安装相机于牵引车车头并将相机正对标定板图案正中心，对相机进行标定获得内外参数及畸变参数；

步骤S300：在拖挂车行驶过程中利用相机拍摄标定板图像，提取标定板图像中每一矩形块的中心点，并以每一矩形块的中心点为起点遍历图像获得该矩形块的高度；以及

步骤S400：依据相机标定获得的参数和标定板图像的每一矩形块的高度获得该矩形块的中心点至相机镜头的距离，并利用任意两个相邻的矩形块的中心点至相机镜头的距离和该两个矩形块的中心点之间的距离求得拖挂车的转向夹角；

可以理解地，在上述步骤中，标定板图像为利用摄像头采集的包含标定板图案的图像。

在所述基于视觉的拖挂车的转向夹角的检测方法中，通过相机采集标定板图像，依据相机标定获得的参数和标定板图像的每一矩形块的高度获得该矩形块的中心点至相机镜头的距离，并利用任意两个相邻的矩形块的中心点至相机镜头的距离和该两个矩形块的中心点之间的距离求得拖挂车的转向夹角。故而该转向夹角检测方法通过图像处理方式实时获取拖挂车行驶过程中转向夹角。

在上述步骤中，记任一矩形块的中心为O_i和该矩形块的高度为h_i，其中每一矩形块包括黑色区域和由黑色区域包围的矩形的白色区域，白色区域位于矩形块的中心且矩形的白色区域的四个边与矩形块的外围的四个边一一平行对应。喷涂或固定于车厢上的标定板图案如图2所示。

值得说明的是，牵引车和拖挂车一般通过牵引销进行连接，当拖挂车平稳的置于地面上时，喷涂或固定标定板图案的中心在地面的投影点以及牵引销在地面的投影点在同一直线上，如此更加有利于检测方法的准确性。在上述步骤中，设置在牵引车车头上的摄像头正对车厢上的标定板图案的中心，也可进一步保证检测方法的准确性。

在一申请实施例中，设定标定板图案中并排设置的矩形块为3个，设定矩形的白色区域的每一边的边长为该边与矩形块外围的相对应的边的边长的一半。进一步地，也可设定白色区域为正方形和每一矩形块为正方形。例如，A是白色区域的一个边，B为矩形块外围的且与A平行对应的边，则A的边长为B的边长的一半。

参照图3，在此实施例中，提取每一矩形块的中心点，并以每一矩形块的中心点为起点遍历图像获得标定板图像中该矩形块的高度的步骤包括，即步骤 S300包括：

步骤S310：对牵引车行驶过程中的相机采集的一帧标定板图像进行灰度化处理，并对该帧标定板图像进行二值化处理使得黑色矩形区域的灰度值为0和白色矩形区域的灰度值为255；

步骤S320：以图像左上角为坐标原点，逐行逐列遍历二值化后的该帧标定板图像，依次搜索沿横轴方向排布的第一个、第二个和第三个矩形块，搜索过程中计算出第一个矩形块的中心点O₁(C_x1,C_y1)、第二个矩形块的中心点O₂(C_x2, C_y2)、第三个矩形块的中心点O₃(C_x3,C_y3)；

步骤S330：以每一矩形块的中心点为遍历沿Y轴方向遍历二值化图像，获得该矩形块在Y轴方向的上下黑色边界的，该每一矩形块的高度为下黑色边界的Y轴坐标与上黑色边界的Y轴坐标的差值；

步骤S340：记获得第一矩形块、第二矩形块和第三矩形块的高度分别为h₁、 h₂和h₃。

在上述实施例中，相机的视野和被拍摄的物体至相机镜头的距离成正比，

即视野＝(d_i·S_芯)/f；且S_标＝(h_i/H)·视野；故而任一矩形块的中心点至相机镜头的距离d_i为: d_i＝(S_标·H·f)/(h_i·S_芯)。中，S_标为标定板图案的实际物理尺寸，S_芯相机的 CMOS芯片的实际物理尺寸，h_i为一矩形块在标定板图像中的高度，i取值1,2 和3，H为标定板图像的高度，f为进行对相机进行标定获得的焦距，d₁为标定板图像中第一个矩形块的中心点至相机镜头的距离，d₂为标定板图像中第二个矩形块至相机镜头的距离，d₃为标定板图像中第三个矩形块至相机镜头的距离；其S_芯和S_标可为英寸。

进一步参照图4，为求得拖挂车的转向夹角α，通过三角函数可得，α＝arccos((d₂ ²+D²-d₃ ²)/(2d₂·D))，或者α＝arccos((d₂ ²+D²-d₁ ²)/(2d₂·D))；其中，D为任意两个相邻的矩形块的中心点之间距离，可以理解地，标定板图案制作好之后，两个相邻的矩形块的中心点之间的距离是固定好的。在一申请实施例中，上述三个矩形块的间隔相同，即相邻的两个矩形块中心点之间的具体也是相同的，D＝50cm，但不限于此。

值得说明的是，通过镜头、第一矩形块的中心点、第二矩形块的中心点三者组成的三角形并通过三角函数求得转向夹角；或者获得通过镜头、第二矩形块的中心点和第三矩形块的中线组成三角形并通过三角函数求得转向夹角，即前述通过两种方式都可获得转向夹角。因为牵引车头和挂车发生相对转动时，需看实际全景拼接是需用到那个方向夹角，故而可通过两种方式获得转向夹角。

在上述实施例中，拖挂车在行驶过程中，当拖挂车进行转弯过程中，牵引车头和挂车之间转向夹角是不断变化的，当拖挂车行驶过程中，通过相机采集一帧标定板图像，选择上述两种方式中一种方式来计算转角夹角，那么另一种方式计算的转向夹角可以用于本发明的检测方法的验证过程，即用于验证转向夹角是否准确。故而，检测方法还包括验证步骤：若通过相机采集一帧标定板图像，两种方式计算的转向夹角之和为180度，或者之和接近180度，则在拖挂车行驶过程中计算的转向夹角为准确的，否者认为该帧标定板图像获得的转向夹角有误差，则放弃该帧标定板图像获得转向夹角，且获取下一帧标定板图像计算的准确的转向夹角。由于获取的帧图像时连续获取的，相机获取帧图像的速率很快，放弃一帧或者即帧图像计算的转向夹角，不会影响环视拼接中的转向夹角的运用。所述接近180度可以理解为与180度相差一两度或者几度。

在一申请实施例中，在步骤S310中，对一帧标定板图像进行灰度化处理： M(x,y)＝0.3*r(x,y)+0.59*g(x,y)+0.11*b(x,y)；对该帧标定板图像进行二值化处理：遍历灰度化后的标定板图像所有像素，如果M(x,y)>t，则 bin(x,y)＝0，否则bin(x,y)＝255；

其中，M(x,y)为标定板图像的像素点(x,y)灰度化后的结果，r、g和b 分别为标定板图像的像素点(x,y)的红色通道、绿色通道和蓝色通道的值； t为二值化阈值，bin(x,y)为像素点(x,y)二值化的结果。

其中图5为对图2的车厢上的标定板图像进行二值化后结果。

在一申请实施例中，在步骤S200中，可用张正友标定方法对相机进行标定以获得相机的内外参数及畸变参数，焦距f为相机内外参数之一。在上述实施例中，在对相机采集的一标定板图像进行二值化之前，可先对该标定板图像进行图像畸变校正。

值得说明的是，同时贯穿白色和黑色区域的一条直线，在该直线被一矩形块截取的线段中，被依次被黑色区域、白色区域、黑色区域截取的线段长度之比为1:2:1。

在一申请实施例中，在步骤S320中，设定每一帧标定板图像的大小为W× H，其中W为横轴方向的宽度，H为纵轴方向的高度。参照图6，搜索第一个矩形块和求解第一个矩形块的中心点的步骤包括：

步骤S321：逐行逐列遍历二值化后的标定板图像，直至纵坐标y＝y₀时遇到第一次横向的黑白黑宽度比例为1:2:1区域，记第一次出现的黑白黑宽度比例为1:2:1的区域为G₁，记区域G₁的左端点坐标、右端点坐标和宽度分别为X_L1、 X_R1、X_R1-X_L1，区域G₁的中心点O₁坐标为O₁((X_R1+X_L1)/2,y₀)；

步骤S322：以横坐标(X_R+X_L)/2为中心且以(X_R+X_L)/2+1形式往右横向递增地遍历图像直至X_R的位置，且以横坐标(X_R+X_L)/2为中心且以(X_R+X_L)/2-1 形式往左横向递减地遍历图像直至X_L的位置，每依次横向递增后和递减后沿纵向遍历该标定板图像的像素点以寻找在纵方向上所有满足黑白黑宽度比例为 1:2:1区域，并记录在纵方向上所有满足黑白黑宽度比例为1:2:1区域的上端点U和下端点D；

步骤S323：第一个矩形块的中心的纵坐标的求解：将上述往右横向递增遍历图像以及往左横向递减遍历图像获得的上端点U的纵坐标求平均值以获得U_A，将往右横向递增遍历图像以及往左横向递减遍历图像获得的下端点D的纵坐标求平均值以获得D_A，C_y1＝(U_A+D_A)/2；

步骤S324：以纵坐标(U_A+D_A)/2为中心且以(U_A+D_A)/2+1形式往上纵向递增地遍历图像直至U_A的位置，且以纵坐标(U_A+D_A)/2为中心且以(U_A+D_A)/2-1 形式往下纵向递减地遍历图像直至D_A的位置，每依次横向递增后和递减后沿纵向遍历该标定板图像的像素点以寻找在横方向上所有满足黑白黑宽度比例为 1:2:1区域，并记录在纵方向上所有满足黑白黑宽度比例为1:2:1区域的左端点L和右端点R；

步骤S325：第一个矩形块的中心的横坐标的求解：将上述往上纵向递增遍历图像以及往下纵向递减遍历图像获得的左端点U的横坐标求平均值以获得L_A，将往上纵向递增遍历图像以及往下纵向递减遍历图像获得的右端点R的横坐标求平均值以获得R_A，C_x1＝(L_A+R_A)/2。

在上述步骤S321-步骤S325中，左右方向是以X轴上的左右，指向图像原点方向为左，背向图像原点方向为右；上下方向是以Y轴上的左右，指向图像原点方向为上，背向图像原点方向为下。

在上述步骤S321-步骤S325中，遍历图像过程中，寻找的在纵方向上所有满足黑白黑宽度比例为1:2:1区域和横方向上所有满足黑白黑宽度比例为 1:2:1区域，这些黑白黑宽度比例为1:2:1的区域为直线区域。如图6所示，图6示意了矩形块搜索过程中被一个矩形块的黑色区域和白色区域同时贯穿的横纵方向的部分直线，在步骤S322中，在横向递增时，当横向坐标为x＝m时，遍历在x＝m的这边直线上所有像素，判断是否若存在依次连续的黑色区域：白色区域：黑色区域的宽度为1:2:1，上端点U和下端点D为该条直线被矩形块截断时的两个端点，其他情况不再赘述。

在一申请实施例中，在步骤S320中，在完成第一个矩形块的搜索和第一个矩形块的中心点的求解之后依次进行第二个矩形块和第三个矩形块的搜索。在第一矩形块的右侧搜索第二个矩形块，如此可以排除已经搜索完的第一矩形块对第二矩形块的影响；以及在第二个矩形块的右侧搜索第三个矩形块，如此可以排除已经搜索完的第一个矩形块和第二矩形块对第三矩形块的影响。值得说明的是，第二个矩形块的搜索和第三个矩形块的搜索的方法采用与第一个矩形块相同的方法，且第二矩形块和第三个矩形块的中心点的求解与第一个矩形块的中心点的求解方法相同。此处不再赘述，即采用步骤S300相同的方法。

可以理解地，在上述实施例中，横轴即为图像坐标系的X轴，纵轴即为图像坐标系的Y轴，该图像坐标系的原点在图像的左上角，纵向为Y轴，横向为 X轴。

参照图7，本申请还提供的拖挂车转向夹角检测系统，该该检测系统包括设置于所述牵引车3上的相机4、喷涂或固定设置于车厢1朝向所述牵引车的车头的侧面上的标定板图案2和设置于牵引车上的处理器；所述处理器连接所述相机4，所述相机4正对所述标定板图像的正中心，所述标定板图案包含多个横向并排设置的矩形块，其中每一矩形块包括黑色区域和由黑色区域包围的矩形的白色区域，且白色区域位于矩形块的中心且矩形的白色区域的四个边与矩形块的外围的四个边一一平行对应；所述处理器用于执行可执行代码以实现上述基于视觉的拖挂车的转向夹角的检测方法。

在一申请实施例中，标定板图案包括并排设置的3个矩形块，每一矩形块为正方形且白色区域为正方形。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于视觉的拖挂车的转向夹角的检测方法，其特征在于，包括：

制作包含多个横向并排设置的矩形块的标定板图案，并将该标定板图案喷涂或固定设置于车厢朝向牵引车车头的一侧，

安装相机于牵引车车头并将相机正对标定板图案正中心，对相机进行标定获得内外参数及畸变参数；

在拖挂车行驶过程中利用相机拍摄标定板图像，提取标定板图像中每一矩形块的中心点，并以每一矩形块的中心点为起点遍历图像获得该矩形块的高度；以及

依据相机标定获得的参数和标定板图像的每一矩形块的高度获得该矩形块的中心点至相机镜头的距离，并利用任意两个相邻的矩形块的中心点至相机镜头的距离和该两个矩形块的中心点之间的距离求得拖挂车的转向夹角；

其中，每一矩形块包括黑色区域和由黑色区域包围的矩形的白色区域，且白色区域位于矩形块的中心且矩形的白色区域的四个边与矩形块的外围的四个边一一平行对应；记任一矩形块的中心为O_i和该矩形块的高度为h_i。

2.如权利要求1所述的基于视觉的拖挂车的转向夹角的检测方法，其特征在于，设定标定板图案中并排设置的矩形块为3个，设定矩形的白色区域的每一边的边长为该边与矩形块的外围的相对应的边的边长的一半；提取每一矩形块的中心点，并以每一矩形块的中心点为起点遍历图像获得标定板图像中该矩形块的高度的步骤包括：

对牵引车行驶过程中的相机采集的一帧标定板图像进行灰度化处理，并对该帧标定板图像进行二值化处理使得黑色矩形区域的灰度值为0和白色矩形区域的灰度值为255；

以图像左上角为坐标原点，逐行逐列遍历二值化后的该帧标定板图像，依次搜索沿横轴方向排布的第一个、第二个和第三个矩形块，搜索过程中计算出第一个矩形块的中心点O₁(C_x1,C_y1)、第二个矩形块的中心点O₂(C_x2,C_y2)、第三个矩形块的中心点O₃(C_x3,C_y3)；

以每一矩形块的中心点为遍历沿Y轴方向遍历二值化图像，获得该矩形块在Y轴方向的上下黑色边界的，该每一矩形块的高度为下黑色边界的Y轴坐标与上黑色边界的Y轴坐标的差值；

记获得第一矩形块、第二矩形块和第三矩形块的高度分别为h₁、h₂和h₃。

3.如权利要求2所述的基于视觉的拖挂车的转向夹角的检测方法，其特征在于，

拖挂车的转向夹角α为：α＝arccos((d₂ ²+D²-d₃ ²)/(2d₂·D))，或者α＝arccos((d₂ ²+D²-d₁ ²)/(2d₂·D))；

任一矩形块的中心点至相机镜头的距离d_i为:d_i＝(S_标·H·f)/(h_i·S_芯)；

其中，S_标为标定板图案的实际物理尺寸，S_芯相机的CMOS芯片的实际物理尺寸，h_i为一矩形块在标定板图像中的高度，i取值1,2和3，H为标定板图像的高度，f为进行对相机进行标定获得的焦距，d₁为标定板图像中第一个矩形块的中心点至相机镜头的距离，d₂为标定板图像中第二个矩形块至相机镜头的距离，d₃为标定板图像中第三个矩形块至相机镜头的距离，D为任意两个相邻的矩形块的中心点之间距离。

4.如权利要3所述的基于视觉的拖挂车的转向夹角的检测方法，其特征在于，D＝50cm。

5.如权利要求2所述的基于视觉的拖挂车的转向夹角的检测方法，其特征在于，设定每一帧标定板图像的大小为W×H，搜索第一个矩形块和求解第一个矩形块的中心点的步骤包括：

逐行逐列遍历二值化后的标定板图像，直至纵坐标y＝y₀时遇到第一次横向的黑白黑宽度比例为1:2:1区域，记第一次出现的黑白黑宽度比例为1:2:1的区域为G₁，记区域G₁的左端点坐标、右端点坐标和宽度分别为X_L1、X_R1、X_R1-X_L1，区域G₁的中心点O₁坐标为O₁((X_R1+X_L1)/2,y₀)；

以横坐标(X_R+X_L)/2为中心且以(X_R+X_L)/2+1形式往右横向递增地遍历图像直至X_R的位置，且以横坐标(X_R+X_L)/2为中心且以(X_R+X_L)/2-1形式往左横向递减地遍历图像直至X_L的位置，每依次横向递增后和递减后沿纵向遍历该标定板图像的像素点以寻找在纵方向上所有满足黑白黑宽度比例为1:2:1区域，并记录在纵方向上所有满足黑白黑宽度比例为1:2:1区域的上端点U和下端点D；

第一个矩形块的中心的纵坐标的求解：将上述往右横向递增遍历图像以及往左横向递减遍历图像获得的上端点U的纵坐标求平均值以获得U_A，将往右横向递增遍历图像以及往左横向递减遍历图像获得的下端点D的纵坐标求平均值以获得D_A，C_y1＝(U_A+D_A)/2；

以纵坐标(U_A+D_A)/2为中心且以(U_A+D_A)/2+1形式往上纵向递增地遍历图像直至U_A的位置，且以纵坐标(U_A+D_A)/2为中心且以(U_A+D_A)/2-1形式往下纵向递减地遍历图像直至D_A的位置，每依次横向递增后和递减后沿纵向遍历该标定板图像的像素点以寻找在横方向上所有满足黑白黑宽度比例为1:2:1区域，并记录在纵方向上所有满足黑白黑宽度比例为1:2:1区域的左端点L和右端点R；

第一个矩形块的中心的横坐标的求解：将上述往上纵向递增遍历图像以及往下纵向递减遍历图像获得的左端点U的横坐标求平均值以获得L_A，将往上纵向递增遍历图像以及往下纵向递减遍历图像获得的右端点R的横坐标求平均值以获得R_A，C_x1＝(L_A+R_A)/2。

6.如权利要求5所述的基于视觉的拖挂车的转向夹角的检测方法，其特征在于，在完成第一个矩形块的搜索和第一个矩形块的中心点的求解之后依次进行第二个矩形块和第三个矩形块的搜索，在第一矩形块的右侧搜索第二个矩形块以及在第二个矩形块的右侧搜索第三个矩形块。

7.如权利要求3所述的基于视觉的拖挂车的转向夹角的检测方法，其特征在于，对该帧标定板图像进行灰度化处理：M(x,y)＝0.3*r(x,y)+0.59*g(x,y)+0.11*b(x,y)；对该帧标定板图像进行二值化处理：遍历灰度化后的标定板图像所有像素，如果M(x,y)>t，则bin(x,y)＝0，否则bin(x,y)＝255；

其中，M(x,y)为标定板图像的像素点(x,y)灰度化后的结果，r、g和b分别为标定板图像的像素点(x,y)的红色通道、绿色通道和蓝色通道的值；t为二值化阈值，bin(x,y)为像素点(x,y)二值化的结果。

8.如权利要求3所述的基于视觉的拖挂车的转向夹角的检测方法，其特征在于，t取值为100。

9.一种拖挂车转向夹角检测系统，其特征在于，包括设置于所述牵引车上的相机、喷涂或固定设置于车厢朝向所述牵引车的车头的侧面上的标定板图案、和设置于牵引车上的处理器；所述处理器连接所述相机，所述相机正对所述标定板图像的正中心，所述标定板图案包含多个横向并排设置的矩形块，其中每一矩形块包括黑色区域和由黑色区域包围的矩形的白色区域，且白色区域位于矩形块的中心且矩形的白色区域的四个边与矩形块的外围的四个边一一平行对应；所述处理器用于执行可执行代码，以实现如权利要求1至8任一项所述的基于视觉的拖挂车的转向夹角的检测方法。

10.如权利要求9所述的拖挂车转向夹角检测系统，其特征在于，该标定板图案包括并排设置的3个矩形块，其中每一矩形块为正方形且白色区域为正方形。

Images