CN109584304A - 一种方向盘转角测量方法及装置、系统 - Google Patents

Abstract

本申请提供了一种方向盘转角测量方法及装置、系统，获取包括方向盘的图像和设置在方向盘上的标记物的图像的图像帧，提取图像帧中的标记物的特征，依据标记物的特征，由第一图像帧中方向盘的转角，计算第二图像帧中的方向盘的转角，可见，基于视觉测量方向的转角，而无需传感器采集参数，因此，无需在车辆上设置传感器，所以，有利于保证车辆的安全性。

Description

一种方向盘转角测量方法及装置、系统

技术领域

本申请涉及自动测量领域，尤其涉及一种方向盘转角测量方法及装置、系统。

背景技术

随着人们对机动车(汽车)驾驶过程中舒适性、安全性、智能性等方面的追求，汽车辅助应用得到了迅猛的发展，在汽车出厂后，安装的辅助应用称为后装辅助应用。

方向盘的实时状态作为后装辅助应用中重要的机动车状态，对方向盘的实时状态测量方案也在不断发展。效果良好的后装辅助应用中的方向盘转角测量技术成为一个重要的研究课题。

目前，现有的方向盘转角传感器大多采用机械式方案进行设计，利用光电感应、霍尔效应、电阻分压以及磁电阻效应等原理，将方向盘的转角变化转为光电码或电阻值的变化，通过这些易测量值得检测来得到方向盘转角变化。这种机械式的测量方法，需要在方向盘转轴上或转轴中安装转角传感器，容易导致车辆的安全问题。

发明内容

本申请提供了一种方向盘转角测量及装置、系统，目的在于解决方向盘转角测量导致的车辆不安全的问题。

为了实现上述目的，本申请提供了以下技术方案：

一种方向盘转角测量方法，包括：

获取图像帧，所述图像帧中包括方向盘的图像和设置在所述方向盘上的标记物的图像；所述图像帧至少包括第一图像帧和第二图像帧，所述第一图像帧的采集时序在所述第二图像帧的采集时序之前；

提取所述图像帧中的所述标记物的特征；

依据所述标记物的特征，由所述第一图像帧中方向盘的转角，计算所述第二图像帧中的方向盘的转角。

可选的，所述标记物包括：

棋盘格；

所述提取所述图像帧中的所述标记物的特征包括：

提取所述图像帧中的所述棋盘格的角点。

可选的，所述依据所述标记物的特征，由所述第一图像帧中方向盘的转角，计算所述第二图像帧中的方向盘的转角包括：

依据第一角点与第二角点，计算第一角点与第二角点之间的旋转向量，所述第一角点为所述第一图像帧中的所述棋盘格的角点，所述第二角点为所述第二图像帧中的所述棋盘格的角点；

依据所述旋转向量，计算所述第二图像帧中的所述方向盘相对于所述第一图像帧中的所述方向盘的旋转角度；

依据所述旋转角度和所述第一图像帧中的所述方向盘的转角，确定所述第二图像帧中的所述方向盘的转角。

可选的，从任意一个图像帧中提取的所述角点的数量至少为4个，且任意3个角点不共线。

可选的，在所述提取所述图像帧中的所述标记物的特征之前，还包括：

从所述图像帧中提取目标区域，所述目标区域中包括所述棋盘格，所述目标区域作为所述图像帧；

和，将所述图像帧转换为预设格式。

可选的，所述标记物包括：

颜色块；

所述提取所述图像帧中的所述标记物的特征包括：

提取所述图像帧中的所述颜色块的轮廓。

可选的，所述依据所述标记物的特征，由所述第一图像帧中方向盘的转角，计算所述第二图像帧中的方向盘的转角包括：

计算所述第二图像帧中的颜色块的轮廓中心坐标，所述轮廓中心坐标为的组成所述轮廓的像素点的中心点的坐标；

计算所述第二图像帧中的所述方向盘的中心点坐标；

依据所述轮廓中心坐标和所述方向盘的中心点坐标，计算第一角度；

依据所述第一角度和所述第一图像帧中方向盘的转角，计算所述第二图像帧中的方向盘的转角。

可选的，在所述提取所述图像帧中的所述标记物的特征之前，还包括：

从所述图像帧中提取目标区域，所述目标区域中包括所述颜色块，所述目标区域作为所述图像帧；

和，将所述图像帧转换到预设的颜色空间。

一种方向盘转角测量系统，包括：

标记物、摄像头和处理器；

所述标记物设置于方向盘的上表面；

所述用于采集包括所述方向盘和所述标记物的图像帧；

所述处理器用于实现上述方法。

可选的，所述标记物包括：

棋盘格或颜色块。

一种方向盘转角测量装置，包括：

获取模块，用于获取图像帧，所述图像帧中包括方向盘的图像和设置在所述方向盘上的标记物的图像；所述图像帧至少包括第一图像帧和第二图像帧，所述第一图像帧的采集时序在所述第二图像帧的采集时序之前；

提取模块，用于提取所述图像帧中的所述标记物的特征；

计算模块，用于依据所述标记物的特征，由所述第一图像帧中方向盘的转角，计算所述第二图像帧中的方向盘的转角。

本申请所述的方法及装置、系统，获取包括方向盘的图像和设置在方向盘上的标记物的图像的图像帧，提取图像帧中的标记物的特征，依据标记物的特征，由第一图像帧中方向盘的转角，计算第二图像帧中的方向盘的转角，可见，基于视觉测量方向的转角，而无需传感器采集参数，因此，无需在车辆上设置传感器，所以，有利于保证车辆的安全性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种方向盘转角测量系统的结构示意图；

图2(a)为一个标记物的示例图；

图2(b)为又一个标记物的示例图；

图3为本申请实施例公开的一种方向盘转角测量方法的流程图；

图4为本申请实施例公开的又一种方向盘转角测量方法的流程图；

图5为本申请实施例公开的又一种方向盘转角测量方法的流程图；

图6为本申请实施例公开的一种方向盘转角测量装置的结构示意图。

具体实施方式

本申请实施例提供的方向盘转角测量方法以及系统，可以应用在车辆上，用于基于视觉测量方向盘的转角。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例公开的一种方向盘转角测量系统，包括：标记物、摄像头和处理器。

标记物设置(例如粘贴)于方向盘的上表面。具体的，如图2(a)所示，标记物可以为棋盘格，对于棋盘格标记物，在车辆方向盘处于初始状态(即未产生转角)时，在车辆方向盘的正面中心粘贴该标志物，且棋盘格中心和方向盘中心重合，以避免棋盘格随着方向盘的转动而产生水平位移，增加计算结果的准确性。棋盘格的对角线上两端的单元格颜色不同，以增加方向盘在转动180°和360°时检测的区分性，即增加方向盘转角测量量程。棋盘格的尺寸的一个示例为：棋盘格中包括5*4个单元格，每个单元格的尺寸为2厘米*2厘米。

或者，如图2(b)所示，标记物可以为颜色块，对于颜色块标记物，在车辆方向盘处于初始状态(即未产生转角)时，在车辆方向盘的正面粘贴颜色块。颜色块的一个顶点与方向盘的中心重合，且该顶点与颜色块的中心点之间的连线处于水平方向上，以避免颜色块随着方向盘的转动而产生水平位移，增加计算结果的准确性。图2(b)所示的颜色块的一个示例为：颜色块为正方形，颜色为绿色，以增加标记物与方向盘的区分度。正方形的一个顶点与方向盘的中心重合，该顶点所处对角线上的另一顶点位于正方形中心的左侧。

摄像头用于采集图像。摄像头安装于标志物的正上方，使得标志物位于获取的图像的中间，以满足在方向盘转动时标志物不超出摄像头的视野范围。

可选的，为了能够采集到方向盘转速较快的情况下，满足识别需求的图像，本实施例中，使用高帧率摄像头。例如，使用摄像头帧率为120帧/秒的高速CMOS摄像头。

在摄像头使用之前，先对摄像头进行标定，得到相机的本质矩阵K和畸变系数向量d。例如，使用棋盘格对摄像头进行标定，利用OpenCV库自带的棋盘格标定法对摄像头进行标定，得到K为3*3的矩阵，d为4*1的向量。并将摄像头的标定参数存储于配置文件中，只需对摄像头标定一次，之后只需从配置文件中读取摄像头参数，节省了流程。

处理器用于依据摄像头采集不同图像帧中的标记物，计算方向盘的转角。

下面将分别针对棋盘格和颜色块，对处理器计算方向盘转角的过程进行详细的说明。

图3为本申请实施例公开的一种方向盘转角测量方法，包括以下步骤：

S301：获取摄像头采集的图像帧。

如前所述，因为摄像头安装在方向盘的正上方，所以能够采集到包括方向盘的图像。

S302：对图像帧进行预处理。

具体的，预处理包括以下至少一种方式：

1、在图像帧中选择目标区域。目标区域中包括棋盘格。

需要说明的是，在每一个参与处理的图像帧中选择的区域的坐标相同，即在每一个图像帧中选择相同位置的区域。

选择目的区域的目的在于，减少后续处理的像素数，以提高算法运行的效率。

2、对图像帧进行格式转换。例如，将图像帧从RGB图像转换为灰度图像，以减少后续处理的像素数。

S303：提取预处理后的图像帧中的棋盘格的角点。

此步骤中，以预处理后的图像为灰度格式的包括棋盘格的目标区域为例。

其中，角点为棋盘格中相邻的单元格相交的顶点。以图2(a)为例，角点为相邻的白色和黑色单元格相交的顶点。

具体的，选择时序上相邻的任意两个图像帧，作为处理对象，提取这两个图像帧中的棋盘格的预设数量个角点，例如全部角点。

本实施例中，可以利用OpenCV库中的findChessboardCorners()函数提取全部棋盘格角点。

S304：依据提取的角点，获得方向盘转角信息。

任意一个图像帧中的方向盘的转角为α_c＝α_k+θ。其中，α_k为该图像帧的前一个图像帧中的方向盘的转角，其中sign(·)为符号函数，r＝[r_x r_y r_z]^T为依据角点确定出的、该图像帧中的棋盘格相对于前一个图像帧中的棋盘格的旋转向量。

转角计算公式的推导过程以及旋转向量的计算过程如下：

将前一个图像帧F_k中提取的角点记为P_k，将后一个图像帧F_c中提取的角点记为P_c。

棋盘格中的任意一个角点在两图像帧P_k和P_c中的关系表达式为：

其中(x,y)^T∈P_k,(x′,y′)^T∈P_c，令h₃₃＝1，得到：

利用P_k和P_c中的匹配点(即棋盘格中相同的角点)对建立方程组求解，得到单应性矩阵H，令h＝(H₁₁,H₁₂,H₁₃,H₂₁,H₂₂,H₂₃,H₃₁,H₃₂,1)^T，有：

其中n为P_k和P_c中的棋盘格角点数。

需要说明的是，在根据公式(3)计算单应性矩阵时，至少4对匹配的点对(任意3点不共线)可解得单应性矩阵H，但提取出的棋盘格角点数大于4，故从P_k和P_c中随机选择4对匹配点对进行计算，使得对应点间得投影误差最小。因此，上述预设数量的最小值为4。

同时，图像点x＝(x,y)^T对应的空间点为X，图像点x′＝(x′,y′)^T对应的空间点为X′，根据投影模型x＝KX,x′＝KX′，有：

X′＝K^-1HKX (4)

棋盘格中任意一角点在转动时，记对应的空间位置为X、X′，满足

X′＝RX+T (5)

其中R为3×3旋转矩阵，T为3×1平移向量，在方向盘转动时，棋盘格中心位于方向盘中心，在方向盘不会发生平移运动，即T＝0，因此根据公式(4)和(5)，得到：

R＝KHK^-1 (6)

因此，利用罗德里格斯反变换公式：

可求得旋转向量r＝[r_x r_y r_z]^T，旋转转角其中sign(·)为符号函数，因此，这两个图像帧中的任意一个图像帧对应的方向盘转角为α_c＝α_k+θ。其中，α_k为该图像帧的前一个图像帧中的方向盘的转角，α_c为该图像帧的中的方向盘的转角。

可见，通过上述方法，能够得到两个时序相邻的图像帧中的方向盘的相对转角θ，因此，在已知这两个图像帧的任意一个图像帧中的方向盘的转角的情况下，能够得到另外一个图像帧中的方向盘的转角。

因此，按照时序从前到后的顺序，排列获取的图像帧，得到图像帧序列，在已知图像帧序列中的第一个图像帧中的方向盘转角的情况下，能够获得后续每一个图像帧中的方向盘的转角。

具体的实现方式为：在方向盘曝光后，将从采集到的图像帧中第一次识别出棋盘格的时刻，作为初始时刻，并将第一次识别出棋盘格的图像帧作为初始图像帧，并将该帧作为关键帧，计算第二图像帧相对于关键帧(作为第一图像帧)的旋转角度θ，当两个图像帧中方向盘的旋转转角|θ|大于90°时，更新关键帧，即F_k←F_c，α_k←α_c。

需要说明的是，在初始图像帧中的方向盘转角为0的情况下，能够得到后续每个图像帧中的方向盘的绝对转角。因此，在摄像头开始采集图像时，保证方向盘回正，即能够得到后续方向盘的绝对转角。

当检测标志物失败时，无法计算得出方向盘转角，利用前一时刻方向盘状态的转角表示当前状态下方向盘的转角，使测量转角连续。

S305：输出方向盘转角信息。

其中当方向盘顺时针旋转时(向右旋转)，得到的转角α_c>0，逆时针旋转时(向左旋转)，α_c<0。

图4为本申请实施例公开的又一种方向盘转角测量方法，包括以下步骤：

S401：获取摄像头采集的图像帧。

S402：对图像帧进行预处理。

具体的，预处理包括以下至少一种方式：

1、在图像帧中选择目标区域。目标区域中包括颜色块。

2、将对图像帧进行格式转换。例如，将图像帧从RGB图像转换为HSV图像。

S403：从各个预处理后的图像帧中提取出颜色块。

此步骤中，预处理后的图像帧为HSV空间的包括颜色块的目标区域，具体的，可以利用颜色滤波的方式，提取出颜色块。例如，对于HSV空间的图像帧，提取的颜色块为：

ROI＝(H_45:77∩S_70:255∩V_50:255)∪(H_45:77∩S_0:50∩V_220:255)，I_a:b,I＝{H,S,V}表示在该通道上值在(a,b)之间的区域。

S404：采集各个提取出的颜色块的轮廓。

可以利用OpenCV库自带的detectcontours()函数提取颜色块的轮廓点集P_set。

S405：依据各个图像帧中的颜色块的轮廓，获得方向盘转角信息。

具体的，图像帧序列中的任意一个图像帧中的方向盘的转角为：

其中，α_c′为该图像帧的前一个图像帧中的方向盘的转角，α_c∈Θ,Θ＝{θ-α₀-720,θ-α₀-360,θ-α₀,θ-α₀+360,θ-α₀+720}，p_c＝(x_c,y_c)为该图像帧中的方向盘中心点，p_d＝(x_d,y_d)为该图像帧中的颜色块的轮廓点的中心点，且满足：

上述转角公式的推导过程为：

提取初始图像帧中的颜色块轮廓(以下简称为第一轮廓)的最右侧顶点(方向盘中心点)p_c＝(x_c,y_c)作为原点，计算第一轮廓中的各个轮廓点的中心p_d＝(x_d,y_d)为：

点p_c和p_d所在直线与水平方向的夹角为：

因此，记α₀＝θ，初始状态方向盘的转角α_c＝θ-α₀＝0，则在方向盘转动时，原点p_c与方向盘中心重合，故该点不变化，根据公式(9)计算当前时刻的转角θ，则当前方向盘的转角满足：

α_c∈Θ,Θ＝{θ-α₀-720,θ-α₀-360,θ-α₀,θ-α₀+360,θ-α₀+720} (10)

记上一时刻计算的转角为α_c′，则当前时刻的转角为：

可见，按照时序从前到后的顺序，排列获取的图像帧，得到图像帧序列，在已知图像帧序列中的第一个图像帧中的方向盘转角的情况下，能够获得后续每一个图像帧中的方向盘的转角。

具体的实现方式为：在方向盘曝光后，将从采集到的图像帧中第一次识别出颜色块的时刻，作为初始时刻，并将第一次识别出颜色块的图像帧作为初始图像帧，依次将图像帧序列中的两个相邻图像帧作为关键帧，计算方向盘转角，并对历史转角进行更新：α_c′←α_c，增加了转角检测量程。

需要说明的是，在初始图像帧中的方向盘转角为0的情况下，能够得到后续每个图像帧中的方向盘的绝对转角。因此，在摄像头开始采集图像时，保证方向盘回正，即能够得到后续方向盘的绝对转角。

当检测标志物失败时，无法计算得出方向盘转角，利用前一时刻方向盘状态的转角表示当前状态下方向盘的转角，使测量转角连续。

S406：输出方向盘转角信息。

其中当方向盘顺时针旋转时(向右旋转)，得到的转角α_c>0，逆时针旋转时(向左旋转)，α_c<0。

综上所述，处理器可以依据图像帧中的标记物的特征，确定方向盘的转角，与机械方式相比，无需安装各种传感器，因此，避免了降低车辆的安全性。

并且，从图3和图4可看出，本申请实施例提供的方向盘转角测量方法，计算简单、易于实现，可移植性好。

经试验证明，测量的方向盘转角范围为[-800,800]，所以，能够满足大范围转角的测量的需求。

综合图3和图4所示的方法，本申请实施例公开的方向盘转角测量方法可以概括为图5所示的流程，包括以下步骤：

S501：获取图像帧。

获取的图像帧中包括方向盘的图像和设置在方向盘上的标记物的图像，如前所述，标记物可以为棋盘格或者颜色块。

图像帧至少包括第一图像帧和第二图像帧，第一图像帧的采集时序在第二图像帧的采集时序之前。

S502：提取图像帧中的标记物的特征。

如前所述，棋盘格的特征为至少四个角点，颜色块的特征为颜色块的轮廓。

S503：依据标记物的特征，由第一图像帧中方向盘的转角，计算第二图像帧中的方向盘的转角。

具体的计算方式如前所述，这里不再赘述。

本申请实施例公开的方向盘转角测量方法，是一种基于视觉的测量方法，与机械方法相比，无需设置传感器，因此不会因为安装传感器而降低车辆的安全性，且只需预先在方向盘上设置标记物，因此，易于实现，进一步的，计算方式简单，扩展性好且成本低。

图6为本申请实施例公开的一种方向盘转角测量装置，包括：获取模块、提取模块和计算模块。

其中，获取模块用于获取图像帧，图像帧中包括方向盘的图像和设置在所述方向盘上的标记物的图像。图像帧至少包括第一图像帧和第二图像帧，第一图像帧的采集时序在第二图像帧的采集时序之前。

提取模块用于提取图像帧中的标记物的特征。计算模块用于依据标记物的特征，由第一图像帧中方向盘的转角，计算第二图像帧中的方向盘的转角。

图6所示的装置基于视觉测量方向盘的转角，具有较高的安全性、可实施性和扩展性。

本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种方向盘转角测量方法，其特征在于，包括：

获取图像帧，所述图像帧中包括方向盘的图像和设置在所述方向盘上的标记物的图像；所述图像帧至少包括第一图像帧和第二图像帧，所述第一图像帧的采集时序在所述第二图像帧的采集时序之前；

提取所述图像帧中的所述标记物的特征；

依据所述标记物的特征，由所述第一图像帧中方向盘的转角，计算所述第二图像帧中的方向盘的转角。

2.根据权利要求1所述的方法，其特征在于，所述标记物包括：

棋盘格；

所述提取所述图像帧中的所述标记物的特征包括：

提取所述图像帧中的所述棋盘格的角点。

3.根据权利要求2所述的方法，其特征在于，所述依据所述标记物的特征，由所述第一图像帧中方向盘的转角，计算所述第二图像帧中的方向盘的转角包括：

依据第一角点与第二角点，计算第一角点与第二角点之间的旋转向量，所述第一角点为所述第一图像帧中的所述棋盘格的角点，所述第二角点为所述第二图像帧中的所述棋盘格的角点；

依据所述旋转向量，计算所述第二图像帧中的所述方向盘相对于所述第一图像帧中的所述方向盘的旋转角度；

依据所述旋转角度和所述第一图像帧中的所述方向盘的转角，确定所述第二图像帧中的所述方向盘的转角。

4.根据权利要求2所述的方法，其特征在于，从任意一个图像帧中提取的所述角点的数量至少为4个，且任意3个角点不共线。

5.根据权利要求1-4任一项所述的方法，其特征在于，在所述提取所述图像帧中的所述标记物的特征之前，还包括：

从所述图像帧中提取目标区域，所述目标区域中包括所述棋盘格，所述目标区域作为所述图像帧；

和，将所述图像帧转换为预设格式。

6.根据权利要求1所述的方法，其特征在于，所述标记物包括：

颜色块；

所述提取所述图像帧中的所述标记物的特征包括：

提取所述图像帧中的所述颜色块的轮廓。

7.根据权利要求6所述的方法，其特征在于，所述依据所述标记物的特征，由所述第一图像帧中方向盘的转角，计算所述第二图像帧中的方向盘的转角包括：

计算所述第二图像帧中的颜色块的轮廓中心坐标，所述轮廓中心坐标为的组成所述轮廓的像素点的中心点的坐标；

计算所述第二图像帧中的所述方向盘的中心点坐标；

依据所述轮廓中心坐标和所述方向盘的中心点坐标，计算第一角度；

依据所述第一角度和所述第一图像帧中方向盘的转角，计算所述第二图像帧中的方向盘的转角。

8.根据权利要求1、6或7所述的方法，其特征在于，在所述提取所述图像帧中的所述标记物的特征之前，还包括：

从所述图像帧中提取目标区域，所述目标区域中包括所述颜色块，所述目标区域作为所述图像帧；

和，将所述图像帧转换到预设的颜色空间。

9.一种方向盘转角测量系统，其特征在于，包括：

标记物、摄像头和处理器；

所述标记物设置于方向盘的上表面；

所述用于采集包括所述方向盘和所述标记物的图像帧；

所述处理器用于实现权利要求1-8任一项所述的方法。

10.根据权利要求9所述的系统，其特征在于，所述标记物包括：

棋盘格或颜色块。

11.一种方向盘转角测量装置，其特征在于，包括：

获取模块，用于获取图像帧，所述图像帧中包括方向盘的图像和设置在所述方向盘上的标记物的图像；所述图像帧至少包括第一图像帧和第二图像帧，所述第一图像帧的采集时序在所述第二图像帧的采集时序之前；

提取模块，用于提取所述图像帧中的所述标记物的特征；

计算模块，用于依据所述标记物的特征，由所述第一图像帧中方向盘的转角，计算所述第二图像帧中的方向盘的转角。