CN114567726A - 一种类人眼自适应消抖前视摄像头 - Google Patents

Abstract

本发明公开了一种类人眼自适应消抖前视摄像头，涉及智能汽车领域，针对容易受到极端恶劣天气的影响，特征难以识别；摄像头参数或拍摄角度多变，车辆在图像中的尺寸和位置也会发生较大变化；实际道路行驶过程中，受到摄像头视角限制，无法对全部车辆进行识别等问题，现提出如下方案，包括前置摄像头和用于控制前置摄像头的控制方法，所述控制方法包括以下步骤：S1、利用马尔可夫算法预测下一时刻车轮转角信息，确定模糊控制算法的输入变量和输出变量。本发明提出一种类人眼自适应消抖前视摄像头，能够实现车辆在转弯或者换道过程中获得车辆正前方视野，可以防止车辆在颠簸路面视野受阻，实现摄像头视角的增大，不受天气影响。

Description

一种类人眼自适应消抖前视摄像头

技术领域

本发明涉及智能汽车领域，尤其涉及一种类人眼自适应消抖前视摄像头。

背景技术

近年来，汽车辅助驾驶安全系统成为广大学者和科研人员研究的热点问题，汽车辅助安全系统中各种功能的实现主要通过汽车上安装的多种传感器。通过将收集到的相关数据进行系统的运算和分析后，辅助驾驶员进行操作决策。汽车辅助驾驶安全系统中常用的传感器有激光雷达、毫米波雷达、超声波雷达、惯导和摄像头等而摄像头相对于其他传感器而言，具有更好的可视性，能够获取更丰富的信息，且价格相对低廉，便于广泛应用。汽车辅助驾驶安全系统中借助计算机视觉技术能够及时感知交通环境，为驾驶员提供交通场景的驾驶预警信息，对于极大程度上减少交通事故的发生，有着举足轻重的作用。

虽然计算机视觉技术在智能交通领域已取得比较广泛的应用，但是在一些对检测精度、准确度、检测速度有高度要求的领域，计算机视觉的应用还受到一定的限制。这些挑战主要来自以下方面：

1)、容易受到极端恶劣天气的影响，特征难以识别；

2)、摄像头参数或拍摄角度多变，车辆在图像中的尺寸和位置也会发生较大变化；

3)、实际道路行驶过程中，受到摄像头视角限制，无法对全部车辆进行识别。

发明内容

(一)发明目的

为解决背景技术中存在的技术问题，本发明提出一种类人眼自适应消抖前视摄像头，能够实现车辆在转弯或者换道过程中获得车辆正前方视野，可以防止车辆在颠簸路面视野受阻，实现摄像头视角的增大，不受天气影响。

(二)技术方案

本发明提供了一种类人眼自适应消抖前视摄像头，包括前置摄像头和用于控制前置摄像头的控制方法，所述控制方法包括以下步骤：

S1、利用马尔可夫算法预测下一时刻车轮转角信息，确定模糊控制算法的输入变量和输出变量，并对对输入变量和输出变量进行模糊化处理；

S2、确定输入变量和输出变量的论域，定义有限整数的离散论域；

S3、确定输入变量和输出变量的语言取值，建立对应的隶属度函数；

S4、确定输入变量和输出变量的模糊推理规则；

S5、建立模糊查询表；

S6、根据输入变量和输出变量，进行模糊推理；

S7、反模糊化，总结模糊查询表；

S8、利用卡尔曼滤波进行垂直方向的防抖调整。

作为本发明的进一步优化：步骤S1中，所述输入变量为车辆速度和前轮转角，所述输出变量为摄像头横摆角。

作为本发明的进一步优化：步骤S1中，所述马尔可夫算法的配置为：

P(X_n+1＝x_n+1|X₁＝x₁,X₂＝x₂,···,X_n＝x_n)

＝P(X_n+1＝x_n+1|X_n＝x_n)

其中的随机变量可以叫做马尔科夫链的状态；而从当前状态转移到下一状态X_n+1的转移概率p_ij＝P(X_n+1＝j|X_n＝i)；首先利用先前采集到的有关车轮转角信息，离线生成概率转移矩阵，基于当前车轮转角转移到下一时刻车轮转角的概率矩阵图；在汽车行驶的过程中，利用先前生成的车轮转角概率转移矩阵，根据当前车轮转角预测出下一刻时刻车轮转角信息，将信息输入到模糊控制算法中。

作为本发明的进一步优化：步骤S2中，所述离散论域包括两个输入值，两个所述输入值分别为误差值e和误差变化率ec，所述离散论域还包括控制量u，所述误差值e的论域定义为{-m，-m+1，···，-1,0,1，···，m-1，m}，所述误差变化率ec的定义为{-n，-n+1，···，-1,0,1，···，n-1，n}，所述控制量u的定义为{-i，-i+1，···，-1,0,1，···，i-1，i}。

作为本发明的进一步优化：步骤S3中，所述隶属度函数配置为：

Vo对A的隶属频率＝Vo∈A的次数/试验总次数n

其中，随着n的增大,隶属频率也会趋向稳定,这个稳定值就是Vo对A的隶属度值。

作为本发明的进一步优化：步骤S4中，所述模糊推理规则包括近似推理、模糊条件推理、多输入模糊推理以及多输入多规则推理。

作为本发明的进一步优化：步骤S4中，所述模糊推理规则为：根据输入变量和输出变量的逻辑关系，建立如“输入1”为“名称1”和“输入2”为“名称3”时，输出为“输出1”的“状态2”的控制规则。

作为本发明的进一步优化：步骤S7中，所述去模糊化包括最大隶属度法、重心法以及加权平均法，所述最大隶属度法为选取推理结果模糊集合中隶属度最大的元素作为输出值，即：

V₀＝maxμ_v(v)，v∈V

如果在输出论阈V中，其最大隶属度对应的输出值多于一个，则取所有具有最大隶属度输出的平均值，即：

其中，N为具有相同最大隶属度输出的总数；

所述重心法为取隶属度函数曲线与横坐标围成面积的重心，作为模糊推理的最终输出值，即：

对于具有m个输出量化级数的离散阈情况：

所述加权平均法的输出值为：

其中系数k_i的选择根据实际情况而定。

作为本发明的进一步优化：步骤S8中，所述卡尔曼滤波为线性系统状态方程，配置为：

其中：

和

分别表示(k－1)时刻和k时刻的后验状态估计值；

是k时刻的先验状态估计值；

P_k和P_k-1分别表示(k－1)时刻和k时刻的后验估计协方差；

是k时刻的先验估计协方差；

H是状态变量到测量的转换矩阵；

Z_k测量值是滤波的输入；

K_k是滤波增益矩阵；

A是状态转移矩阵；

Q是过程激励噪声协方差；

R是测量噪声协方差；

B是将输入转换为状态的矩阵；

表示实际观测和预测观测的残差。

与现有技术相比，本发明的上述技术方案具有如下有益的技术效果：

本发明提出一种可随动的多自由度结构的新型摄像头结构，可实现在车辆行驶过程中摄像头具有垂向(车辆坐标系下z轴方向)和横摆方向自由度调节(车辆坐标系下绕z轴方向)的功能，提高摄像头的随动性，间接性增大视角的能力。根据车速和车轮转角提出一种基于马尔可夫与模糊控制相结合的混合智能控制算法确定摄像头横摆角，采用卡尔曼滤波实现垂直方向的调整，实现增加摄像头的FOV效果，实现双轴协调控制的策略。

本发明通过针对不同车速和前轮转角，通过模糊控制算法获得相应最佳摄像头横摆角，可实现车辆在转弯或者换道过程中获得车辆正前方视野，可以防止车辆在颠簸路面视野受阻，实现摄像头视角的增大。

附图说明

图1为整体框架结构示意图；

图2为车速隶属度函数结构示意图；

图3为前轮转角隶属度函数结构示意图；

图4为摄像头横摆角隶属度函数结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

通过图1-4所示，本发明提出的一种类人眼自适应消抖前视摄像头，包括前置摄像头和用于控制前置摄像头的控制方法，控制方法包括以下步骤：

S1、利用马尔可夫算法预测下一时刻车轮转角信息，确定模糊控制算法的输入变量和输出变量，并对对输入变量和输出变量进行模糊化处理；

S2、确定输入变量和输出变量的论域，定义有限整数的离散论域；

S3、确定输入变量和输出变量的语言取值，建立对应的隶属度函数；

S4、确定输入变量和输出变量的模糊推理规则；

S5、建立模糊查询表；

S6、根据输入变量和输出变量，进行模糊推理；

S7、反模糊化，总结模糊查询表；

S8、利用卡尔曼滤波进行垂直方向的防抖调整。

步骤S1中，输入变量为车辆速度和前轮转角，输出变量为摄像头横摆角。

步骤S1中，马尔可夫算法的配置为：

P(X_n+1＝x_n+1|X₁＝x₁,X₂＝x₂,···,X_n＝x_n)

＝P(X_n+1＝x_n+1|X_n＝x_n)

其中的随机变量可以叫做马尔科夫链的状态；而从当前状态转移到下一状态X_n+1的转移概率p_ij＝P(X_n+1＝j|X_n＝i)；首先利用先前采集到的有关车轮转角信息，离线生成概率转移矩阵，基于当前车轮转角转移到下一时刻车轮转角的概率矩阵图；在汽车行驶的过程中，利用先前生成的车轮转角概率转移矩阵，根据当前车轮转角预测出下一刻时刻车轮转角信息，将信息输入到模糊控制算法中。

步骤S2中，离散论域包括两个输入值，两个输入值分别为误差值e和误差变化率ec，离散论域还包括控制量u，误差值e的论域定义为{-m，-m+1，···，-1,0,1，···，m-1，m}，误差变化率ec的定义为{-n，-n+1，···，-1,0,1，···，n-1，n}，控制量u的定义为{-i，-i+1，···，-1,0,1，···，i-1，i}。

步骤S3中，隶属度函数配置为：

Vo对A的隶属频率＝Vo∈A的次数/试验总次数n

其中，随着n的增大,隶属频率也会趋向稳定,这个稳定值就是Vo对A的隶属度值。

步骤S4中，模糊推理规则包括近似推理、模糊条件推理、多输入模糊推理以及多输入多规则推理。

步骤S4中，模糊推理规则为：根据输入变量和输出变量的逻辑关系，建立如“输入1”为“名称1”和“输入2”为“名称3”时，输出为“输出1”的“状态2”的控制规则。

步骤S5中，车速区间为[0,120],单位km/h。针对这个车速区间建立8个小的速度区间，分别为Z0,P1,P2,P3,P4,P5,P6,P7。车速可以由仪表盘显示器获取，然后将信号传递至摄像头。

前轮转角区间为[-30，30]，单位为度，针对前轮转角区间建立7个小区间分别为NL,NM,NS,ZE,PS,PM,PL，设定前轮逆时针转角为负值，顺时针转角为正值。前轮转角可以由车载惯导获取，然后将信号传递给摄像头。

根据车速和前轮转角建立摄像头横摆角的模糊规则。针对前轮转角为逆时针方向对应于摄像头向左横摆一定角度，同理，前轮转角为顺时针方向对应于摄像头向右横摆一定角度。摄像头横摆角区间设定为[-5,5],单位为度。设置小区间NL,NS,ZE,PS,PL。低车速时，前轮转角的幅度很大也不会影响摄像头的FOV，所以设置摄像头横摆角很小；在高车速时，由于方向盘的“轻与灵”关系和车辆自身的操纵稳定性，出现前轮转角很大的概率非常低，因此为了保持车辆行驶过程中摄像头的视角始终朝着车身运动方向，设置高速、大的前轮转角情况下摄像头的横摆角相对小。同时高速行驶时，本车换道过程中，前轮转角也不会很大。因此根据这些信息建立如下表所示的模糊控制规则。

表1.模糊控制规则

步骤S7中，去模糊化包括最大隶属度法、重心法以及加权平均法，最大隶属度法为选取推理结果模糊集合中隶属度最大的元素作为输出值，即：

V₀＝maxμ_v(v)，v∈V

如果在输出论阈V中，其最大隶属度对应的输出值多于一个，则取所有具有最大隶属度输出的平均值，即：

其中，N为具有相同最大隶属度输出的总数；

重心法为取隶属度函数曲线与横坐标围成面积的重心，作为模糊推理的最终输出值，即：

对于具有m个输出量化级数的离散阈情况：

加权平均法的输出值为：

其中系数k_i的选择根据实际情况而定。

以车速和前轮转角作为输入，摄像头横摆角度作为输出的模糊控制算法，去模糊化方法为重心法。

步骤S8中，卡尔曼滤波为线性系统状态方程，配置为：

其中：

和

分别表示(k－1)时刻和k时刻的后验状态估计值，是滤波的结果之一，即更新后的结果，也叫最优估计(估计的状态，根据理论，我们不可能知道每时刻状态的确切结果所以叫估计)。

是k时刻的先验状态估计值，是滤波的中间计算结果，即根据上一时刻(k-1时刻)的最优估计预测的k时刻的结果，是预测方程的结果。

P_k和P_k-1分别表示(k－1)时刻和k时刻的后验估计协方差。

是k时刻的先验估计协方差；

H是状态变量到测量的转换矩阵，表示将状态和观测连接起来的关系，卡尔曼滤波里为线性关系，它负责将m维的测量值转换到n维，使之符合状态变量的数学形式，是滤波的前提条件之一。

Z_k测量值是滤波的输入。

K_k是滤波增益矩阵，是滤波的中间计算结果，卡尔曼增益，或卡尔曼系数。

A是状态转移矩阵，实际上是对目标状态转换的一种猜想模型。例如在机动目标跟踪中，状态转移矩阵常常用来对目标的运动建模，其模型可能为匀速直线运动或者匀加速运动。当状态转移矩阵不符合目标的状态转换模型时，滤波会很快发散。

Q是过程激励噪声协方差(系统过程的协方差)。该参数被用来表示状态转换矩阵与实际过程之间的误差。因为我们无法直接观测到过程信号，所以Q的取值是很难确定的。是卡尔曼滤波器用于估计离散时间过程的状态变量，也叫预测模型本身带来的噪声。状态转移协方差矩阵。

R是测量噪声协方差。滤波器实际实现时，测量噪声协方差R一般可以观测得到，是滤波器的已知条件。

B是将输入转换为状态的矩阵。

表示实际观测和预测观测的残差，和卡尔曼增益一起修正先验(预测)，得到后验。

利用上述公式信息，将汽车俯仰角作为状态量，得出下一时刻的汽车俯仰角信息。利用电机补偿机制，进行摄像头反向运动调整，达到摄像头在垂直方向的防抖效果。

摄像头横摆方向主要采用马尔可夫来进行车轮转角下一时刻的预测，根据预测出的车轮转角输入到模糊逻辑控制中，进行摄像头横摆角度的转动量。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种类人眼自适应消抖前视摄像头，包括前置摄像头和用于控制前置摄像头的控制方法，其特征在于：所述控制方法包括以下步骤：

S1、利用马尔可夫算法预测下一时刻车轮转角信息，确定模糊控制算法的输入变量和输出变量，并对对输入变量和输出变量进行模糊化处理；

S2、确定输入变量和输出变量的论域，定义有限整数的离散论域；

S3、确定输入变量和输出变量的语言取值，建立对应的隶属度函数；

S4、确定输入变量和输出变量的模糊推理规则；

S5、建立模糊查询表；

S6、根据输入变量和输出变量，进行模糊推理；

S7、反模糊化，总结模糊查询表；

S8、利用卡尔曼滤波进行垂直方向的防抖调整。

2.根据权利要求1所述的一种类人眼自适应消抖前视摄像头，其特征在于：步骤S1中，所述输入变量为车辆速度和前轮转角，所述输出变量为摄像头横摆角。

3.根据权利要求1所述的一种类人眼自适应消抖前视摄像头，其特征在于：步骤S1中，所述马尔可夫算法的配置为：

P(X_n+1＝x_n+1|X₁＝x₁,X₂＝x₂,···,X_n＝x_n)

＝P(X_n+1＝x_n+1|X_n＝x_n)

其中的随机变量可以叫做马尔科夫链的状态；而从当前状态转移到下一状态X_n+1的转移概率p_ij＝P(X_n+1＝j|X_n＝i)；首先利用先前采集到的有关车轮转角信息，离线生成概率转移矩阵，基于当前车轮转角转移到下一时刻车轮转角的概率矩阵图；在汽车行驶的过程中，利用先前生成的车轮转角概率转移矩阵，根据当前车轮转角预测出下一刻时刻车轮转角信息，将信息输入到模糊控制算法中。

4.根据权利要求1所述的一种类人眼自适应消抖前视摄像头，其特征在于：步骤S2中，所述离散论域包括两个输入值，两个所述输入值分别为误差值e和误差变化率ec，所述离散论域还包括控制量u，所述误差值e的论域定义为{-m，-m+1，···，-1,0,1，···，m-1，m}，所述误差变化率ec的定义为{-n，-n+1，···，-1,0,1，···，n-1，n}，所述控制量u的定义为{-i，-i+1，···，-1,0,1，···，i-1，i}。

5.根据权利要求1所述的一种类人眼自适应消抖前视摄像头，其特征在于：步骤S3中，所述隶属度函数配置为：

Vo对A的隶属频率＝Vo∈A的次数/试验总次数n

其中，随着n的增大,隶属频率也会趋向稳定,这个稳定值就是Vo对A的隶属度值。

6.根据权利要求1所述的一种类人眼自适应消抖前视摄像头，其特征在于：步骤S4中，所述模糊推理规则包括近似推理、模糊条件推理、多输入模糊推理以及多输入多规则推理。

7.根据权利要求1所述的一种类人眼自适应消抖前视摄像头，其特征在于：步骤S4中，所述模糊推理规则为：根据输入变量和输出变量的逻辑关系，建立如“输入1”为“名称1”和“输入2”为“名称3”时，输出为“输出1”的“状态2”的控制规则。

8.根据权利要求1所述的一种类人眼自适应消抖前视摄像头，其特征在于：步骤S7中，所述去模糊化包括最大隶属度法、重心法以及加权平均法，所述最大隶属度法为选取推理结果模糊集合中隶属度最大的元素作为输出值，即：

V₀＝maxμ_v(v)，v∈V

如果在输出论阈V中，其最大隶属度对应的输出值多于一个，则取所有具有最大隶属度输出的平均值，即：

其中，N为具有相同最大隶属度输出的总数；

所述重心法为取隶属度函数曲线与横坐标围成面积的重心，作为模糊推理的最终输出值，即：

对于具有m个输出量化级数的离散阈情况：

所述加权平均法的输出值为：

其中系数k_i的选择根据实际情况而定。

9.根据权利要求1所述的一种类人眼自适应消抖前视摄像头，其特征在于：步骤S8中，所述卡尔曼滤波为线性系统状态方程，配置为：

P_k＝AP_k-1A^T+Q

P_k＝(I-K_kH)P_k

其中：

和

分别表示(k－1)时刻和k时刻的后验状态估计值；

是k时刻的先验状态估计值；

P_k和P_k-1分别表示(k－1)时刻和k时刻的后验估计协方差；

P_k是k时刻的先验估计协方差；

H是状态变量到测量的转换矩阵；

Z_k测量值是滤波的输入；

K_k是滤波增益矩阵；

A是状态转移矩阵；

Q是过程激励噪声协方差；

R是测量噪声协方差；

B是将输入转换为状态的矩阵；

表示实际观测和预测观测的残差。

Images