CN108664043A - 基于双目视觉的驾驶员特征点测量装置及其控制方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的驾驶员人体特征点测量装置，能够实时检测汽车的运行情况和驾驶员的特点，同时也能通过调节电机输出轴长度及摄像头的转动角度来改变摄像机相对于驾驶员的位置关系。本发明还提出了一种基于双目视觉的驾驶员人体特征点测量的控制方法，能够基于BP神经网络对两个摄像头的位置及电机输出轴的长度进行调控，以提高测量精度和准确度。

Description

基于双目视觉的驾驶员特征点测量装置及其控制方法

技术领域

本发明涉及的是一种驾驶员人体特征点三维坐标的非接触测量领域，尤其涉及基于双目视觉的驾驶员特征点测量装置及其控制方法。

背景技术

良好的汽车驾驶室内部设计对于驾驶员的舒适性和安全性具有重要意义，而驾驶员人体特征点的位置坐标是驾驶室内部设计的关键。现有的三维测量方法有三种：破坏式、接触式和非接触式三大类。对于人体特征点的测量只能使用接触式和非接触式测量，其中接触式测量最常用的方法是利用20 世纪60年代兴起的三坐标测量机，三坐标测量机测量精度很高，但是用于人体特征点的测量可能会对人体皮肤造成损害，而且人体皮肤具有一定的弹性，接触测量也会造成测量结果不准确。因此本发明采用非接触测量。随着双目视觉技术的不断发展，基于双目视觉的测量技术已经成为了非常精确、效率非常高的非接触测量手段。

双目视觉测量是根据三角测量原理，通过两个不同位置的摄像机拍摄视频，对每一帧图像中的特征点进行亚像素级定位，结合摄像机的内部参数和外部参数求取空间点的位置信息，把每一帧图像特征点的位置信息连接起来就可以对特征点进行跟踪。双目视觉的测量技术近年来发展比较快。相比于破坏式和接触式测量它对测量的物体没有损伤，现在双目视觉测量技术发展的越来越成熟，并且在汽车驾驶室设计领域的研究也越来越多。然而传统的车载双目视觉系统的安装，标定阶段将摄像头的参数设置完后就不再改变。然而实际的操作中，车辆在行驶过程中，会有振动、颠簸、加速超车、车体大幅度晃动等现象，而这些过程会导致摄像头的位置发生改变，如果不及时加以调整，则会影响到摄像头摄取的图像，从而影响后续的计算分析过程和结果

发明内容

本发明为解决目前的技术不足之处，提供了一种基于双目视觉的驾驶员人体特征点测量装置的控制方法，能够根据具体的车况和驾驶员的人体特点来对摄像头的位置进行调整，以提高测量精度和准确度。

本发明的另一目的是提供一种基于双目视觉的驾驶员人体特征点测量装置，能够实时检测汽车的运行情况和驾驶员的特点，改变摄像机相对于驾驶员的位置关系。

本发明提供的技术方案为一种基于双目视觉的驾驶员特征点测量装置，包括：

电机，其固定安装在汽车前挡风玻璃内部顶端的左侧；

Y型支架，其一端与所述电机的输出轴相连，在另一端设置有两个相交的连接杆；

两摄像机，其分别与所述连接杆的顶端相连；

红外传感器，其设置在所述连接杆的交叉点上，用于检测所述摄像机的摄像头和驾驶员的位置；

速度传感器，其设置在车轮传动轴上，用于测量车辆行驶速度；

振动传感器，其设置在车辆各轮毂上，用于检测车辆行驶时的振幅和振动频率；

控制系统，其连接所述摄像头机、所述红外传感器、所述速度传感器、所述振动传感器、所述摄像机和所述电机，控制所述摄像机的摄像头的转动和所述电机输出轴的输出长度。

优选的是，所述摄像机的摄像头可以在水平及竖直方向180度的旋转。

优选的是，所述连接杆的夹角可以调节。

一种基于双目视觉的驾驶员特征点测量装置的控制方法，当车辆在行驶时，基于BP神经网络对两个摄像头的位置及电机输出轴的长度进行调控，包括如下步骤：

步骤一、按照采样周期，通过传感器采集两摄像头光心距离s_a，摄像头的焦距f，车辆行驶的振幅A、振动频率H以及车速V、连接杆交叉点与驾驶员的距离s_b；

步骤二、依次将步骤一中获取的参数进行规格化，确定三层BP神经网络的输入层向量x＝{x₁,x₂,x₃,x₄,x₅,x₆}；其中x₁为两摄像头光心距离系数，x₂为摄像头焦距系数，x₃为车辆行驶的振幅系数，x₄为振动频率系数，x₅为车速系数，x₆为连接杆交叉点与驾驶员的距离系数；

步骤三、所述输入层向量映射到中间层，所述中间层向量y＝{y₁,y₂,…,y_m}； m为中间层节点个数；

步骤四、得到输出层向量o＝{o₁,o₂,o₃}；o₁为摄像头水平方向转角调节系数、o₂为摄像头竖直方向转角调节系数，o₃为电机输出轴的长度调节系数，使

其中，分别为第i次采样周期输出层向量的三个参数，α_max为摄像头水平方向最大转角，β_max为摄像头竖直方向最大转角，L_max为电机输出轴的最大长度，α_i+1为第i+1个采样周期时摄像头水平方向转角，β_i+1第i+1 个采样周期时摄像头竖直方向转角，L_i+1为第i+1个采样周期时电机输出轴的长度。

优选的是，所述中间层节点个数m满足：其中n为输入层节点个数，q为输出层节点个数。

优选的是，初始状态时摄像头的水平和竖直方向的转角α₁和β₁及电机输出轴的长度L₁满足：

α₁＝0.2α_max

β₁＝0.2β_max

L₁＝0.8L_max。

优选的是，红外传感器探测连接杆交叉点距离驾驶员不同测量点的距离分别为根据测量点的位置赋予该距离权值通过下式计算连接杆交叉点与驾驶员的距离s_b：

优选的是，两摄像头的焦距f满足：

其中，s_{a_max}为两摄像头的最大光心距离，s_{a_min}为两摄像头的最小光心距离。

优选的是，在所述步骤二中，将两摄像机的光心距离s_a，摄像头的焦距f，车辆行驶的振幅A、振动频率H以及车速V、连接杆交叉点与驾驶员的距离 s_b进行规格化的公式为：

其中，x_j为输入层向量中的参数，X_j分别代表测量参数s_a、f、A、H、 V、s_b，X_jmax和X_jmin分别为相应测量参数中的最大值和最小值。

优选的是，两摄像头的最大光心距离s_{a_max}为15cm，最小光心距离s_{a_min}为5cm。

本发明所述的有益效果：1)提供了一种基于双目视觉驾驶员特征点测量的装载，该装置并非固定，其可以根据不同的车、车况等因素调整其位置关系；2)本发明可以根据具体的车况和驾驶人情况来调节摄像机的位置，同时不改变两摄像机的相对位置关系，避免了摄像机的重新标定；3)实时监测车况、更准确地进行驾驶员特征点的测量。

附图说明

图1为本发明的所述的基于双目视觉驾驶员特征点测量控制方法流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

本发明提供了一种基于双目视觉的驾驶员特征点测量装置，其安装在汽车内部。一般摄像机标定完以后，两个摄像机的相互位置关系和摄像机的焦距就不能发生改变，但是由于驾驶员的身高、驾驶座椅的位置都可能发生变化，再加上汽车行驶中会有振动情况等车况发生，固定的摄像机和焦距就没法精准地拍摄不同情况下的驾驶员人体特征点。而本发明的装置可以根据具体的车况和驾驶员情况来控制摄像机相对于驾驶员的位置关系，而不改变两摄像机的相对位置关系，无须重新标定。

本发明的装置包括：电机，其固定安装在汽车前挡风玻璃内部顶端的左侧，以便更好地拍摄驾驶员人体特征点。Y型支架，其一端与所述电机的输出轴相连，在另一端设置有两个相交的连接杆；输出轴和支架通过固定螺栓固定，且连接杆的夹角可以调节并固定。两摄像机，其分别固定在连接杆另一顶端；红外传感器，其设置在所述连接杆的交叉点上，用于检测两摄像机的摄像头和驾驶员的位置；速度传感器，其设置在车轮传动轴上，用于测量车辆行驶速度；振动传感器，其设置在车辆各轮毂上，用于检测车辆行驶时的振幅和振动频率；控制系统，其连接两摄像机、红外传感器、速度传感器、振动传感器、摄像机和电机，控制摄像机的摄像头的转动和电机输出轴的输出长度。摄像机的摄像头可以在水平及竖直方向180度的旋转。

其中，红外传感器用于测量连接杆交叉点与驾驶员的距离s_b，作为一种优选的，红外传感器测量驾驶员身体的多个测量点，它们测量的距离值分别为s_bi'表示第i个测量点的距离值，其单位为cm。根据每个测量点的位置不同，赋予其一定的权值，即第i个距离权值然后将所有测量值的加权平均距离定义为连接杆交叉点与驾驶员的距离s_b，单位为cm，因此，某一时刻连接杆交叉点与驾驶员的距离s_b：

权值W_Ti根据经验分析得出，并且满足：

表1列出了一组测量点的分布情况和测量值。

则根据公式可得：

s_a＝(30×1.5+25×0.5+40×1.5+55×0.5+35×1)/5＝36 则表示此时连接杆交叉点与驾驶员的距离为36cm。

如图1所示，本发明提供了基于BP神经网络的双目视觉摄像机的控制方法，步骤如下：

步骤1：建立BP神经网络模型；

本发明采用的BP网络体系结构由三层组成，第一层为输入层，共n个节点，对应了表示设备工作状态的n个检测信号，这些信号参数由数据预处理模块给出。第二层为隐层，共m个节点，由网络的训练过程以自适应的方式确定。第三层为输出层，共q个节点，由系统实际需要输出的响应确定。

该网络的数学模型为：

输入层向量：x＝(x₁,x₂,…,x_n)^T

中间层向量：y＝(y₁,y₂,…,y_m)^T

输出层向量：o＝(o₁,o₂,…,o_q)^T

本发明中，输入层节点数为n＝6，输出层节点数为q＝3。隐藏层节点数m 由下式估算得出：

按照采样周期，输入的6个参数为：两摄像头光心距离s_a，摄像头的焦距f，车辆行驶的振幅A、振动频率H以及车速V、连接杆交叉点与驾驶员的距离s_b。

由于传感器获取的数据属于不同的物理量，其量纲各不相同。因此，在数据输入神经网络之前，需要将数据规格化为0-1之间的数。

具体而言，对于两摄像头光心距离s_a，进行规格化后，得到两摄像头光心距离系数x₁：

其中，s_{a_max}和s_{a_min}分别为两摄像头光心距离的最大值与最小值。在本发明中，两摄像头光心距离的最大值s_{a_max}为15cm，最小值s_{a_min}为5cm。

对于摄像头的焦距f，进行规格化后，得到摄像头的焦距系数x₂：

其中，f_max和f_min分别为摄像头的焦距最大值与最小值。

对于车辆行驶的振幅A，进行规格化后，得到车辆行驶的振幅系数x₃：

其中，A_max和A_min分别为车辆行驶的振幅最大值和最小值。

对于振动频率H，进行规格化后，得到振动频率系数x₄：

其中，H_max和H_min分别为振动频率的最大值和最小值。

对于车速V，进行规格化后，得到车速系数x₅：

其中，V_max和V_min分别为最大车速和最小车速。

对于连接杆交叉点与驾驶员的距离s_b，进行规格化后，得到连接杆交叉点与驾驶员的距离系数x₆：

其中，s_{b_max}和s_{b_min}分别为连接杆交叉点距离驾驶员的最大距离和最小距离。

输出信号的3个参数分别表示为：o₁为摄像头水平方向转角调节系数、o₂为摄像头竖直方向转角调节系数，o₃为电机输出轴的长度调节系数。

摄像头水平方向转角调节系数o₁表示为下一个采样周期中摄像头水平方向转角与摄像头水平方向最大转角之比，即在第i个采样周期中，采集到的摄像头的水平方向转角为α_i，通过BP神经网络输出第i个采样周期的摄像头水平方向转角调节系数o₁ ⁱ后，控制第i+1个采样周期中摄像头水平方向转角为α_i+1，使其满足

其中，α_max为摄像头水平方向最大转角。

摄像头竖直方向转角调节系数o₂表示为下一个采样周期中摄像头竖直方向转角与摄像头竖直方向最大转角之比，即在第i个采样周期中，采集到的摄像头的竖直方向转角为β_i，通过BP神经网络输出第i个采样周期的摄像头竖直方向转角调节系数后，控制第i+1个采样周期中摄像头竖直方向转角为β_i+1，使其满足

其中，β_max为摄像头竖直方向最大转角。

电机输出轴的长度调节系数o₃表示为下一个采样周期中电机输出轴的长度与电机输出轴的最大长度之比，即在第i个采样周期中，采集到的电机输出轴的长度L_i，通过BP神经网络输出第i个采样周期的电机输出轴的长度调节系数后，控制第i+1个采样周期中电机输出轴的长度为L_i+1，使其满足

其中，L_max为电机输出轴的最大长度。

步骤二、进行BP神经网络的训练。

建立好BP神经网络节点模型后，即可进行BP神经网络的训练。根据产品的历史经验数据获取训练的样本，并给定输入节点i和隐含层节点j之间的连接权值w_ij，隐层节点j和输出层节点k之间的连接权值w_jk，隐层节点j的阈值θ_j，输出层节点k的阈值θ_k、w_ij、w_jk、θ_j、θ_k均为-1到1之间的随机数。

在训练过程中，不断修正w_ij和w_jk的值，直至系统误差小于等于期望误差时，完成神经网络的训练过程。

如表2所示，给定了一组训练样本以及训练过程中各节点的值。

表2训练过程各节点值

步骤三、采集输入参数，得到输出参数，并对摄像机的摄像头以及电机的输出轴进行控制。

步骤三的具体包括如下分步骤：

S1：按照采样周期，获取第i个采样周期时两摄像头光心距离s_a，摄像头的焦距f，车辆行驶的振幅A、振动频率H以及车速V、连接杆交叉点与驾驶员的距离s_b；其中，i＝1,2,……。

S2：依次将上述6个参数进行规格化，得到第i个采样周期时三层BP神经网络的输入层向量x＝{x₁,x₂,x₃,x₄,x₅,x₆}。

S3：所述输入层向量映射到中间层，得到第i个采样周期时中间层向量 y＝{y₁,y₂,y₃,y₄,y₅}。

S4：所述中间层向输出层映射，得到第i个采样周期时得到输出层向量 o＝{o₁,o₂,o₃}。

S5：对摄像机的摄像头水平方向转角及竖直方向转角，以及电机输出轴长度进行控制，使下一个周期即第i+1个采样周期时摄像头水平方向转角、竖直方向转角以及电机输出轴的长度满足：

初始值为

α₁＝0.2α_max

β₁＝0.2β_max

L₁＝0.8L_max

其中，其中，分别为第i次采样周期输出层向量的三个参数，α_max为摄像机水平方向最大转角，β_max为摄像机竖直方向最大转角，L_max为电机输出轴的最大长度，α_i+1为第i+1个采样周期时摄像头水平方向转角，β_i+1第i+1个采样周期时摄像头竖直方向转角，L_i+1为第i+1个采样周期时电机输出轴的长度。

通过上述设置，通过获取输入参数，通过采用BP神经网络算法，对摄像机的摄像头水平方向转角及竖直方向转角，以及电机输出轴长度进行控制，使拍摄效果最佳。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (10)

1.一种基于双目视觉的驾驶员特征点测量装置，其特征在于，包括：

电机，其固定安装在汽车前挡风玻璃内部顶端的左侧；

Y型支架，其一端与所述电机的输出轴相连，在另一端设置有两个相交的连接杆；

两摄像机，其分别与所述连接杆的顶端相连；

红外传感器，其设置在所述连接杆的交叉点上，用于检测所述摄像机的摄像头和驾驶员的位置；

速度传感器，其设置在车轮传动轴上，用于测量车辆行驶速度；

振动传感器，其设置在车辆各轮毂上，用于检测车辆行驶时的振幅和振动频率；

控制系统，其连接所述摄像头机、所述红外传感器、所述速度传感器、所述振动传感器、所述摄像机和所述电机，控制所述摄像机的摄像头的转动和所述电机输出轴的输出长度。

2.根据权利要求1所述的基于双目视觉的驾驶员特征点测量装置，其特征在于，所述摄像机的摄像头可以在水平及竖直方向180度的旋转。

3.根据权利要求1所述的基于双目视觉的驾驶员特征点测量装置，其特征在于，所述连接杆的夹角可以调节。

4.一种基于双目视觉的驾驶员特征点测量装置的控制方法，其特征在于，当车辆在行驶时，基于BP神经网络对两个摄像头的位置及电机输出轴的长度进行调控，包括如下步骤：

步骤一、按照采样周期，通过传感器采集两摄像头光心距离s_a，摄像头的焦距f，车辆行驶的振幅A、振动频率H以及车速V、连接杆交叉点与驾驶员的距离s_b；

步骤二、依次将步骤一中获取的参数进行规格化，确定三层BP神经网络的输入层向量x＝{x₁,x₂,x₃,x₄,x₅,x₆}；其中x₁为两摄像头光心距离系数，x₂为摄像头焦距系数，x₃为车辆行驶的振幅系数，x₄为振动频率系数，x₅为车速系数，x₆为连接杆交叉点与驾驶员的距离系数；

步骤三、所述输入层向量映射到中间层，所述中间层向量y＝{y₁,y₂,…,y_m}；m为中间层节点个数；

步骤四、得到输出层向量o＝{o₁,o₂,o₃}；o₁为摄像头水平方向转角调节系数、o₂为摄像头竖直方向转角调节系数，o₃为电机输出轴的长度调节系数，使

其中，分别为第i次采样周期输出层向量的三个参数，α_max为摄像头水平方向最大转角，β_max为摄像头竖直方向最大转角，L_max为电机输出轴的最大长度，α_i+1为第i+1个采样周期时摄像头水平方向转角，β_i+1第i+1个采样周期时摄像头竖直方向转角，L_i+1为第i+1个采样周期时电机输出轴的长度。

5.根据权利要求4所述的基于双目视觉的驾驶员特征点测量装置的控制方法，其特征在于，所述中间层节点个数m满足：其中n为输入层节点个数，q为输出层节点个数。

6.根据权利要求4所述的基于双目视觉的驾驶员特征点测量装置的控制方法，其特征在于，初始状态时摄像头的水平和竖直方向的转角α₁和β₁及电机输出轴的长度L₁满足：

α₁＝0.2α_max

β₁＝0.2β_max

L₁＝0.8L_max。

7.根据权利要求4所述的基于双目视觉的驾驶员特征点测量装置的控制方法，其特征在于，红外传感器探测连接杆交叉点距离驾驶员不同测量点的距离分别为根据测量点的位置赋予该距离权值通过下式计算连接杆交叉点与驾驶员的距离s_b：

8.根据权利要求4所述的基于双目视觉的驾驶员特征点测量装置的控制方法，其特征在于，两摄像头的焦距f满足：

其中，s_{a_max}为两摄像头的最大光心距离，s_{a_min}为两摄像头的最小光心距离。

9.根据权利要求4所述的基于双目视觉的驾驶员特征点测量装置的控制方法，其特征在于，在所述步骤二中，将两摄像机的光心距离s_a，摄像头的焦距f，车辆行驶的振幅A、振动频率H以及车速V、连接杆交叉点与驾驶员的距离s_b进行规格化的公式为：

其中，x_j为输入层向量中的参数，X_j分别代表测量参数s_a、f、A、H、V、s_b，X_jmax和X_jmin分别为相应测量参数中的最大值和最小值。

10.根据权利要求8所述的基于双目视觉的驾驶员特征点测量装置的控制方法，其特征在于，两摄像头的最大光心距离s_{a_max}为15cm，最小光心距离s_{a_min}为5cm。