CN206611521U - 一种基于多传感器的车载环境识别系统及全方位视觉模块 - Google Patents

Abstract

本实用新型公开了一种基于多传感器的车载环境识别系统，包括全方位视觉模块、IMU模块、GPS模块、雷达模块和数据融合模块，全方位视觉模块用于获取车辆周围360度范围内的环境三维信息，IMU模块用于获取车辆的加速度与角速度信息，GPS模块与IMU模块联合工作，获取车辆的位置和姿态信息，雷达模块用于获取车辆前方的目标位置信息，并且具有全天候、全天时的特点，数据融合模块用于对各传感器模块所获取的环境信息进行融合，实现对车辆行驶环境更加准确的识别。本实用新型同时公开了一种全方位视觉模块，通过各个步进电机控制对应的双目摄像头进行俯仰运动获取所观测环境的全方位场景图像；图像处理模块实时采集并处理各组双目摄像头获取的场景图像。

Description

一种基于多传感器的车载环境识别系统及全方位视觉模块

技术领域

本实用新型涉及一种多摄像头拼接的全方位视觉装置以及基于多传感器的车载环境识别系统，属于传感器技术领域。

背景技术

单目视觉可以进行简单的目标跟踪、目标识别，但是并不能提供环境的深度信息。双目视觉在单目视觉的基础上实现了对深度信息的获取，但是不能实时地进行全方位的信息获取。相对于传统视觉传感器在视场受限方面的不足，全方位视觉装置可以实时获取全方位的环境信息，在军事应用、公共安全、视频会议以及位置环境的探测等方面发挥着积极的作用。多部成像装置多角度同时拍摄是最容易想到的全方位图像获取的技术，相对于普通摄像机加旋转云台的方法存在延时、鱼眼技术和折反射技术存在高畸变，多摄像头拼接的全方位视觉装置更加简单可靠。目前多摄像头拼接的全方位视觉装置在多摄像头的精确安装、多幅图像的无缝拼接等方面均存在不足，此外该装置在垂直方向的视角受限也对全方位环境信息的获取存在一定的影响。

随着工作环境与任务的日益复杂，人们对智能系统的性能提出了更高的要求。单个传感器在某一采样时刻只能获取一组数据，经过处理得到的信息只能用来描述环境的局部特征，因此单靠一个传感器往往无法满足某些系统对鲁棒性的要求。采用多传感器融合可以对环境进行更加全面准确的描述，但是信息的冗余在提高系统鲁棒性的同时伴随着大量数据的产生，大量的数据计算处理无疑严重影响着系统的实时性，此外系统的功耗、资源占用率等都是需要考虑的问题。

发明内容

本实用新型提供了一种全方位视觉模块，其为多摄像头拼接的全方位视觉装置，解决了传统视觉传感器不能实时获取全方位环境信息的问题。

以上目的是通过以下技术方案实现的：

一种全方位视觉模块，包括：基座，图像处理模块，多组双目摄像头，与双目摄像头数量一致的摄像头支架、步进电机、俯仰电机支架；多组双目摄像头在水平方向均匀布置，每组双目摄像头通过一个摄像头支架固定在基座外周上，每个步进电机通过对应的俯仰电机支架固定在基座上，每个摄像头支架与对应的步进电机输出轴固定连接，通过各个步进电机控制对应的双目摄像头进行俯仰运动获取所观测环境的全方位场景图像；图像处理模块固定安装在基座上，实时采集并处理各组双目摄像头获取的场景图像。

进一步地，所述图像处理模块包括图像采集单元、图像拼接单元、双目匹配单元、目标识别单元；图像采集单元实时采集所述各组双目摄像头获取的各个方向的场景图像并将图像信息同时传输给图像拼接单元、双目匹配单元和目标识别单元；图像拼接单元将各个方向的场景图像进行一系列图像预处理后拼接成一幅全景图像；双目匹配单元计算双目摄像头每帧获取的两幅图像的视差，结合双目视觉中的三角测量原理得到对应的深度图像；目标识别单元通过训练样本对分类器进行训练，再利用训练好的分类器检测所观测场景中的样本目标。

进一步地，所述图像拼接单元的工作过程包括：

摄像头标定：预先校准由于安装设计产生的物理差异及摄相头之间的物理差异，得到一致性好的图像；图像畸变校正：对导致图像内直线变弯曲的径向畸变进行校正操作；图像投影变换：将不同角度拍摄的图像进行投影变换至同一投影面以便于拼接；匹配点选取：在图像序列中寻找具有缩放不变性的SIFT特征点；图像拼接：包括配准与融合，将各个方向的场景图像按一定规则拼接为一幅展开的全景图；后处理：进行图像对亮度与颜色的均衡处理，以保证全景图在整体上达到亮度与颜色的一致性。

进一步地，所述双目匹配单元的工作过程包括：

摄像头标定：通过摄像头标定获取摄像头的内部参数与外部参数；代价计算以及图像分割：通过互信息计算初始匹配代价，解决了由于光照变化引起的误匹配现象；图像分割使同一分割块内的视差具有平滑变化的特点，改善弱纹理区域和深度不连续区域出现的匹配精度问题；构造全局能量函数：将代价计算以及图像分割的信息融合起来提出全局能量函数E(d)＝E_data(d)+λE_smooth(d)；多方向代价聚合：从8或16个方向的一维路径进行动态规划得到总的匹配代价；视差选择：通过选择使总的匹配代价最小的视差为每个像素点的视差，从而得到整幅图像的初步视差图。视差优化：通过亚像素插值、中值滤波、左右一致性检验进行优化处理得到视差图，再经过双目视觉中的三角测量原理得到深度图像。

进一步地，所述目标识别单元的工作过程包括：

通过训练样本来训练分类器：对正样本和负样本进行特征选择和提取从而对原始数据进行变换得到最能反映分类本质的特征，进而得到训练好的分类器；利用训练好的分类器进行目标检测：用一个扫描子窗口在待检测的图像中不断的移位滑动计算窗口区域的特征，并且通过训练好的分类器对该特征进行筛选，最终得到所要的分类结果。

本实用新型同时提供一种基于多传感器的车载环境识别系统，能够获取多种传感数据信息，并通过硬件处理器并行计算处理数据信息，解决了单个传感器获取信息少、系统鲁棒性低、实时性差等问题。

以上目的是通过以下技术方案实现的：

一种基于多传感器的车载环境识别系统，包括全方位视觉模块、IMU模块、GPS模块、雷达模块和数据融合模块，全方位视觉模块、IMU模块、GPS模块、雷达模块分别与数据融合模块通讯连接；全方位视觉模块用于获取车辆周围360度范围内的环境三维信息；IMU模块用于获取车辆的加速度与角速度信息；GPS模块与IMU模块联合工作，获取车辆的位置和姿态信息；雷达模块用于获取车辆前方的目标位置信息，并且具有全天候、全天时的特点；数据融合模块用于对各传感器模块所获取的环境信息进行融合，实现对车辆行驶环境更加准确的识别。

进一步地，所述数据融合模块包括数据采集单元、数据存储单元、硬件处理器，数据采集单元采集上述各个传感器模块传输过来的数据并传输给数据存储单元；数据存储单元对数据进行存储并将数据实时传输给硬件处理器；硬件处理器以并行的方式计算处理传输过来的数据信息，以保证系统的实时性。

本实用新型的有益效果是：

1本实用新型提供了一种多摄像头拼接的全方位视觉装置，通过电机控制水平均置的多组双目摄像头进行俯仰运动，能够获取环境的全方位信息；并且该装置提供了图像拼接、双目匹配以及目标识别多种图像处理单元。

2本实用新型提供了一种基于多传感器的车载环境识别系统，能够获取多种传感数据信息，经过融合处理能够对环境进行更加全面的描述，提高对环境特征描述的准确性，同时信息的冗余可以提高系统鲁棒性。

3本实用新型通过硬件处理器以并行的方式处理数据，满足了实时性的要求。

附图说明

图1是基于多传感器的车载环境识别系统结构框图

图2是全方位视觉模块的结构示意图

图3是图像处理模块的结构框图

图4是图像拼接单元的原理框图

图5是双目匹配单元的原理框图

图6是目标识别单元的原理框图

具体实施方式

以下结合附图详细介绍本实用新型的技术方案：

如图1所示，一种基于多传感器的车载环境识别系统，包括全方位视觉模块1、IMU模块2、GPS模块3、雷达模块4和数据融合模块5，全方位视觉模块1、IMU模块2、GPS模块3、雷达模块4分别与数据融合模块5通讯连接。全方位视觉模块1是一种多摄像头拼接的全方位视觉装置，能够获取车辆周围360度范围内的环境三维信息；IMU模块2包括加速度计和陀螺仪，能够获取车辆的加速度与角速度信息；GPS模块3与IMU模块2联合工作，能够获取车辆的位置和姿态信息；雷达模块4能够获取车辆前方的目标位置信息，并且具有全天候、全天时的特点；上述各个传感器模块相互配合、联合工作，能够给系统提供外界环境的全景图、深度图、姿态、距离等多种信息，以保证系统的鲁棒性与准确性。

数据融合模块5包括数据采集单元51、数据存储单元52、硬件处理器53。首先通过数据采集单元51采集上述各个传感器模块传输过来的数据并传输给数据存储单元52；其次数据存储单元52对数据进行存储并将数据实时传输给硬件处理器53；最后硬件处理器53以并行的方式计算处理传输过来的数据信息，以保证系统的实时性。

图2是全方位视觉模块的结构示意图。作为优选实施例之一：全方位视觉模块1包括五组双目摄像头11、五个摄像头支架12、五个步进电机13、五个俯仰电机支架14、基座15以及图像处理模块16。每组双目摄像头11固定安装在对应的摄像头支架12上；每个步进电机13固定安装在对应的俯仰电机支架14上；每个摄像头支架12与对应的步进电机13输出轴通过紧固螺钉连接；五个俯仰电机支架14及图像处理模块16均固定安装在基座15上。此外，五组双目摄像头11在水平方向均匀布置并且所选的摄像头的视场需要大于72度以保证所述全方位视觉模块1能够实时获取在水平方向上360度范围内的环境信息。其工作原理是：通过各个步进电机13控制对应的双目摄像头11进行俯仰运动获取所观测环境的全方位场景图像，然后图像处理模块16实时采集并处理各组摄像头11获取的场景图像。

图3是全方位视觉模块的图像处理模块16的结构框图。图像处理模块16包括图像采集单元161、图像拼接单元162、双目匹配单元163、目标识别单元164。其工作原理是：图像采集单元161实时采集各组摄像头获取的各个方向的场景图像并将图像信息同时传输给图像拼接单元162、双目匹配单元163和目标识别单元164；图像拼接单元162将各个方向的场景图像进行一系列图像预处理后拼接成一幅全景图像；双目匹配单元163计算双目摄像头每帧获取的两幅图像的视差，结合双目视觉中的三角测量原理得到对应的深度图像；目标识别单元164通过训练样本对分类器进行训练，再利用训练好的分类器检测所观测场景中的样本目标。

图4是图像拼接单元的原理框图。图像拼接单元的工作过程包括：第一步，摄像头标定：由于安装设计及摄相头之间的差异，会造成视频图像之间有缩放(镜头焦距不一致造成)、倾斜(垂直旋转)、方位角差异(水平旋转)，需要通过摄像头标定预先校准这些物理差异，得到一致性好的图像，便于后续图像拼接。第二步，图像畸变校正：由于制造、安装、工艺等原因，镜头存在着各种畸变，径向畸变导致图像内直线成弯曲的像并且越靠近边缘这种现象越明显，是导致图像畸变的主要因素，因此为了提高摄像机拼接的精度，需要通过图像畸变校正对这种畸变进行校正操作。第三步，图像投影变换：由于每幅图像是相机在不同角度下拍摄得到的，所以他们并不在同一投影平面上，如果对重叠的图像直接进行无缝拼接，会破坏实际景物的视觉一致性，所以需要通过图像投影变换进行平面投影，即以序列图像中的一幅图像的坐标系为基准，将其图像都投影变换到这个基准坐标系中，使相邻图像的重叠区对齐，再进行拼接。第四步，匹配点选取：根据具有缩放不变性的SIFT特征点，在图像序列中找到有效的特征匹配点。第五步，图像拼接：根据几何运动模型，将图像注册到同一个坐标系中后再拼接为一幅全图图像。第六步，后处理：由于摄像头和光照强度的差异，会造成一幅图像内部，以及图像之间亮度的不均匀，拼接后的图像会出现明暗交替，不利于环境的识别。所以需要通过后处理对亮度与颜色的均衡处理，即通过相机的光照模型，校正一幅图像内部的光照不均匀性，然后通过相邻两幅图像重叠区域之间的关系，建立相邻两幅图像之间直方图映射表，通过映射表对两幅图像做整体的映射变换，最终达到整体的亮度和颜色的一致性。

图5是双目匹配单元的原理框图。双目匹配单元的工作过程包括：第一步，摄像头标定：通过摄像头标定获取摄像头的内部参数与外部参数，其中内部参数是为了得到镜头的信息并消除畸变，使得到的图像更为准确；外部参数是为了得到摄像头相对于世界坐标的联系。第二步，代价计算以及图像分割：通过互信息计算初始匹配代价，解决了由于光照变化引起的误匹配现象；图像分割使同一分割块内的视差具有平滑变化的特点，改善了弱纹理区域和深度不连续区域出现的匹配精度问题；第三步，构造全局能量函数：将代价计算以及图像分割的信息融合起来提出全局能量函数E(d)＝E_data(d)+λE_smooth(d)。第四步，多方向代价聚合：从8或16个方向的一维路径进行动态规划得到总的匹配代价。第五步，视差选择：选择使总的匹配代价最小的视差为每个像素点的视差，从而得到整幅图像的初步视差图。第六步，视差优化：通过亚像素插值、中值滤波、左右一致性检验进行优化处理得到视差图，再经过双目视觉中的三角测量原理得到深度图像。

图6是目标识别单元的原理框图。目标识别单元的工作过程包括：第一步，通过训练样本来训练分类器，其主要原理是：训练样本包括正样本和负样本，其中正样本是指待检测目标样本，负样本是指其他不包含目标的任意图片，所有的样本图片都被归一化为同样的尺寸；由于图像或波形所获得的数据量是相当大的，为了有效地实现分类识别，需要通过特征选择和提取对原始数据进行变换得到最能反映分类本质的特征，进而得到训练好的分类器。第二步，利用训练好的分类器进行目标检测，其主要原理是：首先用一个扫描子窗口在待检测的图像中不断的移位滑动，子窗口每到一个位置，就会计算出该区域的特征；其次用第二步得到的训练好的分类器对该特征进行筛选，判定该区域是否为目标；然后因为目标在图像的大小可能和训练分类器时使用的样本图片大小不一样，所以就需要对这个扫描的子窗口变大或者变小(或者将图像变小)，再在图像中滑动，再匹配一遍；最终得到分类结果。

Claims (7)

1.一种全方位视觉模块，其特征在于，包括：基座，图像处理模块，多组双目摄像头，与双目摄像头数量一致的摄像头支架、步进电机、俯仰电机支架；多组双目摄像头在水平方向均匀布置，每组双目摄像头通过一个摄像头支架固定在基座外周上，每个步进电机通过对应的俯仰电机支架固定在基座上，每个摄像头支架与对应的步进电机输出轴固定连接，通过各个步进电机控制对应的双目摄像头进行俯仰运动获取所观测环境的全方位场景图像；图像处理模块固定安装在基座上，实时采集并处理各组双目摄像头获取的场景图像。

2.如权利要求1所述的一种全方位视觉模块，其特征在于，所述图像处理模块包括图像采集单元、图像拼接单元、双目匹配单元、目标识别单元；图像采集单元实时采集所述各组双目摄像头获取的各个方向的场景图像并将图像信息同时传输给图像拼接单元、双目匹配单元和目标识别单元；图像拼接单元将各个方向的场景图像进行一系列图像预处理后拼接成一幅全景图像；双目匹配单元计算双目摄像头每帧获取的两幅图像的视差，结合双目视觉中的三角测量原理得到对应的深度图像；目标识别单元通过训练样本对分类器进行训练，再利用训练好的分类器检测所观测场景中的样本目标。

3.如权利要求2所述的一种全方位视觉模块，其特征在于，所述图像拼接单元的工作过程包括：

摄像头标定：预先校准由于安装设计产生的物理差异及摄相头之间的物理差异，得到一致性好的图像；

图像畸变校正：对导致图像内直线变弯曲的径向畸变进行校正操作；

图像投影变换：将不同角度拍摄的图像进行投影变换至同一投影面以便于拼接；

匹配点选取：在图像序列中寻找具有缩放不变性的SIFT特征点；

图像拼接：包括配准与融合，将各个方向的场景图像按一定规则拼接为一幅展开的全景图；

后处理：进行图像对亮度与颜色的均衡处理，以保证全景图在整体上达到亮度与颜色的一致性。

4.如权利要求2所述的一种全方位视觉模块，其特征在于，所述双目匹配单元的工作过程包括：

摄像头标定：通过摄像头标定获取摄像头的内部参数与外部参数；

代价计算以及图像分割：通过互信息计算初始匹配代价，解决了由于光照变化引起的误匹配现象；图像分割使同一分割块内的视差具有平滑变化的特点，改善弱纹理区域和深度不连续区域出现的匹配精度问题；

构造全局能量函数：将代价计算以及图像分割的信息融合起来提出全局能量函数；

多方向代价聚合：从8或16个方向的一维路径进行动态规划得到总的匹配代价；

视差选择：通过选择使总的匹配代价最小的视差为每个像素点的视差，从而得到整幅图像的初步视差图；

视差优化：通过亚像素插值、中值滤波、左右一致性检验进行优化处理得到视差图，再经过双目视觉中的三角测量原理得到深度图像。

5.如权利要求2所述的一种全方位视觉模块，其特征在于，所述目标识别单元的工作过程包括：

通过训练样本来训练分类器：对正样本和负样本进行特征选择和提取从而对原始数据进行变换得到最能反映分类本质的特征，进而得到训练好的分类器；

利用训练好的分类器进行目标检测：用一个扫描子窗口在待检测的图像中不断的移位滑动计算窗口区域的特征，并且通过训练好的分类器对该特征进行筛选，最终得到所要的分类结果。

6.一种基于多传感器的车载环境识别系统，其特征在于，包括全方位视觉模块、IMU模块、GPS模块、雷达模块和数据融合模块，全方位视觉模块、IMU模块、GPS模块、雷达模块分别与数据融合模块通讯连接；全方位视觉模块用于获取车辆周围360度范围内的环境三维信息；IMU模块用于获取车辆的加速度与角速度信息；GPS模块与IMU模块联合工作，获取车辆的位置和姿态信息；雷达模块用于获取车辆前方的目标位置信息，并且具有全天候、全天时的特点；数据融合模块用于对各传感器模块所获取的环境信息进行融合，实现对车辆行驶环境更加准确的识别。

7.如权利要求6所述的一种基于多传感器的车载环境识别系统，其特征在于，所述数据融合模块包括数据采集单元、数据存储单元、硬件处理器，数据采集单元采集上述各个传感器模块传输过来的数据并传输给数据存储单元；数据存储单元对数据进行存储并将数据实时传输给硬件处理器；硬件处理器以并行的方式计算处理传输过来的数据信息，以保证系统的实时性。