CN110843694A - 用于无人驾驶汽车的360度全景摄像装置及视觉传感设备 - Google Patents

Abstract

本发明公开了一种用于无人驾驶汽车的360度全景摄像装置及视觉传感设备，该摄像装置包括曲面镜面、摄像头传感器及壳体；曲面镜面的切面为椭圆，曲面镜面和摄像头传感器设置壳体内部；曲面镜面设置在壳体的顶部，摄像头传感器位于曲面镜面的正下方；曲面镜面的长轴与摄像头传感器的长边位于同一方向，曲面镜面的长轴大于摄像头传感器的宽边且小于或等于其长边；壳体设有透光区。该摄像装置采用切面为椭圆的曲面镜面，充分利用摄像头传感器的感知区域，增加有效像素面积，相较于传统的360度全景摄像头，扩大了感知距离，从而实现减少无人驾驶感知设备的传感器的数量，降低设备成本。

Description

用于无人驾驶汽车的360度全景摄像装置及视觉传感设备

技术领域

本发明涉及无人驾驶汽车的环境感知设备技术领域，尤其涉及一种用于无人驾驶汽车的360度全景摄像装置及视觉传感设备。

背景技术

由于现有的摄像头的感知视野范围有限，目前的无人驾驶感知设备为了覆盖汽车周边所有信息，由大量的摄像头、激光雷达及其他传感器组成，通过设备冗余来提高观测的可靠性。大量的传感器设备造成了成本过高，装备一辆无人驾驶汽车，成本达几十万元；并且安装繁琐，不易于部署调试，从而造成无人驾驶车队无法大量上路部署，增加了采集训练无人驾驶系统所需数据的难度，而大量的可供训练的数据，正是任何一个AI驱动的系统所必不可少的。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种用于无人驾驶汽车的360度全景摄像装置，其采用切面为椭圆的曲面镜面，充分利用摄像头传感器的感知区域，增加有效像素面积，相较于传统的360度全景摄像头，扩大了感知距离，从而实现减少无人驾驶感知设备的传感器的数量，降低设备成本。

本发明的目的之二在于一种用于无人驾驶汽车的视觉传感设备，其采用两个360度全景摄像装置来感知汽车周围环境的3D信息，该360度全景摄像装置通过切面为椭圆的曲面镜面，充分利用摄像头传感器的感知区域，增加有效像素面积，相较于传统的360度全景摄像头，扩大了感知距离，从而实现减少无人驾驶感知设备的传感器的数量，降低设备成本。

本发明的目的之一采用如下技术方案实现：

一种用于无人驾驶汽车的360度全景摄像装置，包括曲面镜面、摄像头传感器及壳体；所述曲面镜面的切面为椭圆，所述曲面镜面和所述摄像头传感器设置所述壳体内部；所述曲面镜面设置在所述壳体的顶部，所述摄像头传感器位于所述曲面镜面的正下方且摄像方向正对所述曲面镜面；所述曲面镜面的长轴与所述摄像头传感器的长边位于同一方向，所述曲面镜面的长轴大于所述摄像头传感器的宽边且小于或等于所述摄像头传感器的长边；所述壳体设有透光区以使四周的光线可以照射至所述曲面镜面上以实现360度全景摄像。

进一步地，根据所需的镜面反射形成的垂直角度的视角范围来确定所述曲面镜面的曲率，所需的垂直角度的视角范围为-45°至30°。

进一步地，所述壳体为具有透明侧壁的圆柱形壳体。

进一步地，所述壳体的内腔的顶部设有镜面校准纹理，所述镜面校准纹理环绕在所述曲面镜面的边缘。

本发明的目的之二采用如下技术方案实现：

一种用于无人驾驶汽车的视觉传感设备，包括底座以及两个如上所述的用于无人驾驶汽车的360度全景摄像装置，所述底座设有摄像安装位，所述摄像安装位设有摄像头升降装置，所述360度全景摄像装置安装在所述摄像安装位中且所述摄像头升降装置可控制所述360度全景摄像装置伸出所述底座以进行360度全景摄像或缩回至所述底座内部；两个所述360度全景摄像装置的所述曲面镜面的长轴位于同一轴线方向上。

进一步地，所述360度全景摄像装置的壳体外表面设有第一相机校准纹理，所述第一相机校准纹理用于校准两个360度全景摄像装置的相对位置。

进一步地，所述底座中还设有中央处理器、存储器、传感器单元和GPS，所述中央处理器分别与所述360度全景摄像装置、所述摄像头升降装置、所述传感器单元、所述GPS及所述存储器电连接；所述存储器用于存储所述360度全景摄像装置的拍摄数据、所述传感器单元的检测数据以及GPS数据，所述传感器单元包括：惯性测量单元和/或重力感应器，所述中央处理器还用于与汽车的控制系统电连接。

进一步地，所述底座中还设有通信单元，所述中央处理器与所述通信单元电连接，所述通信单元用于将所述360摄像装置的拍摄数据、所述传感器单元的检测数据以及GPS数据上传至服务器。

进一步地，所述底座中还设有供电单元，所述供电单元与所述中央处理器电连接。

进一步地，所述摄像安装位的边缘设有橡胶密封圈；当所述360度全景摄像装置在所述摄像安装位上升或者下降时，所述360度全景摄像装置的壳体的透光区会与所述橡胶密封圈产生摩擦从而对所述透光区进行自动清洁以保证透光率。

相比现有技术，本发明的有益效果在于：

该用于无人驾驶汽车的360度全景摄像装置采用切面为椭圆的曲面镜面，充分利用摄像头传感器的感知区域，增加了镜面成像所占的有效像素面积，相较于传统的采用切面为圆形镜面的360度全景摄像头，可增加33％的有效像素面积，转换成感知距离，也就是最远感知距离比原先扩大了33％，从而实现减少无人驾驶感知设备的传感器数量，降低设备成本。

附图说明

图1为现有的360度全景摄像头的成像示意图；

图2为现有的360度全景摄像头的镜面图像示意图；

图3为本发明提供的一种用于无人驾驶汽车的360度全景摄像装置的镜面图像示意图；

图4为本发明提供的一种用于无人驾驶汽车的360度全景摄像装置的结构示意图；

图5为图1中的一种用于无人驾驶汽车的360度全景摄像装置的壳体的内腔顶部设置的镜面校准纹理示意图；

图6为本发明提供的一种用于无人驾驶汽车的视觉传感设备的第一结构示意图，图中，该视觉传感设备处于工作状态；

图7为本发明提供的一种用于无人驾驶汽车的视觉传感设备的第二结构示意图，图中，该视觉传感设备处于待机状态；

图8为本发明提供的一种用于无人驾驶汽车的视觉传感设备的系统结构框图；

图9为本发明提供的一种用于无人驾驶汽车的视觉传感设备的立体视觉范围图；

图10为本发明提供的一种用于无人驾驶汽车的视觉传感设备拍摄的图像示例图。

图中：100、360度全景摄像装置；10、曲面镜面；11、摄像头传感器；12、壳体；13、第一相机校准纹理；14、镜面校准纹理；200、底座；20、摄像头升降装置；21、第二相机校准纹理。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

参阅图4和5，一种用于无人驾驶汽车的360度全景摄像装置100，包括曲面镜面10、摄像头传感器11及壳体12；所述曲面镜面10的切面为椭圆，所述曲面镜面10和所述摄像头传感器11设置所述壳体12内部；所述曲面镜面10设置在所述壳体12的顶部，所述摄像头传感器11位于所述曲面镜面10的正下方且摄像方向正对所述曲面镜面10；所述曲面镜面10的长轴与所述摄像头传感器11的长边位于同一方向，所述曲面镜面10的长轴大于所述摄像头传感器11的宽边且小于或等于所述摄像头传感器11的长边；所述壳体12设有透光区以使四周的光线可以照射至所述曲面镜面10上以实现360度全景摄像，所述壳体12具体为具有透明侧壁的圆柱形壳体。

该用于无人驾驶汽车的360度全景摄像装置100采用切面为椭圆的曲面镜面10，充分利用摄像头传感器11的感知区域，增加了镜面成像所占的有效像素面积，相较于传统的采用切面为圆形镜面的360度全景摄像头，通过反射曲面的特殊设计，该设备可以在不改变摄像头CMOS传感器基础分辨率的情况下，可增加33％的有效像素面积，转换成感知距离，也就是最远感知距离比原先扩大了33％，从而实现减少无人驾驶感知设备的传感器数量，降低设备成本。

具体地，参阅图1和图2，普通的360度镜面反射设备在摄像头传感器11的成像是正圆形的，而对于绝大多数图像传感器，其传感器阵列是一个矩形(通常是4:3长宽比)，正圆形的图像映射到4:3矩形的传感器上，会有相当大的传感器区域被浪费掉。对于无人驾驶车的视觉传感器来说，获得尽可能多的有效像素至关重要，因为无人驾驶车必须感知到前方几百米外的障碍物体的存在，才能够有足够的时间对于路况做出分析决策，而能够识别足够远的障碍物，就必须有足够的有效像素做支撑。

因此，区别于经典的圆形镜面，我们将镜面在x方向上(即沿着摄像头传感器11的长边)进行拉伸，使镜面长轴与短轴之比和传感器的长宽比一致(比如同样是4:3)，这样，镜面的图像就可以充分利用到传感器的尺寸范围，而此设计可以使360度全景摄像传感器增加近33％的有效像素，换算成感知距离时，即可以提高33％的最远感知距离。参阅图3，其为采用本发明所提供的用于无人驾驶汽车的360度全景摄像装置100的镜面图像。

需要说明的是，由于该360度全景摄像传感器的反射镜面不再是圆形对称的，因此，在安装至汽车上时需要注意：镜面的宽边与车辆的行驶方向垂直，由于车辆行驶方向最需要有效像素，因此，镜面宽边必须与行驶方向垂直，从而将增加的有效像素用于感知行驶方向的路况。

作为一种优选的实施方式，根据所需的镜面反射形成的垂直角度的视角范围来确定所述曲面镜面10的曲率，针对无人驾驶应用场景，所需的垂直角度的视角范围为-45°至30°。当然了，针对其他的应用场景则可通过调节所述曲面镜面10的曲率来得到所需的垂直角度的视角范围。

作为一种优选的实施方式，所述壳体12的内腔的顶部设有镜面校准纹理14，所述镜面校准纹理14环绕在所述曲面镜面10的边缘。可以在所述壳体12内腔的整个顶部均设置镜面校准纹理14，从而无论所述曲面镜面10的位置出现偏移也始终有镜面校准纹理14围绕着曲面镜面10。

为了将反射曲面的图像恢复成水平投影图片，需要高精度计算摄像头相对于反射曲面的位置，而这可以通过摄像头观察反射曲面外围的校准纹理，计算出反射曲面的准确位置。具体算法如下：

1.在采集的图像中检测出黑白纹理的角点；

2.根据角点在图像中的位置，计算出反射镜面的椭圆形轮廓在图像中的位置；

3.根据椭圆形轮廓的位置，将拍摄的图片剪切并展开成水平投影图片。

参阅图6至8，本发明还提供了一种用于无人驾驶汽车的视觉传感设备，包括底座200以及两个如上所述的用于无人驾驶汽车的360度全景摄像装置100，所述底座200设有摄像安装位，所述摄像安装位设有摄像头升降装置20，所述360度全景摄像装置100安装在所述摄像安装位中且所述摄像头升降装置20可控制所述360度全景摄像装置100伸出所述底座200以进行360度全景摄像或缩回至所述底座200内部；两个所述360度全景摄像装置100的所述曲面镜面10的长轴位于同一轴线方向上。

该用于无人驾驶汽车的视觉传感设备采用两个360度全景摄像装置100，可以使用两个360度全景摄像装置100所采集的图像数据，计算出视野里物体的深度信息。由于深度信息需要两个摄像头有一定的平行距离，所以在整个360度范围内，有一小部分角度无法得到深度信息，具体如图9所示。从图中可以看出，可靠的立体视觉信息在向前和向后的两个区域，也就是车辆行进的方向上，在两侧则有一定的立体视觉无效区域。对于立体视觉无效区域的信息仍然有一个摄像头可以收集到，这部分区域的感知信息可以通过单目目标检测算法来获取。例如，每个视觉传感设备所采集的数据如图10，图像分为两半，上半部分是向后的180度数据，下半部分是向前180度数据，其中线框区域内是计算3D深度信息的可靠区域，对于在线框外的区域则为立体视觉无效区域。

底座200主要用于保证两个摄像头的相对位置固定，以方便计算3D立体视图；并内置了摄像头升降装置20，在360度全景摄像装置100不使用的情况下，收起摄像装置以保护镜头不受风雨及空气杂质等污染。在360度全景摄像装置100与底座200的交汇处安装有橡皮环(即橡胶密封圈)，以便在摄像头升降过程中对透明圆柱面进行自动清洁，保持镜头的高度透光率。此外，该底座200还用于内置其他的传感器单元、中央处理器、存储器、通信单元以及供电单元等。在安装使用时，直接通过底座200固定在汽车车顶即可。

所述摄像头升降装置20可以采用步进电机和传动轴，传动轴具体为螺杆，螺杆的一端固定在360度全景摄像装置100的底部，螺杆的另一端于步进电机驱动连接，步进电机可以驱动螺杆上升或下降，通过螺杆传动的方式来实现驱动360度全景摄像装置100的上升与下降。此外，也可以直接采用直线电机，如此一来只需要采用普通的传动轴即可。

作为一种优选的实施方式，所述360度全景摄像装置100的壳体12外表面设有第一相机校准纹理13，所述第一相机校准纹理13用于校准两个360度全景摄像装置100的相对位置。

两个360度全景摄像装置100相对位置的校准对于计算立体视觉的深度信息至关重要，计算两个摄像头的相对位置，可以有两种方法：

1.由于360度摄像头可以看到全景图像，也可以直接看到另外一个摄像头，因此可以通过观察安装在另一个摄像头上的校准纹理来计算摄像头的位置参数。对于摄像头的相对距离固定在底座200的情况下，需要计算的摄像头位置参数主要就是摄像头的相对角度位置。具体算法如下：

·在360度图像中找出黑白网格的校正纹理的位置

·根据纹理位置定位摄像头位置

·利用计算出的摄像头位置的X轴坐标位置，将360图像沿X轴(即水平的360环绕方向)平移到标准位置(相当于将对方摄像头的图像水平旋转到边缘处)

2.对于摄像头有可能在底座200上移动的方案，可以在底座200上增加第二相机校准纹理21，通过两个摄像头同时观测到这个纹理来实现摄像头相对位置的估算，具体算法如下：

·检测位于两个摄像头之间的底座200上的第二相机校准纹理21上的角点

·根据观测到的纹理角点坐标，计算出每个摄像头相对于第二相机校准纹理21的位置

·将第二相机校准纹理21作为统一的坐标系，将两个摄像头都转换到这个公共坐标系，从而获得他们的相对位置。

作为一种优选的实施方式，所述底座200中还设有中央处理器、存储器、传感器单元和GPS，所述中央处理器分别与所述360度全景摄像装置100、所述摄像头升降装置20、所述传感器单元、所述GPS及所述存储器电连接；所述存储器用于存储所述360度全景摄像装置100的拍摄数据、所述传感器单元的检测数据以及GPS数据，所述传感器单元包括：惯性测量单元和/或重力感应器，所述中央处理器还用于与汽车的控制系统电连接。通过集成中央处理器、存储器传感器单元和GPS，直接通过360度全景摄像装置100通过视频总线将数据传输到中央处理器进行图像校正、立体点云计算以及综合GPS和其他传感器例如IMU，从而做出路面分析，利用这些分析数据，中央处理器跟汽车控制系统进行交互，获取汽车行驶数据并提供控制信息，同时采集的数据可以通过存储系统进行存储，还可以通过通信单元的4G或者5G上传到云端。

作为一种优选的实施方式，所述底座200中还设有通信单元，所述中央处理器与所述通信单元电连接，所述通信单元用于将所述360摄像装置的拍摄数据、所述传感器单元的检测数据以及GPS数据上传至服务器。通信单元可以为WiFi无线通信模块、4G/5G通信模块等。

作为一种优选的实施方式，所述底座200中还设有供电单元，所述供电单元与所述中央处理器电连接。供电单元为电池，优选为可充电电池，用于给整个视觉传感设备供电。当然了，当视觉传感设备不设有供电单元时，可直接通过电源线连接至汽车的车载电源来给视觉传感设备进行供电。

作为一种优选的实施方式，所述摄像安装位的边缘设有橡胶密封圈；当所述360度全景摄像装置100在所述摄像安装位上升或者下降时，所述360度全景摄像装置100的壳体12的透光区会与所述橡胶密封圈产生摩擦从而对所述透光区进行自动清洁以保证透光率。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种用于无人驾驶汽车的360度全景摄像装置，其特征在于，包括曲面镜面、摄像头传感器及壳体；所述曲面镜面的切面为椭圆，所述曲面镜面和所述摄像头传感器设置所述壳体内部；所述曲面镜面设置在所述壳体的顶部，所述摄像头传感器位于所述曲面镜面的正下方且摄像方向正对所述曲面镜面；所述曲面镜面的长轴与所述摄像头传感器的长边位于同一方向，所述曲面镜面的长轴大于所述摄像头传感器的宽边且小于或等于所述摄像头传感器的长边；所述壳体设有透光区以使四周的光线可以照射至所述曲面镜面上以实现360度全景摄像。

2.如权利要求1所述的用于无人驾驶汽车的360度全景摄像装置，其特征在于，根据所需的镜面反射形成的垂直角度的视角范围来确定所述曲面镜面的曲率，所需的垂直角度的视角范围为-45°至30°。

3.如权利要求1所述的用于无人驾驶汽车的360度全景摄像装置，其特征在于，所述壳体为具有透明侧壁的圆柱形壳体。

4.如权利要求1所述的用于无人驾驶汽车的360度全景摄像装置，其特征在于，所述壳体的内腔的顶部设有镜面校准纹理，所述镜面校准纹理环绕在所述曲面镜面的边缘。

5.一种用于无人驾驶汽车的视觉传感设备，其特征在于，包括底座以及两个如权利要求1至4任一项所述的用于无人驾驶汽车的360度全景摄像装置，所述底座设有摄像安装位，所述摄像安装位设有摄像头升降装置，所述360度全景摄像装置安装在所述摄像安装位中且所述摄像头升降装置可控制所述360度全景摄像装置伸出所述底座以进行360度全景摄像或缩回至所述底座内部；两个所述360度全景摄像装置的所述曲面镜面的长轴位于同一轴线方向上。

6.如权利要求5所述的用于无人驾驶汽车的视觉传感设备，其特征在于，所述360度全景摄像装置的壳体的外表面设有第一相机校准纹理，所述第一相机校准纹理用于校准两个360度全景摄像装置的相对位置。

7.如权利要求5所述的用于无人驾驶汽车的视觉传感设备，其特征在于，所述底座中还设有中央处理器、存储器、传感器单元和GPS，所述中央处理器分别与所述360度全景摄像装置、所述摄像头升降装置、所述传感器单元、所述GPS及所述存储器电连接；所述存储器用于存储所述360度全景摄像装置的拍摄数据、所述传感器单元的检测数据以及GPS数据，所述传感器单元包括：惯性测量单元和/或重力感应器，所述中央处理器还用于与汽车的控制系统电连接。

8.如权利要求7所述的用于无人驾驶汽车的视觉传感设备，其特征在于，所述底座中还设有通信单元，所述中央处理器与所述通信单元电连接，所述通信单元用于将所述360度全景摄像装置的拍摄数据、所述传感器单元的检测数据以及GPS数据上传至服务器。

9.如权利要求8所述的用于无人驾驶汽车的视觉传感设备，其特征在于，所述底座中还设有供电单元，所述供电单元与所述中央处理器电连接。

10.如权利要求5至9任一项所述的用于无人驾驶汽车的视觉传感设备，其特征在于，所述摄像安装位的边缘设有橡胶密封圈；当所述360度全景摄像装置在所述摄像安装位上升或者下降时，所述360度全景摄像装置的壳体的透光区会与所述橡胶密封圈产生摩擦从而对所述透光区进行自动清洁以保证透光率。

Images