CN109373974A - 一种具备主动探测功能的自动驾驶汽车环境感知系统 - Google Patents
一种具备主动探测功能的自动驾驶汽车环境感知系统 Download PDFInfo
- Publication number
- CN109373974A CN109373974A CN201811631837.0A CN201811631837A CN109373974A CN 109373974 A CN109373974 A CN 109373974A CN 201811631837 A CN201811631837 A CN 201811631837A CN 109373974 A CN109373974 A CN 109373974A
- Authority
- CN
- China
- Prior art keywords
- autonomous driving
- automatic pilot
- driving vehicle
- quasi
- electronic eyes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
- B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
- B60R2011/0026—Windows, e.g. windscreen
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
- B60R2011/008—Adjustable or movable supports
- B60R2011/0092—Adjustable or movable supports with motorization
Abstract
本发明涉及一种具备主动探测功能的自动驾驶汽车环境感知系统,属于汽车自动驾驶技术领域。该系统包括自动驾驶数据处理单元、固定式数码摄像头、GPS卫星定位模块和拟生电子眼,其中:固定式数码摄像头、GPS卫星定位模块和拟生电子眼分别与自动驾驶数据处理单元连接。所述拟生电子眼包括一个数码摄像头阵列和一个小型激光雷达,所述小型激光雷达是MEMS激光雷达。本发明可以提高自动驾驶汽车环境感知系统感知周围环境的能力,从而提高了自动驾驶汽车的安全性和可靠性。
Description
技术领域
本发明涉及一种具备主动探测功能的自动驾驶汽车环境感知系统,属于汽车自动驾驶技术领域。
背景技术
自动驾驶汽车又称无人驾驶汽车、电脑驾驶汽车,是一种通过电脑系统实现无人驾驶的智能汽车。自动驾驶汽车拥有环境感知、路径规划和控制车辆动作的能力,让电脑自动地操作机动车辆。2014年,美国汽车工程师学会(SAE)制订了一套自动驾驶汽车分级标准,其对自动驾驶的描述分为5个等级。目前世界上最先进的自动驾驶汽车也只是处于3级自动驾驶阶段,即必须在人类驾驶员的监控下运行,在遇到无法处理的情况时,必须由人类驾驶员接管车辆。
自动驾驶汽车在进行自主行驶的时候需要对周围环境进行感知,进而根据所得到的环境信息做出行为决策。环境感知能力是实现自动驾驶的前提,只有对汽车周围的环境进行准确和快速的感知,自动驾驶才可能得以实现。
自动驾驶汽车通过车上安装的各类传感器来获取周围环境信息,常用的传感器包括:激光雷达、数码摄像头、毫米波雷达、超声波雷达、GPS卫星定位模块、声音传感器等。这些传感器依据不同的原理获取环境数据并发送到自动驾驶电脑系统,自动驾驶电脑系统采用一定的方法提取出环境数据中对于智能行为决策有用的信息,比如探测障碍物、检测车道线、识别交通标志、车辆定位、识别环境声音等。
自动驾驶汽车中通常都包括自动驾驶电脑系统和环境传感器。其中摄像头、GPS卫星定位模块是关键传感器,所有的自动驾驶汽车都离不开这两种传感器。在此基础上,再根据需要在自动驾驶汽车中配置超声波雷达、毫米波雷达、激光雷达等传感器。以下是几种有代表性的自动驾驶汽车的传感器配置方案:
1、2016年以来,美国自动驾驶汽车公司Waymo与菲亚特—克莱斯勒(FCA)公司联合开发了一款自动驾驶汽车,这款汽车是在克莱斯勒Pacifica商务车上安装了自动驾驶系统。这套自动驾驶系统包括:3个覆盖短、中、长距离的激光雷达,其中包括一个安装在车辆顶部的360°扫描激光雷达;8个摄像模块;以及毫米波雷达。
2、2016年,美国福特汽车公司发布了新一代能够实现自动驾驶功能的混动版Fusion汽车,在车顶行李架上安装了6个摄像头,在汽车A柱上安装了2个Velodyne Lidar公司生产的16线激光雷达,还在汽车上安装了毫米波雷达。
3、在2015年底,日产汽车发布自动驾驶系统Piloted Drive 1.0,搭载在其旗下电动车聆风(Leaf)车上,该系统需要在汽车上安装12个摄像头、5个毫米波雷达、4个Ibeo公司的4线激光雷达。
4、美国特斯拉汽车公司(Tesla)在Model S汽车上配置了自动驾驶辅助系统Autopilot 2.0,该自动驾驶辅助系统包括覆盖车辆周围360°可视范围的8个摄像头、1个安装在车辆前端的毫米波雷达和安装在车身周围的12个超声波雷达。这8个摄像头中有3个摄像头是朝向车辆前方的,其中一个是长焦摄像头,一个是中等焦距摄像头,还有一个是广角摄像头。特斯拉汽车公司没有在自动驾驶辅助系统中采用激光雷达。
汽车要拥有可靠的自动驾驶能力,首先要能准确、快速地感知周围环境,以便为自动驾驶电脑系统提供决策依据。在目前已公布的自动驾驶技术方案中,对汽车周围环境的感知能力还有明显的不足,难以满足汽车在复杂的路况条件下安全地自动驾驶的要求,存在的主要问题有:
1、固定式摄像头无法拍摄出近景和远景都清晰的视频。
“景深”是摄影方面的术语,“景深”是指在摄像机镜头前方能够取得被拍摄物体的清晰图像的前后距离,也是指能使被拍摄物体清晰成像的空间深度,在景深范围内的物体可以在摄像机中清晰成像,景深范围外的物体成像不清晰。在目前的自动驾驶技术方案中,自动驾驶汽车上安装的摄像头的拍摄角度和焦距都是固定的(将这种摄像头称为“固定式摄像头”)。在固定式摄像头拍摄的汽车周围景物的视频中,处于“景深”范围内的物体是清晰的,处于“景深”范围外的物体是不清晰的。因此,固定式摄像头难以满足自动驾驶电脑系统感知周围环境的需要。
2、自动驾驶汽车上的固定式摄像头缺少有效的防抖功能。
在现有的自动驾驶技术方案中,摄像头都是固定在车身上,在汽车行驶的时候,如果道路不平整,随着车辆的颠簸,摄像头会产生抖动,其拍摄的视频图像就会变模糊。
3、固定式摄像头缺少对特定目标进行重点观察和追踪的能力。
自动驾驶汽车在行驶中,需要通过摄像头对道路上出现的影响行车的物体和行人等目标进行重点观察。比如,自动驾驶汽车正在以每小时40KM的速度行驶,前方60米有一个人站在路边,但是不确定这个人是否要横穿马路,为了确保不出现危险的情况,就需要弄清楚这个人的性别、表情和肢体动作等信息,这就需要用摄像头对这个行人进行持续的跟踪,并取得这个行人的比较清晰的视频信息,然后判断该行人下一步的动作。但是,在现有的自动驾驶技术方案中,摄像头的拍摄角度和焦距都是固定的,在汽车和行人之间的距离不断变化的情况下,固定式摄像头没有追踪行人进行拍摄的能力。
4、在车辆快速行驶时,汽车周围的物体在固定式摄像头拍摄的视频图像中会比较模糊。
在现有的自动驾驶技术方案中,摄像头的拍摄角度和焦距都是固定的,当汽车行驶速度比较快的时候,车辆周围的物体和摄像头之间距离在快速变化,导致车辆周围的物体在摄像头拍摄的视频图像中会比较模糊,这种情况给自动驾驶电脑系统分析汽车周围的环境造成了障碍。
5、自动驾驶汽车上的激光雷达的探测能力容易受到外界环境的影响。
在现有的自动驾驶技术方案中,激光雷达都是安装在汽车的车身外部,当遇到下雨、下雪等恶劣天气或外部尘土较多时,激光雷达将会被雨水、雪花或尘土遮挡,导致探测能力下降。在汽车通过颠簸的路面时,汽车产生的振动会降低激光雷达生成的激光点云的准确度。
6、汽车上的固定式摄像头和激光雷达难以识别汽车远处的体积较小的物体。
在车辆远处的体积较小的物体(如:前方道路上的石块)在摄像头拍摄的图像中较小,难以识别。激光雷达发射的激光束呈发散状,距离越远生成的激光点云越稀疏,因此难以探测到远处的体积较小的物体。
7、价格昂贵的激光雷达成为大规模制造自动驾驶汽车的障碍。
激光雷达可以为自动驾驶汽车提供可靠的3D环境信息,但是目前高性能的激光雷达价格昂贵。要使用激光雷达对汽车周围的环境实现360°扫描,则需要安装一个或数个高性能的激光雷达,需要增加数千至数万美元的成本,从而使得自动驾驶汽车的整体成本过高。
发明内容
本发明提出了一种具备主动探测功能的自动驾驶汽车环境感知系统,可以提高自动驾驶汽车感知周围环境的能力,从而提高了自动驾驶汽车的安全性和可靠性。
本发明为解决其技术问题采用如下技术方案:
一种具备主动探测功能的自动驾驶汽车环境感知系统,包括自动驾驶数据处理单元、固定式数码摄像头、GPS卫星定位模块和拟生电子眼,其中:固定式数码摄像头、GPS卫星定位模块和拟生电子眼分别与自动驾驶数据处理单元连接;
所述自动驾驶数据处理单元用于接收各种车载传感器输入的信息,并对获取到的各种信息进行分析和整合,从而实时生成汽车周围环境的信息;
所述固定式数码摄像头被固定安装在自动驾驶汽车上,至少包括一个朝向汽车前方的固定式数码摄像头、一个朝向汽车后方的固定式数码摄像头、一个朝向汽车左侧的固定式数码摄像头和一个朝向汽车右侧的固定式数码摄像头,这些摄像头拍摄的视频合成在一起,生成汽车周围360°的全景影像,被传输给自动驾驶数据处理单元(31);
所述GPS卫星定位模块用于向自动驾驶数据处理单元提供车辆的位置信息;
所述拟生电子眼安装在自动驾驶汽车的驾驶舱内部,用于将探测到的自动驾驶汽车周围环境的信息传送给自动驾驶数据处理单元并根据自动驾驶数据处理单元发出的指令适时调整自身参数。
该系统还包括毫米波雷达,所述毫米波雷达与自动驾驶数据处理单元连接。
所述拟生电子眼包括一个三轴增稳云台和安装在三轴增稳云台上的数码摄像头阵列,所述数码摄像头阵列包括两个或两个以上的数码摄像头模块,所述三轴增稳云台包括一个控制电路盒和一个安装板,所述安装板用于将拟生电子眼固定在自动驾驶汽车上,所述控制电路盒上有通讯接口,所述拟生电子眼通过通讯接口与自动驾驶数据处理单元相连接。
所述数码摄像头阵列包括两个或两个以上的数码摄像头模块。这些摄像头有不同的功能,自动驾驶数据处理单元可以根据需要调用合适的摄像头,从而使拟生电子眼具备较强的拍摄能力。比如,可以用焦距不同的数码摄像头来拍摄远近不同的对象,以增强对物体细节的观察能力。在夜晚光线不好的情况下,可以使用红外夜视摄像头来拍摄周围的物体。这些数码摄像头模块具有对焦功能,可以在自动驾驶数据处理单元的控制下对被拍摄对象实时对焦,以提高拍摄的视频图像的质量。
所述拟生电子眼中还包括一个小型激光雷达,小型激光雷达被安装在拟生电子眼中的三轴增稳云台上,小型激光雷达和数码摄像头阵列固连在一起,数码摄像头阵列的拍摄方向和小型激光雷达的探测方向一致,小型激光雷达通过数据线与自动驾驶数据处理单元连接。
所述小型激光雷达是MEMS激光雷达。
所述汽车包括所述的具备主动探测功能的自动驾驶汽车环境感知系统。
本发明的有益效果如下:
1、本发明中的拟生电子眼具有防抖功能,可以克服车辆在行驶中产生的颠簸,从而提高拟生电子眼中的数码摄像头阵列和激光雷达的探测能力。
2、本发明自动驾驶汽车环境感知系统能够根据需要,通过调整拟生电子眼的探测方向对汽车周围特定的目标进行重点观察,对移动的目标也能准确地跟踪观察。
3、本发明中的数码摄像头阵列包含多个不同焦距的摄像头,可以同时拍摄不同距离的物体,提高了自动驾驶汽车感知周围环境的效率。
4、本发明中的数码摄像头阵列包含多个摄像头,当阵列中的部分摄像头出现故障时,自动驾驶汽车环境感知系统将停用出现故障的摄像头,然后使用阵列中的其他摄像头继续拍摄,以保障汽车继续安全行驶,从而提高了自动驾驶汽车环境感知系统的鲁棒性。
5、本发明中的激光雷达安装在驾驶舱中,可以克服下雨、下雪等恶劣天气或外部尘土对激光雷达探测质量的影响,有较强的环境适应能力。
6、本发明使用体积小、成本低的激光雷达来探测汽车周围的环境,从而降低了自动驾驶汽车中激光雷达的成本。
附图说明
图1是本发明提供的自动驾驶汽车环境感知系统的硬件组成框图。
图2-1是本发明实施例提供的自动驾驶汽车正面视图,图中显示了拟生电子眼、毫米波雷达和向前的固定式摄像头在自动驾驶汽车中的位置,其中:10、自动驾驶汽车;11、汽车中央后视镜;21、毫米波雷达;22、固定式数码摄像头;23、拟生电子眼。
图2-2是本发明实施例提供的自动驾驶汽车侧视图,图中显示了左侧的固定式摄像头在自动驾驶汽车中的位置,其中:10、自动驾驶汽车;22、固定式数码摄像头。
图2-3是本发明实施例提供的自动驾驶汽车后视图,图中显示了向后的固定式摄像头在自动驾驶汽车中的位置,其中:10、自动驾驶汽车;22、固定式数码摄像头。
图2-4是本发明实施例提供的自动驾驶汽车俯视图,其中:10、自动驾驶汽车;22、固定式数码摄像头;23、拟生电子眼。
图2-5是本发明实施例提供的自动驾驶汽车立体图,其中:10、自动驾驶汽车;21、毫米波雷达;22、固定式数码摄像头;23、拟生电子眼。
图2-6是本发明实施例提供的自动驾驶汽车驾驶舱视图,图中显示了拟生电子眼在自动驾驶汽车中的位置,其中:11、汽车中央后视镜;12、驾驶舱;23、拟生电子眼。
图2-7是车辆坐标系示意图,X为汽车的长度方向,Y为汽车的宽度方向,Z为汽车的高度方向。
图3-1(a)是本发明实施例提供的A类拟生电子眼的仰视图,图3-1(b)是本发明实施例提供的A类拟生电子眼的右视图,图3-1(c)是本发明实施例提供的A类拟生电子眼的主视图,图3-1(d)是本发明实施例提供的A类拟生电子眼的左视图,图3-1(e)是本发明实施例提供的A类拟生电子眼的后视图,图3-1(f)是本发明实施例提供的A类拟生电子眼的俯视图,其中:235、控制电路盒;239、通讯接口;241、固定支架。
图3-2是本发明实施例提供的A类拟生电子眼的立体图,其中:231、航向轴电机;232、横滚轴电机;233、俯仰轴电机;234、安装板;235、控制电路盒;236、数码摄像头阵列;240、三轴增稳云台;241、固定支架;61、数码摄像头模块。
图4-1(a)是本发明实施例提供的C类拟生电子眼的仰视图,图4-1(b)是本发明实施例提供的C类拟生电子眼的右视图,图4-1(c)是本发明实施例提供的C类拟生电子眼的主视图,图4-1(d)是本发明实施例提供的C类拟生电子眼的左视图,图4-1(e)是本发明实施例提供的C类拟生电子眼的后视图,图4-1(f)是本发明实施例提供的C类拟生电子眼的俯视图,其中:235、控制电路盒;239、通讯接口,241、固定支架。
图4-2是本发明实施例提供的C类拟生电子眼的立体图,其中:231、航向轴电机;232、横滚轴电机;233、俯仰轴电机;234、安装板;235、控制电路盒;236、数码摄像头阵列;238、MEMS激光雷达;240、三轴增稳云台;61、数码摄像头模块。
具体实施方式
下面结合附图对本发明创造做进一步详细说明。
图1是自动驾驶汽车环境感知系统的硬件组成框图,自动驾驶汽车环境感知系统包括安装在自动驾驶汽车10中的自动驾驶数据处理单元31、多个固定式数码摄像头22、GPS卫星定位模块51和拟生电子眼23。
本实施例中的自动驾驶电脑系统采用美国英伟达公司(NVIDIA)的型号为NVIDIADRIVE AGX Pegasus的人工智能车载计算平台,该计算平台具备了汽车周围环境感知、数据综合分析、路径规划和车辆控制等功能。为方便说明,可将该计算平台视为包括了自动驾驶数据处理单元31、自动驾驶决策控制单元两个部分。自动驾驶数据处理单元31将生成的汽车周围环境的信息传输给自动驾驶决策控制单元。自动驾驶决策控制单元也可以根据需要向自动驾驶数据处理单元31发送指令,使自动驾驶汽车环境感知系统重点探测某些方位的目标。
如图2-1、图2-2、图2-3、图2-4、图2-5所示,四个固定式数码摄像头22安装在自动驾驶汽车10的车身四周。其中包括一个朝向汽车前方的固定式数码摄像头22,该摄像头安装在驾驶舱12内,位于汽车前挡风玻璃内侧,位于汽车中央后视镜11的背面,该摄像头用于拍摄汽车前方的环境;还包括一个朝向汽车后方的固定式数码摄像头22,该摄像头安装在自动驾驶汽车10的后挡风玻璃内侧,位于汽车后挡风玻璃上沿的中间位置,该摄像头用于拍摄汽车后方的环境;还包括两个分别安装在汽车左右两侧的固定式数码摄像头22,这两个摄像头分别安装于自动驾驶汽车10的两个B柱内,安装高度位于汽车侧面车窗玻璃的中间位置,这两个摄像头朝向车身外侧,用于拍摄汽车左右两侧的环境。这四个固定式数码摄像头22的焦距和拍摄角度都是固定的,这些固定式数码摄像头22均为广角摄像头,每个摄像头在水平方向上的拍摄范围为120°,相临的两个摄像头在水平方向上的拍摄范围互相衔接,这四个摄像头在水平方向上的拍摄范围可覆盖汽车周围360°的可视范围。这四个固定式数码摄像头22都通过视频数据线与自动驾驶数据处理单元31连接。
GPS卫星定位模块51安装在汽车内,GPS天线安装在车顶上,GPS卫星定位模块51通过数据线与自动驾驶数据处理单元31连接。GPS卫星定位模块51用于向自动驾驶数据处理单元31提供车辆的位置信息。在安装GPS天线时,要使GPS天线的接收面对着天空的方向,GPS天线上方不能有金属物体遮挡。
如图2-1、图2-4、图2-5、图2-6所示,将两个拟生电子眼23安装在自动驾驶汽车10的驾驶舱12内,具体安装方法为:将拟生电子眼23以倒置的方式固定安装在驾驶舱12内(倒置:三轴增稳云台240中的航向轴电机231在上方,俯仰轴电机233和横滚轴电机232在下方)。将拟生电子眼23安装在车顶前端的下方,拟生电子眼23与车顶纵向中心线的距离为车顶宽度的1/4(纵向:汽车的前后方向)。拟生电子眼23的安装位置要与汽车驾驶舱内的其他物体保持一定的距离,以便拟生电子眼23在自动驾驶数据处理单元31的控制下调整姿态。在安装拟生电子眼23时,要使三轴增稳云台240的航向轴与自动驾驶汽车10的底盘垂直。
拟生电子眼23中包括一个数码摄像头阵列236,数码摄像头阵列236中包括两个或两个以上的数码摄像头模块61。数码摄像头模块61具有对焦功能,可以在自动驾驶数据处理单元31的控制下对被拍摄对象实时对焦,以提高拍摄的视频图像的质量。在本实施例中,数码摄像头阵列236中包括三个定焦数码摄像头模块61,分别为广角摄像头、中焦摄像头和长焦摄像头,用于拍摄远近不同的对象。
自动驾驶汽车10上的四个固定式数码摄像头22与拟生电子眼23中的数码摄像头阵列236共同组成一个复合摄像头阵列。这个复合摄像头阵列中的两类摄像头的功能互相补充:1、四个固定式数码摄像头22可以拍摄汽车周围360°的环境。由于这些固定式数码摄像头22的焦距是固定的,处于摄像头“景深”范围内的物体在拍摄的视频图像中是清晰的,而处于摄像头“景深”范围外的物体在拍摄的视频图像中是不清晰的。2、对于需要重点观察的物体,可以通过自动驾驶数据处理单元31调用拟生电子眼23来跟踪拍摄,并根据被拍摄物体距离的远近选取合适的数码摄像头模块61拍摄的视频图像,同时通过数码摄像头模块61的实时对焦功能提高拍摄的视频图像的质量。3、由于拟生电子眼23中的三轴增稳云台240具备防抖功能,即使在车辆颠簸的情况下,通过拟生电子眼23仍然能够拍摄出清晰稳定的视频图像,弥补了四个固定式数码摄像头22在成像质量上的不足。
作为一种低成本的方案,也可以只在汽车驾驶舱12内安装一个拟生电子眼23。安装位置如图2-1、图2-4、图2-5、图2-6所示,把拟生电子眼23安装在自动驾驶汽车10的驾驶舱12内,可以选择安装在车顶纵向中心线的左侧或右侧位置。
本发明共提供了两种拟生电子眼,分别为A类拟生电子眼和C类拟生电子眼。
A类拟生电子眼包括一个三轴增稳云台240,在三轴增稳云台240上安装有数码摄像头阵列236。
如图3-1、图3-2所示,A类拟生电子眼包括一个三轴增稳云台240和一个数码摄像头阵列236,三轴增稳云台240中包括三个伺服电机,这些伺服电机分别负责云台在三个方向上的旋转。这三个伺服电机分别为航向轴电机231、横滚轴电机232、俯仰轴电机233,在这三个电机中均安装有磁性旋转编码器。俯仰轴电机233与固定支架241相连接,数码摄像头阵列236被安装在固定支架241上。拟生电子眼23中包含一个安装板234,安装板234的作用是将拟生电子眼23固定在自动驾驶汽车10上。拟生电子眼23中还包含一个控制电路盒235,控制电路盒235上有通讯接口239,拟生电子眼23通过通讯接口239与自动驾驶数据处理单元31相连接。A类拟生电子眼的上下方向是倒置的(倒置:三轴增稳云台240中的航向轴电机231在上方,俯仰轴电机233和横滚轴电机232在下方)。
A类拟生电子眼与自动驾驶数据处理单元31之间的通讯方式有:1、三轴增稳云台240通过控制电路盒235上的通讯接口239与自动驾驶数据处理单元31连接,自动驾驶数据处理单元31可以获取三轴增稳云台240的姿态数据,自动驾驶数据处理单元31可以向三轴增稳云台240发送指令来调整其姿态。2、数码摄像头阵列236通过数据线与自动驾驶数据处理单元31连接,数码摄像头阵列236通过数据线向自动驾驶数据处理单元31传输拍摄到的视频图像。3、自动驾驶数据处理单元31可以向数码摄像头阵列236中的摄像头61发送指令,使摄像头61对被拍摄对象实时对焦,从而提高拍摄的视频质量。
C类拟生电子眼是在A类拟生电子眼的基础上增加了一个MEMS激光雷达238。如图4-1、图4-2所示,C类拟生电子眼包括一个三轴增稳云台240和安装在固定支架241上的数码摄像头阵列236。C类拟生电子眼中还包括一个MEMS激光雷达238,MEMS激光雷达238和数码摄像头阵列236固连在一起,数码摄像头阵列236的拍摄方向和MEMS激光雷达238的探测方向一致。所述MEMS激光雷达238可以择优采用以下三家厂商的产品:(1)中国岭纬科技有限公司正在研制MEMS激光雷达,可以向该公司订制一款小型MEMS激光雷达。(2)中国速腾聚创科技有限公司正在研制MEMS激光雷达,可以向该公司订制一款小型MEMS激光雷达。(3)美国Velodyne Lidar公司正在研制MEMS激光雷达,可以向该公司订制一款小型MEMS激光雷达。
与A类拟生电子眼相比较,C类拟生电子眼与自动驾驶数据处理单元31之间增加了以下通讯方式:MEMS激光雷达238通过数据线与自动驾驶数据处理单元31连接,自动驾驶数据处理单元31可以向MEMS激光雷达238发送工作指令,MEMS激光雷达238可以将探测到的前方物体的信息传输给自动驾驶数据处理单元31。
将拟生电子眼23安装在汽车驾驶舱12内部,使拟生电子眼23可以透过汽车的前挡风玻璃、侧窗玻璃和后挡风玻璃来探测汽车周围的环境。具体安装方法为:将拟生电子眼23以倒置的方式固定安装在驾驶舱12内(倒置:三轴增稳云台240中的航向轴电机231在上方,俯仰轴电机233和横滚轴电机232在下方)。为取得较好的观测角度,将拟生电子眼23安装在车顶前端的下方,拟生电子眼23与车顶纵向中心线的距离为车顶宽度的1/4(纵向:汽车的前后方向)。拟生电子眼23的安装位置要与汽车驾驶舱12内的其他物体保持一定的距离,以便拟生电子眼23在自动驾驶数据处理单元31的控制下调整姿态。安装拟生电子眼23时要使三轴增稳云台240的航向轴与车辆的底盘垂直。将拟生电子眼23安装在汽车驾驶舱12内的优点是:1、避免拟生电子眼23受到汽车外部空气中灰尘的污染;2、避免拟生电子眼23在雨雪天气中被雨水或冰雪覆盖;3、降低高温或低温天气对拟生电子眼23性能的影响。
图2-7是车辆坐标系示意图。在车辆坐标系中,X为汽车的长度方向,Y为汽车的宽度方向,Z为汽车的高度方向。为了给自动驾驶提供决策依据,自动驾驶数据处理单元31需要将自动驾驶汽车10上的各类环境感知传感器生成的环境数据整合到车辆坐标系中,并通过融合计算生成汽车周围环境的3D模型。
由于拟生电子眼23可以在自动驾驶数据处理单元31的控制下调整姿态,要将拟生电子眼23生成的环境信息整合到车辆坐标系中,就需要实时计算拟生电子眼23的姿态。要计算拟生电子眼23的姿态,可以通过拟生电子眼23中的三个伺服电机的偏转角度计算。伺服电机的偏转角度是指伺服电机当前的位置与初始位置之间的夹角,伺服电机的偏转角度可以通过其内部的磁性旋转编码器测量。
为进一步提高自动驾驶汽车环境感知系统感知汽车周围环境的能力,还在自动驾驶汽车10上安装了毫米波雷达21。如图2-1、图2-5所示,把毫米波雷达21安装在自动驾驶汽车10前端的中间位置,毫米波雷达21左右两侧的中轴线距汽车两侧的距离相等。毫米波雷达21为77GHz毫米波雷达。毫米波雷达21的探测方向朝向汽车前方,用于探测汽车前方的目标信息(如:前方车辆的距离、速度和方位信息)。毫米波雷达21通过数据线与自动驾驶数据处理单元31相连接,将探测到的目标信息传输给自动驾驶数据处理单元31。
自动驾驶汽车环境感知系统的工作方法:自动驾驶数据处理单元31接收固定式数码摄像头22、拟生电子眼23、毫米波雷达21、GPS卫星定位模块51等各种传感器输入的信息,并对获取到的各种信息进行分析和整合,从而实时生成汽车周围环境的信息。自动驾驶数据处理单元31将生成的汽车周围环境信息传输给自动驾驶电脑系统中的自动驾驶决策控制单元。
自动驾驶决策控制单元根据汽车周围环境信息、交通规则、行车策略等决定汽车的动作,最后通过汽车的执行机构实现自动驾驶的功能。
自动驾驶决策控制单元也可以根据需要向自动驾驶数据处理单元31发送指令,使其重点探测某些方位的目标的信息。比如,在汽车准备右转弯的时候,自动驾驶决策控制单元会向自动驾驶数据处理单元31发送指令,要求其重点探测汽车右前方的信息。然后自动驾驶数据处理单元31向拟生电子眼23发出动作指令,将拟生电子眼23的探测方向调整为汽车右前方。
本发明实施例还提供了一种汽车,该汽车具有前述自动驾驶汽车环境感知系统。
以下是本发明提供的自动驾驶汽车环境感知系统的几个应用实例,可以体现本发明的优点:
应用实例一:自动驾驶汽车10以时速30KM的速度在颠簸的路面上行驶,由于自动驾驶汽车10在行驶时的振动比较大,安装于自动驾驶汽车10上的固定式数码摄像头22也产生比较大的振动,导致固定式数码摄像头22拍摄的视频图像比较模糊。为了分析路面状况,自动驾驶数据处理单元31需要获取车辆前方20米处的路面的清晰视频图像,但是朝向车辆前方的固定式数码摄像头22拍摄的视频质量较差,不能满足需要。为了解决这个问题,自动驾驶数据处理单元31向一个拟生电子眼23发出动作指令,使这个拟生电子眼23朝向汽车前方20米处的路面,然后调用了数码摄像头阵列236中的中焦摄像头模块61拍摄的视频图像。
应用实例二:自动驾驶汽车10以时速60KM的速度在公路上行驶,在汽车前方60米的路面上出现一个黑色的不明物体。在朝向汽车前方的固定式数码摄像头22拍摄的视频图像中可以发现该物体,但是该不明物体在视频图像中比较小而且不够清晰,自动驾驶数据处理单元31不能分辨该不明物体的类别,这种情况给行车安全带来了隐患。为了确定该不明物体的类别,自动驾驶数据处理单元31向拟生电子眼23发出动作指令,将拟生电子眼23的探测方向对准该不明物体,然后调用了数码摄像头阵列236中的长焦摄像头模块61拍摄的视频图像。由于自动驾驶汽车10仍然在向前方行驶,拟生电子眼23和该不明物体之间的相对位置在不断地变化。为了使拟生电子眼23对该不明物体持续准确地观察,自动驾驶数据处理单元31每隔0.1秒就计算一次拟生电子眼23和该不明物体之间的相对位置,并将需要调整的参数发送给拟生电子眼23,拟生电子眼23根据接收到的参数调整自身的探测方向,数码摄像头阵列236中的长焦摄像头模块61根据收到的参数自动对焦,以保持对该不明物体持续拍摄。自动驾驶数据处理单元31通过分析拟生电子眼23拍摄的视频图像,确定了该不明物体是石块。
应用实例三:自动驾驶汽车10以时速120KM的速度在高速公路上行驶,前方200米的路面上有一辆货车,为确保行车安全,需要测量该货车的行驶速度。由于该货车在固定式数码摄像头22拍摄的视频图像中比较小,很难判断该货车的行驶速度。这时自动驾驶数据处理单元31调用了C类拟生电子眼,将C类拟生电子眼的探测方向对准前方的货车。C类拟生电子眼中的MEMS激光雷达238的有效探测距离为200米,MEMS激光雷达238每隔0.1秒测量一次货车的距离,并将该距离数据发送给自动驾驶数据处理单元31。自动驾驶数据处理单元31通过分析自动驾驶汽车10的行驶速度和两车之间的距离变化,可以计算出前方货车的行驶速度。
应用实例四:在晚上21点,自动驾驶汽车10在拥挤的城市道路上行驶。由于路灯比较暗,汽车周围环境的光线比较差,自动驾驶汽车10上的固定式数码摄像头22拍摄的视频图像不够清晰。由于前方路况比较复杂,自动驾驶数据处理单元31需要尽可能多的获取前方车辆的位置、外形等信息。这时自动驾驶数据处理单元31调用了C类拟生电子眼,将C类拟生电子眼的探测方向朝向前方,并通过C类拟生电子眼上的MEMS激光雷达238来探测前方车辆的位置、外形等信息。
Claims (6)
1.一种具备主动探测功能的自动驾驶汽车环境感知系统,其特征在于,包括自动驾驶数据处理单元(31)、固定式数码摄像头(22)、GPS卫星定位模块(51)和拟生电子眼(23),其中:固定式数码摄像头(22)、GPS卫星定位模块(51)和拟生电子眼(23)分别与自动驾驶数据处理单元(31)连接;
所述自动驾驶数据处理单元(31)用于接收各种车载传感器输入的信息,并对获取到的各种信息进行分析和整合,从而实时生成汽车周围环境的信息;
所述固定式数码摄像头(22)被固定安装在自动驾驶汽车(10)上,至少包括一个朝向汽车前方的固定式数码摄像头、一个朝向汽车后方的固定式数码摄像头、一个朝向汽车左侧的固定式数码摄像头和一个朝向汽车右侧的固定式数码摄像头,这些摄像头拍摄的视频合成在一起,生成汽车周围360°的全景影像,被传输给自动驾驶数据处理单元(31);
所述GPS卫星定位模块(51)用于向自动驾驶数据处理单元(31)提供车辆的位置信息;
所述拟生电子眼(23)安装在自动驾驶汽车(10)的驾驶舱(12)内部,用于将探测到的自动驾驶汽车(10)周围环境的信息传送给自动驾驶数据处理单元(31)并根据自动驾驶数据处理单元(31)发出的指令适时调整自身参数。
2.根据权利要求1所述的一种具备主动探测功能的自动驾驶汽车环境感知系统,其特征在于,该系统还包括毫米波雷达,所述毫米波雷达与自动驾驶数据处理单元(31)连接。
3.根据权利要求1所述的一种具备主动探测功能的自动驾驶汽车环境感知系统,其特征在于,所述拟生电子眼(23)包括一个三轴增稳云台(240)和安装在三轴增稳云台(240)上的数码摄像头阵列(236),所述数码摄像头阵列(236)包括两个或两个以上的数码摄像头模块(61),所述三轴增稳云台(240)包括一个控制电路盒(235)和一个安装板(234),所述安装板(234)用于将拟生电子眼(23)固定在自动驾驶汽车(10)上,所述控制电路盒(235)上有通讯接口(239),所述拟生电子眼(23)通过通讯接口(239)与自动驾驶数据处理单元(31)相连接。
4.根据权利要求1所述的一种具备主动探测功能的自动驾驶汽车环境感知系统,其特征在于,所述拟生电子眼(23)中还包括一个小型激光雷达,小型激光雷达被安装在拟生电子眼(23)中的三轴增稳云台(240)上,小型激光雷达和数码摄像头阵列(236)固连在一起,数码摄像头阵列(236)的拍摄方向和小型激光雷达的探测方向一致,小型激光雷达通过数据线与自动驾驶数据处理单元(31)连接。
5.根据权利要求4所述的一种具备主动探测功能的自动驾驶汽车环境感知系统,其特征在于,所述小型激光雷达是MEMS激光雷达(238)。
6.一种汽车,其特征在于,所述汽车包括权利要求1至5任一项所述的具备主动探测功能的自动驾驶汽车环境感知系统。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2018101205539 | 2018-02-07 | ||
CN201810120553.9A CN108332716A (zh) | 2018-02-07 | 2018-02-07 | 一种自动驾驶汽车环境感知系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109373974A true CN109373974A (zh) | 2019-02-22 |
Family
ID=62926979
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810120553.9A Pending CN108332716A (zh) | 2018-02-07 | 2018-02-07 | 一种自动驾驶汽车环境感知系统 |
CN201811631837.0A Pending CN109373974A (zh) | 2018-02-07 | 2018-12-29 | 一种具备主动探测功能的自动驾驶汽车环境感知系统 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810120553.9A Pending CN108332716A (zh) | 2018-02-07 | 2018-02-07 | 一种自动驾驶汽车环境感知系统 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN108332716A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112697457A (zh) * | 2020-12-14 | 2021-04-23 | 中国科学院国家空间科学中心 | 一种基于深度学习的车辆自主检测与控制系统 |
EP4016184A1 (en) * | 2020-12-16 | 2022-06-22 | Volvo Car Corporation | Camera mount assembly for incremental angle measurement in three axes |
EP4095548A1 (en) * | 2021-05-28 | 2022-11-30 | Beijing Tusen Zhitu Technology Co., Ltd. | Sensor layout of vehicles |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108332716A (zh) * | 2018-02-07 | 2018-07-27 | 徐州艾特卡电子科技有限公司 | 一种自动驾驶汽车环境感知系统 |
CN110827337B (zh) * | 2018-08-08 | 2023-01-24 | 深圳地平线机器人科技有限公司 | 确定车载相机的姿态的方法、装置和电子设备 |
CN109188932A (zh) * | 2018-08-22 | 2019-01-11 | 吉林大学 | 一种面向智能驾驶的多摄像头在环仿真测试方法及系统 |
CN109061606A (zh) * | 2018-09-19 | 2018-12-21 | 深圳市速腾聚创科技有限公司 | 智能感知激光雷达系统及智能感知激光雷达控制方法 |
CN109151334B (zh) * | 2018-09-21 | 2020-12-22 | 中国计量大学 | 一种无人车相机系统 |
JP7187949B2 (ja) * | 2018-09-28 | 2022-12-13 | トヨタ自動車株式会社 | 拘束装置制御システム |
CN109253720B (zh) * | 2018-10-30 | 2020-04-24 | 上海禾赛光电科技有限公司 | 一种摄像头与激光雷达融合系统 |
CN109521772A (zh) * | 2018-11-27 | 2019-03-26 | 北京小马智行科技有限公司 | 一种车载环境图像采集系统和方法 |
CN109375635A (zh) * | 2018-12-20 | 2019-02-22 | 安徽江淮汽车集团股份有限公司 | 一种自动驾驶汽车道路环境感知系统及方法 |
CN109959943A (zh) * | 2019-03-06 | 2019-07-02 | 广州文远知行科技有限公司 | 汽车自动驾驶监测识别装置 |
CN111683220A (zh) * | 2019-03-11 | 2020-09-18 | 武汉小狮科技有限公司 | 一种基于4路定焦摄像头和1路云台变焦摄像头的无人驾驶车辆监控和接管方案 |
CN110239592A (zh) * | 2019-07-03 | 2019-09-17 | 中铁轨道交通装备有限公司 | 一种轨道车辆主动式障碍物及脱轨检测系统 |
CN110672111B (zh) * | 2019-09-24 | 2021-06-25 | 广州大学 | 车辆行车路径规划方法、装置、系统、介质和设备 |
CN110794877B (zh) * | 2019-11-22 | 2020-10-13 | 北京理工大学 | 一种车载摄像头云台伺服系统及控制方法 |
US11557127B2 (en) | 2019-12-30 | 2023-01-17 | Waymo Llc | Close-in sensing camera system |
US11493922B1 (en) | 2019-12-30 | 2022-11-08 | Waymo Llc | Perimeter sensor housings |
CN111959409B (zh) * | 2020-07-29 | 2022-10-18 | 北京三快在线科技有限公司 | 云台调节方法、存储介质、电子设备及车辆 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1287532A (zh) * | 1998-10-08 | 2001-03-14 | 松下电器产业株式会社 | 驾驶操作辅助器及记录媒体 |
JP2006079346A (ja) * | 2004-09-09 | 2006-03-23 | Nissan Motor Co Ltd | 車両周囲物体検出装置 |
CN205081810U (zh) * | 2015-10-16 | 2016-03-09 | 无锡中科光电技术有限公司 | 一种地空一体化扬尘监测系统 |
CN106647790A (zh) * | 2016-12-27 | 2017-05-10 | 重庆大学 | 面向复杂环境的四旋翼无人机飞行器系统及飞行方法 |
CN206623754U (zh) * | 2017-02-14 | 2017-11-10 | 驭势科技(北京)有限公司 | 车道线检测装置 |
CN107351785A (zh) * | 2017-07-12 | 2017-11-17 | 奇瑞汽车股份有限公司 | 车辆周围环境感知系统 |
CN108332716A (zh) * | 2018-02-07 | 2018-07-27 | 徐州艾特卡电子科技有限公司 | 一种自动驾驶汽车环境感知系统 |
-
2018
- 2018-02-07 CN CN201810120553.9A patent/CN108332716A/zh active Pending
- 2018-12-29 CN CN201811631837.0A patent/CN109373974A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1287532A (zh) * | 1998-10-08 | 2001-03-14 | 松下电器产业株式会社 | 驾驶操作辅助器及记录媒体 |
JP2006079346A (ja) * | 2004-09-09 | 2006-03-23 | Nissan Motor Co Ltd | 車両周囲物体検出装置 |
CN205081810U (zh) * | 2015-10-16 | 2016-03-09 | 无锡中科光电技术有限公司 | 一种地空一体化扬尘监测系统 |
CN106647790A (zh) * | 2016-12-27 | 2017-05-10 | 重庆大学 | 面向复杂环境的四旋翼无人机飞行器系统及飞行方法 |
CN206623754U (zh) * | 2017-02-14 | 2017-11-10 | 驭势科技(北京)有限公司 | 车道线检测装置 |
CN107351785A (zh) * | 2017-07-12 | 2017-11-17 | 奇瑞汽车股份有限公司 | 车辆周围环境感知系统 |
CN108332716A (zh) * | 2018-02-07 | 2018-07-27 | 徐州艾特卡电子科技有限公司 | 一种自动驾驶汽车环境感知系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112697457A (zh) * | 2020-12-14 | 2021-04-23 | 中国科学院国家空间科学中心 | 一种基于深度学习的车辆自主检测与控制系统 |
CN112697457B (zh) * | 2020-12-14 | 2022-11-01 | 中国科学院国家空间科学中心 | 一种基于深度学习的车辆自主检测与控制系统 |
EP4016184A1 (en) * | 2020-12-16 | 2022-06-22 | Volvo Car Corporation | Camera mount assembly for incremental angle measurement in three axes |
US11523033B2 (en) | 2020-12-16 | 2022-12-06 | Volvo Car Corporation | Camera mount assembly for incremental angle measurement in three axes |
EP4095548A1 (en) * | 2021-05-28 | 2022-11-30 | Beijing Tusen Zhitu Technology Co., Ltd. | Sensor layout of vehicles |
Also Published As
Publication number | Publication date |
---|---|
CN108332716A (zh) | 2018-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109373974A (zh) | 一种具备主动探测功能的自动驾驶汽车环境感知系统 | |
AU2021200258B2 (en) | Multiple operating modes to expand dynamic range | |
US11402845B2 (en) | Wide-view LIDAR with areas of special attention | |
CN113002396B (zh) | 一种用于自动驾驶矿用车辆的环境感知系统及矿用车辆 | |
US20210191399A1 (en) | Real-Time Adjustment Of Vehicle Sensor Field Of View Volume | |
KR20150108891A (ko) | 운전 모드 조정 | |
JP2021508960A (ja) | 自動運転車両の画像捕捉デバイスが遭遇する光の範囲を制御するための方法およびシステム | |
CN103204104B (zh) | 一种车辆全视角驾驶监控系统及方法 | |
CN113085896B (zh) | 一种现代有轨清洁车辅助自动驾驶系统及方法 | |
US20230152458A1 (en) | Lidar System with Gyroscope-Aided Focus Steering | |
EP4180835A1 (en) | Calibration of sensors in autonomous vehicle applications | |
US11919451B2 (en) | Vehicle data display system | |
EP4013653A1 (en) | Onboard cluster tracking system | |
US20230324521A1 (en) | Pulse Energy Plan for Light Detection and Ranging (Lidar) Devices Based on Areas of Interest and Thermal Budgets | |
CN115195625A (zh) | 一种车载感知装置及车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20190429 Address after: 221700 Linfu District, Fengxian County, Xuzhou City, Jiangsu Province, 2-5-402 Applicant after: Wei Fanjing Applicant after: Wei Lei Address before: Room 514, Block I, Science Park, Xuzhou University of Engineering, Quanshan District, Xuzhou City, Jiangsu Province, 221008 Applicant before: Xuzhou Aite card electronic technology Co. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190222 |