CN111413983A - 一种无人驾驶车辆的环境感知方法及控制端 - Google Patents

一种无人驾驶车辆的环境感知方法及控制端 Download PDF

Info

Publication number
CN111413983A
CN111413983A CN202010267706.XA CN202010267706A CN111413983A CN 111413983 A CN111413983 A CN 111413983A CN 202010267706 A CN202010267706 A CN 202010267706A CN 111413983 A CN111413983 A CN 111413983A
Authority
CN
China
Prior art keywords
surrounding
data
millimeter wave
vehicle
peripheral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010267706.XA
Other languages
English (en)
Inventor
林特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Shenghai Intelligent Technology Co ltd
Original Assignee
Jiangsu Shenghai Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Shenghai Intelligent Technology Co ltd filed Critical Jiangsu Shenghai Intelligent Technology Co ltd
Priority to CN202010267706.XA priority Critical patent/CN111413983A/zh
Publication of CN111413983A publication Critical patent/CN111413983A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种无人驾驶车辆的环境感知方法及控制端,将位于车辆四周的视觉传感器所发送的四周图像数据、位于车辆四周的毫米波雷达传感器所发送的四周毫米波数据以及位于车辆车顶的激光雷达传感器所发送的四周点云数据进行图像融合处理,建立三维周边环境模型;根据周边环境模型获取道路上所有物体的属性信息,根据道路上所有物体的属性信息生成驾驶决策。本发明通过激光雷达传感器、视觉传感器和毫米波雷达传感器的优劣互补,从而形成完善且稳定可靠的环境感知系统。

Description

一种无人驾驶车辆的环境感知方法及控制端
技术领域
本发明涉及无人驾驶技术领域,特别涉及一种无人驾驶车辆的环境感知方法及控制端。
背景技术
近年来,随着各传感器的高速发展,无人驾驶技术的不断革新,越来越多的传感器被用在无人驾驶车辆上,无人驾驶车辆对环境的感知是实现真正无人驾驶必不可少的部分,在无人驾驶过程中路面上难免会出现突发情况使无人驾驶车辆无法继续沿原先规划的路线行驶,如各种障碍物,凹坑等,这时若无人驾驶车辆没有相应的环境感知系统则无法判断在道路上遇到的突发情况,若继续行驶将造成重大的安全事故。
所以环境感知系统是自主无人驾驶进行自主避障驾驶的实现基础,而如今的环境感知系统都存在有一定的缺陷,从而制约了无人驾驶的发展。
发明内容
本发明所要解决的技术问题是:提供一种无人驾驶车辆的环境感知方法及控制端,以形成完善且稳定可靠的环境感知系统。
为了解决上述技术问题,本发明采用的技术方案为:
一种无人驾驶车辆的环境感知方法,包括步骤:
S1、将位于车辆四周的视觉传感器所发送的四周图像数据、位于车辆四周的毫米波雷达传感器所发送的四周毫米波数据以及位于车辆车顶的激光雷达传感器所发送的四周点云数据进行图像融合处理,建立三维周边环境模型;
S2、根据所述周边环境模型获取道路上所有物体的属性信息,根据所述道路上所有物体的属性信息生成驾驶决策。
为了解决上述技术问题,本发明采用的另一种技术方案为:
一种无人驾驶车辆的环境感知控制端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
S1、将位于车辆四周的视觉传感器所发送的四周图像数据、位于车辆四周的毫米波雷达传感器所发送的四周毫米波数据以及位于车辆车顶的激光雷达传感器所发送的四周点云数据进行图像融合处理,建立三维周边环境模型;
S2、根据所述周边环境模型获取道路上所有物体的属性信息,根据所述道路上所有物体的属性信息生成驾驶决策。
本发明的有益效果在于:一种无人驾驶车辆的环境感知方法及控制端,在无人驾驶过程中,通过将位于车辆四周的视觉传感器、毫米波雷达传感器和激光雷达传感器所发送的传感数据进行图像融合处理,以实时且高度还原出无人驾驶车辆的周边环境。其中,激光雷达传感器的分辨率高、抗干扰能力强且获取的数据信息丰富可实现快速空间建模;视觉传感器能够分辨颜色,实现对物体的测距;毫米波雷达传感器的全天候性好,不受各种不良天气光线等因素影响,能够很好的弥补激光雷达传感器与视觉传感器在这方面的劣势,即通过激光雷达传感器、视觉传感器和毫米波雷达传感器的优劣互补,从而形成完善且稳定可靠的环境感知系统。
附图说明
图1为本发明实施例的一种无人驾驶车辆的环境感知方法的流程示意图;
图2为本发明实施例的一种无人驾驶车辆的环境感知控制端的结构示意图。
标号说明:
1、一种无人驾驶车辆的环境感知控制端;2、处理器;3、存储器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图予以说明。
请参照图1,一种无人驾驶车辆的环境感知方法,包括步骤:
S1、将位于车辆四周的视觉传感器所发送的四周图像数据、位于车辆四周的毫米波雷达传感器所发送的四周毫米波数据以及位于车辆车顶的激光雷达传感器所发送的四周点云数据进行图像融合处理,建立三维周边环境模型;
S2、根据所述周边环境模型获取道路上所有物体的属性信息,根据所述道路上所有物体的属性信息生成驾驶决策。
从上述描述可知,本发明的有益效果在于:在无人驾驶过程中,通过将位于车辆四周的视觉传感器、毫米波雷达传感器和激光雷达传感器所发送的传感数据进行图像融合处理,以实时且高度还原出无人驾驶车辆的周边环境。其中,激光雷达传感器的分辨率高、抗干扰能力强且获取的数据信息丰富可实现快速空间建模;视觉传感器能够分辨颜色,实现对物体的测距;毫米波雷达传感器的全天候性好,不受各种不良天气光线等因素影响,能够很好的弥补激光雷达传感器与视觉传感器在这方面的劣势,即通过激光雷达传感器、视觉传感器和毫米波雷达传感器的优劣互补,从而形成完善且稳定可靠的环境感知系统。
进一步地,所述步骤S1具体包括以下步骤:
S11、接收位于车辆前方的双目摄像头所发送的前方双目图像数据、位于车辆两侧的单目摄像头所发送的两侧单目图像数据以及位于车辆后方的单目摄像头所发送的后方单目图像数据,以得到四周图像数据;
S12、接收位于车辆前方和后方的毫米波雷达传感器所发送的前方毫米波点云数据和后方毫米波点云数据,以得到四周毫米波数据;
S13、接收位于车辆车顶的激光雷达传感器所发送的四周点云数据;
S14、从所述四周点云数据中提取重要特征点,从所述四周图像数据和所述四周毫米波数据中找到与所述重要特征点相对应的相同特征点,基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合,得到带有色彩、大小、类型和距离的三维周边环境模型。
从上述描述可知,设置在前方的双目摄像头能轻松实现对物体的测距,同时,通过激光雷达传感器所获取的丰富数据信息来实现快速空间建模,通过寻找特征点来实现数据融合,从而还原出更加接近现实环境的三维模型。
进一步地,所述步骤S14具体包括以下步骤:
从所述四周点云数据中提取重要特征点,从所述四周图像数据和所述四周毫米波数据中找到与所述重要特征点相对应的相同特征点;
基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行交叉误差计算,得到三组误差数据,根据三组误差数据得到最终误差数据,将所述四周点云数据、所述四周毫米波数据和所述四周图像数据分别与所述最终误差数据进行优化处理,得到优化后的所述四周点云数据、所述四周毫米波数据和所述四周图像数据;
将优化后的所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合,以得到带有色彩、大小、类型和距离的三维周边环境模型,所述三维周边环境模型根据四周毫米波数据对雷达范围内的所有物体的距离和大小进行实时校准。
从上述描述可知,通过将三种环境传感数据进行误差衰减计算,从而更好的对三种传感数据进行融合并保证融合后的三维模型能高度还原现实环境;同时,毫米波雷达传感器的测量速度较快,在判断前方道路上存在障碍物时,毫米波雷达的传感数据会较激光雷达和图像数据先到,因此,三维周边环境模型里的物体的距离、大小根据毫米波雷达传感器的测量数据进行实时校准,以确保对现实环境的实时还原。
进一步地,所述步骤S1中“基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合”具体包括以下步骤:
依靠授时定位模块对摄像头、毫米波雷达传感器和激光雷达传感器进行时间授时;
基于所述相同特征点来对位于同一时刻的所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合。
从上述描述可知,三种传感数据之间的实时融合依靠授时定位模块来进行时间授时,以确保各传感器所采集融合的环境传感数据是同一时刻的数据,避免不同时刻的环境传感数据进行融合导致融合数据出错的情况,从而还原出更加接近现实环境的三维模型。
进一步地,所所述步骤S2具体包括以下步骤:
根据所述周边环境模型获取道路上所有物体的类型、距离、大小和运动状态;
若所述道路上的物体为静止的非活体小物体时,则判别为低风险,自动执行躲避所述非活体小物体的操作;
若所述道路上的物体为静止的非活体大物体时,则判别为中风险,并判断所述道路上是否存在可以绕开所述非活体大物体的可规避道路,若有,则沿着所述可规避道路进行行驶,否则提前发出刹车指令以规避所述非活体大物体;
若所述道路上的物体为活体生物时,则判别为高风险,根据所述活体生物的实时运动轨迹来预测所述活体生物的未来运动轨迹,判断所述活体生物的未来运动轨迹与所述车辆的未来行驶轨迹是否存在重合,若存在重合,则根据所述活体生物与所述车辆在重合位置的时间点来进一步预判所述活体生物是否会与所述车辆进行碰撞,若存在碰撞的可能性,则发出减速指令或停车指令以规避所述活体生物。
从上述描述可知,根据道路上所有物体的类型、距离、大小和运动状态来进行相应的驾驶决策,以规避道路上的物体对无人驾驶所造成的安全风险,从而保证无人驾驶过程中的安全性能。
请参照图2,一种无人驾驶车辆的环境感知控制端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
S1、将位于车辆四周的视觉传感器所发送的四周图像数据、位于车辆四周的毫米波雷达传感器所发送的四周毫米波数据以及位于车辆车顶的激光雷达传感器所发送的四周点云数据进行图像融合处理,建立三维周边环境模型;
S2、根据所述周边环境模型获取道路上所有物体的属性信息,根据所述道路上所有物体的属性信息生成驾驶决策。
从上述描述可知,本发明的有益效果在于:在无人驾驶过程中,通过将位于车辆四周的视觉传感器、毫米波雷达传感器和激光雷达传感器所发送的传感数据进行图像融合处理,以实时且高度还原出无人驾驶车辆的周边环境。其中,激光雷达传感器的分辨率高、抗干扰能力强且获取的数据信息丰富可实现快速空间建模;视觉传感器能够分辨颜色,实现对物体的测距;毫米波雷达传感器的全天候性好,不受各种不良天气光线等因素影响,能够很好的弥补激光雷达传感器与视觉传感器在这方面的劣势,即通过激光雷达传感器、视觉传感器和毫米波雷达传感器的优劣互补,从而形成完善且稳定可靠的环境感知系统。
进一步地,所述处理器执行所述计算机程序所述步骤S1时具体包括以下步骤:
S11、接收位于车辆前方的双目摄像头所发送的前方双目图像数据、位于车辆两侧的单目摄像头所发送的两侧单目图像数据以及位于车辆后方的单目摄像头所发送的后方单目图像数据,以得到四周图像数据;
S12、接收位于车辆前方和后方的毫米波雷达传感器所发送的前方毫米波点云数据和后方毫米波点云数据,以得到四周毫米波数据;
S13、接收位于车辆车顶的激光雷达传感器所发送的四周点云数据;
S14、从所述四周点云数据中提取重要特征点,从所述四周图像数据和所述四周毫米波数据中找到与所述重要特征点相对应的相同特征点,基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合,得到带有色彩、大小、类型和距离的三维周边环境模型。
从上述描述可知,设置在前方的双目摄像头能轻松实现对物体的测距,同时,通过激光雷达传感器所获取的丰富数据信息来实现快速空间建模,通过寻找特征点来实现数据融合,从而还原出更加接近现实环境的三维模型。
进一步地,所述处理器执行所述计算机程序的所述步骤S14时具体包括以下步骤:
从所述四周点云数据中提取重要特征点,从所述四周图像数据和所述四周毫米波数据中找到与所述重要特征点相对应的相同特征点;
基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行交叉误差计算,得到三组误差数据,根据三组误差数据得到最终误差数据,将所述四周点云数据、所述四周毫米波数据和所述四周图像数据分别与所述最终误差数据进行优化处理,得到优化后的所述四周点云数据、所述四周毫米波数据和所述四周图像数据;
将优化后的所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合,以得到带有色彩、大小、类型和距离的三维周边环境模型,所述三维周边环境模型根据四周毫米波数据对雷达范围内的所有物体的距离和大小进行实时校准。
从上述描述可知,通过将三种环境传感数据进行误差衰减计算,从而更好的对三种传感数据进行融合并保证融合后的三维模型能高度还原现实环境;同时,毫米波雷达传感器的测量速度较快,在判断前方道路上存在障碍物时,毫米波雷达的传感数据会较激光雷达和图像数据先到,因此,三维周边环境模型里的物体的距离、大小根据毫米波雷达传感器的测量数据进行实时校准,以确保对现实环境的实时还原。
进一步地,所述处理器执行所述计算机程序的所述步骤S1中“基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合”时具体包括以下步骤:
依靠授时定位模块对摄像头、毫米波雷达传感器和激光雷达传感器进行时间授时;
基于所述相同特征点来对位于同一时刻的所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合。
从上述描述可知,三种传感数据之间的实时融合依靠授时定位模块来进行时间授时,以确保各传感器所采集融合的环境传感数据是同一时刻的数据,避免不同时刻的环境传感数据进行融合导致融合数据出错的情况,从而还原出更加接近现实环境的三维模型。
进一步地,所述处理器执行所述计算机程序的所述步骤S2时具体包括以下步骤:
根据所述周边环境模型获取道路上所有物体的类型、距离、大小和运动状态;
若所述道路上的物体为静止的非活体小物体时,则判别为低风险,自动执行躲避所述非活体小物体的操作;
若所述道路上的物体为静止的非活体大物体时,则判别为中风险,并判断所述道路上是否存在可以绕开所述非活体大物体的可规避道路,若有,则沿着所述可规避道路进行行驶,否则提前发出刹车指令以规避所述非活体大物体;
若所述道路上的物体为活体生物时,则判别为高风险,根据所述活体生物的实时运动轨迹来预测所述活体生物的未来运动轨迹,判断所述活体生物的未来运动轨迹与所述车辆的未来行驶轨迹是否存在重合,若存在重合,则根据所述活体生物与所述车辆在重合位置的时间点来进一步预判所述活体生物是否会与所述车辆进行碰撞,若存在碰撞的可能性,则发出减速指令或停车指令以规避所述活体生物。
从上述描述可知,根据道路上所有物体的类型、距离、大小和运动状态来进行相应的驾驶决策,以规避道路上的物体对无人驾驶所造成的安全风险,从而保证无人驾驶过程中的安全性能。
请参照图1,本发明的实施例一为:
一种无人驾驶车辆的环境感知方法,包括步骤:
S1、将位于车辆四周的视觉传感器所发送的四周图像数据、位于车辆四周的毫米波雷达传感器所发送的四周毫米波数据以及位于车辆车顶的激光雷达传感器所发送的四周点云数据进行图像融合处理,建立三维周边环境模型;
在本实施例中,步骤S1具体包括以下步骤:
S11、接收位于车辆前方的双目摄像头所发送的前方双目图像数据、位于车辆两侧的单目摄像头所发送的两侧单目图像数据以及位于车辆后方的单目摄像头所发送的后方单目图像数据,以得到四周图像数据,其中,图像数据能分辨颜色,并通过双目摄像头来实现对物体的测距;
S12、接收位于车辆前方和后方的毫米波雷达传感器所发送的前方毫米波点云数据和后方毫米波点云数据,以得到四周毫米波数据,毫米波雷达传感器的全天候性好,不受各种不良天气光线等因素影响,能够很好的弥补激光雷达传感器与摄像头在这方面的劣势;
S13、接收位于车辆车顶的激光雷达传感器所发送的四周点云数据,激光雷达传感器的分辨率高、抗干扰能力强且获取的数据信息丰富可实现快速空间建模;
S14、从四周点云数据中提取重要特征点,从四周图像数据和四周毫米波数据中找到与重要特征点相对应的相同特征点,基于相同特征点来对四周点云数据、四周毫米波数据和四周图像数据进行数据融合,得到带有色彩、大小、类型和距离的三维周边环境模型,从而高度还原车辆周边环境,不仅能同时感知近处和远处的环境,同时环境还原度高,实时性高,能够高效的处理各种环境的突发情况,这为无人驾驶创造了良好的条件。
其中,步骤S14具体包括以下步骤:
从四周点云数据中提取重要特征点,从四周图像数据和四周毫米波数据中找到与重要特征点相对应的相同特征点;
基于相同特征点来对四周点云数据、四周毫米波数据和四周图像数据进行交叉误差计算,得到三组误差数据,根据三组误差数据得到最终误差数据,将四周点云数据、四周毫米波数据和四周图像数据分别与最终误差数据进行优化处理,得到优化后的四周点云数据、四周毫米波数据和四周图像数据;
将优化后的四周点云数据、四周毫米波数据和四周图像数据进行数据融合,以得到带有色彩、大小、类型和距离的三维周边环境模型,三维周边环境模型根据四周毫米波数据对雷达范围内的所有物体的距离和大小进行实时校准,以保证能实时还原现实环境。
在本实施例中,在对四周点云数据、四周毫米波数据和四周图像数据进行数据融合时”具体包括以下步骤:
依靠授时定位模块对摄像头、毫米波雷达传感器和激光雷达传感器进行时间授时;
基于相同特征点来对位于同一时刻的四周点云数据、四周毫米波数据和四周图像数据进行数据融合,即通过时间授时,以确保各传感器所采集融合的数据是同一时刻的数据。
S2、根据周边环境模型获取道路上所有物体的属性信息,根据道路上所有物体的属性信息生成驾驶决策。
在本实施例中,所步骤S2具体包括以下步骤:
根据周边环境模型获取道路上所有物体的类型、距离、大小和运动状态;
若道路上的物体为静止的非活体小物体时,则判别为低风险,自动执行躲避非活体小物体的操作;
若道路上的物体为静止的非活体大物体时,则判别为中风险,并判断道路上是否存在可以绕开非活体大物体的可规避道路,若有,则沿着可规避道路进行行驶,否则提前发出刹车指令以规避非活体大物体;
若道路上的物体为活体生物时,则判别为高风险,根据活体生物的实时运动轨迹来预测活体生物的未来运动轨迹,判断活体生物的未来运动轨迹与车辆的未来行驶轨迹是否存在重合,若存在重合,则根据活体生物与车辆在重合位置的时间点来进一步预判活体生物是否会与车辆进行碰撞,若存在碰撞的可能性,则发出减速指令或停车指令以规避活体生物。
即根据物体的类型、距离、大小和运动状态来提供相应的驾驶决策,以更好的保证无人驾驶的安全性。
请参照图2,本发明的实施例二为:
一种无人驾驶车辆的环境感知控制端1,包括存储器3、处理器2及存储在存储器3上并可在处理器2上运行的计算机程序,处理器2执行计算机程序时实现上述实施例一中的步骤。
一种无人驾驶车辆的环境感知控制端1与无人驾驶车辆上的双目摄像头、多个单目摄像头、毫米波雷达传感器和激光雷达传感器组成一个环境感知系统,其中,处理器可以选用NVIDIA Jetson TX2,整个环境感知系统通过CAN总线与无人驾驶车辆的基础无人线控系统进行连接,以控制车辆及时规避风险,来保证无人驾驶的安全性。
综上所述,本发明提供的一种无人驾驶车辆的环境感知方法及控制端,在无人驾驶过程中,通过激光雷达传感器所获取的丰富数据信息来实现快速空间建模,通过寻找特征点并将双目摄像头、多个单目摄像头、毫米波雷达传感器和激光雷达传感器所发送的多种传感数据进行误差衰减计算后来进行数据融合,并根据毫米波雷达传感器的测量数据进行实时校准,以实时且高度还原出无人驾驶车辆的周边环境。并在还原出周边环境后,实时监测道路上的物体,并根据道路上所有物体的类型、距离、大小和运动状态来进行相应的驾驶决策,以规避道路上的物体对无人驾驶所造成的安全风险,从而保证无人驾驶过程中的安全性能。其中,激光雷达传感器的分辨率高、抗干扰能力强且获取的数据信息丰富可实现快速空间建模;视觉传感器能够分辨颜色,双目摄像头可以轻松实现对物体的测距;毫米波雷达传感器的全天候性好,测量速度快,且不受各种不良天气光线等因素影响,能够很好的弥补激光雷达传感器与视觉传感器在这方面的劣势,即通过激光雷达传感器、视觉传感器和毫米波雷达传感器的优劣互补,从而形成完善且稳定可靠的环境感知系统。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种无人驾驶车辆的环境感知方法,其特征在于,包括步骤:
S1、将位于车辆四周的视觉传感器所发送的四周图像数据、位于车辆四周的毫米波雷达传感器所发送的四周毫米波数据以及位于车辆车顶的激光雷达传感器所发送的四周点云数据进行图像融合处理,建立三维周边环境模型;
S2、根据所述周边环境模型获取道路上所有物体的属性信息,根据所述道路上所有物体的属性信息生成驾驶决策。
2.根据权利要求1所述的一种无人驾驶车辆的环境感知方法,其特征在于,所述步骤S1具体包括以下步骤:
S11、接收位于车辆前方的双目摄像头所发送的前方双目图像数据、位于车辆两侧的单目摄像头所发送的两侧单目图像数据以及位于车辆后方的单目摄像头所发送的后方单目图像数据,以得到四周图像数据;
S12、接收位于车辆前方和后方的毫米波雷达传感器所发送的前方毫米波点云数据和后方毫米波点云数据,以得到四周毫米波数据;
S13、接收位于车辆车顶的激光雷达传感器所发送的四周点云数据;
S14、从所述四周点云数据中提取重要特征点,从所述四周图像数据和所述四周毫米波数据中找到与所述重要特征点相对应的相同特征点,基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合,得到带有色彩、大小、类型和距离的三维周边环境模型。
3.根据权利要求2所述的一种无人驾驶车辆的环境感知方法,其特征在于,所述步骤S14具体包括以下步骤:
从所述四周点云数据中提取重要特征点,从所述四周图像数据和所述四周毫米波数据中找到与所述重要特征点相对应的相同特征点;
基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行交叉误差计算,得到三组误差数据,根据三组误差数据得到最终误差数据,将所述四周点云数据、所述四周毫米波数据和所述四周图像数据分别与所述最终误差数据进行优化处理,得到优化后的所述四周点云数据、所述四周毫米波数据和所述四周图像数据;
将优化后的所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合,以得到带有色彩、大小、类型和距离的三维周边环境模型,所述三维周边环境模型根据四周毫米波数据对雷达范围内的所有物体的距离和大小进行实时校准。
4.根据权利要求2所述的一种无人驾驶车辆的环境感知方法,其特征在于,所述步骤S1中“基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合”具体包括以下步骤:
依靠授时定位模块对摄像头、毫米波雷达传感器和激光雷达传感器进行时间授时;
基于所述相同特征点来对位于同一时刻的所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合。
5.根据权利要求1所述的一种无人驾驶车辆的环境感知方法,其特征在于,所述步骤S2具体包括以下步骤:
根据所述周边环境模型获取道路上所有物体的类型、距离、大小和运动状态;
若所述道路上的物体为静止的非活体小物体时,则判别为低风险,自动执行躲避所述非活体小物体的操作;
若所述道路上的物体为静止的非活体大物体时,则判别为中风险,并判断所述道路上是否存在可以绕开所述非活体大物体的可规避道路,若有,则沿着所述可规避道路进行行驶,否则提前发出刹车指令以规避所述非活体大物体;
若所述道路上的物体为活体生物时,则判别为高风险,根据所述活体生物的实时运动轨迹来预测所述活体生物的未来运动轨迹,判断所述活体生物的未来运动轨迹与所述车辆的未来行驶轨迹是否存在重合,若存在重合,则根据所述活体生物与所述车辆在重合位置的时间点来进一步预判所述活体生物是否会与所述车辆进行碰撞,若存在碰撞的可能性,则发出减速指令或停车指令以规避所述活体生物。
6.一种无人驾驶车辆的环境感知控制端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现以下步骤:
S1、将位于车辆四周的视觉传感器所发送的四周图像数据、位于车辆四周的毫米波雷达传感器所发送的四周毫米波数据以及位于车辆车顶的激光雷达传感器所发送的四周点云数据进行图像融合处理,建立三维周边环境模型;
S2、根据所述周边环境模型获取道路上所有物体的属性信息,根据所述道路上所有物体的属性信息生成驾驶决策。
7.根据权利要求6所述的一种无人驾驶车辆的环境感知控制端,其特征在于,所述处理器执行所述计算机程序所述步骤S1时具体包括以下步骤:
S11、接收位于车辆前方的双目摄像头所发送的前方双目图像数据、位于车辆两侧的单目摄像头所发送的两侧单目图像数据以及位于车辆后方的单目摄像头所发送的后方单目图像数据,以得到四周图像数据;
S12、接收位于车辆前方和后方的毫米波雷达传感器所发送的前方毫米波点云数据和后方毫米波点云数据,以得到四周毫米波数据;
S13、接收位于车辆车顶的激光雷达传感器所发送的四周点云数据;
S14、从所述四周点云数据中提取重要特征点,从所述四周图像数据和所述四周毫米波数据中找到与所述重要特征点相对应的相同特征点,基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合,得到带有色彩、大小、类型和距离的三维周边环境模型。
8.根据权利要求7所述的一种无人驾驶车辆的环境感知控制端,其特征在于,所述处理器执行所述计算机程序的所述步骤S14时具体包括以下步骤:
从所述四周点云数据中提取重要特征点,从所述四周图像数据和所述四周毫米波数据中找到与所述重要特征点相对应的相同特征点;
基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行交叉误差计算,得到三组误差数据,根据三组误差数据得到最终误差数据,将所述四周点云数据、所述四周毫米波数据和所述四周图像数据分别与所述最终误差数据进行优化处理,得到优化后的所述四周点云数据、所述四周毫米波数据和所述四周图像数据;
将优化后的所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合,以得到带有色彩、大小、类型和距离的三维周边环境模型,所述三维周边环境模型根据四周毫米波数据对雷达范围内的所有物体的距离和大小进行实时校准。
9.根据权利要求7所述的一种无人驾驶车辆的环境感知控制端,其特征在于,所述处理器执行所述计算机程序的所述步骤S1中“基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合”时具体包括以下步骤:
依靠授时定位模块对摄像头、毫米波雷达传感器和激光雷达传感器进行时间授时;
基于所述相同特征点来对位于同一时刻的所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合。
10.根据权利要求6所述的一种无人驾驶车辆的环境感知控制端,其特征在于,所述处理器执行所述计算机程序的所述步骤S2时具体包括以下步骤:
根据所述周边环境模型获取道路上所有物体的类型、距离、大小和运动状态;
若所述道路上的物体为静止的非活体小物体时,则判别为低风险,自动执行躲避所述非活体小物体的操作;
若所述道路上的物体为静止的非活体大物体时,则判别为中风险,并判断所述道路上是否存在可以绕开所述非活体大物体的可规避道路,若有,则沿着所述可规避道路进行行驶,否则提前发出刹车指令以规避所述非活体大物体;
若所述道路上的物体为活体生物时,则判别为高风险,根据所述活体生物的实时运动轨迹来预测所述活体生物的未来运动轨迹,判断所述活体生物的未来运动轨迹与所述车辆的未来行驶轨迹是否存在重合,若存在重合,则根据所述活体生物与所述车辆在重合位置的时间点来进一步预判所述活体生物是否会与所述车辆进行碰撞,若存在碰撞的可能性,则发出减速指令或停车指令以规避所述活体生物。
CN202010267706.XA 2020-04-08 2020-04-08 一种无人驾驶车辆的环境感知方法及控制端 Pending CN111413983A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010267706.XA CN111413983A (zh) 2020-04-08 2020-04-08 一种无人驾驶车辆的环境感知方法及控制端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010267706.XA CN111413983A (zh) 2020-04-08 2020-04-08 一种无人驾驶车辆的环境感知方法及控制端

Publications (1)

Publication Number Publication Date
CN111413983A true CN111413983A (zh) 2020-07-14

Family

ID=71491654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010267706.XA Pending CN111413983A (zh) 2020-04-08 2020-04-08 一种无人驾驶车辆的环境感知方法及控制端

Country Status (1)

Country Link
CN (1) CN111413983A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112147615A (zh) * 2020-09-08 2020-12-29 北京踏歌智行科技有限公司 一种基于全天候环境监测系统的无人驾驶感知方法
CN113095266A (zh) * 2021-04-19 2021-07-09 北京经纬恒润科技股份有限公司 一种角度识别方法、装置及设备
CN113610970A (zh) * 2021-08-30 2021-11-05 上海智能网联汽车技术中心有限公司 一种自动驾驶系统、装置及方法
CN113640802A (zh) * 2021-07-30 2021-11-12 国网上海市电力公司 一种基于多融合传感器的机器人空间定位方法和系统
CN113884090A (zh) * 2021-09-28 2022-01-04 中国科学技术大学先进技术研究院 智能平台车环境感知系统及其数据融合方法
WO2022156176A1 (zh) * 2021-01-22 2022-07-28 上海西井信息科技有限公司 多种雷达和相机联合标定方法、系统、设备及存储介质
CN115145272A (zh) * 2022-06-21 2022-10-04 大连华锐智能化科技有限公司 焦炉车辆环境感知系统及方法
CN117649583A (zh) * 2024-01-30 2024-03-05 科大国创合肥智能汽车科技有限公司 一种自动驾驶车辆行驶实时道路模型融合方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106405555A (zh) * 2016-09-23 2017-02-15 百度在线网络技术(北京)有限公司 用于车载雷达系统的障碍物检测方法和装置
CN107886477A (zh) * 2017-09-20 2018-04-06 武汉环宇智行科技有限公司 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法
CN108482366A (zh) * 2018-03-23 2018-09-04 重庆长安汽车股份有限公司 基于车辆自动驾驶的代客泊车系统及方法
CN109636924A (zh) * 2018-12-28 2019-04-16 吉林大学 基于现实路况信息三维建模的车载多模式增强现实系统
CN109712189A (zh) * 2019-03-26 2019-05-03 深兰人工智能芯片研究院(江苏)有限公司 一种传感器联合标定的方法和装置
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106405555A (zh) * 2016-09-23 2017-02-15 百度在线网络技术(北京)有限公司 用于车载雷达系统的障碍物检测方法和装置
CN107886477A (zh) * 2017-09-20 2018-04-06 武汉环宇智行科技有限公司 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法
CN108482366A (zh) * 2018-03-23 2018-09-04 重庆长安汽车股份有限公司 基于车辆自动驾驶的代客泊车系统及方法
CN109636924A (zh) * 2018-12-28 2019-04-16 吉林大学 基于现实路况信息三维建模的车载多模式增强现实系统
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN109712189A (zh) * 2019-03-26 2019-05-03 深兰人工智能芯片研究院(江苏)有限公司 一种传感器联合标定的方法和装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112147615A (zh) * 2020-09-08 2020-12-29 北京踏歌智行科技有限公司 一种基于全天候环境监测系统的无人驾驶感知方法
CN112147615B (zh) * 2020-09-08 2024-03-26 北京踏歌智行科技有限公司 一种基于全天候环境监测系统的无人驾驶感知方法
WO2022156176A1 (zh) * 2021-01-22 2022-07-28 上海西井信息科技有限公司 多种雷达和相机联合标定方法、系统、设备及存储介质
CN113095266B (zh) * 2021-04-19 2024-05-10 北京经纬恒润科技股份有限公司 一种角度识别方法、装置及设备
CN113095266A (zh) * 2021-04-19 2021-07-09 北京经纬恒润科技股份有限公司 一种角度识别方法、装置及设备
CN113640802A (zh) * 2021-07-30 2021-11-12 国网上海市电力公司 一种基于多融合传感器的机器人空间定位方法和系统
CN113640802B (zh) * 2021-07-30 2024-05-17 国网上海市电力公司 一种基于多融合传感器的机器人空间定位方法和系统
CN113610970A (zh) * 2021-08-30 2021-11-05 上海智能网联汽车技术中心有限公司 一种自动驾驶系统、装置及方法
CN113884090A (zh) * 2021-09-28 2022-01-04 中国科学技术大学先进技术研究院 智能平台车环境感知系统及其数据融合方法
CN115145272A (zh) * 2022-06-21 2022-10-04 大连华锐智能化科技有限公司 焦炉车辆环境感知系统及方法
CN115145272B (zh) * 2022-06-21 2024-03-29 大连华锐智能化科技有限公司 焦炉车辆环境感知系统及方法
CN117649583B (zh) * 2024-01-30 2024-05-14 科大国创合肥智能汽车科技有限公司 一种自动驾驶车辆行驶实时道路模型融合方法
CN117649583A (zh) * 2024-01-30 2024-03-05 科大国创合肥智能汽车科技有限公司 一种自动驾驶车辆行驶实时道路模型融合方法

Similar Documents

Publication Publication Date Title
CN111413983A (zh) 一种无人驾驶车辆的环境感知方法及控制端
WO2022022694A1 (zh) 自动驾驶环境感知方法及系统
DE112019001657T5 (de) Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper
CN117441113A (zh) 一种面向车路协同的感知信息融合表征及目标检测方法
CN112693466A (zh) 一种车辆环境感知传感器性能测评系统及方法
CN112379674B (zh) 一种自动驾驶设备及系统
EP4089659A1 (en) Map updating method, apparatus and device
KR20200001471A (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN114442101B (zh) 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
CN110936959B (zh) 车辆感知系统在线诊断和预测
CN111736153A (zh) 用于无人驾驶车辆的环境检测系统、方法、设备和介质
CN110816527A (zh) 一种车载夜视安全方法和系统
CN111309032A (zh) 一种无人驾驶车辆的自主避障方法及控制端
CN115876198A (zh) 基于数据融合的目标检测及预警方法、设备、系统和介质
CN111736613A (zh) 智能驾驶控制方法、装置、系统及存储介质
CN112001272A (zh) 一种基于深度学习的激光雷达环境感知方法及系统
CN113988197B (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN113884090A (zh) 智能平台车环境感知系统及其数据融合方法
CN113296120B (zh) 一种障碍物检测方法及终端
CN112083412B (zh) 毫米波雷达与c-v2x系统的融合方法及其系统和电子设备
CN117008574A (zh) 一种智能网联汽车高级辅助驾驶系统和自动驾驶系统测试平台
CN116129553A (zh) 一种基于多源车载设备的融合感知方法及系统
CN115775384A (zh) 一种基于雷达和视频融合的道路目标感知方法及系统
US20220309693A1 (en) Adversarial Approach to Usage of Lidar Supervision to Image Depth Estimation
CN116385755A (zh) 自动驾驶视觉感知的方法、装置、设备、介质及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200714

RJ01 Rejection of invention patent application after publication