CN113313154A - 一体化融合多传感器自动驾驶智能感知装置 - Google Patents
一体化融合多传感器自动驾驶智能感知装置 Download PDFInfo
- Publication number
- CN113313154A CN113313154A CN202110551961.1A CN202110551961A CN113313154A CN 113313154 A CN113313154 A CN 113313154A CN 202110551961 A CN202110551961 A CN 202110551961A CN 113313154 A CN113313154 A CN 113313154A
- Authority
- CN
- China
- Prior art keywords
- module
- vehicle
- sensor
- perception
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008447 perception Effects 0.000 claims abstract description 66
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 230000003068 static effect Effects 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 23
- 238000013473 artificial intelligence Methods 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 12
- 230000006399 behavior Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 241000282414 Homo sapiens Species 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000002787 reinforcement Effects 0.000 claims description 2
- 230000004888 barrier function Effects 0.000 abstract description 3
- 230000001360 synchronised effect Effects 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000003930 cognitive ability Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 101001093748 Homo sapiens Phosphatidylinositol N-acetylglucosaminyltransferase subunit P Proteins 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010705 motor oil Substances 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
- G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Data Mining & Analysis (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开的一种一体化融合多传感器自动驾驶智能感知装置，能够实时、可靠、准确识别交通环境。本发明通过下述技术方案实现：智能感知模型模块实时跟踪检测车辆外静态和动态障碍物，获得场景内各要素信息的与行为信息，传感器数据采集模块完成所有传感器的数据接收后，将传感器采集数据传输给传感器数据同步模块，对来自多个智能传感器进行自动分析，并进行目标级检测信息的时空配准，将同步校准后的数据实时送入传感器数据处理模块，把处理好的数据送达规划控制模块，做出实时轨迹预测，传感器融合控制车辆执行模块根据规划控制模块的控制路径规划，执行感知数据，识别车身周围全域视野范围内的通行性、静动态物体，做出制动和规避障碍的决策。
Description
技术领域
本发明涉及自动驾驶智能感知领域，更进一步涉及一种基于多传感器融合的一体化便 携式自动驾驶智能感知装置。
背景技术
无人驾驶是人工智能、计算机科学、自动化技术高度发展的产物。当下，人工智能被分为三个阶段：计算智能、感知智能和认知智能。而机器在理解、思考、推理等认知能力方面，却与人类存在很大的差距。自动驾驶汽车是汽车电子、智能控制以及互联网等技术发展融合的产物，其原理为自动驾驶系统利用感知系统，获取车辆自身以及外界环境信息，经过计算系统分析信息、做出决策，控制执行系统实现车辆加速、减速或转向，从而在无需驾驶员介入的情况下，完成自动行驶。自动驾驶汽车通过摄像头、激光雷达、毫米波雷达等众多感知设备和人工智能算法来实现对复杂道路环境的感知。由于目前智能驾驶汽车认知能力 的缺失，使得现有智能汽车在面对决策信息时，往往难以做出正确的理解，导致汽车无法像 人类驾驶员一样,能快速适应驾驶环境并能及时、迅速的对周边的环境信息做出感知。智能 驾驶传感器和计算决策平台是实现汽车智能化的基础，传感器能代替人的眼睛感知外部环境， 利用先进的车载视觉传感器、雷达等感知设备，能获取并认知周围车辆/行人的距离、速度、 朝向，交通标识等信息，进而将感知信息传递给计算决策平台，该模块支持针对复杂场景的 细粒度、结构化的语义感知，能实现对高度可扩展、模块化的三维语义环境重建以及透明化、 可追溯、可推理的决策和路径规划。
复杂环境感知技术是自动驾驶技术的关键部分，是人工智能视觉技术在自动驾驶领 域应用的关键突破点及核心技术。根据无人驾驶汽车事故相关统计数据，城市街道比高速公 路更容易发生交通事故，这主要是由于城市场景交通要素更复杂、交通参与者流量更大、交 通参与者行为更随机多样。这些特性使得无人驾驶汽车在城市环境行驶时需要面临更大的感 知挑战。由于目前智能驾驶测试的路况大多为城市道路或高速公路，在特殊情况(罕见场景) 下是否还能准确感知、识别，例如极端天气(如大雪、大雾)会降低人类视觉、AV视觉系 统(摄像机、激光雷达)和DSRC传输的最大距离和信号质量(敏度、对比度、过度的视觉杂 波)；车辆上过多的灰尘或物理障碍物(如雪或冰)会干扰或降低所有基本的AV传感器(摄像机、 激光雷达、毫米波雷达)的最大感知距离和信号质量(敏度、对比度、视场的物理遮挡)；黑暗 或低照明(如隧道)情况下会降低AV摄像系统的最大距离和信号质量(敏度，对比度)等。 这些常见限制带来传感器感知能力下降的问题一直都是业内攻破的难点。
智能驾驶的感知能力主要包括内部感知、驾驶人感知和环境感知三个方面。内部感 知主要是通过CAN总线采集车内各电子控制单元信息，以及装载在车上的各类传感器实时 产生的数据信息，来获取车辆状态，包括车体(车内外温度、空气流量、胎压)，动力(油压、转速、机油)，车辆安全(安全带、气囊、门窗锁)等。驾驶人感知主要是指通过摄像 头、面部识别、提示器等智能套件实现对驾驶员的疲劳监控、注意力监控、超速监管、驾驶 姿态监控等，以从驾驶员驾驶层面实现主动安全，减少事故。环境感知主要是利用传感器、 定位导航、车联通信(VehicIe-to-X，V2X)来实现对环境的识别、感知、预测等。主流的 传感器感知技术包括视觉感知、激光感知、毫米波感知等。视觉感知是基于摄像头采集的图 像信息，使用视觉相关算法进行处理，认知周围环境；激光感知是基于激光雷达采集的点云 数据，通过滤波、聚类等技术，对环境进行感知；毫米波感知是基于毫米波雷达采集的距离 信息，使用距离相关算法进行处理，认知周围环境。但单一传感器采集的数据并不具备整体 性和智能性，3D环境建模使激光雷达成为核心传感器，但其无法识别图像及颜色，且在恶 劣天气下性能明显降低。毫米波雷达能实现全天候感知，但其分辨率较低，且难以成像。摄 像头价格低廉，能够识别交通参与者和交通标识，但却无法实现点阵建模和远距测距。因 此，多传感器融合是实现高级别自动驾驶的必经之路，也是自动驾驶未来发展的重要趋势。 传统的物体检测模型通常只在深度卷积网络的最后一个特征图上进行后续操作，而这一层对 应的下采样率(图像缩小的倍数)通常又比较大，如16，32，造成小物体在特征图上的有 效信息较少，小物体检测性能会急剧下降。由于RPN的anchor是均匀分布的，其方差十分 大，难以学习，需要进行迭代回归。但RPN没有类似RoIPool或RoIAlign的手段进行特征 对齐，因为RPN的输入很多，性能十分重要，只能进行常规的滑动卷积进行输出，这就造 成了anchor和feature的对称问题。为了缓解对齐问题，一些研究使用可变形卷积来进行特 征图上的空间变换，希望能使得精调后的anchor与变换后的特征。但是这种方法并没有严 格的约束去保证特征与变换后的anchor对齐，也很难确定变换后的特征和anchor是否对齐 了。在判定anchor的正负时，单纯地使用anchor-free或anchor-base方法都是不行的，因为 使用anchor-free标准会导致stage2要求太低，而使用anchor-base则会导致stage1不能回归足够多的正样本。
发明内容
为提高自动驾驶的环境感知水平，降低智能汽车在城市交通环境的事故发生率，本 发明提出一种能够实时、可靠、准确识别交通环境并及时响应的一种一体化融合多传感器自 动驾驶智能感知装置。
本发明的上述目的可以通过以下措施来得到，一种一体化融合多传感器自动驾驶智 能感知装置，包括：通过可扩展北斗短报文应急通信和北斗高精度定位接口，连接在自动驾 驶汽车上的车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合在一起的传感器数 据采集模块、传感器数据同步模块、车载计算单元、传感器数据处理模块，规划控制模块、 传感器融合执行控制模块和电源模块，其特征在于：车载激光雷达、毫米波雷达、双目摄像 头和与红外相机相融合，利用人工智能技术模拟人对外界环境的感知过程，建立传感器、定 位、AI感知、路径规划和决策、控制车辆的智能感知模型模块，智能感知模型模块对车辆 外进行静态和动态障碍物的实时3D目标跟踪检测，检测车辆所处的环境，获得场景内各要 素信息的与行为信息，实时发送、接收车辆定位信息、状态信息和控制信息到传感器数据采 集模块，采用多传感器融合方式进行智能驾驶感知经度、纬度、高度、速度、航向角、俯仰 角、翻滚角、Lidar点云信息和高清视频，获取并输出车辆的状态信息，完成所有传感器的 数据接收后，将传感器采集数据传输给传感器数据同步模块，感器数据同步模块对来自多个 智能传感器或多源的信息和数据进行自动综合分析，实现多源异构传感器毫米级的空间同步 和纳米级的时间同步，并将目标级检测信息的时空配准送入时间、空间同步校准模块，对传 感器数据进行时间与空间同步校准，把同步校准后的数据实时送入传感器数据处理模块后， 通过车载计算平台上的车载计算单元进行数据处理，把处理好的数据送达规划控制模块，规 划控制模块根据智能感知模型模块的感知结果，完成对车辆行驶路径、避障、感知的规划控 制与决策，决定车辆最优的路径和决策，做出实时轨迹预测，指引车辆完成路径规划，将车 辆的决策处理信息后送入工智能算法模块，确定每个样本的权值，将修改过权值的新数据集 送给下层分类器进行训练，将每次训练得到的分类器最后融合起来，作为最后的决策分类器 到达传感器融合控制车辆执行模块，传感器融合控制车辆执行模块根据规划控制模块的控制 路径规划，在车辆决策系统控制下，连接汽车中控模块对车辆进行实时控制，执行感知数据， 识别车身周围全域视野范围内的通行性、静动态物体，做出制动和规避障碍的决策。
本发明与现有设备相比，具有以下优点和有益效果：
本发明采用通过可扩展北斗短报文应急通信和北斗高精度定位接口，连接在自动驾驶汽车上 的车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合在一起的传感器数据采集模 块、传感器数据同步模块、传感器数据处理模块，规划控制模块、车载计算单元、传感器融 合执行控制模块和电源模块，将车载激光雷达、毫米波雷达、双目摄像头和红外相机高效的 融合在一起，集成度高，体积小，具有小型化、配置灵活。通过多传感器融合的方式可以实 现车辆对外部交通参与者的3D目标检测，以进行系统控制与路径规划；能实现对参与者的 目标跟踪，以完成车辆系统的灵活控制；能完成交通信号灯的快速监测，以给车辆做出制动 或通信决策；能对车辆车身周围的交通参与者做出实时轨迹预测，使得系统能提前预判与做 出决策；能识别行驶道路上车道线、交通标识、人行横道等信息，以保持车辆不偏离车道并 及时避让；能进行静态和动态障碍物的实时检测，给系统做出制动和规避的决策。实现高度 自动驾驶相关功能，实时监控车辆运动轨迹并规划路径，总体路径为：采集多传感器数据后 进行同步校准，经过前段融合后感知和检测车辆周围所有障碍物，通过人工智能技术对融合 后的数据进行处理，并对障碍物进行跟踪。再结合道路物体等高精度定位信息，预测所有障 碍物未来时间内的运行轨迹，最终将障碍物感知信息和未来态势输出，并指引车辆完成路径 规划。解决了全天时城市交通场景理解(车行道、人行道、交通标志、建筑、树木、草坪 等)、交通参与者(车辆、行人等)检测及行为意图识别与轨迹预测这两大核心问题。
本发明采用车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合，利用人工智能技术模拟人对外界环境的感知过程，建立传感器、定位、AI感知、路径规划和决策、车辆控制的智能感知模型模块，智能感知模型模块对车辆外进行静态和动态障碍物的实时3D目标跟踪检测，检测车辆所处的环境，获得场景内各要素信息的与行为信息，实时发送、接收车辆定位信息、状态信息和控制信息到传感器数据采集模块完成所有传感器的数据，采 用多传感器融合方式进行智能驾驶感知，能够获取并输出车辆的状态信息，其中包括传感器 经度、纬度、高度、速度、航向角、俯仰角、翻滚角、Lidar点云信息、高清视频等。在传感器时空同步上，能实现多源异构传感器的毫米级空间同步与纳米级时间同步，时间精度为 10-6m3，空间精度为100米外3-5厘米误差。该装置能够感知车身360°全域范围内的所有静态、动态交通要素，前向障碍物的稳定检测视距达到250米，最小探测距离为0.1米，交 通要素感知角度偏差小于等于0.015°，可做到对车辆周边所有障碍物的识别、各交通参与 者的意图与行为分析和轨迹预测等，具有较强的健壮性和增值扩展能力。
本发明将传感器采集数据传输给传感器数据同步模块，感器数据同步模块对来自多 个智能传感器或多源的信息和数据进行自动分析和综合，实现多源异构传感器毫米级的空间 同步和纳米级的时间同步，并进行目标级检测信息的时空配准，对传感器数据进行时间与空 间同步校准，将同步校准后的数据实时送入传感器数据处理模块，传感器数据处理模块通过 车载计算平台上的车载计算单元进行数据处理，有效减少需要传输的数据量，提高处理效率。 车载计算单元把处理好的数据送达规划控制模块，规划控制模块根据智能感知模型模块的感 知结果，完成对车辆行驶路径、避障、感知的规划控制与决策，决定车辆最优的路径和决策， 做出实时轨迹预测。
本发明传感器融合控制车辆执行模块根据规划控制模块的控制路径规划，在车辆决 策系统控制下，连接汽车中控模块对车辆进行实时控制，执行感知数据，识别车身周围全域 视野范围内的通行性、静动态物体，做出制动和规避障碍的决策。这种采用多传感器融合的 方式，将来自多传感器或多源的信息和数据进行自动分析和综合，使车辆能够感知比单个传 感器更加丰富且精确的信息；通过对多传感器检测到的所有目标进行全局跟踪，能有效实现 环境感知、障碍物检测、轨迹预测、预警信息、导航功能和夜间行车感知等功能。设备在行 驶道路感知层面能识别前方人行道、交通路侧标识、交通信号灯和道路地形路况等；能够实 时、准确识别周边影响交通安全的物体，可靠、准确识别地规划出可保证规范、安全、迅速 到达目的地的行驶路径。在此基础上，能对检测到的目标物的行为、轨迹趋势进行预测，包 括目标物距离车辆的距离、行驶速度、移动方位和运动轨迹。设备可同时获得场景内各要素 信息、各交通参与者意图与行为信息，这些结果可直接被智能驾驶汽车决策系统调用，给智 能驾驶汽车提供全方位高精度的感知数据，大大提高智能驾驶汽车在真实路况行驶的安全性。 此外，可接入汽车电源或由外部电源独立供电，在供电上能做到外协可扩展。功能强大，灵 活可配置，可外接多个接口，扩展性强。此技术路线可移值至其他无人自主系统，如无人船 舶系统、各种移动机器人系统等。修改环境感知内容，就可应用于其他场景的目标感知，如 工业园区智能派送、矿山智能装卸载、垃圾自动清运等，可以为特种无人驾驶提供高质量服 务，具备较强的健壮性和增值扩展能力，丰富了智能汽车的应用。
附图说明
图1是本发明一体化融合多传感器自动驾驶智能感知装置的原理示意图；
图2是图1融合实现路径的原理示意图。
具体实施方式
参阅图1-图2。在以下描述的优选实施例中，一种一体化融合多传感器自动驾驶智能感知装 置，包括：通过可扩展北斗短报文应急通信和北斗高精度定位接口，连接在自动驾驶汽车上 的车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合在一起的传感器数据采集模 块、传感器数据同步模块、车载计算单元、传感器数据处理模块，规划控制模块、传感器融 合执行控制模块和电源模块，其特征在于：车载激光雷达、毫米波雷达、双目摄像头和与红 外相机相融合，利用人工智能技术模拟人对外界环境的感知过程，建立传感器、定位、AI 感知、路径规划和决策、控制车辆的智能感知模型，智能感知模型对车辆外进行静态和动态 障碍物的实时3D目标跟踪检测，检测车辆所处的环境，获得场景内各要素信息的与行为信 息，实时发送、接收车辆定位信息、状态信息和控制信息到传感器数据采集模块，采用多传 感器融合方式进行智能驾驶感知经度、纬度、高度、速度、航向角、俯仰角、翻滚角、 Lidar点云信息和高清视频，获取并输出车辆的状态信息，完成所有传感器的数据接收后， 将传感器采集数据传输给传感器数据同步模块，感器数据同步模块对来自多个智能传感器或 多源的信息和数据进行自动综合分析，实现多源异构传感器毫米级的空间同步和纳米级的时 间同步，并将目标级检测信息的时空配准送入时间、空间同步校准模块，对传感器数据进行 时间与空间同步校准，把同步校准后的数据实时送入传感器数据处理模块，通过车载计算平 台上的车载计算单元进行数据处理，把处理好的数据送达规划控制模块，规划控制模块根据 智能感知模型模块的感知结果，完成对车辆行驶路径、避障、感知的规划控制与决策，决定 车辆最优的路径和决策，做出实时轨迹预测，指引车辆完成路径规划，将车辆的决策处理信 息后送入工智能算法模块，确定每个样本的权值，将修改过权值的新数据集送给下层分类器 进行训练，将每次训练得到的分类器最后融合起来，作为最后的决策分类器到达传感器融合 控制车辆执行模块，传感器融合控制车辆执行模块根据规划控制模块的控制路径规划，在车 辆决策系统控制下，连接汽车中控模块对车辆进行实时控制，执行感知数据，识别车身周围 全域视野范围内的通行性、静动态物体，做出制动和规避障碍的决策。
智能感知模型采用多传感器融合的方式，融合自动驾驶汽车上的毫米波雷达、激光 雷达、双目摄像机与红外相机的采集数据，传感器数据同步模块将智能传感器的目标级检测 信息进行时空配准，实现多源异构传感器毫米级的空间同步和纳米级的时间同步，再由车载 计算单元提供强大计算力，保证装置的高能效与高性能。
车载计算单元从前端感知到后端的多源数据处理，对车辆动作进行具体规划、检查 抽象策略是否可执行或者执行满足策略的动作，将学习到的抽象策略转化成对车辆的实际控 制动作，从而充分保证系统的安全性。
人工智能计算法模块采用人工智能AI芯片内置的人工智能算法，基于人工智能算法 进行车辆决策与规划，完成初步计算率，采用强化学习来决策行驶需要的高级策略，按照这 些策略和动态规划来实施具体的路径规划与避障。
人工智能计算法模块采用深度学习来做激光雷达的三维点云目标检测，三维点云目 标检测整个场景的点云，采用包含特征提取阶段、主干网络和RPN结构三个部分检查抽象 策略是否可执行或者执行满足策略的动；详细步骤如下：
1.特征提取阶段采用特征提取模块将整个场景的点云划分到大小相同的三维网格中，输入 包含每个点坐标值及反射强度信息的点云数据；为了固定每个三维网格中的点云数量，如果 点云数量点数过少，直接用零补齐到固定数量；如果点云数量点数过多，直接随机选择固定 数量的点云，再对每个网格计算其重心，得到网格中每个点云和重心的偏移量将其拼接到特 征上，然后使用多个PointNet网络来提取三维网格中点云的高维度特征；采用基于分类任务 (如ImageNet)的CNN模型作为特征提取器，输入长宽高D×W×H的形式卷积特征图片， 经过预训练CNN模型的处理，得到卷积特征图(卷积层conv feature map)，卷积层的输出 拉伸为一维的向量。
2.特征提取模块用一串卷积+pooling从卷积层原图中提取出feature map，通过网络训 练的方式从feature map中获取目标的位置；从feature map中抠出要用于分类的目标，把 feature map分割成多个小区域，获取前景区域的坐标，通过pooling成固定长度的数据作为 网络的输入，以当前滑动窗口中心为中心映射到原图的一个区域，将点云转变为伪图像结构 准备送入骨干网络进行处理；通过区域生成网络(Region ProposalNetworks)来提取检测的 区域伪图像。R-CNN是采用Selective Search算法来提取(propose)可能的RoIs(regions of interest)区域，然后对每个提取区域采用标准CNN进行分类。选择性搜索(Selective Search)方法在目标对象周围设定2000个形状大小位置不一的候选区域，目然后对这些区 域卷积，找到目标物体。
3.骨干网络包含两部分：第一部分是自顶向下的网络结构，主要用来增加特征图的 通道数，降低特征图的分辨率；第二部分通过多个上采样操作对第一部分的多个特征图进行 处理，将得到的结果进行拼接操作形成多尺度的特征图结构，准备送入网络的最后一个阶段； 把物体检测整个流程融入到一个神经网络中。
4.RPN部分采用RPN结构模块，采用RPN结构模块接收由骨干网络处理后的结果，主要使用多个卷积层进行操作，最终使用三个独立的卷积作为物体类别的分类，在经过4个下采样层获得feature map之后，featuremap分别做两次卷积，一个卷积用于做前景背景的分 类，另一个用于做boungding box的回归，进行物体位置的回归及物体朝向的估计，估计每 个区域是目标或是背景的概率，得到固定长度的向量。
5.RPN结构模块全卷积网络内置有2个卷积层，第一个卷积层对卷积特征图所有信息 进行编码，将特征图每个滑窗位置编码成一个特征向量，保持相对于原始图片所编码“things”的位置；第二个卷积层对提取的卷积特征图进行处理，寻找可能包含目标的预定义数量的区域，将对应每个滑窗位置输出k个区域位置的anchors(锚)作为物体的概率， 将锚点的中心位于卷积核滑动窗口的中心，为每个锚点分配一个二值类别标签，计算RPN 网络W×H×k个锚点的输出值，输出的卷积层的大小，总输出长度为2×k个anchor对应 两个输出物体的概和k个回归后的区域。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人 员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明 的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和 改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物 界定。
Claims (10)
1.一种一体化融合多传感器自动驾驶智能感知装置，包括：通过可扩展北斗短报文应急通信和北斗高精度定位接口，连接在自动驾驶汽车上的车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合在一起的传感器数据采集模块、传感器数据同步模块、车载计算单元、传感器数据处理模块，规划控制模块、传感器融合执行控制模块和电源模块，其特征在于：车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合，利用人工智能技术模拟人对外界环境的感知过程，建立传感器、定位、AI感知、路径规划和决策、控制车辆的智能感知模型模块，智能感知模型模块对车辆外进行静态和动态障碍物的实时3D目标跟踪检测，检测车辆所处的环境，获得场景内各要素信息的与行为信息，实时发送、接收车辆定位信息、状态信息和控制信息到传感器数据采集模块，采用多传感器融合方式进行智能驾驶感知经度、纬度、高度、速度、航向角、俯仰角、翻滚角、Lidar点云信息和高清视频，获取并输出车辆的状态信息，完成所有传感器的数据接收后，将传感器采集数据传输给传感器数据同步模块，感器数据同步模块对来自多个智能传感器或多源的信息和数据进行自动综合分析，实现多源异构传感器毫米级的空间同步和纳米级的时间同步，并将同步校准后的数据实时送入传感器数据处理模块后，通过车载计算平台上的车载计算单元进行数据处理，把处理好的数据送达规划控制模块，规划控制模块根据智能感知模型模块的感知结果，完成对车辆行驶路径、避障、感知的规划控制与决策，决定车辆最优的路径和决策，做出实时轨迹预测，指引车辆完成路径规划，对车辆的决策处理信息后送入工智能算法模块，确定每个样本的权值，将修改过权值的新数据集送给下层分类器进行训练，将每次训练得到的分类器最后融合起来，作为最后的决策分类器到达传感器融合控制车辆执行模块，传感器融合控制车辆执行模块根据规划控制模块的控制路径规划，在车辆决策系统控制下，连接汽车中控模块对车辆进行实时控制，执行感知数据，识别车身周围全域视野范围内的通行性、静动态物体，做出制动和规避障碍的决策。
2.如权利要求1所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于：智能感知模型模块采用多传感器融合的方式，通过融合自动驾驶汽车上的毫米波雷达、激光雷达、双目摄像机与红外相机的采集数据，传感器数据同步模块将智能传感器的目标级检测信息进行时空配准，实现多源异构传感器毫米级的空间同步和纳米级的时间同步，再由计算单元提供强大计算力，保证装置的高能效与高性能。
3.如权利要求2所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于：车载计算单元从前端感知到后端的多源数据处理，对车辆动作进行具体规划、检查抽象策略是否可执行或者执行满足策略的动作，将学习到的抽象策略转化成对车辆的实际控制动作，从而充分保证系统的安全性。
4.如权利要求1所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于人工智能计算法模块采用人工智能AI芯片内置的人工智能算法，基于人工智能算法进行车辆决策与规划，完成初步计算率，采用强化学习来决策行驶需要的高级策略，按照这些策略和动态规划来实施具体的路径规划与避障。
5.如权利要求1所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于：人工智能计算法模块采用深度学习来做激光雷达的三维点云目标检测，三维点云目标检测整个场景的点云，采用包含特征提取阶段、主干网络和RPN结构三个部分检查抽象策略是否可执行或者执行满足策略的动作。
6.如权利要求1所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于：特征提取阶段采用特征提取模块将整个场景的点云划分到大小相同的三维网格中，输入包含每个点坐标值及反射强度信息的点云数据；为了固定每个三维网格中的点云数量，如果点云数量点数过少，直接用零补齐到固定数量；如果点云数量点数过多，直接随机选择固定数量的点云，再对每个网格计算其重心，得到网格中每个点云和重心的偏移量将其拼接到特征上，然后使用多个PointNet网络来提取三维网格中点云的高维度特征；采用基于分类任务的CNN模型作为特征提取器，输入长宽高D×W×H的形式卷积特征图片，经过预训练CNN模型的处理，得到卷积特征图(卷积层conv feature map)，卷积层的输出拉伸为一维的向量。
7.如权利要求1所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于：特征提取模块用一串卷积+pooling从卷积层原图中提取出feature map，通过网络训练的方式从feature map中获取目标的位置；从feature map中抠出要用于分类的目标，把featuremap分割成多个小区域，获取前景区域的坐标，通过pooling成固定长度的数据作为网络的输入，以当前滑动窗口中心为中心映射到原图的一个区域，将点云转变为伪图像结构准备送入骨干网络进行处理；通过区域生成网络(Region ProposalNetworks)来提取检测的区域伪图像。
8.如权利要求1所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于：骨干网络包含两部分：第一部分是自顶向下的网络结构，主要用来增加特征图的通道数，降低特征图的分辨率；第二部分通过多个上采样操作对第一部分的多个特征图进行处理，将得到的结果进行拼接操作形成多尺度的特征图结构，准备送入网络的最后一个阶段；把物体检测整个流程融入到一个神经网络中。
9.如权利要求1所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于：RPN部分采用RPN结构模块，采用RPN结构模块接收由骨干网络处理后的结果，使用多个卷积层进行操作，最终使用三个独立的卷积作为物体类别的分类，在经过4个下采样层获得feature map之后，featuremap分别做两次卷积，一个卷积用于做前景背景的分类，另一个用于做boungding box的回归，进行物体位置的回归及物体朝向的估计，估计每个区域是目标或是背景的概率，得到固定长度的向量。
10.如权利要求1所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于：RPN结构模块全卷积网络内置有2个卷积层，第一个卷积层对卷积特征图所有信息进行编码，将特征图每个滑窗位置编码成一个特征向量，保持相对于原始图片所编码“things”的位置；第二个卷积层对提取的卷积特征图进行处理，寻找可能包含目标的预定义数量的区域，将对应每个滑窗位置输出k个区域位置的anchors(锚)作为物体的概率，将锚点的中心位于卷积核滑动窗口的中心，为每个锚点分配一个二值类别标签，计算RPN网络W×H×k个锚点的输出值，输出的卷积层的大小，总输出长度为2×k个anchor对应两个输出物体的概和k个回归后的区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110551961.1A CN113313154A (zh) | 2021-05-20 | 2021-05-20 | 一体化融合多传感器自动驾驶智能感知装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110551961.1A CN113313154A (zh) | 2021-05-20 | 2021-05-20 | 一体化融合多传感器自动驾驶智能感知装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113313154A true CN113313154A (zh) | 2021-08-27 |
Family
ID=77373985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110551961.1A Pending CN113313154A (zh) | 2021-05-20 | 2021-05-20 | 一体化融合多传感器自动驾驶智能感知装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113313154A (zh) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113734166A (zh) * | 2021-09-30 | 2021-12-03 | 重庆长安汽车股份有限公司 | 一种基于感知融合swc的汽车自动驾驶控制系统及方法 |
| CN113734197A (zh) * | 2021-09-03 | 2021-12-03 | 合肥学院 | 一种基于数据融合的无人驾驶的智能控制方案 |
| CN113820714A (zh) * | 2021-09-07 | 2021-12-21 | 重庆驰知科技有限公司 | 一种基于多传感器融合的尘雾天气道路环境感知系统 |
| CN113850237A (zh) * | 2021-11-29 | 2021-12-28 | 华砺智行(武汉)科技有限公司 | 基于视频和轨迹数据的网联车目标检测评价方法及系统 |
| CN113844463A (zh) * | 2021-09-26 | 2021-12-28 | 国汽智控(北京)科技有限公司 | 基于自动驾驶系统的车辆控制方法、装置及车辆 |
| CN114037972A (zh) * | 2021-10-08 | 2022-02-11 | 岚图汽车科技有限公司 | 目标检测方法、装置、设备及可读存储介质 |
| CN114056351A (zh) * | 2021-11-26 | 2022-02-18 | 文远苏行(江苏)科技有限公司 | 自动驾驶方法及装置 |
| CN114084129A (zh) * | 2021-10-13 | 2022-02-25 | 武汉光庭信息技术股份有限公司 | 一种基于融合的车辆自动驾驶控制方法及系统 |
| CN114202920A (zh) * | 2021-12-09 | 2022-03-18 | 江苏工程职业技术学院 | 一种新能源汽车用道路智能分析设备 |
| CN114281075A (zh) * | 2021-11-19 | 2022-04-05 | 岚图汽车科技有限公司 | 基于面向服务的紧急避障系统、控制方法及其设备 |
| CN114383598A (zh) * | 2022-01-17 | 2022-04-22 | 中国铁建重工集团股份有限公司 | 一种隧道施工作业车及其自动驾驶系统 |
| CN114581748A (zh) * | 2022-05-06 | 2022-06-03 | 南京大学 | 基于机器学习的多智能体感知融合系统及其实现方法 |
| CN114858200A (zh) * | 2022-04-19 | 2022-08-05 | 合众新能源汽车有限公司 | 车辆传感器检测到的对象的质量评价方法及装置 |
| CN115089190A (zh) * | 2022-08-25 | 2022-09-23 | 上海华模科技有限公司 | 基于模拟机的飞行员多模态生理信号同步采集系统 |
| CN115257723A (zh) * | 2022-09-26 | 2022-11-01 | 江苏天一航空工业股份有限公司 | 一种冷链物流车自动驾驶转向避障方法及系统 |
| CN115291531A (zh) * | 2022-06-28 | 2022-11-04 | 青岛海尔科技有限公司 | 感知结果的发送方法及装置、存储介质及电子装置 |
| CN115290069A (zh) * | 2022-07-22 | 2022-11-04 | 清华大学 | 多源异构传感器数据融合与协同感知手持移动平台 |
| CN115394104A (zh) * | 2022-08-23 | 2022-11-25 | 白犀牛智达(北京)科技有限公司 | 一种用于智能车辆的问题数据管理系统 |
| CN115586772A (zh) * | 2022-09-29 | 2023-01-10 | 九识(苏州)智能科技有限公司 | 一种自动驾驶车辆的分层控制系统和方法 |
| CN115632684A (zh) * | 2022-12-21 | 2023-01-20 | 香港中文大学（深圳） | 一种感知通信一体化系统的传输策略设计方法 |
| CN116129553A (zh) * | 2023-04-04 | 2023-05-16 | 北京理工大学前沿技术研究院 | 一种基于多源车载设备的融合感知方法及系统 |
| WO2023087248A1 (zh) * | 2021-11-19 | 2023-05-25 | 华为技术有限公司 | 一种信息处理方法及装置 |
| CN116310349A (zh) * | 2023-05-25 | 2023-06-23 | 西南交通大学 | 基于深度学习的大规模点云分割方法、装置、设备及介质 |
| CN116863430A (zh) * | 2023-07-31 | 2023-10-10 | 合肥海普微电子有限公司 | 一种面向自动驾驶的点云融合方法 |
| CN116958763A (zh) * | 2023-05-04 | 2023-10-27 | 浙江大学 | 特征-结果级融合的车路协同感知方法、介质及电子设备 |
| CN117141521A (zh) * | 2023-11-01 | 2023-12-01 | 广汽埃安新能源汽车股份有限公司 | 一种基于数据融合的车辆控制方法及装置 |
| CN117395292A (zh) * | 2023-12-12 | 2024-01-12 | 中科慧拓(北京)科技有限公司 | 一种数字平行车云端监控系统及方法 |
| CN117389937A (zh) * | 2023-12-11 | 2024-01-12 | 上海建工一建集团有限公司 | 一种车辆避障数据的计算方法、计算机及可读存储介质 |
| CN117521422A (zh) * | 2024-01-05 | 2024-02-06 | 吉林省知云科技有限公司 | 一种基于沉浸式分队行为仿真系统及方法 |
| CN117555333A (zh) * | 2023-11-21 | 2024-02-13 | 深圳云程科技有限公司 | 一种动态行进轨迹的处理系统及方法 |
| CN118013465A (zh) * | 2024-04-09 | 2024-05-10 | 微网优联科技(成都)有限公司 | 基于多传感器协同的非机动车识别方法及系统 |
-
2021
- 2021-05-20 CN CN202110551961.1A patent/CN113313154A/zh active Pending
Cited By (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113734197A (zh) * | 2021-09-03 | 2021-12-03 | 合肥学院 | 一种基于数据融合的无人驾驶的智能控制方案 |
| CN113820714A (zh) * | 2021-09-07 | 2021-12-21 | 重庆驰知科技有限公司 | 一种基于多传感器融合的尘雾天气道路环境感知系统 |
| CN113820714B (zh) * | 2021-09-07 | 2024-04-12 | 重庆驰知科技有限公司 | 一种基于多传感器融合的尘雾天气道路环境感知系统 |
| CN113844463A (zh) * | 2021-09-26 | 2021-12-28 | 国汽智控(北京)科技有限公司 | 基于自动驾驶系统的车辆控制方法、装置及车辆 |
| CN113734166B (zh) * | 2021-09-30 | 2023-09-22 | 重庆长安汽车股份有限公司 | 一种基于感知融合swc的汽车自动驾驶控制系统及方法 |
| CN113734166A (zh) * | 2021-09-30 | 2021-12-03 | 重庆长安汽车股份有限公司 | 一种基于感知融合swc的汽车自动驾驶控制系统及方法 |
| CN114037972A (zh) * | 2021-10-08 | 2022-02-11 | 岚图汽车科技有限公司 | 目标检测方法、装置、设备及可读存储介质 |
| CN114084129A (zh) * | 2021-10-13 | 2022-02-25 | 武汉光庭信息技术股份有限公司 | 一种基于融合的车辆自动驾驶控制方法及系统 |
| WO2023087248A1 (zh) * | 2021-11-19 | 2023-05-25 | 华为技术有限公司 | 一种信息处理方法及装置 |
| CN114281075A (zh) * | 2021-11-19 | 2022-04-05 | 岚图汽车科技有限公司 | 基于面向服务的紧急避障系统、控制方法及其设备 |
| CN114056351A (zh) * | 2021-11-26 | 2022-02-18 | 文远苏行(江苏)科技有限公司 | 自动驾驶方法及装置 |
| CN114056351B (zh) * | 2021-11-26 | 2024-02-02 | 文远苏行(江苏)科技有限公司 | 自动驾驶方法及装置 |
| CN113850237A (zh) * | 2021-11-29 | 2021-12-28 | 华砺智行(武汉)科技有限公司 | 基于视频和轨迹数据的网联车目标检测评价方法及系统 |
| CN114202920A (zh) * | 2021-12-09 | 2022-03-18 | 江苏工程职业技术学院 | 一种新能源汽车用道路智能分析设备 |
| CN114383598A (zh) * | 2022-01-17 | 2022-04-22 | 中国铁建重工集团股份有限公司 | 一种隧道施工作业车及其自动驾驶系统 |
| CN114858200A (zh) * | 2022-04-19 | 2022-08-05 | 合众新能源汽车有限公司 | 车辆传感器检测到的对象的质量评价方法及装置 |
| CN114858200B (zh) * | 2022-04-19 | 2023-06-27 | 合众新能源汽车股份有限公司 | 车辆传感器检测到的对象的质量评价方法及装置 |
| CN114581748B (zh) * | 2022-05-06 | 2022-09-23 | 南京大学 | 基于机器学习的多智能体感知融合系统及其实现方法 |
| CN114581748A (zh) * | 2022-05-06 | 2022-06-03 | 南京大学 | 基于机器学习的多智能体感知融合系统及其实现方法 |
| CN115291531A (zh) * | 2022-06-28 | 2022-11-04 | 青岛海尔科技有限公司 | 感知结果的发送方法及装置、存储介质及电子装置 |
| CN115290069A (zh) * | 2022-07-22 | 2022-11-04 | 清华大学 | 多源异构传感器数据融合与协同感知手持移动平台 |
| CN115394104A (zh) * | 2022-08-23 | 2022-11-25 | 白犀牛智达(北京)科技有限公司 | 一种用于智能车辆的问题数据管理系统 |
| CN115089190A (zh) * | 2022-08-25 | 2022-09-23 | 上海华模科技有限公司 | 基于模拟机的飞行员多模态生理信号同步采集系统 |
| CN115257723A (zh) * | 2022-09-26 | 2022-11-01 | 江苏天一航空工业股份有限公司 | 一种冷链物流车自动驾驶转向避障方法及系统 |
| CN115586772A (zh) * | 2022-09-29 | 2023-01-10 | 九识(苏州)智能科技有限公司 | 一种自动驾驶车辆的分层控制系统和方法 |
| CN115632684A (zh) * | 2022-12-21 | 2023-01-20 | 香港中文大学（深圳） | 一种感知通信一体化系统的传输策略设计方法 |
| CN116129553A (zh) * | 2023-04-04 | 2023-05-16 | 北京理工大学前沿技术研究院 | 一种基于多源车载设备的融合感知方法及系统 |
| CN116958763A (zh) * | 2023-05-04 | 2023-10-27 | 浙江大学 | 特征-结果级融合的车路协同感知方法、介质及电子设备 |
| CN116310349B (zh) * | 2023-05-25 | 2023-08-15 | 西南交通大学 | 基于深度学习的大规模点云分割方法、装置、设备及介质 |
| CN116310349A (zh) * | 2023-05-25 | 2023-06-23 | 西南交通大学 | 基于深度学习的大规模点云分割方法、装置、设备及介质 |
| CN116863430A (zh) * | 2023-07-31 | 2023-10-10 | 合肥海普微电子有限公司 | 一种面向自动驾驶的点云融合方法 |
| CN116863430B (zh) * | 2023-07-31 | 2023-12-22 | 合肥海普微电子有限公司 | 一种面向自动驾驶的点云融合方法 |
| CN117141521A (zh) * | 2023-11-01 | 2023-12-01 | 广汽埃安新能源汽车股份有限公司 | 一种基于数据融合的车辆控制方法及装置 |
| CN117141521B (zh) * | 2023-11-01 | 2024-02-23 | 广汽埃安新能源汽车股份有限公司 | 一种基于数据融合的车辆控制方法及装置 |
| CN117555333A (zh) * | 2023-11-21 | 2024-02-13 | 深圳云程科技有限公司 | 一种动态行进轨迹的处理系统及方法 |
| CN117389937A (zh) * | 2023-12-11 | 2024-01-12 | 上海建工一建集团有限公司 | 一种车辆避障数据的计算方法、计算机及可读存储介质 |
| CN117389937B (zh) * | 2023-12-11 | 2024-03-08 | 上海建工一建集团有限公司 | 一种车辆避障数据的计算方法、计算机及可读存储介质 |
| CN117395292B (zh) * | 2023-12-12 | 2024-02-20 | 中科慧拓(北京)科技有限公司 | 一种数字平行车云端监控系统及方法 |
| CN117395292A (zh) * | 2023-12-12 | 2024-01-12 | 中科慧拓(北京)科技有限公司 | 一种数字平行车云端监控系统及方法 |
| CN117521422A (zh) * | 2024-01-05 | 2024-02-06 | 吉林省知云科技有限公司 | 一种基于沉浸式分队行为仿真系统及方法 |
| CN118013465A (zh) * | 2024-04-09 | 2024-05-10 | 微网优联科技(成都)有限公司 | 基于多传感器协同的非机动车识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113313154A (zh) | 一体化融合多传感器自动驾驶智能感知装置 | |
| Ma et al. | Artificial intelligence applications in the development of autonomous vehicles: A survey | |
| US11854212B2 (en) | Traffic light detection system for vehicle | |
| CN110356412B (zh) | 用于自主驾驶的自动规则学习的方法和设备 | |
| CN115014383A (zh) | 用于车辆的导航系统和用于导航车辆的方法 | |
| US20220261601A1 (en) | Multiple Stage Image Based Object Detection and Recognition | |
| US20230260266A1 (en) | Camera-radar data fusion for efficient object detection | |
| US20220146277A1 (en) | Architecture for map change detection in autonomous vehicles | |
| CN116142233A (zh) | 载具灯分类系统 | |
| CN115951326A (zh) | 对象检测方法、系统和存储介质 | |
| Broughton et al. | Learning to see through the haze: Multi-sensor learning-fusion system for vulnerable traffic participant detection in fog | |
| CN115713687A (zh) | 用于确定对象动态参数的方法、系统和介质 | |
| Asmika et al. | Deep learning for vision and decision making in self driving cars-challenges with ethical decision making | |
| WO2023158642A1 (en) | Camera-radar data fusion for efficient object detection | |
| KR20230120974A (ko) | 레이더를 사용하여 로컬화 및 차선 검출을 위한 연석 기반의 특징 추출 | |
| CN117950399A (zh) | 一种基于多模态知识图谱的自动避障决策方法及系统 | |
| CN117387647A (zh) | 融合车载传感器数据与道路传感器数据的道路规划方法 | |
| Li et al. | Composition and application of current advanced driving assistance system: A review | |
| US20230294687A1 (en) | End-to-end processing in automated driving systems | |
| Tewari et al. | AI-based autonomous driving assistance system | |
| US20230298356A1 (en) | Instance segmentation in a pseudo-image | |
| US11878684B2 (en) | System and method for trajectory prediction using a predicted endpoint conditioned network | |
| Lai et al. | Sensor fusion of camera and MMW radar based on machine learning for vehicles | |
| CN115840441A (zh) | 用于运载工具的方法、用于运载工具的系统和存储介质 | |
| YU et al. | Vehicle Intelligent Driving Technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |