CN112650220B - 一种车辆自动驾驶方法、车载控制器及系统 - Google Patents

一种车辆自动驾驶方法、车载控制器及系统 Download PDF

Info

Publication number
CN112650220B
CN112650220B CN202011409515.9A CN202011409515A CN112650220B CN 112650220 B CN112650220 B CN 112650220B CN 202011409515 A CN202011409515 A CN 202011409515A CN 112650220 B CN112650220 B CN 112650220B
Authority
CN
China
Prior art keywords
current
data
target
current target
target information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011409515.9A
Other languages
English (en)
Other versions
CN112650220A (zh
Inventor
庹新娟
严义雄
赖锋
余昊
熊盼盼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Motor Corp
Original Assignee
Dongfeng Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Motor Corp filed Critical Dongfeng Motor Corp
Priority to CN202011409515.9A priority Critical patent/CN112650220B/zh
Publication of CN112650220A publication Critical patent/CN112650220A/zh
Application granted granted Critical
Publication of CN112650220B publication Critical patent/CN112650220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种车辆自动驾驶方法、车载控制器及系统，方法包括：将各历史驾驶场景数据发送至云服务器，使云服务器基于历史驾驶场景数据训练驾驶模型；接收驾驶模型对应的模型参数及高精度地图；基于当前驾驶场景的相机图像数据、点云数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息及第二当前目标信息；将第一当前目标信息、第二当前目标信息及高精度地图进行感知融合，输出感知数据；基于感知数据对当前车辆进行行驶控制；如此，当前车辆接收到驾驶模型对应的模型参数后，也会不断地根据实时的驾驶场景数据进行迁移学习，并与高精度地图进行融合，提高感知数据的感知精度，进而可高精度地对车辆进行行为控制。

Description

一种车辆自动驾驶方法、车载控制器及系统
技术领域
本发明属于车辆自动驾驶技术领域，尤其涉及一种车辆自动驾驶方法、车载控制器及系统。
背景技术
在汽车发展趋势中，自动驾驶将是汽车发展的主要方向。
目前的自动驾驶模型一般是利用单一传感器采集的数据进行训练得出的，功能比较单一。但自动驾驶场景复杂多变，无法穷举，单一传感器性能受限，单一传感器无法满足高级别自动驾驶感知功能，面对复杂多变的自然驾驶环境，无法高精度地对车辆进行行为控制。
发明内容
针对现有技术存在的问题，本发明实施例提供了一种车辆自动驾驶方法、车载控制器及系统，用于解决现有技术中的车辆自动驾驶模型在面对复杂多变的自然驾驶环境时，无法高精度地对车辆进行行为控制的技术问题。
本发明提供一种车辆自动驾驶方法，所述方法包括：
获取各类型的历史驾驶场景数据，将各所述历史驾驶场景数据发送至云服务器，使得所述云服务器基于所述历史驾驶场景数据及对应的标签数据训练驾驶模型；
接收由所述云服务器发送的所述驾驶模型对应的模型参数及高精度地图；
实时获取当前驾驶场景中当前目标的点云数据及相机图像数据，基于所述相机图像数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息；基于所述点云数据及对应的模型参数进行迁移学习，输出识别出的所述当前目标的第二当前目标信息；所述当前目标为所述当前驾驶场景中存在的所有交通参与者；
将所述第一当前目标信息、所述第二当前目标信息及所述高精度地图进行感知融合，输出所述当前驾驶场景的感知数据；
基于所述感知数据对所述当前车辆进行行驶控制。
可选的，所述基于所述相机图像数据及对应的模型参数进行迁移学习，输出识别出的所述当前目标的第一当前目标信息，包括：
获取相机图像数据对应的第一当前标签数据，基于所述相机图像数据及所述第一当前标签数据进行卷积神经网络运算，输出所述当前目标的2D包围盒及所述当前目标的第一目标分类；
基于所述当前目标的2D包围盒对所述当前目标进行目标姿态估计及目标大小估计，输出所述当前目标的目标姿态及目标大小；
对所述目标姿态及所述目标大小进行3D推理，输出所述当前3D包围盒；基于所述3D包围盒确定所述当前目标的第一位置信息。
可选的，所述基于所述相机图像数据及对应的模型参数进行迁移学习，输出识别出的所述当前目标的第一当前目标信息，还包括：
对所述相机图像数据进行逆透视变换，获得变换后的相机图像数据；
获取所述当前车辆的姿态数据及相机外参数据，基于所述当前车辆的姿态数据、所述相机外参数据对变换后的相机图像数据进行空间坐标映射，获得相机图像数据对应的空间坐标；
基于所述空间坐标及相机内参数据确定所述当前目标与所述当前车辆之间的距离。
可选的，所述基于所述点云数据及所述模型参数进行迁移学习，输出识别出的所述当前目标的第二当前目标信息，包括：
对所述点云数据进行点云体素化，获得点云体素数据；
获取所述点云数据对应的第二当前标签数据；
对所述点云体素数据及所述第二当前标签数据进行特征提取，获得点云体素特征；
基于稀疏卷积神经网络对所述点云体素特征进行运算，输出所述当前目标的第二目标分类、第二目标位置信息及方向。
可选的，所述将所述第一当前目标信息、所述第二当前目标信息及所述高精度地图进行感知融合，输出所述当前驾驶场景的感知数据，包括：
确定所述第一当前目标信息的第一权重及所述第二当前目标信息的第二权重；
基于所述第一权重、所述第二权重确定所述当前目标的综合目标信息；
获取所述高精度地图中所述当前目标对应的参考目标信息，利用所述参考目标信息对所述综合目标信息进行反向定位，输出所述当前目标的最终目标信息，所述最终目标信息为所述当前驾驶场景的感知数据。
可选的，所述基于所述感知数据对所述当前车辆进行行驶控制，包括：
基于所述感知数据对所述当前目标进行态势预估，输出所述当前目标在当前时刻的下一时刻的运动轨迹；
基于所述当前目标在当前时刻的下一时刻的运动轨迹控制所述当前车辆的行驶状态。
本发明还提供一种车载控制器，所述车载控制器包括：
获取单元，用于获取各类型的历史驾驶场景数据，将各所述历史驾驶场景数据发送至云服务器，使得所述云服务器基于所述历史驾驶场景数据及对应的标签数据创建驾驶模型；
接收单元，用于接收由所述云服务器发送的驾驶模型对应的模型参数及高精度地图；
学习单元，用于实时获取当前驾驶场景中当前目标的点云数据及相机图像数据，基于所述相机图像数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息；基于所述点云数据及对应的模型参数进行迁移学习，输出识别出的所述当前目标的第二当前目标信息；所述当前目标为所述当前驾驶场景中存在的所有交通参与者；
融合单元，用于将所述第一当前目标信息、所述第二当前目标信息及所述高精度地图进行感知融合，输出所述当前驾驶场景的感知数据；
控制单元，用于基于所述感知数据对所述当前车辆进行行驶控制。
可选的，所述学习单元具体用于：
获取相机图像数据对应的第一当前标签数据，基于所述相机图像数据及所述第一当前标签数据进行卷积神经网络运算，输出所述当前目标的2D包围盒及所述当前目标的第一目标分类；
基于所述当前目标的2D包围盒对所述当前目标进行目标姿态估计及目标大小估计，输出所述当前目标的目标姿态及目标大小；
对所述目标姿态及所述目标大小进行3D推理，输出所述当前3D包围盒；基于所述3D包围盒确定所述当前目标的第一位置信息。
可选的，所述学习单元具体用于：
对所述相机图像数据进行逆透视变换，获得变换后的相机图像数据；
获取所述当前车辆的姿态数据及相机外参数据，基于所述当前车辆的姿态数据、所述相机外参数据对变换后的相机图像数据进行空间坐标映射，获得相机图像数据对应的空间坐标；
基于所述空间坐标及相机内参数据确定所述当前目标与所述当前车辆之间的距离。
本发明还提供一种车辆自动驾驶系统，所述系统包括：
传感器，用于采集各类型的历史驾驶场景数据、当前驾驶场景中当前目标的点云数据及相机图像数据；
车载控制器，用于接收由所述传感器发送的所述历史驾驶场景数据；
云服务器，用于接收由所述车载控制器发送的所述历史驾驶场景数据，为所述驾驶场景数据添加对应的标签数据，根据所述历史驾驶场景数据对应的标签数据训练驾驶模型；
所述车载控制器还用于：接收由所述云服务器发送的所述驾驶模型对应的模型参数及高精度地图；
实时获取当前驾驶场景中当前目标的点云数据及相机图像数据，基于所述相机图像数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息；基于所述点云数据对应的模型参数进行迁移学习，输出识别出的所述当前目标的第二当前目标信息；所述当前目标为所述当前驾驶场景中存在的所有交通参与者；
将所述第一当前目标信息、所述第二当前目标信息及所述高精度地图进行感知融合，输出所述当前驾驶场景的感知数据；
基于所述感知数据对所述当前车辆进行行驶控制。
本发明提供了一种车辆自动驾驶方法、车载控制器及系统，方法包括：获取各类型的历史驾驶场景数据，将各所述历史驾驶场景数据发送至云服务器，使得所述云服务器基于所述历史驾驶场景数据及对应的标签数据训练驾驶模型；接收由所述云服务器发送的所述驾驶模型对应的模型参数及高精度地图；实时获取当前驾驶场景中当前目标的点云数据及相机图像数据，基于所述相机图像数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息；基于所述点云数据及对应的模型参数进行迁移学习，输出识别出的所述当前目标的第二当前目标信息；所述当前目标为所述当前驾驶场景中存在的所有交通参与者；将所述第一当前目标信息、所述第二当前目标信息及所述高精度地图进行感知融合，输出所述当前驾驶场景的感知数据；基于所述感知数据对所述当前车辆进行行驶控制；如此，因驾驶模型是云端服务器通过各类型驾驶场景的数据不断训练得出的，驾驶模型的基准精度是可以得到确保的；并且，当前车辆接收到驾驶模型对应的模型参数后，也会不断地根据实时的驾驶场景数据进行迁移学习，并与高精度地图进行融合，以提高感知数据的准确度和感知精度，为自动驾驶的精准决策规划提供有利保证，进而可高精度地对车辆进行行为控制。
附图说明
图1为本发明实施例提供的车辆自动驾驶系统整体结构示意图；
图2为本发明实施例提供的车辆自动驾驶方法流程示意图；
图3为本发明实施例提供的车载控制器整体结构示意图。
具体实施方式
为了解决现有技术中的车辆自动驾驶模型在面对复杂多变的自然驾驶环境时，无法高精度地对车辆进行行为控制的技术问题，本发明提供了一种车辆自动驾驶方法、车载控制器及系统。
下面通过附图及具体实施例对本发明的技术方案做进一步的详细说明。
实施例一
本实施例提供一种车辆自动驾驶系统，如图1所示，系统包括：传感器车载控制器1及云服务器2；其中，传感器包括：图像传感器3、激光雷达传感器4、高分辨率毫米波雷达传感器5及超声波雷达传感器6；
传感器，用于采集各类型的历史驾驶场景数据、当前驾驶场景的点云数据及图像数据；具体的，图像传感器3用于采集驾驶场景中各目标的图像数据；激光雷达传感器4用于采集驾驶场景中各目标的点云数据；毫米波雷达传感器5用于采集驾驶场景中各目标的点云数据；超声波雷达传感器6用于采集驾驶场景中各目标的雷达数据。这里，考虑到驾驶场景的自然环境较为复杂，因此需要多种类型的雷达传感器来采集驾驶场景数据，以能提高精度。车载控制器1，用于接收由各传感器发送的驾驶场景数据；
云服务器2，用于接收由车载控制器1发送的历史驾驶场景数据，并为历史驾驶场景数据添加对应的标签数据，并基于历史驾驶场景数据及对应的标签数据训练驾驶模型，驾驶模型包括至少一种目标识别模型；其中，标签数据包括：各目标的类别信息、位置信息及置信度信息等。比如，类别信息可以包括：人、建筑物、车辆、栏杆等等。
车载控制器1还用于：接收由云服务器2发送的驾驶模型对应的模型参数及高精度地图；实时获取当前驾驶场景中当前目标的点云数据及相机图像数据，基于相机图像数据及模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息；基于点云数据及模型参数进行迁移学习，输出识别出的当前目标的第二当前目标信息；当前目标为当前驾驶场景中存在的所有交通参与者；将第一当前目标信息、第二当前目标信息及高精度地图进行感知融合，输出当前驾驶场景的感知数据；基于感知数据对当前车辆进行行驶控制。其中，当前目标信息包括：当前目标的类别信息及当前目标的位置信息等。
具体的，当云服务器2接收到历史驾驶场景数据后，会基于驾驶场景数据创建训练样本集，训练样本集中有多个样本数据，每个样本数据均包括历史驾驶场景数据及对应的标签数据。其中，训练样本集可以包括不同场景下的训练样本集，云服务器可以利用不同的训练样本集进行训练，得到驾驶模型。
举例来说，在车辆定位场景下，训练样本集可以包括各类静态目标的样本，例如建筑物，红绿灯和标识牌等。在行驶场景下，训练样本集可以包括各类动态目标的样本，例如当前车辆周围的其他车辆，行人等。
云服务器2利用深度学习模型训练网络对训练样本集进行模型训练，得到驾驶模型，驾驶模型达到预期效果后，将用于描述该驾驶模型的模型参数写入参数文件中，并基于无线通信方式将参数文件发送至车载控制器1。这样，只将参数文件发送至车载控制器1中，不但可以提高传输速率，也能提高数据传输的准确性。
云服务器2中包括有高精度地图，云服务器2还可以实时接收车载控制器1发送的高精度地图数据，来实时更新高精度地图，并将高精度地图发送至车载控制器1。
这样将驾驶模型的训练过程及高精度地图的更新过程放至云服务器1中执行，可以利用云服务器1强大的运算能力，进而可以提高训练效率及高精度地图的更新效率；同时也降低了车载控制器1的数据处理负担。
车载控制器1接收到参数文件后，会基于参数文件进行快速迁移学习，以还原驾驶模型，并将当前驾驶场景中的点云数据及相机图像数据作为驾驶模型的输入，分别对相机图像数据及点云数据进行识别，然后输出第一当前目标信息及第二当前目标信息；
然后将第一当前目标信息、第二当前目标信息及高精度地图进行感知融合，输出对当前驾驶场景的感知数据；基于感知数据对所述当前车辆进行行驶控制。
这里，车载控制器2如何执行上述迁移学习过程及融合过程会在后续有关车载控制器侧的实施例中详细描述，故在此不再赘述。
基于同样的发明构思，本发明还提供了一种车辆自动驾驶方法，详见实施例二。
实施例二
本实施例提供一种车辆自动驾驶方法，应用在车载控制器，如图2所示，方法包括：
S210，获取各类型的历史驾驶场景数据，将各所述历史驾驶场景数据发送至云服务器，使得所述云服务器基于所述历史驾驶场景数据训练驾驶模型；
驾驶场景是指开车路上的各种路况包含的交通参与者的场景，车辆在自然环境中行驶时，驾驶场景会存在多种类型，比如直线行驶、弯道行驶、变速行驶，泊车场景等等，因此需要获取到各种类型的历史驾驶场景数据。
这里，车辆上安装有各种类型的传感器，可以利用各传感器采集历史驾驶场景数据。传感器可以包括：激光雷达传感器、高分辨率毫米波雷达传感器、图像传感器及超声波雷达传感器等；图像传感器可以为智能相机。
本申请主要是考虑到自然驾驶环境复杂多变，因此设置有多种类型的传感器，以能适应不同情况的驾驶场境。
例如，在泊车场景中，车辆速度较低，此时利用雷达传感器或高分辨率毫米波雷达传感器采集的点云数据会不太合适，那么可以使用超声波雷达传感器采集的驾驶场景数据来进行驾驶模型训练或进行迁移学习。
当各传感器采集到历史驾驶场景数据后，将历史驾驶场景数据发送至车载控制器，车载控制器获取到各类型的历史驾驶场景数据后，将各历史驾驶场景数据发送至云服务器，云服务器为历史驾驶场景数据添加对应的标签数据；基于历史驾驶场景数据及对应的标签数据训练驾驶模型。其中，标签数据包括：各目标的类别信息、位置信息及置信度信息等。比如，类别信息可以包括：人、建筑物、车辆、栏杆等等。
这里，云服务器基于历史驾驶场景数据及对应的标签数据训练驾驶模型的具体实施方式已在实施例一中详细描述，故在此不再赘述。
S211，接收由所述云服务器发送的所述驾驶模型对应的模型参数及高精度地图；
云服务器训练出驾驶模型后，确定驾驶模型达到预期效果时，将驾驶模型对应的模型参数写入参数文件中，将参数文件发送至车载控制器；同时将高精度地图发送至车载控制器。
这样，车载控制器只接收由云服务器发送的驾驶模型对应的模型参数，可以基于模型参数还原出驾驶模型，很大程度上降低了自身的数据处理负担，提高数据处理效率。其中，因驾驶模型中包括图像目标识别模型及雷达数据目标识别模型等；模型参数包括：图像目标识别模型对应的模型参数、雷达数据目标识别模型对应的模型参数等，图像识别模型对应的模型参数与雷达数据识别模型对应的模型参数不同。
另外，当车载控制器实时获取到最新的高精度地图数据后，会将高精度地图数据发送至云服务器，以使云服务器可以更新高精度地图，确保高精度地图的精度。
进一步地，车载控制器还可以将实时获取到的传感器数据发送至云服务器，使得云服务器利用实时的传感器数据更新训练样本集，以基于更新后的训练样本集对驾驶模型继续训练。
S212，实时获取当前驾驶场景中当前目标的点云数据及相机图像数据，基于所述相机图像数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息；基于所述点云数据及对应的模型参数进行迁移学习，输出识别出的所述当前目标的第二当前目标信息；所述当前目标为所述当前驾驶场景中存在的所有交通参与者；
当车辆在当前驾驶环境中行驶时，同样可以利用各雷达传感器采集当前驾驶场景中的当前目标的点云数据，利用图像传感器采集当前驾驶场景中的当前目标的图像数据，车载控制器会接收由各雷达传感器及图像传感器发送的当前目标的点云数据及相机图像数据。
那么车载控制器基于相机图像数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息；基于点云数据及对应的模型参数进行迁移学习，利用向前传播算法输出识别出的当前目标的第二当前目标信息；当前目标为当前驾驶场景中存在的交通参与者。例如，交通参与者可以包括：车辆、行人等。
作为一种可选的实施例，基于相机图像数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息，包括：
获取相机图像数据对应的第一当前标签数据，基于相机图像数据及第一当前标签数据进行卷积神经网络运算，输出当前目标的2D包围盒及当前目标的第一目标分类；比如第一目标分类可以包括：建筑物、人、车辆，道路栅栏、树等等；
确定出当前目标的2D包围盒后，相当于确定出当前目标的2D位置信息了，那么基于当前目标的2D包围盒对当前目标进行目标姿态估计及目标大小估计，输出当前目标的目标姿态及目标大小；
对目标姿态及目标大小进行3D推理(2D、3D关系推理约束)，输出当前3D包围盒；基于3D包围盒确定当前目标的第一位置信息；第一位置信息为3D位置信息。
进一步地，对相机图像数据进行逆透视变换，获得变换后的相机图像数据；
获取当前车辆的姿态数据及相机外参数据，基于当前车辆的姿态数据、所述相机外参数据对变换后的相机图像数据进行空间坐标映射，获得相机图像数据对应的空间坐标；
基于空间坐标及相机内参确定当前目标与所述当前车辆之间的距离。这样及确定出了当前车辆(自车)与当前目标之间的距离。
其中，相机内参数据可以包括：相机焦距、相机光学中心及图片大小；相机外参数据包括：图像传感器相对于车辆后轴中心的安装位置、图像传感器的偏航角、翻滚角及俯仰角。
作为一种可选的实施例，针对任一雷达传感器采集的点云数据，基于点云数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第二当前目标信息，包括：
对点云数据进行点云体素化，获得点云体素数据，以能剔除无效的点云数据；
获取点云数据对应的第二当前标签数据；
对所述点云体素数据及第二当前标签数据进行特征提取，获得点云体素特征；
基于稀疏卷积神经网络对所述点云体素特征进行运算，输出当前目标的第二目标分类、第二目标位置信息及方向。同样的，第二目标分类也可以包括：建筑物、人、车辆，道路栅栏、树等等。
值得注意的是，因雷达传感器的类型包括多种，那么对于每一种雷达传感器来说，均包括有对应的第二当前目标信息。
S213，将所述第一当前目标信息、所述第二当前目标信息及所述高精度地图进行感知融合，输出所述当前驾驶场景的感知数据；
当第一当前目标信息及第二当前目标信息确定出之后，因传感器自身的精度以及驾驶场景环境的不同，针对同一当前目标，可能会导致第一当前目标信息及第二当前目标信息会有差别，因此需要将第一当前目标信息、第二当前目标信息及高精度地图进行感知融合，输出对当前驾驶场景的感知数据。
举例来说，在某一驾驶场景中，针对同一当前目标，假设第一当前目标信息中记载的当前目标的位置为A，第二当前目标信息中记载的当前目标位置分为B，而A和B是可能不同的。
作为一种可选的实施例，将第一当前目标信息、第二当前目标信息及高精度地图进行感知融合，输出当前驾驶场景的感知数据，包括：
确定第一当前目标信息的第一权重及第二当前目标信息的第二权重；
基于第一权重、所述第二权重确定当前目标的综合目标信息；综合目标实质上也包括有当前目标的目标分类、位置、大小、方向等信息；
获取高精度地图中当前目标对应的参考目标信息，利用参考目标信息对综合目标信息进行反向定位，输出当前目标的最终目标信息，最终目标信息为当前驾驶场景的感知数据。其中，感知数据可以包括：交通参与者的位置信息、大小信息、速度信息、加速度信息及类别信息等。
这里，第一权重和第二权重是基于实际驾驶场景进行确定的，比如，针对当前目标来说，在对当前目标的横向位置进行识别时，因图像传感器在横向识别精度要比雷达传感器的横向识别精度高，那么此时可第一权重大于第二权重；而在对当前目标的纵向位置进行识别时，因雷达传感器的纵向识别精度要比图像传感器的纵向识别精度高，此时可以第二权重可以大于第一权重。
比如：在纵向识别中，根据第二当前目标信息确定当前目标与当前车辆之间的距离为10m，根据第一当前目标信息确定当前目标与当前车辆之间的距离为9m，因雷达传感器在纵向识别的精度比图像传感器在纵向识别的精度要高，因此可以设置第二权重大于第一权重。
基于第一权重、所述第二权重确定当前目标的综合目标信息后，为了进一步提高综合目标信息的精度，可利用高精度地图中当前目标对应的参考目标信息对综合目标信息进行反向定位。这里因高精度地图中的参考目标信息精度较高，因此利用参考目标信息对综合目标信息进行反向定位后，可以提高综合目标信息的精度。当然，也可以利用反向定位后的综合目标信息对当前车辆进行反向定位，以提高自车的定位精度。
具体的，利用参考目标信息对综合目标信息进行反向定位，输出当前目标的最终目标信息，可以包括：
针对当前目标，将综合目标信息中的当前目标位置信息作为第一观测值，第一观测值可以理解为当前时刻识别出的观测值；将参考目标信息中的当前目标位置信息作为第二观测值；再获取到当前时刻的上一时刻识别出的当前目标位置信息，将当前时刻的上一时刻识别出的当前目标位置信息作为第三观测值；将第一观测值、第二观测值及第三观测值进行卡尔曼滤波加权融合、或进行联合概率数据关联(JPDA，Joint Probabilistic DataAssociation)融合、或利用深度学习网络进行深度学习训练，进而可以得出最终的位置信息，提高当前目标的定位精度；然后可以利用当前目标最终的位置信息反向校准当前车辆的位置信息，同时提高当前车辆的位置信息的精度。
举例来说，比如当前目标为地表任一物体(比如建筑物)，那么将综合目标信息中的物体位置信息作为第一观测值，第一观测值可以理解为当前时刻识别出的观测值；将参考目标信息中的物体位置信息作为第二观测值；再获取到当前时刻的上一时刻识别出的物体位置信息，将当前时刻的上一时刻识别出的物体位置信息作为第三观测值；将第一观测值、第二观测值及第三观测值进行卡尔曼滤波加权融合、或进行联合概率数据关联(JPDA，Joint Probabilistic Data Association)融合、或利用深度学习网络进行深度学习训练，进而可以得出一个较为准确的物体位置信息，提高物体的定位精度；然后可以利用该物体的位置信息反向校准当前车辆的位置信息，提高当前车辆的位置信息的精度。
或者，比如当前目标为车道线，针对车道线的位置来说，将综合目标信息中的车道线位置信息作为第一观测值，第一观测值可以理解为当前时刻识别出的观测值，将参考目标信息中的车道线位置信息作为第二观测值；再获取到当前时刻的上一时刻识别出的车道线位置信息，将当前时刻的上一时刻识别出的车道线位置信息作为第三观测值；将第一观测值、第二观测值及第三观测值进行卡尔曼滤波加权融合、或进行JPDA融合、或利用深度学习网络进行深度学习训练，进而可以得出一个较为准确的车道线位置信息，提高车道线的定位精度，解决当前车辆的传感器在小于250米半径场景的弯道中识别车道线不稳定的问题，稳定输出包括弯道在内的道路车道线，确保弯道场景自动驾驶的控制精度。
S214，基于所述感知数据对所述当前车辆进行行驶控制。
确定出感知数据后，基于感知数据对当前车辆进行行驶控制。
作为一种可选的实施例，基于感知数据对当前车辆进行行驶控制，包括：
基于感知数据对当前目标进行态势预估，输出当前目标在当前时刻的下一时刻的运动轨迹；
基于述当前目标在当前时刻的下一时刻的运动轨迹控制当前车辆的行驶状态。行驶状态可以包括：车道保持、加速变道、紧急制动、减速转弯及人行道减速避让等。
这样，当前车辆接收到驾驶模型对应的模型参数后，也会不断地根据实时的驾驶场景数据进行迁移学习，并与高精度地图进行融合，以提高感知数据的准确度和感知精度，为自动驾驶的精准决策规划提供有利保证，进而可高精度地对车辆进行行为控制。
基于同样的发明构思，本发明还提供一种车载控制器，详见实施例三。
实施例三
本实施例提供一种车载控制器，如图3所示，车载控制器包括：获取单元31、接收单元32、学习单元33、融合单元34及控制单元35；其中，
获取单元31，用于获取各类型的历史驾驶场景数据，将各所述历史驾驶场景数据发送至云服务器，使得所述云服务器基于所述历史驾驶场景数据及对应的标签数据创建驾驶模型；
接收单元32，用于接收由所述云服务器发送的驾驶模型对应的模型参数及高精度地图；
学习单元33，用于实时获取当前驾驶场景中当前目标的点云数据及相机图像数据，基于所述相机图像数据及所述模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息；基于所述点云数据及所述模型参数进行迁移学习，输出识别出的所述当前目标的第二当前目标信息；所述当前目标为所述当前驾驶场景中存在的所有交通参与者；
融合单元34，用于将所述第一当前目标信息、所述第二当前目标信息及所述高精度地图进行感知融合，输出所述当前驾驶场景的感知数据；
控制单元35，用于基于所述感知数据对所述当前车辆进行行驶控制。
具体的，驾驶场景是指开车路上的各种路况包含的交通参与者的场景，车辆在自然环境中行驶时，驾驶场景会存在多种类型，比如直线行驶、弯道行驶、变速行驶，泊车场景等等，因此获取单元31需要获取到各种类型的历史驾驶场景数据。
这里，车辆上安装有各种类型的传感器，可以利用各传感器采集历史驾驶场景数据。传感器可以包括：激光雷达传感器、高分辨率毫米波雷达传感器、图像传感器及超声波雷达传感器等；图像传感器可以为智能相机。
本申请主要是考虑到自然驾驶环境复杂多变，因此设置有多种类型的传感器，以能适应不同情况的驾驶场境。
例如，在泊车场景中，车辆速度较低，此时利用雷达传感器或高分辨率毫米波雷达传感器采集的点云数据会不太合适，那么可以使用超声波雷达传感器采集的驾驶场景数据来进行驾驶模型训练或进行迁移学习。
当各传感器采集到历史驾驶场景数据后，将历史驾驶场景数据发送至车载控制器，车载控制器获取到各类型的历史驾驶场景数据后，将各历史驾驶场景数据发送至云服务器，云服务器为历史驾驶场景数据添加对应的标签数据；基于历史驾驶场景数据及对应的标签数据训练驾驶模型。其中，标签数据包括：各目标的类别信息、位置信息及置信度信息等。比如，类别信息可以包括：人、建筑物、车辆、栏杆等等。
这里，云服务器基于历史驾驶场景数据及对应的标签数据训练驾驶模型的具体实施方式已在实施例一中详细描述，故在此不再赘述。
云服务器训练出驾驶模型后，确定驾驶模型达到预期效果时，将驾驶模型对应的模型参数写入参数文件中，将参数文件发送至车载控制器；同时将高精度地图发送至车载控制器。
这样，接收单元32只接收由云服务器发送的驾驶模型对应的模型参数，可以基于模型参数还原出驾驶模型，很大程度上降低了自身的数据处理负担，提高数据处理效率。其中，因驾驶模型中包括图像目标识别模型及雷达数据目标识别模型等；模型参数包括：图像目标识别模型对应的模型参数、雷达数据目标识别模型对应的模型参数等，图像识别模型对应的模型参数与雷达数据识别模型对应的模型参数不同。
另外，当车载控制器实时获取到最新的高精度地图数据后，会将高精度地图数据发送至云服务器，以使云服务器可以更新高精度地图，确保高精度地图的精度。
进一步地，车载控制器还可以将实时获取到的传感器数据发送至云服务器，使得云服务器利用实时的传感器数据更新训练样本集，以基于更新后的训练样本集对驾驶模型继续训练。
当车辆在当前驾驶环境中行驶时，同样可以利用各雷达传感器采集当前驾驶场景中的当前目标的点云数据，利用图像传感器采集当前驾驶场景中的当前目标的图像数据，接收单元32会接收由各雷达传感器及图像传感器发送的当前目标的点云数据及相机图像数据。
那么学习单元33基于相机图像数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息；基于点云数据及对应的模型参数进行迁移学习，利用向前传播算法输出识别出的当前目标的第二当前目标信息；当前目标为当前驾驶场景中存在的交通参与者。例如，交通参与者可以包括：车辆、行人等。
作为一种可选的实施例，学习单元33基于相机图像数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息，包括：
获取相机图像数据对应的第一当前标签数据，基于相机图像数据及第一当前标签数据进行卷积神经网络运算，输出当前目标的2D包围盒及当前目标的第一目标分类；比如第一目标分类可以包括：建筑物、人、车辆，道路栅栏、树等等；
确定出当前目标的2D包围盒后，相当于确定出当前目标的2D位置信息了，那么基于当前目标的2D包围盒对当前目标进行目标姿态估计及目标大小估计，输出当前目标的目标姿态及目标大小；
对目标姿态及目标大小进行3D推理(2D、3D关系推理约束)，输出当前3D包围盒；基于3D包围盒确定当前目标的第一位置信息；第一位置信息为3D位置信息。
进一步地，对相机图像数据进行逆透视变换，获得变换后的相机图像数据；
获取当前车辆的姿态数据及相机外参数据，基于当前车辆的姿态数据、所述相机外参数据对变换后的相机图像数据进行空间坐标映射，获得相机图像数据对应的空间坐标；
基于空间坐标及相机内参确定当前目标与所述当前车辆之间的距离。这样及确定出了当前车辆(自车)与当前目标之间的距离。
其中，相机内参数据可以包括：相机焦距、相机光学中心及图片大小；相机外参数据包括：图像传感器相对于车辆后轴中心的安装位置、图像传感器的偏航角、翻滚角及俯仰角。
作为一种可选的实施例，针对任一雷达传感器采集的点云数据，学习单元33基于点云数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第二当前目标信息，包括：
对点云数据进行点云体素化，获得点云体素数据，以能剔除无效的点云数据；
获取点云数据对应的第二当前标签数据；
对所述点云体素数据及第二当前标签数据进行特征提取，获得点云体素特征；
基于稀疏卷积神经网络对所述点云体素特征进行运算，输出当前目标的第二目标分类、第二目标位置信息及方向。同样的，第二目标分类也可以包括：建筑物、人、车辆，道路栅栏、树等等。
值得注意的是，因雷达传感器的类型包括多种，那么对于每一种雷达传感器来说，均包括有对应的第二当前目标信息。
当第一当前目标信息及第二当前目标信息确定出之后，因传感器自身的精度以及驾驶场景环境的不同，针对同一当前目标，可能会导致第一当前目标信息及第二当前目标信息会有差别，因此融合单元34需要将第一当前目标信息、第二当前目标信息及高精度地图进行感知融合，输出当前驾驶场景的感知数据。
举例来说，在某一驾驶场景中，针对同一当前目标，假设第一当前目标信息中记载的当前目标的位置为A，第二当前目标信息中记载的当前目标位置分为B，而A和B是可能不同的。
作为一种可选的实施例，融合单元34将第一当前目标信息、第二当前目标信息及高精度地图进行感知融合，输出对当前驾驶场景的感知数据，包括：
确定第一当前目标信息的第一权重及第二当前目标信息的第二权重；
基于第一权重、所述第二权重确定当前目标的综合目标信息；综合目标实质上也包括有当前目标的目标分类、位置、大小、方向等信息；
获取高精度地图中当前目标对应的参考目标信息，利用参考目标信息对综合目标信息进行反向定位，输出当前目标的最终目标信息，最终目标信息为当前驾驶场景的感知数据。其中，感知数据可以包括：交通参与者的位置信息、大小信息、速度信息、加速度信息及类别信息等。
这里，第一权重和第二权重是基于实际驾驶场景进行确定的，比如，针对当前目标来说，在对当前目标的横向位置进行识别时，因图像传感器在横向识别精度要比雷达传感器的横向识别精度高，那么此时可第一权重大于第二权重；而在对当前目标的纵向位置进行识别时，因雷达传感器的纵向识别精度要比图像传感器的纵向识别精度高，此时可以第二权重可以大于第一权重。
比如：在纵向识别中，根据第二当前目标信息确定当前目标与当前车辆之间的距离为10m，根据第一当前目标信息确定当前目标与当前车辆之间的距离为9m，因雷达传感器在纵向识别的精度比图像传感器在纵向识别的精度要高，因此可以设置第二权重大于第一权重。
基于第一权重、所述第二权重确定当前目标的综合目标信息后，为了进一步提高综合目标信息的精度，可利用高精度地图中当前目标对应的参考目标信息对综合目标信息进行反向定位。这里因高精度地图中的参考目标信息精度较高，因此利用参考目标信息对综合目标信息进行反向定位后，可以提高综合目标信息的精度。当然，也可以利用反向定位后的综合目标信息对当前车辆进行反向定位，以提高自车的定位精度。
具体的，利用参考目标信息对综合目标信息进行反向定位，输出当前目标的最终目标信息，可以包括：
针对当前目标，将综合目标信息中的当前目标位置信息作为第一观测值，第一观测值可以理解为当前时刻识别出的观测值；将参考目标信息中的当前目标位置信息作为第二观测值；再获取到当前时刻的上一时刻识别出的当前目标位置信息，将当前时刻的上一时刻识别出的当前目标位置信息作为第三观测值；将第一观测值、第二观测值及第三观测值进行卡尔曼滤波加权融合、或进行联合概率数据关联(JPDA，Joint Probabilistic DataAssociation)融合、或利用深度学习网络进行深度学习训练，进而可以得出最终的位置信息，提高当前目标的定位精度；然后可以利用当前目标最终的位置信息反向校准当前车辆的位置信息，同时提高当前车辆的位置信息的精度。
举例来说，比如当前目标为地表任一物体(比如建筑物)，那么将综合目标信息中的物体位置信息作为第一观测值，第一观测值可以理解为当前时刻识别出的观测值；将参考目标信息中的物体位置信息作为第二观测值；再获取到当前时刻的上一时刻识别出的物体位置信息，将当前时刻的上一时刻识别出的物体位置信息作为第三观测值；将第一观测值、第二观测值及第三观测值进行卡尔曼滤波加权融合、或进行联合概率数据关联(JPDA，Joint Probabilistic Data Association)融合、或利用深度学习网络进行深度学习训练，进而可以得出一个较为准确的物体位置信息，提高物体的定位精度；然后可以利用该物体的位置信息反向校准当前车辆的位置信息，提高当前车辆的位置信息的精度。
或者，比如当前目标为车道线，针对车道线的位置来说，将综合目标信息中的车道线位置信息作为第一观测值，第一观测值可以理解为当前时刻识别出的观测值，将参考目标信息中的车道线位置信息作为第二观测值；再获取到当前时刻的上一时刻识别出的车道线位置信息，将当前时刻的上一时刻识别出的车道线位置信息作为第三观测值；将第一观测值、第二观测值及第三观测值进行卡尔曼滤波加权融合、或进行JPDA融合、或利用深度学习网络进行深度学习训练，进而可以得出一个较为准确的车道线位置信息，提高车道线的定位精度，解决当前车辆的传感器在小于250米半径场景的弯道中识别车道线不稳定的问题，稳定输出包括弯道在内的道路车道线，确保弯道场景自动驾驶的控制精度。
确定出感知数据后，控制单元35基于感知数据对当前车辆进行行驶控制。
作为一种可选的实施例，控制单元35基于感知数据对当前车辆进行行驶控制，包括：
基于感知数据对当前目标进行态势预估，输出当前目标在当前时刻的下一时刻的运动轨迹；
基于述当前目标在当前时刻的下一时刻的运动轨迹控制当前车辆的行驶状态。行驶状态可以包括：车道保持、加速变道、紧急制动、减速转弯及人行道减速避让等。
这样，当前车辆接收到驾驶模型对应的模型参数后，也会不断地根据实时的驾驶场景数据进行迁移学习，并与高精度地图进行融合，以提高感知数据的准确度和感知精度，为自动驾驶的精准决策规划提供有利保证，进而可高精度地对车辆进行行为控制。
本发明实施例提供的一种车辆自动驾驶方法、车载控制器及系统能够带来的有益效果至少是：
本发明提供了一种车辆自动驾驶方法、车载控制器及系统，方法包括：获取各类型的历史驾驶场景数据，将各所述历史驾驶场景数据发送至云服务器，使得所述云服务器基于所述历史驾驶场景数据及对应的标签数据训练驾驶模型；接收由所述云服务器发送的所述驾驶模型对应的模型参数及高精度地图；实时获取当前驾驶场景中当前目标的点云数据及相机图像数据，基于所述相机图像数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息；基于所述点云数据及对应的模型参数进行迁移学习，输出识别出的所述当前目标的第二当前目标信息；所述当前目标为所述当前驾驶场景中存在的所有交通参与者；将所述第一当前目标信息、所述第二当前目标信息及所述高精度地图进行感知融合，输出所述当前驾驶场景的感知数据；基于所述感知数据对所述当前车辆进行行驶控制；如此，因驾驶模型是云端服务器通过各类型驾驶场景的数据不断训练得出的，驾驶模型的基准精度是可以得到确保的；同时也可以降低车载控制器的处理负担，进而降低单车成本；并且，当前车辆接收到驾驶模型对应的模型参数后，也会不断地根据实时的驾驶场景数据进行迁移学习，并与高精度地图进行融合，以提高感知数据的准确度和感知精度，为自动驾驶的精准决策规划提供有利保证，进而可高精度地对车辆进行行为控制。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种车辆自动驾驶方法，其特征在于，所述方法包括：
获取各类型的历史驾驶场景数据，将各所述历史驾驶场景数据发送至云服务器，使得所述云服务器基于所述历史驾驶场景数据及对应的标签数据训练驾驶模型；
接收由所述云服务器发送的所述驾驶模型对应的模型参数及高精度地图；
实时获取当前驾驶场景中当前目标的点云数据及相机图像数据，基于所述相机图像数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息；基于所述点云数据及对应的模型参数进行迁移学习，输出识别出的所述当前目标的第二当前目标信息；所述当前目标为所述当前驾驶场景中存在的所有交通参与者；
将所述第一当前目标信息、所述第二当前目标信息及所述高精度地图进行感知融合，输出所述当前驾驶场景的感知数据；
基于所述感知数据对当前车辆进行行驶控制；其中，
所述将所述第一当前目标信息、所述第二当前目标信息及所述高精度地图进行感知融合，输出所述当前驾驶场景的感知数据，包括：
确定所述第一当前目标信息的第一权重及所述第二当前目标信息的第二权重；
基于所述第一权重、所述第二权重确定所述当前目标的综合目标信息；
获取所述高精度地图中所述当前目标对应的参考目标信息，利用所述参考目标信息对所述综合目标信息进行反向定位，输出所述当前目标的最终目标信息，所述最终目标信息为所述当前驾驶场景的感知数据；
利用参考目标信息对综合目标信息进行反向定位，输出当前目标的最终目标信息，包括：
针对当前目标，将综合目标信息中的当前目标位置信息作为第一观测值；
将参考目标信息中的当前目标位置信息作为第二观测值；
获取当前时刻的上一时刻识别出的当前目标位置信息，将当前时刻的上一时刻识别出的当前目标位置信息作为第三观测值；
将第一观测值、第二观测值及第三观测值进行融合，得出最终目标信息。
2.如权利要求1所述的方法，其特征在于，所述基于所述相机图像数据及对应的模型参数进行迁移学习，输出识别出的所述当前目标的第一当前目标信息，包括：
获取相机图像数据对应的第一当前标签数据，基于所述相机图像数据及所述第一当前标签数据进行卷积神经网络运算，输出所述当前目标的2D包围盒及所述当前目标的第一目标分类；
基于所述当前目标的2D包围盒对所述当前目标进行目标姿态估计及目标大小估计，输出所述当前目标的目标姿态及目标大小；
对所述目标姿态及所述目标大小进行3D推理，输出所述当前3D包围盒；基于所述3D包围盒确定所述当前目标的第一位置信息。
3.如权利要求2所述的方法，其特征在于，所述基于所述相机图像数据及对应的模型参数进行迁移学习，输出识别出的所述当前目标的第一当前目标信息，还包括：
对所述相机图像数据进行逆透视变换，获得变换后的相机图像数据；
获取所述当前车辆的姿态数据及相机外参数据，基于所述当前车辆的姿态数据、所述相机外参数据对变换后的相机图像数据进行空间坐标映射，获得相机图像数据对应的空间坐标；
基于所述空间坐标及相机内参数据确定所述当前目标与所述当前车辆之间的距离。
4.如权利要求1所述的方法，其特征在于，所述基于所述点云数据及所述模型参数进行迁移学习，输出识别出的所述当前目标的第二当前目标信息，包括：
对所述点云数据进行点云体素化，获得点云体素数据；
获取所述点云数据对应的第二当前标签数据；
对所述点云体素数据及所述第二当前标签数据进行特征提取，获得点云体素特征；
基于稀疏卷积神经网络对所述点云体素特征进行运算，输出所述当前目标的第二目标分类、第二目标位置信息及方向。
5.如权利要求1所述的方法，其特征在于，所述基于所述感知数据对所述当前车辆进行行驶控制，包括：
基于所述感知数据对所述当前目标进行态势预估，输出所述当前目标在当前时刻的下一时刻的运动轨迹；
基于所述当前目标在当前时刻的下一时刻的运动轨迹控制所述当前车辆的行驶状态。
6.一种车载控制器，其特征在于，所述车载控制器包括：
获取单元，用于获取各类型的历史驾驶场景数据，将各所述历史驾驶场景数据发送至云服务器，使得所述云服务器基于所述历史驾驶场景数据及对应的标签数据创建驾驶模型；
接收单元，用于接收由所述云服务器发送的驾驶模型对应的模型参数及高精度地图；
学习单元，用于实时获取当前驾驶场景中当前目标的点云数据及相机图像数据，基于所述相机图像数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息；基于所述点云数据及对应的模型参数进行迁移学习，输出识别出的所述当前目标的第二当前目标信息；所述当前目标为所述当前驾驶场景中存在的所有交通参与者；
融合单元，用于将所述第一当前目标信息、所述第二当前目标信息及所述高精度地图进行感知融合，输出所述当前驾驶场景的感知数据；
控制单元，用于基于所述感知数据对当前车辆进行行驶控制；其中，
所述将所述第一当前目标信息、所述第二当前目标信息及所述高精度地图进行感知融合，输出所述当前驾驶场景的感知数据，包括：
确定所述第一当前目标信息的第一权重及所述第二当前目标信息的第二权重；
基于所述第一权重、所述第二权重确定所述当前目标的综合目标信息；
获取所述高精度地图中所述当前目标对应的参考目标信息，利用所述参考目标信息对所述综合目标信息进行反向定位，输出所述当前目标的最终目标信息，所述最终目标信息为所述当前驾驶场景的感知数据；
利用参考目标信息对综合目标信息进行反向定位，输出当前目标的最终目标信息，包括：
针对当前目标，将综合目标信息中的当前目标位置信息作为第一观测值；
将参考目标信息中的当前目标位置信息作为第二观测值；
获取当前时刻的上一时刻识别出的当前目标位置信息，将当前时刻的上一时刻识别出的当前目标位置信息作为第三观测值；
将第一观测值、第二观测值及第三观测值进行融合，得出最终目标信息。
7.如权利要求6所述的车载控制器，其特征在于，所述学习单元具体用于：
获取相机图像数据对应的第一当前标签数据，基于所述相机图像数据及所述第一当前标签数据进行卷积神经网络运算，输出所述当前目标的2D包围盒及所述当前目标的第一目标分类；
基于所述当前目标的2D包围盒对所述当前目标进行目标姿态估计及目标大小估计，输出所述当前目标的目标姿态及目标大小；
对所述目标姿态及所述目标大小进行3D推理，输出所述当前3D包围盒；基于所述3D包围盒确定所述当前目标的第一位置信息。
8.如权利要求6所述的车载控制器，其特征在于，所述学习单元具体用于：
对所述相机图像数据进行逆透视变换，获得变换后的相机图像数据；
获取所述当前车辆的姿态数据及相机外参数据，基于所述当前车辆的姿态数据、所述相机外参数据对变换后的相机图像数据进行空间坐标映射，获得相机图像数据对应的空间坐标；
基于所述空间坐标及相机内参数据确定所述当前目标与所述当前车辆之间的距离。
9.一种车辆自动驾驶系统，其特征在于，所述系统包括：
传感器，用于采集各类型的历史驾驶场景数据、当前驾驶场景中当前目标的点云数据及相机图像数据；
车载控制器，用于接收由所述传感器发送的所述历史驾驶场景数据；
云服务器，用于接收由所述车载控制器发送的所述历史驾驶场景数据，为所述驾驶场景数据添加对应的标签数据，根据所述历史驾驶场景数据对应的标签数据训练驾驶模型；
所述车载控制器还用于：接收由所述云服务器发送的所述驾驶模型对应的模型参数及高精度地图；
实时获取当前驾驶场景中当前目标的点云数据及相机图像数据，基于所述相机图像数据及对应的模型参数进行迁移学习，输出识别出的当前目标的第一当前目标信息；基于所述点云数据对应的模型参数进行迁移学习，输出识别出的所述当前目标的第二当前目标信息；所述当前目标为所述当前驾驶场景中存在的所有交通参与者；
将所述第一当前目标信息、所述第二当前目标信息及所述高精度地图进行感知融合，输出所述当前驾驶场景的感知数据；
基于所述感知数据对当前车辆进行行驶控制；其中，
所述将所述第一当前目标信息、所述第二当前目标信息及所述高精度地图进行感知融合，输出所述当前驾驶场景的感知数据，包括：
确定所述第一当前目标信息的第一权重及所述第二当前目标信息的第二权重；
基于所述第一权重、所述第二权重确定所述当前目标的综合目标信息；
获取所述高精度地图中所述当前目标对应的参考目标信息，利用所述参考目标信息对所述综合目标信息进行反向定位，输出所述当前目标的最终目标信息，所述最终目标信息为所述当前驾驶场景的感知数据；
利用参考目标信息对综合目标信息进行反向定位，输出当前目标的最终目标信息，包括：
针对当前目标，将综合目标信息中的当前目标位置信息作为第一观测值；
将参考目标信息中的当前目标位置信息作为第二观测值；
获取当前时刻的上一时刻识别出的当前目标位置信息，将当前时刻的上一时刻识别出的当前目标位置信息作为第三观测值；
将第一观测值、第二观测值及第三观测值进行融合，得出最终目标信息。
CN202011409515.9A 2020-12-04 2020-12-04 一种车辆自动驾驶方法、车载控制器及系统 Active CN112650220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011409515.9A CN112650220B (zh) 2020-12-04 2020-12-04 一种车辆自动驾驶方法、车载控制器及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011409515.9A CN112650220B (zh) 2020-12-04 2020-12-04 一种车辆自动驾驶方法、车载控制器及系统

Publications (2)

Publication Number Publication Date
CN112650220A CN112650220A (zh) 2021-04-13
CN112650220B true CN112650220B (zh) 2022-03-25

Family

ID=75350914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011409515.9A Active CN112650220B (zh) 2020-12-04 2020-12-04 一种车辆自动驾驶方法、车载控制器及系统

Country Status (1)

Country Link
CN (1) CN112650220B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115956045A (zh) * 2021-06-10 2023-04-11 深圳元戎启行科技有限公司 车辆自动驾驶系统、方法、装置、计算机设备和存储介质
CN113276863B (zh) * 2021-07-01 2022-09-13 浙江吉利控股集团有限公司 车辆控制方法、装置、设备、介质及程序产品
CN113325855B (zh) * 2021-08-02 2021-11-30 北京三快在线科技有限公司 基于迁移场景用于预测障碍物轨迹的模型训练方法
CN113781300B (zh) * 2021-08-17 2023-10-13 东风汽车集团股份有限公司 一种用于远距离自主泊车的车辆视觉定位方法
CN113790761B (zh) * 2021-09-22 2023-08-04 腾讯科技（深圳）有限公司 驾驶端定位方法、装置、计算机设备和存储介质
WO2023060386A1 (zh) * 2021-10-11 2023-04-20 深圳市大疆创新科技有限公司 地图数据处理、地图数据构建方法、装置、车辆及计算机可读存储介质
CN114084129A (zh) * 2021-10-13 2022-02-25 武汉光庭信息技术股份有限公司 一种基于融合的车辆自动驾驶控制方法及系统
CN113947141B (zh) * 2021-10-14 2022-09-09 清华大学 一种城市路口场景的路侧灯塔感知系统
CN114521001A (zh) * 2021-10-29 2022-05-20 天津大学 一种网络带宽自适应的自动驾驶特征数据协作感知系统
CN116186955A (zh) * 2021-11-26 2023-05-30 华为技术有限公司 一种自动驾驶业务的建模方法和相关设备
CN114973181B (zh) * 2022-07-29 2022-10-14 武汉极目智能技术有限公司 多目bev视角的环境感知方法、装置、设备及存储介质
CN115465294A (zh) * 2022-09-13 2022-12-13 北京新能源汽车股份有限公司 一种车辆控制方法及装置
CN115588184A (zh) * 2022-10-28 2023-01-10 摩尔线程智能科技(北京)有限责任公司 检测目标行驶装置的方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105575119B (zh) * 2015-12-29 2018-06-19 大连楼兰科技股份有限公司 路况气候深度学习及识别方法和装置
CN109029463B (zh) * 2018-08-20 2021-08-24 重庆师范大学 面向车辆安全行驶的室内多平衡车自主导航与调度系统
CN109444912B (zh) * 2018-10-31 2020-08-04 电子科技大学 一种基于协同控制与深度学习的驾驶环境感知系统及方法
CN109581928A (zh) * 2018-12-07 2019-04-05 电子科技大学 一种面向高速公路场景的智能车端到端决策方法及系统
CN110032949B (zh) * 2019-03-22 2021-09-28 北京理工大学 一种基于轻量化卷积神经网络的目标检测与定位方法
US11554785B2 (en) * 2019-05-07 2023-01-17 Foresight Ai Inc. Driving scenario machine learning network and driving environment simulation
CN110196593B (zh) * 2019-05-16 2022-03-01 山东浪潮科学研究院有限公司 一种自动驾驶多场景环境检测及决策系统及方法
CN111026127B (zh) * 2019-12-27 2021-09-28 南京大学 基于部分可观测迁移强化学习的自动驾驶决策方法及系统
CN111142528B (zh) * 2019-12-31 2023-10-24 天津职业技术师范大学(中国职业培训指导教师进修中心) 车用危险场景感知方法、装置和系统
CN111257892A (zh) * 2020-01-09 2020-06-09 武汉理工大学 一种用于车辆自动驾驶的障碍物检测方法
CN111507222B (zh) * 2020-04-09 2023-07-07 中山大学 一种基于多源数据知识迁移的三维物体检测框架
CN111523515A (zh) * 2020-05-13 2020-08-11 北京百度网讯科技有限公司 自动驾驶车辆环境认知能力评价方法、设备及存储介质
CN111928862B (zh) * 2020-08-10 2023-11-21 廊坊和易生活网络科技股份有限公司 利用激光雷达和视觉传感器融合在线构建语义地图的方法
AU2020102543A4 (en) * 2020-09-30 2020-11-19 Aggarwal, Vibha DR Iot based trust modeling approach for cooperative autonomous driving and intelligent transport systems (its)

Also Published As

Publication number Publication date
CN112650220A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN112650220B (zh) 一种车辆自动驾驶方法、车载控制器及系统
US11698263B2 (en) Safety and comfort constraints for navigation
US11827241B2 (en) Adjusting lateral clearance for a vehicle using a multi-dimensional envelope
CN108961320B (zh) 确定移动物体速度的方法和系统
CN108073170B (zh) 用于自主车辆的自动化协同驾驶控制
EP3651064B1 (en) Deep learning for object detection using pillars
EP4057227A1 (en) Pose estimation of inertial measurement unit and camera mounted on a moving object
US11499834B2 (en) Aligning road information for navigation
CN112389440B (zh) 一种基于车路作用机理的越野环境中车辆行驶风险预测方法
CN116929401A (zh) 确定路面特征的线表示的方法、系统和计算机可读介质
CN112512887B (zh) 一种行驶决策选择方法以及装置
CN113743469B (zh) 一种融合多源数据及综合多维指标的自动驾驶决策方法
CN113252022B (zh) 一种地图数据处理方法及装置
EP4148599A1 (en) Systems and methods for providing and using confidence estimations for semantic labeling
US11200679B1 (en) System and method for generating a probability distribution of a location of an object
CN112753212A (zh) 图像扫描线时间戳
US20230056589A1 (en) Systems and methods for generating multilevel occupancy and occlusion grids for controlling navigation of vehicles
JP2023525927A (ja) 車両位置推定システム及び方法
US11872981B2 (en) Operating a motor vehicle with onboard and cloud-based data
CN115082562A (zh) 一种外参标定方法、装置、设备、服务器及车载计算设备
CN117452946A (zh) 一种基于数字孪生的智能汽车远程驾驶方法及系统
US20210295531A1 (en) System and method for trajectory prediction using a predicted endpoint conditioned network
CN111077893B (zh) 一种基于多灭点的导航方法、电子设备和存储介质
JP2022552938A (ja) 車載クラスタ追跡システム
WO2023286522A1 (ja) 処理システム、処理装置、処理方法、処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant