CN115148040A - 面向封闭道路环境的无人驾驶车辆控制方法及系统 - Google Patents

面向封闭道路环境的无人驾驶车辆控制方法及系统 Download PDF

Info

Publication number
CN115148040A
CN115148040A CN202210746649.2A CN202210746649A CN115148040A CN 115148040 A CN115148040 A CN 115148040A CN 202210746649 A CN202210746649 A CN 202210746649A CN 115148040 A CN115148040 A CN 115148040A
Authority
CN
China
Prior art keywords
vehicle
data
road environment
cloud
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210746649.2A
Other languages
English (en)
Inventor
朱凤华
武许可
宋冰
熊刚
吕宜生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Zhongke Cloud Computing Research Institute
Original Assignee
Dongguan Zhongke Cloud Computing Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Zhongke Cloud Computing Research Institute filed Critical Dongguan Zhongke Cloud Computing Research Institute
Priority to CN202210746649.2A priority Critical patent/CN115148040A/zh
Publication of CN115148040A publication Critical patent/CN115148040A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route

Abstract

本发明公开了一种面向封闭道路环境的无人驾驶车辆控制方法及系统，车辆上设置有环境感知传感器和定位器，环境感知传感器用于感知车辆运行环境中的道路环境数据，车辆控制方法包括辅助导航方法：车辆将当前采集到的实时道路环境数据和实时位置数据同步传输至云平台；云平台提取车辆当前运行道路的历史道路环境数据；基于图像数据融合模型对实时道路环境数据和历史道路环境数据进行融合，以生成远程导航信息；通过上述技术方案，有效提升了车辆应对复杂恶劣道路环境的能力，而且，由于辅助导航数据的生成需要大量的运算，对硬件要求较高，因此，通过云平台来进行辅助导航数据的运算和生成，可大幅降低单台车辆的成本。

Description

面向封闭道路环境的无人驾驶车辆控制方法及系统
技术领域
本发明涉及无人驾驶自动导航控制技术领域，尤其涉及一种面向封闭道路环境的无人驾驶车辆控制方法及系统。
背景技术
随着人工智能技术的不断迭代更新，越来越多的人工智能技术迅速发展，并且应用到了无人驾驶领域。随着人工智能技术的加入，自动驾驶也越来越智能化。相对于开放道路环境，封闭场景中的交通行为参与者相对固定，因此自动驾驶车辆的落地也变得非常有实用性，在封闭道路环境实施无人驾驶的安全性更高，更容易控制。自动驾驶依赖于高精度的感知传感器，目前，激光雷达已经成为自动驾驶中不可缺少的3D传感器，它所提供的点云数据可以提供丰富的几何、尺度信息、精确地距离和精细的语义描述，对自动驾驶场景中的三维场景理解非常有帮助，但是点云的稀疏、无序、不均匀分布都让雷达的使用受限，但是相机图像包含更多规则密集的像素，拥有丰富的语义信息，如颜色，但是缺乏深度和尺度信息。因此，激光雷达和相机的互补信息使两模态融合成为了可能。
在无人驾驶的实际运行过程中，由于传感器同时容易受到天气、光照等外界环境的影响，从而影响自动驾驶的判断行为。因此，当传感器提供的实时数据不足以为车辆提高行驶策略支撑时，由于单台车辆成本的限制，一般采取两种控制策略，一是降低车速或靠边停车，二是采用历史轨迹数据慢速行驶。对于这两种特征情况的控制策略，都会影响车辆的正常行驶，容易造成道路拥堵，而且即使降低车速也容易造成事故。
发明内容
本发明的目的是提供一种在传感器提供的数据不足以支撑无人驾驶车辆继续行驶时可及时为车辆提供相对准确的导航信息并使得车辆继续正常行驶的面向封闭道路环境的无人驾驶车辆控制方法及系统。
为了实现上述目的，本发明公开了一种面向封闭道路环境的无人驾驶车辆控制方法，其特征在于，车辆上设置有环境感知传感器和定位器，所述环境感知传感器用于感知车辆运行环境中的道路环境数据，所述定位器用于实时确定车辆当前位置，车辆控制方法包括远程辅助控制的辅助导航方法：
所述车辆通过高速无线网络与云平台建立通信连接，所述云平台中预存有所述车辆当前运行的目标道路的道路环境数据；
所述车辆将当前采集到的实时道路环境数据和实时位置数据同步传输至所述云平台；
所述云平台基于所述车辆当前位置提取所述车辆当前运行道路的历史道路环境数据；
基于图像数据融合模型对实时道路环境数据和预存的相同位置点的历史道路环境数据进行融合，以生成远程导航信息，并将该远程导航信息发送给所述车辆；
通过所述远程导航信息控制所述车辆的行驶。
较佳地，所述道路环境数据包括2D图像数据和3D点云数据，所述环境感知传感器包括摄像元件和激光雷达，所述摄像元件用于感知车辆运行环境中的所述2D图像数据，所述激光雷达用于感知车辆运行环境中的所述3D点云数据；对所述实时道路环境数据和所述历史道路环境数据进行融合的方法包括：
将当前道路环境数据中的2D图像数据和历史道路环境中的2D图像数据结合；并将当前道路环境数据中的3D点云数据和历史道路环境中的3D点云数据结合；
基于图像数据融合模型对结合后的2D图像数据和结合后的3D点云数据进行融合。
较佳地，还包括自导航方法，所述车辆根据预设条件和当前道路环境选择使用所述自导航方法或辅助导航方法行驶；所述自导航方法包括：
所述车辆，基于图像数据融合模型实时地对接收到的2D图像数据和3D点云数据进行融合，以生成自导航信息；
通过所述自导航信息控制所述车辆的行驶。
较佳地，当所述云平台接收到所述车辆选择使用辅助导航的请求后，根据所述车辆持续传输的当前道路环境数据，持续生成包括一段时间长度的融合数据，并根据该一段时间长度的融合数据判断当前车辆是否适合继续正常行驶，如果是，则生成并发送所述辅助导航信息，如果否，则向所述车辆发出停止运行的指令；所述车辆控制方法还包括云平台做出应对策略前的临时导航方法：
当所述车辆选择自导航方法行驶时，将接收到的所述道路环境数据存储在本地存储器并发送至所述云平台；
所述车辆向所述云平台发出使用辅助导航方法行驶的请求后且未接收到所述云平台的信息前，降低车速，并提取同路段的历史道路环境数据；
基于图像数据融合模型，对当前道路环境数据从本体存储器中提取到的相同位置点的历史道路环境数据进行融合，以生成临时导航信息；
通过所述临时导航信息控制车辆行驶。
本发明还公开一种面向封闭道路环境的无人驾驶车辆控制系统，车辆上设置有环境感知传感器和定位器，所述环境感知传感器用于感知车辆运行环境中的道路环境数据，所述定位器用于实时确定车辆当前位置，所述车辆控制系统包括远程辅助控制的辅助导航系统，该辅助导航系统包括设置于车端的车端通信模块以及设置于云平台的云端通信模块、云端历史数据提取模块和云端融合模块；
所述车端通信模块和所述云端通信模块，用于车辆与云平台的无线通信连接，所述云平台中预存有所述车辆当前运行的目标道路的道路环境数据；
所述历史数据提取模块，用于基于所述车辆当前位置提取所述车辆当前运行道路的历史道路环境数据；
所述云端融合模块，用于基于图像数据融合模型对来自于车辆的实时道路环境数据和云端预存的相同位置点的历史道路环境数据进行融合，以生成远程导航信息。
较佳地，所述道路环境数据包括2D图像数据和3D点云数据，所述环境感知传感器包括摄像元件和激光雷达，所述摄像元件用于感知车辆运行环境中的所述2D图像数据，所述激光雷达用于感知车辆运行环境中的所述3D点云数据；所述云端融合模块包括前融合模块和总融合模块；
所述前融合模块，用于将当前道路环境数据中的2D图像数据和历史道路环境中的2D图像数据结合，并将当前道路环境数据中的3D点云数据和历史道路环境中的3D点云数据结合；
所述总融合模块，用于基于图像数据融合模型对结合后的2D图像数据和结合后的3D点云数据进行融合。
较佳地，还包括设置于车端的车端判断模块和车端融合模块；所述车端判断模块，用于车辆根据预设条件和当前道路环境选择使用自导航信息或辅助导航信息行驶；所述车端融合模块，用于基于图像数据融合模型实时地对接收到的2D图像数据和3D点云数据进行融合，以生成所述自导航信息。
较佳地，所述云平台中还设置有云端判断模块，所述云端判断模块用于根据所述云端融合模块持续生成的一段时间长度的融合数据判断当前车辆是否适合继续正常行驶；
所述车辆向所述云平台发出使用辅助导航方法行驶的请求后且未接收到所述云平台的反馈信息前，所述车端融合模块还基于图像数据融合模型，对当前道路环境数据从本体存储器中提取到的相同位置点的历史道路环境数据进行融合，以生成临时导航信息。
本发明还公开一种面向封闭道路环境的无人驾驶车辆控制系统，其包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的面向封闭道路环境的无人驾驶车辆控制方法的指令。
本发明还公开一种计算机可读存储介质，其包括计算机程序，所述计算机程序可被处理器执行以完成如上所述的面向封闭道路环境的无人驾驶车辆控制方法。
与现有技术相比，本发明技术方案，针对面向封闭道路环境的无人驾驶车辆进行导航控制，特别是当车辆行驶环境比较恶劣时，通过该辅助导航方法可通过无线网络将车辆与云平台建立连接，并在云平台中高速进行导航数据的运算，从而生成辅助导航数据，由此可知，由于辅助导航数据是根据当前道路环境数据和历史道路环境数据融合而成，因此即弥补了当前当前道路环境数据的不足的缺陷，又克服了单纯靠历史道路环境数据进行导航时的部分数据与现实不符的问题，从而控制车辆正确行使，有效提升了车辆应对复杂恶劣道路环境的能力，而且，由于辅助导航数据的生成需要大量的运算，对硬件要求较高，因此，通过云平台来进行辅助导航数据的运算和生成，可大幅降低单台车辆的成本。
附图说明
图1为本发明实施例中辅助导航方法流程图。
图2为本发明实施例中自导航方法流程图。
图3为本发明实施例中临时导航方法流程图。
图4为图1中数据融合流程图。
图5为本发明实施例中车辆控制方法流程图。
图6为本发明实施例中车辆控制系统原理结构示意图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
本实施例公开了一种无人驾驶车辆控制方法，以面向封闭道路环境的无人驾驶车辆进行导航控制，特别是解决由于车辆行驶环境条件比较恶劣而导致车辆上的传感器采集到的数据不足以支撑正常导航行驶的问题。对此，本实施例中的车辆上设置有环境感知传感器和定位器，环境感知传感器用于感知车辆运行环境中的道路环境数据，实时定位器用于实时确定车辆当前位置。本实施例中的车辆控制方法包括远程辅助控制的辅助导航方法，如图1，其具体步骤如下：
Sa1：车辆通过高速无线网络(如5G网络)与云平台建立通信连接，云平台中预存有车辆当前运行的目标道路的道路环境数据。
Sa2：车辆将当前采集到的实时道路环境数据和实时位置数据同步传输至云平台。
Sa3：云平台基于车辆当前位置提取车辆当前运行道路的历史道路环境数据(也即目标道路的历史时期的道路环境数据)。
Sa4：基于图像数据融合模型对实时道路环境数据和预存的相同位置点的历史道路环境数据进行融合，以生成远程导航信息，并将该远程导航信息发送给车辆。
Sa5：通过该远程导航信息控制车辆的行驶。
特别需要说明的是，本实施例中的辅助导航方法，为非常规导航方式，主要作为无人驾驶系统在封闭道路场景下辅助感知的一种有效补充，以解决车辆运行环境变得恶劣时的正常导航问题。也即，当车辆当前行驶环境恶劣时，车辆通过高速无线网络向云平台发出辅助感知请求，并将通过环境感知传感器获得的实时道路环境数据和通过定位器获得的实时位置数据同步传输至云平台，云平台接收到车辆的请求和实时数据后，基于图像数据融合模型将当前车辆获得的实时道路环境数据与云平台存储的历史道路环境数据融合，使得实时道路环境数据与历史道路环境数据时空同步，从而使得生成的辅助导航信息兼具有与当前道路环境相符的实时变动性和包括当前道路环境各个视角数据的丰富性，因此即弥补了当前当前道路环境数据的不足的缺陷，又克服了单纯靠历史道路环境数据进行导航时的部分数据与现实不符的问题，从而控制车辆在恶劣环境下的正确行使，有效提升了车辆应对复杂恶劣道路环境的能力，而且，由于辅助导航数据的生成需要大量的运算，对硬件要求较高，因此，通过云平台来进行辅助导航数据的运算和生成，可大幅降低单台车辆的成本。
可选地，道路环境数据包括2D图像数据和3D点云数据，因此，环境感知传感器包括摄像元件和激光雷达，摄像元件用于感知车辆运行环境中的2D图像数据。激光雷达用于感知车辆运行环境中的3D点云数据。具体地，本实施例中对实时道路环境数据和历史道路环境数据进行融合的方法包括：
将当前道路环境数据中的2D图像数据和历史道路环境中的2D图像数据结合；
将当前道路环境数据中的3D点云数据和历史道路环境中的3D点云数据结合；
基于图像数据融合模型对结合后的2D图像数据和结合后的3D点云数据进行融合。
进一步地，本发明无人驾驶车辆控制方法还包括通过车辆自身生成导航信息的自导航方法，以解决车辆常规行驶导航的问题。如图2，本实施例中的自导航方法包括：
Sb1：实时接收摄像元件和激光雷达反馈的2D图像数据和3D点云数据；
Sb2：车辆基于图像数据融合模型实时地对接收到的2D图像数据和3D点云数据进行融合，以生成自导航信息。
Sb3：通过自导航信息控制车辆的行驶。
为使得车辆自主选择当前所适用的导航方法，本实施例中的控制方法还包括选择步骤，也即：车辆行驶过程中，根据预设条件和当前道路环境选择使用自导航方法或辅助导航方法行驶。如果当前道路环境超出预设条件的范围，启动辅助导航方法，否则执行自导航方法。
具体地，本实施例中的预设条件以当前道路环境是否影响环境感知传感器和激光雷达的正常工作为标准，例如，该预设条件可根据大雾等级、降雨量等级以及激光雷达的点云信息量来设定。对于当前大雾等级、降雨量等天气信息可通过车载终端或云平台从天气预报系统获得。对于点云信息量，可为其设置一阈值，该阈值优选为每日或其他固定间隔时间周期内点云信息量的移动平均值的百分比(如点云信息量的移动平均值的60％)，如果当前点云信息量低于该阈值，则启动辅助导航方法，否则，保持自导航方法。
进一步地，当云平台接收到车辆选择使用辅助导航的请求后，还不清楚当前道路环境是否适合车辆继续正常行驶，因此，如图3，上述实施例的辅助导航控制方法中的步骤Sa4包括：
Sa40：根据车辆持续传输的当前道路环境数据，持续生成包括一段时间(3s左右)长度的融合数据；
Sa41：根据该一段时间长度的融合数据判断当前车辆是否适合继续正常行驶，如果是，则进入Sa42，如果否，则进入Sa43；
Sa42：生成并发送辅助导航信息；
Sa43：向车辆发出停止运行的指令。
因此，为应对云平台对当前道路环境判断所需时间，如图4，本实施例中的车辆控制方法还包括云平台做出应对策略前的临时导航方法：
Sc0：当车辆选择自导航方法(道路环境条件比较好时的正常行驶)行驶时，将接收到的道路环境数据存储在本地存储器并发送至云平台；
Sc1：车辆向云平台发出使用辅助导航方法行驶的请求后且未接收到云平台的反馈信息前，降低车速，并提取同路段的历史道路环境数据；
Sc2：车辆中的图像数据融合模型以低功耗运行，对当前道路环境数据和从本体存储器中提取到的相同位置点的历史道路环境数据进行融合，以生成临时导航信息；
Sc3：通过临时导航信息控制车辆行驶。
在本实施例中，车辆端也配置有图像数据融合模型，但由于车辆端对数据的处理能力(速度和数据吞吐量)有效，因此不适合长时间工作，仅在云平台做出应对策略前的这一小段时间(3s左右)内对数据进行融合工作，以生成临时导航信息，从而指导车辆这段时间内的正常运行。
综上，本发明公开的无人驾驶车辆控制方法包括有辅助导航控制方法、自导航控制方法和临时导航控制方法，其具体工作流程，如图5所示，具体如下：
S10：车辆实时接收摄像元件和激光雷达反馈的道路环境数据，以及定位器反馈的实时位置数据；
S11：判断道路环境数据是否超出预设条件的阈值，如果否，则进入S20，如果是，则同时执行S30和S40；
S20：车辆以自导航方法行驶，也即，实时地对接收到的2D图像数据和3D点云数据进行融合，以生成自导航信息；
S21：同时，将接收到的2D图像数据、3D点云数据以及相应的位置数据存储在本体存储器并实时或定时发送至云平台；
S30：接收到云平台返回控制策略之前，降低车速，并从本体存储器中提取同路段的历史道路环境数据，并对当前道路环境数据和从本体存储器中提取到的相同位置点的历史道路环境数据进行融合，以生成临时导航信息；
S31：车辆以该临时导航信息低速行驶；
S40：车辆与云平台建立实时地通信连接，向云平台发出辅助导航的请求，并将包括2D图像数据和3D点云数据的道路环境数据以及实时位置数据同步传输至云平台；
S41：云平台基于车辆持续发送的实时位置提取车辆当前运行道路的历史道路环境数据，并将该历史道路环境数据与当前道路环境数据融合；
S42：融合时间是否溢出，如果否，返回S41，如果是，则进入S43；
S43：根据这一段时间的融合数据判断当前车辆是否适合继续正常行驶，如果是，则进入S44，如果否，则进入S45；
S44：生成并发送辅助导航信息；
S45：向车辆发出停止运行的指令。
由此，通过上述车辆控制方法，在车辆运行环境变得恶劣时，车辆主动发出辅助导航请求，远程云平台负责进行当前道路环境数据和历史道路环境数据的融合，从而有效提升了车辆应对恶劣道路环境的能力，而且还可以解决无人驾驶车辆边缘端的硬件配备消耗问题，降低单台车辆的成本，并且大量的无人驾驶车辆不断地数据融合，也有助于提升融合算法的性能。
可选地，上述实施例中的图像数据融合模型的架构基于卷积神经网络，当云平台处于空闲状态时，可通过车辆传输的道路环境数据同时对车辆和云平台中的图像数据融合模型进行训练。
执行数据融合的具体过程包括2D特征提取、3D特征提取和特征融合等步骤。
2D特征提取：
特征提取网络结构采用特征金字塔网络，通过下采样将主干网自下而上卷积操作输出特征为{C2，C3，C4，c5}，通过上采样得到特征{P2，P3，P4，P5}，操作步骤如下所示：
Figure BDA0003718496230000101
其中Ci为自下而上得到的特征图，
Figure BDA0003718496230000102
为特征融合函数，函数融合步骤为Ci经过1x1的卷积得到Mi，Mi进行2倍的上采样与Ci-1经过1x1的卷积进行相加得到Mi-1，Mi-1继续与下层特征重复之前操作进行融合，Fi为第i个融合后的特征，在P4融合阶段加入空洞卷积，来提高检测器感受野，降低下采样带来的影响，计算公式如下：
Figure BDA0003718496230000103
其中Nin为输入特征，Nout为输出特征，s为步长，p为填充因子，f为卷积核大小，在P2、P3层分别加入了注意力机制，使得下层的特征可以最大幅度的保留图像的特点，并提取出关键特征点，公式如下所示：
CA(x)＝σ(fc2(MaxPool(x))+fc3(AvgPool(x)))
Figure BDA0003718496230000104
其中CA(x)为注意力特征，fc2为c2的特征图，fc3为c3特征图，MaxPool(x)为最大池化，AvgPool(x)为平均池化，σ(x)为注意力分数函数，函数通过计算两个特征张量的相关性，给出一个注意力分数，两个tensor相关性越大，注意力分数越高，以此来提高检测器的关注点，Pi为一起融合的上层特征，Ri为融合后的特征结果。
3D特征提取：
为了减少点云数据体素化过程中原始点云信息的丢失，首先将激光雷达点云投影到RGB图像，将点云坐标(X，Y，Z)投影到图像(W，X，H)平面上，投影公式如下：
(x y)T＝M·(X Y Z)T
其中W、H为图像宽和高，M为变换矩阵，保留在W X H图像中的点，同时将点云坐标系投影到相机坐标系，最后在0-255之间映射来获取RGB图像，接着进行点云变换，在基于原始点云的RGB映射中提取到相应的特征后，获取到了相应的2D图像坐标，RGB和图像坐标同时输入Spatial Transformer Networks模块得到图像特征，然后进行体素化，将点云划分为均匀分布的体素网格，在3D点与其对应的体素之间生成多对一映射。
特征融合：
基于ResNet网络设计特征融合网络，以实现从两个不同传感器获取的感知信息的特征图的交互，融合方法如下式所示，
Figure BDA0003718496230000111
其中
Figure BDA0003718496230000112
和
Figure BDA0003718496230000113
为雷达和相机中的特征图，它们通过深度维度进行连接，r(x，y)为数据融合函数，融合函数为让它们同过1x1和5x5的卷积得到的特征H与
Figure BDA0003718496230000114
和
Figure BDA0003718496230000115
特征进行一个残差的融合，
Figure BDA0003718496230000116
为需要融合的数据，m为融合参数。
本发明另一实施例中，如图6，还公开一种面向封闭道路环境的无人驾驶车辆控制系统，车辆上设置有环境感知传感器和定位器，环境感知传感器用于感知车辆运行环境中的道路环境数据，实时定位器用于实时确定车辆当前位置，车辆控制系统包括远程辅助控制的辅助导航系统，该辅助导航系统包括设置于车端的车端通信模块以及设置于云平台的云端通信模块、云端历史数据提取模块和云端融合模块。
车端通信模块和云端通信模块，用于车辆与云平台的无线通信连接，云平台中预存有车辆当前运行的目标道路的道路环境数据。
历史数据提取模块，用于基于车辆当前位置提取车辆当前运行道路的历史道路环境数据。
云端融合模块，用于基于图像数据融合模型对来自于车辆的实时道路环境数据和云端预存的相同位置点的历史道路环境数据进行融合，以生成远程导航信息。
可选地，道路环境数据包括2D图像数据和3D点云数据，环境感知传感器包括摄像元件和激光雷达，摄像元件用于感知车辆运行环境中的2D图像数据，激光雷达用于感知车辆运行环境中的3D点云数据；云端融合模块包括前融合模块和总融合模块。
前融合模块，用于将当前道路环境数据中的2D图像数据和历史道路环境中的2D图像数据结合，并将当前道路环境数据中的3D点云数据和历史道路环境中的3D点云数据结合。
总融合模块，用于基于图像数据融合模型对结合后的2D图像数据和结合后的3D点云数据进行融合。
可选地，本实施例中的车辆控制系统还包括设置于车端的车端判断模块和车端融合模块。车端判断模块，用于车辆根据预设条件和当前道路环境选择使用自导航信息或辅助导航信息行驶；车端融合模块，用于基于图像数据融合模型实时地对接收到的2D图像数据和3D点云数据进行融合，以生成自导航信息。
可选地，云平台中还设置有云端判断模块，云端判断模块用于根据云端融合模块持续生成的一段时间长度的融合数据判断当前车辆是否适合继续正常行驶。
车辆向云平台发出使用辅助导航方法行驶的请求后且未接收到云平台的反馈信息前，车端融合模块还基于图像数据融合模型，对当前道路环境数据从本体存储器中提取到的相同位置点的历史道路环境数据进行融合，以生成临时导航信息。
另外需要说明的是，本实施例中的无人驾驶车辆控制系统的工作原理和工作方式详见上述无人驾驶车辆控制方法，在此不再赘述。
本发明还公开另一种无人驾驶车辆控制系统，其包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的无人驾驶车辆控制方法的指令。处理器可以采用通用的中央处理器(Central Processing Unit，CPU)，微处理器，应用专用集成电路(Application Specific Integrated Circuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的无人驾驶车辆控制系统中的模块所需执行的功能，或者执行本申请方法实施例的无人驾驶车辆控制方法。
本发明还公开一种计算机可读存储介质，其包括计算机程序，所述计算机程序可被处理器执行以完成如上所述的无人驾驶车辆控制方法。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory，ROM)，或随机存取存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solidstate disk，SSD)等。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述无人驾驶车辆控制方法。
以上所揭露的仅为本发明的优选实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种面向封闭道路环境的无人驾驶车辆控制方法，其特征在于，车辆上设置有环境感知传感器和定位器，所述环境感知传感器用于感知车辆运行环境中的道路环境数据，所述定位器用于实时确定车辆当前位置，车辆控制方法包括远程辅助控制的辅助导航方法：
所述车辆通过高速无线网络与云平台建立通信连接，所述云平台中预存有所述车辆当前运行的目标道路的道路环境数据；
所述车辆将当前采集到的实时道路环境数据和实时位置数据同步传输至所述云平台；
所述云平台基于所述车辆当前位置提取所述车辆当前运行道路的历史道路环境数据；
基于图像数据融合模型对实时道路环境数据和预存的相同位置点的历史道路环境数据进行融合，以生成远程导航信息，并将该远程导航信息发送给所述车辆；
通过所述远程导航信息控制所述车辆的行驶。
2.根据权利要求1所述的面向封闭道路环境的无人驾驶车辆控制方法，其特征在于，所述道路环境数据包括2D图像数据和3D点云数据，所述环境感知传感器包括摄像元件和激光雷达，所述摄像元件用于感知车辆运行环境中的所述2D图像数据，所述激光雷达用于感知车辆运行环境中的所述3D点云数据；对所述实时道路环境数据和所述历史道路环境数据进行融合的方法包括：
将当前道路环境数据中的2D图像数据和历史道路环境中的2D图像数据结合；并将当前道路环境数据中的3D点云数据和历史道路环境中的3D点云数据结合；
基于图像数据融合模型对结合后的2D图像数据和结合后的3D点云数据进行融合。
3.根据权利要求2所述的面向封闭道路环境的无人驾驶车辆控制方法，其特征在于，还包括自导航方法，所述车辆根据预设条件和当前道路环境选择使用所述自导航方法或辅助导航方法行驶；所述自导航方法包括：
所述车辆，基于图像数据融合模型实时地对接收到的2D图像数据和3D点云数据进行融合，以生成自导航信息；
通过所述自导航信息控制所述车辆的行驶。
4.根据权利要求3所述的面向封闭道路环境的无人驾驶车辆控制方法，其特征在于，当所述云平台接收到所述车辆选择使用辅助导航的请求后，根据所述车辆持续传输的当前道路环境数据，持续生成包括一段时间长度的融合数据，并根据该一段时间长度的融合数据判断当前车辆是否适合继续正常行驶，如果是，则生成并发送所述辅助导航信息，如果否，则向所述车辆发出停止运行的指令；所述车辆控制方法还包括云平台做出应对策略前的临时导航方法：
当所述车辆选择自导航方法行驶时，将接收到的所述道路环境数据存储在本地存储器并发送至所述云平台；
所述车辆向所述云平台发出使用辅助导航方法行驶的请求后且未接收到所述云平台的信息前，降低车速，并提取同路段的历史道路环境数据；
基于图像数据融合模型，对当前道路环境数据从本体存储器中提取到的相同位置点的历史道路环境数据进行融合，以生成临时导航信息；
通过所述临时导航信息控制车辆行驶。
5.一种面向封闭道路环境的无人驾驶车辆控制系统，其特征在于，车辆上设置有环境感知传感器和定位器，所述环境感知传感器用于感知车辆运行环境中的道路环境数据，所述定位器用于实时确定车辆当前位置，所述车辆控制系统包括远程辅助控制的辅助导航系统，该辅助导航系统包括设置于车端的车端通信模块以及设置于云平台的云端通信模块、云端历史数据提取模块和云端融合模块；
所述车端通信模块和所述云端通信模块，用于车辆与云平台的无线通信连接，所述云平台中预存有所述车辆当前运行的目标道路的道路环境数据；
所述历史数据提取模块，用于基于所述车辆当前位置提取所述车辆当前运行道路的历史道路环境数据；
所述云端融合模块，用于基于图像数据融合模型对来自于车辆的实时道路环境数据和云端预存的相同位置点的历史道路环境数据进行融合，以生成远程导航信息。
6.根据权利要求5所述的面向封闭道路环境的无人驾驶车辆控制系统，其特征在于，所述道路环境数据包括2D图像数据和3D点云数据，所述环境感知传感器包括摄像元件和激光雷达，所述摄像元件用于感知车辆运行环境中的所述2D图像数据，所述激光雷达用于感知车辆运行环境中的所述3D点云数据；所述云端融合模块包括前融合模块和总融合模块；
所述前融合模块，用于将当前道路环境数据中的2D图像数据和历史道路环境中的2D图像数据结合，并将当前道路环境数据中的3D点云数据和历史道路环境中的3D点云数据结合；
所述总融合模块，用于基于图像数据融合模型对结合后的2D图像数据和结合后的3D点云数据进行融合。
7.根据权利要求6所述的面向封闭道路环境的无人驾驶车辆控制系统，其特征在于，还包括设置于车端的车端判断模块和车端融合模块；所述车端判断模块，用于车辆根据预设条件和当前道路环境选择使用自导航信息或辅助导航信息行驶；所述车端融合模块，用于基于图像数据融合模型实时地对接收到的2D图像数据和3D点云数据进行融合，以生成所述自导航信息。
8.根据权利要求7所述的面向封闭道路环境的无人驾驶车辆控制系统，其特征在于，所述云平台中还设置有云端判断模块，所述云端判断模块用于根据所述云端融合模块持续生成的一段时间长度的融合数据判断当前车辆是否适合继续正常行驶；
所述车辆向所述云平台发出使用辅助导航方法行驶的请求后且未接收到所述云平台的反馈信息前，所述车端融合模块还基于图像数据融合模型，对当前道路环境数据从本体存储器中提取到的相同位置点的历史道路环境数据进行融合，以生成临时导航信息。
9.一种面向封闭道路环境的无人驾驶车辆控制系统，其特征在于，包括：
一个或多个处理器；
存储器；
以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1至4任一项所述的面向封闭道路环境的无人驾驶车辆控制方法的指令。
10.一种计算机可读存储介质，其特征在于，包括计算机程序，所述计算机程序可被处理器执行以完成如权利要求1至4任一项所述的面向封闭道路环境的无人驾驶车辆控制方法。
CN202210746649.2A 2022-06-28 2022-06-28 面向封闭道路环境的无人驾驶车辆控制方法及系统 Pending CN115148040A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210746649.2A CN115148040A (zh) 2022-06-28 2022-06-28 面向封闭道路环境的无人驾驶车辆控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210746649.2A CN115148040A (zh) 2022-06-28 2022-06-28 面向封闭道路环境的无人驾驶车辆控制方法及系统

Publications (1)

Publication Number Publication Date
CN115148040A true CN115148040A (zh) 2022-10-04

Family

ID=83409839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210746649.2A Pending CN115148040A (zh) 2022-06-28 2022-06-28 面向封闭道路环境的无人驾驶车辆控制方法及系统

Country Status (1)

Country Link
CN (1) CN115148040A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527427A (zh) * 2016-10-19 2017-03-22 东风汽车公司 基于高速公路的自动驾驶感知系统
CN107031600A (zh) * 2016-10-19 2017-08-11 东风汽车公司 基于高速公路的自动驾驶系统
CN107270924A (zh) * 2017-07-20 2017-10-20 北京小度信息科技有限公司 导航线路生成方法、装置、设备和电动车
CN109872530A (zh) * 2017-12-05 2019-06-11 广州腾讯科技有限公司 一种路况信息的生成方法、车载终端及服务器
CN110045729A (zh) * 2019-03-12 2019-07-23 广州小马智行科技有限公司 一种车辆自动驾驶方法及装置
CN110186471A (zh) * 2019-05-06 2019-08-30 平安科技（深圳）有限公司 基于历史视频的导航方法、装置、计算机设备及存储介质
CN110969592A (zh) * 2018-09-29 2020-04-07 北京嘀嘀无限科技发展有限公司 图像融合方法、自动驾驶控制方法、装置和设备
CN112140995A (zh) * 2020-03-17 2020-12-29 王延琮 一种基于网络云端的智能汽车安全驾驶系统
CN113085865A (zh) * 2021-03-31 2021-07-09 上海仙塔智能科技有限公司 驾驶模式控制方法、装置、车辆及计算机存储介质
CN113269040A (zh) * 2021-04-25 2021-08-17 南京大学 结合图象识别与激光雷达点云分割的驾驶环境感知方法
CN114419592A (zh) * 2022-01-18 2022-04-29 长沙慧联智能科技有限公司 一种道路区域识别方法、自动驾驶控制方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527427A (zh) * 2016-10-19 2017-03-22 东风汽车公司 基于高速公路的自动驾驶感知系统
CN107031600A (zh) * 2016-10-19 2017-08-11 东风汽车公司 基于高速公路的自动驾驶系统
CN107270924A (zh) * 2017-07-20 2017-10-20 北京小度信息科技有限公司 导航线路生成方法、装置、设备和电动车
CN109872530A (zh) * 2017-12-05 2019-06-11 广州腾讯科技有限公司 一种路况信息的生成方法、车载终端及服务器
CN110969592A (zh) * 2018-09-29 2020-04-07 北京嘀嘀无限科技发展有限公司 图像融合方法、自动驾驶控制方法、装置和设备
CN110045729A (zh) * 2019-03-12 2019-07-23 广州小马智行科技有限公司 一种车辆自动驾驶方法及装置
CN110186471A (zh) * 2019-05-06 2019-08-30 平安科技（深圳）有限公司 基于历史视频的导航方法、装置、计算机设备及存储介质
CN112140995A (zh) * 2020-03-17 2020-12-29 王延琮 一种基于网络云端的智能汽车安全驾驶系统
CN113085865A (zh) * 2021-03-31 2021-07-09 上海仙塔智能科技有限公司 驾驶模式控制方法、装置、车辆及计算机存储介质
CN113269040A (zh) * 2021-04-25 2021-08-17 南京大学 结合图象识别与激光雷达点云分割的驾驶环境感知方法
CN114419592A (zh) * 2022-01-18 2022-04-29 长沙慧联智能科技有限公司 一种道路区域识别方法、自动驾驶控制方法及装置

Similar Documents

Publication Publication Date Title
EP4145393B1 (en) Vehicle localization
US20230144209A1 (en) Lane line detection method and related device
US11338807B2 (en) Dynamic distance estimation output generation based on monocular video
WO2022007776A1 (zh) 目标场景区域的车辆定位方法、装置、设备和存储介质
CN112212872B (zh) 基于激光雷达和导航地图的端到端自动驾驶方法及系统
US8630806B1 (en) Image processing for vehicle control
CN109074490B (zh) 通路检测方法、相关装置及计算机可读存储介质
WO2020237942A1 (zh) 一种行人3d位置的检测方法及装置、车载终端
Manz et al. Detection and tracking of road networks in rural terrain by fusing vision and LIDAR
CN110531376A (zh) 用于港口无人驾驶车辆的障碍物检测和跟踪方法
WO2023092451A1 (zh) 预测可行驶车道的方法和装置
KR102373492B1 (ko) 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치
CN115061385A (zh) 一种基于车路云协同的实车在环仿真测试平台
CN115879060B (zh) 基于多模态的自动驾驶感知方法、装置、设备和介质
KR20200095361A (ko) V2v 통신을 통해 획득한 정보와 카메라를 통해 획득한 정보를 융합하여 카메라의 피치 캘리브레이션을 더욱 정교하게 수행함으로써 카메라 기반 로버스트 객체 거리 예측을 제공하는 방법 및 이를 이용한 장치
KR20210061069A (ko) 3차원 객체를 표시하는 방법 및 장치
CN114488185A (zh) 基于多线激光雷达的机器人导航系统方法及系统
Mai et al. Camera and LiDAR analysis for 3D object detection in foggy weather conditions
WO2021233154A1 (zh) 可行驶区域检测方法、装置、设备及存储介质
CN113436239A (zh) 一种基于深度信息估计的单目图像三维目标检测方法
CN115148040A (zh) 面向封闭道路环境的无人驾驶车辆控制方法及系统
Forkel et al. Dynamic resolution terrain estimation for autonomous (dirt) road driving fusing lidar and vision
Xiong et al. A 3d estimation of structural road surface based on lane-line information
CN114821517A (zh) 用于学习神经网络以确定环境中车辆姿态的方法和系统
Vatavu et al. Environment perception using dynamic polylines and particle based occupancy grids

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination