CN114581748B - 基于机器学习的多智能体感知融合系统及其实现方法 - Google Patents

基于机器学习的多智能体感知融合系统及其实现方法 Download PDF

Info

Publication number
CN114581748B
CN114581748B CN202210483252.9A CN202210483252A CN114581748B CN 114581748 B CN114581748 B CN 114581748B CN 202210483252 A CN202210483252 A CN 202210483252A CN 114581748 B CN114581748 B CN 114581748B
Authority
CN
China
Prior art keywords
agent
network
information
environment
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210483252.9A
Other languages
English (en)
Other versions
CN114581748A (zh
Inventor
俞扬
詹德川
周志华
仲伟渊
袁雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202210483252.9A priority Critical patent/CN114581748B/zh
Publication of CN114581748A publication Critical patent/CN114581748A/zh
Application granted granted Critical
Publication of CN114581748B publication Critical patent/CN114581748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于机器学习的多智能体感知融合系统及其实现方法，多个智能体在行驶过程中通过摄像头采集道路环境图片，根据采集的道路环境图片制作训练数据集；使用训练数据集训练算法模型，并将算法模型部署在计算芯片上；使用过程：智能体行驶过程中，通过摄像头采集道路环境图片，并发送给计算芯片，在计算芯片中运行算法模型，提取图片中的特征，对多摄像头图片进行特征融合，对融合好的特征进行多任务预测，得到环境信息，使用通信模块将环境信息分享给周边智能体并获取周边智能体分享的环境信息，计算芯片将通信获取的环境信息进行融合，完善自身环境信息。本发明增加了智能体感知范围，降低了智能体感知盲区，提高了智能体的决策精度。

Description

基于机器学习的多智能体感知融合系统及其实现方法
技术领域
本发明涉及一种基于机器学习的多智能体感知融合系统及其实现方法，尤其涉及一种基于计算机视觉算法及空间特征与时间特征融合的多智能体感知融合系统，属于智能体自动控制技术领域。
背景技术
近年来，随着机器学习技术的逐步发展与成熟，基于深度学习的计算机视觉技术在一系列任务中取得了更好的性能，例如目标检测、图片分类任务等。计算视觉技术也逐渐应用在工业领域的各个方面，比如行人识别，指纹识别，人脸识别，自动驾驶等领域。
多智能体感知融合系统指通过采集多智能体的摄像头拍摄的照片，获取智能体周边环境信息的系统。
现有智能体感知系统一般包括以下几种方法，基于视觉感知、雷达感知与无线通信等。具体做法为：（1）视觉感知算法一般基于单智能体摄像头，通过处理摄像头采集的图片和视频数据，识别智能体周围环境中的移动目标、固定目标、可行驶区域等。但是单智能体视觉感知容易受到光线、天气等环境因素的干扰。（2）雷达感知算法通过雷达向周围发射射线，然后根据物体反射回来的射线到达自身的时刻来计算周围物体距离自身的距离。根据发射的射线不同，分为激光雷达(LiDAR)、毫米波雷达(RADAR)和超声波雷达，分别发射激光射线、毫米级别波长的射线和超声波。特点和用途也各不相同。激光雷达射线波长最短，可以发射的距离远，精度高，但是抗干扰能力差，毫米波雷达的射线波长较长，分辨率较低，抗干扰能力强，超声波雷达发射距离最近，主要用于探测智能体周围的近距离物体。雷达的原始数据为三维空间中的点，通过模型处理为智能体，行人等目标。可以补充视觉感知的不足。雷达感知算法的缺点为计算速度慢，对计算芯片性能要求高，单一雷达扫描范围受限制。（3）无线通信通过智能体与周边智能体、道路基础设施以及云端进行通信，获取信息，周边智能体可以互相告知自身意图以及其他道路信息，可以提前做到合理避让及换道，提高通行效率。无线通信模块需要与视觉感知和雷达感知结合使用才能发挥效果。现有技术没有融合多智能体摄像头感知系统。
发明内容
发明目的：针对现有技术存在的问题与不足，本发明提供一种基于机器学习的多智能体感知融合系统，本发明使用计算机视觉技术、深度学习技术、通信技术，通过摄像头采集照片，通过机器学习技术对照片进行特征提取与融合，通过通信技术对多智能体摄像头感知进行融合，计算自身周边环境信息，用于轨迹预测和规划控制等其他自动控制模块使用。
技术方案：一种基于机器学习的多智能体感知融合系统，包括：
摄像头，用于采集道路环境图片数据；
计算芯片，用于运行计算机视觉算法；
通信模块，用于发送自身感知信息和接收环境智能体通信模块发出的感知信息。
多智能体在行驶过程中通过摄像头采集道路环境图片，根据采集的道路环境图片制作训练数据集。使用训练数据集训练算法模型，并将算法模型部署在计算芯片上。使用过程：智能体在行驶过程中，通过摄像头采集道路环境图片，并发送给计算芯片，在计算芯片中运行算法模型，提取图片中的特征，对多摄像头图片进行空间特征融合，对时间序列图片特征进行时间特征融合，对融合好的特征进行多任务预测，得到模型输出结果，使用通信模块将模型预测结果分享给周边智能体，同时通过通信模块获取周边智能体的模型输出结果，计算芯片将通信获取的结果信息进行融合，完善环境信息。
一种基于机器学习的多智能体感知融合系统的实现方法，包括：
S1，制作训练数据集
多智能体同时在同一道路区域中行驶，参与正常交通行驶过程，每个智能体均安装多个摄像头同步采集道路环境图片，同时记录智能体在环境中的位置和朝向，以及环境中智能体、行人、交通标志等目标的位置和朝向等，然后在三维向量空间中对图片中目标进行标注，得到图片中不同目标的位置，保存摄像头参数，完成制作训练数据的过程；采集道路环境图片时，智能体需在不同道路、不同路况、不同天气、不同时间段下的行驶，保证训练集数据多样性。
S2，算法模型设计
算法模型包括特征提取网络，单智能体特征融合网络，多头预测网络，以及多智能体感知融合网络。单智能体特征融合网络包括空间特征融合网络和时间特征融合网络；特征提取网络用于提取单摄像头采集的图片特征；单智能体特征融合网络用于对特征提取网络提取的特征进行时间融合和空间融合；多头预测网络用于进行目标检测，图像分割，以及图片分类预测任务；多智能体感知融合网络用于融合自身和其他智能体的环境信息，并更新自身环境信息。
201、模型输入
模型的输入为训练集数据，训练集数据包括摄像头采集的道路环境图片，摄像头参数，以及训练集中的智能体位置、朝向。摄像头参数包括安装位置、安装角度、焦距和像素密度。
202、特征提取网络的实现
特征提取网络包括主干网络和特征融合网络，使用基于计算机视觉算法的主干网络对训练数据集中单个摄像头采集的道路环境图片进行计算，保存不同尺度的特征，使用特征融合网络，对不同尺度的特征进行融合。
203、空间特征融合网络的实现
结合摄像头外部参数，将202中融合后的特征，转换到一个统一的三维向量空间，并分割为网格，针对每个网格，根据摄像头参数，计算每个网格在单智能体多个摄像头中对应的投影位置，然后融合特征提取网络中单智能体多摄像头采集的道路环境图片对应位置的特征，作为向量空间中该网格的特征。空间特征融合的输出为单一时刻的整个向量空间的特征。
204、时间特征融合网络的实现
行驶任务的决策需要历史时刻的信息，保留历史特征信息，可以得知被遮挡的目标位置。时间特征融合网络的任务是把不同时间的空间特征融合网络输出的向量空间特征进行融合，通过维护一个时间间隔特征栈，也就是固定时间间隔的处理入栈和出栈。再维护一个空间间隔特征栈，也就是固定智能体行驶距离间隔控制进出栈。对时间间隔特征栈和空间间隔特征栈中的两部分时间序列特征，以及智能体的速度及加速度等动力学特征信息进行特征融合。本步骤输出的特征就是单智能体特征融合网络最终的输出，用于后续预测网络进行具体任务的预测。
205、多头预测网络的实现
多头预测网络为多个预测网络的集合，包括目标检测网络、图像分割网络和图片分类网络。使用204步骤融合后的特征作为共享特征，通过不同功能的预测网络分别进行不同类别的预测任务；使用目标检测网络，对向量空间中的共享特征进行预测，输出智能体、行人、交通灯、交通标志牌等目标的大小，位置，数量，以及置信度等信息；使用图像分割网络，输出车道线、可行驶区域、道路边缘等区域的范围等信息；通过图片分类网络输出当前的天气、光照、道路路面湿滑雨雪等信息。本步骤输出的信息统称为自身感知系统输出的环境信息。
206、多智能体感知融合网络的实现
通过通信模块，与周围智能体进行通信，共享205步骤输出的环境信息，同时将其他智能体发出的环境信息融合进自身感知系统输出的环境信息，可以互相弥补感知盲区，扩大感知范围。
每个智能体将自身感知到的环境信息以及自身位置，朝向等参数共享给设定范围内的其他智能体。同时接受其他智能体共享的环境信息及参数。
根据收到的环境智能体的位置及朝向参数，结合自身的位置及朝向参数进行转换坐标系计算，最终使得收到的环境智能体分享的环境信息与自身的感知信息位于同一坐标系。
处理收到的感知信息：对于自身未感知到区域的信息，使用收到的环境智能体感知信息替换；对于自身已感知到的区域的信息，将收到的信息置信度根据环境智能体位置到自身的距离远近按比例进行调整，使环境智能体分享的感知信息置信度低于自身直接感知到的信息置信度，且越远的环境智能体分享的感知信息置信度越低。
随着时间变化，不同时刻，可以采集到数据的区域是不同的，在更新环境信息时，采用局部更新策略，将当前时刻采集到信息部分更新上一刻对应的环境信息，未采集到的环境信息部分使用上一时刻保存的环境信息。
更新后的环境信息作为一个整体在下一时刻分享给其他环境智能体。
S3，算法模型训练
算法模型训练过程在专用服务器上进行。
将训练数据集中的图片和智能体位置，参数等信息输入S2中设计的算法模型，对算法模型输出的结果与训练数据集中的真实值进行对比，计算算法模型损失。
目标检测网络输出为环境中的智能体、行人等目标，输出格式为：目标类别、中心点坐标，预测框的长宽高和置信度。
目标检测网络的损失函数有：预测框位置损失使用CIOU loss：
Figure DEST_PATH_IMAGE001
，其中，IoU为预测框与真实框的交并比，即相交框面 积除相并框面积，b、bgt分别表示预测框与真实框中心点，ρ（·）表示欧氏距离，c表示预测框 与真实框的最小外接矩形的对角线距离， v为衡量预测框与真实框高宽一致性的参数，
Figure 119590DEST_PATH_IMAGE002
，α为平衡参数，
Figure DEST_PATH_IMAGE003
，w、wgt、h、hgt 分别表示预测框与真实框的宽和高。分类损失为交叉熵损失
Figure 835347DEST_PATH_IMAGE004
，N为样本数量，Li为预测框i的交叉熵损失， M为目标类别数量，yic为符号函数，取0或1，当样本i的真实类别为c时取1，否则取0，log的底 数是自然底数e，pic为模型预测样本i属于类别c的概率。
图像分割网络输出为环境中车道线位置、可行驶区域范围、道路边缘信息，模型损失为像素分类损失，损失函数使用交叉熵损失。
图片分类网络输出为当前天气情况、道路湿滑情况，模型损失为分类损失，损失函数使用交叉熵损失。
根据算法模型的损失进行梯度回传，更新算法模型的参数，直到算法模型收敛达到最佳性能。算法模型保存为文件，用于算法模型部署。
S4算法模型部署
将S3中训练好的算法模型文件部署在安装有摄像头，通信模块及计算芯片的智能体上。
S5系统应用
部署有本系统的智能体在道路中行驶时，摄像头采集道路环境图片，并发送给计算芯片，计算芯片中的算法模型提取图片中的特征并对单智能体多摄像头的图片特征进行时间特征融合和空间特征融合，然后对融合后的特征进行预测，得到单智能体算法模型输出的环境信息。然后通信模块将环境信息发送给环境智能体，并接受环境智能体发送的环境信息。最后计算芯片将收到的环境信息与自身环境信息进行融合，更新自身环境信息。
上述S1-S5并不一定顺序执行，如S1和S2可同步执行，也可先执行S2再执行S1。
一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的基于机器学习的多智能体感知融合系统的实现方法。
一种计算机可读存储介质，该计算机可读存储介质存储有执行如上所述的基于机器学习的多智能体感知融合系统的实现方法的计算机程序。
本发明主要结合了机器学习技术和通信技术优势，设计了一个端到端的多智能体感知模型，可以通过多智能体安装的多个摄像头采集的照片，经过模型的转换与运算，将特征融合到同一个向量空间中，然后对融合后的特征进行预测，最终输出周边环境中的智能体、行人、交通标志、交通灯等的位置、尺寸信息，以及可行驶区域、车道线、路沿等特征。同时，利用通信模块，与环境智能体进行通信，共享感知信息，增大智能体感知范围，降低感知盲区。该算法的输出可以作为轨迹预测和规划控制模块的输入。该算法融合了时间和空间上的特征，可以使得智能体在多种复杂行驶情况下都能保持感知算法的稳定性。
附图说明
图1 本发明实施例的方法流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于机器学习的多智能体感知融合系统，在本实施例中智能体指的是车辆，即一种基于机器学习的多车感知融合系统，包括：
车载摄像头，用于采集道路环境图片数据；
车载计算芯片，用于运行计算机视觉算法；
车载通信模块，用于发送本车感知信息和接收环境车辆车载通信模块发出的感知信息。
多辆车在行驶过程中通过车载摄像头采集道路环境图片，根据采集的道路环境图片制作训练数据集。使用训练数据集训练算法模型，并将算法模型部署在车载计算芯片上。使用过程：车辆行驶过程中，通过车载摄像头采集道路环境图片，并发送给车载计算芯片，在车载计算芯片中运行算法模型，提取图片中的特征，对多摄像头图片进行空间特征融合，对时间序列图片特征进行时间特征融合，对融合好的特征进行多任务预测，得到模型输出结果，使用车载通信模块将模型预测结果分享给周边车辆，同时通过车载通信模块获取周边车辆的模型输出结果，车载计算芯片将通信获取的结果信息进行融合，完善环境信息。
一种基于机器学习的多车感知融合系统的实现方法，包括：
（1）制作训练数据集
多辆车同时在同一道路区域中行驶，参与正常交通行驶过程，每辆车均安装多个摄像头同步采集道路环境图片，同时记录车辆在环境中的位置和朝向，以及环境中车辆、行人、交通标志等目标的位置和朝向等，然后在三维向量空间中对图片中目标进行标注，得到图片中不同目标的位置，保存摄像头参数，完成制作训练数据的过程；采集道路环境图片时，车辆需在不同道路（高速公路、快速路、国道、市区、郊区等）、不同路况（畅通、缓行、拥堵、封闭）、不同天气（晴天、雨天）、不同时间段下（白天、黑夜）的行驶，保证训练集数据多样性。
（2）算法模型设计
算法模型包括特征提取网络，单车特征融合网络，多头预测网络，多车感知融合网络四个部分。单车特征融合网络包括空间特征融合网络和时间特征融合网络，特征提取网络负责提取单摄像头采集的图片特征；单车特征融合网络负责对特征提取网络提取的特征进行时间融合和空间融合；多头预测网络负责进行目标检测，图像分割，以及图片分类预测任务；多车感知融合网络用于融合本车和其他车的环境信息，并更新本车环境信息。
201、模型输入
模型的输入为训练集数据，训练集数据包括车载摄像头采集的道路环境图片，摄像头参数，以及训练集中的车辆位置、车身朝向。摄像头参数包括：安装位置的xyz坐标、安装角度俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)、焦距、分辨率和像素密度。
202、特征提取网络的实现
特征提取网络包括主干网络CSPDarkNet和特征融合网络FPN，使用基于计算机视觉算法的主干网络对训练数据集中单个车载摄像头采集的道路环境图片进行计算，保存不同尺度的特征，使用特征融合网络，对不同尺度的特征进行融合。
203、空间特征融合网络的实现
单独一个摄像头不能覆盖车身周围环境，大型环境车辆等目标也很难完整出现在单一摄像头中，如果从图像角度进行目标检测，很难做到完整准确的预测。因此，需要对多个摄像头采集的照片进行特征融合，结合摄像头参数，将202中融合后的特征，转换到一个统一的三维向量空间，并分割为网格，针对每个网格，根据摄像头参数，计算每个网格在单车多个摄像头中对应的投影位置，然后融合特征提取网络中单车多摄像头采集的道路环境图片对应位置的特征，作为向量空间中该网格的特征。空间特征融合网络的输出为单一时刻的整个向量空间的特征。
具体做法为：使用Transformer网络模型，Query为三维向量空间中的网格经过位置编码后的信息，Key为摄像头输入图片经过主干网络和neck网络提取后的特征进行编码后的信息，同时加入摄像头的安装位置、角度的参数信息，Value为摄像头输入图片经过主干网络和neck网络提取后的特征。然后进行多头自注意力(Multi-head Self-attention)计算。仅使用了Transformer的encoder部分，encoder的输出即为空间特征融合网络的输出。
204、时间特征融合网络的实现
由于驾驶任务的决策不是由单一时刻的状态决定的，需要历史时刻的信息，例如，需要观察环境车辆历史一段时间的动作和状态，才可以预测它的后续时刻动作和状态；等待红绿灯时需要记录历史信号变化信息，方便更好的做出决策；由于车辆的通过瞬间可能短时间遮挡部分其他目标车辆，保留历史特征信息，可以得知被遮挡的目标位置，用于驾驶决策。因此，需要对空间特征融合后的特征进行时间特征融合。
时间特征融合网络的任务是把不同时间的空间特征融合网络输出的向量空间特征进行融合，通过维护一个时间间隔特征栈，也就是固定时间间隔的处理入栈和出栈。再维护一个空间间隔特征栈，也就是固定车辆行驶距离间隔控制进出栈。对时间间隔特征栈和空间间隔特征栈中的两部分时间序列特征，以及车辆的车速及加速度等动力学特征信息进行特征融合。本步骤输出的特征就是单车特征融合网络最终的输出，用于后续预测网络进行具体任务的预测。
融合方法使用Conv3D对空间特征融合后的特征图中高度、宽度和时间三个维度的特征进行融合，也可以使用Transformer，RNN等处理时间序列特征的算法进行融合。
205、多头预测网络的实现
多头预测网络包括为多个预测网络的集合，包括目标检测网络YOLO、图像分割网络DeepLabV3+和图片分类网络MLP。使用204步骤融合后的特征作为共享特征，使用不同功能的预测网络分别进行不同类别的预测任务，使用目标检测网络，对向量空间中的共享特征进行预测，输出车辆、行人、交通灯、交通标志牌等目标的大小，位置，数量，以及置信度等信息；使用图像分割网络，输出车道线、可行驶区域、道路边缘等区域的范围等信息；通过图片分类网络输出当前的天气、光照、道路路面湿滑雨雪等信息。本步骤输出的信息统称为本车感知系统输出的环境信息。
206、多车感知融合网络的实现
单一车辆的感知范围受限，容易产生遮挡等情况，导致感知盲区，通过车载通信模块，本车与周围车辆进行通信，共享205步骤输出的环境信息，同时将其他车辆发出的环境信息融合进本车感知系统输出的环境信息，可以互相弥补感知盲区，扩大感知范围。
每辆车将自身感知到的环境信息以及自身车辆的位置，车身朝向等车辆参数共享给设定范围内的其他车辆。同时接受其他车辆共享的环境信息及车辆参数。
根据收到的环境车辆的位置及车身朝向参数，结合自身车辆的位置及朝向参数进行转换坐标系计算，最终使得收到的环境车辆分享的环境信息与本车的感知信息位于同一坐标系。
处理收到的感知信息：对于本车未感知到区域的信息，使用收到的环境车感知信息替换；对于本车已感知到的区域的信息，将收到的信息置信度根据环境车辆位置到本车的距离远近按比例进行调整，使环境车辆分享的感知信息置信度低于本车直接感知到的信息置信度，越远的环境车分享的感知信息置信度越低。
随着时间变化，不同时刻，可以采集到数据的区域是不同的，在更新环境信息时，采用局部更新策略，将当前时刻采集到信息部分更新上一刻对应的环境信息，未采集到的环境信息部分使用上一时刻保存的环境信息。
更新后的环境信息作为一个整体在下一时刻分享给其他环境车辆。这样做的好处是，少量目标被严重遮挡时，只需要环境中有一辆车感知到该目标，通过少量感知信息分享融合过程，整个环境中的车辆均可感知到该目标，同时，再每一次传递的过程中，置信度会下降，这可以保证新感知到的信息可以有效的替代旧信息，以及多次传递的信息被多次计算坐标转换，误差放大，应该给予较低的置信度。
（3）算法模型训练
模型训练过程在专用服务器上进行。
将训练数据集中的图片和车辆位置，参数等信息输入（2）中设计的算法模型，对模型输出的结果与训练数据集中的真实值进行对比，计算模型损失。
目标检测部分模型输出为环境中的车辆、行人等目标，输出格式为：目标类别、中心点坐标，预测框的长宽高和置信度。
目标检测网络的损失函数有：预测框位置损失使用CIOU loss：
Figure DEST_PATH_IMAGE005
，其中，IoU为预测框与真实框的交并比，即相交框面 积除相并框面积，b、bgt分别表示预测框与真实框中心点，ρ（·）表示欧氏距离，c表示预测框 与真实框的最小外接矩形的对角线距离， v为衡量预测框与真实框高宽一致性的参数，
Figure 168240DEST_PATH_IMAGE006
，α为平衡参数，
Figure DEST_PATH_IMAGE007
，w、wgt、h、hgt 分别表示预测框与真实框的宽和高。分类损失为交叉熵损失
Figure 435142DEST_PATH_IMAGE004
，N为样本数量，Li为预测框i的交叉熵损失， M为路况类别数量，yic为符号函数，取0或1，当样本i的真实类别为c时取1，否则取0，log的底 数是自然底数e，pic为模型预测样本i属于类别c的概率。
图像分割网络输出为环境中车道线位置、可行驶区域范围、道路边缘信息，模型损失为像素分类损失，损失函数使用交叉熵损失。
图片分类网络输出为当前天气情况、道路湿滑情况，模型损失为分类损失，损失函数使用交叉熵损失。
根据算法模型的损失进行梯度回传，更新算法模型的参数，直到算法模型收敛达到最佳性能。算法模型保存为文件，用于算法模型部署。
（4）算法模型部署
将（3）训练好的算法模型文件部署在安装有车载摄像头，车载通信模块及车载计算芯片的车辆上。
（5）系统应用
部署有本系统的车辆在道路中行驶时，车载摄像头采集道路中的图片，并发送给车载计算芯片，车载计算芯片提取图片中的特征并对本车多摄像头的图片特征进行时间特征融合和空间特征融合，然后对融合后的特征进行预测，得到单车模型输出的环境信息。然后车载通信模块将环境信息发送给环境车辆，并接受环境车辆发送的环境信息。最后车载计算芯片将收到的环境信息与本车环境信息进行融合，更新本车环境信息。
显然，本领域的技术人员应该明白，上述的本发明实施例的基于机器学习的多车感知融合系统的实现方法各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

Claims (10)

1.一种基于机器学习的多智能体感知融合系统，其特征在于，包括：
摄像头，用于采集道路环境图片数据；
计算芯片，用于运行计算机视觉算法；
通信模块，用于发送自身感知信息和接收环境智能体通信模块发出的感知信息；
多个智能体在行驶过程中通过摄像头采集道路环境图片，根据采集的道路环境图片制作训练数据集；使用训练数据集训练算法模型，并将算法模型部署在计算芯片上；使用过程：智能体行驶过程中，通过摄像头采集道路环境图片，并发送给计算芯片，在计算芯片中运行算法模型，提取图片中的特征，对多摄像头图片进行空间特征融合，对时间序列图片特征进行时间特征融合，对融合好的特征进行多任务预测，得到模型输出结果，使用通信模块将模型预测结果分享给周边智能体，同时通过通信模块获取周边智能体的模型输出结果，计算芯片将通信获取的结果信息进行融合，完善环境信息；
制作训练数据集中，多个智能体同时在同一道路区域中行驶，每个智能体均安装多个摄像头同步采集道路环境图片，保存摄像头参数；
算法模型包括特征提取网络，单智能体特征融合网络，多头预测网络，以及多智能体感知融合网络；单智能体特征融合网络包括空间特征融合网络和时间特征融合网络；特征提取网络用于提取单摄像头采集的图片特征；单智能体特征融合网络用于对特征提取网络提取的特征进行时间融合和空间融合；多头预测网络用于进行目标检测，图像分割，以及图片分类预测任务；多智能体感知融合网络用于融合自身和其他智能体的环境信息，并更新自身环境信息。
2.一种基于机器学习的多智能体感知融合系统的实现方法，其特征在于，包括：
S1，制作训练数据集
多个智能体同时在同一道路区域中行驶，每个智能体均安装多个摄像头同步采集道路环境图片，保存摄像头参数；
S2，算法模型设计
算法模型包括特征提取网络，单智能体特征融合网络，多头预测网络，以及多智能体感知融合网络；单智能体特征融合网络包括空间特征融合网络和时间特征融合网络；特征提取网络用于提取单摄像头采集的图片特征；单智能体特征融合网络用于对特征提取网络提取的特征进行时间融合和空间融合；多头预测网络用于进行目标检测，图像分割，以及图片分类预测任务；多智能体感知融合网络用于融合自身和其他智能体的环境信息，并更新自身环境信息；
S3，算法模型训练
将训练数据集输入S2中设计的算法模型，对算法模型进行训练，直到算法模型收敛达到最佳性能；算法模型保存为文件，用于算法模型部署；
S4，算法模型部署
将S3中训练好的算法模型文件部署在安装有摄像头，通信模块及计算芯片的智能体上；
S5，系统应用
部署有多智能体感知融合系统的智能体在道路中行驶时，摄像头采集道路环境图片，并发送给计算芯片，计算芯片中的算法模型提取图片中的特征并对单智能体多摄像头的图片特征进行时间特征融合和空间特征融合，然后对融合后的特征进行预测，得到单智能体算法模型输出的环境信息；然后通信模块将环境信息发送给环境智能体，并接受环境智能体发送的环境信息；最后计算芯片将收到的环境信息与自身环境信息进行融合，更新自身环境信息。
3.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法，其特征在于，所述制作训练数据集中，多智能体同时在同一道路区域中行驶，每个智能体均安装多个摄像头同步采集道路环境图片，同时记录智能体在环境中的位置和朝向，以及环境中智能体、行人、交通标志的位置和朝向，然后在三维向量空间中对图片中目标进行标注，得到图片中不同目标的位置，保存摄像头参数，完成制作训练数据的过程；采集道路环境图片时，智能体需在不同道路、不同路况、不同天气、不同时间段下的行驶，保证训练集数据多样性。
4.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法，其特征在于，模型的输入为训练集数据，训练集数据包括摄像头采集的道路环境图片，摄像头参数，以及训练集中的智能体位置、朝向；摄像头参数包括安装位置、安装角度、焦距和像素密度。
5.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法，其特征在于，所述特征提取网络包括主干网络和特征融合网络，使用基于计算机视觉算法的主干网络对训练数据集中单智能体摄像头采集的道路环境图片进行计算，保存不同尺度的特征，使用特征融合网络，对不同尺度的特征进行融合。
6.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法，其特征在于，所述空间特征融合网络的实现中，结合摄像头外部参数，将融合后的特征，转换到一个统一的三维向量空间，并分割为网格，针对每个网格，根据摄像头参数，计算每个网格在单智能体多个摄像头中对应的投影位置，然后融合特征提取网络中单智能体多摄像头采集的道路环境图片对应位置的特征，作为向量空间中该网格的特征；空间特征融合的输出为单一时刻的整个向量空间的特征；
所述时间特征融合网络的任务是把不同时间的空间特征融合网络输出的向量空间特征进行融合，通过维护一个时间间隔特征栈，也就是固定时间间隔的处理入栈和出栈；再维护一个空间间隔特征栈，也就是固定智能体行驶距离间隔控制进出栈；对时间间隔特征栈和空间间隔特征栈中的两部分时间序列特征，以及智能体的动力学特征信息进行特征融合；最终输出单智能体特征融合网络的输出，用于预测网络进行具体任务的预测。
7.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法，其特征在于，所述多头预测网络为多个预测网络的集合，包括目标检测网络、图像分割网络和图片分类网络；使用融合后的特征作为共享特征，通过不同功能的预测网络分别进行不同类别的预测任务；使用目标检测网络，对向量空间中的共享特征进行预测，输出智能体、行人、交通灯、交通标志牌的大小，位置，数量，以及置信度信息；使用图像分割网络，输出车道线、可行驶区域、道路边缘的范围信息；通过图片分类网络输出当前的天气、光照、道路路面湿滑雨雪信息；多头预测网络输出的信息统称为自身感知系统输出的环境信息。
8.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法，其特征在于，所述多智能体感知融合网络的实现中，通过通信模块，自身与周围智能体进行通信，共享环境信息，同时将其他智能体发出的环境信息融合进自身感知系统输出的环境信息；
根据收到的环境智能体的位置及朝向参数，结合自身的位置及朝向参数进行转换坐标系计算，最终使得收到的环境智能体分享的环境信息与自身的感知信息位于同一坐标系；
处理收到的感知信息：对于自身未感知到区域的信息，使用收到的环境智能体感知信息替换；对于自身已感知到的区域的信息，将收到的信息置信度根据环境智能体位置到自身的距离远近按比例进行调整，使环境智能体分享的感知信息置信度低于自身直接感知到的信息置信度，且越远的环境智能体分享的感知信息置信度越低；
在更新环境信息时，采用局部更新策略，将当前时刻采集到信息部分更新上一时刻对应的环境信息，未采集到的环境信息部分使用上一时刻保存的环境信息；
更新后的环境信息作为一个整体在下一时刻分享给其他智能体。
9.一种计算机设备，其特征在于，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如权利要求2-8任意一项所述的基于机器学习的多智能体感知融合系统的实现方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储有执行如权利要求2-8任意一项所述的基于机器学习的多智能体感知融合系统的实现方法的计算机程序。
CN202210483252.9A 2022-05-06 2022-05-06 基于机器学习的多智能体感知融合系统及其实现方法 Active CN114581748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210483252.9A CN114581748B (zh) 2022-05-06 2022-05-06 基于机器学习的多智能体感知融合系统及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210483252.9A CN114581748B (zh) 2022-05-06 2022-05-06 基于机器学习的多智能体感知融合系统及其实现方法

Publications (2)

Publication Number Publication Date
CN114581748A CN114581748A (zh) 2022-06-03
CN114581748B true CN114581748B (zh) 2022-09-23

Family

ID=81783908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210483252.9A Active CN114581748B (zh) 2022-05-06 2022-05-06 基于机器学习的多智能体感知融合系统及其实现方法

Country Status (1)

Country Link
CN (1) CN114581748B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100540B (zh) * 2022-06-30 2024-05-07 电子科技大学 一种高分辨率遥感影像道路自动提取的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111198966A (zh) * 2019-12-22 2020-05-26 同济大学 基于多智能体边界感知网络的自然语言视频片段检索方法
CN113313154A (zh) * 2021-05-20 2021-08-27 四川天奥空天信息技术有限公司 一体化融合多传感器自动驾驶智能感知装置
CN113807460A (zh) * 2021-09-27 2021-12-17 北京地平线机器人技术研发有限公司 智能体动作的确定方法和装置、电子设备和介质
WO2022001119A1 (zh) * 2020-06-30 2022-01-06 镇江宇诚智能装备科技有限责任公司 一种多智能体系统结构及其控制方法
CN113905384A (zh) * 2021-05-31 2022-01-07 西北工业大学 一种用于认知无线电的多智能体协作频谱感知与接入方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108196535B (zh) * 2017-12-12 2021-09-07 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统
CN112348201B (zh) * 2020-11-11 2024-03-12 扬州大学 一种基于联邦深度强化学习的自动驾驶群车的智能决策实现方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111198966A (zh) * 2019-12-22 2020-05-26 同济大学 基于多智能体边界感知网络的自然语言视频片段检索方法
WO2022001119A1 (zh) * 2020-06-30 2022-01-06 镇江宇诚智能装备科技有限责任公司 一种多智能体系统结构及其控制方法
CN113313154A (zh) * 2021-05-20 2021-08-27 四川天奥空天信息技术有限公司 一体化融合多传感器自动驾驶智能感知装置
CN113905384A (zh) * 2021-05-31 2022-01-07 西北工业大学 一种用于认知无线电的多智能体协作频谱感知与接入方法
CN113807460A (zh) * 2021-09-27 2021-12-17 北京地平线机器人技术研发有限公司 智能体动作的确定方法和装置、电子设备和介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A survey and critique of multiagent deep reinforcement learning;Pablo Hernandez-Leal 等;《Autonomous Agents and Multi-Agent Systems》;20191231;全文 *
机器人深度强化学习控制方法研究;王远大;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20220215;全文 *

Also Published As

Publication number Publication date
CN114581748A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
US10817731B2 (en) Image-based pedestrian detection
CN111027401B (zh) 一种摄像头和激光雷达融合的端到端目标检测方法
US10860896B2 (en) FPGA device for image classification
US20190204834A1 (en) Method and apparatus for object detection using convolutional neural network systems
DE112019001657T5 (de) Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
CN114413881B (zh) 高精矢量地图的构建方法、装置及存储介质
CN115943439A (zh) 一种基于雷视融合的多目标车辆检测及重识别方法
CN112215306A (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN111461048B (zh) 基于视觉的停车场可行驶区域检测与局部地图构建方法
Llorca et al. Traffic data collection for floating car data enhancement in V2I networks
DE112021005607T5 (de) Systeme und Verfahren für kamera-LiDAR-fusionierte Objektdetektion
Sebastian et al. RangeWeatherNet for LiDAR-only weather and road condition classification
CN114556419A (zh) 三维点云分割方法和装置、可移动平台
CN117808689A (zh) 基于毫米波雷达与摄像头融合的深度补全方法
CN114581748B (zh) 基于机器学习的多智能体感知融合系统及其实现方法
Cheng et al. Semantic segmentation of road profiles for efficient sensing in autonomous driving
CN116912786A (zh) 一种基于车路协同的智能网联汽车多模态融合检测方法
CN114048536A (zh) 一种基于多任务神经网络的道路结构预测与目标检测方法
CN117387647A (zh) 融合车载传感器数据与道路传感器数据的道路规划方法
CN116451590B (zh) 自动驾驶仿真测试平台的仿真方法及装置
CN117423077A (zh) Bev感知模型、构建方法、装置、设备、车辆及存储介质
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN117765017A (zh) 数据增广方法及电子设备
Andika et al. Improved feature extraction network in lightweight YOLOv7 model for real-time vehicle detection on low-cost hardware

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant