CN114913495A - 基于协作图融合的协同目标检测方法及系统 - Google Patents

基于协作图融合的协同目标检测方法及系统 Download PDF

Info

Publication number
CN114913495A
CN114913495A CN202210485437.3A CN202210485437A CN114913495A CN 114913495 A CN114913495 A CN 114913495A CN 202210485437 A CN202210485437 A CN 202210485437A CN 114913495 A CN114913495 A CN 114913495A
Authority
CN
China
Prior art keywords
vehicle
candidate
frame
cooperative
collaborative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210485437.3A
Other languages
English (en)
Inventor
张慧
李浥东
韩瑜珊
曹原周汉
金�一
丁春涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202210485437.3A priority Critical patent/CN114913495A/zh
Publication of CN114913495A publication Critical patent/CN114913495A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种基于协作图融合的协同目标检测方法及系统，属于自动驾驶技术领域，获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框；基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征；基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征；基于中心车辆新的协作特征，对每个候选区域做分类和回归预测，经过阈值筛选，得到最终的检测结果。本发明从粗粒度和细粒度两个角度考虑局部特征的协同；通过传递局部特征，协同检测可以减缓计算资源的压力，更加精准地对中心车辆盲区进行协同，有效提升协同检测性能和检测精度的同时，减少了通信资源的开销。

Description

基于协作图融合的协同目标检测方法及系统
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种基于协作图融合的协同目标检测方法及系统。
背景技术
目标检测是计算机视觉的一个基础任务，目的是识别空间内目标的位置和类别。根据预测目标的维度，目标检测方法可以分为2D目标检测和3D目标检测，自动驾驶领域需要的大都是3D目标检测。根据是否生成候选框，目标检测方法可以分为单阶段目标检测和两阶段目标。单阶段目标检测直接预测目标的位置和类别，特点是模型简单，耗时短，但是精度低；两阶段目标检测先生成一系列候选框并预测它们的置信度，再在这个候选框的基础上优化最后的位置，特点是模型更庞大，耗时长，但是精度高。
目标检测是自动驾驶视觉领域的一个重要研究方向，自动驾驶领域的车辆在自动驾驶场景又称为智能体。传统的目标检测都是基于车载传感器的单智能体目标检测。然而，由于目标被遮挡以及车载传感器自身的局限性，单车检测存在盲区，常常不能取得很好的检测结果。为了应对单车目标检测面临的挑战，协同目标检测应运而生。协同目标检测是一种基于多智能体信息融合的检测方法，它通过把多智能体协同模块插入传统的目标检测框架来实现。自动驾驶场景下，道路上有多个车辆，一个车辆的盲区可能正处于其他车辆的检测区域，通过把其他车辆观测到的目标信息传递给中心车辆，中心车辆可以得到更全面的视野，从而完成更精确的目标检测。协同目标检测过程中，每个车辆既可以是中心车辆，也可以是其他车辆的邻居车辆。
协同目标检测(Collaborative Object Detection)是自动驾驶领域的一个关键视觉技术，它指的是通过场景内的多个智能体的信息交流与数据融合，协助单个智能体完成更精确的目标检测任务，从而缓解自动驾驶场景中目标被遮挡、传感器捕获异常等问题。协同目标检测方法可以从协同阶段和融合策略两个角度讨论。协同阶段指在目标检测的哪个阶段插入协同模块，根据协同阶段的不同，协同目标检测方法可以分为数据级协同，特征级协同和决策级协同三类。其中数据级协同指融合车辆的原始观测数据，特征级协同指融合车辆的目标特征，决策级协同指融合车辆最终的检测数据。融合策略指协同模块的具体融合计算过程，可以分为简单融合，基于特征的融合和基于图的融合。简单融合采取求均值、最大值、拼接等策略，基于特征的融合选择了关联性最大的车辆，基于图的融合指把多车协同过程构造成一个图，通过图学习的过程融合多车的信息。
现有的基于图的协同目标检测方法主要有V2VNet和DiscoNet。V2VNet采取了一个空间感知的图神经网络(Graph Neural Network,GNN)完成多车信息融合。V2VNet首先补偿了不同车辆的传输时延，接着使用GNN把周边的车辆特征都聚集到中心车辆，并根据全局位置确定邻域范围的车辆。这种方法有效地扩大了车辆的视野，从而检测到被遮挡物体。DiscoNet同样采取了一个注意力图网络(Graph Attention Networks,GAT)实现多车的协同。与V2VNet不同，DiscoNet的融合图的边不是标量，而是一个矩阵，这个矩阵可以反映每个像素特征的贡献度。此外，DiscoNet引入一个教师-学生网络，教师网络是数据级协同目标检测，学生网络是特征级协同目标检测，使用教师网络的特征作为学生网络的监督，从而提升特征级协同目标检测的性能。
目前主流的基于融合图的协同目标检测方法存在的问题在于直接传播全局特征，即相邻车辆全局视角的目标特征。由于中心车辆本身可以确切地检测到部分视角区域，并不需要相邻车辆的所有视角信息。传输的全局特征具有体量大、信息冗余等特点，不但会占用大量的计算资源，还使重叠的部分权重增加，使得网络不能把更多的注意力放在需要协同的区域。
发明内容
本发明的目的在于提供一种通过粗粒度的中心车辆的盲区筛选以及细粒度的局部特征协作图融合，从而通过局部特征协同，提升了中心车辆的检测性能的基于协作图融合的协同目标检测方法及系统，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种基于协作图融合的协同目标检测方法，包括：
获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框；
基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征；
基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征；
基于中心车辆新的协作特征，对每个候选区域做分类和回归预测，经过阈值筛选，得到最终的检测结果。
优选的，获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框，包括：
在自动驾驶场景中，对于每个车辆目标的点云数据，利用特征提取器提取三维的点云数据，转换成二维鸟瞰图特征，作为全局特征；
将每个车辆的二维的鸟瞰图输入3D区域生成网络，生成相应车辆的3D候选区域框；
得到车辆的候选区域框后，再经过3D的感兴趣区域池化层得到每个候选区域框的二维鸟瞰图特征，作为局部特征。
优选的，每个3D候选区域框都有相应的分类置信度，分类置信度代表相应候选框属于每个类别以及背景类的概率，当候选区域框属于前景的概率小于预设的阈值，则该候选区域框属于当前车辆的检测盲区。
优选的，基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征，包括：
选择中心车辆周围预设范围内的近邻车辆作为协同目标；对于中心车辆的每个候选区域框判断是否为盲区；得到中心车辆及其协同车辆的一系列候选区域框及其局部特征；
使用交并比选择可与中心车辆盲区协同的近邻车辆区域；对于中心车辆的每个盲区候选框，遍历近邻车辆的候选区域框，如果盲区候选框与近邻候选框的IOU大于阈值，则该近邻候选框与中心车辆的盲区候选框很大概率表示同一区域，两者的协同可以增强中心车辆对该区域的识别能力。
优选的，对于中心车辆的每个候选区域框判断是否为盲区，包括：如果候选区域框的置信度分布差异明显，且在某类别的置信度大于预设的置信度阈值，说明该中心车辆可以明确检测到目标属于背景或者某个具体的类别，该候选框具有显著性；相反，如果候选区域框的置信度小于预设的阈值，车辆无法判断目标所属类别，则该候选框所处区域为中心车辆的盲区，是中心车辆所需协同的区域，加入中心车辆的盲区集合。
优选的，基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征，包括：
使用基于注意力图的方式融合局部特征；遍历中心车辆的每个盲区候选框，为候选框及其近邻协同框构建注意力图，并更新该盲区候选框的局部特征；为盲区候选框及其近邻协同框构建注意力图，其中图的结点是盲区候选框和协同近邻候选框的BEV局部特征，方向为每个协同近邻候选框指向盲区候选框，以及盲区候选框指向自己；得到每条边的权重后，使用聚合函数更新中心车辆的盲区的局部特征。
第二方面，本发明提供一种基于协作图融合的协同目标检测系统，包括：
获取模块，用于获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框；
筛选模块，用于基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征；
协作模块，用于基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征；
检测模块，用于基于中心车辆新的协作特征，对每个候选区域做分类和回归预测，经过阈值筛选，得到最终的检测结果。
第三方面，本发明提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如上所述的基于协作图融合的协同目标检测方法。
第四方面，本发明提供一种电子设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如上所述的基于协作图融合的协同目标检测方法。
第五方面，本发明提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于协作图融合的协同目标检测方法。
本发明有益效果：首次从粗粒度和细粒度两个角度考虑局部特征的协同；通过传递局部特征，协同检测可以减缓计算资源的压力，更加精准地对中心车辆的盲区进行协同，有效提升协同检测性能；有效提升了检测精度的同时，减少了通信资源的开销。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的基于由粗到细的协作图融合的协同目标检测方法流程图。
图2为本发明实施例所述的基于由粗到细的协作图融合的协同目标检测框架图。
图3为本发明实施例所述的粗粒度协同工作流程图。
图4为本发明实施例所述的细粒度协同工作流程图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
数据级协同传递原始数据带来过大的带宽压力，决策级协同的检测结果已经丢失一些目标信息，为了维持精度和带宽的平衡，本实施例1选择基于图的特征级协同目标检测。
首先，提供一种基于协作图融合的协同目标检测系统，包括：
获取模块，用于获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框；
筛选模块，用于基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征；
协作模块，用于基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征；
检测模块，用于基于中心车辆新的协作特征，对每个候选区域做分类和回归预测，经过阈值筛选，得到最终的检测结果。
其次，本实施例中，利用上述的系统，实现了基于协作图融合的协同目标检测方法，包括：
获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框；
基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征；
基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征；
基于中心车辆新的协作特征，对每个候选区域做分类和回归预测，经过阈值筛选，得到最终的检测结果。
获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框，包括：
在自动驾驶场景中，对于每个车辆目标的点云数据，利用特征提取器提取三维的点云数据，转换成二维鸟瞰图特征，作为全局特征；
将每个车辆的二维的鸟瞰图输入3D区域生成网络，生成相应车辆的3D候选区域框；
得到车辆的候选区域框后，再经过3D的感兴趣区域池化层得到每个候选区域框的二维鸟瞰图特征，作为局部特征。
其中，每个3D候选区域框都有相应的分类置信度，分类置信度代表相应候选框属于每个类别以及背景类的概率，当候选区域框属于前景的概率小于预设的阈值，则该候选区域框属于当前车辆的检测盲区。
基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征，包括：
选择中心车辆周围预设范围内的近邻车辆作为协同目标；对于中心车辆的每个候选区域框判断是否为盲区；得到中心车辆及其协同车辆的一系列候选区域框及其局部特征；
使用交并比选择可与中心车辆盲区协同的近邻车辆区域；对于中心车辆的每个盲区候选框，遍历近邻车辆的候选区域框，如果盲区候选框与近邻候选框的IOU大于阈值，则该近邻候选框与中心车辆的盲区候选框很大概率表示同一区域，两者的协同可以增强中心车辆对该区域的识别能力。
其中，对于中心车辆的每个候选区域框判断是否为盲区，包括：如果候选区域框的置信度分布差异明显，且在某类别的置信度大于预设的置信度阈值，说明该中心车辆可以明确检测到目标属于背景或者某个具体的类别，该候选框具有显著性；相反，如果候选区域框的置信度小于预设的阈值，车辆无法判断目标所属类别，则该候选框所处区域为中心车辆的盲区，是中心车辆所需协同的区域，加入中心车辆的盲区集合。
基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征，包括：
使用基于注意力图的方式融合局部特征；遍历中心车辆的每个盲区候选框，为候选框及其近邻协同框构建注意力图，并更新该盲区候选框的局部特征；为盲区候选框及其近邻协同框构建注意力图，其中图的结点是盲区候选框和协同近邻候选框的BEV局部特征，方向为每个协同近邻候选框指向盲区候选框，以及盲区候选框指向自己；得到每条边的权重后，使用聚合函数更新中心车辆的盲区的局部特征。
综上，本实施例1中，首次尝试从粗粒度和细粒度两个角度考虑局部特征的协同。粗粒度协同是通过检测置信度等信息判断中心车辆需要协同的区域，选择并传播协同车辆的局部特征，细粒度协同是通过融合图的方法为协同区域局部特征赋予权重，并更新盲区的局部特征。通过传递局部特征，协同检测可以减缓计算资源的压力，更加精准地对中心车辆的盲区进行协同，有效提升协同检测性能。采用了两阶段检测模型，可以有效提升检测模型精度的同时，减少通信资源的开销。
实施例2
如图1至图4所示，本实施例2中，提出一种基于由粗到细的协作图融合的协同目标检测方法，该方法通过粗粒度的中心车辆的盲区筛选，以及细粒度的局部特征协作图融合，从而通过局部特征协同，提升中心车辆的检测性能。
本实施例2中，在多智能体协同目标检测模型的基础上，将协同目标检测任务分为四个步骤，如图1所示，第一步是基于3D区域生成网络的候选框及其局部特征生成，第二步是基于粗粒度的中心车辆盲区筛选及协同特征传输，第三步是基于细粒度的局部特征协作图融合，第四步是基于协同得到的特征进行目标检测，得到最终的检测结果。
本发明实施例提供的一种基于由粗到细的协作图融合的协同目标检测方法工作流程图如图1所示，包括如下的处理步骤：
S10，基于待进行目标检测的点云数据通过CNN生成BEV特征和候选区域框：
本实施例2中，面对的任务是两阶段3D点云目标检测。在自动驾驶场景中，假设一共有C个类别的物体，n个智能体(车辆)，对于每个智能体Ai的点云数据Xi(i＝1,2,3,...,n)，利用特征提取器三维的点云数据，转换成二维的鸟瞰图(Bird’s Eye View,BEV)特征Fi∈Rh×w×k，其中h，w，k分别代表BEV特征的高、宽和通道数，这个特征是车辆的BEV全局特征。
接下来，将每个智能体的BEV特征Fi输入3D区域生成网络(Region ProposalNetwork,RPN)，生成相应智能体的3D候选区域框
Figure BDA0003629683800000101
其中Ni代表智能体Ai的候选区域框数。RPN生成的每个3D候选区域框Pij都有相应的分类置信度Sij∈R(C+1)，这个置信度代表该候选框属于每个类别以及背景类的概率，当该候选区域框属于前景的概率很小，则该候选区域框包含的物体很难判断，属于当前智能体的盲区。
使用3D RPN模块得到车辆的候选区域框后，再经过3D的ROIpooling层得到每个候选区域框Pij的BEV特征fij∈Rm×m×d，其中m和d分别指候选区域框的特征尺寸和维度，候选区域框的BEV特征为局部特征。
S20，基于粗粒度的方法选取中心车辆的检测盲区，根据检测盲区筛选近邻智能体的BEV局部特征。
特征级协同目标检测需要传输智能体的特征，传统的特征级协同检测传输并融合全局特征，消耗大量的计算资源。本实施例提供的基于粗粒度的筛选盲区方法如图3所示，包括如下的处理过程：
协同目标检测中，不是所有的智能体都可用于协同，选择中心车辆周围范围D内的近邻车辆作为协同目标。
对于中心车辆Ac,(c＝1,2,...,n)的每个候选区域框Pcj判断是否为盲区：如果候选区域框的置信度分布差异明显，且在某类别的置信度大于阈值Tcs，说明该车辆可以明确检测到该目标属于背景或者某个具体的类别，该候选框具有显著性；相反，如果候选区域框的置信度分布较平缓，车辆无法判断该目标所属类别，则该候选框所处区域为中心车辆的盲区，是中心车辆所需协同的区域，加入中心车辆的盲区集合PcN。
经过上述步骤，中心车辆及其协同车辆都得到一系列候选区域框及其局部特征。为缓解传统协同检测传播及融合全局特征的资源消耗压力，本实施例中创造性地提出传播及融合局部特征，即只需传播中心车辆需要协同区域的特征。
本实施例中使用交并比(Intersection over Union,IoU)选择可与中心车辆盲区协同的近邻车辆区域。对于中心车辆的每个盲区候选框
Figure BDA0003629683800000111
遍历近邻车辆Ai的候选区域框Pi，如果盲区候选框与近邻候选框的IOU大于阈值Tiou，如公式(1)所示，则该近邻候选框与中心车辆的盲区候选框很大概率表示同一区域，两者的协同可以增强中心车辆对该区域的识别能力。
Figure BDA0003629683800000123
为中心车辆的每个盲区候选框
Figure BDA0003629683800000121
初始化一个协同区域局部特征集Si，用于存储盲区候选框的BEV局部特征以及协同区域的局部BEV特征。将满足公式(1)的近邻候选框的BEV特征传输给中心车辆，由于每个车辆有自己的观测，协同车辆传输的特征需要转换成中心车辆的角度，然后放入协同区域局部特征集Si。协同时只需要将协同区域局部特征集Si中的特征融合。
S30，基于细粒度的方法将近邻智能体的局部特征使用协作图融合，中心车辆得到新的协作特征。
本发明使用基于注意力图的方式融合局部特征。遍历中心车辆的每个盲区候选框
Figure BDA0003629683800000122
为候选框及其近邻协同框构建注意力图，并更新该盲区候选框的局部特征。注意力图构建过程及局部特征的更新过程如图2所示。
为盲区候选框及其近邻协同框构建注意力图Gi，其中图的结点是盲区候选框和协同近邻候选框的BEV局部特征hj→i∈Rm×m×d，方向为每个协同近邻候选框指向盲区候选框(j→i)，以及盲区候选框指向自己(i→j)。图的边采取矩阵的形式，每条边的权重Wj→i基于公式(2)计算，
Wj→i＝Π(hj，hi)∈Rm×m#(2)
其中Π拼接了相邻两节点的特征，并使用一个1×1的卷积层将边特征的通道数从d降到1，通过该计算可以得到边的矩阵权重。此外，每条边的权重再输入一共Softmax层正则化，边的矩阵权重可以反映BEV局部特征的空间权重。
得到每条边的权重后，本发明使用聚合函数更新中心车辆的盲区的局部特征，聚合函数如公式(3)所示，
Figure BDA0003629683800000131
其中，⊙指通道方向的点乘，M是盲区候选框
Figure BDA0003629683800000132
的协同区域局部特征集Si的特征数量，Hi是盲区候选框更新后的BEV特征。
S40，中心车辆根据协作特征进行目标检测。
经过协作图的融合，中心车辆的盲区候选框特征包含了更充分的信息，以上是两阶段3D目标检测的第一阶段。
第二阶段对候选框做进一步的调整和识别，把中心车辆的所有候选框特征输入到检测模型的头部，对每个候选框做分类和回归预测，经过阈值筛选，可以得到更精准的检测结果。
需要注意的是，协同目标检测的场景中，每个车辆都可以作为中心车辆，也可以作为其他车辆的协同车辆，因此，整个协同检测过程是并行的。
综上，本实施例2中，提出的基于由粗到细的协作图融合的协同目标检测方法，基于两阶段3D目标检测框架，通过粗粒度下协同区域局部特征的选择和传播，以及细粒度下基于协作图的局部特征融合，大大节省了协同的资源消耗，同时实现准确的目标检测。从粗细粒度两个角度考虑协同，传播并融合其他智能车辆的局部特征，这里的粗粒度协同基于中心车辆盲区的置信度选择所需协同的近邻车辆区域，细粒度协同是基于协作图融合学习协同区域的权重并融合，从而解决了全局特征的资源消耗问题。
实施例3
本发明实施例3提供一种电子设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行基于协作图融合的协同目标检测方法，该方法包括如下流程步骤：
获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框；
基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征；
基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征；
基于中心车辆新的协作特征，对每个候选区域做分类和回归预测，经过阈值筛选，得到最终的检测结果。
实施例4
本发明实施例4提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现基于协作图融合的协同目标检测方法，该方法包括如下流程步骤：
获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框；
基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征；
基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征；
基于中心车辆新的协作特征，对每个候选区域做分类和回归预测，经过阈值筛选，得到最终的检测结果。
实施例5
本发明实施例5提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行基于协作图融合的协同目标检测方法，该方法包括如下步骤：
获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框；
基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征；
基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征；
基于中心车辆新的协作特征，对每个候选区域做分类和回归预测，经过阈值筛选，得到最终的检测结果。
综上所述，本发明实施例所述的基于协作图融合的协同目标检测方法及系统，首次尝试从粗粒度和细粒度两个角度考虑局部特征的协同。粗粒度协同是通过检测置信度判断中心车辆的盲区，以及筛选并传播近邻车辆的协同区域特征，细粒度协同是通过融合图的方法为协同区域赋予权重，并更新中心车辆盲区的特征。通过传递局部特征，可以减缓计算资源的压力，更加精准地对中心车辆的盲区进行协同，从而提升协同检测性能。针对已有的基于单阶段3D目标检测模型的精度低的问题，采取两阶段3D目标检测模型，两阶段3D检测模型相比单阶段3D目标检测精度大，同时提出的局部特征提取和协同方法减少了3D目标检测的计算时间和资源，从而进一步发挥两阶段3D目标检测的精度优势。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于协作图融合的协同目标检测方法，其特征在于，包括：
获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框；
基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征；
基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征；
基于中心车辆新的协作特征，对每个候选区域做分类和回归预测，经过阈值筛选，得到最终的检测结果。
2.根据权利要求1所述的基于协作图融合的协同目标检测方法，其特征在于，获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框，包括：
在自动驾驶场景中，对于每个车辆目标的点云数据，利用特征提取器提取三维的点云数据，转换成二维鸟瞰图特征，作为全局特征；
将每个车辆的二维的鸟瞰图输入3D区域生成网络，生成相应车辆的3D候选区域框；
得到车辆的候选区域框后，再经过3D的感兴趣区域池化层得到每个候选区域框的二维鸟瞰图特征，作为局部特征。
3.根据权利要求2所述的基于协作图融合的协同目标检测方法，其特征在于，每个3D候选区域框都有相应的分类置信度，分类置信度代表相应候选框属于每个类别以及背景类的概率，当候选区域框属于前景的概率小于预设的阈值，则该候选区域框属于当前车辆的检测盲区。
4.根据权利要求1所述的基于协作图融合的协同目标检测方法，其特征在于，基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征，包括：
选择中心车辆周围预设范围内的近邻车辆作为协同目标；对于中心车辆的每个候选区域框判断是否为盲区；得到中心车辆及其协同车辆的一系列候选区域框及其局部特征；
使用交并比选择可与中心车辆盲区协同的近邻车辆区域；对于中心车辆的每个盲区候选框，遍历近邻车辆的候选区域框，如果盲区候选框与近邻候选框的IOU大于阈值，则该近邻候选框与中心车辆的盲区候选框很大概率表示同一区域，两者的协同可以增强中心车辆对该区域的识别能力。
5.根据权利要求4所述的基于协作图融合的协同目标检测方法，其特征在于，对于中心车辆的每个候选区域框判断是否为盲区，包括：如果候选区域框的置信度分布差异明显，且在某类别的置信度大于预设的置信度阈值，说明该中心车辆可以明确检测到目标属于背景或者某个具体的类别，该候选框具有显著性；相反，如果候选区域框的置信度小于预设的阈值，车辆无法判断目标所属类别，则该候选框所处区域为中心车辆的盲区，是中心车辆所需协同的区域，加入中心车辆的盲区集合。
6.根据权利要求1所述的基于协作图融合的系统目标检测方法，其特征在于，基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征，包括：
使用基于注意力图的方式融合局部特征；遍历中心车辆的每个盲区候选框，为候选框及其近邻协同框构建注意力图，并更新该盲区候选框的局部特征；为盲区候选框及其近邻协同框构建注意力图，其中图的结点是盲区候选框和协同近邻候选框的BEV局部特征，方向为每个协同近邻候选框指向盲区候选框，以及盲区候选框指向自己；得到每条边的权重后，使用聚合函数更新中心车辆的盲区的局部特征。
7.一种基于协作图融合的协同目标检测系统，其特征在于，包括：
获取模块，用于获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框；
筛选模块，用于基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征；
协作模块，用于基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征；
检测模块，用于基于中心车辆新的协作特征，对每个候选区域做分类和回归预测，经过阈值筛选，得到最终的检测结果。
8.一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如权利要求1-6任一项所述的基于协作图融合的协同目标检测方法。
9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如权利要求1-6任一项所述的基于协作图融合的协同目标检测方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的基于协作图融合的协同目标检测方法。
CN202210485437.3A 2022-05-06 2022-05-06 基于协作图融合的协同目标检测方法及系统 Pending CN114913495A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210485437.3A CN114913495A (zh) 2022-05-06 2022-05-06 基于协作图融合的协同目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210485437.3A CN114913495A (zh) 2022-05-06 2022-05-06 基于协作图融合的协同目标检测方法及系统

Publications (1)

Publication Number Publication Date
CN114913495A true CN114913495A (zh) 2022-08-16

Family

ID=82766142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210485437.3A Pending CN114913495A (zh) 2022-05-06 2022-05-06 基于协作图融合的协同目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN114913495A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115688861A (zh) * 2022-10-28 2023-02-03 北京理工大学 一种用于混合交通环境行为决策的模块化图强化学习系统
CN116071773A (zh) * 2023-03-15 2023-05-05 广东电网有限责任公司东莞供电局 检测电网建设类档案中表格的方法、装置、介质和设备
CN117998328A (zh) * 2024-04-07 2024-05-07 北京航空航天大学 一种基于算网资源主动优化的盲区感知方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115688861A (zh) * 2022-10-28 2023-02-03 北京理工大学 一种用于混合交通环境行为决策的模块化图强化学习系统
CN115688861B (zh) * 2022-10-28 2023-08-01 北京理工大学 一种用于混合交通环境行为决策的模块化图强化学习系统
CN116071773A (zh) * 2023-03-15 2023-05-05 广东电网有限责任公司东莞供电局 检测电网建设类档案中表格的方法、装置、介质和设备
CN116071773B (zh) * 2023-03-15 2023-06-27 广东电网有限责任公司东莞供电局 检测电网建设类档案中表格的方法、装置、介质和设备
CN117998328A (zh) * 2024-04-07 2024-05-07 北京航空航天大学 一种基于算网资源主动优化的盲区感知方法及系统
CN117998328B (zh) * 2024-04-07 2024-06-11 北京航空航天大学 一种基于算网资源主动优化的盲区感知方法及系统

Similar Documents

Publication Publication Date Title
CN114913495A (zh) 基于协作图融合的协同目标检测方法及系统
US8472746B2 (en) Fast depth map generation for 2D to 3D conversion
CN108961327A (zh) 一种单目深度估计方法及其装置、设备和存储介质
CN103440664B (zh) 一种生成高分辨率深度图的方法、系统及计算设备
US20090226034A1 (en) Spatial motion calculation apparatus and method for the same
KR102310613B1 (ko) 연속된 2d 이미지에서 객체 추적 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN112287824A (zh) 基于双目视觉的三维目标检测方法、装置及系统
CN103268604A (zh) 双目视频深度图求取方法
Rosu et al. Semi-supervised semantic mapping through label propagation with semantic texture meshes
CN113989758A (zh) 一种用于自动驾驶的锚引导3d目标检测方法及装置
CN115512319A (zh) 基于异构图网络的多模态协同检测方法及系统
CN115147745A (zh) 一种基于城市无人机图像的小目标检测方法
CN116503836A (zh) 一种基于深度补全和图像分割的3d目标检测方法
US20220375134A1 (en) Method, device and system of point cloud compression for intelligent cooperative perception system
Liu et al. Towards vehicle-to-everything autonomous driving: A survey on collaborative perception
KR102310612B1 (ko) 라이다 점군에서 특정된 객체 정보를 이용한 2d 이미지 객체 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102313918B1 (ko) 3d 데이터와 2d 이미지의 동기화 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN102768761A (zh) 一种基于透视变换的立体视频绘制方法
CN111738061A (zh) 基于区域特征提取的双目视觉立体匹配方法及存储介质
KR102313940B1 (ko) 연속된 3d 데이터에서 객체 추적 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN116229448A (zh) 三维目标检测方法、装置、设备及可读存储介质
KR102313938B1 (ko) 3d 경로 추론을 통한 동일 객체 추적 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310609B1 (ko) 3d 데이터를 이용한 2d 이미지의 전처리 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310611B1 (ko) 2d 경로 추론을 통한 동일 객체 추적 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102343041B1 (ko) 3d 데이터에서 객체 자동 특정 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination