CN116188933A - 一种基于群等变的鸟瞰图目标方向预测方法 - Google Patents

一种基于群等变的鸟瞰图目标方向预测方法 Download PDF

Info

Publication number
CN116188933A
CN116188933A CN202310484054.9A CN202310484054A CN116188933A CN 116188933 A CN116188933 A CN 116188933A CN 202310484054 A CN202310484054 A CN 202310484054A CN 116188933 A CN116188933 A CN 116188933A
Authority
CN
China
Prior art keywords
group
bird
eye view
target direction
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310484054.9A
Other languages
English (en)
Other versions
CN116188933B (zh
Inventor
郭杰龙
魏宪
刘宏纬
俞辉
邵东恒
张剑锋
李�杰
汤璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou Institute of Equipment Manufacturing
Mindu Innovation Laboratory
Original Assignee
Quanzhou Institute of Equipment Manufacturing
Mindu Innovation Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou Institute of Equipment Manufacturing, Mindu Innovation Laboratory filed Critical Quanzhou Institute of Equipment Manufacturing
Priority to CN202310484054.9A priority Critical patent/CN116188933B/zh
Publication of CN116188933A publication Critical patent/CN116188933A/zh
Application granted granted Critical
Publication of CN116188933B publication Critical patent/CN116188933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于群等变的鸟瞰图目标方向预测方法，根据群等变的思想设计了可嵌入式的群等变网络，嵌入现有的鸟瞰图目标方向预测的管道网络；其中，群等变网络将图像特征迁移到群上，使其具有群的性质，并设计了一个群卷积层直接在群上进行卷积操作，充分提取旋转等变特征；对基于群等变网络的鸟瞰图目标方向预测模型利用数据集进行训练，得到具有旋转等变性的目标方向预测模型，能够在场景旋转的情况下降低平均方向预测误差。

Description

一种基于群等变的鸟瞰图目标方向预测方法
技术领域
本公开涉及目标方向预测领域，特别涉及一种基于群等变的鸟瞰图目标方向预测方法。
背景技术
感知系统作为自动驾驶汽车、室内室外机器人最核心的部分，近年来不断的发展。卓越的环境感知能力是实现自动驾驶任务的保障，感知系统利用传感器获取环境信息。例如，激光雷达采用光学飞行时间法（TOF），通过激光束获取距离等几何点云信息，提供物体的轮廓和位置信息。然而，它仍然存在一些缺点限制了它的应用，如成本高、远处物体点云稀疏、缺乏语义信息等。与LiDAR相比，相机已广泛应用于感知系统，其技术成熟，成本低。它可以提供感知上丰富的语义信息，例如，目标的颜色和纹理，它可以识别道路场景中的交通信号灯和招牌。然而，在恶劣的驾驶条件下，例如下雨、下雪和曝光的天气条件下，仍然存在许多不确定性，感知系统很难从昏暗或曝光的图像中提取足够的上下文信息。因此，能够安全高效地执行环境感知任务的多传感器融合技术受到青睐。
近年来，许多研究工作集中在多传感器融合目标检测网络上。由多个传感器提供的多模态信息可以有效地利用每个传感器的优点来提供安全可靠的感知信息。然而，大多数先前的融合工作选择一个传感器作为主导，而另一个传感器提供补充信息。这样的方式严重丢失了点云的几何特征或者丢弃图像的语义密度。将相机和激光雷达的数据统一为同一种形式进行融合已经成为多传感器融合的重要研究工作。最近，Liu 等人和Liang等人在鸟瞰图上统一了相机和激光雷达。它可以统一表示不同模态的信息，并在一定程度上解决了目标遮挡问题。
在实际道路场景中，车辆不可避免的需要转向，遇到地面起伏会产生颠簸，以上的情况都会造成场景旋转。尽管基于鸟瞰图的融合方法克服了先前的融合方法的缺点，这类方法不会严重损失几何特征或者语义密度，从而在目标检测中获得了更好的性能。但这类方法尚未充分考虑场景旋转问题对方向预测造成的影响。
发明内容
本公开提供一种基于群等变的鸟瞰图目标方向预测方法，其能够降低实际道路场景中由于场景旋转导致的方向预测时的平均方向误差。
本公开提供的基于群等变的鸟瞰图目标方向预测方法，包括以下步骤：
步骤S1：构建鸟瞰图目标方向预测基础模型
Figure SMS_1
，其中包括鸟瞰图生成模块、以及对鸟瞰图中的目标方向进行预测的模块；获取训练所用的原始样本数据集
Figure SMS_2
；
步骤S2：构建群等变网络
Figure SMS_3
，将其嵌入到模型
Figure SMS_4
中的鸟瞰图生成模块之后，得到基于群等变的鸟瞰图方向预测模型
Figure SMS_5
。群等变网络
Figure SMS_6
用于对鸟瞰图生成模块给出的鸟瞰图进行群等变处理，并在群上提取鸟瞰图中的旋转等变特征。
步骤S3：使用数据集
Figure SMS_7
对模型
Figure SMS_8
进行训练，得到具有提取旋转等变特征能力的鸟瞰图方向预测模型
Figure SMS_9
。
进一步的，所述模型
Figure SMS_10
中的鸟瞰图生成模块包括：多个传感器分支的鸟瞰图生成子模块，以及对各传感器生成的鸟瞰图进行融合的子模块。
进一步的，所述模型
Figure SMS_11
中的鸟瞰图生成子模块包括相机分支和激光雷达分支，其中相机分支由主干网络Swin-Transformer、颈部网络FPN和相机鸟瞰图生成网络LSS构建，激光雷达分支由主干网络SECOND、颈部网络FPN和鸟瞰图池化模块构成。
进一步的，所述模型
Figure SMS_12
中对鸟瞰图进行目标方向预测的模块采用TransFusionHead算法模型。
进一步的，所述步骤S2中构建的群等变网络
Figure SMS_13
，由提升层、群卷积层和群池化层构成，该网络的功能为：将鸟瞰图映射到群上，使鸟瞰图具有群的性质；然后在群上进行鸟瞰图卷积操作，提取鸟瞰图中的旋转等变特征；再将卷积结果退化至原来的平面；
其中：
提升层用于将图像特征
Figure SMS_14
从平面
Figure SMS_15
提升至群
Figure SMS_16
，维度从（B,C,H,W）提升为（B,C,R,H,W），其中B、C、R、H和W分别代表单次传递训练样本个数、特征通道数、旋转方向数量、特征高度和特征宽度；
群卷积层满足群
Figure SMS_17
的性质，用于实现不同于传统卷积的群上卷积操作；
群池化层用于使群上图像特征
Figure SMS_18
退化至平面
Figure SMS_19
，维度从（B,C,R,H,W）退化为（B,C*R,H,W），以适应模型
Figure SMS_20
中原有的对鸟瞰图进行目标方向预测的模块。
进一步的，所述群卷积层的层数根据具体的任务设置。
一种应用上述方法得到的群等变鸟瞰图目标方向预测装置，包括：
基于多个传感器分支的鸟瞰图生成以及对各传感器生成的鸟瞰图进行融合的模块；
群等变处理模块，用于对融合后得到的鸟瞰图进行群等变处理，提取鸟瞰图中的旋转等变特征；
目标方向预测模块，用于基于群等变网络模块的输出进行目标方向预测。
进一步的，其中的群等变处理模块采用群等变网络，所述群等变网络由提升层、群卷积层和群池化层构成。其中的群卷积层层数不固定，根据具体的任务设置。
本公开提供的基于群等变的鸟瞰图目标方向预测方法，根据群等变的思想设计了一个可嵌入式的群等变网络，可以自由并合理嵌入现有目标方向预测的管道网络；其中，群等变网络将图像特征迁移到群上，使其具有群的性质，并设计了一个群卷积层直接在群上进行卷积操作，充分提取旋转等变特征；将群等变网络嵌入到鸟瞰图的生成与目标方向预测模块之间，并利用数据集进行训练，得到具有旋转等变性的目标方向预测模型，在场景旋转的情况下可以有效降低平均方向误差。
与现有技术相比，本公开的有益效果是：①通过在现有目标方向预测管道网络中嵌入群等变网络，提取旋转等变特征，实现了在场景旋转的情况下有效降低平均方向误差；②群等变网络中群卷积层的层数可以根据具体的任务设置灵活调整，提取合适深度的旋转等变特征；③群等变网络中加入最优的群池化层，使其可以直接适应现有的目标方向预测算法。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例方式中，相同的参考标号通常代表相同部件。
图1为根据本公开的一种示例性实施例流程图。
图2为示例性的群等变网络结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本公开提供了一种基于群等变的鸟瞰图目标方向预测方法，附图1中给出了根据本公开的一种示例性实施例流程图，包括以下步骤：
步骤S1：构建鸟瞰图目标方向预测基础模型
Figure SMS_21
，和获取训练所用的原始样本数据
Figure SMS_22
，并将数据
Figure SMS_23
划分成训练集
Figure SMS_24
和测试集
Figure SMS_25
；
其中，鸟瞰图目标方向预测基础模型
Figure SMS_26
，包括鸟瞰图目标生成模块和目标方向预测模块；
其中，鸟瞰图目标生成模块优选采用基于多传感器的鸟瞰图目标生成模型，包括各个传感器分支的鸟瞰图生成部分和融合部分，用于获取多个传感器分支的鸟瞰图，并对各传感器生成的鸟瞰图进行融合。
作为优选，
Figure SMS_27
中的鸟瞰图目标生成模块由相机分支和激光雷达分支构建而成，其中相机分支由主干网络Swin-Transformer、颈部网络FPN和相机鸟瞰图生成网络LSS构建，激光雷达分支由主干网络SECOND、颈部网络FPN和鸟瞰图池化模块构建。然后，各传感器分支统一在鸟瞰图上融合，不严重损失图像的语义密度和点云的几何特征。
目标方向预测模块，主要用于完成目标检测过程中的方向预测。该模块可采用已有的图像目标检测及其方向预测算法模型。作为优选，本实施例中采用了TransFusionHead，该检测算法基于transformer构建，其中包含transformer编码器和transformer解码器，通过transformer编码器利用自注意力机制计算鸟瞰图特征每个位置上的上下文信息，进一步利用transformer解码器生成预测框的位置、尺寸和方向。相比较传统的目标检测预测算法，该基于transformer的目标检测及预测算法能够更好的提高目标检测及方向预测的性能。
根据目标方向预测模块给出的预测位置，可以计算出方向预测的平均方向误差，计算方法如下：
以弧度为单位进行的预测和地面实况之间的最小偏航角差异AOE为：
Figure SMS_28
其中
Figure SMS_29
表示真实框的偏航角，
Figure SMS_30
表示预测框的偏航角，
Figure SMS_31
表示常量
Figure SMS_32
；
Figure SMS_33
其中，N表示类别数量，i表示第i个类别的平均方向误差。
步骤S2：对于模型
Figure SMS_34
，使用训练集
Figure SMS_35
进行训练得到模型
Figure SMS_36
；模型
Figure SMS_37
用于后续与基于群等变的鸟瞰图目标方向预测模型
Figure SMS_38
进行效果对比，以及
Figure SMS_39
的优化。
步骤S3：构建群等变网络
Figure SMS_40
，并将其嵌入到模型
Figure SMS_41
中的鸟瞰图融合模块之后，得到基于群等变的鸟瞰图目标方向预测模型
Figure SMS_42
。所构建的网络
Figure SMS_43
用于提取数据
Figure SMS_44
中的旋转等变特征，使得目标方向预测模块能获取更多旋转等变特征，提高模型
Figure SMS_45
的目标方向预测能力。
作为优选，群等变网络
Figure SMS_46
，由提升层、群卷积层和群池化层构成，其中：
提升层将图像特征
Figure SMS_47
从平面
Figure SMS_48
提升至群
Figure SMS_49
，维度从（B,C,H,W）提升为（B,C,R,H,W），其中B、C、R、H和W分别代表单次传递训练样本个数、特征通道数、旋转方向数量、特征高度和特征宽度；
群卷积层满足群
Figure SMS_50
的性质，实现不同于传统卷积的群上卷积操作；群卷积层层数对提取旋转等变特征有影响，因此本实施例中的层数不固定，需根据具体的任务进行设置；
现有目标方向预测算法，即M 0 中原有的目标方向预测模块所用的算法，无法直接在群上进行目标方向预测，为了满足可嵌入式群等变网络的要求，本公开中加入了群池化层，使群上鸟瞰图特征
Figure SMS_51
退化至平面
Figure SMS_52
，维度从（B,C,R,H,W）退化为（B,C*R,H,W）。
步骤S4：对于模型
Figure SMS_53
，使用训练集
Figure SMS_54
进行训练得到模型
Figure SMS_55
，所经过训练的模型
Figure SMS_56
具有提取旋转等变特征的能力。
步骤S5：将经过训练集训练过的模型
Figure SMS_57
和模型
Figure SMS_58
分别进行测试集
Figure SMS_59
的测试，可以得到评估结果，从评估结果可以证明，模型
Figure SMS_60
的平均方向误差高于模型
Figure SMS_61
的平均方向误差，说明模型
Figure SMS_62
可以从测试集
Figure SMS_63
中获取更多的旋转等变特征。
以MPSoCZCU105开发板作为嵌入式平台测试为例，进一步说明主要步骤：
步骤一：构建作为基础的鸟瞰图目标方向预测模型
Figure SMS_64
，并获取训练所用的nuScenes数据集，将数据集根据需要按比例划分为训练集D 1 和测试集
Figure SMS_65
。
步骤二：对于所构建的模型
Figure SMS_66
，配置模型参数和超参数，使用训练集
Figure SMS_67
训练，对模型进行优化和调整，得到具有较好性能的鸟瞰图目标方向预测模型
Figure SMS_68
。
步骤三：构建群等变网络
Figure SMS_69
，用于提取旋转等变特征，提高模型方向预测能力；将其嵌入到模型
Figure SMS_70
中的鸟瞰图融合模块之后，得到基于群等变的鸟瞰图目标方向预测模型
Figure SMS_71
。即相机分支和激光雷达分支分别生成鸟瞰图，并将二者鸟瞰图融合，所得到的融合结果需要先通过群等变网络，再将结果输入预测模块，得到最终预测结果。所构建的网络
Figure SMS_72
用于提取数据
Figure SMS_73
中的旋转等变特征，使得预测模块能够获取更多旋转等变特征，提高模型
Figure SMS_74
的目标方向预测能力。
示例性的群等变网络由提升层、群卷积层和群池化层组成，如附图2所示，其中群卷积层层数需要根据具体的任务设置。
步骤四：对于模型
Figure SMS_75
，配置模型参数和超参数，使用训练集
Figure SMS_76
训练，并对模型进行优化和调整，得到模型
Figure SMS_77
。特别地，在训练过程中，对鸟瞰图进行不同程度的旋转等变特征提取，对最终预测结果产生较大影响。针对此类问题，根据任务调整群卷积层，设置群卷积层层数为2、3和4分别进行训练提取不同程度的旋转等变特征。
步骤五：将经过训练集训练过的模型
Figure SMS_80
和模型
Figure SMS_82
分别进行测试集
Figure SMS_84
的测试，可以得到评估结果，并且可以通过所得到的平均方向误差分析设置最佳的群卷积层层数，将最佳的结果与未嵌入群等变网络的鸟瞰图目标方向预测网络
Figure SMS_79
比较。从评估结果可以证明，模型
Figure SMS_81
的平均方向误差高于模型
Figure SMS_83
的平均方向误差，说明模型
Figure SMS_85
可以从测试集
Figure SMS_78
中获取更多的旋转等变特征。
将上述步骤三所构建的群等变网络嵌入步骤一所构建的鸟瞰图方向预测模型，通过步骤四所述选择最佳的群卷积层层数，提取最佳深度的旋转等变特征。
其中，步骤三的群卷积层层数设置是构建群等变网络的关键，层数越多提取的旋转等变特征则越深，但对于具体的任务而言，并不是提取越深层的旋转等变特征会具有更佳的效果。此外，仅设置一层群卷积层，提取浅层的旋转等变特征，对模型的方向预测能力并没有显著的增益。
总之，本公开根据群等变的概念构建群等变网络，将所输入的图像特征迁移到群上，能够使其具有群的性质。在实际道路场景下，不可避免遇到场景旋转从而引入干扰因素，而使图像特征在具有平移等变性的同时具有旋转等变性，可以有效改善此类情况下的方向预测能力差的问题。在示例性实施例的鸟瞰图目标方向预测模型中，群等变网络能够提取鸟瞰图级的旋转等变特征，可以实现平均方向误差的降低。
应用和测试示例：
使用MPSoCZCU105开发板作为嵌入式测试平台。通过以下实验，对本实施例基于群等变的鸟瞰图目标方向预测性能进行测试。
首先获取多个传感器分支的鸟瞰图，并对各传感器生成的鸟瞰图进行融合。此处使用来自https://www.nuscenes.org/的nuScenes自动驾驶公共数据集，数据集的基本情况包括：（a）传感器的配备包括：6个相机、1个激光雷达和5个毫米波雷达，其中6个相机覆盖了360度，且有重叠部分，采集速率是12Hz，激光雷达是32线，采集速率是20Hz，毫米波雷达的采集速率是13Hz；（b）包含波士顿和新加坡的1000个驾驶场景，每个场景是20s，图片的分辨率是1600*900；（c）总共标注23类目标的3D框、类别信息和重要属性，且对目标检测任务支持10类目标的检测。
实验方法如下：
（1）在GPU上使用经nuScenes数据集训练过的群等变鸟瞰图目标方向预测模型进行测试集的测试，得到最终的评估结果。
（2）通过格式转换将通过测试的群等变鸟瞰图目标方向预测模型部署到ARM处理器上。
（3）使用自动驾驶公共数据集nuScenes进行测试，且测试程序基于C++程序语言编写。
实验结果如下：
表1基于群等变的鸟瞰图目标方向预测模型与其他模型的平均方向误差对比
可用的方法 平均方向误差
BEVDet 0.490
DETR3D 0.437
BEVFormer 0.372
BEVDepth 0.358
GEqBev 0.337
表1中BEVDet、DETR3D、BEVFormer和BEVDepth都是基于鸟瞰图的经典方法，GEqBev是本公开所提出方法的简称。实验中通过在鸟瞰图目标方向预测模型中嵌入群等变网络进行训练，使得模型具有旋转等变性，能够提取旋转等变特征。
表1中分别展示了使用不同的目标方向预测方法得到的平均方向误差，其中，平均方向误差越小表明模型在方向预测方面具有更好的能力。实验结果表明，嵌入了群等变网络的鸟瞰图目标方向预测模型的平均方向误差显著降低，表明模型具有更好的目标方向预测能力，在场景旋转的情况下也能得到更好的预测效果。本公开所提出的方法在方向预测能力上优于现有常见方法，同时也证明了该方法在嵌入式计算平台下具有很好的实用性。
上述技术方案只是本发明的示例性实施例，对于本领域内的技术人员而言，在本发明公开的原理和方法的基础上，可以根据具体的任务做出不同程度的改进，而不仅限于本发明上述具体实施例所描述的方法，因此以上描述的方式只是优选的，而并不具有限制性的意义。

Claims (7)

1.一种基于群等变处理的鸟瞰图目标方向预测方法，其特征在于，包括以下步骤：
S1：构建鸟瞰图目标方向预测基础模型
Figure QLYQS_1
，其中包括鸟瞰图生成模块、以及对鸟瞰图中的目标方向进行预测的模块；获取训练所用的原始样本数据集
Figure QLYQS_2
；
S2：构建群等变网络
Figure QLYQS_3
，将其嵌入到模型
Figure QLYQS_4
中的鸟瞰图生成模块之后，得到基于群等变的鸟瞰图目标方向预测模型
Figure QLYQS_5
；所述群等变网络
Figure QLYQS_6
，用于对鸟瞰图生成模块输出的鸟瞰图进行群等变处理，提取数据中的旋转等变特征；
S3：使用数据集
Figure QLYQS_7
对模型
Figure QLYQS_8
进行训练，得到具有提取旋转等变特征能力的鸟瞰图目标方向预测模型
Figure QLYQS_9
。
2.根据权利要求1所述的方法，其特征在于，所述模型
Figure QLYQS_10
中的鸟瞰图生成模块包括：多个传感器分支的鸟瞰图生成子模块，以及对各传感器生成的鸟瞰图进行融合的子模块。
3.根据权利要求2所述的方法，其特征在于，所述模型
Figure QLYQS_11
中的鸟瞰图生成子模块包括相机分支和激光雷达分支，其中相机分支由主干网络Swin-Transformer、颈部网络FPN和相机鸟瞰图生成网络LSS构建，激光雷达分支由主干网络SECOND、颈部网络FPN和鸟瞰图池化模块构成。
4.根据权利要求1-3中任一所述的方法，其特征在于，所述步骤S2通过群等变网络完成，所述群等变网络由提升层、群卷积层和群池化层构成，其中：
提升层用于将图像特征
Figure QLYQS_12
从平面
Figure QLYQS_13
提升至群
Figure QLYQS_14
，维度从（B,C,H,W）提升为（B,C,R,H,W），其中B、C、R、H和W分别代表单次传递训练样本个数、特征通道数、旋转方向数量、特征高度和特征宽度；
群卷积层满足群
Figure QLYQS_15
的性质，用于实现群上卷积操作；
群池化层用于使群上图像特征
Figure QLYQS_16
退化至平面
Figure QLYQS_17
，维度从（B,C,R,H,W）退化为（B,C*R,H,W），以适应原有的对鸟瞰图进行目标方向预测的模块。
5.根据权利要求1所述的方法，其特征在于，所述步骤S3中采用TransFusion Head算法模型对鸟瞰图进行目标方向预测。
6.一种群等变鸟瞰图目标方向预测装置，应用了权利要求1-5中任一所述方法，其特征在于，包括：
基于多个传感器分支的鸟瞰图生成以及对各传感器生成的鸟瞰图进行融合的模块；
群等变处理模块，用于对融合后得到的鸟瞰图进行群等变处理，提取鸟瞰图中的旋转等变特征；
目标方向预测模块，用于基于群等变处理模块的输出进行目标方向预测。
7.根据权利要求6所述的装置，其特征在于，所述群等变处理模块包括群等变网络，所述群等变网络由提升层、群卷积层和群池化层构成。
CN202310484054.9A 2023-05-04 2023-05-04 一种基于群等变的鸟瞰图目标方向预测方法及装置 Active CN116188933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310484054.9A CN116188933B (zh) 2023-05-04 2023-05-04 一种基于群等变的鸟瞰图目标方向预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310484054.9A CN116188933B (zh) 2023-05-04 2023-05-04 一种基于群等变的鸟瞰图目标方向预测方法及装置

Publications (2)

Publication Number Publication Date
CN116188933A true CN116188933A (zh) 2023-05-30
CN116188933B CN116188933B (zh) 2023-09-01

Family

ID=86446671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310484054.9A Active CN116188933B (zh) 2023-05-04 2023-05-04 一种基于群等变的鸟瞰图目标方向预测方法及装置

Country Status (1)

Country Link
CN (1) CN116188933B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200082185A1 (en) * 2018-09-06 2020-03-12 Aisin Seiki Kabushiki Kaisha Periphery monitoring device
CN111352112A (zh) * 2020-05-08 2020-06-30 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN112990315A (zh) * 2021-03-17 2021-06-18 北京大学 基于偏微分算子的等变3d卷积网络的3d形状图像分类方法
CN113850129A (zh) * 2021-08-21 2021-12-28 南京理工大学 一种旋转等变的空间局部注意力遥感图像目标检测方法
CN114463556A (zh) * 2022-01-24 2022-05-10 北京智源人工智能研究院 等变网络训练方法和装置、图像识别方法和装置
CN115410167A (zh) * 2022-08-11 2022-11-29 广州文远知行科技有限公司 目标检测与语义分割方法、装置、设备及存储介质
CN115731412A (zh) * 2022-11-09 2023-03-03 浙江大学 一种基于群等变注意力神经网络的图像分类方法及其装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200082185A1 (en) * 2018-09-06 2020-03-12 Aisin Seiki Kabushiki Kaisha Periphery monitoring device
CN111352112A (zh) * 2020-05-08 2020-06-30 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN112990315A (zh) * 2021-03-17 2021-06-18 北京大学 基于偏微分算子的等变3d卷积网络的3d形状图像分类方法
CN113850129A (zh) * 2021-08-21 2021-12-28 南京理工大学 一种旋转等变的空间局部注意力遥感图像目标检测方法
CN114463556A (zh) * 2022-01-24 2022-05-10 北京智源人工智能研究院 等变网络训练方法和装置、图像识别方法和装置
CN115410167A (zh) * 2022-08-11 2022-11-29 广州文远知行科技有限公司 目标检测与语义分割方法、装置、设备及存储介质
CN115731412A (zh) * 2022-11-09 2023-03-03 浙江大学 一种基于群等变注意力神经网络的图像分类方法及其装置

Also Published As

Publication number Publication date
CN116188933B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
WO2022111219A1 (zh) 一种域自适应设备运检系统和方法
CN107609525B (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN108491854B (zh) 基于sf-rcnn的光学遥感图像目标检测方法
CN111814623A (zh) 一种基于深度神经网络的车辆车道偏离视觉检测方法
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
KR102321998B1 (ko) 환경 변화에 강인한 이미지의 위치 및 방향 추정 방법 및 시스템
CN114581887B (zh) 车道线的检测方法、装置、设备和计算机可读存储介质
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN111967373B (zh) 一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN110633633B (zh) 一种基于自适应阈值的遥感影像道路提取方法
CN114612835A (zh) 一种基于YOLOv5网络的无人机目标检测模型
CN110097047B (zh) 一种基于深度学习采用单线激光雷达的车辆检测方法
CN116503709A (zh) 一种基于改进YOLOv5的雾霾天气下车辆检测方法
CN111723660A (zh) 一种用于长形地面目标检测网络的检测方法
CN115147328A (zh) 三维目标检测方法及装置
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
Liu et al. A new multi-channel deep convolutional neural network for semantic segmentation of remote sensing image
CN114820668A (zh) 一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法
CN118097268A (zh) 一种基于监控场景的长尾目标检测方法
CN116092040B (zh) 一种车道线预测和车道线缺陷检测方法
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
CN116188933B (zh) 一种基于群等变的鸟瞰图目标方向预测方法及装置
CN112233079A (zh) 多传感器图像融合的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant