CN116894855A - 一种基于重叠视野下交叉路口多目标跨域跟踪方法 - Google Patents

一种基于重叠视野下交叉路口多目标跨域跟踪方法 Download PDF

Info

Publication number
CN116894855A
CN116894855A CN202310865140.4A CN202310865140A CN116894855A CN 116894855 A CN116894855 A CN 116894855A CN 202310865140 A CN202310865140 A CN 202310865140A CN 116894855 A CN116894855 A CN 116894855A
Authority
CN
China
Prior art keywords
target
model
track
matching
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310865140.4A
Other languages
English (en)
Inventor
蒋建春
连皓宁
夏云俊
曾素华
林峰
苏云龙
代明亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202310865140.4A priority Critical patent/CN116894855A/zh
Publication of CN116894855A publication Critical patent/CN116894855A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于重叠视野下交叉路口多目标跨域跟踪方法，属于车路协同与智慧交通领域，包括雷达与视觉融合目标检测模型、目标外观特征重识别模型、重叠区域坐标映射模型、基于目标移动特征的邻域轨迹优先匹配模型、多源信息融合的多级数据关联模型，利用智能路侧多源信息采集设备与目标运动规律降低重识别领域中的类间相似性与类内差异性的问题，利用深度学习以及自适应视野场景二阶段训练策略，提高重识别特征的辨识度和目标跨域追踪的准确性，完成对智慧路口交通对象的精准感知，获得交通对象在路口的全局运动轨迹。将追踪结果发送至云端和路侧单元RSU，并通过V2X通信技术发送车载单元OBU，弥补单感知存在的视野盲区问题。

Description

一种基于重叠视野下交叉路口多目标跨域跟踪方法
技术领域
本发明属于车路协同与智慧交通领域，涉及一种基于重叠视野下交叉路口多目标跨域跟踪方法。
背景技术
基于V2X通信的车路协同的发展在近年得到了极大的推进，交通路口的发展也逐渐转向“人–车–路–云”多方面协同的智慧路口发展，成为未来智能交通的重要组成部分。在智能交通系统中，环境感知作为整个系统的前提条件，其目标感知精度与感知连续性决定着后续子系统的功能完善性，所以交通路口的环境感知有着举足轻重的作用，在交通路口部署的监控摄像头以及雷达等环境感知设备也逐渐覆盖全路口。随着计算机视觉、深度学习的发展，基于类似视频流等大量数据输入的环境感知算法也逐渐得到应用，其中目标跟踪算法是继目标检测算法在智能交通领域得到广泛应用的又一大环境感知算法。
最初目标跟踪主要是针对单摄像头下的目标进行跟踪，但随着目标跟踪在智能交通领域的作用提高，也随着感知区域的扩大，单摄像头的视野覆盖范围往往不能满足目标全局轨迹的跟踪，这就需要目标驶出当前视野，在另一视野中出现后能够继续跟踪，因此跨域多目标跟踪应运而生。
发明内容
有鉴于此，本发明的目的在于提供一种基于重叠视野下交叉路口多目标跨域跟踪方法。
为达到上述目的，本发明提供如下技术方案：
一种基于重叠视野下交叉路口多目标跨域跟踪方法，包括以下步骤：
S1：通过雷达与视觉融合目标检测模型检测不同区域的交通对象，为追踪算法提供精准可靠的目标信息；
S2：通过图嵌入式领域自适应目标重识别模型，提供目标在不同视野下、各个角度的外观特征；
S3：通过重叠区域坐标映射模型将相邻视野边缘的目标进行重叠区域映射，将上一视野中目标映射到下一视野中；
S4：基于目标移动特征的邻域轨迹优先匹配模型，根据时空约束条件，将目标轨迹进行区域性划分，对于不满足当前目标匹配对象的轨迹进行预过滤，满足要求的轨迹在轨迹匹配阶段进行优先匹配；
S5：基于多源信息融合的多级数据关联模型，利用轨迹与目标的时间流数据特点，利用目标的外观特征、局部空间位置、全局空间位置构建三个层次的匹配算法，提高数据关联的成功率；
S6：数据关联完成后，对每一个匹配成功的轨迹进行数据更新，获得当前时刻目标的信息，并以此为依据进行下一时刻的目标与轨迹的匹配；
S7：将模型进行实际部署。
进一步，步骤S1具体包括以下步骤：
S11：在进行雷达视觉融合之前进行雷达与视觉等传感器进行时空同步，即空间上进行联合标定，时间上进行时间对齐；选择世界坐标系为桥梁，将雷达坐标系与相机坐标系进行联合标定；从雷达的外参矩阵中获取三轴的旋转角度，设定对应α、β、γ为Z轴、Y轴、X轴的旋转角度，将各个分量乘上对应的旋转角度，再加上对应的平移矩阵，即完成雷达与世界坐标系的转换，最终转换公式如下所示：
相机坐标系也需要建立和世界坐标系的转换关系；经过相机外参标定过程获得相机的外参矩阵Rc，相机与世界坐标系的转换公式如下所示：
再将相机坐标系转换到像素坐标系，最终雷达坐标系与像素坐标系的转换关系表示为：
其中Xr、Yr、Zr为雷达坐标，R为雷达坐标系与相机坐标系的转移矩阵，f为相机焦距，dx与dy表示相机单个像素在成像传感器上横向与纵向所表示的实际长度，u0与v0表示图像的中心位置；
S12：对两传感器进行时间对齐，以雷达采集的点云数据时间戳作为基准，读取对应的图像数据；
S13：通过多目标几何融合式数据增强方法，对数据集进行数据增强；随机选取完整目标与其他目标进行几何区域重叠拼接，将目标的本身使用几何图形进行数据擦除，对数据擦除的部分使用其他目标的部分区域进行填充，并标注为遮挡目标，模拟目标被大面积遮挡的情况，并在数据集中重点添加小目标以及视野边缘残缺目标、小目标和遮挡目标，用处理后的数据集训练雷达与视觉融合目标检测模型。
进一步，步骤S2中所述图嵌入式领域自适应目标重识别模型具体如下：
首先基于Vision Transformer进行模型改进，使用CNN与Transformer结合的方式作为目标重识别的特征提取网络，使用ResNeXt网络作为Vision Transformer的PatchEmbedding模块，使用Instance Normalization与Batch Normalization并行化结构替代原来单一的归一化层，提高模型对目标整体外观特征的提取能力；
在图片经过CNN卷积模型输出外观全局特征后，再将原图片进行碎片划分为N个patch，输入Patch Embedding层中进行特征初提取，再融合位置编码patch与相机特征偏置编码patch，输入到Transformer Layer中学习目标在各个视野下的局部特征；
通过图卷积式局部特征融合模型，将N个patch进行局部空间错位，并分组记录位置，以每一组的中心patch作为一个节点，构建空间相似图，以图卷积的方式计算每个patch的连接关系，更好的融合每一个目标的局部特征与全局特征。
进一步，所述图卷积式局部特征融合模型为：
将目标的N个patch的局部特征进一步按照步长s进一步划分，将划分的结果视为图节点，各节点之间的距离表示为：
其中表示节点i与j之间的关联性强度，vi表示节点i的特征，FCosine表示空间余弦距离，表示为/>使用空间位置与自身特征构建邻接矩阵与度矩阵，完成图神经网络的搭建，进行图卷积训练，经过不断迭代更新邻接矩阵与度矩阵，提高目标各局部特征之间的联系与区别，提高图嵌入式领域自适应目标重识别模型对目标局部特征差异的判别；各个节点之间的更新规则表示为：
其中Ui表示为节点特征，L表示为各个节点之间的位置关系矩阵，D表示为度矩阵，A表示为邻接矩阵，Xi表示为第i个局部的外观特征，表示一个可学习的参数矩阵，用来学习局部特征xi在总特征中所占权重；
损失函数选用Triplet loss三元组损失函数计算类间差异与类内相似损失，选用交叉熵损失作为分类损失；选取三个目标作为一组计算损失，A1,A2,A3组成一组样本，其中A1与A2为同一个目标，但外观差异较大，模拟类内差异性；A3与A1、A2属于不同目标，但外观差异较小，模拟类间相似性；三元组对应的损失函数如下：
式中f(x)为目标特征提取网络，分别为三元组中三个目标，α为自定义距离参数，表示正负样本对之间的最小距离。
进一步，所述图嵌入式领域自适应目标重识别模型的训练流程如下：
S101.确定深度学习模型的训练轮次Epoch为80轮；确定模型训练的学习率，初始学习率定位0.01，使用warmup策略，前10个epoch学习率上升，随后的轮次学习率按照余弦衰减比例逐渐衰减；
S102.选择SGD优化器作为模型训练优化器，选择三元组损失函数作为模型的损失函数；
S103.确定模型最终输出的目标特征向量的维度为756；
S104.位置编码与相机偏置编码初始值使用全零编码；
S105.Patch Embedding模块最后卷积层的步长为16*16；
S106.设定Batch Size为32；
S107.开始训练。
进一步，通过自适应视野场景二阶段训练策略对所述图嵌入式领域自适应目标重识别模型进行二阶段训练，在自适应领域训练过程中对于每一个目标使用一阶段训练好的重识别模型提取其特征gI，然后在提取目标镜头下拍摄的当前时刻的所有目标特征并取特征平均值将特征平局值/>作用于目标特征gI上；随后提取出该目标在所有镜头下的特征tI，并求出均值，将特征tI、特征gI和特征/>按照不同的权重融合形成最终的目标特征；以此特征为标准，对原训练模型进行调整，模型二阶段训练核心公式如下。
其中特征值fI即为融合了相机视野特征的目标外观特征，为融合了目标各个角度、各个相机视野特征的最终融合特征；
二阶段训练流程为：
S201.在实地部署场景采集图片，构建小型数据集，使用目标检测模型进行目标截取；
S202.将截取后的图片按照目标进行分组；
S203.将截取后的图片按照相机进行分组；
S204.设定Epoch为5，初始学习率为0.001，采用学习率逐轮衰减策略；
S205.开始训练；
S206.将i号相机下的所有目标利用一阶段训练的模型进行特征提取，并求取平均值，得到特征向量
S207.遍历每一个目标单张图片，得到目标外观特征向量gI，按照公式在权重α的作用下作差，得到fI；
S208.遍历每一个目标在所有镜头下的所有图片，得到特征向量tI，按照公式 在权重β作用下得到最终目标外观/>
S209.将gI与进行损失计算，进行反向传播，微调模型。
进一步，步骤S3中具体包括：事先找到四组以上重叠区域相同位置的点，计算出表示两个视野间映射关系的单应性矩阵H，使用单应性矩阵构建两个视野重叠区域的映射关系；两个视野中的目标坐标转换关系如下公式所示：
为前一个视野重叠区域的目标中心点坐标，经过坐标映射关系矩阵H的变换，得到后一个视野中的坐标/>
进一步，步骤S4具体包括以下步骤：
S41：首先利用雷达探测的到目标的运动方向，在进行轨迹匹配时进行轨迹过滤，在判断无转弯情况时，优先匹配运动方向相同的目标
S42：根据目标相邻的移动区域过滤，过滤目标在短时间内不可能到达的区域内的轨迹；对每一个摄像头的覆盖区域，依据交通规则划定区域，并指明目标可连续移动区域。
进一步，步骤S5中，在进行目标与轨迹匹配之前使用Kalman滤波预测上一时刻轨迹在当前时刻的位置，将位置信息赋予轨迹；对目标运动状态建立两种不同的运动模型，分别为恒定速率运动模型，即匀速直线运动模型，模型参数目标的横向位置、纵向位置以及各自的一阶导数另一模型为恒定转率和速度模型，模型参数包括目标的横纵向位置和转向角度以及各自的一阶导数/>两个模型在不同阶段由交互式多模型卡尔曼滤波根据目标的运动状态自适应选择，进行目标运动状态的预测与更新。
进一步，步骤S6具体包括：首先采用轨迹与目标外观特征向量的马氏空间距离构建代价矩阵，进行目标与轨迹的第一级匹配，对于匹配失败的目标与轨迹直接进入第二级匹配，匹配成功的目标与轨迹进而判断其视野id是否相同，若相同则表明目标未进行视野跨越，进入二级匹配予以辅助匹配，若视野id不相同，说明目标进行了跨域运动，此时使用目标的映射边界框与轨迹的边界框的iou计算代价矩阵进行匹配；
若一二级匹配均成功，则认定为该目标与轨迹匹配成功，即可进行数据关联，将当前时刻的目标信息更新给轨迹；
若未匹配成功则进入第三级匹配，使用目标与轨迹的经纬度绝对位置信息、目标速度、行驶角度构建状态向量计算代价矩阵进行匹配；
通过三级匹配构成目标与轨迹的数据关联模块。
本发明的有益效果在于：与现有技术相比，本发明充分利用智能路侧多源信息采集设备与目标运动规律降低重识别领域中的类间相似性与类内差异性的问题，同时利用深度学习以及自适应视野场景二阶段训练策略，提高重识别特征的辨识度，可有效提高目标跨域追踪的准确性，完成对智慧路口交通对象的精准感知，获得交通对象在路口的全局运动轨迹。同时可以将追踪结果发送至云端和路侧单元RSU，并通过V2X通信技术发送车载单元OBU，可有效的弥补单感知存在的视野盲区问题。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明系统框架图；
图2为本发明重识别模型结构图；
图3为本发明重识别模型二阶段训练过程图；
图4为本发明路口目标可移动区域规划图；
图5为本发明目标运动状态模型图，其中(a)为恒定速率运动模型图，(b)为恒定转率和速度模型图；
图6为本发明目标与轨迹多级匹配算法流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
一种基于重叠视野下交叉路口多目标跨域跟踪方法与系统，如图1所示，包括雷达与视觉融合目标检测模型，图嵌入式领域自适应目标重识别模型，重叠视野下目标空间坐标映射模型，基于目标移动特征的邻域轨迹优先匹配模型，多源信息融合的多级数据关联模型。其中，雷达与视觉融合目标检测模型通过视觉与雷达对同一路段同时进行目标检测，结果使用匈牙利匹配算法进行数据关联，使得目标具有视觉与雷达两方面数据信息。目标外观特征重识别模型，将目标的从图片中截取出来，得到目标的外观特征，使用756维度的高维向量表示，赋予目标外观特征信息。重叠区域坐标映射模型将处于视野交界处的重叠区域的目标进行映射，做到视野之间目标传递。基于目标移动特征的邻域轨迹优先匹配模型则是利用目标移动规律以及交通规则构建一种时空约束关系，将目标轨迹进行区域间的过滤，对符合移动规律的轨迹与目标进行优先匹配。多源信息融合的多级数据关联模型将符合要求的目标与轨迹进行多级级联匹配，对于匹配成功的目标与轨迹进行数据关联。
在目标检测阶段，采用雷达与视觉融合进行目标检测。其具体检测过程包括一下几个阶段：
雷达与相机时空同步阶段。在进行雷达视觉融合之前需要进行雷达与视觉等传感器进行时空同步，即空间上进行联合标定，时间上进行时间对齐。不同的传感器有着各自的坐标系，传坐标原点的不一致，所以选择世界坐标系为桥梁，将雷达坐标系与相机坐标系进行联合标定。从雷达的外参矩阵中获取三轴的旋转角度，设定对应α、β、γ为Z轴、Y轴、X轴的旋转角度，将各个分量乘上对应的旋转角度，再加上对应的平移矩阵，即完成雷达与世界坐标系的转换，最终转换公式如下所示：
相机坐标系也需要建立和世界坐标系的转换关系。经过相机外参标定过程获得相机的外参矩阵Rc，相机与世界坐标系的转换公式如下所示：
再将相机坐标系转换到像素坐标系，最终雷达坐标系与像素坐标系的转换关系表示为：
其中Xr、Yr、Zr为雷达坐标，R为雷达坐标系与相机坐标系的转移矩阵，f为相机焦距，dx与dy表示相机单个像素在成像传感器上横向与纵向所表示的实际长度，u0与v0表示图像的中心位置。
雷达相机联合标定后，还需要对两传感器进行时间对齐。由于相机与雷达的工作频率不同，导致图像信息与点云数据会出现不匹配的现象，所以需要规定一个时间基准，使用同一个时间戳。本文设计采用时间戳对齐的方式，以雷达采集的点云数据时间戳作为基准，读取对应的图像数据。
视觉目标检测模型训练阶段，目标检测模型以DETR为训练模型，BDD100K为主训练数据集，但考虑跨域目标追踪需要注意目标在视野边界的检测精度问题，设计提出了一种多目标几何融合式数据增强方法，使用该数据增强方法对数据集进行数据增强。随机选取完整目标与其他目标进行几何区域重叠拼接，现将目标的本身使用几何图形进行数据擦除，对数据擦除的部分使用其他目标的部分区域进行填充，并标注为遮挡目标，模拟目标被大面积遮挡的情况，便于提升模型对注意力的提取，并在数据集中重点添加小目标以及视野边缘残缺目标、小目标和遮挡目标，提升模型的泛化能力。
目标重识别阶段，设计提出了一种图嵌入式领域自适应目标重识别模型，以提高目标全局特征与局部特征的融合效果与各方位角度辨识性。模型采用Vision Transformer作为骨干网络对模型进行改进，构建重识别模型。首先基于Vision Transformer进行模型改进，使用CNN与Transformer结合的方式作为目标重识别的特征提取网络，使用ResNeXt网络作为Vision Transformer的Patch Embedding模块，使用Instance Normalization与Batch Normalization并行化结构替代原来单一的归一化层，提高模型对目标整体外观特征的提取能力。如图2所示，在图片经过CNN卷积模型输出外观全局特征后，再将原图片进行碎片划分为N个patch，输入Patch Embedding层中进行特征初提取，再融合位置编码patch与相机特征偏置编码patch，输入到Transformer Layer中学习目标在各个视野下的局部特征。为提高全局特征与局部特征的契合度，设计提出了一种图卷积式局部特征融合算法，将N个patch进行局部空间错位，并分组记录位置，以每一组的中心patch作为一个节点，构建空间相似图，以图卷积的方式计算每个patch的连接关系，更好的融合每一个目标的局部特征与全局特征。图卷积神经网络设计过程如下，将目标的N个patch的局部特征进一步按照步长s进一步划分，将划分的结果视为图节点，各节点之间的距离表示为：
其中表示节点i与j之间的关联性强度，vi表示节点i的特征，FCosine表示空间余弦距离，表示为/>使用空间位置与自身特征构建邻接矩阵与度矩阵，完成图神经网络的搭建，进行图卷积训练，经过不断迭代更新邻接矩阵与度矩阵，提高目标各局部特征之间的联系与区别，提高重识别模型对目标局部特征差异的判别。各个节点之间的更新规则表示为：
其中Ui表示为节点特征，L表示为各个节点之间的位置关系矩阵，D表示为度矩阵，A表示为邻接矩阵，Xi表示为第i个局部的外观特征，表示一个可学习的参数矩阵，用来学习局部特征xi在总特征中所占权重。
损失函数选用Triplet loss三元组损失函数计算类间差异与类内相似损失，选用交叉熵损失作为分类损失。选取三个目标作为一组计算损失，A1,A2,A3组成一组样本，其中A1与A2为同一个目标，但外观差异较大，模拟类内差异性；A3与A1、A2属于不同目标，但外观差异较小，模拟类间相似性。三元组对应的损失函数如下：
式中f(x)为目标特征提取网络，分别为三元组中三个目标，α为自定义距离参数，表示正负样本对之间的最小距离。此损失函数的意义在于将同目标之间的差异与不同目标之间的差异限制在以超参数ε为阈值的区间内，随着模型的训练，损失不断降低，逐渐降低类间相似性与类内差异性。
本阶段的训练阶段流程为：
S101.确定深度学习模型的训练轮次Epoch为80轮；确定模型训练的学习率，初始学习率定位0.01，使用warmup策略，前10个epoch学习率上升，随后的轮次学习率按照余弦衰减比例逐渐衰减。
S102.选择SGD优化器作为模型训练优化器，选择三元组损失函数作为模型的损失函数。
S103.确定模型最终输出的目标特征向量的维度为756.
S104.位置编码与相机偏置编码初始值使用全零编码。
S105.Patch Embedding模块最后卷积层的步长为16*16。
S106.设定Batch Size为32。
S107.开始训练。
其次针对重识别模型训练图片场景与应用的场景差异较大的问题，设计一种自适应视野场景二阶段训练策略。如图在自适应领域训练过程中对于每一个目标使用一阶段训练好的重识别模型提取其特征gI，然后在提取目标镜头下拍摄的当前时刻的所有目标特征并取特征平均值为了减少跨摄像机图像之间的摄像机偏差，将特征平局值/>作用于目标特征gI上。随后提取出该目标在所有镜头下的特征tI，并求出均值，将特征tI、特征gI和特征/>按照不同的权重融合形成最终的目标特征。以此特征为标准，对原训练模型进行调整。模型二阶段训练核心公式如下。
其中特征值fI即为融合了相机视野特征的目标外观特征，为融合了目标各个角度、各个相机视野特征的最终融合特征。
如图3所示，重识别模型二阶段训练流程为：
S201.在实地部署场景采集图片，构建小型数据集，使用目标检测模型进行目标截取。
S202.将截取后的图片按照目标进行分组。
S203.将截取后的图片按照相机进行分组。
S204.设定Epoch为5，初始学习率为0.001，采用学习率逐轮衰减策略。
S205.开始训练。
S206.将i号相机下的所有目标利用一阶段训练的模型进行特征提取，并求取平均值，得到特征向量
S207.遍历每一个目标单张图片，得到目标外观特征向量gI，按照公式在权重α的作用下作差，得到fI。
S208.遍历每一个目标在所有镜头下的所有图片，得到特征向量tI，按照公式 在权重β作用下得到最终目标外观/>
S209.将gI与进行损失计算，进行反向传播，微调模型。
坐标映射阶段，针对在视野交界处目标坐标系跳变而造成的目标丢失问题，设计一种重叠视野下的空间映射策略，目标行驶进处于视野边缘的重叠区域中，为了更好地做到视野之间目标信息的传递，将重叠区域的上一镜头中的目标进行向下映射，与下一视野中的同一目标进行匹配，完成目标的跨域匹配。需要事先找到四组以上重叠区域相同位置的点，计算出表示两个视野间映射关系的单应性矩阵H，使用单应性矩阵构建两个视野重叠区域的映射关系。两个视野中的目标坐标转换关系如下公式所示：
为前一个视野重叠区域的目标中心点坐标，经过坐标映射关系矩阵H的变换，即可得到后一个视野中的坐标/>
轨迹过滤阶段，针对交通对象类间高相似性和类内高差异性的问题，设计一种基于目标移动特征的邻域轨迹优先匹配策略。首先利用雷达探测的到目标的运动方向，在进行轨迹匹配时进行轨迹过滤，在判断无转弯情况时，优先匹配运动方向相同的目标。其次，根据目标相邻的移动区域过滤。如图4所示，目标可移动区域一共分为5个区域，目标连续移动区域连线包括以下几种：①—>④—>③,①—>④—>⑤，③—>④—>②，③—>④—>⑤，⑤—>④—>②，⑤—>④—>③。匹配该目标的轨迹时，过滤目标在短时间内不可能到达的区域内的轨迹。对每一个摄像头的覆盖区域，依据交通规则划定区域，并指明目标可连续移动区域。例如，区域③中的目标只能来自于④，那么在对该视野中③区域的目标进行轨迹匹配时，会优先匹配区域④中的轨迹。经过轨迹过滤策略可以大幅减少每一个目标匹配时轨迹的数量，大幅降低了类间相似性出现的概率。既减少了计算量，又提高了匹配精度。
目标与轨迹数据关联阶段，针对信息源单一轨迹匹配依赖度较高造成的数据关联失败的问题，设计一种多源信息融合的多级数据关联策略，使用目标的外观特征、检测框交并比、经纬度等信息构建代价矩阵，按照区域性轨迹过滤要求设计级联匹配算法，完成当前时刻目标与历史轨迹之间的数据关联。在进行目标与轨迹匹配之前需要使用Kalman滤波预测上一时刻轨迹在当前时刻的位置，将位置信息赋予轨迹，这就需要对目标运动状态进行建模。如图5中的(a)-(b)所示，考虑到目标在路口有直行和转弯两种选择，所以对目标运动状态建立两种不同的运动模型，分别为恒定速率运动模型，即匀速直线运动模型，模型参数目标的横向位置、纵向位置以及各自的一阶导数另一模型为恒定转率和速度模型，模型参数包括目标的横纵向位置和转向角度以及各自的一阶导数两个模型在不同阶段由交互式多模型卡尔曼滤波根据目标的运动状态自适应选择，进行目标运动状态的预测与更新。
轨迹预测阶段完成后，按照轨迹的视野标号与所在的区域进行分组，按照轨迹过滤策略对轨迹进行分组，按照优先级分别与当前时刻的目标进行匹配。如图6所示，首先采用轨迹与目标外观特征向量的马氏空间距离构建代价矩阵，进行目标与轨迹的第一级匹配，对于匹配失败的目标与轨迹直接进入第二级匹配，匹配成功的目标与轨迹进而判断其视野id是否相同，若相同则表明目标未进行视野跨越，进入二级匹配予以辅助匹配，若视野id不相同，说明目标进行了跨域运动，此时使用目标的映射边界框与轨迹的边界框的iou计算代价矩阵进行匹配。若一二级匹配均成功，则可以认定为该目标与轨迹匹配成功，即可进行数据关联，将当前时刻的目标信息更新给轨迹；若未匹配成功则进入第三级匹配，使用目标与轨迹的经纬度绝对位置信息、目标速度、行驶角度等信息构建状态向量计算代价矩阵进行匹配。三级匹配构成了目标与轨迹的数据关联模块。
实际部署阶段，大致可以分为两个步骤，分别为交通对象精准感知与数据融合，目标与轨迹跨域数据关联。交通对象精准感知阶段，首先要在十字路口四个方向道路分别安装一组摄像机与毫米波雷达，并进行联合标定与时间同步，对同一方向的交通目标在视觉与雷达两方面进行实时检测与数据融合，并使用目标重识别模型提取目标的外观特征，构建当前检测目标Detections，通过视觉与雷达的融合与过滤保证了目标检测的精准，为后续的目标追踪算法提供了精确地输入。在目标与轨迹的跨域数据关联阶段，首先要对各个视野之间的重叠区域进行关键坐标点的标注，得到各个视野之间的映射关系，目标行驶到重叠区域后能够进行精准映射，并对Detections进行更新。轨迹Tracks在与目标Detections进行匹配前，为保证轨迹位置精准度，先使用Kalman滤波算法预测轨迹当前时刻的位置，再与Detections进行外观特征与空间距离的多级匹配。为保证数据关联的精准度，对于匹配失败的轨迹，若其在生存周期以内仍继续参与下一时刻的匹配。具体流程为：
S301.安装相机与毫米波雷达，并进行联合标定、时空校准。
S302.进行目标检测，将视觉目标检测结果在原视频图像中进行截取，并输入到Reid重识别模型中提取目标外观特征。
S303.将视觉目标与雷达目标进行决策层的数据融合，根据视觉目标与雷达目标的边界框计算iou，进行匈牙利匹配，得到融合后的目标构建Detections。
S304.对于存在于视野重叠区域的目标进行坐标映射，将视野i中的目标映射到视野i-1中，与视野i-1中对应的目标进行数据融合，完成目标数据在视野交界处的数据传递，并对全局Detections进行更新。
S305.将轨迹池中的轨迹按照不同轨迹的运动状态，采用交互式多模型卡尔曼滤波进行轨迹运动状态的预测，得到上一时刻的轨迹在当前时刻检测框位置。
S306.将所有的轨迹Tracks按照视野id进行分组。
S307.将轨迹Tracks与目标Detections按照分组进行匹配。
S308.判断每一个目标所在的区域位置，对轨迹按照邻域时空约束规则进行过滤，优先匹配符合区域运动规律的轨迹。
S309.分别使用目标外观特征与绝对空间特征构建代价矩阵进行多层级级联匹配。
S310.匹配成功的Detections与Tracks，将目标信息更新给轨迹，完成数据关联与传递。
S311.匹配失败的Tracks，若其超出生存周期则进行删除。
S312.匹配失败的Detections说明视野中出现新目标，进行轨迹初始化。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于重叠视野下交叉路口多目标跨域跟踪方法，其特征在于：包括以下步骤：
S1：通过雷达与视觉融合目标检测模型检测不同区域的交通对象，为追踪算法提供精准可靠的目标信息；
S2：通过图嵌入式领域自适应目标重识别模型，提供目标在不同视野下、各个角度的外观特征；
S3：通过重叠区域坐标映射模型将相邻视野边缘的目标进行重叠区域映射，将上一视野中目标映射到下一视野中；
S4：基于目标移动特征的邻域轨迹优先匹配模型，根据时空约束条件，将目标轨迹进行区域性划分，对于不满足当前目标匹配对象的轨迹进行预过滤，满足要求的轨迹在轨迹匹配阶段进行优先匹配；
S5：基于多源信息融合的多级数据关联模型，利用轨迹与目标的时间流数据特点，利用目标的外观特征、局部空间位置、全局空间位置构建三个层次的匹配算法，提高数据关联的成功率；
S6：数据关联完成后，对每一个匹配成功的轨迹进行数据更新，获得当前时刻目标的信息，并以此为依据进行下一时刻的目标与轨迹的匹配；
S7：将模型进行实际部署。
2.根据权利要求1所述的基于重叠视野下交叉路口多目标跨域跟踪方法，其特征在于：步骤S1具体包括以下步骤：
S11：在进行雷达视觉融合之前进行雷达与视觉等传感器进行时空同步，即空间上进行联合标定，时间上进行时间对齐；选择世界坐标系为桥梁，将雷达坐标系与相机坐标系进行联合标定；从雷达的外参矩阵中获取三轴的旋转角度，设定对应α、β、γ为Z轴、Y轴、X轴的旋转角度，将各个分量乘上对应的旋转角度，再加上对应的平移矩阵，即完成雷达与世界坐标系的转换，最终转换公式如下所示：
相机坐标系也需要建立和世界坐标系的转换关系；经过相机外参标定过程获得相机的外参矩阵Rc，相机与世界坐标系的转换公式如下所示：
再将相机坐标系转换到像素坐标系，最终雷达坐标系与像素坐标系的转换关系表示为：
其中Xr、Yr、Zr为雷达坐标，R为雷达坐标系与相机坐标系的转移矩阵，f为相机焦距，dx与dy表示相机单个像素在成像传感器上横向与纵向所表示的实际长度，u0与v0表示图像的中心位置；
S12：对两传感器进行时间对齐，以雷达采集的点云数据时间戳作为基准，读取对应的图像数据；
S13：通过多目标几何融合式数据增强方法，对数据集进行数据增强；随机选取完整目标与其他目标进行几何区域重叠拼接，将目标的本身使用几何图形进行数据擦除，对数据擦除的部分使用其他目标的部分区域进行填充，并标注为遮挡目标，模拟目标被大面积遮挡的情况，并在数据集中重点添加小目标以及视野边缘残缺目标、小目标和遮挡目标，用处理后的数据集训练雷达与视觉融合目标检测模型。
3.根据权利要求1所述的基于重叠视野下交叉路口多目标跨域跟踪方法，其特征在于：步骤S2中所述图嵌入式领域自适应目标重识别模型具体如下：
首先基于Vision Transformer进行模型改进，使用CNN与Transformer结合的方式作为目标重识别的特征提取网络，使用ResNeXt网络作为Vision Transformer的PatchEmbedding模块，使用Instance Normalization与Batch Normalization并行化结构替代原来单一的归一化层，提高模型对目标整体外观特征的提取能力；
在图片经过CNN卷积模型输出外观全局特征后，再将原图片进行碎片划分为N个patch，输入Patch Embedding层中进行特征初提取，再融合位置编码patch与相机特征偏置编码patch，输入到Transformer Layer中学习目标在各个视野下的局部特征；
通过图卷积式局部特征融合模型，将N个patch进行局部空间错位，并分组记录位置，以每一组的中心patch作为一个节点，构建空间相似图，以图卷积的方式计算每个patch的连接关系，更好的融合每一个目标的局部特征与全局特征。
4.根据权利要求3所述的基于重叠视野下交叉路口多目标跨域跟踪方法，其特征在于：所述图卷积式局部特征融合模型为：
将目标的N个patch的局部特征进一步按照步长s进一步划分，将划分的结果视为图节点，各节点之间的距离表示为：
其中表示节点i与j之间的关联性强度，vi表示节点i的特征，FCosine表示空间余弦距离，表示为/>使用空间位置与自身特征构建邻接矩阵与度矩阵，完成图神经网络的搭建，进行图卷积训练，经过不断迭代更新邻接矩阵与度矩阵，提高目标各局部特征之间的联系与区别，提高图嵌入式领域自适应目标重识别模型对目标局部特征差异的判别；各个节点之间的更新规则表示为：
其中Ui表示为节点特征，L表示为各个节点之间的位置关系矩阵，D表示为度矩阵，A表示为邻接矩阵，Xi表示为第i个局部的外观特征，表示一个可学习的参数矩阵，用来学习局部特征xi在总特征中所占权重；
损失函数选用Triplet loss三元组损失函数计算类间差异与类内相似损失，选用交叉熵损失作为分类损失；选取三个目标作为一组计算损失，A1，A2，A3组成一组样本，其中A1与A2为同一个目标，但外观差异较大，模拟类内差异性；A3与A1、A2属于不同目标，但外观差异较小，模拟类间相似性；三元组对应的损失函数如下：
式中f(x)为目标特征提取网络，分别为三元组中三个目标，α为自定义距离参数，表示正负样本对之间的最小距离。
5.根据权利要求4所述的基于重叠视野下交叉路口多目标跨域跟踪方法，其特征在于：所述图嵌入式领域自适应目标重识别模型的训练流程如下：
S101.确定深度学习模型的训练轮次Epoch为80轮；确定模型训练的学习率，初始学习率定位0.01，使用warmup策略，前10个epoch学习率上升，随后的轮次学习率按照余弦衰减比例逐渐衰减；
S102.选择SGD优化器作为模型训练优化器，选择三元组损失函数作为模型的损失函数；
S103.确定模型最终输出的目标特征向量的维度为756；
S104.位置编码与相机偏置编码初始值使用全零编码；
S105.Patch Embedding模块最后卷积层的步长为16*16；
S106.设定Batch Size为32；
S107.开始训练。
6.根据权利要求5所述的基于重叠视野下交叉路口多目标跨域跟踪方法，其特征在于：通过自适应视野场景二阶段训练策略对所述图嵌入式领域自适应目标重识别模型进行二阶段训练，在自适应领域训练过程中对于每一个目标使用一阶段训练好的重识别模型提取其特征gI，然后在提取目标镜头下拍摄的当前时刻的所有目标特征并取特征平均值将特征平局值/>作用于目标特征gI上；随后提取出该目标在所有镜头下的特征tI，并求出均值，将特征tI、特征gI和特征/>按照不同的权重融合形成最终的目标特征；以此特征为标准，对原训练模型进行调整，模型二阶段训练核心公式如下。
其中特征值fI即为融合了相机视野特征的目标外观特征，为融合了目标各个角度、各个相机视野特征的最终融合特征；
二阶段训练流程为：
S201.在实地部署场景采集图片，构建小型数据集，使用目标检测模型进行目标截取；
S202.将截取后的图片按照目标进行分组；
S203.将截取后的图片按照相机进行分组；
S204.设定Epoch为5，初始学习率为0.001，采用学习率逐轮衰减策略；
S205.开始训练；
S206.将i号相机下的所有目标利用一阶段训练的模型进行特征提取，并求取平均值，得到特征向量
S207.遍历每一个目标单张图片，得到目标外观特征向量gI，按照公式在权重α的作用下作差，得到fI；
S208.遍历每一个目标在所有镜头下的所有图片，得到特征向量tI，按照公式 在权重β作用下得到最终目标外观/>
S209.将gI与进行损失计算，进行反向传播，微调模型。
7.根据权利要求1所述的基于重叠视野下交叉路口多目标跨域跟踪方法，其特征在于：步骤S3中具体包括：事先找到四组以上重叠区域相同位置的点，计算出表示两个视野间映射关系的单应性矩阵H，使用单应性矩阵构建两个视野重叠区域的映射关系；两个视野中的目标坐标转换关系如下公式所示：
为前一个视野重叠区域的目标中心点坐标，经过坐标映射关系矩阵H的变换，得到后一个视野中的坐标/>
8.根据权利要求1所述的基于重叠视野下交叉路口多目标跨域跟踪方法，其特征在于：步骤S4具体包括以下步骤：
S41：首先利用雷达探测的到目标的运动方向，在进行轨迹匹配时进行轨迹过滤，在判断无转弯情况时，优先匹配运动方向相同的目标
S42：根据目标相邻的移动区域过滤，过滤目标在短时间内不可能到达的区域内的轨迹；对每一个摄像头的覆盖区域，依据交通规则划定区域，并指明目标可连续移动区域。
9.根据权利要求1所述的基于重叠视野下交叉路口多目标跨域跟踪方法，其特征在于：步骤S5中，在进行目标与轨迹匹配之前使用Kalman滤波预测上一时刻轨迹在当前时刻的位置，将位置信息赋予轨迹；对目标运动状态建立两种不同的运动模型，分别为恒定速率运动模型，即匀速直线运动模型，模型参数目标的横向位置、纵向位置以及各自的一阶导数 另一模型为恒定转率和速度模型，模型参数包括目标的横纵向位置和转向角度以及各自的一阶导数/>两个模型在不同阶段由交互式多模型卡尔曼滤波根据目标的运动状态自适应选择，进行目标运动状态的预测与更新。
10.根据权利要求1所述的基于重叠视野下交叉路口多目标跨域跟踪方法，其特征在于：步骤S6具体包括：首先采用轨迹与目标外观特征向量的马氏空间距离构建代价矩阵，进行目标与轨迹的第一级匹配，对于匹配失败的目标与轨迹直接进入第二级匹配，匹配成功的目标与轨迹进而判断其视野id是否相同，若相同则表明目标未进行视野跨越，进入二级匹配予以辅助匹配，若视野id不相同，说明目标进行了跨域运动，此时使用目标的映射边界框与轨迹的边界框的iou计算代价矩阵进行匹配；
若一二级匹配均成功，则认定为该目标与轨迹匹配成功，即可进行数据关联，将当前时刻的目标信息更新给轨迹；
若未匹配成功则进入第三级匹配，使用目标与轨迹的经纬度绝对位置信息、目标速度、行驶角度构建状态向量计算代价矩阵进行匹配；
通过三级匹配构成目标与轨迹的数据关联模块。
CN202310865140.4A 2023-07-14 2023-07-14 一种基于重叠视野下交叉路口多目标跨域跟踪方法 Pending CN116894855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310865140.4A CN116894855A (zh) 2023-07-14 2023-07-14 一种基于重叠视野下交叉路口多目标跨域跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310865140.4A CN116894855A (zh) 2023-07-14 2023-07-14 一种基于重叠视野下交叉路口多目标跨域跟踪方法

Publications (1)

Publication Number Publication Date
CN116894855A true CN116894855A (zh) 2023-10-17

Family

ID=88314535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310865140.4A Pending CN116894855A (zh) 2023-07-14 2023-07-14 一种基于重叠视野下交叉路口多目标跨域跟踪方法

Country Status (1)

Country Link
CN (1) CN116894855A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117434531A (zh) * 2023-12-21 2024-01-23 中交第一公路勘察设计研究院有限公司 一种毫米波雷达与摄像机的检测目标特征融合方法及设备
CN117687801A (zh) * 2024-02-02 2024-03-12 浪潮电子信息产业股份有限公司 一种跨域分布式计算系统、方法、存储介质和电子设备
CN118197062A (zh) * 2024-05-16 2024-06-14 图为信息科技(深圳)有限公司 基于边缘计算的智能交通多模态信息融合系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117434531A (zh) * 2023-12-21 2024-01-23 中交第一公路勘察设计研究院有限公司 一种毫米波雷达与摄像机的检测目标特征融合方法及设备
CN117434531B (zh) * 2023-12-21 2024-03-12 中交第一公路勘察设计研究院有限公司 一种毫米波雷达与摄像机的检测目标特征融合方法及设备
CN117687801A (zh) * 2024-02-02 2024-03-12 浪潮电子信息产业股份有限公司 一种跨域分布式计算系统、方法、存储介质和电子设备
CN117687801B (zh) * 2024-02-02 2024-05-10 浪潮电子信息产业股份有限公司 一种跨域分布式计算系统、方法、存储介质和电子设备
CN118197062A (zh) * 2024-05-16 2024-06-14 图为信息科技(深圳)有限公司 基于边缘计算的智能交通多模态信息融合系统

Similar Documents

Publication Publication Date Title
CN111274976B (zh) 基于视觉与激光雷达多层次融合的车道检测方法及系统
US20230144209A1 (en) Lane line detection method and related device
CN116894855A (zh) 一种基于重叠视野下交叉路口多目标跨域跟踪方法
US10255525B1 (en) FPGA device for image classification
CN106971563B (zh) 智能交通信号灯控制方法及系统
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN111169468B (zh) 一种自动泊车的系统及方法
CN109543600A (zh) 一种实现可行驶区域检测方法及系统和应用
Berrio et al. Camera-LIDAR integration: Probabilistic sensor fusion for semantic mapping
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
CN113313763B (zh) 一种基于神经网络的单目相机位姿优化方法及装置
CN115205559A (zh) 一种跨域车辆重识别及连续轨迹构建方法
CN104933735A (zh) 一种基于时空上下文学习的实时人脸跟踪方法及系统
Li et al. Lane marking quality assessment for autonomous driving
CN114820765A (zh) 图像识别方法、装置、电子设备及计算机可读存储介质
JP2006018688A (ja) 道路環境認識方法及び道路環境認識装置
CN113552883A (zh) 基于深度强化学习的地面无人车自主驾驶方法及系统
CN117130010A (zh) 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN117387647A (zh) 融合车载传感器数据与道路传感器数据的道路规划方法
CN111754388B (zh) 一种建图方法及车载终端
JP2020050047A (ja) 物体検出装置
CN115471526A (zh) 基于多源异构信息融合的自动驾驶目标检测与跟踪方法
Xu et al. [Retracted] Multiview Fusion 3D Target Information Perception Model in Nighttime Unmanned Intelligent Vehicles
CN114782915A (zh) 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统及设备
Subash Automatic road extraction from satellite images using extended Kalman filtering and efficient particle filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination