CN116524202A - 车辆特征获取方法、车辆跨镜追踪方法、设备及存储介质 - Google Patents

车辆特征获取方法、车辆跨镜追踪方法、设备及存储介质 Download PDF

Info

Publication number
CN116524202A
CN116524202A CN202310403216.1A CN202310403216A CN116524202A CN 116524202 A CN116524202 A CN 116524202A CN 202310403216 A CN202310403216 A CN 202310403216A CN 116524202 A CN116524202 A CN 116524202A
Authority
CN
China
Prior art keywords
vehicle
feature
bev
feature map
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310403216.1A
Other languages
English (en)
Inventor
李亚东
陈贵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yuncong Enterprise Development Co ltd
Original Assignee
Shanghai Yuncong Enterprise Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yuncong Enterprise Development Co ltd filed Critical Shanghai Yuncong Enterprise Development Co ltd
Priority to CN202310403216.1A priority Critical patent/CN116524202A/zh
Publication of CN116524202A publication Critical patent/CN116524202A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及跨镜追踪技术领域，具体提供一种车辆特征获取方法、车辆跨镜追踪方法、设备及存储介质，旨在解决准确获取车辆特征的问题。为此目的，本发明提供的方法包括对2D车辆图像进行特征提取，以获取在相机视角下的2D特征图，根据2D特征图获取在BEV视角下的BEV特征图，根据2D特征图与BEV特征图，获取车辆特征。基于上述方法，即使由于相机视角的限制导致车辆的一部分区域在车辆图像中不可见，或者导致同一部件在不同相机视角的车辆图像中呈现的形状不同，也可以利用各2D车辆图像在同一视角下的BEV特征图，准确地获取到同一车辆在不同2D车辆图像中的车辆特征，进而提高车辆跨镜追踪的可靠性。

Description

车辆特征获取方法、车辆跨镜追踪方法、设备及存储介质
技术领域
本发明涉及跨镜追踪技术领域，具体涉及一种车辆特征获取方法、车辆跨镜追踪方法、设备及存储介质。
背景技术
在对车辆进行跨镜追踪时需要在车辆图像库中对不同时间、不同地点、不同相机采集的车辆图像进行检索，以获取相同车辆的车辆图像，进而根据这些车辆图像实现跨镜追踪。在对车辆图像进行检索时通常是先提取车辆图像的车辆特征，再根据各车辆图像的车辆特征进行检索。但是，这种方法无法得到较为准确的车辆特征，进而会降低跨镜追踪的准确性。例如，由于相机视角的限制可能会导致车辆的一部分区域在车辆图像中不可见，也可能导致同一部件(比如年检标志)在不同相机视角的车辆图像中呈现的形状不同，这些问题都会影响车辆特征的准确性。
相应地，本领域需要一种新的技术方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何利用车辆图像准确获取车辆特征，以提高车辆跨镜追踪的可靠性的技术问题的车辆特征获取方法、车辆跨镜追踪方法、设备及存储介质。
在第一方面，提供一种车辆特征获取方法，所述方法包括：
对2D车辆图像进行特征提取，以获取在相机视角下的2D特征图；
根据所述2D特征图，获取在BEV视角下的BEV特征图；
根据所述2D特征图与所述BEV特征图，获取车辆特征。
在上述车辆特征获取方法的一个技术方案中，“获取在BEV视角下的BEV特征图”的步骤具体包括：
采用深度估计模型分别估计2D特征图上各特征点的深度；
根据各特征点的深度，将所述2D特征图转换成3D特征图；
根据所述3D特征图，获取在BEV视角下的BEV特征图；
或者，“获取在BEV视角下的BEV特征图”的步骤具体包括：
基于Transformer模型对所述2D特征图进行特征转换；
根据特征转换的结果，获取在BEV视角下的BEV特征图。
在上述车辆特征获取方法的一个技术方案中，“根据所述3D特征图，获取在BEV视角下的BEV特征图”的步骤具体包括：
在所述3D特征图对应的X轴与Y轴形成的平面方向上，对所述3D特征图进行池化处理；
根据池化处理的结果，获取在BEV视角下的BEV特征图。
在上述车辆特征获取方法的一个技术方案中，“根据所述2D特征图与所述BEV特征图，获取车辆特征”的步骤具体包括：
根据所述2D特征图，获取在相机视角下的第一车辆特征；
根据所述BEV特征图，获取在BEV视角下的第二车辆特征；
对所述第一车辆特征与所述第二车辆特征进行特征融合；
根据特征融合的结果，获取最终的车辆特征。
在上述车辆特征获取方法的一个技术方案中，“获取在相机视角下的第一车辆特征”的步骤具体包括：对所述2D特征图进行池化处理，根据池化处理的结果获取第一车辆特征；
“获取在BEV视角下的第二车辆特征”的步骤包括：对所述BEV特征图进行池化处理，根据池化处理的结果获取第二车辆特征。
在上述车辆特征获取方法的一个技术方案中，“根据所述2D特征图与所述BEV特征图，获取车辆特征”的步骤还包括：
对所述2D特征图与所述BEV特征图进行融合，以获取融合特征图；
根据所述融合特征图，获取车辆特征。
在上述车辆特征获取方法的一个技术方案中，“根据所述融合特征图，获取车辆特征”的步骤具体包括：
对所述融合特征图进行池化处理；
根据池化处理的结果，获取车辆特征。
在第二方面，提供一种车辆跨镜追踪方法，所述方法包括：
采用前述第一方面提供的车辆特征获取方法，获取2D车辆图像的车辆特征；
根据所述车辆特征对车辆进行跨镜追踪。
在第三方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述车辆特征获取或车辆跨镜追踪方法的技术方案中任一项技术方案所述的方法。
在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述车辆特征获取或车辆跨镜追踪方法的技术方案中任一项技术方案所述的方法。
本发明上述一个或多个技术方案，至少具有如下一种或多种
有益效果：
在实施本发明提供的车辆特征获取方法的技术方案中，可以对2D车辆图像进行特征提取以获取在相机视角下的2D特征图，各2D车辆图像分别对应一个相机视角，因此通过此步骤可以获取到在各2D车辆图像对应的相机视角下的特征图。在此之后，再根据2D特征图获取在BEV视角下的BEV特征图，通过此步骤可以获取到各2D车辆图像在相同的BEV视角下的特征图。最后，同时根据在不同视角下的2D特征图与BEV特征图获取车辆特征。基于上述方法，即使由于相机视角的限制导致车辆的一部分区域在车辆图像中不可见，或者导致同一部件在不同相机视角的车辆图像中呈现的形状不同，也可以利用各2D车辆图像在同一视角下的BEV特征图，准确地获取到同一车辆在不同2D车辆图像中的车辆特征。
在实施本发明提供的车辆特征获取方法的技术方案中，可以利用2D特征图上各特征点的3D信息来获取BEV特征图，以进一步提高根据BEV特征图获取车辆特征的准确性。具体地，可以采用深度估计模型分别估计2D特征图上各特征点的深度，进而根据各特征点的深度将2D特征图转换成3D特征图，最后根据3D特征图获取在BEV视角下的BEV特征图。
在实施本发明提供的车辆跨镜追踪方法的技术方案中，可以采用前述的车辆特征获取方法来获取2D车辆图像的车辆特征，进而根据获取到的车辆特征对车辆进行跨镜追踪。基于上述方法，可以准确得到各2D车辆图像的车辆特征，从而可以可靠地完成对车辆的跨镜追踪。
附图说明
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：
图1是根据本发明的一个实施例的车辆特征获取方法的主要步骤流程示意图；
图2是根据本发明的一个实施例的BEV特征图获取方法的主要步骤流程示意图；
图3是根据本发明的一个实施例的车辆跨镜追踪方法的主要步骤流程示意图；
图4是根据本发明的一个实施例的计算机设备的主要结构示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。
下面对本发明提供的车辆特征获取方法的实施例进行说明。
参阅附图1，图1是根据本发明的一个实施例的车辆特征获取方法的主要步骤流程示意图。如图1所示，本发明实施例中的车辆特征获取方法主要包括下列步骤S101至步骤S103。
步骤S101：对2D车辆图像进行特征提取，以获取在相机视角下的2D特征图。
相机视角是指用于采集2D车辆图像的相机相对于车辆的视角，比如相机视角可以是车辆的左侧视角或右侧视角等。不同的2D车辆图像可能是由不同的相机采集的，因此，不同的2D车辆图像可能具有不同的相机视角。在对2D车辆图像进行特征提取之后会得到一个特征图，这个特征图就是在当前2D车辆图像对应的相机视角下的2D特征图。
需要说明的是，在本发明实施例中可以采用图像处理技术领域中常规的图像特征提取方法，对2D车辆图像进行特征提取得到2D特征图，本发明实施例对此不作具体限定。例如，可以采用resnet、resnest、regnet、vgg等网络对2D车辆图像进行特征提取。
步骤S102：根据2D特征图，获取在BEV(Bird's Eye View)视角下的BEV特征图。
不同的2D车辆图像可能具有不同的相机视角，但是各2D车辆图像分别对应于同一个BEV视角。在本发明实施例中可以将2D特征图上各特征点由2D特征图对应的2D空间转换至BEV空间，根据转换至BEV空间内的特征点就可以得到在BEV视角下的BEV特征图。
步骤S103：根据2D特征图与BEV特征图，获取车辆特征。
在此步骤中可以同时根据2D特征图与BEV特征图的信息，获取车辆特征，使得车辆特征同时包含在相机视角和BEV视角下的特征信息。
基于上述步骤S101至步骤S103所述的方法，可以提高对不同相机视角下的2D车辆图像进行车辆特征获取的鲁棒性，对于任意的相机视角都可以得到准确的车辆特征。相比于现有技术中基于单一相机视角的车辆图像，采用生成模型生成其他相机视角的车辆图像，进而再分别提取各相机视角下车辆图像的特征并进行融合得到车辆特征，本发明无需搭建生成模型，通过端到端的方式即可便捷且准确地获取到车辆特征。类似地，相比于现有技术中通过分割模型将车辆分割成不同的区域(比如正面、背面、侧面等)，再分别提取各区域车辆图像的特征并进行融合得到车辆特征，本发明同样无需搭建分割模型，通过端到端的方式即可便捷且准确地获取到车辆特征。
下面分别对上述步骤S102和步骤S103作进一步说明。
一、对步骤S102进行说明。
在上述步骤S102的一些实施方式中，可以通过图2所示的下列步骤S1021至步骤S1023，获取BEV特征图。
步骤S1021：采用深度估计模型分别估计2D特征图上各特征点的深度。
深度估计模型是一个预先训练好的具备深度估计能力的模型，在执行步骤S1021时可以直接调用这个深度估计模型，根据该模型可以得到2D车辆图像上各像素点对应的深度，进而根据各像素点与2D特征图上各特征点的对应关系，就可以得到各特征点的深度。
在本发明实施例中可以采用车辆图像样本及其对应的车辆深度图，对深度估计模型进行有监督训练。车辆深度图的各像素点与车辆图像样本的各像素点一一对应，车辆深度图的像素点存储的信息为在车辆图像样本上对应像素点位置处的深度，根据车辆图像样本上各像素点的位置，可以从车辆深度图中查询获取到各像素点对应的深度。进一步，在本发明实施例中可以获取多个不同相机视角的2D车辆图像，根据这些2D车辆图像对车辆进行3D重建，根据3D重建的结果获取2D车辆图像上各像素点对应的深度，进而根据这些深度建立车辆深度图。
此外，在本发明实施例中也可以采用车辆图像样本以及雷达采集的三维点云，对深度估计模型进行有监督训练。其中，根据三维点云的Z轴坐标可以得到车辆图像样本上各像素点对应的深度。
需要说明的是，虽然本发明实施例仅提供了上述两种训练深度估计模型的具体实施方式，但是本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员也可以采用其他方式训练深度估计模型，只要使其具备深度估计的能力即可。
步骤S1022：根据各特征点的深度，将2D特征图转换成3D特征图。具体地，2D特征图上各特征点的位置信息是二维的，3D特征图上各特征点的位置信息是三维的，根据2D特征图可以得到各特征点在3D空间中X轴和Y轴的坐标，根据深度可以得到特征点在3D空间中Z轴的坐标，从而就得到了各特征点的3D坐标，根据各特征点的3D坐标也就可以得到3D特征图。
步骤S1023：根据3D特征图，获取在BEV视角下的BEV特征图。具体地，可以将3D特征图上各特征点由3D特征图对应的3D空间转换至BEV空间，根据转换至BEV空间内的特征点就可以得到在BEV视角下的BEV特征图。
在一些实施方式中，可以在3D特征图对应的X轴与Y轴形成的平面方向上，即俯视方向，对3D特征图进行池化(pooling)处理，根据池化处理的结果获取在BEV视角下的BEV特征图。其中，3D特征图是三维的，经过池化处理可以得到二维的BEV特征图。基于二维的BEV特征图，有利于同时根据2D特征图与BEV特征图，准确获取车辆特征。
基于上述步骤S1021至步骤S1023所述的方法，可以同时结合2D车辆图像的2D信息和3D信息来获取BEV特征图，相比于单独地根据2D信息获取车辆特征，利用同时涵盖2D信息和3D信息的BEV特征图能够得到更加准确的车辆特征。
在上述步骤S102的一些实施方式中，还可以基于Transformer模型对2D特征图进行特征转换，根据特征转换的结果获取在BEV视角下的BEV特征图。通过Transformer模型可以挖掘2D特征图与BEV特征图之间的特征关联关系，进而可以基于该特征关联关系对2D特征图进行特征转换，准确得到相应的BEV特征图。
二、对步骤S103进行说明。
在上述步骤S103的一些实施方式中，可以分别从2D特征图与BEV特征图上提取特征，再对提取到的特征进行融合，得到车辆特征。
具体而言，在本实施方式中可以根据2D特征图获取在相机视角下的第一车辆特征，根据BEV特征图获取在BEV视角下的第二车辆特征，进而对第一车辆特征与第二车辆特征进行特征融合，根据特征融合的结果获取最终的车辆特征。
在上述步骤中可以对2D特征图进行池化处理，根据池化处理的结果获取第一车辆特征。类似地，也可以对BEV特征图进行池化处理，根据池化处理的结果获取第二车辆特征。2D特征图和BEV特征图是二维的，经过池化处理可以分别得到一维的第一、第二车辆特征。
在进行特征融合时可以对第一、第二车辆特征进行卷积操作或者全连接操作等操作实现二者的融合，经过卷积操作或者全连接操作等操作的结果即为特征融合的结果，进而可以对该结果进行降维处理形成一维的融合结果，将这个一维的融合结果作为最终的车辆特征。
基于上述实施方式，可以准确地得到两个特征图的车辆特征，进而通过特征融合的方式得到最终准确的车辆特征。
在上述步骤S103的一些实施方式中，可以先对2D特征图与BEV特征图进行融合，再根据融合之后的特征图提取车辆特征。
具体而言，在本实施方式中可以对2D特征图与BEV特征图进行融合，以获取融合特征图，进而根据融合特征图获取车辆特征。
在上述步骤中同样可以采用卷积操作或者全连接操作等操作对2D特征图与BEV特征图进行融合。此外，也可以对融合特征图进行池化处理，根据池化处理的结果获取车辆特征。其中，融合特征图是二维的，经过池化处理可以得到一维的特征向量。
基于上述实施方式，通过一次池化处理就可以得到准确的车辆特征，提高了车辆特征获取的便捷性。
下面对本发明提供的车辆跨镜追踪方法的实施例进行说明。
参阅附图3，图3是根据本发明的一个实施例的车辆跨镜追踪方法的主要步骤流程示意图。如图3所示，本发明实施例中的车辆跨镜追踪方法主要包括下列步骤S201至步骤S202。
步骤S201：采用车辆特征获取方法，获取2D车辆图像的车辆特征。此步骤中的车辆特征获取方法为前述方法实施例所述的方法。
步骤S202：根据车辆特征对车辆进行跨镜追踪。
在得到各2D特征图像的车辆特征之后，可以采用跨镜追踪技术领域中常规的跨镜追踪方法，利用车辆特征对车辆进行跨镜追踪。本发明实施例不对上述跨镜追踪方法作具体限定，只要能够根据车辆特征实现跨镜追踪即可。例如，可以根据当前车辆图像的车辆特征与车辆图像底库中底库图像的车辆特征进行比对，找出与当前车辆图像的车辆特征相似的底库图像，根据该底库图像对应的车辆ID，确定当前车辆图像中车辆的ID，进而根据车辆的ID确定车辆的轨迹。
基于上述步骤S201至步骤S202所述的方法，可以准确获取各车辆在车辆图像上的车辆特征，进而根据该车辆特征准确且可靠地实现对车辆的跨镜追踪。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些调整之后的方案与本发明中描述的技术方案属于等同技术方案，因此也将落入本发明的保护范围之内。
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
进一步，本发明还提供了一种计算机设备。
参阅附图4，图4是根据本发明的一个计算机设备实施例的主要结构示意图。如图4所示，本发明实施例中的计算机设备主要包括存储装置和处理器，存储装置可以被配置成存储执行上述方法实施例的车辆特征获取或车辆跨镜追踪方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的车辆特征获取或车辆跨镜追踪方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。
在本发明实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，计算机设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的车辆特征获取或车辆跨镜追踪方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的车辆特征获取或车辆跨镜追踪方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的车辆特征获取或车辆跨镜追踪方法，即每个处理器分别执行上述方法实施例的车辆特征获取或车辆跨镜追踪方法的不同步骤，来共同实现上述方法实施例的车辆特征获取或车辆跨镜追踪方法。
上述多个处理器可以是部署于同一个设备上的处理器，例如上述计算机设备可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述计算机设备可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步，本发明还提供了一种计算机可读存储介质。
在根据本发明的一个计算机可读存储介质的实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的车辆特征获取或车辆跨镜追踪方法的程序，该程序可以由处理器加载并运行以实现上述车辆特征获取或车辆跨镜追踪方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种车辆特征获取方法，其特征在于，所述方法包括：
对2D车辆图像进行特征提取，以获取在相机视角下的2D特征图；
根据所述2D特征图，获取在BEV视角下的BEV特征图；
根据所述2D特征图与所述BEV特征图，获取车辆特征。
2.根据权利要求1所述的方法，其特征在于，
“获取在BEV视角下的BEV特征图”的步骤具体包括：
采用深度估计模型分别估计所述2D特征图上各特征点的深度；
根据各特征点的深度，将所述2D特征图转换成3D特征图；
根据所述3D特征图，获取在BEV视角下的BEV特征图；
或者，
“获取在BEV视角下的BEV特征图”的步骤具体包括：
基于Transformer模型对所述2D特征图进行特征转换；
根据特征转换的结果，获取在BEV视角下的BEV特征图。
3.根据权利要求2所述的方法，其特征在于，“根据所述3D特征图，获取在BEV视角下的BEV特征图”的步骤具体包括：
在所述3D特征图对应的X轴与Y轴形成的平面方向上，对所述3D特征图进行池化处理；
根据池化处理的结果，获取在BEV视角下的BEV特征图。
4.根据权利要求1所述的方法，其特征在于，“根据所述2D特征图与所述BEV特征图，获取车辆特征”的步骤具体包括：
根据所述2D特征图，获取在相机视角下的第一车辆特征；
根据所述BEV特征图，获取在BEV视角下的第二车辆特征；
对所述第一车辆特征与所述第二车辆特征进行特征融合；
根据特征融合的结果，获取最终的车辆特征。
5.根据权利要求4所述的方法，其特征在于，
“获取在相机视角下的第一车辆特征”的步骤具体包括：对所述2D特征图进行池化处理，根据池化处理的结果获取第一车辆特征；
“获取在BEV视角下的第二车辆特征”的步骤具体包括：对所述BEV特征图进行池化处理，根据池化处理的结果获取第二车辆特征。
6.根据权利要求1所述的方法，其特征在于，“根据所述2D特征图与所述BEV特征图，获取车辆特征”的步骤还包括：
对所述2D特征图与所述BEV特征图进行融合，以获取融合特征图；
根据所述融合特征图，获取车辆特征。
7.根据权利要求6所述的方法，其特征在于，“根据所述融合特征图，获取车辆特征”的步骤具体包括：
对所述融合特征图进行池化处理；
根据池化处理的结果，获取车辆特征。
8.一种车辆跨镜追踪方法，其特征在于，所述方法包括：
采用权利要求1至7中任一项所述的车辆特征获取方法，获取2D车辆图像的车辆特征；
根据所述车辆特征对车辆进行跨镜追踪。
9.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的车辆特征获取方法或者执行权利要求8所述的车辆跨镜追踪方法。
10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的车辆特征获取方法或者执行权利要求8所述的车辆跨镜追踪方法。
CN202310403216.1A 2023-04-14 2023-04-14 车辆特征获取方法、车辆跨镜追踪方法、设备及存储介质 Pending CN116524202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310403216.1A CN116524202A (zh) 2023-04-14 2023-04-14 车辆特征获取方法、车辆跨镜追踪方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310403216.1A CN116524202A (zh) 2023-04-14 2023-04-14 车辆特征获取方法、车辆跨镜追踪方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116524202A true CN116524202A (zh) 2023-08-01

Family

ID=87395119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310403216.1A Pending CN116524202A (zh) 2023-04-14 2023-04-14 车辆特征获取方法、车辆跨镜追踪方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116524202A (zh)

Similar Documents

Publication Publication Date Title
CN111325796B (zh) 用于确定视觉设备的位姿的方法和装置
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
CN109671115B (zh) 使用深度值估计的图像处理方法和装置
US8452081B2 (en) Forming 3D models using multiple images
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
US9426444B2 (en) Depth measurement quality enhancement
US8442307B1 (en) Appearance augmented 3-D point clouds for trajectory and camera localization
US8447099B2 (en) Forming 3D models using two images
CN107123142B (zh) 位姿估计方法和装置
WO2013056188A1 (en) Generating free viewpoint video using stereo imaging
CN111598993A (zh) 基于多视角成像技术的三维数据重建方法、装置
CN113362444A (zh) 点云数据的生成方法、装置、电子设备及存储介质
CN105074776A (zh) 平面自然特征目标的原位形成
KR102458242B1 (ko) 스테레오 카메라로부터 획득된 이미지 페어를 처리하는 장치 및 방법
CN111047634A (zh) 场景深度的确定方法、装置、设备及存储介质
da Silveira et al. Dense 3d scene reconstruction from multiple spherical images for 3-dof+ vr applications
CN111739071B (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN111598927B (zh) 一种定位重建方法和装置
Arampatzakis et al. Monocular depth estimation: A thorough review
US20230368407A1 (en) Drivable area detection method, computer device, storage medium, and vehicle
CN112907657A (zh) 一种机器人重定位方法、装置、设备及存储介质
CN109816791B (zh) 用于生成信息的方法和装置
CN112258647A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN116052109A (zh) 点云特征获取方法、目标检测方法、设备、介质及车辆
CN116524202A (zh) 车辆特征获取方法、车辆跨镜追踪方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination