CN114511740A - 车辆图像分类方法、车辆轨迹还原方法、装置及设备 - Google Patents

车辆图像分类方法、车辆轨迹还原方法、装置及设备 Download PDF

Info

Publication number
CN114511740A
CN114511740A CN202210089891.7A CN202210089891A CN114511740A CN 114511740 A CN114511740 A CN 114511740A CN 202210089891 A CN202210089891 A CN 202210089891A CN 114511740 A CN114511740 A CN 114511740A
Authority
CN
China
Prior art keywords
vehicle
image
features
node
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210089891.7A
Other languages
English (en)
Inventor
马静天
何智群
武伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202210089891.7A priority Critical patent/CN114511740A/zh
Publication of CN114511740A publication Critical patent/CN114511740A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种车辆图像分类方法、车辆轨迹还原方法、装置、设备及存储介质。可以获取待分类的目标图像和已分类的参考图像在多个维度的特征，比如，车辆视觉特征、路网特征，然后对目标图像和参考图像各自在多个维度的特征进行融合处理，得到表征目标图像中的车辆和参考图像中的车辆的相似度大小的融合特征，然后进一步基于融合特征确定目标图像是否和参考图像为同一类别，以对目标图像进行分类。通过上述方式，可以得到更加准确的分类结果。

Description

车辆图像分类方法、车辆轨迹还原方法、装置及设备
技术领域
本公开涉及人工智能技术领域，尤其涉及一种车辆图像分类方法、车辆轨迹还原方法、装置、设备及存储介质。
背景技术
车辆轨迹数据可用于辅助交通相关的应用建设，比如，车流量估计、交通信号等控制、车辆路线规划、违规车辆追踪等等。目前，大都通过道路中安装的图像采集装置获取车辆图像，然后对车辆进行分类处理，将同一车辆的图像划分至一类，进而，基于分类后的车辆图像获取车辆轨迹数据。准确的对车辆图像进行分类，是获得准确车辆轨迹数据的前提，因而，有必要提供一种准确对车辆图像进行分类的方法。
发明内容
本公开提供一种车辆图像分类方法、车辆轨迹还原方法、装置、设备及存储介质。
根据本公开实施例的第一方面，提供一种车辆图像分类方法，所述方法包括：
分别获取待分类的目标图像和已分类的参考图像在多个维度的特征；其中，所述多个维度的特征至少包括：车辆视觉特征和路网特征，所述车辆视觉特征用于表征图像中的车辆的视觉特性，所述路网特征用于表征图像中的车辆的时空特性；
对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到表征所述目标图像中的车辆和所述参考图像中的车辆相似度大小的融合特征；
基于所述融合特征确定所述目标图像与所述参考图像是否为同一类别，其中，同一类别的图像为同一车辆的图像。
在一些实施例中，所述对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到表征所述目标图像中的车辆和所述参考图像中的车辆相似度大小的融合特征，包括：
针对所述多个维度的任一维度，基于所述目标图像在该维度的特征和所述参考图像在该维度的特征确定该维度的相似度特征，所述相似度特征用于表征所述目标图像在该维度的特征和所述参考图像在该维度的特征之间的相似度；
对所述多个维度的所述相似度特征进行融合处理，得到所述融合特征。
在一些实施例中，所述对多个维度的所述相似度特征进行融合处理，得到所述融合特征，包括：
对多个维度的所述相似度特征进行拼接，得到拼接特征；
对所述拼接特征进行特征提取，得到所述融合特征。
在一些实施例中，所述对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到表征所述目标图像中的车辆和所述参考图像中的车辆相似度大小的融合特征，包括：
对所述目标图像在多个维度的特征进行拼接处理，得到第一特征；
对所述参考图像在多个维度的特征进行拼接处理，得到第二特征；
基于所述第一特征与所述第二特征确定用于表征所述第一特征与所述第二特征的相似度的特征，作为所述融合特征。
在一些实施例中，所述对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到表征所述目标图像中的车辆和所述参考图像中的车辆相似度大小的融合特征之前，还包括：
分别将所述目标图像在多个维度的特征和所述参考图像在多个维度的特征，映射到同一特征空间并进行降维处理；
所述对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到所述融合特征包括：
对降维处理后所述目标图像在多个维度的特征和降维处理后所述参考图像在多个维度的特征进行融合处理，得到所述融合特征。
在一些实施例中，所述对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到表征所述目标图像中的车辆和所述参考图像中的车辆相似度大小的融合特征，以及基于所述融合特征确定所述目标图像与所述参考图像是否为同一类别的步骤通过预先训练的判别器执行。
在一些实施例中，所述判别器基于以下方式训练得到：
获取第一样本图像对和第二样本图像对，所述第一样本图像对和所述第二样本图像对中的两帧图像的车辆视觉特征的相似度均大于预设相似度阈值，所述第一样本图像对的两帧图像中的车辆为同一车辆，所述第二样本图像对的两帧图像中的车辆为不同车辆；
基于所述第一样本图像对和所述第二样本图像对预设的初始模型进行训练，得到所述判别器。
在一些实施例中，所述参考图像基于以下方式确定：
确定所述目标图像的车辆视觉特征与已分类的各帧车辆图像的车辆视觉特征的相似度；
将所述相似度最大的前N帧车辆图像作为所述参考图像，其中，N为正整数。
在一些实施例中，所述基于所述融合特征确定所述目标图像与所述参考图像是否为同一类别，包括：
针对每一帧参考图像，分别基于所述融合特征确定所述目标图像与所述每一帧参考图像为同一类别的概率；
在所述概率中的最大值大于预设概率的情况下，确定所述目标图像与所述最大值对应的参考图像为同一类别；或者，
在所述概率中的最大值小于所述预设概率的情况下，设置一个新类别，并将所述目标图像划分至所述新类别。
在一些实施例中，所述路网特征基于以下方式确定：
将道路中设有图像采集装置的位置作为节点，将行驶距离小于预设距离和/或行驶时长小于预设时长的两个所述节点之间的连线作为边，构建道路网络图；
基于所述道路网络图确定所述节点的目标表征信息；
将所述目标表征信息作为位于所述节点的图像采集装置采集的图像的路网特征。
在一些实施例中，基于所述道路网络图确定所述节点的目标表征信息，包括：通过随机游走的方式在所述道路网络图中采集至少一组轨迹数据，每一组轨迹数据对应一组节点序列；
基于所述至少一组轨迹数据对应的节点序列确定所述道路网络图中的节点的初始表征信息；
针对所述道路网络图中的任一节点，利用所述节点的邻居节点的初始表征信息迭代更新所述节点的初始表征信息，得到所述节点的目标表征信息。
在一些实施例中，所述通过随机游走的方式从所述道路网络图中确定节点序列，包括：
在随机游走过程中，针对每个当前节点，基于以下方式确定从所述当前节点经过一次随机游走后到达的下一节点：
确定所述当前节点与所述当前节点的各邻居节点的连接权重，所述连接权重用于表征所述当前节点与所述邻居节点之间关联关系的紧密程度；其中，所述连接权重基于当前节点与所述各邻居节点的行驶距离，和/或，所述当前节点与所述各邻居节点的行驶时长确定；
基于所述连接权重确定从所述当前节点游走至所述各邻居节点的概率分布；
基于所述概率分布从所述各邻居节点中确定所述下一节点。
根据本公开实施例的第二方面，提供一种车辆轨迹的还原方法，所述方法包括：
获取待分类的车辆图像；
利用上述第一方面提供的方法确定所述车辆图像的类别，其中，每个类别的车辆图像为同一车辆的图像；
针对每个类别的车辆图像，按照采集图像的先后顺序以及采集所述车辆图像的图像采集装置的位置，还原所述车辆的行驶轨迹。根据本公开实施例的第三方面，提供一种车辆图像分类装置，所述装置包括：
获取模块，用于分别获取待分类的目标图像和已分类的参考图像在多个维度的特征；其中，所述多个维度的特征至少包括：车辆视觉特征和路网特征，所述车辆视觉特征用于表征图像中的车辆的视觉特性，所述路网特征用于表征图像中的车辆的时空特性；
融合模块，用于对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到表征所述目标图像中的车辆和所述参考图像中的车辆相似度大小的融合特征；
判定模块，用于基于所述融合特征确定所述目标图像与所述参考图像是否为同一类别，其中，同一类别的图像为同一车辆的图像。根据本公开实施例的第四方面，提供一种电子设备，所述电子设备包括处理器、存储器、存储在所述存储器可供所述处理器执行的计算机指令，所述处理器执行所述计算机指令时，可实现上述第一方面提及的方法。
根据本公开实施例的第五方面，提供一种计算机可读存储介质，所述存储介质上存储有计算机指令，所述计算机指令被执行时实现上述第一方面提及的方法。
本公开实施例中，在对车辆图像进行分类时，可以获取待分类的目标图像和已分类的参考图像在多个维度的特征，比如，车辆视觉特征、路网特征，然后对目标图像和参考图像各自在多个维度的特征进行融合处理，得到表征目标图像中的车辆和参考图像中的车辆的相似度大小的融合特征，然后进一步基于融合特征确定目标图像是否和参考图像为同一类别，以对目标图像进行分类。通过对不同维度的特征进行融合处理可以充分考虑不同维度的特征对分类结果的影响，以及不同维度的特征之间的相互作用和关联，使得融合处理得到的融合特征可以更加准确的反映两帧图像中的车辆的相似程度，进而基于融合特征确定的分类结果也更加准确。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1是本公开实施例的一种车辆图像分类方法示意图。
图2是本公开实施例的一种在道路网络图中随机游走的示意图。
图3是本公开实施例的一种在道路网络图中随机游走的示意图。
图4是本公开实施例的一种车辆轨迹还原系统的示意图。
图5是本公开实施例的一种车辆图像分类装置的逻辑结构示意图。
图6是本公开实施例的一种电子设备的逻辑结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
车辆轨迹数据可用于辅助交通相关的应用建设，比如，车流量估计、交通信号灯的控制、车辆路线规划、违规车辆追踪等等。通常可以通过道路中安装的图像采集装置获取车辆图像，然后对车辆进行分类处理，将同一车辆的图像划分至一类，进而，基于分类后的车辆图像获取车辆轨迹数据。相关技术中，在对车辆图像进行分类时，有的方式是直接根据车辆图像中的车辆外观、车牌等车辆视觉特征对车辆图像进行分类处理，由于图像采集装置在不同角度采集的车辆图像在视觉特性上存在一定的差异，导致仅基于车辆视觉特征对车辆图像进行分类的结果不够准确。也有的方式会进一步结合路网限制对车辆图像进行分类，通过人为设置一些路网限制参数，来辅助车辆图像进行分类。举个例子，假设两帧车辆图像分别在T1时间、位置A采集得到，以及在T2时间、位置B采集得到，即便两帧车辆图像的车辆视觉特征很接近，但是由于增加了对车速的限制，基于该限制可以判定T1时间至T2时间之间，不可能从位置A到位置B，从而可以判定两帧车辆图像不属于同一车辆。增加路网限制可以辅助判定两帧车辆图像是否对应于同一车辆，但是这种方式通过人为设置参数，无法全面覆盖各种路网，且缺乏泛化性，造成最终的分类结果仍然不够准确。
基于此，本公开实施例提供了一种车辆图像的分类方法，在对车辆图像进行分类时，可以获取待分类的目标图像和已分类的参考图像在多个维度的特征，比如，车辆视觉特征、路网特征，然后对目标图像和参考图像各自在多个维度的特征进行融合处理，得到表征目标图像中的车辆和参考图像中的车辆的相似度大小的融合特征，然后进一步基于融合特征确定目标图像是否和参考图像为同一类别，以对目标图像进行分类。通过对不同维度的特征进行融合处理可以充分考虑不同维度的特征对分类结果的影响，以及不同维度的特征之间的相互作用和关联，使得融合处理得到的融合特征可以更加准确的反映两帧图像中的车辆的相似程度，进而基于融合特征确定的分类结果也更加准确。
本公开实施例提供的车辆图像分类方法可以由各种电子设备执行，比如，手机、电脑、云端服务器、采集车辆图像的摄像头等，本公开实施例不做限制。
本公开实施例中，同一个类别的车辆图像对应于同一车辆，对车辆图像进行分类是为了确定车辆图像中包含的车辆具体属于哪一车辆。待分类的目标图像可以是需要确定图像中包含的车辆属于哪个车辆的任一图像。比如，可以是在道路中设置的图像采集装置每采集一帧图像后，即将该帧图像作为目标图像，或者是按照预设的时间间隔获取道路中设置的图像采集装置采集的图像，作为目标图像。
本公开实施例中的参考图像可以是已进行分类的车辆图像，即各参考图像中包含的车辆属于哪个车辆是已知的，其中，参考图像可以是一帧或者多帧。
具体的，本公开实施例的车辆图像分类方法如图1所示，可以包括以下步骤：
S102、分别获取待分类的目标图像和已分类的参考图像在多个维度的特征；其中，所述多个维度的特征至少包括：车辆视觉特征和路网特征，所述车辆视觉特征用于表征图像中的车辆的视觉特性，所述路网特征用于表征图像中的车辆的时空特性；
在步骤S102中，在获取到待分类的目标图像后，可以从已分类的车辆图像中确定目标图像的参考图像，其中，参考图像可以是已分类的车辆图像中的全部或者部分图像，比如，假设已分类的图像中包括5个类别，每个类别对应一个车辆，因而，可以分别从5个类别的图像中各选取一帧图像作为参考图像，判定目标图像是否属于这5个类别中的一个，还是一个属于新的类别。或者，由于车辆视觉特征对分类结果影响较大，因而也可以先利用车辆视觉特征对已分类图像进行初步筛选，选取车辆视觉特征和目标图像的车辆视觉特征比较相似的车辆图像作为参考图像。
为了可以更加准确地判定目标图像与参考图像是否属于同一类别，可以获取目标图像和参考图像在多个维度的特征，然后综合这多个维度的特征来判定两种图像是否为同一类别。其中，多个维度的特征至少包括车辆视觉特征和路网特征。其中，车辆视觉特征用于表征图像中的车辆的视觉特性，比如，车辆的外观特征、车牌特征等视觉上的特征，其中，车辆视觉特征可以通过对图像中的车辆进行特征提取得到，比如，可以训练专门的神经网络模型，用于提取图像的车辆视觉特征。
路网特征用于表征图像中的车辆的时空特性，图像中的车辆对应的时间和空间特性在一定程度也可以判定两帧车辆图像是否对应同一车辆。举个例子，假设参考图像为12：00在位置A采集的图像，目标图像为13:00在位置B采集的图像，如果位置A和位置B之间距离较远，或者连接两个位置的路段很复杂，车程较远，在1个小时内无法达到，则可以认为目标图像和参考图像不是对应同一个车辆。路网特征可以是路网中的路段或各位置节点的特征、以及路网中路段之间或各位置节点之间的关联关系，由于图像是通过路网中设置的图像采集装置采集，因而，路网特征在一定程度上反映了路网中设置的图像采集装置采集的图像的时空特性。
S104、对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到表征所述目标图像中的车辆和所述参考图像中的车辆相似度大小的融合特征；
在步骤S104中，在获取到目标图像和参考图像在多个维度的特征后，可以对目标图像在这多个维度的特征和参考图像在这多个维度的特征进行融合处理，得到表征目标图像中的车辆和参考图像中的车辆的相似度大小的融合特征。其中，对这多个维度的特征进行融合处理的方式比较多，比如，可以将目标图像的车辆视觉特征和目标图像的路网特征按照设定的某种运算方式进行运算，得到描述目标图像整体特性的特征，然后将参考图像的车辆视觉特征和参考图像的路网特征按照设定的某种运算方式进行运算，得到描述参考图像整体特性的特征，然后再对描述两种图像各自的整体特性的特征按照设定的某种运算方式进行运算，得到融合特征。或者，也可以对目标图像的车辆视觉特征和参考图像的车辆视觉特征按照设定的某种运算方式进行运算，得到表征两种图像在车辆视觉特征维度的相似度的特征，以及对目标图像的路网特征和参考图像的路网特征按照设定的某种运算方式进行运算，得到表征两种图像在路网特征维度的相似度的特征，然后再将上述两个维度的特征按照设定的某种运算方式进行运算，得到融合特征。其中，上述提到的设定的某种运算方式可以是相同的运算方式，也可以是不同的运算方式，具体可以根据需求设置，其中，运算方式可以是相加、相减、相乘、加权平均、拼接、卷积等等各种运算方式，具体可以实际需求灵活设置，本公开实施例不做限制。
通过将多个维度的特征进行融合，可以充分考虑不同维度的特征之间的关联和相互作用，得到可以更加准确和全面表征两帧图像中车辆相似程度的融合特征。
S106、基于所述融合特征确定所述目标图像与所述参考图像是否为同一类别，其中，同一类别的图像为同一车辆的图像。
在步骤S106中，在确定融合特征后，可以基于融合特征确定目标图像与所述参考图像是否为同一类别。由于融合特征表征的是两帧图像中车辆相似程度的大小，即两帧图像相似程度越大，其为同一类别的概率也越大，反之，则越小，因而，可以基于融合特征判定目标图像与所述参考图像是否为同一类别，由于参考图像的类别是已知的，进而，可以确定目标图像所属的类别。当然，如果目标图像不属于已分类的所有参考图像的类别，则可以设置一个新的类别，将该目标图像划分至新的类别中。
在一些实施例中，车辆视觉特征至少包括以下一种：车辆外观特征以及车牌特征。其中，车辆外观特征是指车辆的外型、颜色等与车辆外观有关的特征，车牌特征可以与图像中的车牌显示的字符相关的特征，车辆外观特征和车牌特征可以基于预先训练的特征提取模型提取得到。
在一些实施例中，在对目标图像在多个维度的特征和参考图像在多个维度的特征进行融合处理，得到融合特征时，可以先针对这多个维度中的任一维度，基于目标图像在该维度的特征和参考图像在该维度的特征确定该维度的相似度特征，其中，相似度特征用于表征目标图像在该维度的特征和参考图像在该维度的特征之间的相似度，然后再对这多个维度的相似度特征进行融合处理，得到融合特征。举个例子，假设获取的多个维度的特征包括目标图像和参考图像各自的车辆外观特征、车牌特征、路网特征这三个维度的特征，在确定融合特征时，可以基于目标图像的车辆外观特征和参考图像的车辆外观特征确定两者在车辆外观维度的相似度特征X，可以基于目标图像的车牌特征和参考图像的车牌特征确定两者在车牌维度的相似度特征Y，可以基于目标图像的路网特征和参考图像的路网特征确定两者在路网维度的相似度特征Z，然后可以对相似度特征X、相似度特征Y、相似度特征Z进行融合处理，得到最终的融合特征。通过这种方式，可以先基于目标图像和参考图像在各个维度的特征确定表征两者在各个维度相似度的相似度特征，然后将两者在不同维度的相似度特征进一步融合，得到更加全面的表征两者相似度的融合特征。
其中，确定两个特征相似度特征的方式有多种，比如，可以取两种图像在某个维度的特征的乘积作为两种图像在该维度的相似度特征，或者也可以采用其他的方式确定。
在一些实施例中，在对目标图像在多个维度的特征和参考图像在多个维度的特征进行融合处理，得到表征目标图像中的车辆和参考图像中的车辆相似度大小的融合特征时，可以先对目标图像在多个维度的特征进行拼接处理，得到第一特征，其中，第一特征可以表征目标图像在多个维度的整体特性。可以对参考图像在多个维度的特征进行拼接处理，得到第二特征，其中，第二特征可以表征参考图像在多个维度的整体特性。然后可以基于第一特征和第二特征确定用于表征所述第一特征与所述第二特征的相似度的特征，作为该融合特征。通过先对每种图像在多个维度的特征进行拼接，得到表示该图像整体特性的特征，然后确定用于表示两种图像整体特性的相似度的特征，作为融合特征，从而得到的融合特征可以更加全面的表征两种图像中的车辆的相似度。
由于不同维度的特征来自不同的特征提取模型，即其对应的特征空间不一样，所以，在一些实施例中，在对目标图像这多个维度的特征以及参考图像这多个维度的特征进行融合之前，可以将这多个维度的特征映射到同一个特征空间，进而对统一特征空间后的多个维度的特征进行融合处理，从而可以得到更加准确的融合特征。此外，由于这多个维度中每个维度的特征可能都比较复杂，为了可以减少计算量，提高处理效率，在将这多个维度的特征映射到同一个特征空间的同时，还可以进一步对特征进行降维处理。
比如，如果是先确定目标图像和参考图像在每个维的相似度特征，再对多个维度的相似度特征进行融合处理，得到融合特征，则在基于目标图像和参考图像在每个维度的特征确定该维度的相似度特征之前，可以先将目标图像在这多个维度的特征和参考图像在这多个维度的特征映射到同一特征空间并进行降维处理，然后再基于降维处理后目标图像在该维度的特征和参考图像在该维度的特征确定相似度特征，进而再对相似度特征进行融合。由于在基于目标图像和参考图像在每个维度的特征确定该维度的相似度特征时，通常是通过计算两个特征的乘积的方式确定相似度特征，因而最终得到的相似度特征的维度往往比较大，比较复杂。因此，可以在确定相似度特征之前，将各维度的特征映射到同一个特征空间，并进行降维处理，使得得到的相似度特征不会太过复杂，同时由于已预先将不同维度的特征映射到同一特征空间，因而，可以直接对得到的相似度特征按照预定的方式进行运算，以对不同维度的特征进行融合，得到融合特征。
再比如，如果是通过先对目标图像或参考图像各自在多个维度的特征进行拼接，得到表示该图像整体特性的特征，然后确定用于表示两种图像整体特性的相似度的特征，作为融合特征，则可以在对每种图像在多个维度的特征进行拼接之前，将每种图像在每个维度的特征映射到同一特征空间，并进行降维处理。通过将不同模型提取的不同维度的特征映射到同一特征空间，再进行拼接，从而拼接得到的特征更准确，并且，通过对特征进行降维处理，从而使得最后确定的融合特征的维度不至于过大，可以减小计算量。
在一些实施例中，在对不同维度的相似度特征进行融合处理，得到融合特征时，可以先将不同维度的相似度特征进行拼接，得到拼接特征，然后再进一步对拼接特征进行特征提取，得到融合特征。通过将不同维度的特征进行拼接后，再进一步对拼接得到的拼接特征进行特征提取，可以更加充分的考虑不同维度的特征之间的相互关联和作用，使得特征之间的融合更加彻底，得到更加准确地反映两帧图像中车辆相似程度大小的融合特征，进而基于融合特征得到的分类结果也更加准确。其中，对拼接特征进行进一步特征提取可以采用卷积、池化等运算实现，具体可以根据实际情况设置，本公开实施例不做限制。
在一些实施例中，对目标图像在多个维度的特征和参考图像在多个维度的特征进行融合处理，得到融合特征，以及基于融合特征确定目标图像与参考图像是否为同一类别的操作可以通过预先训练的判别器执行。比如，可以预先训练一个判别器，判别器的输入可以是两帧图像各自在这多个维度的特征，比如，车辆外观特征、车牌特征、路网特征，判别器的输出可以是两帧图像为同一类别的概率。通过预先训练判别器，判别器在训练过程中可以自适应的学习不同特征之间的关联和相互作用，然后可以自适应的调整不同维度的特征之间的融合关系，得最佳的融合参数(即模型参数)，使得基于融合参数融合得到的融合特征更加准确，进而基于融合特征确定的两帧图像为同一类别的概率也更加准确。
在训练得到上述判别器时，可以利用携带标签信息的样本图像对对预设的初始模型进行训练，得到判别器，其中，标签信息用于指示样本图像对中的两帧图像中的车辆是否为同一车辆。比如，可以基于模型输出的两帧图像为同一车辆的预测概率和标签信息指示的真实概率之间的偏差不断调整模型参数，以训练得到该判别器。
在一些实施例中，为了让训练得到的判别器精度更高，预测结果更准确，用于训练判别器的样本图像对也可以是基于车辆视觉特征预先构建的样本图像对。比如，样本图像对中可以包括第一样本图像对和第二样本图像对，第一样本图像对和第二样本图像对中的两帧图像中的车辆视觉特征的相似度均大于预设相似度阈值，第一样本图像对的两帧图像中的车辆为同一车辆，第二样本图像对的两帧图像中的车辆为不同的车辆。其中，第二样本图像对为车辆视觉特征很相似，但又属于不同类别的负样本，这种样本是极易混淆的。通过构建车辆视觉特征相似度较高的正样本，以及车辆视觉特征相似度较高的负样本，使得模型可以对有代表性的正、负样本进行学习，从而最终训练得到的判别器具有较高的精度。
在对车辆图像分类时，每获取到一帧待分类的目标图像后，均可以先确定目标图像和已分类的参考图像之间的相似度，如果相似度较高，即可以确定目标图像和参考图像为同一类别。如果和已分类的参考图像均不相似，则认为该目标图像对应一个新的车辆，即属于一个新类别。由于车辆外观、车牌等车辆视觉特征对分类结果影响较大，因而在分类的过程中，为了提高准确度和处理效率，可以先利用车辆视觉特征对已分类的车辆图像进行初步的筛选，比如，可以确定目标图像的车辆视觉特征与已分类的各帧车辆图像的车辆视觉特征的相似度，然后从已分类的车辆图像中选取该相似度最大的前N帧车辆图像作为参考图像，其中，N为正整数。然后，再进一步融合多个维度的特征分别判定目标图像与这N帧参考图像是否为同一类别。
在一些实施例中，在初步筛选到N帧参考图像后，可以针对每一帧参考图像，分别基于该融合特征确定目标图像与每一帧参考图像为同一类别的概率，然后从这些概率中确定最大值，在该最大值大于预设概率的情况下，确定目标图像与最大值对应的参考图像为同一类别。比如，在得到N帧参考图像后，可以将目标图像分别与这N帧参考图像两两组合，得到多个图像对，然后分别将每个图像对输入到预先训练好的判别器中，利用判别器确定两帧图像为同一类别的概率，然后判定最大概率是否大于预设概率，如果是，则确定目标图像与最大概率对应的参考图像为同一类别。
当然，如果和目标图像最为相似的参考图像对应的概率都比较小，说明目标图像不属于已有类别中的任何一类，因而，可以重新设置一个新的类别。所以，在一些实施例中，如果该概率中的最大值小于预设概率，则重新设置一个新类别，用于表示一个新车辆的图像，并将目标图像划分至该新类别中。
在一些实施例中，在确定车辆图像的路网特征时，可以以采集车辆图像的图像采集装置所在位置作为节点构建道路网络图，通过模型学习道路网络图中的各节点的关联关系，得到各节点的路网表征，即可作为各节点的图像采集装置采集的图像的路网特征。比如，道路网络图中的各节点可以是道路中设有图像采集装置的位置，由于实际的道路网络结构比较复杂，涉及的路段和交汇点较多，为了提高处理效率，可以将路网结构进行简化，删减掉一些联系不紧密的边。比如，可以基于两个节点之间关联性大小确定是否要将两个节点连接起来，作为路网结构中的一条边。举个例子，在确定设有图像采集装置的各个节点后，可以将行驶距离小于预设距离和/或行驶时长小于预设时长的两个节点之间的连线作为边，构建道路网络图，即在构建道路网络图时会加入两个节点之间的行驶距离和行驶时长中的一种或多种作为限制，如果行驶距离过大，或者行驶时长过长，说明两个节点之间的关联性较小，则不考虑，在道路网络图中也没有两个节点之间的连接边，从而可以对道路网络图进行简化。其中，在一些实施例中，行驶距离可以是导航距离，行驶时长可以是导航时长。
在得到道路网络图后，可以基于该道路网络图确定道路网路图中各节点的目标表征信息，其中，目标表征信息可以是用于表征节点的向量、矩阵等各类形式的信息，本公开实施例不作限制。其中，在确定各节点的目标表征信息时，可以通过神经网络或者模型学习道路网络图中各节点的特征以及各节点之间的关联关系，基于学习到的节点的特征和节点之间的关联关系确定各节点的目标表征信息。
在确定各节点的目标表征信息后，即可以将目标表征信息作为位于该节点的图像采集装置采集的图像的路网特征。
其中，确定道路网络图中各节点的目标表征信息时，可以采用随机游走的方式在道路网络图中游走，确定节点序列，然后通过模型学习节点序列之间的关联，得到各节点的目标表征信息。当然，也可以基于各节点的邻近节点的表征信息不断更新该节点的表征信息，以得到各节点目标表征信息。
在一些实施例中，在确定目标表征信息时，可以考虑道路网络图在广度方向和深度方向两个维度的特性，从而使得最终确定的节点的目标表征信息更加准确。比如，可以通过在该道路网络图中随机游走，以采集至少一组轨迹数据，每组轨迹数据对应一组节点序列。比如，可以将每次随机游走经过的节点记录，并按顺序排列，完成一轮随机游走后，即可以得到一组节点序列。比如，如图2所示，图中箭头指示的方向为随机游走的游走路径，随机游走过程中经过的节点依次为V1、V2、V3、V6、V5、V2，从而得到的节点序列为{V1、V2、V3、V6、V5、V2}。可以在道路网络图中进行一轮或多轮随机游走，得到一组或者多组节点序列。
在基于随机游走确定节点序列以后，可以基于所确定的节点序列确定道路网络图中的节点的表征信息，以下称为初始表征信息。
由于通过对节点序列进行特征学习，确定的节点的初始表征信息，仅仅考虑了车辆在行驶过程中的行驶轨迹的特点以及路网的特异性，并未考虑路网的各向同性及各节点与周围节点之间的关联，因而确定的初始表征信息还不够准确。为了确定的节点的表征信息可以更加准确，可以结合路网多个维度的特性共同确定表征信息。所以，在通过节点序列得到节点的初始表征信息后，针对道路网络图中的任一节点，还可以进一步利用该节点的邻居节点的初始表征信息对该节点的初始表征信息进行迭代更新，以在该节点的初始表征信息的基础上融合该节点的邻近节点的表征信息，得到该节点的最终的表征信息，以下称为目标表征信息。由于道路网络图中，各节点的邻近节点通常与该节点的关联关系比较紧密，因而，通过融合该节点邻近节点的表征信息，可以学习该节点与邻近节点的关联关系，使得最终得到的目标表征信息可以更加准确。
在一些实施例中，为了确定的节点序列可以更加符合路网的结构特性以及车辆的行驶轨迹特性，可以结合道路网络图中节点之间的关联关系的紧密程度设置随机游走时的概率分布。比如，在通过随机游走的方式从道路网络图中确定节点序列时，针对每个当前节点，可以基于以下方式确定从当前节点经过一次随机游走后到达的下一节点：
可以确定当前节点与当前节点的各邻居节点之间的连接权重，其中，连接权重用于表征当前节点与各邻居节点之间关联关系的紧密程度。连接权重可以基于两个节点之间的行驶距离(比如，导航距离)、两个节点之间的行驶时长(比如，导航时长)、两个节点之间的车流量、两个节点之间的路段数量等任何可以表征节点之间关联关系的参数确定。比如，两个节点之间的导航距离越小、车流量越大、路段数量越多，说明两个节点之间的关联关系越紧密，连接权重也越大。
在确定当前节点与各邻据节点之间的连接权重后，可以基于连接权重确定从当前节点游走至各邻居节点的概率分布。比如，如果当前节点与邻居节点的关联关系越紧密，则其连接权重越大，从当前节点游走至该邻居节点的概率也越大。
在确定概率分布后，即可以基于概率分布确定当前节点的下一节点。每一次随机游走，都可以重复上述步骤以得到当前节点的下一节点，经过多次随机游走，即可以得到节点序列。
节点之间的关联关系可以通过节点之间的行驶距离和/或节点之间的行驶时长表征，所以，在一些实施例中，在确定当前节点与当前节点的各邻居节点的连接权重时，可以先确定当前节点与各邻居节点的行驶距离，和/或，当前节点与各邻居节点的行驶时长，然后根据行驶距离、行驶时长中的一种或多种确定连接权重。
在一些实施中，连接权重负相关于当前节点与邻居节点的行驶距离，和/或连接权重负相关于当前节点与邻居节点的行驶时长。即行驶航距离越远，连接权重越小，行驶时长越大，连接权重越小。
在一些实施例中，为了使得随机游走得到的节点序列可以更加符合实际需求，可以预先设置一个返回参数和一个远离参数，这两个参数可以用于调控随机游走时的运动趋势，比如，随机游走过程中是倾向于往远离当前节点的方向游走，还是倾向于在当前节点周围来回游走等，通过控制游走的运动趋势，可以控制采集的轨迹数据，相应控制最终得到的节点序列的分布特点。在确定随机游走过程中的概率分布时，可以结合连接权重、返回参数和远离参数共同确定从当前节点游走至各当前节点的各邻居节点的概率分布。
在一些实施例中，在远离参数大于1的情况下，随机游走时的运动趋势倾向于在当前节点周围的节点之间来回跳动。在远离参数小于1的情况下，随机游走时的运动趋势倾向于向远离当前节点的方向跳动。在返回参数大于远离参数和1中较大的一个时，随机游走时的运动趋势为跳动至不同于当前节点的节点。在返回参数小于远离参数和1中较小的一个时，随机游走时的运动趋势为返回当前节点。
在一些实施例中，如图3所示，在根据连接权重、预设的返回参数、预设的远离参数确定从当前节点游走至各邻居节点的概率分布时，如果某个邻居节点刚好为上一节点，比如，图3中的V1，则从当前节点V2游走至该邻居节点V1的概率基于当前节点与该邻居节点的连接权重以及返回参数的倒数确定。
如果某个邻居节点与上一节点存在连接边，比如，图3中的V7，则从当前节点V2游走至该邻居节点V7的概率基于当前节点与该邻居节点的连接权重确定。
如果某个邻居节点与上一节点不存在连接边，比如，图中的V3和V5，则从当前节点游走V2至该邻居节点(V3或V5)的概率基于当前节点与该邻居节点的连接权重和远离参数的倒数确定。
当然，实际车辆在行驶过程中，大多数情况都是从出发点开往其他位置，即朝着远离出发点的方向行驶，很少在原地来回行驶。因而，在一些实施例中，当目标邻居节点为当前节点的上一节点时，可以通过设置远离参数和返回参数的数值，使得从当前节点游走至目标邻居节点的概率低于从当前节点游走至除目标邻居节点以外的其他邻居节点的概率，以便随机游走的过程中倾向于朝着远离当前节点的方向游走，而不是返回至已走过的节点，使得随机游走得到的节点序列更加符合实际车辆的行驶轨迹。
在一些实施例中，在基于节点序列确定所述道路网络图中的节点的初始表征信息时，可以针对节点序列中的每个节点，以该节点的特征作为神经网络的输入，以节点序列中与该节点的前和/或后相邻的节点的特征作为神经网络的输出，对神经网络进行训练，然后基于训练后的神经网络的权重矩阵确定节点序列中每个节点的初始表征信息(比如，表征向量)。比如，可以借鉴NLP(Natural language processing，自然语言处理)中的word2vec方法，将道路网络图中的每个节点看作是一个单词，将所有节点看作是单词库，将随机游走得到的节点序列看作是句子，利用skip-gram方法对word2vec模型进行训练得到每个节点的表征向量，比如，可以用节点序列中的节点的特征作为word2vec模型的输入，用与该输入节点的相邻的前面的节点以及后面的节点的特征作为word2vec模型的输出，对word2vec模型进行训练，训练结束后的word2vec模型的权重矩阵即为学习到的节点的初始表征向量。当然，本公开实施例并不局限于word2vec模型，其他具有类似功能的模型都适用。
在一些实施例中，针对道路网络图中的任一节点，在利用该节点的邻居节点的初始表征信息迭代更新该节点的初始表征信息，以得到该节点的目标表征信息时，针对道路网络图中的每一个节点，可以先确定该节点的多个邻居节点，其中，邻居节点的数量可以预先设置，然后将该节点的初始表征信息与该节点的多个邻居节点的初始表征信息进行聚合，得到该节点的更新表征信息。然后可以利用更新表征信息替换初始表征信息，继续重复上述步骤，直至达到预设的迭代条件，然后将节点的最终得到的更新表征信息作为该节点的目标表征信息。其中，迭代条件可以是迭代次数达到一定的次数，或者是最终得到的节点表征信息的误差小于预设阈值。
比如，针对某个节点，可以先确定该节点的多个邻居节点，然后将该节点的初始表征信息与该节点的多个邻居节点的初始表征信息进行聚合，得到该节点的更新表征信息。在利用该节点的邻居节点的初始表征信息对该节点的初始表征信息进行更新后，针对多个邻居节点中的各邻居节点，也可以采用同样的方式，对邻居节点的初始表征信息进行更新，比如，也可以先确定每个邻居节点的多个邻居节点，将每个邻居节点的初始表征信息与所述每个邻居节点的多个邻居节点的初始表征信息进行聚合，得到邻居节点的更新表征信息，然后可以利用邻居节点的更新表征信息替换邻居节点的初始表征信息，再一次对该节点的更新表征信息进行下一次更新，重复执行以上步骤直至达到预设的迭代条件，然后将节点的最终得到的更新表征信息作为该节点的目标表征信息。
在对节点的表征信息和邻居节点的表征信息进行聚合时，可以将该节点与邻居节点的表征信息的平均值或加权平均值作为该节点的更新表征信息，或者，也可以取该节点与邻居节点的表征信息的中值、最大值或最小值作为该节点的更新表征信息，具体可以根据实际需求设置。比如，在一些实施例中，假设待更新的的节点为节点v，节点v当前的表征向量为u1，可以先对节点v的邻居节点进行采样，得到多个邻居节点Nv，然后可以将邻居节点Nv的表征向量u2进行聚合，比如，取平均值，作为各邻居节点Nv的更新表征向量u2’，然后可以将节点v当前的表征向量u1与u2’进行拼接，得到拼接后表征向量，由于拼接后的向量维度变大，因而，可以对拼接后的向量进一步处理，使其与最初的维度一致，得到节点v最终更新后的表征向量u1’。
进一步地，本公开实施例还提供了一种车辆轨迹还原方法，该方法可以基于道路中设置的图像采集装置采集的车辆图像还原车辆的行驶轨迹，首先，可以获取待分类的车辆图像，然后可以利用上述各实施例中提供的车辆分类方法确定该车辆图像所属的类别，其中，每个类别的车辆图像为同一车辆的图像，在对车辆图像进行分类后，针对每个类别的车辆图像，可以按照采集图像的先后顺序以及采集车辆图像的图像采集装置的位置还原该车辆的行驶轨迹。比如，可以按照采集图像的先后顺序对车辆图像进行排序，然后基于排序后的车辆图像，以及采集该车辆图像的图像采集装置的位置，把各个位置连接起来，即得到可该车辆的行驶轨迹。
通过对车辆图像进行准确的分类，将同一车辆的车辆图像划分到一个类别，然后再根据每个类别中的车辆图像的采集时间和采集地点还原车辆的行驶轨迹，可以准确得还原车辆轨迹，用于后续的车辆追踪、路线规划、交通灯控制等等。
其中，不难理解，上述各实施例中的描述的方案在不存在冲突的情况，可以进行组合，本公开实施例中不一一例举。
为了进一步解释本公开实施例提供的车辆图像分类方法，以及车辆轨迹还原方法，以下结合一个具体的实施例加以解释。
为了准确还原车辆的行驶轨迹，以下提供了一种对车辆图像进行精准分类，并基于分类后的图像确定车辆行驶轨迹的方法。
上述方法可以通过车辆轨迹还原系统实现，该车辆轨迹还原系统如图4所示，包括视觉特征提取模块、路网表征学习模块、判别器、聚类模块，以下分别介绍各模块的功能。
(1)视觉特征提取模块
针对道路中设置的图像采集装置采集的车辆图像，可以利用视觉特征提取模块提取车辆的视觉特征，包括车辆外观特征和牌照特征。比如，可以以固定的时间间隔从图像采集装置采集的视频图像中提取一定数量的帧，并按时间顺序排序，然后利用目标检测算法对图像中的车辆进行识别。对于每帧车辆图像，可以通过预先训练的特征提取模型得到车辆外观特征，通过预先训练的车牌识别模型得到车牌特征。此外，采集各帧车辆图像的地理坐标和时间也会被记录下来。
(2)路网表征学习模块
可以以道路中设有图像采集装置的位置作为节点，将导航距离小于预设距离，且导航时长小于预设时长的两个节点连接，构建道路网络图。
然后利用随机游走采样的方式在道路网络图中随机游走，得到模拟轨迹对应的节点序列。在随机游走采样过程中，可以基于节点之间的相关性确定随机游走过程中从当前节点转移至下一节点的概率，具体如公式(1)：
Figure BDA0003488769960000241
其中，π(nt，nv，nx)表示通过边(nt，nv)后从节点nv到节点nx的转移概率，p和q分别为返回参数和出入参数，avx表示节点nv与节点nx之间的关联性。其中，avx可以通过公式(2)确定：
Figure BDA0003488769960000242
其中，aij为节点i与节点j的相关性，dij和tij分别为节点i到节点j的导航距离和估计时间。而γ、θd和θt是我们预先设定的超参数。
为了探究路网深度信息，可以为p设置了一个较大值，为q设置了一个较小值。采样结束后，可以利用NLP中的word2vec方法学习节点表征，为了探究路网广度信息，可以利用图卷积网络捕捉相邻节点的信息，最终得到各节点的路网特征，各节点的路网特征即为该节点的图像采集装置采集的图像的路网特征。其中，具体得到各节点的路网特征的方式可以参考上述实施例中的描述，在此不再赘述。
(3)判别器
判别器的输入为视觉特征提取模块中得到的车辆外观特征fv和车牌特征fp，以及路网表征学习模块中得到的路网特征fr，输出为两帧图像为同一类别的概率。
为了训练得到高精度的判别器，可以构样本图像对。具体来说，在粗搜阶段，我们可以根据样本图像A的车辆特征和车牌特征，获得top-k相似的k帧样本图像B。然后从k帧样本图像B中确定与样本图像A相似度最高的一个正样本和一个负样本分别与样本像A构成样本图像对，如此，样本图像对中包含了最有可能属于同一轨迹的正样本，又包含了最有可能属于同一轨迹但又并非是同一轨迹的难样本。利用这些样本图像对，可以训练得到一个能够区分两个样本是否属于同一类别的判别器。
针对任一待分类的目标图像，可以利用车辆外观特征fv和车牌特征fp在已分类的图像库中进行初步搜索，为每个目标图像匹配到top-k相似的参考图像，然后将目标图像和top-k相似的参考图像中的每一张参考图像都配对，得到多组图像对，每一图像对(iq，ig)包含目标图像iq和top-k相似的参考图像之一ig。然后可以将每组图像对分别输入至判别器中，得到图像对为同一类别的概率。
判别器的具体实现原理如下：
由于每帧图像由三个维度的特征组成，即
ik＝(fkv，fkp，fkr)，k∈{q，g}
为了将不同维度的特征映射到同一特征空间并对高维特征空间进行降维处理，可以利用映射函数将三种原始特征由原始的高维度映射到低维空间中，比如可以采用以下公式(3)进行映射：
f′kl＝σ(Wl·fkl+bl)，k∈{q，g}，l∈{v，p，r} 公式(3)
其中，Wl和bl分别对应在特征l上要学习的参数(即判别器在训练过程中要学习的参数)，由于不同特征所处的特征空间不同，因此不同特征拥有不同的映射参数，而目标图像iq和参考图像ig的相同特征处于相同的特征空间，因此它们共享相同的映射参数，σ表示Sigmoid函数，该函数可以用公式(4)表示：
Figure BDA0003488769960000261
然后，利用上述低维特征计算目标图像iq和参考图像ig相对应特征之间的相似度矩阵，具体可以采用公式(5)确定相似度矩阵：
Figure BDA0003488769960000262
其中，
Figure BDA0003488769960000263
为张量积，表示两个向量在各个维度上的乘积，其中，f′ql和f′gl分别为64维向量，sl是一个64×64的二维矩阵，表示目标图像iq和参考图像ig在对应特征l上的相似度矩阵，计算方法为：
sl[i，j]＝f′ql，i×f′gl，j
然后将三个维度的特征相似度矩阵拼接起来构造相似度张量，该相似度张量包含了目标图像和参考图像在三个维度的特征上的相似关系，进一步可以通过两个卷积模块将三个维度上的相似关系进行特征融合：
o1＝MaxPooling(ReLU(BN1(Conv1(s)k1))))
o2＝MaxPooling(ReLU(BN2(Conv2(o1，k2))))
o3＝FFN(flatten(o2))
其中，Conv表示卷积操作，BN表示批正则化，ReLU表示线性整流函数，MaxPooling表示最大值池化处理，k1和k2分别表示两个卷积模块的卷积核。经过处理后，可以将原始3×64×64的相似度张量变换为8×11×11的特征张量，然后将该张量进行扁平化得到一个968维度的特征向量，最后利用一个前馈神经网络(feedforward neural network，FFN)进行二分类判别，得到图像对为同一类别的概率。
(4)聚类模块
针对目标图像与top-k相似的参考图像构成的图像对，可以利用上述判别器输出每个图像对是否属于同一类别的概率。然后可以最大概率与预设阈值进行比较，如果最大概率小于预设阈值，则创建一个新的类别，将目标图像划分到该新的类别中，否则就将该图像合并到最大概率对应的参考图像所在的类别中。
对图像进行分类后，可以针对每个类别的图像，基于这些图像的采集时间以及采集地点还原车辆的行驶轨迹，用于后续的应用。
举个例子，在高速稽逃项目中，为了确定目标车辆的行驶轨迹，可以获取全省的门架图片数据，通过上述车辆轨迹还原方法还原目标车辆的行驶轨迹。比如，可以预先设定相似度阈值和返回的top-k数量，经过聚类算法按照降序返回top-k的结果。通过该检索结果去人工核验，找到逃费的车辆的实际行驶轨迹，从而进行后续的稽逃扣费。
本公开实施例通过训练一个判别器来判断一对图像是否属于同一车辆。在训练该判别器的过程中，可以自适应学习不同维度的特征之间的融合关系，保证了其泛化性，使得最终训练的判别器可以精准根据图像对的车辆视觉特征和路网特征判定图像对是否属于同一类别，从而可以提高车辆图像的分类结果，进而可以准确还原车辆轨迹。
相应的，本公开实施例还提供了一种车辆图像分类装置，如图5所示，所述装置50包括：
获取模块51，用于分别获取待分类的目标图像和已分类的参考图像在多个维度的特征；其中，所述多个维度的特征至少包括：车辆视觉特征和路网特征，所述车辆视觉特征用于表征图像中的车辆的视觉特性，所述路网特征用于表征图像中的车辆的时空特性；
融合模块52，用于对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到表征所述目标图像中的车辆和所述参考图像中的车辆相似度大小的融合特征；
判定模块53，用于基于所述融合特征确定所述目标图像与所述参考图像是否为同一类别，其中，同一类别的图像为同一车辆的图像。
其中，上述装置执行车辆分类方法的具体步骤可以参考上述方法实施例中的描述，在此不再赘述。
进一步的，本公开实施例还提供一种电子设备，如图6所示，所述设备包括处理器61、存储器62、存储于所述存储器62可供所述处理器61执行的计算机指令，所述处理器61执行所述计算机指令时实现上述实施例中任一项所述的方法。
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (16)

1.一种车辆图像分类方法，其特征在于，所述方法包括：
分别获取待分类的目标图像和已分类的参考图像在多个维度的特征；其中，所述多个维度的特征至少包括：车辆视觉特征和路网特征，所述车辆视觉特征用于表征图像中的车辆的视觉特性，所述路网特征用于表征图像中的车辆的时空特性；
对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到表征所述目标图像中的车辆和所述参考图像中的车辆相似度大小的融合特征；
基于所述融合特征确定所述目标图像与所述参考图像是否为同一类别，其中，同一类别的图像为同一车辆的图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到表征所述目标图像中的车辆和所述参考图像中的车辆相似度大小的融合特征，包括：
针对所述多个维度的任一维度，基于所述目标图像在该维度的特征和所述参考图像在该维度的特征确定该维度的相似度特征，所述相似度特征用于表征所述目标图像在该维度的特征和所述参考图像在该维度的特征之间的相似度；
对所述多个维度的所述相似度特征进行融合处理，得到所述融合特征。
3.根据权利要求2所述的方法，其特征在于，所述对多个维度的所述相似度特征进行融合处理，得到所述融合特征，包括：
对多个维度的所述相似度特征进行拼接，得到拼接特征；
对所述拼接特征进行特征提取，得到所述融合特征。
4.根据权利要求1所述的方法，其特征在于，所述对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到表征所述目标图像中的车辆和所述参考图像中的车辆相似度大小的融合特征，包括：
对所述目标图像在多个维度的特征进行拼接处理，得到第一特征；
对所述参考图像在多个维度的特征进行拼接处理，得到第二特征；
基于所述第一特征与所述第二特征确定用于表征所述第一特征与所述第二特征的相似度的特征，作为所述融合特征。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到表征所述目标图像中的车辆和所述参考图像中的车辆相似度大小的融合特征之前，还包括：
分别将所述目标图像在多个维度的特征和所述参考图像在多个维度的特征，映射到同一特征空间并进行降维处理；
所述对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到所述融合特征包括：
对降维处理后所述目标图像在多个维度的特征和降维处理后所述参考图像在多个维度的特征进行融合处理，得到所述融合特征。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到表征所述目标图像中的车辆和所述参考图像中的车辆相似度大小的融合特征，以及基于所述融合特征确定所述目标图像与所述参考图像是否为同一类别的步骤通过预先训练的判别器执行。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述判别器基于以下方式训练得到：
获取第一样本图像对和第二样本图像对，所述第一样本图像对和所述第二样本图像对中的两帧图像的车辆视觉特征的相似度均大于预设相似度阈值，所述第一样本图像对的两帧图像中的车辆为同一车辆，所述第二样本图像对的两帧图像中的车辆为不同车辆；
基于所述第一样本图像对和所述第二样本图像对预设的初始模型进行训练，得到所述判别器。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述参考图像基于以下方式确定：
确定所述目标图像的车辆视觉特征与已分类的各帧车辆图像的车辆视觉特征的相似度；
将所述相似度最大的前N帧车辆图像作为所述参考图像，其中，N为正整数。
9.根据权利要求8所述的方法，其特征在于，所述基于所述融合特征确定所述目标图像与所述参考图像是否为同一类别，包括：
针对每一帧参考图像，分别基于所述融合特征确定所述目标图像与所述每一帧参考图像为同一类别的概率；
在所述概率中的最大值大于预设概率的情况下，确定所述目标图像与所述最大值对应的参考图像为同一类别；或者，
在所述概率中的最大值小于所述预设概率的情况下，设置一个新类别，并将所述目标图像划分至所述新类别。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述路网特征基于以下方式确定：
将道路中设有图像采集装置的位置作为节点，将行驶距离小于预设距离和/或行驶时长小于预设时长的两个所述节点之间的连线作为边，构建道路网络图；
基于所述道路网络图确定所述节点的目标表征信息；
将所述目标表征信息作为位于所述节点的图像采集装置采集的图像的路网特征。
11.根据权利要求10所述的方法，其特征在于，基于所述道路网络图确定所述节点的目标表征信息，包括：
通过随机游走的方式在所述道路网络图中采集至少一组轨迹数据，每一组轨迹数据对应一组节点序列；
基于所述至少一组轨迹数据对应的节点序列确定所述道路网络图中的节点的初始表征信息；
针对所述道路网络图中的任一节点，利用所述节点的邻居节点的初始表征信息迭代更新所述节点的初始表征信息，得到所述节点的目标表征信息。
12.根据权利要求11所述的方法，其特征在于，所述通过随机游走的方式从所述道路网络图中确定节点序列，包括：
在随机游走过程中，针对每个当前节点，基于以下方式确定从所述当前节点经过一次随机游走后到达的下一节点：
确定所述当前节点与所述当前节点的各邻居节点的连接权重，所述连接权重用于表征所述当前节点与所述邻居节点之间关联关系的紧密程度；其中，所述连接权重基于当前节点与所述各邻居节点的行驶距离，和/或，所述当前节点与所述各邻居节点的行驶时长确定；
基于所述连接权重确定从所述当前节点游走至所述各邻居节点的概率分布；
基于所述概率分布从所述各邻居节点中确定所述下一节点。
13.一种车辆轨迹的还原方法，其特征在于，所述方法包括：
获取待分类的车辆图像；
利用权利要求1-12任一项所述的方法确定所述车辆图像的类别，其中，每个类别的车辆图像为同一车辆的图像；
针对每个类别的车辆图像，按照采集的先后顺序以及采集所述车辆图像的图像采集装置的位置，还原所述车辆的行驶轨迹。
14.一种车辆图像分类装置，其特征在于，所述装置包括：
获取模块，用于分别获取待分类的目标图像和已分类的参考图像在多个维度的特征；其中，所述多个维度的特征至少包括：车辆视觉特征和路网特征，所述车辆视觉特征用于表征图像中的车辆的视觉特性，所述路网特征用于表征图像中的车辆的时空特性；
融合模块，用于对所述目标图像在多个维度的特征和所述参考图像在多个维度的特征进行融合处理，得到表征所述目标图像中的车辆和所述参考图像中的车辆相似度大小的融合特征；
判定模块，用于基于所述融合特征确定所述目标图像与所述参考图像是否为同一类别，其中，同一类别的图像为同一车辆的图像。
15.一种电子设备，其特征在于，所述设备包括处理器、存储器、存储于所述存储器可供所述处理器执行的计算机指令，所述处理器执行所述计算机指令时实现如权利要求1-13任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令被执行时实现如权利要求1-13任一项所述的方法。
CN202210089891.7A 2022-01-25 2022-01-25 车辆图像分类方法、车辆轨迹还原方法、装置及设备 Withdrawn CN114511740A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210089891.7A CN114511740A (zh) 2022-01-25 2022-01-25 车辆图像分类方法、车辆轨迹还原方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210089891.7A CN114511740A (zh) 2022-01-25 2022-01-25 车辆图像分类方法、车辆轨迹还原方法、装置及设备

Publications (1)

Publication Number Publication Date
CN114511740A true CN114511740A (zh) 2022-05-17

Family

ID=81549362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210089891.7A Withdrawn CN114511740A (zh) 2022-01-25 2022-01-25 车辆图像分类方法、车辆轨迹还原方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114511740A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024000519A1 (zh) * 2022-06-30 2024-01-04 华为技术有限公司 轨迹数据的表征方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024000519A1 (zh) * 2022-06-30 2024-01-04 华为技术有限公司 轨迹数据的表征方法和装置

Similar Documents

Publication Publication Date Title
Luo et al. Multiple object tracking: A literature review
Zou et al. Robust lane detection from continuous driving scenes using deep neural networks
Appathurai et al. An efficient optimal neural network-based moving vehicle detection in traffic video surveillance system
Girisha et al. Uvid-net: Enhanced semantic segmentation of uav aerial videos by embedding temporal information
CN113409361B (zh) 一种多目标跟踪方法、装置、计算机及存储介质
Aradhya Object detection and tracking using deep learning and artificial intelligence for video surveillance applications
EP3690744B1 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
Jain et al. Performance analysis of object detection and tracking algorithms for traffic surveillance applications using neural networks
JP2024513596A (ja) 画像処理方法および装置、ならびにコンピュータ可読ストレージ媒体
CN104268546A (zh) 一种基于主题模型的动态场景分类方法
CN111259919A (zh) 一种视频分类方法、装置及设备、存储介质
US20230095533A1 (en) Enriched and discriminative convolutional neural network features for pedestrian re-identification and trajectory modeling
CN112990282A (zh) 一种细粒度小样本图像的分类方法及装置
CN114037056A (zh) 一种生成神经网络的方法、装置、计算机设备和存储介质
CN113807457B (zh) 确定路网表征信息的方法、装置、设备及存储介质
CN115457288A (zh) 基于鸟瞰视角的多目标跟踪方法、装置、存储介质及设备
Seidel et al. NAPC: A neural algorithm for automated passenger counting in public transport on a privacy-friendly dataset
CN114937248A (zh) 用于跨相机的车辆跟踪方法、装置、电子设备、存储介质
Ding et al. Mit-avt clustered driving scene dataset: Evaluating perception systems in real-world naturalistic driving scenarios
CN114511740A (zh) 车辆图像分类方法、车辆轨迹还原方法、装置及设备
CN114255450A (zh) 一种基于前向全景图像的近场车辆加塞行为预测方法
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN117636626A (zh) 强化道路周边空间特征的异质图交通预测方法及系统
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
Kumar et al. Traffic density estimation using progressive neural architecture search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220517