CN112949751B - 车辆图像聚类及轨迹还原方法 - Google Patents

车辆图像聚类及轨迹还原方法 Download PDF

Info

Publication number
CN112949751B
CN112949751B CN202110321047.8A CN202110321047A CN112949751B CN 112949751 B CN112949751 B CN 112949751B CN 202110321047 A CN202110321047 A CN 202110321047A CN 112949751 B CN112949751 B CN 112949751B
Authority
CN
China
Prior art keywords
image
processed
similarity
information
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110321047.8A
Other languages
English (en)
Other versions
CN112949751A (zh
Inventor
谈正
何智群
朱铖恺
武伟
闫俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202110321047.8A priority Critical patent/CN112949751B/zh
Publication of CN112949751A publication Critical patent/CN112949751A/zh
Priority to PCT/CN2021/102272 priority patent/WO2022198817A1/zh
Application granted granted Critical
Publication of CN112949751B publication Critical patent/CN112949751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及计算机技术领域，具体提供了一种车辆图像聚类及轨迹还原方法。车辆图像聚类方法，包括：由包含目标车辆的待处理图像中提取所述目标车辆的车辆信息和车牌信息；基于所述车辆信息和所述车牌信息，确定候选图像集；基于所述候选图像集中每一候选图像与所述待处理图像的相似度，对所述待处理图像进行聚类处理，得到所述待处理图像的聚类结果。本公开方法提高车辆图像的聚类精度和效率。

Description

车辆图像聚类及轨迹还原方法
技术领域
本公开涉及计算机技术领域，具体涉及一种车辆图像聚类及轨迹还原方法及装置。
背景技术
车辆轨迹还原技术可用于获得车辆在城市中运行的轨迹，从而可以对交通数据进行感知和分析，常见的应用可例如高速车辆稽逃、车辆行驶行为分析等。相关技术中，车辆轨迹还原系统往往需要首先对目标车辆的车辆图像进行聚类处理，但是相关技术中的聚类处理的精度和效率较低，难以满足使用需求。
发明内容
为提高车辆图像聚类处理的精度和效率，本公开实施方式提供了一种车辆图像聚类方法、车辆轨迹还原方法、装置、电子设备以及存储介质。
第一方面，本公开实施方式提供了一种车辆图像聚类方法，包括：
由包含目标车辆的待处理图像中提取所述目标车辆的车辆信息和车牌信息；
基于所述车辆信息和所述车牌信息，确定候选图像集；
基于所述候选图像集中每一候选图像与所述待处理图像的相似度，对所述待处理图像进行聚类处理，得到所述待处理图像的聚类结果。
在一些实施方式中，所述基于所述车辆信息和所述车牌信息，确定候选图像集，包括：
根据所述车辆信息，确定第一预设数量的第一图像集合；
根据所述车牌信息，确定第二预设数量的第二图像集合；
根据所述第一图像集合和所述第二图像集合，得到所述候选图像集。
在一些实施方式中，所述基于所述车辆信息和所述车牌信息，确定包括预设数量候选图像的候选图像集，包括：
基于所述车辆信息和所述车牌信息，由预先建立的数据库中确定所述候选图像集。
在一些实施方式中，所述基于所述候选图像集中每一候选图像与所述待处理图像的相似度，对所述待处理图像进行聚类处理，包括：
获取所述待处理图像与所述候选图像集中每一候选图像的时空信息；
由所述候选图像集中，确定与所述待处理图像的时空信息满足预设阈值条件的目标候选图像集；
基于所述目标候选图像集中每一候选图像与所述待处理图像的相似度，对所述待处理图像进行聚类处理。
在一些实施方式中，所述基于所述候选图像集中每一候选图像与所述待处理图像的相似度，对所述待处理图像进行聚类处理，包括：
基于所述车辆信息和所述车牌信息，确定所述候选图像集中候选图像与所述待处理图像的相似度集合；
响应于所述相似度集合中最大相似度不小于预设相似度阈值，将所述待处理图像聚类至所述最大相似度对应的候选图像所属的类别；
和/或，
响应于所述相似度集合中最大相似度小于预设相似度阈值，将所述待处理图像聚类至新增的类别。
在一些实施方式中，所述基于所述车辆信息和所述车牌信息，确定所述候选图像集中候选图像与所述待处理图像的相似度集合，包括：
确定所述候选图像集中每一候选图像所在聚类结果的聚类中心；
基于所述待处理图像与所述聚类中心的第一相似度，确定每一所述候选图像与所述待处理图像的相似度；
基于候选图像集中每一所述候选图像与所述待处理图像的相似度，得到所述相似度集合。
在一些实施方式中，所述车牌信息包括车牌文字信息；所述基于所述车辆信息和所述车牌信息，确定所述候选图像集中候选图像与所述待处理图像的相似度集合，包括：
确定所述候选图像集中每一候选图像所在聚类结果的聚类中心；
基于所述待处理图像和每一所述候选图像的聚类中心，得到所述待处理图像与每一所述候选图像的聚类中心的第一相似度；
基于所述待处理图像和每一所述候选图像的车牌文字信息，得到所述待处理图像与每一所述候选图像的第二相似度；
基于所述第一相似度和所述第二相似度，确定每一所述候选图像与所述待处理图像的相似度。
在一些实施方式中，所述由包含目标车辆的待处理图像中提取所述目标车辆的车辆信息和车牌信息，包括：
由包含目标车辆的待处理图像中提取所述目标车辆的ReID特征信息；和，
由包含目标车辆的待处理图像中提取所述目标车辆的车牌特征信息和车牌文字信息。
在一些实施方式中，基于所述候选图像集中每一候选图像与所述待处理图像的相似度，对所述待处理图像进行聚类处理，得到所述待处理图像的聚类结果之后，还包括：
将所述待处理图像，以及所述待处理图像中所述目标车辆的所述车辆信息和所述车牌信息，存储于数据库中。
在一些实施方式中，基于所述候选图像集中每一候选图像与所述待处理图像的相似度，对所述待处理图像进行聚类处理，得到所述待处理图像的聚类结果之后，还包括：
将所述待处理图像、所述待处理图像中所述目标车辆的所述车辆信息和所述车牌信息以及所述待处理图像的时空信息，存储于数据库中。
第二方面，本公开实施方式提供了一种车辆轨迹还原方法，包括：
根据包含目标车辆的待处理图像的聚类结果确定所述目标车辆的轨迹；所述聚类结果是根据第一方面中任一实施方式所述的车辆图像聚类方法得到。
在一些实施方式中，根据包含目标车辆的待处理图像的聚类结果确定所述目标车辆的轨迹，包括：
获取所述聚类结果中包括的目标图像；
基于所述目标图像以及对应的时空信息确定所述目标车辆的轨迹。
第三方面，本公开实施方式提供了一种车辆图像聚类装置，包括：
提取模块，被配置为由包含目标车辆的待处理图像中提取所述目标车辆的车辆信息和车牌信息；
确定模块，被配置为基于所述车辆信息和所述车牌信息，确定候选图像集；
聚类处理模块，被配置为基于所述候选图像集中每一候选图像与所述待处理图像的相似度，对所述待处理图像进行聚类处理，得到所述待处理图像的聚类结果。
在一些实施方式中，所述确定模块具体被配置为：
根据所述车辆信息，确定第一预设数量的第一图像集合；
根据所述车牌信息，确定第二预设数量的第二图像集合；
根据所述第一图像集合和所述第二图像集合，得到所述候选图像集。
在一些实施方式中，所述确定模块具体被配置为：
基于所述车辆信息和所述车牌信息，由预先建立的数据库中确定所述候选图像集。
在一些实施方式中，所述聚类处理模块具体被配置为：
获取所述待处理图像与所述候选图像集中每一候选图像的时空信息；
由所述候选图像集中，确定与所述待处理图像的时空信息满足预设阈值条件的目标候选图像集；
基于所述目标候选图像集中每一候选图像与所述待处理图像的相似度，对所述待处理图像进行聚类处理。
在一些实施方式中，所述聚类处理模块具体被配置为：
基于所述车辆信息和所述车牌信息，确定所述候选图像集中候选图像与所述待处理图像的相似度集合；
响应于所述相似度集合中最大相似度不小于预设相似度阈值，将所述待处理图像聚类至所述最大相似度对应的候选图像所属的类别；
和/或，
响应于所述相似度集合中最大相似度小于预设相似度阈值，将所述待处理图像聚类至新增的类别。
在一些实施方式中，所述聚类处理模块具体被配置为：
确定所述候选图像集中每一候选图像所在聚类结果的聚类中心；
基于所述待处理图像与所述聚类中心的第一相似度，确定每一所述候选图像与所述待处理图像的相似度；
基于候选图像集中每一所述候选图像与所述待处理图像的相似度，得到所述相似度集合。
在一些实施方式中，所述车牌信息包括车牌文字信息，所述聚类处理模块具体被配置为：
确定所述候选图像集中每一候选图像所在聚类结果的聚类中心；
基于所述待处理图像和每一所述候选图像的聚类中心，得到所述待处理图像与每一所述候选图像的聚类中心的第一相似度；
基于所述待处理图像和每一所述候选图像的车牌文字信息，得到所述待处理图像与每一所述候选图像的第二相似度；
基于所述第一相似度和所述第二相似度，确定每一所述候选图像与所述待处理图像的相似度。
在一些实施方式中，所述提取模块具体被配置为：
由包含目标车辆的待处理图像中提取所述目标车辆的ReID特征信息；和，
由包含目标车辆的待处理图像中提取所述目标车辆的车牌特征信息和车牌文字信息。
在一些实施方式中，所述装置还包括存储模块，所述存储模块被配置为：
将所述待处理图像，以及所述待处理图像中所述目标车辆的所述车辆信息和所述车牌信息，存储于数据库中。
在一些实施方式中，所述装置还包括存储模块，所述存储模块被配置为：
将所述待处理图像、所述待处理图像中所述目标车辆的所述车辆信息和所述车牌信息以及所述待处理图像的时空信息，存储于数据库中。
第四方面，本公开实施方式提供了一种车辆轨迹还原装置，包括：
轨迹还原模块，被配置为根据包含目标车辆的待处理图像的聚类结果确定所述目标车辆的轨迹；所述聚类结果是根据第一方面中任一实施方式所述的车辆图像聚类方法得到。
在一些实施方式中，所述轨迹还原模块具体被配置为：
获取所述聚类结果中包括的目标图像；
基于所述目标图像以及对应的时空信息确定所述目标车辆的轨迹。
第五方面，本公开实施方式提供了一种电子设备，包括：
处理器；和
存储器，存储有计算机指令，所述计算机指令用于使处理器执行根据第一方面或者第二方面中任一实施方式所述的方法。
第六方面，本公开实施方式提供了一种存储介质，存储有计算机指令，所述计算机指令用于使计算机执行根据第一方面或者第二方面中任一实施方式所述的方法。
本公开实施方式的车辆图像聚类方法，包括由包含目标车辆的待处理图像中提取目标车辆的车辆信息和车牌信息，基于车辆信息和车牌信息确定包括预设数量候选图像的候选图像集，基于候选图像集中每一候选图像与待处理图像的相似度对待处理图像进行聚类处理，得到待处理图像的聚类结果。本公开方法通过车辆信息和车牌信息对目标车辆进行聚类匹配，提高对图像聚类处理的精度。并且通过确定候选图像集合，对候选图像集合中的候选图像进行相似度比对，提高聚类处理的搜索效率。
附图说明
为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开一些实施方式中车辆图像聚类方法的流程图。
图2是根据本公开一些实施方式中车辆图像聚类方法的流程图。
图3是根据本公开一些实施方式中车辆图像聚类方法的流程图。
图4是根据本公开一些实施方式中车辆图像聚类方法的流程图。
图5是根据本公开一些实施方式中车辆图像聚类方法的流程图。
图6是根据本公开一些实施方式中车辆图像聚类方法的系统结构框图。
图7是根据本公开一个具体实施方式中车辆图像聚类方法的流程图。
图8是根据本公开一些实施方式中车辆图像聚类装置的结构框图。
图9是适于实现本公开方法的计算机系统结构框图。
具体实施方式
下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
车辆轨迹还原技术是实现智慧交通、提高城市运行效率的重要课题之一，车辆轨迹还原可用于获得车辆在城市中运行的轨迹，从而可以对交通数据进行感知和分析，常见的应用可例如高速车辆稽逃、车辆行驶行为分析等。
车辆轨迹还原需要对目标车辆的抓拍图像进行聚类处理，利用图像中的车牌文字信息对目标车辆进行单摄像头追踪或者跨摄像头匹配，从而实现轨迹还原。但是，车牌文字信息往往存在容易混淆的字符，例如“8”和“B”，“1”和“7”等，因此仅用车牌文字信息这种较为单一的特征并不能达到良好的精度，导致图像聚类的精度较差。并且，相关技术中聚类处理需要对整个数据库的图像进行搜索计算，聚类处理的效率较低。
基于上述相关技术中存在的缺陷，本公开实施方式提供了一种车辆图像聚类方法、车辆轨迹还原方法、装置、电子设备以及存储介质，以提高对目标车辆聚类处理和轨迹还原的精度和效率。
第一方面，本公开实施方式提供了一种车辆图像聚类方法，该方法可应用至任何适于实现的系统设备中，例如用户终端设备、车载终端设备、服务器或者其他处理设备。图1示出了本公开车辆图像聚类方法的一些实施方式，下面结合图1进行详细说明。
如图1所示，在一些实施方式中，本公开车辆图像聚类方法包括：
S110、由包含目标车辆的待处理图像中提取目标车辆的车辆信息和车牌信息。
具体而言，待处理图像指包含目标车辆的图像，旨在通过本公开方法对待处理图像中的目标车辆实现聚类处理。
在一个示例中，待处理图像可以是由设置在道路上的图像采集设备采集的图像，例如由高速路上的摄像头抓拍的包含目标车辆的图像。可以理解，待处理图像可以是图像采集设备采集的单帧图像，也可以是图像采集设备采集的视频流中的帧图像，本公开对此不作限制。
本公开实施方式中，车辆信息可指目标车辆的车辆特征，例如包括车辆ReID(Re-identification，重识别)特征信息。车牌信息可指目标车辆的车牌特征，例如包括车牌特征信息和车牌文字信息等。
在一个示例中，可通过神经网络提取目标车辆的车辆信息和车牌信息，神经网络例如可以包括CNN(Convolutional Neural Networks，卷积神经网络)、RCNN(Region-CNN，区域卷积神经网络)、Fast RCNN等目标检测网络的一种或多种组合，从而提取车辆特征信息和车牌特征信息。神经网络例如还可以包括CTPN(Connectionist Text ProposalNetwork，文字检测网络)、TextCNN(文本卷积网络)、TextRNN(文本循环卷积网络)等文本检测网络的一种或多种组合，从而提取车牌文字信息。
S120、基于车辆信息和车牌信息，确定候选图像集。
具体而言，在提取得到目标车辆的车辆信息和车牌信息之后，即可结合车辆信息和车牌信息，由预先建立的数据库中对目标车辆进行聚类处理。
在本公开实施方式中，为了提高聚类处理的搜索效率，并非基于目标车辆的车辆信息和车牌信息直接由数据库中得到聚类结果，而是首先由数据库中得到包括预设数量候选图像的候选图像集，然后在候选图像集中确定目标车辆的聚类结果。从而可以通过粗搜结合精搜的搜索过程，减少聚类处理的计算量，提高聚类处理的效率。
在一个示例中，可利用待处理图像的车辆信息以及车牌信息，在预先建立的数据库中对目标车辆进行相似度匹配，从而得到相似度排序前预设数量的图像作为候选图像集。
可以理解，数据库中存储有目标区域内的所有图像采集设备采集的车辆图像，根据待处理图像以及数据库中图像的车辆信息和车牌信息，得到待处理图像与数据库中各候选图像的相似度。本公开下述实施方式中对确定候选图像集的过程进行具体说明，在此暂不详述。
S130、基于候选图像集中每一候选图像与待处理图像的相似度，对待处理图像进行聚类处理，得到待处理图像的聚类结果。
在由数据库得到候选图像集之后，即可根据待处理图像和候选图像集中的候选图像进行相似度计算，得到聚类结果。
候选图像集中包括多个候选图像以及每个候选图像对应的聚类类别，同一聚类类别中所包含的图像，表示同一辆车的图像，也即目标车辆在不同图像采集设备或者不同采集时间下的图像。
本一个示例中，可基于车辆信息和车牌信息对待处理图像和候选图像进行相似度处理，从而得到待处理图像与各候选图像之间的相似度，基于待处理图像与各候选图像之间的相似度进行聚类处理，从而即可得到待处理图像的聚类结果。
本公开实施方式中，聚类处理的具体过程，在下述实施方式中进行详细说明，在此暂不详述。
可以理解，在本公开实施方式中，并非仅根据车牌文字信息对目标车辆进行聚类处理，而是考虑车辆的多模态信息，例如基于车辆信息和车牌信息结合对待处理图像进行聚类，有利于消除车牌文字带来的混淆误差，提高聚类时的搜索精度，进而提高后续的轨迹还原的准确性。
通过上述可知，本公开实施方式的车辆图像聚类方法，基于车辆信息和车牌信息对待处理图像进行聚类处理，有利于消除车牌文字带来的混淆误差，提高聚类处理的搜索精度。并且，通过粗搜结合精搜的搜索方式，首先通过车辆信息和车牌信息粗搜，确定预设数量候选图像的候选图像集合，然后利用精搜对候选图像集合中的候选图像进行相似度比对，从而可以通过粗搜结合精搜的搜索过程，减少聚类处理的计算量，提高聚类处理的效率。
重识别(ReID，Re-identification)也称为再识别，是指利用计算机视觉技术判断图像或者视频序列中是否存在特定目标。ReID的一个重要特性就是跨摄像头识别，十分利用实现跨摄像头的车辆轨迹还原。
在一些实施方式中，本公开实施方式所述的车辆信息包括ReID特征信息，其可表征车辆的外观特征。车牌信息包括目标车辆的车牌特征信息和车牌文字信息，车牌特征信息表征车辆的车牌外观特征，车牌文字信息表征车辆的车牌号。
图2中示出了本公开一些实施方式中对待处理图像实现聚类处理的过程，下面结合图2进行说明。
如图2所示，在一些实施方式中，本公开车辆图像聚类方法包括：
S210、根据车辆信息确定第一预设数量的第一图像集合。
S220、根据车牌信息确定第二预设数量的第二图像集合。
S230、根据第一图像集合和第二图像集合，得到候选图像集。
在本公开实施方式中，可首先通过粗搜模块由数据库中得到包括预设数量候选图像的候选图像集，然后利用精搜模块在候选图像集中确定目标车辆的聚类结果。
具体来说，可基于目标车辆的车辆信息与数据库中各图像的车辆信息的相似度，进行相似度由高到低排序，选取前M张相似度较高的图像作为第一图像集合。同理，基于目标车辆的车牌信息与数据库中各图像的车牌信息的相似度，进行相似度由高到低排序，选取前N张相似度较高的图像作为第二图像集合。M与N可以相同，也可以不同，本公开对此不作限制。
在一个示例中，车辆信息包括ReID特性信息，车牌信息包括车牌特征信息。基于ReID特征信息由数据库中确定出64张图像作为第一图像集合，同时基于车牌特征信息由数据库中确定出64张图像作为第二图像集合。
在一个示例中，粗搜模块被配置为Faiss索引模块，Faiss索引是基于向量的相似性搜索技术，其可实现在海量数据中快速搜索出相似的数据。
结合上述可知，第一图像集合表示数据库中与目标车辆的车辆信息最为相似的图像集合，第二图像集合表示数据库中与目标车辆的车牌信息最为相似的图像集合。在得到第一图像集合和第二图像集合之后，可对第一图像集合和第二图像集合取并集，得到粗搜模块输出的候选图像集。
仍以前述示例进行说明，第一图像集合包括64张与目标车辆的车辆信息最为相似的图像集合，第二图像集合包括64张与目标车辆的车牌信息最为相似的图像集合。第一图像集合和第二图像集合取并集之后，得到最大包括128张候选图像的候选图像集。
在得到候选图像集之后，精搜模块即可根据候选图像集中各候选图像对待处理图像进行聚类处理，图3中示出了本公开一些实施方式的方法中进行聚类处理的具体过程。
如图3所示，在一些实施方式中，本公开车辆图像聚类方法包括：
S310、基于车辆信息和车牌信息，确定候选图像集中候选图像与待处理图像的相似度集合。
S320、响应于相似度集合中最大相似度不小于预设相似度阈值，将所述待处理图像聚类至最大相似度对应的候选图像所属的类别。
S330、响应于相似度集合中最大相似度小于预设相似度阈值，将待处理图像聚类至新增的类别。
具体来说，在一些实施方式中，可首先基于车辆信息和车牌信息，计算得到候选图像集中每个候选图像与待处理图像的相似度，从而得到相似度集合。
在一个示例中，基于ReID特征信息、车牌特征信息以及车牌文字信息联合计算，确定每个候选图像与待处理图像的联合相似度，得到相似度集合。具体计算过程在下文实施方式中进行说明，在此暂不详述。
可以理解，相似度集合中的每个元素表示该候选图像与待处理图像的联合相似度，相似度的最大值表示该候选图像与待处理图像联合相似度最高，也即表示两者最有可能属于同一车辆的图像。
因此，在一些实施方式中，可将相似度集合中的最大相似度与预设相似度阈值进行比较。预设相似度阈值表示确定目标车辆与候选图像中包含车辆为同一车辆的门限值，该预设相似度阈值可以根据有限次实验预先确定，也可以由神经网络训练得到，或者基于历史数据动态调整，本公开对此不作限制。
响应于相似度集合中最大相似度不小于预设相似度阈值，将待处理图像聚类至最大相似度对应的候选图像所属的类别。
在一个示例中，若相似度集合中的最大相似度不小于预设相似度阈值，表示最大相似度对应的候选图像与待处理图像为同一车辆的图像，也即两者均为目标车辆的图像，即可确定两者属于同一类别，将待处理图像聚类至该类别。
响应于相似度集合中最大相似度小于预设相似度阈值，将待处理图像聚类至为新增的类别。
在一个示例中，若相似度集合中的最大相似度小于预设相似度阈值，表示最大相似度对应的候选图像与待处理图像不属于同一车辆的图像，候选图像集中其他图像则更不可能与待处理图像属于同一车辆的图像，因此可以确定待处理图像中的目标车辆为新出现的车辆，则为待处理图像创建为新类别。
通过上述可知，本公开实施方式的车辆图像聚类方法，在对待处理图像进行聚类处理时，首先通过粗搜确定候选图像集合，然后利用精搜得到聚类结果，相较于全库海量数据的联合搜索，大大提高了搜索速度，提高聚类处理效率。并且利用车辆信息和车牌信息的联合聚类处理，提高聚类精度，进而利于提高后续目标车辆的轨迹还原准确性。
在一些实施方式中，本公开实施方式的多模态的车辆轨迹还原方法，还结合了车辆的时空信息，进一步提高聚类处理和轨迹还原的准确性。
可以理解，对于车辆跨摄像头的轨迹还原，时空信息可以起到很好的辅助作用。举例来说，待处理图像为T1时间由位于A位置的图像采集设备a采集得到，候选图像集中某个候选图像为T0时间由位于B位置的图像采集设备采集b得到，若A和B两点之间的距离LAB与(T1-T0)的比值远远大于理论车速，则待处理图像与该候选图像应当不属于同一车辆的图像。基于此原理，在一些实施方式中，本公开车辆轨迹还原方法进一步结合时空信息进行联合聚类处理。
如图4所示，在一些实施方式中，本公开车辆轨迹还原方法包括：
S410、获取待处理图像与候选图像集中每一候选图像的时空信息。
具体而言，时空信息包括图像采集位置和图像采集时间。
在一个示例中，图像采集设备在采集图像时，可以对图像信息添加时间戳，表示该图像的图像采集时间。
在一个示例中，图像采集设备在采集图像时，可以对图像信息添加设备唯一识别码，通过设备唯一识别码确定该图像采集设备的位置坐标，也即该图像对应的图像采集位置。当然，本领域技术人员可以理解，图像采集设备也可以在采集图像时，直接对图像信息添加位置坐标，本公开对此不作限制。
图像采集设备采集的图像均包括该图像的时空信息，从而本公开所述的数据库中的图像和待处理图像同样包括有时空信息。
S420、由候选图像集中，确定与待处理图像的时空信息满足预设阈值条件的目标候选图像集。
具体而言，参见前述图2实施方式确定得到候选图像集，在此不再赘述。
在本实施方式，并非直接基于候选图像集对待处理图像进行聚类处理，而是首先基于时空信息，由候选图像集中确定目标候选图像集。
在一些实施方式中，预设阈值条件可以为：目标车速小于预设速度阈值。目标车速表示基于时空信息计算得到的车速，预设速度阈值可表示根据实际情况预先设置的理论车速。以城区交通场景为例，基于该城区区域的车流量及道路限速情况，可确定符合实际情况的预设速度阈值。
在一个示例中，以待处理图像与候选图像集中某一个候选图像的计算过程为例。假设待处理图像时空信息为[T1，L1]，该候选图像的时空信息为[T2，L2]，其中，T表示图像采集时间，L表示图像采集位置。目标车速V即可表示为：
Figure BDA0002992851110000141
在计算得到目标车速V之后，可将目标车速V与预设速度阈值进行比较。
在一个示例中，若目标车速V大于预设速度阈值，表示车辆由L2位置移动至L1位置已经超出理论可能，因此待处理图像与该候选图像不可能是同一车辆的图像，两者也就不属于同一类别。
在另一个示例中，若目标车速V不大于预设速度阈值，表示车辆由L2位置移动至L1位置存在可能，因此该候选图像有可能与待处理图像是同一车辆的图像，该候选图像可以作为目标候选图像。
上述以候选图像集中的一张候选图像作为示例进行说明，其他候选图像与之同理，通过上述过程即可由候选图像集中筛选出至少一张目标候选图像，由这些目标候选图像组成目标候选图像集。
可以理解，假设候选图像集包括128张图像，目标候选图像集则小于或等于128张图像。也即，目标候选图像集的元素数量小于或等于候选图像集。
S430、基于目标候选图像集中每一候选图像与待处理图像的相似度，对待处理图像进行聚类处理。
具体而言，步骤S430与前述步骤S130类似，区别在于目标候选图像集包括的图像数量小于或等于候选图像集。也即，在本实施方式中，通过结合时空信息对候选图像集进行筛选，从而进一步减少精搜模块的运算量，提高搜索效率。
通过上述可知，本公开实施方式的车辆图像聚类方法，在车辆信息和车牌信息的基础上，进一步结合时空信息，采用包括车辆信息、车牌信息以及时空信息等多模态的车辆轨迹还原，提高聚类处理的精度，进而利于提高后续车辆轨迹还原的准确性。并且，利用时空信息由候选图像集中确定目标候选图像集，减少精搜处理时的运算量，提高搜索速度和聚类处理效率。
在一些实施方式中，在基于候选图像集，确定各个候选图像与待处理图像的相似度集合时，可参照图5实施方式所示。
如图5所示，在一些实施方式中，本公开车辆图像聚类方法包括：
S510、确定候选图像集中每一候选图像所在聚类结果的聚类中心。
具体来说，候选图像为粗搜模块由数据库中得到的图像，每个候选图像对应有各自的聚类类别，也即聚类结果。对于数据库中的每个聚类结果，可以通过对该聚类结果中所有图片的特征计算平均值，得到该聚类结果对应的聚类中心。
S520、基于所述待处理图像与所述聚类中心的第一相似度，确定每一所述候选图像与所述待处理图像的相似度。
具体来说，在一些实施方式中，车辆信息包括车辆ReID特征信息，车牌信息包括车牌特征信息和车牌文字信息。
在一个示例中，定义待处理图像的ReID特征信息是
Figure BDA0002992851110000151
车牌特征信息是/>
Figure BDA0002992851110000152
某一候选图像的ReID特征信息是/>
Figure BDA0002992851110000153
车牌特征信息是/>
Figure BDA0002992851110000154
可以理解，候选图像的ReID特征信息是/>
Figure BDA0002992851110000155
和车牌特征信息是/>
Figure BDA0002992851110000156
表示该候选图像对应的聚类结果的聚类中心，也即该聚类结果中所有图像的平均ReID特征信息和平均车牌特征信息。
第一相似度即可表示为待处理图像和候选图像的ReID特征信息与车牌特征信息作内积后的平均值，也即
Figure BDA0002992851110000157
在确定待处理图像与各个候选图像的聚类中心的第一相似度之后，在一些实施方式中，可以将第一相似度确定为待处理图像与候选图像的相似度。
在另一些实施方式中，可以在第一相似度的基础上，进一步结合车牌文字信息，确定待处理图像与各个候选图像的联合相似度，将联合相似度确定为待处理图像与候选图像的相似度，从而进一步提高聚类精度。下面对本实施方式进行具体说明。
在确定待处理图像与各个候选图像的聚类中心的第一相似度之后，同时可基于两个图像的车牌文字信息确定得到两张图像的车牌文字编辑距离是x，根据车牌文字编辑距离x确定得到两张图像的第二相似度，第二相似度表示为Threshold(x)。
在确定第一相似度和第二相似度之后，待处理图像与该候选图像的相似度表示为：
Figure BDA0002992851110000161
依次通过上式即可计算得到每个候选图像与待处理图像的相似度。
S530、基于候选图像集中每一候选图像与待处理图像的相似度，得到相似度集合。
具体来说，在确定候选图像集中每个候选图像与待处理图像的相似度之后，即可将所有相似度作为集合，得到相似度集合。也即，相似度集合中的每个元素，表示该候选图像与待处理图像的联合相似度。
通过上述可知，本公开实施方式的车辆图像聚类方法，在计算待处理图像与候选图像相似度时，充分结合了ReID特征信息、车牌特征信息以及车牌文字信息，利用多模态的特性信息提高聚类精度，进而例如提高后续车辆轨迹还原的准确性。
图6示出了用来实现本公开车辆轨迹还原方法的系统结构的一些实施方式，下面结合图6对本公开方案进一步说明。
如图6所示，在一些实施方式中，本公开系统包括特征提取单元10、粗搜单元20、数据库单元30以及精搜单元40。
特征提取单元10用来提取待处理图像的车辆信息以及车牌信息。例如图6示例，特征提取单元10的输入为待处理图像，提取得到待处理图像的目标车辆的ReID特征信息、车牌特征信息以及车牌文字信息。
在一些实施方式中，特征提取单元10被配置为神经网络，例如其包括例如CNN、RCNN、Fast RCNN等提取ReID特征信息和车牌特征信息，还包括例如CTPN、TextCNN、TextRNN等提取车牌文字信息。
继续参照图6，在本示例中，粗搜单元20被配置为Faiss索引单元，其包括两个粗搜子单元，也即第一粗搜子单元和第二粗搜子单元。可以理解，Faiss索引是基于向量的搜索技术，在本实施方式中，ReID特征信息和车牌特征信息为向量格式的特征，而车牌文字信息为字符串格式的特征信息，因此设置两个粗搜子单元，分别基于ReID特征信息和车牌特征信息进行Faiss索引。
本领域技术人员可以理解，粗搜单元20并不局限于Faiss索引单元，并且粗搜单元20包括的粗搜子单元数据可以根据具体实现场景相应设置，图6仅作为一种示例性的实施，事实上本公开对此不作限制。
第一粗搜子单元根据ReID特征信息，由数据库单元30中获取第一图像集合。第二粗搜子单元根据车牌特征信息，由数据块单元30中获取第二图像集合。第一图像集合和第二图像集合取并集之后输出至精搜单元40。
精搜单元40的输入包括粗搜单元20输出的候选图像集合特征提取单元10输出的车牌文字信息，精搜单元40基于ReID特征信息、车牌特征信息以及车牌文字信息进行如上所述的联合搜索，得到待处理图像的聚类结果进行输出。
同时，精搜单元40的输出结果还存储于数据库单元30中，每次聚类处理后，数据库单元30存储当次处理的待处理图像以及待处理图像对应的ReID特征信息、车牌特征信息、车牌文字信息、时空信息、聚类结果。也即随着待处理图像的不断输入，数据库中存储的数据也不断更新，以供后续聚类处理使用。
在得到聚类结果之后，即可通过下述方法实现对目标车辆的轨迹还原，得到目标车辆的行车轨迹，在此暂不详述。
在图6系统结构的基础上，图7中示出了本公开车辆轨迹还原方法的一个具体实施方式，下面结合图6和图7进行说明。
如图7所示，本实施方式中，车辆轨迹还原方法包括：
S701、由包含目标车辆的待处理图像中提取目标车辆的ReID特征信息、车牌特征信息以及车牌文字信息。
以城区车辆轨迹还原为例，城区道路路口往往均设置有摄像头，当车辆通过路口时，即可通过摄像头采集到各个车辆的图像。在一个示例中，当目标车辆通过某个路口时，该路口的摄像头抓拍到目标车辆的图像，以该图像作为待处理图像进行下述说明。
将待处理图像输入特征提取单元10，通过特征提取单元10提取得到目标车辆的ReID特征信息、车牌特征信息以及车牌文字信息。
S702、根据ReID特征信息由数据库中确定第一预设数量的第一图像集合，根据车牌特征信息由数据库中确定第二预设数量的第二图像集合，根据第一图像集合和第二图像集合得到候选图像集。
在一个示例中，参见图6所示，粗搜单元20的第一粗搜子模块用于根据ReID特征信息由数据库单元30中确定出前64张相似度最高的图像，作为第一图像集合。粗搜单元20的第二粗搜子模块用于根据车牌特征信息由数据库单元30中确定出前64张相似度最高的图像，作为第二图像集合。然后将第一图像集合与第二图像集合取并集得到包括最多128张图像的候选图像集。
S703、由候选图像集中，确定与待处理图像的时空信息满足预设阈值条件的目标候选图像集。
在本实施方式中，与前述实施相同，预设阈值条件可以设置为：目标车速小于预设速度阈值。从而根据待处理图像和候选图像集中各个图像的时空信息，将候选图像集合中符合预设阈值条件的图像确定为目标候选图像集。具体过程参见前述图4实施方式即可，在此不再赘述。
在一个示例中，候选图像集中包括120张图像，在利用时空信息处理之后，确定的目标候选图像集中包括80张图像，将目标候选图像集输入至后续的精搜单元40。
S704、基于ReID特征信息、车牌特征信息以及车牌文字信息，确定目标候选图像集中候选图像与待处理图像的相似度集合。
在本实施方式中，精搜单元40根据多模态的特征信息，确定目标候选图像集中候选图像与待处理图像的相似度集合。本步骤的具体过程参照前述图5实施方式即可，本公开对此不再赘述。
S705、响应于相似度集合中最大相似度不小于预设相似度阈值，将待处理图像聚类至最大相似度对应的候选图像所属的类别；响应于相似度集合中最大相似度小于预设相似度阈值，将待处理图像聚类至新增的类别。
具体而言，参见前述图3实施方式即可，本公开对此不再赘述。
S706、将待处理图像以及待处理图像的ReID特征信息、车牌特征信息、车牌文字信息、时空信息、聚类结果存储于数据库。
将本次处理的待处理图像，以及其对应的全部特征参数和聚类结果存储于数据库单元30中，以供后续聚类处理过程中使用。
通过上述可知，本公开实施方式的车辆图像聚类方法，基于ReID特征信息、车牌特征信息、车牌文字信息以及时空信息等多模态信息对待处理图像进行聚类处理，有利于消除车牌文字带来的混淆误差，提高聚类处理的搜索精度，进而提高对目标车辆轨迹还原的准确性。并且，在对待处理图像进行聚类处理时，首先通过粗搜确定候选图像集合，然后利用精搜得到聚类结果，相较于全库海量数据的联合搜索，大大提高了搜索速度，提高聚类处理效率。
第二方面，本公开实施方式提供了一种车辆轨迹还原方法，该该方法可应用至任何适于实现的系统设备中，例如用户终端设备、车载终端设备、服务器或者其他处理设备。
本公开实施方式的车辆轨迹还原方法，可基于上述任一实施方式中的车辆图像聚类方法。在得到待处理图像的聚类结果之后，即可根据该聚类结果对目标车辆进行轨迹还原。
如前所述可知，聚类结果表示目标车辆在不同图像采集设备或者不同采集时间下的多张图像，根据多张图像的时间信息和图像采集设备的位置信息即可还原目标车辆的行动轨迹。
在一些实施方式中，本公开车辆轨迹还原方法包括：
获取聚类结果中包括的目标图像；
基于目标图像的时空信息确定目标车辆的轨迹。
具体而言，获取数据库中该聚类结果中包括的所有目标图像，其中目标图像表示目标车辆在不同图像采集设备或者不同图像采集时间下的图像。时空信息包括图像采集时间和采集位置，从而根据各个目标图像的图像采集时间的先后顺序以及图像采集位置的坐标，利用轨迹还原算法即可构建出目标车辆的移动轨迹，实现轨迹还原。
对于目标车辆的轨迹还原算法，本领域技术人员参照上述并结合相关领域知识毫无疑问可以理解并充分实现，本公开对此不作限制。
通过上述可知，本公开实施方式的车辆轨迹还原方法，基于ReID特征信息、车牌特征信息、车牌文字信息以及时空信息等多模态信息对待处理图像进行聚类处理，有利于消除车牌文字带来的混淆误差，提高聚类处理的搜索精度，进而提高对目标车辆轨迹还原的准确性。并且，在对待处理图像进行聚类处理时，首先通过粗搜确定候选图像集合，然后利用精搜得到聚类结果，相较于全库海量数据的联合搜索，大大提高了搜索速度，提高聚类处理效率，进而提高轨迹还原效率。
第三方面，本公开实施方式提供了一种车辆图像聚类装置。如图8所示，在一些实施方式中，本公开车辆图像聚类装置包括：
提取模块801，被配置为由包含目标车辆的待处理图像中提取目标车辆的车辆信息和车牌信息；
确定模块802，被配置为基于车辆信息和车牌信息，确定候选图像集；
聚类处理模块803，被配置为基于候选图像集中每一候选图像与待处理图像的相似度，对待处理图像进行聚类处理，得到待处理图像的聚类结果。
在一些实施方式中，确定模块802具体被配置为：
根据车辆信息，确定第一预设数量的第一图像集合；
根据车牌信息，确定第二预设数量的第二图像集合；
根据第一图像集合和第二图像集合，得到候选图像集。
在一些实施方式中，确定模块802具体被配置为：
基于车辆信息和车牌信息，由预先建立的数据库中确定候选图像集。
在一些实施方式中，聚类处理模块803具体被配置为：
获取待处理图像与候选图像集中每一候选图像的时空信息；
由候选图像集中，确定与待处理图像的时空信息满足预设阈值条件的目标候选图像集；
基于目标候选图像集中每一候选图像与待处理图像的相似度，对待处理图像进行聚类处理。
在一些实施方式中，聚类处理模块803具体被配置为：
基于车辆信息和车牌信息，确定候选图像集中候选图像与待处理图像的相似度集合；
响应于相似度集合中最大相似度不小于预设相似度阈值，将待处理图像聚类至最大相似度对应的候选图像所属的类别；
和/或，
响应于相似度集合中最大相似度小于预设相似度阈值，将待处理图像聚类至新增的类别。
在一些实施方式中，聚类处理模块803具体被配置为：
确定候选图像集中每一候选图像所在聚类结果的聚类中心；
基于待处理图像与聚类中心的第一相似度，确定每一候选图像与待处理图像的相似度；
基于候选图像集中每一候选图像与待处理图像的相似度，得到相似度集合。
在一些实施方式中，车牌信息包括车牌文字信息，聚类处理模块803具体被配置为：
确定所述候选图像集中每一候选图像所在聚类结果的聚类中心；
基于所述待处理图像和每一所述候选图像的聚类中心，得到所述待处理图像与每一所述候选图像的聚类中心的第一相似度；
基于所述待处理图像和每一所述候选图像的车牌文字信息，得到所述待处理图像与每一所述候选图像的第二相似度；
基于所述第一相似度和所述第二相似度，确定每一所述候选图像与所述待处理图像的相似度；
基于候选图像集中每一所述候选图像与所述待处理图像的相似度，得到所述相似度集合。
在一些实施方式中，提取模块801具体被配置为：
由包含目标车辆的待处理图像中提取目标车辆的ReID特征信息；和，
由包含目标车辆的待处理图像中提取目标车辆的车牌特征信息和车牌文字信息。
在一些实施方式中，装置还包括存储模块，存储模块被配置为：
将待处理图像，以及待处理图像中目标车辆的车辆信息和车牌信息，存储于数据库中。
在一些实施方式中，装置还包括存储模块，存储模块被配置为：
将待处理图像、待处理图像中目标车辆的车辆信息和车牌信息以及待处理图像的时空信息，存储于数据库中。
通过上述可知，本公开实施方式的车辆图像聚类装置，基于ReID特征信息、车牌特征信息、车牌文字信息以及时空信息等多模态信息对待处理图像进行聚类处理，有利于消除车牌文字带来的混淆误差，提高聚类处理的搜索精度，进而提高对目标车辆轨迹还原的准确性。并且，在对待处理图像进行聚类处理时，首先通过粗搜确定候选图像集合，然后利用精搜得到聚类结果，相较于全库海量数据的联合搜索，大大提高了搜索速度，提高聚类处理效率。
第四方面，本公开实施方式提供了一种车辆轨迹还原装置。在一些实施方式中，本公开车辆图像聚类装置包括：
轨迹还原模块，被配置为根据包含目标车辆的待处理图像的聚类结果确定目标车辆的轨迹；聚类结果是根据第一方面中任一实施方式的车辆图像聚类方法得到。
在一些实施方式中，轨迹还原模块具体被配置为：
获取聚类结果中包括的目标图像；
基于目标图像以及对应的时空信息确定目标车辆的轨迹。
通过上述可知，本公开实施方式的车辆轨迹还原装置，基于ReID特征信息、车牌特征信息、车牌文字信息以及时空信息等多模态信息对待处理图像进行聚类处理，有利于消除车牌文字带来的混淆误差，提高聚类处理的搜索精度，进而提高对目标车辆轨迹还原的准确性。并且，在对待处理图像进行聚类处理时，首先通过粗搜确定候选图像集合，然后利用精搜得到聚类结果，相较于全库海量数据的联合搜索，大大提高了搜索速度，提高聚类处理效率，进而提高轨迹还原效率。
第五方面，本公开实施方式提供了一种电子设备，包括：
处理器；和
存储器，存储有计算机指令，所述计算机指令用于使处理器执行根据第一方面或者第二方面中任一实施方式所述的方法。
第六方面，本公开实施方式提供了一种存储介质，存储有计算机指令，所述计算机指令用于使计算机执行根据第一方面或者第二方面中任一实施方式所述的方法。
具体而言，图9示出了适于用来实现本公开方法的计算机系统600的结构示意图，通过图9所示系统，可实现上述处理器及存储介质相应功能。
如图9所示，计算机系统600包括处理器601，其可以根据存储在存储器602中的程序或者从存储部分608加载到存储器602中的程序而执行各种适当的动作和处理。在存储器602中，还存储有系统600操作所需的各种程序和数据。处理器601和存储器602通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施方式，上文方法过程可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行上述方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
显然，上述实施方式仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本公开创造的保护范围之中。

Claims (13)

1.一种车辆图像聚类方法，其特征在于，包括：
由包含目标车辆的待处理图像中提取所述目标车辆的车辆信息和车牌信息；
基于所述车辆信息和所述车牌信息，由预先建立的数据库中确定部分候选图像，并根据所述部分候选图像得到候选图像集；
基于所述候选图像集中每一候选图像与所述待处理图像的相似度，对所述待处理图像进行聚类处理，得到所述待处理图像的聚类结果；
所述基于所述候选图像集中每一候选图像与所述待处理图像的相似度，对所述待处理图像进行聚类处理，包括：
基于所述车辆信息和所述车牌信息，确定所述候选图像集中候选图像与所述待处理图像的相似度集合；
响应于所述相似度集合中最大相似度不小于预设相似度阈值，将所述待处理图像聚类至所述最大相似度对应的候选图像所属的类别；和/或，
响应于所述相似度集合中最大相似度小于预设相似度阈值，将所述待处理图像聚类至新增的类别。
2.根据权利要求1所述的方法，其特征在于，所述基于所述车辆信息和所述车牌信息，由预先建立的数据库中确定部分候选图像，并根据所述部分候选图像得到候选图像集，包括：
根据所述车辆信息，确定第一预设数量的第一图像集合；
根据所述车牌信息，确定第二预设数量的第二图像集合；
根据所述第一图像集合和所述第二图像集合，得到所述候选图像集。
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述候选图像集中每一候选图像与所述待处理图像的相似度，对所述待处理图像进行聚类处理，包括：
获取所述待处理图像与所述候选图像集中每一候选图像的时空信息；
由所述候选图像集中，确定与所述待处理图像的时空信息满足预设阈值条件的目标候选图像集；
基于所述目标候选图像集中每一候选图像与所述待处理图像的相似度，对所述待处理图像进行聚类处理。
4.根据权利要求1所述的方法，其特征在于，所述基于所述车辆信息和所述车牌信息，确定所述候选图像集中候选图像与所述待处理图像的相似度集合，包括：
确定所述候选图像集中每一候选图像所在聚类结果的聚类中心；
基于所述待处理图像与所述聚类中心的第一相似度，确定每一所述候选图像与所述待处理图像的相似度；
基于候选图像集中每一所述候选图像与所述待处理图像的相似度，得到所述相似度集合。
5.根据权利要求1所述的方法，其特征在于，所述车牌信息包括车牌文字信息；所述基于所述车辆信息和所述车牌信息，确定所述候选图像集中候选图像与所述待处理图像的相似度集合，包括：
确定所述候选图像集中每一候选图像所在聚类结果的聚类中心；
基于所述待处理图像和每一所述候选图像的聚类中心，得到所述待处理图像与每一所述候选图像的聚类中心的第一相似度；
基于所述待处理图像和每一所述候选图像的车牌文字信息，得到所述待处理图像与每一所述候选图像的第二相似度；
基于所述第一相似度和所述第二相似度，确定每一所述候选图像与所述待处理图像的相似度；
基于候选图像集中每一所述候选图像与所述待处理图像的相似度，得到所述相似度集合。
6.根据权利要求1所述的方法，其特征在于，所述由包含目标车辆的待处理图像中提取所述目标车辆的车辆信息和车牌信息，包括：
由包含目标车辆的待处理图像中提取所述目标车辆的ReID特征信息；和，
由包含目标车辆的待处理图像中提取所述目标车辆的车牌特征信息和车牌文字信息。
7.根据权利要求1所述的方法，其特征在于，基于所述候选图像集中每一候选图像与所述待处理图像的相似度，对所述待处理图像进行聚类处理，得到所述待处理图像的聚类结果之后，还包括：
将所述待处理图像，以及所述待处理图像中所述目标车辆的所述车辆信息和所述车牌信息，存储于数据库中；
或者，
将所述待处理图像、所述待处理图像中所述目标车辆的所述车辆信息和所述车牌信息以及所述待处理图像的时空信息，存储于数据库中。
8.一种车辆轨迹还原方法，其特征在于，包括：
根据包含目标车辆的待处理图像的聚类结果确定所述目标车辆的轨迹；所述聚类结果是根据权利要求1至7任一项所述的车辆图像聚类方法得到。
9.根据权利要求8所述的方法，其特征在于，根据包含目标车辆的待处理图像的聚类结果确定所述目标车辆的轨迹，包括：
获取所述聚类结果中包括的目标图像；
基于所述目标图像以及对应的时空信息确定所述目标车辆的轨迹。
10.一种车辆图像聚类装置，其特征在于，包括：
提取模块，被配置为由包含目标车辆的待处理图像中提取所述目标车辆的车辆信息和车牌信息；
确定模块，被配置为基于所述车辆信息和所述车牌信息，由预先建立的数据库中确定部分候选图像，并根据所述部分候选图像得到候选图像集；
聚类处理模块，被配置为基于所述候选图像集中每一候选图像与所述待处理图像的相似度，对所述待处理图像进行聚类处理，得到所述待处理图像的聚类结果；
所述聚类处理模块被配置为：
基于所述车辆信息和所述车牌信息，确定所述候选图像集中候选图像与所述待处理图像的相似度集合；
响应于所述相似度集合中最大相似度不小于预设相似度阈值，将所述待处理图像聚类至所述最大相似度对应的候选图像所属的类别；和/或，
响应于所述相似度集合中最大相似度小于预设相似度阈值，将所述待处理图像聚类至新增的类别。
11.一种车辆轨迹还原装置，其特征在于，包括：
轨迹还原模块，被配置为根据包含目标车辆的待处理图像的聚类结果确定所述目标车辆的轨迹；所述聚类结果是根据权利要求1至7任一项所述的车辆图像聚类方法得到。
12.一种电子设备，其特征在于，包括：
处理器；和
存储器，存储有计算机指令，所述计算机指令用于使处理器执行根据权利要求1至7任一项所述的方法，或者根据权利要求8至9任一项所述的方法。
13.一种存储介质，其特征在于，存储有计算机指令，所述计算机指令用于使计算机执行根据权利要求1至7任一项所述的方法，或者根据权利要求8至9任一项所述的方法。
CN202110321047.8A 2021-03-25 2021-03-25 车辆图像聚类及轨迹还原方法 Active CN112949751B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110321047.8A CN112949751B (zh) 2021-03-25 2021-03-25 车辆图像聚类及轨迹还原方法
PCT/CN2021/102272 WO2022198817A1 (zh) 2021-03-25 2021-06-25 车辆图像聚类及轨迹还原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110321047.8A CN112949751B (zh) 2021-03-25 2021-03-25 车辆图像聚类及轨迹还原方法

Publications (2)

Publication Number Publication Date
CN112949751A CN112949751A (zh) 2021-06-11
CN112949751B true CN112949751B (zh) 2023-03-24

Family

ID=76228090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110321047.8A Active CN112949751B (zh) 2021-03-25 2021-03-25 车辆图像聚类及轨迹还原方法

Country Status (2)

Country Link
CN (1) CN112949751B (zh)
WO (1) WO2022198817A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949751B (zh) * 2021-03-25 2023-03-24 深圳市商汤科技有限公司 车辆图像聚类及轨迹还原方法
CN113312508A (zh) * 2021-06-24 2021-08-27 深圳市商汤科技有限公司 一种车辆图像检索方法及装置
CN113836358A (zh) * 2021-09-14 2021-12-24 北京百度网讯科技有限公司 数据处理方法、装置、电子设备及存储介质
CN113807457A (zh) * 2021-09-26 2021-12-17 北京市商汤科技开发有限公司 确定路网表征信息的方法、装置、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106469299B (zh) * 2016-08-31 2019-07-19 北京邮电大学 一种车辆搜索方法及装置
US10275683B2 (en) * 2017-01-19 2019-04-30 Cisco Technology, Inc. Clustering-based person re-identification
CN110555449B (zh) * 2018-05-30 2023-03-24 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN110502651B (zh) * 2019-08-15 2022-08-02 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111091106B (zh) * 2019-12-23 2023-10-10 浙江大华技术股份有限公司 图像聚类方法及装置、存储介质、电子装置
CN111538855B (zh) * 2020-04-29 2024-03-08 浙江商汤科技开发有限公司 视觉定位方法及装置、电子设备和存储介质
CN111931627A (zh) * 2020-08-05 2020-11-13 智慧互通科技有限公司 一种基于多模态信息融合的车辆再识别方法及装置
CN111652200A (zh) * 2020-08-05 2020-09-11 爱保科技有限公司 车险案件中从图片区分多车的处理方法、装置及设备
CN112949751B (zh) * 2021-03-25 2023-03-24 深圳市商汤科技有限公司 车辆图像聚类及轨迹还原方法
CN113378658A (zh) * 2021-05-24 2021-09-10 上海商汤智能科技有限公司 车辆数据聚类方法以及车辆轨迹还原方法
CN113312508A (zh) * 2021-06-24 2021-08-27 深圳市商汤科技有限公司 一种车辆图像检索方法及装置

Also Published As

Publication number Publication date
WO2022198817A1 (zh) 2022-09-29
CN112949751A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112949751B (zh) 车辆图像聚类及轨迹还原方法
US11062123B2 (en) Method, terminal, and storage medium for tracking facial critical area
CN111104867B (zh) 基于部件分割的识别模型训练、车辆重识别方法及装置
TWI425454B (zh) 行車路徑重建方法、系統及電腦程式產品
CN109543641B (zh) 一种实时视频的多目标去重方法、终端设备及存储介质
WO2006073647A2 (en) Method and apparatus for unsupervised learning of discriminative edge measures for vehicle matching between non-overlapping cameras
CN108564598B (zh) 一种改进的在线Boosting目标跟踪方法
JP2011505601A (ja) 映像処理方法および映像処理装置
CN113378658A (zh) 车辆数据聚类方法以及车辆轨迹还原方法
Zhang et al. Coarse-to-fine object detection in unmanned aerial vehicle imagery using lightweight convolutional neural network and deep motion saliency
CN114170516B (zh) 一种基于路侧感知的车辆重识别方法、装置及电子设备
US20220301317A1 (en) Method and device for constructing object motion trajectory, and computer storage medium
EP4209959A1 (en) Target identification method and apparatus, and electronic device
CN115861884A (zh) 复杂场景下视频多目标跟踪方法、系统、设备及介质
CN116704490B (zh) 车牌识别方法、装置和计算机设备
JP2016024534A (ja) 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム
CN113450457B (zh) 道路重建方法、装置、计算机设备和存储介质
CN114267021A (zh) 对象识别方法和装置、存储介质及电子设备
CN114373081A (zh) 图像处理方法及装置、电子设备及存储介质
CN114445787A (zh) 非机动车重识别方法及相关设备
CN114443955A (zh) 实时轨迹流的停留点检测方法及检测装置
CN112434601A (zh) 基于行车视频的车辆违法检测方法、装置、设备及介质
CN117173794B (zh) 一种适合边缘设备部署的行人重识别方法
Wu et al. Gradient map based Lane detection using CNN and RNN
CN116091971A (zh) 目标对象匹配方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40043955

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant