CN117095367A - 一种停车位停车状态检测方法、系统及装置 - Google Patents

一种停车位停车状态检测方法、系统及装置 Download PDF

Info

Publication number
CN117095367A
CN117095367A CN202310936077.9A CN202310936077A CN117095367A CN 117095367 A CN117095367 A CN 117095367A CN 202310936077 A CN202310936077 A CN 202310936077A CN 117095367 A CN117095367 A CN 117095367A
Authority
CN
China
Prior art keywords
vehicle component
parking
similarity
vehicle
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310936077.9A
Other languages
English (en)
Inventor
林骏
廖炳焱
何正海
黄世亮
段富治
王辉
王亚运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202310936077.9A priority Critical patent/CN117095367A/zh
Publication of CN117095367A publication Critical patent/CN117095367A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种停车位停车状态检测方法、系统及装置，用以实现复杂停车场景下停车位停车状态的检测，提高检测准确性。本申请提供的一种停车位停车状态检测方法，通过将获取的停车区域图像输入预先训练好的深度学习网络，得到至少一个车辆组件目标图像的图像特征，利用至少一个车辆组件目标图像的图像特征，计算各个车辆组件目标图像之间的相似度，得到相似度矩阵，基于相似度矩阵，将至少一个车辆组件目标图像聚类到对应的车辆类别，并将每一类别中的车辆组件目标图像进行关联；根据每一关联关系中的任一车辆组件目标图像的位置信息，以及停车区域图像中每一停车位的车位框位置信息，确定每一停车位的停车状态。

Description

一种停车位停车状态检测方法、系统及装置
技术领域
本申请涉及智慧交通技术领域，尤其涉及一种停车位停车状态检测方法、系统及装置。
背景技术
全国机动车保有量与日俱增，各种公共场所的停车位也成为了热门资源。维持停车区域的秩序对交通流量疏导以及道路的顺畅通行起到了至关重要的作用，同时也减少了安全隐患。因此，有必要实时掌握公共场所的停车区域的停车情况。目前停车位停车状态判断主要通过在停车位上安装地感线圈或者在停车位附近安装监控摄像头两种方式实现。前者通过车辆出入停车位造成的线圈内部电流变化判断停车位空闲状态；后者通过运行在摄像头或者智能盒子(服务器)上的神经网络模型实时检测画面中的机动车，得到机动车的坐标信息，再与停车区域进行比对判断。由于监控摄像头安装便捷、场地改造成本低，基于视频监控方式的停车位停车状态检测成为了主流的方案。但目前视频监控技术方案依赖于特定种类的车辆组件，无法应对拥堵、遮挡等复杂停车场景下停车位停车状态的检测，容易出现漏检，准确性有待提高。
发明内容
本申请实施例提供了一种停车位停车状态检测方法、系统及装置，用以实现复杂停车场景下停车位停车状态的检测，提高检测准确性。
本申请实施例提供的一种停车位停车状态检测方法，包括：
获取采集的停车区域图像；
将所述停车区域图像输入预先训练好的深度学习网络，得到至少一个车辆组件目标图像的图像特征，利用所述至少一个车辆组件目标图像的图像特征，计算各个所述车辆组件目标图像之间的相似度，得到相似度矩阵，基于所述相似度矩阵对所述至少一个车辆组件目标图像进行聚类，将属于同一车辆的所述车辆组件目标图像归为同一类别，并将每一所述类别中的车辆组件目标图像进行关联；
根据每一所述关联关系中的任一车辆组件目标图像的位置信息，以及所述停车区域图像中每一停车位的车位框位置信息，确定所述每一停车位的停车状态。
通过该方法，获取采集的停车区域图像；将所述停车区域图像输入预先训练好的深度学习网络，得到至少一个车辆组件目标图像的图像特征，利用所述至少一个车辆组件目标图像的图像特征，计算各个所述车辆组件目标图像之间的相似度，得到相似度矩阵，基于所述相似度矩阵对所述至少一个车辆组件目标图像进行聚类，将属于同一车辆的所述车辆组件目标图像归为同一类别，并将每一所述类别中的车辆组件目标图像进行关联；根据每一所述关联关系中的任一车辆组件目标图像的位置信息，以及所述停车区域图像中每一停车位的车位框位置信息，确定所述每一停车位的停车状态，从而实现复杂场景下停车位停车状态的检测，提高准确性。
在一些实施例中，所述得到相似度矩阵，具体包括：
将所述停车区域图像输入所述深度学习网络的特征提取层，得到至少一个车辆组件目标图像的分类特征图与定位特征图；
将所述至少一个车辆组件目标图像的分类特征图与定位特征图通过预设函数进行拼接融合，得到拼接融合特征图；
将所述拼接融合特征图输入所述深度学习网络的特征映射层，得到相似度特征图；
基于所述相似度特征图，计算各个所述车辆组件目标图像之间的相似度，得到相似度矩阵。
通过该方法，实现同一车辆的组件目标图像的图像特征尽量相似，不同车辆的组件目标图像的图像特征尽量不同，提高后续聚类的准确性。
在一些实施例中，所述得到拼接融合特征图，具体包括：
将每一所述车辆组件目标图像的分类特征图进行拼接，得到拼接后的分类特征图；以及，将每一所述车辆组件目标图像的定位特征图进行拼接，得到拼接后的定位特征图；
将所述拼接后的分类特征图与所述拼接后的定位特征图进行融合，得到拼接融合特征图。
通过该方法，实现车辆组件目标图像具有更高的辨识度，便于后续计算各个车辆组件目标图像之间的相似度。
在一些实施例中，所述预先训练好的深度学习网络，具体训练方法包括：
将训练数据集中的车辆组件图像输入预先搭建好的深度学习网络，得到所述车辆组件图像的相似度特征图，并基于所述车辆组件图像的相似度特征图确定相似度矩阵；
预先生成与所述相似度矩阵维度相同的全零矩阵；
通过下列公式一计算各个车辆组件之间的相似度标签值，并将每一所述相似度标签值填充到所述全零矩阵对应的位置，得到相似度标签矩阵；
其中，表示第i个车辆组件与第j个车辆组件的相似度标签值，对应相似度标签矩阵中第i行、第j列的相似度标签值；Pi表示第i个车辆组件图像；Pj表示第j个车辆组件图像；Carn表示检测出的第n辆车的车辆检测框；Headn表示检测出的第n辆车的车头检测框；Tailn表示检测出的第n辆车的车尾检测框；Roofn表示检测出的第n辆车的车顶检测框；N表示车辆组件图像数量；
利用所述相似度标签矩阵以及所述相似度矩阵，通过下列公式二计算对比损失，并利用所述对比损失去训练所述预先搭建好的深度学习网络，得到训练好的深度学习网络；
其中，Losscontra表示对比损失；Msimi,j表示相似度矩阵中第i行、第j列的相似度值。
通过该方法，实现得到收敛的深度学习网络，提高检测车辆组件目标图像的准确性。
在一些实施例中，所述基于所述相似度矩阵对所述至少一个车辆组件目标图像进行聚类，将属于同一车辆的所述车辆组件目标图像归为同一类别，包括：
基于所述相似度矩阵，将属于同一车辆的车辆组件目标图像进行聚类，得到至少一个聚类中心；
当每一所述聚类中心满足预设条件时，确定将每一所述车辆组件目标图像分配到对应的聚类中心即车辆类别。
通过该方法，实现将不同车辆组件目标图像聚类到对应的车辆类别，便于后续进行停车位停车状态的检测。
在一些实施例中，所述预设条件包括：
所述聚类中心中的车辆组件目标图像数量大于等于2且小于等于预设值，以及所述聚类中心中的每一分类的车辆组件目标图像数量小于等于1。
在一些实施例中，所述基于所述位置关系判断该停车位的停车状态，包括：
根据每一所述关联关系中的任一车辆组件目标图像的位置信息，以及所述停车区域图像中每一停车位的车位框位置信息，确定所述停车区域图像中的车辆与停车位的位置关系，并基于所述位置关系，判断所述停车区域图像中的车辆是否位于停车位内；
若是，确定所述停车位的停车状态为已占用；
否则，确定所述停车位的停车状态为空闲。
通过该方法，实现各种复杂停车场景下停车位停车状态的检测，拓宽了检测的应用场景。
在一些实施例中，所述方法还包括：
基于采集的连续多帧停车区域图像中的每一停车位的停车状态的检测结果，当每一所述停车位的停车状态确定为已占用或空闲到达预设次数时，发出该停车位的停车状态为已占用或空闲的通知消息。
本申请实施例提供的一种停车位停车状态检测系统，包括：
图像采集模块，用于获取采集的停车区域图像；
车辆识别模块，用于将所述停车区域图像输入预先训练好的深度学习网络，得到至少一个车辆组件目标图像的图像特征，利用所述至少一个车辆组件目标图像的图像特征，计算各个所述车辆组件目标图像之间的相似度，得到相似度矩阵，基于所述相似度矩阵对所述至少一个车辆组件目标图像进行聚类，将属于同一车辆的所述车辆组件目标图像归为同一类别，并将每一所述类别中的车辆组件目标图像进行关联；
状态检测模块，用于根据每一所述关联关系中的任一车辆组件目标图像的位置信息，以及所述停车区域图像中每一停车位的车位框位置信息，确定所述每一停车位的停车状态。
通过该系统，实现复杂停车场景下停车位停车状态的检测，提高检测准确性。
本申请另一实施例提供了一种停车位停车状态检测装置，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。
此外，根据实施例，例如提供了一种用于计算机的计算机程序产品，其包括软件代码部分，当所述产品在计算机上运行时，这些软件代码部分用于执行上述所定义的方法的步骤。该计算机程序产品可以包括在其上存储有软件代码部分的计算机可读介质。此外，该计算机程序产品可以通过上传过程、下载过程和推送过程中的至少一个经由网络直接加载到计算机的内部存储器中和/或发送。
本申请另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种路侧停车场景的示意图；
图2为本申请实施例提供的一种监控设备摄像头侧装采集的停车场景的示意图；
图3为本申请实施例提供的一种停车位停车状态检测方法的整体流程示意图；
图4为本申请实施例提供的一种车辆组件目标图像的示意图；
图5为本申请实施例提供的一种识别停车区域车辆的检测模型的结构示意图；
图6为本申请实施例提供的一种停车位停车状态检测系统的结构示意图；
图7为本申请实施例提供的一种停车位停车状态检测方法的具体流程示意图；
图8为本申请实施例提供的另一种停车位停车状态检测方法的具体流程示意图；
图9为本申请实施例提供的一种深度学习网络的训练方法的具体流程示意图；
图10为本申请实施例提供的一种停车位停车状态检测装置的结构示意图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种停车位停车状态检测方法、系统及装置，用以实现复杂停车场景下停车位停车状态的检测，提高检测准确性。
其中，方法和装置是基于同一申请构思的，由于方法和装置解决问题的原理相似，因此装置和方法的实施可以相互参见，重复之处不再赘述。
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下示例和实施例将只被理解为是说明性的示例。虽然本说明书可能在若干处提及“一”、“一个”或“一些”示例或实施例，但这并非意味着每个这种提及都与相同的示例或实施例有关，也并非意味着该特征仅适用于单个示例或实施例。不同实施例的单个特征也可以被组合以提供其他实施例。此外，如“包括”和“包含”的术语应被理解为并不将所描述的实施例限制为仅由已提及的那些特征组成；这种示例和实施例还可以包含并未具体提及的特征、结构、单元、模块等。
下面结合说明书附图对本申请各个实施例进行详细描述。需要说明的是，本申请实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。
需要说明的是，本申请实施例提供的技术方案，通过将采集的停车区域图像输入深度学习网络获得车辆组件目标图像的图像特征，利用各个车辆组件目标图像的图像特征，计算各个车辆组件目标图像的相似度得到相似度矩阵，并基于相似度矩阵，将各个车辆组件目标图像聚类到对应的车辆类别，然后利用每一类别中的任一车辆组件目标图像的位置信息，确定对应的停车位的停车状态为例进行说明，但并不限于此。
目前停车位停车状态判断，主要通过在停车位上安装地感线圈或者在停车位附近安装监控摄像头两种方式实现。前者通过车辆出入停车位造成的线圈内部电流变化判断车位空闲状态；后者通过运行在摄像头或者智能盒子(服务器)上的神经网络模型实时检测画面中的机动车，得到机动车的坐标信息，再与停车区域进行比对判断。但目前视频监控技术方案依赖于特定种类的车辆组件，无法应对拥堵、遮挡等复杂停车场景下停车位停车状态的检测，例如图1所示，同时也不适用于摄像头侧装场景，例如图2所示，容易出现漏检，准确性有待提高。
为了解决上述问题，本申请实施例提供了一种停车位停车状态检测方法，可以应用于任何一种终端设备，例如监控设备。首先对获取的停车区域图像进行车辆组件目标检测，提取出车辆组件目标图像的图像特征，根据各个车辆组件目标图像的图像特征计算得到相似度矩阵，并基于相似度矩阵，将各个车辆组件目标图像聚类到对应的车辆类别，利用每一类别中的任一车辆组件目标图像的位置信息，确定对应的停车位的停车状态，从而实现复杂停车场景下停车位停车状态的检测，提高检测准确性。
参见图3，本申请实施例提供的一种停车位停车状态检测方法，包括：
步骤S101、获取采集的停车区域图像；
其中，所述停车区域，例如公共场所的停车场；所述停车区域图像，例如通过安装在停车场的监控设备实时采集的可以完整捕获机动车信息(即机动车没有出现在图像画面边缘，造成截断的情况)的停车场图像；
步骤S102、将所述停车区域图像输入预先训练好的深度学习网络，得到至少一个车辆组件目标图像的图像特征，利用所述至少一个车辆组件目标图像的图像特征，计算各个所述车辆组件目标图像之间的相似度，得到相似度矩阵，基于所述相似度矩阵对所述至少一个车辆组件目标图像进行聚类，将属于同一车辆的所述车辆组件目标图像归为同一类别，并将每一所述类别中的车辆组件目标图像进行关联；
其中，所述车辆组件，例如车辆框、车头框、车顶框、车尾框；所述图像特征，例如车辆组件目标图像的类别(属于车辆框、车头框、车顶框、车尾框中的哪一种)、位置信息(深度学习网络预测出的车辆组件目标图像的预测框的坐标)；所述相似度，例如余弦相似度；所述类别，指属于同一辆车的车辆组件目标图像为一个类别；
将获取的停车区域图像输入深度学习网络进行目标检测，输出每一车辆组件目标图像的分类特征图和定位特征图H表示高度，W表示宽度，C1、C2表示通道数，C1＝A×(num_cls+1)，C2＝4A，其中A为特征图上每个网格铺设的Anchor(锚框)个数，num_cls表示车辆组件类别个数，在本申请实施例中，车辆组件类别例如包括车辆框(Car)、车头框(Head)、车尾框(Tail)和车顶框(Roof)4类，例如图4所示。
将停车区域图像输入深度学习网络之后，深度学习网络在检测出的车辆组件目标图像上绘制矩形框即预测框，针对每一车辆组件目标图像，深度学习网络会预测出多个预测框，但是预测框不一定准确，例如有的预测框只覆盖了不到1/2车辆组件目标图像，因此需要对预测框进行筛选，过滤掉准确性较低的预测框。可以通过设定置信度阈值thres_conf和交并比阈值IoUthres_iou，将置信度低于预设置信度阈值的车辆组件目标图像的预测框进行抑制处理即NMS(非极大值抑制)处理，同时将车辆组件目标图像与人工标注的车辆组件图像进行交并比计算，将交并比值低于预设交并比阈值的预测框过滤掉，仅保留每一车辆组件目标图像最佳的预测框。
将停车区域图像输入深度学习网络，输出例如N个车辆组件目标图像的图像特征，记为Parts＝{P1,P2,…,PN}。分别通过损失函数计算分类损失Losscls和定位损失Lossbox，对深度学习网络进行参数优化，提高深度学习网络对车辆组件目标检测的准确性。
从Fcls和Fbox中抽取这N个车辆组件目标图像对应的分类特征图与定位特征图，将这N个车辆组件目标图像的分类特征图拼接到一起，得到拼接后的分类特征图，以及，将这N个车辆组件目标图像的定位特征图拼接到一起，得到拼接后的定位特征图，然后将拼接后的分类特征图与拼接后的定位特征图进行融合，组成拼接融合特征图最后将拼接融合特征图输入深度学习网络的特征映射层(例如全连接层)，输出相似度特征图M表示预设常数。这里的特征映射层主要目的是为了学习类似车辆组件图像的颜色、形状这些隐式特征，同时赋予这些特征不同的权重，使Fsim的表征更加全面和准确，一般通过多层感知机(深度学习网络的基础算法)实现。
一般认为分类特征图包含了目标物体图像的颜色、形状特征，分类特征图经过一个全连接层再取最大值可以得到目标物体所属的类别；同时定位特征图包含了目标物体的位置的相关信息。将这两个特征图拼接融合起来的特征可以认为是融合了位置、类别、颜色等多个属性的特征，使目标物体具有更高的辨识度，同时还有利于后续用来计算不同车辆组件目标图像之间的相似度(即相当于从多个维度来衡量)。
基于相似度特征图，计算各个车辆组件目标图像之间的相似度，得到相似度矩阵，具体地，例如将相似度特征图对应的矩阵Fsim进行转置，得到转置后的矩阵Fsim T，再将相似度特征图对应的矩阵Fsim与转置后的矩阵Fsim T进行矩阵乘法运算，得到相似度矩阵Msim＝Fsim·Fsim T，例如图5所示，相似度矩阵每一行的对角线位置上的数值表示车辆组件目标图像与其本身的相似度值，其他值则表示该车辆组件目标图像与其他(N-1)个车辆组件目标图像之间的余弦相似度值，若相似度矩阵中的某个相似度值大于预设阈值(例如0.6，根据实际需要而定)，表明这2个车辆组件目标图像属于同一车辆。需要说明的是，也可以采用现有其他方法计算各个车辆组件目标图像之间的相似度，本申请实施例对此不作任何限制。
在训练得到上述训练好的深度学习网络的过程中，不断通过总损失函数计算深度学习网络的总损失，根据总损失优化深度学习网络的相关参数，使深度学习网络输出的停车区域图像的相似度特征图更加准确，具体地，将制作好的训练数据集中的车辆组件图像输入预先搭建好的深度学习网络，输出相似度特征图以及计算得到分类损失Losscls、定位损失Lossbox；基于相似度特征图计算各个车辆组件图像的相似度，得到相似度矩阵；生成与相似度矩阵维度相同的全零矩阵(例如N×N全零矩阵)，通过下列公式一计算各个车辆组件之间的相似度标签值(例如图5所示，C、H、T、R分别表示车辆框、车头框、车尾框、车顶框，C1、H1、T1表示这三个组件均属于第1辆车，属于同一车辆的两个车辆组件的相似度标签值为1，C1与C1、C1与H1、C1与T1、H1与H1、H1与T1、T1与T1、C2与C2、RN与RN等；属于不同车辆的两个车辆组件的相似度标签值为0，C1与C2、C1与RN、H1与C2、H1与RN、C2与T1、C2与RN、T1与RN等)，并将计算得到的每一相似度标签值(即1或0)填充到全零矩阵对应的位置，得到相似度标签矩阵(例如图5所示的GT)；
其中，表示第i个车辆组件与第j个车辆组件的相似度标签值，对应相似度标签矩阵中第i行、第j列的相似度标签值；Pi表示第i个车辆组件图像；Pj表示第j个车辆组件图像；Carn表示检测出的第n辆车的车辆检测框；Headn表示检测出的第n辆车的车头检测框；Tailn表示检测出的第n辆车的车尾检测框；Roofn表示检测出的第n辆车的车顶检测框；N表示车辆组件图像数量；
利用相似度标签矩阵以及相似度矩阵对应的值，例如相似度标签矩阵中第1行第1列的相似度标签值与相似度矩阵中第1行第1列的相似度值，通过下列公式二计算对比损失Losscontra，然后利用对比损失、分类损失以及定位损失，通过公式三计算深度学习网络的总损失Losstotal，深度学习网络根据总损失不断优化网络的相关参数，提高目标检测精度，同时还可以逐步提高属于同一车辆的车辆组件图像的相似度；
Losstotal＝α(Losscls+Lossbox)+(1-α)Losscontra公式三
其中，Msimi,j表示相似度矩阵中第i行、第j列的相似度值。
在一些实施例中，基于相似度矩阵Msim，可以通过例如k-means等聚类算法，将车辆组件目标图像聚类到对应的聚类中心，并将每一聚类中心中的车辆组件目标图像关联起来，具体地，首先确定聚类中心的个数，即车辆数；一般情况下，一辆车至少可以检测到2种车辆组件目标图像，假设检测到N个车辆组件目标图像，若每辆车都只检测到2种车辆组件目标图像，则聚类中心的个数为(向上取整)；若每辆车有预设值(例如4)种车辆组件目标图像都被检测到，则聚类中心的个数为(例如)(向上取整)。从开始遍历到例如以上述的余弦相似度为距离度量，将属于同一车辆的车辆组件目标图像聚到一个聚类中心，当聚类之后每个聚类中心的车辆组件目标图像数量num均满足2≤num≤4，且每种类型车辆组件目标图像的数量不超过1，则将所有检测出的车辆组件目标图像都已分配到对应的车辆上：
例如图5所示，假设通过深度学习网络一共检测出N个车辆组件目标图像，编号依次为C1、H1、C2、T1、...、RN。相似度矩阵中第i行第j列中的元素表示第i个车辆组件目标图像与第j个车辆组件目标图像的相似度，C、H、T、R分别表示车辆框、车头框、车尾框、车顶框。C1、H1、T1表示这三个车辆组件目标图像均属于第1辆车。因为只知道有N个车辆组件目标图像，但不知道每辆车有多少种车辆组件目标图像被检测出来，所以不知道车辆数，而聚类的第一步是要确定聚类中心(即车辆数)的数量。假设每辆车只有2种车辆组件目标图像被检测到，则此时车辆数最大，为假设每辆车4种车辆组件目标图像都被检测到，则车辆数最小，为然后从聚类中心的个数为开始执行聚类算法，每次减1，即…，如果取到值x，此时聚类得到的每一聚类中心中的车辆组件目标图像数量都在[2，4]，且每种车辆组件目标图像的数量不超过1(例如{{C1,H1},{C2,H2,R2},{T3，R3},{C4,H4,T4,R4}...})，则停止运行聚类算法，得到车辆数为x。
聚类算法执行完毕后输出聚类结果，遍历每一聚类中，当某一聚类中心存在车辆组件目标图像时，就认为检测到了车辆，将该聚类中心中的车辆组件目标图像关联起来，便于后续利用该关联关系进行对应的停车位停车状态的检测。
步骤S103、根据每一所述关联关系中的任一车辆组件目标图像的位置信息，以及所述停车区域图像中每一停车位的车位框位置信息，确定所述每一停车位的停车状态；
其中，所述位置信息，例如深度学习网络预测出的车辆组件目标图像的预测框的坐标；
本步骤中例如利用每一聚类中心中任一车辆组件目标图像的预测框的坐标，以及停车区域图像中停车位的车位框的坐标，进行停车位与车辆的匹配，得到停车区域图像中的车辆与停车位的对应关系，然后利用该对应关系，判断停车区域图像中的车辆是否位于停车位内(例如车辆组件目标图像的预测框的中心点是否在车位框内)，若是，则确定该停车位被占用；若否，则确定该停车位为空闲。
连续采集的多帧停车区域图像，或者预设时长内采集的多帧停车区域图像，若这多帧停车区域图像中有预设数量帧图像都确定某一停车位的停车状态为被占用，则发出该停车位被占用的通知消息给停车场管理人员；相应地，若这多帧停车区域图像中有预设数量帧图像都确定某一停车位的停车状态为空闲，则发出该停车位为空闲的通知消息给停车场管理人员。
为提高后续聚类的准确性，在一些实施例中，所述得到相似度矩阵，具体包括：
将所述停车区域图像输入所述深度学习网络的特征提取层，得到至少一个车辆组件目标图像的分类特征图(例如上述的Fcls)与定位特征图(例如上述的Fbox)；
将所述至少一个车辆组件目标图像的分类特征图与定位特征图通过预设函数(例如torch.cat()函数)进行拼接融合，得到拼接融合特征图(例如上述的Fdet)；
将所述拼接融合特征图输入所述深度学习网络的特征映射层，得到相似度特征图(例如上述的Fsim)；
基于所述相似度特征图，计算各个所述车辆组件目标图像之间的相似度，得到相似度矩阵(例如上述的Msim)。
为使车辆组件目标图像具有更高的辨识度，便于后续计算各个车辆组件目标图像之间的相似度，在一些实施例中，所述得到拼接融合特征图，具体包括：
将每一所述车辆组件目标图像的分类特征图进行拼接，得到拼接后的分类特征图；以及，将每一所述车辆组件目标图像的定位特征图进行拼接，得到拼接后的定位特征图；
将所述拼接后的分类特征图与所述拼接后的定位特征图进行融合，得到拼接融合特征图。
为提高检测车辆组件目标图像的准确性，在一些实施例中，所述预先训练好的深度学习网络，具体训练方法包括：
将训练数据集中的车辆组件图像输入预先搭建好的深度学习网络，得到所述车辆组件图像的相似度特征图，并基于所述车辆组件图像的相似度特征图确定相似度矩阵；
预先生成与所述相似度矩阵维度相同的全零矩阵；
通过下列公式一计算各个车辆组件之间的相似度标签值，并将每一所述相似度标签值填充到所述全零矩阵对应的位置，得到相似度标签矩阵；
其中，表示第i个车辆组件与第j个车辆组件的相似度标签值，对应相似度标签矩阵中第i行、第j列的相似度标签值；Pi表示第i个车辆组件图像；Pj表示第j个车辆组件图像；Carn表示检测出的第n辆车的车辆检测框；Headn表示检测出的第n辆车的车头检测框；Tailn表示检测出的第n辆车的车尾检测框；Roofn表示检测出的第n辆车的车顶检测框；N表示车辆组件图像数量；
利用所述相似度标签矩阵以及所述相似度矩阵，通过下列公式二计算对比损失，并利用所述对比损失去训练所述预先搭建好的深度学习网络，得到训练好的深度学习网络；
其中，Losscontra表示对比损失；Msimi,j表示相似度矩阵中第i行、第j列的相似度值。
为实现将不同车辆组件目标图像聚类到对应的车辆类别，便于后续进行停车位停车状态的检测，在一些实施例中，所述基于所述相似度矩阵对所述至少一个车辆组件目标图像进行聚类，将属于同一车辆的所述车辆组件目标图像归为同一类别，包括：
基于所述相似度矩阵，将属于同一车辆的车辆组件目标图像进行聚类，得到至少一个聚类中心；
当每一所述聚类中心满足预设条件(例如聚类中心的车辆组件目标图像总数量大于等于2且小于等于4，每种车辆组件目标图像的数量不超过1)时，确定将每一所述车辆组件目标图像分配到对应的聚类中心即车辆类别。
在一些实施例中，所述预设条件包括：
所述聚类中心中的车辆组件目标图像数量大于等于2且小于等于预设值(例如4)，以及所述聚类中心中的每一分类的车辆组件目标图像数量小于等于1。
为实现各种复杂停车场景下停车位停车状态的检测，拓宽了检测的应用场景，在一些实施例中，所述基于所述位置关系判断该停车位的停车状态，包括：
根据每一所述关联关系中的任一车辆组件目标图像的位置信息，以及所述停车区域图像中每一停车位的车位框位置信息，确定所述停车区域图像中的车辆与停车位的位置关系，并基于所述位置关系，判断所述停车区域图像中的车辆是否位于停车位内；
若是，确定所述停车位的停车状态为已占用；
否则，确定所述停车位的停车状态为空闲。
在一些实施例中，所述方法还包括：
基于采集的连续多帧(或者预设时长内采集的多帧)停车区域图像中的每一停车位的停车状态的检测结果，当每一所述停车位的停车状态确定为已占用或空闲到达预设次数时(例如10帧有6帧)，发出该停车位的停车状态为已占用或空闲的通知消息。
参见图6，本申请实施例提供的一种停车位停车状态检测系统，包括：
图像采集模100，用于获取采集的停车区域图像；
车辆识别模块200，用于将所述停车区域图像输入预先训练好的深度学习网络，得到至少一个车辆组件目标图像的图像特征，利用所述至少一个车辆组件目标图像的图像特征，计算各个所述车辆组件目标图像之间的相似度，得到相似度矩阵，基于所述相似度矩阵对所述至少一个车辆组件目标图像进行聚类，将属于同一车辆的所述车辆组件目标图像归为同一类别，并将每一所述类别中的车辆组件目标图像进行关联；
状态检测模块300，用于根据每一所述关联关系中的任一车辆组件目标图像的位置信息，以及所述停车区域图像中每一停车位的车位框位置信息，确定所述每一停车位的停车状态。
下面给出几个具体方法流程的实施例。
实施例一：
参见图7，本申请实施例提供的一种停车位停车状态检测方法，包括：
步骤S201、获取停车场监控设备采集的停车区域图像；
步骤S202、将停车区域图像输入预先训练好的深度学习网络的特征提取层，输出至少一个车辆组件目标图像的分类特征图与定位特征图；
步骤S203、通过预设函数，将每一车辆组件目标图像的分类特征图进行拼接，得到拼接后的分类特征图，以及，将每一车辆组件目标图像的定位特征图进行拼接，得到拼接后的定位特征图；
步骤S204、将拼接后的分类特征图与拼接后的定位特征图进行融合，得到拼接融合特征图；
步骤S205、将拼接融合特征图输入预先训练好的深度学习网络的特征映射层，输出相似度特征图；
步骤S206、基于相似度特征图，计算各个车辆组件目标图像之间的相似度，得到相似度矩阵；
步骤S207、基于相似度矩阵，通过聚类算法，将每一车辆组件目标图像分配到对应的车辆类别中(即聚类中心)，并建立每一车辆类别中车辆组件目标图像的关联关系；
步骤S208、根据步骤S207得到的关联关系中的任一车辆组件目标图像的位置信息，确定对应的停车位以及该停车位的停车状态。
实施例二：
参见图8，本申请实施例提供的一种停车位停车状态检测方法，包括：
步骤S301、获取停车场监控设备连续采集的多帧停车区域图像；
步骤S302、将步骤S301得到的多帧停车区域图像输入例如上述的停车位停车状态检测系统，输出每一帧停车区域图像中各个停车位停车状态的检测结果；
步骤S303、根据每一帧停车区域图像中各个停车位停车状态的检测结果，判断是否存在预设数量帧停车区域图像中的各个停车位的停车状态一直为空闲或已占用状态，若是，则进行步骤S304；若否，进行步骤S301；
例如针对停车场1号停车位，连续采集了10帧图像，其中6帧图像检测出该停车位处于空闲状态，则确定该停车位为空闲；
步骤S304、通过系统消息，将停车位为空闲或已占用的通知消息发送到停车场管理人员的终端用户界面；
停车场管理人员通过用户界面，实现实时监控停车场每一停车位的停车状态，保障停车场停车位的良好管理秩序，减少安全隐患。
实施例三：
参见图9，本申请实施例提供的一种深度学习网络的训练方法，包括：
步骤S401、制作训练深度学习网络所需的数据集，该数据集包括若干车辆组件图像；
步骤S402、将训练数据集中的车辆组件图像输入预先搭建的深度学习网络，得到相似度特征图，以及，计算出分类损失与定位损失；
步骤S403、基于相似度特征图，计算各个车辆组件图像之间的相似度，得到相似度矩阵；
步骤S404、生成与相似度矩阵维度相同的全零矩阵，并计算各个车辆组件之间的相似度标签值，并将该相似度标签值填充到全零矩阵对应的位置中，得到相似度标签矩阵；
将属于同一车辆的2个车辆组件之间的相似度标签值记为1，将属于不同车辆的2个车辆组件之间的相似度标签值记为0，用1或0替换掉全零矩阵对应位置上的0；
步骤S405、利用相似度矩阵与相似度标签矩阵，计算对比损失，然后利用对比损失计算深度学习网络的总损失；
查找相似度矩阵与相似度标签矩阵中的值，例如2个矩阵中第1行第1列的值，通过上述公式二计算对比损失，然后利用对比损失以及步骤S402计算出的分类损失与定位损失，通过上述公式三计算总损失；
步骤S406、根据总损失调整深度学习网络的相关参数，再利用数据集训练调整后的深度学习网络，直到总损失趋于稳定，得到训练好的深度学习网络。
下面介绍一下本申请实施例提供的设备或装置，其中与上述方法中所述的相同或相应的技术特征的解释或举例说明，后续不再赘述。
参见图10，本申请实施例提供的一种停车位停车状态检测装置，包括：
处理器600，用于读取存储器620中的程序，执行下列过程：
获取采集的停车区域图像；
将所述停车区域图像输入预先训练好的深度学习网络，得到至少一个车辆组件目标图像的图像特征，利用所述至少一个车辆组件目标图像的图像特征，计算各个所述车辆组件目标图像之间的相似度，得到相似度矩阵，基于所述相似度矩阵对所述至少一个车辆组件目标图像进行聚类，将属于同一车辆的所述车辆组件目标图像归为同一类别，并将每一所述类别中的车辆组件目标图像进行关联；
根据每一所述关联关系中的任一车辆组件目标图像的位置信息，以及所述停车区域图像中每一停车位的车位框位置信息，确定所述每一停车位的停车状态。
在一些实施例中，所述得到相似度矩阵，具体包括：
将所述停车区域图像输入所述深度学习网络的特征提取层，得到至少一个车辆组件目标图像的分类特征图与定位特征图；
将所述至少一个车辆组件目标图像的分类特征图与定位特征图通过预设函数进行拼接融合，得到拼接融合特征图；
将所述拼接融合特征图输入所述深度学习网络的特征映射层，得到相似度特征图；
基于所述相似度特征图，计算各个所述车辆组件目标图像之间的相似度，得到相似度矩阵。
在一些实施例中，所述得到拼接融合特征图，具体包括：
将每一所述车辆组件目标图像的分类特征图进行拼接，得到拼接后的分类特征图；以及，将每一所述车辆组件目标图像的定位特征图进行拼接，得到拼接后的定位特征图；
将所述拼接后的分类特征图与所述拼接后的定位特征图进行融合，得到拼接融合特征图。
在一些实施例中，所述预先训练好的深度学习网络，所述处理器600还用于读取存储器620中的程序，执行下列训练过程：
将训练数据集中的车辆组件图像输入预先搭建好的深度学习网络，得到所述车辆组件图像的相似度特征图，并基于所述车辆组件图像的相似度特征图确定相似度矩阵；
预先生成与所述相似度矩阵维度相同的全零矩阵；
通过下列公式一计算各个车辆组件之间的相似度标签值，并将每一所述相似度标签值填充到所述全零矩阵对应的位置，得到相似度标签矩阵；
其中，表示第i个车辆组件与第j个车辆组件的相似度标签值，对应相似度标签矩阵中第i行、第j列的相似度标签值；Pi表示第i个车辆组件图像；Pj表示第j个车辆组件图像；Carn表示检测出的第n辆车的车辆检测框；Headn表示检测出的第n辆车的车头检测框；Tailn表示检测出的第n辆车的车尾检测框；Roofn表示检测出的第n辆车的车顶检测框；N表示车辆组件图像数量；
利用所述相似度标签矩阵以及所述相似度矩阵，通过下列公式二计算对比损失，并利用所述对比损失去训练所述预先搭建好的深度学习网络，得到训练好的深度学习网络；
其中，Losscontra表示对比损失；Msimi,j表示相似度矩阵中第i行、第j列的相似度值。
在一些实施例中，所述基于所述相似度矩阵对所述至少一个车辆组件目标图像进行聚类，将属于同一车辆的所述车辆组件目标图像归为同一类别，包括：
基于所述相似度矩阵，将属于同一车辆的车辆组件目标图像进行聚类，得到至少一个聚类中心；
当每一所述聚类中心满足预设条件时，确定将每一所述车辆组件目标图像分配到对应的聚类中心即车辆类别。
在一些实施例中，所述预设条件包括：
所述聚类中心中的车辆组件目标图像数量大于等于2且小于等于预设值，以及所述聚类中心中的每一分类的车辆组件目标图像数量小于等于1。
在一些实施例中，所述基于所述位置关系判断该停车位的停车状态，包括：
根据每一所述关联关系中的任一车辆组件目标图像的位置信息，以及所述停车区域图像中每一停车位的车位框位置信息，确定所述停车区域图像中的车辆与停车位的位置关系，并基于所述位置关系，判断所述停车区域图像中的车辆是否位于停车位内；
若是，确定所述停车位的停车状态为已占用；
否则，确定所述停车位的停车状态为空闲。
在一些实施例中，所述处理器600还用于读取存储器620中的程序，执行：
基于采集的连续多帧停车区域图像中的每一停车位的停车状态的检测结果，当每一所述停车位的停车状态确定为已占用或空闲到达预设次数时，发出该停车位的停车状态为已占用或空闲的通知消息。
在一些实施例中，本申请实施例提供的停车位停车状态检测装置还包括收发机610，用于在处理器600的控制下接收监控设备采集的图像和发送数据到终端用户界面。
其中，在图10中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器600代表的一个或多个处理器和存储器620代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机610可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。
在一些实施例中，本申请实施例提供的停车位停车状态检测装置还包括用户接口630，用户接口630可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器600负责管理总线架构和通常的处理，存储器620可以存储处理器600在执行操作时所使用的数据。
在一些实施例中，处理器600可以是CPU(中央处埋器)、ASIC(ApplicationSpecific Integrated Circuit，专用集成电路)、FPGA(Field－Programmable GateArray，现场可编程门阵列)或CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)。
本申请实施例提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。该计算设备可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储本申请实施例提供的任一所述方法的程序。
处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行本申请实施例提供的任一所述方法。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的任一所述方法。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请实施例提供了一种计算机可读存储介质，用于储存为上述本申请实施例提供的装置所用的计算机程序指令，其包含用于执行上述本申请实施例提供的任一方法的程序。所述计算机可读存储介质，可以是非暂时性计算机可读介质。
所述计算机可读存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种停车位停车状态检测方法，其特征在于，所述方法包括：
获取采集的停车区域图像；
将所述停车区域图像输入预先训练好的深度学习网络，得到至少一个车辆组件目标图像的图像特征，利用所述至少一个车辆组件目标图像的图像特征，计算各个所述车辆组件目标图像之间的相似度，得到相似度矩阵，基于所述相似度矩阵对所述至少一个车辆组件目标图像进行聚类，将属于同一车辆的所述车辆组件目标图像归为同一类别，并将每一所述类别中的车辆组件目标图像进行关联；
根据每一所述关联关系中的任一车辆组件目标图像的位置信息，以及所述停车区域图像中每一停车位的车位框位置信息，确定所述每一停车位的停车状态。
2.根据权利要求1所述的方法，其特征在于，所述得到相似度矩阵，具体包括：
将所述停车区域图像输入所述深度学习网络的特征提取层，得到至少一个车辆组件目标图像的分类特征图与定位特征图；
将所述至少一个车辆组件目标图像的分类特征图与定位特征图通过预设函数进行拼接融合，得到拼接融合特征图；
将所述拼接融合特征图输入所述深度学习网络的特征映射层，得到相似度特征图；
基于所述相似度特征图，计算各个所述车辆组件目标图像之间的相似度，得到相似度矩阵。
3.根据权利要求2所述的方法，其特征在于，所述得到拼接融合特征图，具体包括：
将每一所述车辆组件目标图像的分类特征图进行拼接，得到拼接后的分类特征图；以及，将每一所述车辆组件目标图像的定位特征图进行拼接，得到拼接后的定位特征图；
将所述拼接后的分类特征图与所述拼接后的定位特征图进行融合，得到拼接融合特征图。
4.根据权利要求1所述的方法，其特征在于，所述预先训练好的深度学习网络，具体训练方法包括：
将训练数据集中的车辆组件图像输入预先搭建好的深度学习网络，得到所述车辆组件图像的相似度特征图，并基于所述车辆组件图像的相似度特征图确定相似度矩阵；
预先生成与所述相似度矩阵维度相同的全零矩阵；
通过下列公式一计算各个车辆组件之间的相似度标签值，并将每一所述相似度标签值填充到所述全零矩阵对应的位置，得到相似度标签矩阵；
其中，表示第i个车辆组件与第j个车辆组件的相似度标签值，对应相似度标签矩阵中第i行、第j列的相似度标签值；Pi表示第i个车辆组件图像；Pj表示第j个车辆组件图像；Carn表示检测出的第n辆车的车辆检测框；Headn表示检测出的第n辆车的车头检测框；Tailn表示检测出的第n辆车的车尾检测框；Roofn表示检测出的第n辆车的车顶检测框；N表示车辆组件图像数量；
利用所述相似度标签矩阵以及所述相似度矩阵，通过下列公式二计算对比损失，并利用所述对比损失去训练所述预先搭建好的深度学习网络，得到训练好的深度学习网络；
其中，Losscontra表示对比损失；表示相似度矩阵中第i行、第j列的相似度值。
5.根据权利要求1所述的方法，其特征在于，所述基于所述相似度矩阵对所述至少一个车辆组件目标图像进行聚类，将属于同一车辆的所述车辆组件目标图像归为同一类别，包括：
基于所述相似度矩阵，将属于同一车辆的车辆组件目标图像进行聚类，得到至少一个聚类中心；
当每一所述聚类中心满足预设条件时，确定将每一所述车辆组件目标图像分配到对应的聚类中心即车辆类别。
6.根据权利要求5所述的方法，其特征在于，所述预设条件包括：
所述聚类中心中的车辆组件目标图像数量大于等于2且小于等于预设值，以及所述聚类中心中的每一分类的车辆组件目标图像数量小于等于1。
7.根据权利要求1所述的方法，其特征在于，所述基于所述位置关系判断该停车位的停车状态，包括：
根据每一所述关联关系中的任一车辆组件目标图像的位置信息，以及所述停车区域图像中每一停车位的车位框位置信息，确定所述停车区域图像中的车辆与停车位的位置关系，并基于所述位置关系，判断所述停车区域图像中的车辆是否位于停车位内；
若是，确定所述停车位的停车状态为已占用；
否则，确定所述停车位的停车状态为空闲。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于采集的连续多帧停车区域图像中的每一停车位的停车状态的检测结果，当每一所述停车位的停车状态确定为已占用或空闲到达预设次数时，发出该停车位的停车状态为已占用或空闲的通知消息。
9.一种停车位停车状态检测系统，其特征在于，包括：
图像采集模块，用于获取采集的停车区域图像；
车辆识别模块，用于将所述停车区域图像输入预先训练好的深度学习网络，得到至少一个车辆组件目标图像的图像特征，利用所述至少一个车辆组件目标图像的图像特征，计算各个所述车辆组件目标图像之间的相似度，得到相似度矩阵，基于所述相似度矩阵对所述至少一个车辆组件目标图像进行聚类，将属于同一车辆的所述车辆组件目标图像归为同一类别，并将每一所述类别中的车辆组件目标图像进行关联；
状态检测模块，用于根据每一所述关联关系中的任一车辆组件目标图像的位置信息，以及所述停车区域图像中每一停车位的车位框位置信息，确定所述每一停车位的停车状态。
10.一种停车位停车状态检测装置，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至8任一项所述的方法。
11.一种用于计算机的计算机程序产品，其特征在于，包括软件代码部分，当所述产品在所述计算机上运行时，所述软件代码部分用于执行根据权利要求1至8中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至8任一项所述的方法。
CN202310936077.9A 2023-07-27 2023-07-27 一种停车位停车状态检测方法、系统及装置 Pending CN117095367A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310936077.9A CN117095367A (zh) 2023-07-27 2023-07-27 一种停车位停车状态检测方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310936077.9A CN117095367A (zh) 2023-07-27 2023-07-27 一种停车位停车状态检测方法、系统及装置

Publications (1)

Publication Number Publication Date
CN117095367A true CN117095367A (zh) 2023-11-21

Family

ID=88772756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310936077.9A Pending CN117095367A (zh) 2023-07-27 2023-07-27 一种停车位停车状态检测方法、系统及装置

Country Status (1)

Country Link
CN (1) CN117095367A (zh)

Similar Documents

Publication Publication Date Title
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN111951144B (zh) 一种违章路段的确定方法、设备及计算机可读存储介质
CN112435469A (zh) 车辆预警控制方法、装置、计算机可读介质及电子设备
CN112233428B (zh) 车流量预测方法、装置、存储介质及设备
CN113011753A (zh) 基于人工智能与大数据的智慧园区管理方法及云平台系统
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
CN113393442A (zh) 列车零部件异常检测方法、系统、电子设备及存储介质
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN112885112A (zh) 车辆行驶检测的方法、车辆行驶预警的方法和装置
CN112309126A (zh) 车牌检测方法、装置、电子设备及计算机可读存储介质
CN117010542A (zh) 数据预测模型的训练方法、使用方法、装置、设备和介质
CN114677575A (zh) 场景迁移方法、装置及电子设备
CN111695820A (zh) 工程车辆电子联单管理方法、装置、终端及存储介质
CN117133124A (zh) 一种数字孪生智能公路收费与管理系统及方法
CN117095367A (zh) 一种停车位停车状态检测方法、系统及装置
CN115984723A (zh) 道路破损检测方法、系统、装置、存储介质及计算机设备
CN110660216B (zh) 行程时间阈值确定方法、系统及智能设备
CN113537087A (zh) 一种智慧交通信息处理方法、装置及服务器
CN111709357B (zh) 识别目标区域的方法、装置、电子设备和路侧设备
CN111049892B (zh) 一种感知终端的数据处理方法及装置
CN114495028A (zh) 一种车辆套牌的识别方法、装置、电子设备及存储介质
CN110348525B (zh) 地图兴趣点获取方法、装置、设备及存储介质
CN113128831A (zh) 基于边缘计算的人流引导方法、装置、计算机设备和存储介质
CN112150853A (zh) 停车场管理方法、装置、存储介质及电子设备
CN113887811B (zh) 一种充电桩数据管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination