CN113569648A - 一种车辆挪位记录的方法及装置 - Google Patents

一种车辆挪位记录的方法及装置 Download PDF

Info

Publication number
CN113569648A
CN113569648A CN202110727028.5A CN202110727028A CN113569648A CN 113569648 A CN113569648 A CN 113569648A CN 202110727028 A CN202110727028 A CN 202110727028A CN 113569648 A CN113569648 A CN 113569648A
Authority
CN
China
Prior art keywords
vehicle
parking
image
model
initial model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110727028.5A
Other languages
English (en)
Other versions
CN113569648B (zh
Inventor
唐健
罗杰
黎明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jieshun Science and Technology Industry Co Ltd
Original Assignee
Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jieshun Science and Technology Industry Co Ltd filed Critical Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority to CN202110727028.5A priority Critical patent/CN113569648B/zh
Publication of CN113569648A publication Critical patent/CN113569648A/zh
Application granted granted Critical
Publication of CN113569648B publication Critical patent/CN113569648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了一种车辆挪位记录的方法及装置，用于生成路边停放的车辆进行挪位的记录，从而对路边停放的车辆进行精确的监控。本申请实施例方法包括：接收目标摄像机每隔第一预设时间发送一张的停车图像，所述目标摄像机用于拍摄预设区域，所述预设区域包括至少2个停车位；识别所接收的停车图像中的车辆；生成最新接收到的停车图像中所有的车辆的运动轨迹；判断所有的运动轨迹中是否存在车辆的挪位轨迹，所述挪位轨迹表示车辆从任一个停车位挪位至另一个停车位；若是，则生成所述挪位轨迹对应的车辆的挪位记录。

Description

一种车辆挪位记录的方法及装置
技术领域
本申请实施例涉及深度学习技术领域，尤其涉及一种车辆挪位记录的方法及装置。
背景技术
随着汽车的普及，汽车的数量也变得越来越多，为了方便管理城市中路边停车的车辆，路边停车收费系统应运而生。
然而，现在技术中路边停车收费系统无法对经过挪位的车辆进行记录，从而无法对路边停放的车辆进行精确的监控。
发明内容
本申请实施例提供了一种车辆挪位记录的方法及装置，可以生成路边停放的车辆进行挪位的记录，从而对路边停放的车辆进行精确的监控。
本申请实施例第一方面提供了一种车辆挪位记录的方法，包括：
接收目标摄像机每隔第一预设时间发送一张的停车图像，所述目标摄像机用于拍摄预设区域，所述预设区域包括至少2个停车位；
识别所接收的停车图像中的车辆；
生成最新接收到的停车图像中所有的车辆的运动轨迹；
判断所有的运动轨迹中是否存在车辆的挪位轨迹，所述挪位轨迹表示车辆从任一个停车位挪位至另一个停车位；
若是，则生成所述挪位轨迹对应的车辆的挪位记录。
可选的，所述识别所接收的停车图像中的车辆包括：
将所接收的停车图像输入第一模型，得到至少一张去除背景的车辆图像，所述第一模型为基于Mask R-CNN的神经网络模型；
将所述车辆图像输入第二模型，得到所述车辆图像对应的车辆特征向量，所述第二模型为基于残差网络(Residual Network，ResNet)的神经网络模型；
通过所述车辆特征向量识别车辆。
可选的，所述将所接收的停车图像输入第一模型，得到至少一张去除背景的车辆图像包括：
将所接收的停车图像输入第一模型，得到至少一个检测框以及所述检测框对应的掩码；
根据所述检测框和所述掩码生成去除背景的车辆图像。
可选的，所述判断所有的运动轨迹中是否存在车辆的挪位轨迹包括：
从所有的运动轨迹中筛选出经过两个停车位的运动轨迹；
计算每一个筛选出的运动轨迹对应的检测框与经过的第一个停车位的交并比(Intersection over Union，IOU)大于阈值的第一停车时间，以及与经过的第二个停车位的IOU大于所述阈值的第二停车时间；
判断每一个筛选出的运动轨迹的第一停车时间和第二停车时间是否都大于第二预设时间，若是，则确定第一停车时间和第二停车时间都大于第二预设时间的运动轨迹为车辆的挪位轨迹。
可选的，所述接收目标摄像机每隔第一预设时间发送一张的停车图像之前，所述方法还包括：
训练第一初始模型，得到第一模型，所述第一初始模型为Mask R-CNN的神经网络模型，所述第一初始模型用于根据停车图像生成去除背景的车辆图像。
可选的，所述训练第一初始模型，得到第一模型包括：
将第一样本集输入第一初始模型，所述第一样本集包含至少2张预先标记好检测框和掩码的停车图像；
随机将所述第一样本集按每M张停车图像分组，所述M大于等于1；
将任一组样本在所述第一初始模型中正向传播；
根据第一总损失函数计算第一总损失值，并反向更新所述第一初始模型，所述第一总损失值由分类损失值、检测损失值和分割损失值组成；
将所述第一样本集剩下的每一组样本依次在更新后的所述初始识别模型中正向传播，进行第一总损失值计算，并反向更新上一组样本更新过的所述第一初始模型；
计算所述第一样本集的平均第一总损失值；
依次重复上述步骤以进行下一次迭代，当达到迭代收敛条件后，将最后一次迭代得到的所述第一初始模型确定为第一模型。
可选的，所述接收目标摄像机每隔第一预设时间发送一张的停车图像之前，所述方法还包括：
训练第二初始模型，得到第二模型，所述第二初始模型为基于ResNet的神经网络模型，所述第二初始模型用于根据去除背景的车辆图像生成车辆特征向量。
可选的，所述训练第二初始模型，得到第二模型包括：
将第二样本集输入第二初始模型，所述第二样本集包括一类车辆图像和二类车辆图像，所述一类车辆图像为第二摄像机在不同时刻拍摄的停车图像中第一车辆的车辆图像，所述二类车辆图像为所述第二摄像机在不同时刻拍摄的停车图像中第二车辆的车辆图像；
从所述一类车辆图像中随机获取两张车辆图像，并从所述二类车辆图像中随机获取一张车辆图像，将这三张车辆图像组成一组样本并在所述第二初始模型中正向传播；
根据第二总损失函数计算第二总损失值，并反向更新所述第二初始模型；
依次重复上述步骤以进行下一次迭代，当达到迭代收敛条件后，将最后一次迭代得到的所述第二初始模型确定为第二模型。
本申请实施例第二方面提供了一种车辆挪位记录的装置，包括：
接收单元，用于接收目标摄像机每隔第一预设时间发送一张的停车图像，所述目标摄像机用于拍摄预设区域，所述预设区域包括至少2个停车位；
识别单元，用于识别所接收的停车图像中的车辆；
第一生成单元，用于生成最新接收到的停车图像中所有的车辆的运动轨迹；
判断单元，用于判断所有的运动轨迹中是否存在车辆的挪位轨迹，所述挪位轨迹表示车辆从任一个停车位挪位至另一个停车位；
第二生成单元，用于当所述判断单元确定所有的运动轨迹中存在所述挪位轨迹时，生成所述挪位轨迹对应的车辆的挪位记录。
可选的，所述识别单元具体包括：
第一输入模块，用于将所接收的停车图像输入第一模型，得到至少一张去除背景的车辆图像；
第二输入模块，用于将所述车辆图像输入第二模型，得到所述车辆图像对应的车辆特征向量；
识别模块，用于通过所述车辆特征向量识别车辆。
可选的，所述第一输入模块具体用于：
将所接收的停车图像输入第一模型，得到至少一个检测框以及所述检测框对应的掩码；
根据所述检测框和所述掩码生成去除背景的车辆图像。
可选的，所述判断单元具体用于：
从所有的运动轨迹中筛选出经过两个停车位的运动轨迹；
计算每一个筛选出的运动轨迹对应的检测框与经过的第一个停车位的交并比IOU大于阈值的第一停车时间，以及与经过的第二个停车位的IOU大于所述阈值的第二停车时间；
判断每一个筛选出的运动轨迹的第一停车时间和第二停车时间是否都大于第二预设时间，若是，则确定第一停车时间和第二停车时间都大于第二预设时间的运动轨迹为车辆的挪位轨迹。
可选的，所述装置还包括第一训练单元，所述第一训练单元具体用于：
将第一样本集输入第一初始模型，所述第一样本集包含至少2张预先标记好检测框和掩码的停车图像；
随机将所述第一样本集按每M张停车图像分组，所述M大于等于1；
将任一组样本在所述第一初始模型中正向传播；
根据第一总损失函数计算第一总损失值，并反向更新所述第一初始模型，所述第一总损失值由分类损失值、检测损失值和分割损失值组成；
将所述第一样本集剩下的每一组样本依次在更新后的所述初始识别模型中正向传播，进行第一总损失值计算，并反向更新上一组样本更新过的所述第一初始模型；
计算所述第一样本集的平均第一总损失值；
依次重复上述步骤以进行下一次迭代，当达到迭代收敛条件后，将最后一次迭代得到的所述第一初始模型确定为第一模型。
可选的，所述装置还包括第二训练单元，所述第二训练单元具体用于：
将第二样本集输入第二初始模型，所述第二样本集包括一类车辆图像和二类车辆图像，所述一类车辆图像为第二摄像机在不同时刻拍摄的停车图像中第一车辆的车辆图像，所述二类车辆图像为所述第二摄像机在不同时刻拍摄的停车图像中第二车辆的车辆图像；
从所述一类车辆图像中随机获取两张车辆图像，并从所述二类车辆图像中随机获取一张车辆图像，将这三张车辆图像组成一组样本并在所述第二初始模型中正向传播；
根据第二总损失函数计算第二总损失值，并反向更新所述第二初始模型；
依次重复上述步骤以进行下一次迭代，当达到迭代收敛条件后，将最后一次迭代得到的所述第二初始模型确定为第二模型。
本申请实施例第三方面提供了一种车辆挪位记录的装置，包括：
处理器、存储器、输入输出单元、总线；
处理器与存储器、输入输出单元以及总线相连；
处理器具体执行如下操作：
接收目标摄像机每隔第一预设时间发送一张的停车图像，所述目标摄像机用于拍摄预设区域，所述预设区域包括至少2个停车位；
识别所接收的停车图像中的车辆；
生成最新接收到的停车图像中所有的车辆的运动轨迹；
判断所有的运动轨迹中是否存在车辆的挪位轨迹，所述挪位轨迹表示车辆从任一个停车位挪位至另一个停车位；
若是，则生成所述挪位轨迹对应的车辆的挪位记录。
可选的，处理器还用于执行第一方面以及第一方面的可选方案中的方法。
本申请实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面的可选方案中的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
目标摄像机每隔第一预设时间向服务器发送一张停车图像，服务器在接收到停车图像之后，首先对识别停车图像中的所有不同的车辆，然后生成最新接收到的停车图像中所有的车辆的运动轨迹，当运动轨迹中存在车辆的挪位轨迹时，则服务器确定该挪位轨迹对应的车辆进行了挪位，并生成该挪位轨迹对应的车辆的挪位记录，从而对路边停放的车辆进行精确的监控。此外，在计算该车辆的停车时间时，可以先将挪位记录前后的两段停车时间加起来，得到总停车时间，再根据总停车时间统计该车辆停车费，从而减少收取停车费混乱的情况，提高了管理路边停车位的效率。
附图说明
图1为本申请实施例中车辆挪位记录的方法一个实施例流程示意图；
图2为本申请实施例中车辆挪位记录的方法另一个实施例流程示意图；
图3为本申请实施例中车辆挪位记录的方法另一个实施例流程示意图；
图4为本申请实施例中车辆挪位记录的装置一个实施例结构示意图；
图5为本申请实施例中车辆挪位记录的装置另一个实施例结构示意图；
图6为本申请实施例中车辆挪位记录的装置另一个实施例结构示意图。
具体实施方式
本申请实施例提供了一种车辆挪位记录的方法及装置，用于生成路边停放的车辆进行挪位的记录，从而对路边停放的车辆进行精确的监控。
下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的方法可以应用于服务器、终端或者其它具备逻辑处理能力的设备，对此，本申请不作限定。为方便描述，下面以执行主体为服务器为例进行描述。
请参阅图1，本申请实施例中车辆挪位记录的方法一个实施例包括：
101、接收目标摄像机每隔第一预设时间发送一张的停车图像；
在实际应用中，目标摄像机每隔第一预设时间会对预设区域进行一次拍摄，然后将拍摄得到的停车图像发送给服务器。其中，目标摄像头为高位摄像头，目标摄像头所拍摄的预设区域包括至少2个停车位。
102、识别所接收的停车图像中的车辆；
服务器每接收到一张停车图像，可以对停车图像进行处理，识别停车图像中的所有车辆。
103、生成最新接收到的停车图像中所有的车辆的运动轨迹；
接收到最新的停车图像并识别其中的车辆后，服务器可以根据之前接收到的停车图像中同一车辆所处在的位置，生成最新接收到的停车图像中所有的车辆的运动轨迹。
104、判断所有的运动轨迹中是否存在车辆的挪位轨迹，若是，则执行步骤105；
服务器在生成运动轨迹后，可以对运动轨迹进行判断，当运动轨迹中存在车辆的挪位轨迹时，则可以执行步骤105。其中，车辆的挪位轨迹表示车辆从任一个停车位挪位至另一个停车位，即服务器可以对运动轨迹进行判断，如果某一个运动轨迹对应的车辆从任一个停车位挪位至另一个停车位服务器则可以确定该运动轨迹为挪位轨迹。
105、生成所述挪位轨迹对应的车辆的挪位记录。
当服务器确定存在挪位轨迹时，则可以生成该挪位轨迹对应的车辆的挪位记录。
本实施例中，目标摄像机每隔第一预设时间向服务器发送一张停车图像，服务器在接收到停车图像之后，首先对识别停车图像中的所有不同的车辆，然后生成最新接收到的停车图像中所有的车辆的运动轨迹，当运动轨迹中存在车辆的挪位轨迹时，则服务器可以确定该挪位轨迹对应的车辆进行了挪位，并生成该挪位轨迹对应的车辆的挪位记录，从而对路边停放的车辆进行精确的监控。此外，在计算该车辆的停车时间时，可以先将挪位记录前后的两段停车时间加起来，得到总停车时间，再根据总停车时间统计该车辆停车费，从而减少收取停车费混乱的情况。此外，可以通过车辆轨迹监控哪些停车位是因挪位导致被占用或者空缺。此外，当停车位的传感器发生故障无法正常管理车辆时，还可以通过目标摄像机拍摄的图片对车辆进行管理。
请参阅图2，本申请实施例中车辆挪位记录的方法另一个实施例包括：
201、将第一样本集输入第一初始模型；
在使用第一模型之前，服务器可以先对第一初始模型进行训练，从而得到第一模型。服务器将获取到的第一样本集输入第一初始模型，以开始对第一初始模型进行训练。第一样本集包含至少2张预先标记好检测框和掩码的停车图像。第一初始模型为基于Mask R-CNN的神经网络模型。
202、随机将所述第一样本集按每M张停车图像分组；
服务器将第一样本集输入到第一初始模型之后，可以将第一样本集进行分组，逐组样本对第一初始模型进行训练。服务器可以将第一样本集按照每M张停车图像进行分组，其中M大于等于1。
本实施例中，第一样本集的最后一组样本中停车图像的数量可以等于M，也可以小于M。例如当第一样本集总共有1000张停车图像时，对M取值16，则最后一组样本为8张停车图像，此时最后一组样本中停车图像的数量小于M；对M取值10，则最后一组样本中停车图像的数量为10张，此时最后一组样本中停车图像的数量等于M。
本实施例中，第一初始模型的每一次迭代，服务器对第一样本集进行分组时，对M的取值可以是相同的，也可以是不同的，具体此处不做限定。
203、将任一组样本在所述第一初始模型中正向传播；
服务器可以从第一样本集中随机选取一组样本，然后将该组样本沿着第一初始模型中的各层进行正向传播，然后得到第一初始模型的输出结果。
204、根据第一总损失函数计算第一总损失值，并反向更新所述第一初始模型；
将一组样本正向传播结束后，服务器可以对该组样本进行第一总损失值计算，第一总损失值由分类损失值、检测损失值和分割损失值组成。第一总损失值的计算如公式(1)所示：
L＝Lcls+Lbox+Lmask 公式(1)
其中，Lcls为分类损失值，Lbox为检测损失值，Lmask为分割损失值。
205、将所述第一样本集剩下的每一组样本依次在更新后的所述初始识别模型中正向传播，进行第一总损失值计算，并反向更新上一组样本更新过的所述第一初始模型；
服务器反向更新初始检测模型之后，可以对第一样本集中剩下的每一组样本执行正向传播、计算第一总损失值以及反向更新上一组样本更新过的第一初始模型操作，直至第一样本集中每一组样本都被使用过。
206、计算所述第一样本集的平均第一总损失值；
服务器在使用第一样本集中的所有样本对第一初始模型进行训练之后，可以将各组样本的第一总损失值作平均处理，得到第一样本集的平均第一总损失值，即本次迭代的第一总损失值。
207、判断更新后的所述第一初始模型是否达到迭代收敛条件，若是则执行步骤208；若否则重新执行步骤201至207；
计算完第一样本集的平均第一总损失值意味着一次迭代的结束，此时服务器可以判断更新后的第一初始模型是否达到迭代收敛条件，如果达到，则可以停止对第一初始模型的训练，并执行步骤208；如果没达到，则可以重新执行步骤201至207以进行下一次迭代训练。
本实施例中，第一初始模型的迭代收敛条件可以是第一初始模型迭代次数达到了预设结束次数，也可以是第一初始模型连续A次迭代得到的平均第一总损失值都处于预设区间内，具体此处不做限定。A为预先设置好的值，且A大于等于2。
208、将最后一次迭代得到的所述第一初始模型确定为第一模型；
当服务器确定更新后的第一初始模型达到迭代收敛条件之后，则可以将最后一次迭代得到的第一初始模型确定为第一模型。此时，服务器对第一初始模型的训练全部结束。
209、接收目标摄像机每隔第一预设时间发送一张的停车图像；
本实施例中的步骤209与前述实施例中的步骤101类似，此处不再赘述。
210、将所接收的停车图像输入第一模型，得到至少一个检测框以及所述检测框对应的掩码；
服务器每接收到一张停车图像，可以将停车图像输入到第一模型中，然后得到第一模型输出的至少一个检测框以及检测框对应的掩码，检测框和掩码一一对应。
211、根据所述检测框和所述掩码生成去除背景的车辆图像；
服务器在得到检测框和掩码之后，可以根据掩码对检测框进行处理，去除检测框中的背景部分，从而生成去除背景的车辆图像。
212、将每一张所述车辆图像输入第二模型，得到所述车辆图像对应的车辆特征向量；
服务器在生成车辆图像之后，可以将车辆图像输入到第二模型中，然后得到第二模型输出的车辆特征向量。
本实施例中，使用去除背景的车辆图像作为车辆识别的依据，可以减少背景对识别车辆的误差，提高了识别车辆的准确性。
213、通过所述车辆特征向量识别车辆；
服务器可以通过车辆特征向量识别不同的车辆。需要说明的是，在连续两张停车图像中，同一辆车对应的车辆特征向量并不一定是完全相同的，服务器可以通过计算两个车辆特征向量的距离确定它们是否对应同一车辆。
214、生成最新收到的停车图像中所有的车辆的运动轨迹；
本实施例中的步骤214与前述实施例中的步骤103类似，此处不再赘述。
215、从所有的运动轨迹中筛选出经过两个停车位的运动轨迹；
如果车辆进行了挪位，则该车辆对应的运动轨迹必然会经过两个停车位，因此服务器可以从所有的运动轨迹中筛选出经过两个停车位的运动轨迹。
216、计算每一个筛选出的运动轨迹对应的检测框与经过的第一个停车位的IOU大于阈值的第一停车时间，以及与经过的第二个停车位的IOU大于所述阈值的第二停车时间；
服务器在筛选出经过两个停车位的运动轨迹之后，可以分别计算这些运动轨迹对应的车辆在两个停车位停留的时间。运动轨迹对应的检测框与经过的停车位的IOU大于阈值时则说明车辆在停车位停留。服务器可以计算筛选出的经过的运动轨迹对应的检测框与经过的第一个停车位的IOU大于阈值的第一停车时间，以及检测框与经过的第二个停车位的IOU大于阈值的第二停车时间。
217、判断每一个筛选出的运动轨迹的第一停车时间和第二停车时间是否都大于第二预设时间，若是则执行步骤218；
在计算出第一停车时间和第二停车时间之后，服务器可以根据第一停车时间和第二停车时间对该运动轨迹对应的车辆进行判断，如果第一停车时间和第二停车时间都大于第二预设时间，则说明该车辆在第一个停车位停车之后，又在第二个停车位停车，即该车辆发生了挪位，此时服务器可以确定该车辆进行了挪位，则可以执行步骤218。
本实施例中，通过第二预设时间判断运动轨迹对应的车辆是否在两个车位停车，如果第一停车时间或者第二停车时间小于第二预设时间，则确定车辆只是经过相应的停车位而不是停下，减少了当车辆经过停车位时误识别为在停车位停车的情况。
218、确定第一停车时间和第二停车时间都大于第二预设时间的运动轨迹为车辆的挪位轨迹；
服务器可以确定第一停车时间和第二停车时间都大于第二预设时间的运动轨迹为挪位轨迹。
219、生成所述挪位轨迹对应的车辆的挪位记录。
本实施例中的步骤219与前述实施例中的步骤105类似，此处不再赘述。
请参阅图3，本申请实施例中车辆挪位记录的方法另一个实施例包括：
301、将第二样本集输入第二初始模型，所述第二样本集包括一类车辆图像和二类车辆图像；
在使用第二模型之前，服务器可以先对第二初始模型进行训练，从而得到第二模型。服务器将获取到的第二样本集输入第二初始模型，以开始对第二初始模型进行训练。其中，一类车辆图像为第二摄像机在不同时刻拍摄的停车图像中第一车辆的车辆图像，二类车辆图像为第二摄像机在不同时刻拍摄的停车图像中第二车辆的车辆图像。第二模型为基于ResNet的神经网络模型。
302、从所述一类车辆图像中随机获取两张车辆图像，并从所述二类车辆图像中随机获取一张车辆图像，将这三张车辆图像组成一组样本并在所述第二初始模型中正向传播；
服务器可以从一类车辆图像中随机获取两张车辆图像，并从二类车辆图像中随机获取一张车辆图像，将这三张车辆图像组成一组样本并在第二初始模型中正向传播，然后得到第二初始模型输出的3张车辆图像的车辆特征向量。
303、根据第二总损失函数计算第二总损失值，并反向更新所述第二初始模型；
将一组样本正向传播结束后，服务器可以对该组样本进行第二总损失值计算，第二总损失值的计算如公式(2)所示：
L＝max(d(a，p)-d(a，n)+margin，0) 公式(2)
其中，a和p分别为该组样本中一类车辆图像对应的车辆特征向量，n为该组样本中二类车辆图像对应的车辆特征向量，d(a，p)表示a和p的距离，d(a，n)表示a和n的距离，margin为阈值。
304、判断更新后的所述第二初始模型是否达到迭代收敛条件，若是则执行步骤305；若否则重新执行步骤301至304；
在计算一组样本的第二总损失值之后，服务器可以判断更新后的第二初始模型是否达到迭代收敛条件，如果达到，则可以停止对第二初始模型的训练，并执行步骤208；如果没达到，则可以重新执行步骤201至207以进行下一次迭代训练。
本实施例中，第二初始模型的迭代收敛条件可以是第二初始模型迭代次数达到了预设结束次数，也可以是第二初始模型连续B次迭代得到的平均第二总损失值都处于预设区间内，具体此处不做限定。B为预先设置好的值，且B大于等于2。
305、将最后一次迭代得到的所述第二初始模型确定为第二模型；
当服务器确定更新后的第二初始模型达到迭代收敛条件之后，则可以将最后一次迭代得到的第二初始模型确定为第二模型。此时，服务器对第二初始模型的训练全部结束。
306、接收目标摄像机每隔第一预设时间发送一张的停车图像；
307、将所接收的停车图像输入第一模型，得到至少一个检测框以及所述检测框对应的掩码；
308、根据所述检测框和所述掩码生成去除背景的车辆图像；
309、将每一张所述车辆图像输入第二模型，得到所述车辆图像对应的车辆特征向量；
310、通过所述车辆特征向量识别车辆；
311、生成最新收到的停车图像中所有的车辆的运动轨迹；
312、从所有的运动轨迹中筛选出经过两个停车位的运动轨迹；
313、计算每一个筛选出的运动轨迹对应的检测框与经过的第一个停车位的IOU大于阈值的第一停车时间，以及与经过的第二个停车位的IOU大于所述阈值的第二停车时间；
314、判断每一个筛选出的运动轨迹的第一停车时间和第二停车时间是否都大于第二预设时间，若是则执行步骤218；
315、确定第一停车时间和第二停车时间都大于第二预设时间的运动轨迹为车辆的挪位轨迹；
316、生成所述挪位轨迹对应的车辆的挪位记录。
本实施例中的步骤306至316与前述实施例中的步骤209至219类似，此处不再赘述。
上面对本申请实施例中车辆挪位记录的方法进行了描述，下面对车辆挪位记录的装置进行描述。
请参阅图4，本申请实施例中车辆挪位记录的装置一个实施例包括：
接收单元401，用于接收目标摄像机每隔第一预设时间发送一张的停车图像，目标摄像机用于拍摄预设区域，预设区域包括至少2个停车位；
识别单元402，用于识别所接收的停车图像中的车辆；
第一生成单元403，用于生成最新接收到的停车图像中所有的车辆的运动轨迹；
判断单元404，用于判断所有的运动轨迹中是否存在车辆的挪位轨迹，挪位轨迹表示车辆从任一个停车位挪位至另一个停车位；
第二生成单元405，用于当判断单元确定所有的运动轨迹中存在挪位轨迹时，生成挪位轨迹对应的车辆的挪位记录。
本实施例中，接收单元401在接收到停车图像之后，识别单元402首先对识别停车图像中的所有不同的车辆，然后第一生成单元403生成最新接收到的停车图像中所有的车辆的运动轨迹，当运动轨迹中存在挪位轨迹时，则判断单元404可以确定该挪位轨迹对应的车辆进行了挪位，此时第二生成单元405可以生成该挪位轨迹对应的车辆的挪位记录。此外，在计算该车辆的停车时间时，可以先将挪位记录前后的两段停车时间加起来，得到总停车时间，再根据总停车时间统计该车辆停车费，从而减少收取停车费混乱的情况。
请参阅图5，本申请实施例中车辆挪位记录的装置另一个实施例包括：
接收单元501，用于接收目标摄像机每隔第一预设时间发送一张的停车图像，目标摄像机用于拍摄预设区域，预设区域包括至少2个停车位；
识别单元502，用于识别所接收的停车图像中的车辆；
第一生成单元503，用于生成最新接收到的停车图像中所有的车辆的运动轨迹；
判断单元504，用于判断所有的运动轨迹中是否存在车辆的挪位轨迹，挪位轨迹表示车辆从任一个停车位挪位至另一个停车位；
第二生成单元505，用于当判断单元确定所有的运动轨迹中存在挪位轨迹时，生成挪位轨迹对应的车辆的挪位记录。
本实施例中，车辆挪位记录的装置还可以进一步包括第一训练单元506以及第二训练单元507。
第一训练单元506具体用于：
将第一样本集输入第一初始模型，第一样本集包含至少2张预先标记好检测框和掩码的停车图像；
随机将第一样本集按每M张停车图像分组，M大于等于1；
将任一组样本在第一初始模型中正向传播；
根据第一总损失函数计算第一总损失值，并反向更新第一初始模型，第一总损失值由分类损失值、检测损失值和分割损失值组成；
将第一样本集剩下的每一组样本依次在更新后的初始识别模型中正向传播，进行第一总损失值计算，并反向更新上一组样本更新过的第一初始模型；
计算第一样本集的平均第一总损失值；
依次重复上述步骤以进行下一次迭代，当达到迭代收敛条件后，将最后一次迭代得到的第一初始模型确定为第一模型。
第二训练单元507具体用于：
将第二样本集输入第二初始模型，第二样本集包括一类车辆图像和二类车辆图像，一类车辆图像为第二摄像机在不同时刻拍摄的停车图像中第一车辆的车辆图像，二类车辆图像为第二摄像机在不同时刻拍摄的停车图像中第二车辆的车辆图像；
从一类车辆图像中随机获取两张车辆图像，并从二类车辆图像中随机获取一张车辆图像，将这三张车辆图像组成一组样本并在第二初始模型中正向传播；
根据第二总损失函数计算第二总损失值，并反向更新第二初始模型；
依次重复上述步骤以进行下一次迭代，当达到迭代收敛条件后，将最后一次迭代得到的第二初始模型确定为第二模型。
本实施例中，识别单元502可以包括第一输入模块5021、第二输入模块5022以及识别模块5023。
第一输入模块5021具体用于：
将所接收的停车图像输入第一模型，得到至少一个检测框以及检测框对应的掩码；根据检测框和掩码生成去除背景的车辆图像，第一模型为基于Mask R-CNN的神经网络模型。
第二输入模块5022用于将每一张车辆图像输入第二模型，得到车辆图像对应的车辆特征向量，第二模型为基于残差网络ResNet的神经网络模型。
识别模块5023用于通过车辆特征向量识别车辆。
本实施例中，判断单元504具体用于：
从所有的运动轨迹中筛选出经过两个停车位的运动轨迹；
计算每一个筛选出的运动轨迹对应的检测框与经过的第一个停车位的IOU大于阈值的第一停车时间，以及与经过的第二个停车位的IOU大于阈值的第二停车时间；
判断每一个筛选出的运动轨迹的第一停车时间和第二停车时间是否都大于第二预设时间，若是，则确定第一停车时间和第二停车时间都大于第二预设时间的运动轨迹为车辆的挪位轨迹。
本实施例中，各单元及模块的功能与前述图2和图3所示实施例中的步骤对应，此处不再赘述。
本实施例中，各单元及模块的功能与前述图2所示实施例中的步骤对应，此处不再赘述。
下面对本申请实施例中车辆挪位记录的装置进行详细描述，请参阅图6，本申请实施例中水表读数的装置另一实施例包括：
处理器601、存储器602、输入输出单元603、总线604；
处理器601与存储器602、输入输出单元603以及总线604相连；
处理器601具体执行如下操作：
接收目标摄像机每隔第一预设时间发送一张的停车图像，目标摄像机用于拍摄预设区域，预设区域包括至少2个停车位；
识别所接收的停车图像中的车辆；
生成最新接收到的停车图像中所有的车辆的运动轨迹；
判断所有的运动轨迹中是否存在车辆的挪位轨迹，挪位轨迹表示车辆从任一个停车位挪位至另一个停车位；
若是，则生成挪位轨迹对应的车辆的挪位记录。
本实施例中，处理器601的功能与前述图1至图3所示实施例中的步骤对应，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种车辆挪位记录的方法，其特征在于，包括：
接收目标摄像机每隔第一预设时间发送一张的停车图像，所述目标摄像机用于拍摄预设区域，所述预设区域包括至少2个停车位；
识别所接收的停车图像中的车辆；
生成最新接收到的停车图像中所有的车辆的运动轨迹；
判断所有的运动轨迹中是否存在车辆的挪位轨迹，所述挪位轨迹表示车辆从任一个停车位挪位至另一个停车位；
若是，则生成所述挪位轨迹对应的车辆的挪位记录。
2.根据权利要求1所述的方法，其特征在于，所述识别所接收的停车图像中的车辆包括：
将所接收的停车图像输入第一模型，得到至少一张去除背景的车辆图像，所述第一模型为基于Mask R-CNN的神经网络模型；
将所述车辆图像输入第二模型，得到所述车辆图像对应的车辆特征向量，所述第二模型为基于残差网络ResNet的神经网络模型；
通过所述车辆特征向量识别车辆。
3.根据权利要求2所述的方法，其特征在于，所述将所接收的停车图像输入第一模型，得到至少一张去除背景的车辆图像包括：
将所接收的停车图像输入第一模型，得到至少一个检测框以及所述检测框对应的掩码；
根据所述检测框和所述掩码生成去除背景的车辆图像。
4.根据权利要求3所述的方法，其特征在于，所述判断所有的运动轨迹中是否存在车辆的挪位轨迹包括：
从所有的运动轨迹中筛选出经过两个停车位的运动轨迹；
计算每一个筛选出的运动轨迹对应的检测框与经过的第一个停车位的交并比IOU大于阈值的第一停车时间，以及与经过的第二个停车位的IOU大于所述阈值的第二停车时间；
判断每一个筛选出的运动轨迹的第一停车时间和第二停车时间是否都大于第二预设时间，若是，则确定第一停车时间和第二停车时间都大于第二预设时间的运动轨迹为车辆的挪位轨迹。
5.根据权利要求1所述的方法，其特征在于，所述接收目标摄像机每隔第一预设时间发送一张的停车图像之前，所述方法还包括：
训练第一初始模型，得到第一模型，所述第一初始模型为Mask R-CNN的神经网络模型，所述第一初始模型用于根据停车图像生成去除背景的车辆图像。
6.根据权利要求5所述的方法，其特征在于，所述训练第一初始模型，得到第一模型包括：
将第一样本集输入第一初始模型，所述第一样本集包含至少2张预先标记好检测框和掩码的停车图像；
随机将所述第一样本集按每M张停车图像分组，所述M大于等于1；
将任一组样本在所述第一初始模型中正向传播；
根据第一总损失函数计算第一总损失值，并反向更新所述第一初始模型，所述第一总损失值由分类损失值、检测损失值和分割损失值组成；
将所述第一样本集剩下的每一组样本依次在更新后的所述初始识别模型中正向传播，进行第一总损失值计算，并反向更新上一组样本更新过的所述第一初始模型；
计算所述第一样本集的平均第一总损失值；
依次重复上述步骤以进行下一次迭代，当达到迭代收敛条件后，将最后一次迭代得到的所述第一初始模型确定为第一模型。
7.根据权利要求1所述的方法，其特征在于，所述接收目标摄像机每隔第一预设时间发送一张的停车图像之前，所述方法还包括：
训练第二初始模型，得到第二模型，所述第二初始模型为基于ResNet的神经网络模型，所述第二初始模型用于根据去除背景的车辆图像生成车辆特征向量。
8.根据权利要求7所述的方法，其特征在于，所述训练第二初始模型，得到第二模型包括：
将第二样本集输入第二初始模型，所述第二样本集包括一类车辆图像和二类车辆图像，所述一类车辆图像为第二摄像机在不同时刻拍摄的停车图像中第一车辆的车辆图像，所述二类车辆图像为所述第二摄像机在不同时刻拍摄的停车图像中第二车辆的车辆图像；
从所述一类车辆图像中随机获取两张车辆图像，并从所述二类车辆图像中随机获取一张车辆图像，将这三张车辆图像组成一组样本并在所述第二初始模型中正向传播；
根据第二总损失函数计算第二总损失值，并反向更新所述第二初始模型；
依次重复上述步骤以进行下一次迭代，当达到迭代收敛条件后，将最后一次迭代得到的所述第二初始模型确定为第二模型。
9.一种车辆挪位记录的装置，其特征在于，包括：
接收单元，用于接收目标摄像机每隔第一预设时间发送一张的停车图像，所述目标摄像机用于拍摄预设区域，所述预设区域包括至少2个停车位；
识别单元，用于识别所接收的停车图像中的车辆；
第一生成单元，用于生成最新接收到的停车图像中所有的车辆的运动轨迹；
判断单元，用于判断所有的运动轨迹中是否存在车辆的挪位轨迹，所述挪位轨迹表示车辆从任一个停车位挪位至另一个停车位；
第二生成单元，用于当所述判断单元确定所有的运动轨迹中存在所述挪位轨迹时，生成所述挪位轨迹对应的车辆的挪位记录。
10.根据权利要求9所述的装置，其特征在于，所述识别单元具体包括：
第一输入模块，用于将所接收的停车图像输入第一模型，得到至少一张去除背景的车辆图像；
第二输入模块，用于将所述车辆图像输入第二模型，得到所述车辆图像对应的车辆特征向量；
识别模块，用于通过所述车辆特征向量识别车辆。
CN202110727028.5A 2021-06-29 2021-06-29 一种车辆挪位记录的方法及装置 Active CN113569648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110727028.5A CN113569648B (zh) 2021-06-29 2021-06-29 一种车辆挪位记录的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110727028.5A CN113569648B (zh) 2021-06-29 2021-06-29 一种车辆挪位记录的方法及装置

Publications (2)

Publication Number Publication Date
CN113569648A true CN113569648A (zh) 2021-10-29
CN113569648B CN113569648B (zh) 2024-08-02

Family

ID=78163038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110727028.5A Active CN113569648B (zh) 2021-06-29 2021-06-29 一种车辆挪位记录的方法及装置

Country Status (1)

Country Link
CN (1) CN113569648B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100085427A1 (en) * 2008-10-07 2010-04-08 Industrial Technology Research Institute Image-based vehicle maneuvering assistant method and system
CN108960015A (zh) * 2017-05-24 2018-12-07 优信拍（北京）信息科技有限公司 一种基于深度学习的车系自动识别方法及装置
CN111754416A (zh) * 2019-03-29 2020-10-09 通用电气精准医疗有限责任公司 用于磁共振图像中背景噪音降低的系统和方法
CN111914842A (zh) * 2020-08-10 2020-11-10 深圳市视美泰技术股份有限公司 车牌信息的识别方法、装置、计算机设备及存储介质
US20200380864A1 (en) * 2017-11-16 2020-12-03 Intelligent Inter Connection Technology Co., Ltd. Roadside parking management method, device, and system based on multiple cameras
CN112364742A (zh) * 2020-11-02 2021-02-12 北京精英路通科技有限公司 一种车位管理方法、装置、计算机设备及存储介质
CN112766274A (zh) * 2021-02-01 2021-05-07 长沙市盛唐科技有限公司 一种基于Mask RCNN算法的水尺图像水位自动读数方法及系统
CN112861631A (zh) * 2020-12-31 2021-05-28 南京理工大学 一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法
US20210383242A1 (en) * 2018-11-13 2021-12-09 Samsung Electronics Co., Ltd. Joint unsupervised object segmentation and inpainting

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100085427A1 (en) * 2008-10-07 2010-04-08 Industrial Technology Research Institute Image-based vehicle maneuvering assistant method and system
CN108960015A (zh) * 2017-05-24 2018-12-07 优信拍（北京）信息科技有限公司 一种基于深度学习的车系自动识别方法及装置
US20200380864A1 (en) * 2017-11-16 2020-12-03 Intelligent Inter Connection Technology Co., Ltd. Roadside parking management method, device, and system based on multiple cameras
US20210383242A1 (en) * 2018-11-13 2021-12-09 Samsung Electronics Co., Ltd. Joint unsupervised object segmentation and inpainting
CN111754416A (zh) * 2019-03-29 2020-10-09 通用电气精准医疗有限责任公司 用于磁共振图像中背景噪音降低的系统和方法
CN111914842A (zh) * 2020-08-10 2020-11-10 深圳市视美泰技术股份有限公司 车牌信息的识别方法、装置、计算机设备及存储介质
CN112364742A (zh) * 2020-11-02 2021-02-12 北京精英路通科技有限公司 一种车位管理方法、装置、计算机设备及存储介质
CN112861631A (zh) * 2020-12-31 2021-05-28 南京理工大学 一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法
CN112766274A (zh) * 2021-02-01 2021-05-07 长沙市盛唐科技有限公司 一种基于Mask RCNN算法的水尺图像水位自动读数方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
凌晨 等: "基于Mask R-CNN算法的遥感图像处理技术及其应用", 计算机科学, no. 10, 15 October 2020 (2020-10-15) *
李建江 等: "基于网格热度值的船舶规律路径提取算法", 计算机研究与发展, no. 05, 15 May 2018 (2018-05-15) *

Also Published As

Publication number Publication date
CN113569648B (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
CN109887281B (zh) 一种监控交通事件的方法及系统
CN112750150B (zh) 基于车辆检测和多目标跟踪的车流量统计方法
CN111145555B (zh) 一种检测车辆违章的方法和装置
CN103927508B (zh) 一种目标车辆跟踪方法及装置
CN109657077A (zh) 模型训练方法、车道线生成方法、设备及存储介质
CN109703569B (zh) 一种信息处理方法、装置及存储介质
CN114049612B (zh) 基于以图搜图技术的高速公路车辆收费稽核系统及行驶路径双重获取检验方法
CN113191318B (zh) 目标检测方法、装置、电子设备及存储介质
CN112016499A (zh) 基于多分支卷积神经网络的交通场景风险评估方法及系统
CN114972911A (zh) 自动驾驶感知算法模型的输出数据收集处理方法及设备
CN107563288A (zh) 一种套牌车车辆的识别方法和装置
CN115546705B (zh) 目标识别方法、终端设备及存储介质
CN110827326A (zh) 模拟人车冲突场景模型生成方法、装置、设备和存储介质
CN112447060A (zh) 识别车道的方法、装置及计算设备
CN112560641A (zh) 基于视频的双向客流通道中的单向客流信息检测方法
CN115620518A (zh) 基于深度学习的交叉口交通冲突判别方法
CN110164137B (zh) 基于卡口对行车时间的套牌车辆的识别方法及系统、介质
CN112149471B (zh) 一种基于语义点云的回环检测方法及装置
CN116630367B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113569648B (zh) 一种车辆挪位记录的方法及装置
Bhaskar et al. Enhanced and effective parallel optical flow method for vehicle detection and tracking
CN116861244A (zh) 一种车辆行为评估方法、控制装置及可读存储介质
CN115359658B (zh) 交通事件的检测方法、装置、设备、存储介质及程序产品
CN109800685A (zh) 一种视频中对象的确定方法及装置
CN115909305A (zh) 一种车辆信息识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant