CN110491168B - 一种基于车轮着地点检测车辆停车状态的方法及装置 - Google Patents
一种基于车轮着地点检测车辆停车状态的方法及装置 Download PDFInfo
- Publication number
- CN110491168B CN110491168B CN201910732351.4A CN201910732351A CN110491168B CN 110491168 B CN110491168 B CN 110491168B CN 201910732351 A CN201910732351 A CN 201910732351A CN 110491168 B CN110491168 B CN 110491168B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- wheel
- parking space
- current
- parking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 84
- 238000012544 monitoring process Methods 0.000 claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 238000010586 diagram Methods 0.000 claims description 63
- 238000012549 training Methods 0.000 claims description 32
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 238000003825 pressing Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 12
- 102100024633 Carbonic anhydrase 2 Human genes 0.000 description 5
- 101000760643 Homo sapiens Carbonic anhydrase 2 Proteins 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种基于车轮着地点检测车辆停车状态的方法及装置，该方法包括：获取通过摄像机拍摄预定监控区域内的第一视频图像，并根据所述第一视频图像，确定每一个停车位的位置信息；基于车辆检测算法，检测所述第一视频图像中的车辆，并基于已确定的所述每一个停车位的位置信息，确定检测到的车辆是否停在任一停车位内；若所述车辆停在任一停车位内，检测所述车辆的车轮着地点位置；根据检测到的所述车辆的车轮着地点位置，判断所述车辆的停车状态。通过本发明，实现了高效、精确地判断车辆的多种停车状态，从而避免了场景复杂度限制、摄像头角度等因素导致停车状态判断失误情况发生，进一步地，极大地提高了路侧停车管理的效率。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于车轮着地点检测车辆停车状态的方法及装置。
背景技术
路侧停车管理是城市交通建设中的一个典型问题。针对城市停车位资源紧张和停车难问题，通过车位的统一管理和动态实时监测，可以充分利用车位资源，实现车位资源的有效融合，从而解决驾驶员寻停车位难的问题，提供停车服务的智能化和一体化。但是，路侧停车往往存在停车空间不封闭、停车环境复杂的情况，从而给停车管理增加了困难，尤其是如何精确判定停车位内停车状态，都是亟待解决的难题。
基于高位视频的监控技术近年来比较流行的方法，该方法通过摄像机对车辆和停车位信息进行图像视频采集，再通过计算机视觉技术进行分析与处理，从而达到对路侧停车状态进行监控与管理。高位视频的停车管理技术虽然存在直观、实时、安装维护费用低、可扩展能力强、能够同时监控多个停车位的信息和便于调查取证等优势，但是依靠高位视频技术对路侧停车进行自动化管理，必须配有识别停车位内停车状态的算法，然而现有停车状态判定算法易受场景复杂度限制、摄像头角度等因素的影响，均不能满足目前高位相机场景下的停车状态判定的需求。
发明内容
本发明实施例提供一种基于车轮着地点检测车辆停车状态的方法及装置，实现了高效、精确地判定停车位内车辆的停车状态。
一方面，本发明实施例提供了一种基于车轮着地点检测车辆停车状态的方法，包括：
获取通过摄像机拍摄预定监控区域内的第一视频图像，并根据所述第一视频图像，确定每一个停车位的位置信息；
基于车辆检测算法，检测所述第一视频图像中的车辆，并基于已确定的所述每一个停车位的位置信息，确定检测到的车辆是否停在任一停车位内；
若所述车辆停在任一停车位内，检测所述车辆的车轮着地点位置；
根据检测到的所述车辆的车轮着地点位置，判断所述车辆的停车状态。
另一方面，本发明实施例提供了一种基于车轮着地点检测车辆停车状态的装置，包括：
第一获取及确定模块，用于获取通过摄像机拍摄预定监控区域内的第一视频图像，并根据所述第一视频图像，确定每一个停车位的位置信息；
第一检测模块，用于基于车辆检测算法，检测所述第一视频图像中的车辆，并基于已确定的所述每一个停车位的位置信息，确定检测到的车辆是否停在任一停车位内；
第二检测模块，用于若所述车辆停在任一停车位内，检测所述车辆的车轮着地点位置；
判断模块，用于根据检测到的所述车辆的车轮着地点位置，判断所述车辆的停车状态。
上述技术方案具有如下有益效果：通过本发明，能够根据确定的路侧停车区域中的每一个停车位的位置信息，通过大数据学习方式分析不同的停车场景训练得到的车辆检测算法，能够精确地检测车辆是否停在任一停车位内，极大地提高了停车位内车辆的检测精度和效率；同时，通过该车辆检测算法，检测停在任一停车位内的车辆的车轮着地点位置，为后续判断车辆的停车状态提供了必要的前提条件；实现了根据检测到的车轮着地点位置，来高效、精确地判断车辆的多种停车状态，从而避免了场景复杂度限制、摄像头角度等因素导致停车状态判断失误情况发生，进一步地，极大地提高了路侧停车管理的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于车轮着地点检测车辆停车状态的方法流程图；
图2为本发明一优选实施例中在图像上对停车位地面上连线的标定示意图；
图3为本发明一优选实施例中基于卷积神经网络模型检测车轮着地点示意图；
图4为本发明一优选实施例中车轮着地点与停车位的每两个相邻库角构成的一组多个三角形的示意图；
图5为本发明一优选实施例中车辆正常停车状态的示意图；
图6为本发明一优选实施例中车辆跨位停车状态的示意图；
图7为本发明一优选实施例中的车辆压线停车状态示意图；
图8为本发明一实施例中一种基于车轮着地点检测车辆停车状态的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明实施例中一种基于车轮着地点检测车辆停车状态的方法流程图，包括：
101、获取通过摄像机拍摄预定监控区域内的第一视频图像，并根据所述第一视频图像，确定每一个停车位的位置信息；
102、基于车辆检测算法，检测所述第一视频图像中的车辆，并基于已确定的所述每一个停车位的位置信息，确定检测到的车辆是否停在任一停车位内；
103、若所述车辆停在任一停车位内，检测所述车辆的车轮着地点位置；
104、根据检测到的所述车辆的车轮着地点位置，判断所述车辆的停车状态。
进一步地，所述根据所述第一视频图像，确定每一个停车位的位置信息，包括：
根据所述第一视频图像，分别选择各个停车位处于无车状态时的任一停车位图像；
基于已确定的各个停车位处于无车状态时的停车位图像，在所述停车位图像中确定各个停车位的位置信息；
其中，停车位的位置信息包括停车位各个库角的坐标和两两相邻角点构成的各个边线中的至少一项。
进一步地，在所述基于车辆检测算法，检测所述第一视频图像中的车辆的步骤之前，包括：
获取所述摄像机拍摄预定监控区域内的第二视频图像；
对所述第二视频图像中的车辆进行标注，并基于标注后的所述第二视频图像训练深度卷积神经网络，得到车辆检测模型。
进一步地，所述基于车辆检测算法，检测所述第一视频图像中的车辆，并基于已确定的所述每一个停车位的位置信息，确定检测到的车辆是否停在任一停车位内，包括：
通过所述车辆检测模型，检测所述第一视频图像中的车辆；
确定所述第一视频图像中存在车辆的第一图像帧，并确定所述第一图像帧中所述车辆的车辆区域的坐标信息；
基于已确定的所述每一个停车位的位置信息和所述车辆区域的坐标信息，计算所述车辆区域是否在任一停车位内；
若是，确定所述车辆区域所在的当前停车位的位置信息。
进一步地，在所述检测所述车辆的车轮着地点位置的步骤之前，包括：
训练基于卷积神经网络的车轮着地点检测模型。
进一步地，在所述训练基于卷积神经网络的车轮着地点检测模型的步骤之前，包括：
获取通过所述摄像机拍摄预定监控区域内的第三视频图像，确定所述第三视频图像中的各个车辆；
确定所述各个车辆在所述第三视频图像中的任一图像帧的第二图像帧中车轮着地点的坐标信息与车轮状态；
基于所述坐标信息，针对所述各个车辆的每个车轮分别生成各自的第一热力图；
其中，所述车轮状态包括车轮着地点在图像中可见、车轮着地点在图像中不可见和车轮着地点不在图像中的任一种；
其中，若车轮状态为车轮着地点在图像中可见，进一步包括：
分别计算所述车轮对应的第一热力图中位置的值；
若车轮状态为车轮着地点在图像中不可见或车轮着地点不在图像中，所述车轮对应的第一热力图中位置的值为预定值。
进一步地，所述训练基于卷积神经网络的车轮着地点检测模型，包括：
在预定残差网络的最后一特征层之后添加预定个数的上采样层，并基于各个所述第二图像帧，训练所述预定残差网络；
将所述第二图像帧输入所述预定残差网络生成所述各个车辆每个车轮的第二热力图，得到所述各个车辆每个车轮的第二热力图中位置的值与所述各个车辆每个车轮的第一热力图中位置的值的损失函数，通过所述损失函数调整所述预定残差网络，得到车轮着地点检测模型。
进一步地，所述检测所述车辆的车轮着地点位置，包括：
将转化大小后的所述车辆的第一图像帧输入所述车轮着地点检测模型，得到所述车辆每个车轮的第三热力图；
基于所述车辆每个车轮的第三热力图，确定所述车辆每个车轮的着地点位置。
进一步地，所述根据检测到的所述车辆的车轮着地点位置，判断所述车辆的停车状态，包括：
基于已确定的所述车辆区域所在的当前停车位的位置信息，确定所述车辆停在当前停车位的面积；
确定所述车辆的每一个车轮着地点与当前停车位的每两个相邻库角构成的一组多个三角形的面积；
分别比较每组中的多个三角形面积之和与所述当前停车位面积的大小，得到每组的第一比较结果；
基于所述车辆每组的第一比较结果，确定所述车辆的停车状态；
其中，所述车辆的停车状态包括正常停车、跨位停车和压线停车中的任一种；
其中，所述正常停车包括车轮着地点在停车位内部和车轮着地点在停车位边线上中的任一情形。
进一步地，所述基于所述车辆每组的第一比较结果，确定所述车辆的停车状态，包括：
针对每一组的第一比较结果，若当前第一比较结果为大于，确定所述当前第一比较结果对应的当前车轮着地点在所述当前停车位外部；
否则，确定所述当前第一比较结果对应的当前车轮着地点在所述当前停车位内部或在当前停车位边线上。
进一步地，所述基于所述车辆每组的第一比较结果，确定所述车辆的停车状态，进一步包括：
将所述车辆每组第一比较结果分别与所述当前停车位的面积的比值与预定阈值参数比较，得到所述车辆每组的第二比较结果；
针对每一组的第二比较结果，若所述当前第二比较结果为大于，确定所述当前第二比较结果对应的当前车轮着地点在所述当前停车位外部；
否则，确定所述当前第二比较结果对应的当前车轮着地点在所述当前停车位内部或在所述当前停车位边线上。
进一步地，所述确定所述车辆的停车状态，包括：
若所述车辆的每一个车轮着地点在所述当前停车位内部或在所述当前停车位边线上，确定所述车辆的停车状态为正常停车；
若所述车辆的任一车轮着地点在所述当前停车位外部，进一步包括：
获取与当前停车位相邻的至少一个停车位信息，基于车轮着地点检测模型确定所述车辆的在所述当前停车位外部的车轮着地点是否在当前停车位相邻的任一停车位内；
若是，确定所述车辆的停车状态为跨位停车；
若否，确定所述车辆的停车状态为压线停车。
如图8所示，为一种基于车轮着地点检测车辆停车状态的装置结构示意图，包括：
第一获取及确定模块81，用于获取通过摄像机拍摄预定监控区域内的第一视频图像，并根据所述第一视频图像，确定每一个停车位的位置信息；
第一检测模块82，用于基于车辆检测算法，检测所述第一视频图像中的车辆，并基于已确定的所述每一个停车位的位置信息，确定检测到的车辆是否停在任一停车位内；
第二检测模块83，用于若所述车辆停在任一停车位内，检测所述车辆的车轮着地点位置；
判断模块84，用于根据检测到的所述车辆的车轮着地点位置，判断所述车辆的停车状态。
进一步地，所述第一获取及确定模块，包括：
选择单元，用于根据所述第一视频图像，分别选择各个停车位处于无车状态时的任一停车位图像；
第一确定单元，用于基于已确定的各个停车位处于无车状态时的停车位图像，在所述停车位图像中确定各个停车位的位置信息；
其中，停车位的位置信息包括停车位各个库角的坐标和两两相邻角点构成的各个边线中的至少一项。
进一步地，包括：
获取模块，用于获取所述摄像机拍摄预定监控区域内的第二视频图像；
标注及训练模块，用于对所述第二视频图像中的车辆进行标注，并基于标注后的所述第二视频图像训练深度卷积神经网络，得到车辆检测模型。
进一步地，所述第一检测模块，包括：
检测单元，用于通过所述车辆检测模型，检测所述第一视频图像中的车辆；
第二确定单元，用于确定所述第一视频图像中存在车辆的第一图像帧，并确定所述第一图像帧中所述车辆的车辆区域的坐标信息；
计算单元，用于基于已确定的所述每一个停车位的位置信息和所述车辆区域的坐标信息，计算所述车辆区域是否在任一停车位内；
第三确定单元，用于若是，确定所述车辆区域所在的当前停车位的位置信息。
进一步地，包括：
训练模块，用于训练基于卷积神经网络的车轮着地点检测模型。
进一步地，包括：
第二获取及确定模块，用于获取通过所述摄像机拍摄预定监控区域内的第三视频图像，确定所述第三视频图像中的各个车辆；
确定模块，用于确定所述各个车辆在所述第三视频图像中的任一图像帧的第二图像帧中车轮着地点的坐标信息与车轮状态；
生成模块，用于基于所述坐标信息，针对所述各个车辆的每个车轮分别生成各自的第一热力图；
其中，所述车轮状态包括车轮着地点在图像中可见、车轮着地点在图像中不可见和车轮着地点不在图像中的任一种；
其中，若车轮状态为车轮着地点在图像中可见，所述确定模块具体用于
若车轮状态为车轮着地点在图像中可见，分别计算所述车轮对应的第一热力图中位置的值；
若车轮状态为车轮着地点在图像中不可见或车轮着地点不在图像中，所述车轮对应的第一热力图中位置的值为预定值。
进一步地，所述训练模块，具体用于
在预定残差网络的最后一特征层之后添加预定个数的上采样层，并基于各个所述第二图像帧，训练所述预定残差网络；
将所述第二图像帧输入所述预定残差网络生成所述各个车辆每个车轮的第二热力图，得到所述各个车辆每个车轮的第二热力图中位置的值与所述各个车辆每个车轮的第一热力图中位置的值的损失函数，通过所述损失函数调整所述预定残差网络，得到车轮着地点检测模型。
进一步地，所述第二检测模块，具体用于
将转化大小后的所述车辆的第一图像帧输入所述车轮着地点检测模型，得到所述车辆每个车轮的第三热力图；
基于所述车辆每个车轮的第三热力图，确定所述车辆每个车轮的着地点位置。
进一步地，所述判断模块，包括：
第四确定单元，用于基于已确定的所述车辆区域所在的当前停车位的位置信息，确定所述车辆停在当前停车位的面积；
第五确定单元，用于确定所述车辆的每一个车轮着地点与当前停车位的每两个相邻库角构成的一组多个三角形的面积；
比较单元，用于分别比较每组中的多个三角形面积之和与所述当前停车位面积的大小，得到每组的第一比较结果；
第六确定单元，用于基于所述车辆每组的第一比较结果，确定所述车辆的停车状态；
其中，所述车辆的停车状态包括正常停车、跨位停车和压线停车中的任一种；
其中，所述正常停车包括车轮着地点在停车位内部和车轮着地点在停车位边线上中的任一情形。
进一步地，所述第六确定单元，具体用于
针对每一组的第一比较结果，若当前第一比较结果为大于，确定所述当前第一比较结果对应的当前车轮着地点在所述当前停车位外部；
否则，确定所述当前第一比较结果对应的当前车轮着地点在所述当前停车位内部或在当前停车位边线上。
进一步地，所述第六确定单元，还用于
将所述车辆每组第一比较结果分别与所述当前停车位的面积的比值与预定阈值参数比较，得到所述车辆每组的第二比较结果；
针对每一组的第二比较结果，若所述当前第二比较结果为大于，确定所述当前第二比较结果对应的当前车轮着地点在所述当前停车位外部；
否则，确定所述当前第二比较结果对应的当前车轮着地点在所述当前停车位内部或在所述当前停车位边线上。
进一步地，所述第六确定单元，具体用于
若所述车辆的每一个车轮着地点在所述当前停车位内部或在所述当前停车位边线上，确定所述车辆的停车状态为正常停车；
若所述车辆的任一车轮着地点在所述当前停车位外部，进一步包括：
获取与当前停车位相邻的至少一个停车位信息，基于车轮着地点检测模型确定所述车辆的在所述当前停车位外部的车轮着地点是否在当前停车位相邻的任一停车位内；
若是，确定所述车辆的停车状态为跨位停车；
若否，确定所述车辆的停车状态为压线停车。
本发明实施例上述技术方案具有如下有益效果：通过本发明，能够根据确定的路侧停车区域中的每一个停车位的位置信息，通过大数据学习方式分析不同的停车场景训练得到的车辆检测算法，能够精确地检测车辆是否停在任一停车位内，极大地提高了停车位内车辆的检测精度和效率；同时，通过该车辆检测算法，检测停在任一停车位内的车辆的车轮着地点位置，为后续判断车辆的停车状态提供了必要的前提条件；实现了根据检测到的车轮着地点位置，来高效、精确地判断车辆的多种停车状态，从而避免了场景复杂度限制、摄像头角度等因素导致停车状态判断失误情况发生，进一步地，极大地提高了路侧停车管理的效率。
以下结合应用实例对本发明实施例上述技术方案进行详细说明：
本发明应用实例旨在高效、精确地判定路侧停车场停车位内车辆的停车状态。
如图1所示，例如，在路侧停车管理系统S中，获取通过摄像机拍摄预定监控区域内的第一视频图像，如视频图像A，并根据视频图像A，确定每一个停车位的位置信息；其中，预定监控区域为预定路侧停车区域；随后，基于车辆检测算法，检测视频图像A中的车辆，并基于已确定的每一个停车位的位置信息，确定检测到的车辆，如车辆Car1，是否停在任一停车位内；若检测到的车辆Car1停在任一停车位内，检测车辆Car1的车轮着地点位置；根据检测到的车辆Car1的车轮着地点位置，判断车辆Car1的停车状态。
在一种可能的实现方式中，步骤101中根据所述第一视频图像，确定每一个停车位的位置信息的步骤，包括：根据所述第一视频图像，分别选择各个停车位处于无车状态时的任一停车位图像；基于已确定的各个停车位处于无车状态时的停车位图像，在所述停车位图像中确定各个停车位的位置信息。
其中，停车位的位置信息包括停车位各个库角的坐标和两两相邻角点构成的各个边线中的至少一项。
例如，在路侧停车管理系统S中，获取通过摄像机拍摄预定监控区域内的第一视频图像，如视频图像Video1，并根据视频图像Video1，分别选择各个停车位处于无车状态时的任一停车位图像；基于已确定的各个停车位处于无车状态时的停车位图像，在各个停车位图像中确定各个停车位的各个库角的坐标和两两相邻角点构成的各个边线的信息；本发明实施例中采用固定大小1920(宽)×1080(高)，单位为像素的图像，以图像帧的左上角点为坐标(0，0)，分别以横向和纵向为坐标的x轴和y轴，记录每个四边形停车位的各个库角，如V0(x0，y0)、V1(x1，y1)、V2(x2，y2)和V3(x3，y3)以及两两相邻库角共同构成的边线，在摄像机固定的情况下，每个停车位只需在任一无车情况下的图像帧上标即可，如图2所示，为在图像上对停车位地面上连线的标定示意图；随后，基于车辆检测算法，检测视频图像Video1中的车辆，如车辆Car1，若检测到的车辆Car1停在任一停车位内，检测车辆Car1的车轮着地点位置；并判断车辆Car1的停车状态。
通过本实施例，能够得到路侧停车环境中每一个停车位各个库角的精确坐标信息和边线信息，为后续精确地判断车位内是否存在车辆提供了重要的前提保障。
在一种可能的实现方式中，在步骤102基于车辆检测算法，检测所述第一视频图像中的车辆的步骤之前，包括：获取所述摄像机拍摄预定监控区域内的第二视频图像；对所述第二视频图像中的车辆进行标注，并基于标注后的所述第二视频图像训练深度卷积神经网络，得到车辆检测模型。
其中，步骤102所述基于车辆检测算法，检测所述第一视频图像中的车辆，并基于已确定的所述每一个停车位的位置信息，确定检测到的车辆是否停在任一停车位内，包括：通过所述车辆检测模型，检测所述第一视频图像中的车辆；确定所述第一视频图像中存在车辆的第一图像帧，并确定所述第一图像帧中所述车辆的车辆区域的坐标信息；基于已确定的所述每一个停车位的位置信息和所述车辆区域的坐标信息，计算所述车辆区域是否在任一停车位内；若是，确定所述车辆区域所在的当前停车位的位置信息。
例如，在路侧停车管理系统S中，预先获取摄像机拍摄预定监控区域内的第二视频图像，如视频图像Video2；对视频图像Video2中的车辆进行人工标注，并利用标注后的视频图像Video2训练深度卷积神经网络，得到车辆检测模型；获取通过摄像机拍摄预定监控区域内的第一视频图像，如视频图像Video1，并根据视频图像Video1，分别选择各个停车位处于无车状态时的任一停车位图像；基于已确定的各个停车位处于无车状态时的停车位图像，在各个停车位图像中确定各个停车位的各个库角的坐标和两两相邻角点构成的各个边线的信息；随后，通过训练好的车辆检测模型，检测视频图像Video1中的车辆，如车辆Car1和车辆Car2；并通过该车辆检测模型分别确定Video1中存在车辆Car1的第一图像帧和存在车辆Car2的第一图像帧，并确定车辆Car1的第一图像帧中车辆Car1的车辆区域的坐标信息以及车辆Car2的第一图像帧中车辆Car2的车辆区域的坐标信息；随后，基于已确定的每一个停车位的位置信息、车辆Car1的车辆区域的坐标信息和车辆Car2的车辆区域的坐标信息，通过该车辆检测模型分别计算车辆Car1的车辆区域和车辆Car2的车辆区域是否在任一停车位内；若车辆Car1的车辆区域在任一停车位内，车辆Car2的车辆区域不在任一停车位内，则确定车辆Car1的车辆区域所在的当前停车位的位置信息。
通过本实施例，通过大数据学习方式分析不同的停车场景训练得到的车辆检测算法，能够精确地检测车辆是否停在任一停车位内，极大地提高了停车位内车辆的检测精度和效率，避免了停车环境场景复杂度限制、摄像头角度等因素造成检测失误的情况发生。
在一种可能的实现方式中，在所述训练基于卷积神经网络的车轮着地点检测模型的步骤之前，包括：获取通过所述摄像机拍摄预定监控区域内的第三视频图像，确定所述第三视频图像中的各个车辆；确定所述各个车辆在所述第三视频图像中的任一图像帧的第二图像帧中车轮着地点的坐标信息与车轮状态；基于所述坐标信息，针对所述各个车辆的每个车轮分别生成各自的第一热力图。
其中，所述车轮状态包括车轮着地点在图像中可见、车轮着地点在图像中不可见和车轮着地点不在图像中的任一种。
其中，若车轮状态为车轮着地点在图像中可见，进一步包括：分别计算所述车轮对应的第一热力图中位置的值；若车轮状态为车轮着地点在图像中不可见或车轮着地点不在图像中，所述车轮对应第一热力图中位置的值为预定值。
例如，在路侧停车管理系统S中，预先获取通过摄像机拍摄预定监控区域内的第三视频图像，如视频图像Video3，确定视频图像Video3中的各个车辆；人工标定确定该各个车辆在视频图像Video3中的任一图像帧的第二图像帧中车轮着地点的坐标信息与车轮状态；基于该坐标信息，针对视频图像Video3中的各个车辆的每个车轮分别生成各自的第一热力图，其中，各个第一热力图为128像素×128像素的二维热力图；针对每一车辆在视频图像Video3中的车轮状态，若车轮状态为车轮着地点在图像中不可见或车轮着地点不在图像中，则该车轮对应的第一热力图中位置的值为预定值，如为0；其中，第一热力图中每个位置的值表示各位置为车轮着地点的概率，若任一位置处于车轮着地点中心，则该位置的值接近于1，若该位置距中心点越远，则该位置的值越小；若车轮状态为车轮着地点在图像中可见，通过如下公式一分别计算该车轮对应的第一热力图中位置的值：
其中，
为任一车辆第c个车轮第一热力图H中第i像素点
的值，其中，i为正整数，c为每个车轮的标号，c为正整数，exp(x)＝e-x为以e为底的指数函数，σ为高斯函数的标准差，本发明实施例中σ＝2，xc为第c个车轮着地点的横轴坐标值，yc为第c个车轮着地点的纵轴坐标值，本实施例中，第一热力图为二维图像。
通过本实施例，生成各个车辆的每个车轮的第一热力图，为后续训练基于卷积神经网络的车轮着地点检测模型做好数据准备。
在一种可能的实现方式中，在步骤103中的检测所述车辆的车轮着地点位置的步骤之前，包括：训练基于卷积神经网络的车轮着地点检测模型。
其中，所述训练基于卷积神经网络的车轮着地点检测模型，包括：在预定残差网络的最后一特征层之后添加预定个数的上采样层，并基于各个所述第二图像帧，训练所述预定残差网络；将所述第二图像帧输入所述预定残差网络生成所述各个车辆每个车轮的第二热力图，得到所述各个车辆每个车轮的第二热力图中位置的值与所述各个车辆每个车轮的第一热力图中位置的值的损失函数，通过所述损失函数调整所述预定残差网络，得到车轮着地点检测模型。
例如，在路侧停车管理系统S中，预先训练基于卷积神经网络的车轮着地点检测模型；首先，本发明实施例中预定残差网络为采用ResNet18(Residual Neural Network 18，18层残差网络)作为主干网络，并在ResNet18中的最后一特征层之后添加预定个数，如3个上采样层；将训练的图像帧设置为512像素×512像素，输入ResNet18的输出最后一特征层的大小为16像素×16像素，经过3个上采样层后的最终输出大小为128像素×128像素；如视频图像Video3中的任一图像帧的第二图像帧通过ResNet18神经网络前向传播得输出每个图像的第二热力图中每个车轮着地点的值
得到各个第二图像帧中车辆每个车轮的第一热力图中位置的值与各个第二图像帧中车辆每个车轮的第二热力图中位置的值的损失函数Eloss，即
其中，n为训练图像帧的数目，c为每个车轮的标号，其中，i为正整数，
为第i个车辆图像生成的第c个车轮第一热力图，
为第i个车辆样本的第c个车轮第二热力图；通过梯度下降算法，通过损失函数Eloss的最小化原则调整预定残差网络，使得预定残差网络达到最优，得到最优的基于卷积神经网络的车轮着地点检测模型；其中，第二热力图中每个位置的值表示各位置为车轮着地点的概率，若任一位置处于车轮着地点中心，则该位置的值接近于1，若该位置距中心点越远，则该位置的值越小；其中，基于卷积神经网络模型检测车轮着地点示意图如图3所示。
需要说明的是，本领域技术人员可以了解到，残差网络是由来自MicrosoftResearch微软研究院的4位学者提出的卷积神经网络。残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。残差网络核心是解决了增加深度带来的副作用(退化问题)，这样能够通过单纯地增加网络深度，来提高网络性能。
通过本实施例，通过大数据学习方式分析不同的停车场景训练得到的卷积神经网络模型和训练车轮着地点检测模型，实现了不受场景复杂度限制、摄像头角度等因素的影响，即高效、精确地得到车辆每个车轮找地点位置，为后续后续判断车辆的停车状态提供了必要的前提条件。
在一种可能的实现方式中，步骤103中所述检测所述车辆的车轮着地点位置的步骤，包括：将转化大小后的所述车辆的第一图像帧输入所述车轮着地点检测模型，得到所述车辆每个车轮的第三热力图；基于所述车辆每个车轮的第三热力图，确定所述车辆每个车轮的着地点位置。
例如，在路侧停车管理系统S中，若车辆Car1的车辆区域在任一停车位内，基于已训练得到的车轮着地点检测模型，将转化大小为512像素×512像素后的车辆Car1的第一图像帧输入训练得到的车轮着地点检测模型，得到车辆Car1每个车轮的第三热力图；基于车辆Car1每个车轮的第三热力图，确定车辆Car1每个车轮的着地点位置。
在一种可能的实现方式中，步骤104根据检测到的所述车辆的车轮着地点位置，判断所述车辆的停车状态，包括：基于已确定的所述车辆区域所在的当前停车位的位置信息，确定所述车辆停在当前停车位的面积；确定所述车辆的每一个车轮着地点与当前停车位的每两个相邻库角构成的一组多个三角形的面积；分别比较每组中的多个三角形面积之和与所述当前停车位面积的大小，得到每组的第一比较结果；基于所述车辆每组的第一比较结果，确定所述车辆的停车状态。
其中，所述车辆的停车状态包括正常停车、跨位停车和压线停车中的任一种；所述正常停车包括车轮着地点在停车位内部和车轮着地点在停车位边线上中的任一情形。
其中，所述基于所述车辆每组的第一比较结果，确定所述车辆的停车状态，包括：若所述车辆每组的第一比较结果均为大于，确定当前车轮着地点在所述当前停车位外部；否则，确定当前车轮着地点在所述当前停车位内部或当前车轮着地点在所述当前停车位边线上。
例如，在路侧停车管理系统S中，基于已确定的车辆Car1的车辆区域所在的当前停车位的位置信息，确定车辆Car1停在当前停车位的面积，如为Sp；确定车辆Car1的每一个车轮着地点，如Vc，与当前停车位的每两个相邻库角构成的一组多个三角形的面积，如图4所示，构成的多个三角形面积分别为△0、△1、△2和△3，该多个三角形的面积之和为Sc，Sc＝S△0+S△1+S△2+S△3；分别比较每组中的多个三角形面积之和与当前停车位面积的大小，即Sc与Sp的大小，得到每组的第一比较结果；若车辆Car1每组的第一比较结果均为大于，确定当前车轮着地点Vc在当前停车位外部；否则，确定当前车轮着地点Vc在当前停车位内部或当前车轮着地点在所述当前停车位边线上。其中，车辆正常停车状态如图5所示，车辆跨位停车状态如图6所示，车辆压线停车状态如图7所示。
通过本实施例，实现了从视频图像中准确定位车辆各个车轮的着地点的位置，同时进一步利用车辆车轮着地点的位置与地面的停车位车位线进行比较，能够更精确地得出路侧停车位内车辆的停车状态。
在一种可能的实现方式中，所述基于所述车辆每组的第一比较结果，确定所述车辆的停车状态，包括：针对每一组的第一比较结果，若当前第一比较结果为大于，确定所述当前第一比较结果对应的当前车轮着地点在所述当前停车位外部；否则，确定所述当前第一比较结果对应的当前车轮着地点在所述当前停车位内部或在当前停车位边线上。
例如，接上例，针对每一组的第一比较结果，若当前第一比较结果为大于，如当前车轮着地点构成的多个三角形的面积之和Sc大于当前停车位面积Sp，确定当前第一比较结果对应的当前车轮着地点在当前停车位外部；否则，确定当前第一比较结果对应的当前车轮着地点在当前停车位内部或在当前停车位边线上。
通过本实施例，通过与预定阈值参数进行比较，能够避免摄像机视角的不同、各个停车位面积大小不一致，以及停车位边线宽度不同等因素的影响，导致车辆停车状态判断发生错误的情况发生，进一步地提高了车辆停车状态判断的准确性。
在一种可能的实现方式中，所述基于所述车辆每组的第一比较结果，确定所述车辆的停车状态，进一步包括：将所述车辆每组第一比较结果分别与所述当前停车位的面积的比值与预定阈值参数比较，得到所述车辆每组的第二比较结果；针对每一组的第二比较结果，若所述当前第二比较结果为大于，确定所述当前第二比较结果对应的当前车轮着地点在所述当前停车位外部；否则，确定所述当前第二比较结果对应的当前车轮着地点在所述当前停车位内部或在所述当前停车位边线上。
其中，所述确定所述车辆的停车状态，包括：若所述车辆的每一个车轮着地点在所述当前停车位内部或在所述当前停车位边线上，确定所述车辆的停车状态为正常停车；若所述车辆的任一车轮着地点在所述当前停车位外部，进一步包括：获取与当前停车位相邻的至少一个停车位信息，基于车轮着地点检测模型确定所述车辆的在所述当前停车位外部的位停车；若否，确定所述车辆的停车状态为压线停车。
例如，在路侧停车管理系统S中，将车辆Car1每组第一比较结果分别与当前停车位的面积的比值与预定阈值参数比较，得到车辆Car1每组的第二比较结果，如针对每一组第一比较结果，将车辆Car1其中一组第一比较结果分别与当前停车位的面积Sp的比值与预定阈值参数比较，预定阈值参数如为ε，该组的第二比较结果即
与ε的比较结果；针对每一组的第二比较结果，若当前第二比较结果为大于，确定当前第二比较结果对应的当前车轮着地点在当前停车位外部，随后，获取与当前停车位相邻的至少一个停车位信息，如相邻的前后两个停车位的信息，基于车轮着地点检测模型确定车辆Car1的在当前停车位外部的车轮着地点是否在当前停车位相邻的前后任一停车位内，若是，确定车辆Car1的停车状态为跨位停车，若否，确定车辆Car1的停车状态为压线停车；否则，确定当前第二比较结果对应的当前车轮着地点在当前停车位内部或在当前停车位边线上，则可确定车辆Car1的停车状态为正常停车。
通过本实施例，能够精确地判断并区分出出车辆的压线停车状态、跨线停车状态和正常停车状态，极大地提高了路侧停车的管理效率。
本发明实施例提供了一种基于车轮着地点检测车辆停车状态的装置，可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (22)
1.一种基于车轮着地点检测车辆停车状态的方法，其特征在于，包括：
获取通过摄像机拍摄预定监控区域内的第一视频图像，并根据所述第一视频图像，确定每一个停车位的位置信息；
基于车辆检测算法，检测所述第一视频图像中的车辆，并基于已确定的所述每一个停车位的位置信息，确定检测到的车辆是否停在任一停车位内；
若所述车辆停在任一停车位内，检测所述车辆的车轮着地点位置；
根据检测到的所述车辆的车轮着地点位置，判断所述车辆的停车状态；
其中，所述基于车辆检测算法，检测所述第一视频图像中的车辆，并基于已确定的所述每一个停车位的位置信息，确定检测到的车辆是否停在任一停车位内，包括：确定所述第一视频图像中存在车辆的第一图像帧，并确定所述第一图像帧中所述车辆的车辆区域所在的当前停车位的位置信息；
其中，所述根据检测到的所述车辆的车轮着地点位置，判断所述车辆的停车状态，包括：基于已确定的所述车辆区域所在的当前停车位的位置信息，确定所述车辆停在当前停车位的面积；确定所述车辆的每一个车轮着地点与当前停车位的每两个相邻库角构成的一组多个三角形的面积；分别比较每组中的多个三角形面积之和与所述当前停车位面积的大小，得到每组的第一比较结果；基于所述车辆每组的第一比较结果，确定所述车辆的停车状态；其中，所述车辆的停车状态包括正常停车、跨位停车和压线停车中的任一种；其中，所述正常停车包括车轮着地点在停车位内部和车轮着地点在停车位边线上中的任一情形。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一视频图像，确定每一个停车位的位置信息，包括：
根据所述第一视频图像，分别选择各个停车位处于无车状态时的任一停车位图像；
基于已确定的各个停车位处于无车状态时的停车位图像，在所述停车位图像中确定各个停车位的位置信息；
其中，停车位的位置信息包括停车位各个库角的坐标和两两相邻角点构成的各个边线中的至少一项。
3.根据权利要求1或2所述的方法，其特征在于，在所述基于车辆检测算法，检测所述第一视频图像中的车辆的步骤之前，包括：
获取所述摄像机拍摄预定监控区域内的第二视频图像；
对所述第二视频图像中的车辆进行标注，并基于标注后的所述第二视频图像训练深度卷积神经网络，得到车辆检测模型。
4.根据权利要求3所述的方法，其特征在于，所述基于车辆检测算法，检测所述第一视频图像中的车辆，并基于已确定的所述每一个停车位的位置信息，确定检测到的车辆是否停在任一停车位内，包括：
通过所述车辆检测模型，检测所述第一视频图像中的车辆；
确定所述第一视频图像中存在车辆的第一图像帧，并确定所述第一图像帧中所述车辆的车辆区域的坐标信息；
基于已确定的所述每一个停车位的位置信息和所述车辆区域的坐标信息，计算所述车辆区域是否在任一停车位内；
若是，确定所述车辆区域所在的当前停车位的位置信息。
5.根据权利要求1所述的方法，其特征在于，在所述检测所述车辆的车轮着地点位置的步骤之前，包括：
训练基于卷积神经网络的车轮着地点检测模型。
6.根据权利要求5所述的方法，其特征在于，在所述训练基于卷积神经网络的车轮着地点检测模型步骤之前，包括：
获取通过所述摄像机拍摄预定监控区域内的第三视频图像，确定所述第三视频图像中的各个车辆；
确定所述各个车辆在所述第三视频图像中的任一图像帧的第二图像帧中车轮着地点的坐标信息与车轮状态；
基于所述坐标信息，针对所述各个车辆的每个车轮分别生成各自的第一热力图；
其中，所述车轮状态包括车轮着地点在图像中可见、车轮着地点在图像中不可见和车轮着地点不在图像中的任一种；
其中，若车轮状态为车轮着地点在图像中可见，进一步包括：
分别计算所述车轮对应的第一热力图中位置的值；
若车轮状态为车轮着地点在图像中不可见或车轮着地点不在图像中，所述车轮对应的第一热力图中位置的值为预定值。
7.根据权利要求6所述的方法，其特征在于，所述训练基于卷积神经网络的车轮着地点检测模型，包括：
在预定残差网络的最后一特征层之后添加预定个数的上采样层，并基于各个所述第二图像帧，训练所述预定残差网络；
将所述第二图像帧输入所述预定残差网络生成所述各个车辆每个车轮的第二热力图，得到所述各个车辆每个车轮的第二热力图中位置的值与所述各个车辆每个车轮的第一热力图中位置的值的损失函数，通过所述损失函数调整所述预定残差网络，得到车轮着地点检测模型。
8.根据权利要求7所述的方法，其特征在于，所述检测所述车辆的车轮着地点位置，包括：
将转化大小后的所述车辆的第一图像帧输入所述车轮着地点检测模型，得到所述车辆每个车轮的第三热力图；
基于所述车辆每个车轮的第三热力图，确定所述车辆每个车轮的着地点位置。
9.根据权利要求1所述的方法，其特征在于，所述基于所述车辆每组的第一比较结果，确定所述车辆的停车状态，包括：
针对每一组的第一比较结果，若当前第一比较结果为大于，确定所述当前第一比较结果对应的当前车轮着地点在所述当前停车位外部；
否则，确定所述当前第一比较结果对应的当前车轮着地点在所述当前停车位内部或在当前停车位边线上。
10.根据权利要求9所述的方法，其特征在于，所述基于所述车辆每组的第一比较结果，确定所述车辆的停车状态，进一步包括：
将所述车辆每组第一比较结果分别与所述当前停车位的面积的比值与预定阈值参数比较，得到所述车辆每组的第二比较结果；
针对每一组的第二比较结果，若所述当前第二比较结果为大于，确定所述当前第二比较结果对应的当前车轮着地点在所述当前停车位外部；
否则，确定所述当前第二比较结果对应的当前车轮着地点在所述当前停车位内部或在所述当前停车位边线上。
11.根据权利要求10所述的方法，其特征在于，所述确定所述车辆的停车状态，包括：
若所述车辆的每一个车轮着地点在所述当前停车位内部或在所述当前停车位边线上，确定所述车辆的停车状态为正常停车；
若所述车辆的任一车轮着地点在所述当前停车位外部，进一步包括：
获取与当前停车位相邻的至少一个停车位信息，基于车轮着地点检测模型确定所述车辆的在所述当前停车位外部的车轮着地点是否在当前停车位相邻的任一停车位内；
若是，确定所述车辆的停车状态为跨位停车；
若否，确定所述车辆的停车状态为压线停车。
12.一种基于车轮着地点检测车辆停车状态的装置，其特征在于，包括：
第一获取及确定模块，用于获取通过摄像机拍摄预定监控区域内的第一视频图像，并根据所述第一视频图像，确定每一个停车位的位置信息；
第一检测模块，用于基于车辆检测算法，检测所述第一视频图像中的车辆，并基于已确定的所述每一个停车位的位置信息，确定检测到的车辆是否停在任一停车位内；
第二检测模块，用于若所述车辆停在任一停车位内，检测所述车辆的车轮着地点位置；
判断模块，用于根据检测到的所述车辆的车轮着地点位置，判断所述车辆的停车状态；
其中，所述第一检测模块，包括：第三确定单元，用于确定所述第一视频图像中存在车辆的第一图像帧，并确定所述第一图像帧中所述车辆的车辆区域所在的当前停车位的位置信息；
其中，所述判断模块，包括：第四确定单元，用于基于已确定的所述车辆区域所在的当前停车位的位置信息，确定所述车辆停在当前停车位的面积；第五确定单元，用于确定所述车辆的每一个车轮着地点与当前停车位的每两个相邻库角构成的一组多个三角形的面积；比较单元，用于分别比较每组中的多个三角形面积之和与所述当前停车位面积的大小，得到每组的第一比较结果；第六确定单元，用于基于所述车辆每组的第一比较结果，确定所述车辆的停车状态；其中，所述车辆的停车状态包括正常停车、跨位停车和压线停车中的任一种；其中，所述正常停车包括车轮着地点在停车位内部和车轮着地点在停车位边线上中的任一情形。
13.根据权利要求12所述的装置，其特征在于，所述第一获取及确定模块，包括：
选择单元，用于根据所述第一视频图像，分别选择各个停车位处于无车状态时的任一停车位图像；
第一确定单元，用于基于已确定的各个停车位处于无车状态时的停车位图像，在所述停车位图像中确定各个停车位的位置信息；
其中，停车位的位置信息包括停车位各个库角的坐标和两两相邻角点构成的各个边线中的至少一项。
14.根据权利要求12或13所述的装置，其特征在于，包括：
获取模块，用于获取所述摄像机拍摄预定监控区域内的第二视频图像；
标注及训练模块，用于对所述第二视频图像中的车辆进行标注，并基于标注后的所述第二视频图像训练深度卷积神经网络，得到车辆检测模型。
15.根据权利要求14所述的装置，其特征在于，所述第一检测模块，包括：
检测单元，用于通过所述车辆检测模型，检测所述第一视频图像中的车辆；
第二确定单元，用于确定所述第一视频图像中存在车辆的第一图像帧，并确定所述第一图像帧中所述车辆的车辆区域的坐标信息；
计算单元，用于基于已确定的所述每一个停车位的位置信息和所述车辆区域的坐标信息，计算所述车辆区域是否在任一停车位内；
第三确定单元，用于若是，确定所述车辆区域所在的当前停车位的位置信息。
16.根据权利要求12所述的装置，其特征在于，包括：
训练模块，用于训练基于卷积神经网络的车轮着地点检测模型。
17.根据权利要求16所述的装置，其特征在于，包括：
第二获取及确定模块，用于获取通过所述摄像机拍摄预定监控区域内的第三视频图像，确定所述第三视频图像中的各个车辆；
确定模块，用于确定所述各个车辆在所述第三视频图像中的任一图像帧的第二图像帧中车轮着地点的坐标信息与车轮状态；
生成模块，用于基于所述坐标信息，针对所述各个车辆的每个车轮分别生成各自的第一热力图；
其中，所述车轮状态包括车轮着地点在图像中可见、车轮着地点在图像中不可见和车轮着地点不在图像中的任一种；
其中，若车轮状态为车轮着地点在图像中可见，所述确定模块具体用于
若车轮状态为车轮着地点在图像中可见，分别计算所述车轮对应的第一热力图中位置的值；
若车轮状态为车轮着地点在图像中不可见或车轮着地点不在图像中，所述车轮对应的第一热力图中位置的值为预定值。
18.根据权利要求17所述的装置，其特征在于，所述训练模块，具体用于
在预定残差网络的最后一特征层之后添加预定个数的上采样层，并基于各个所述第二图像帧，训练所述预定残差网络；
将所述第二图像帧输入所述预定残差网络生成所述各个车辆每个车轮的第二热力图，得到所述各个车辆每个车轮的第二热力图中位置的值与所述各个车辆每个车轮的第一热力图中位置的值的损失函数，通过所述损失函数调整所述预定残差网络，得到车轮着地点检测模型。
19.根据权利要求18所述的装置，其特征在于，所述第二检测模块，具体用于
将转化大小后的所述车辆的第一图像帧输入所述车轮着地点检测模型，得到所述车辆每个车轮的第三热力图；
基于所述车辆每个车轮的第三热力图，确定所述车辆每个车轮的着地点位置。
20.根据权利要求12所述的装置，其特征在于，所述第六确定单元，具体用于
针对每一组的第一比较结果，若当前第一比较结果为大于，确定所述当前第一比较结果对应的当前车轮着地点在所述当前停车位外部；
否则，确定所述当前第一比较结果对应的当前车轮着地点在所述当前停车位内部或在当前停车位边线上。
21.根据权利要求20所述的装置，其特征在于，所述第六确定单元，还用于
将所述车辆每组第一比较结果分别与所述当前停车位的面积的比值与预定阈值参数比较，得到所述车辆每组的第二比较结果；
针对每一组的第二比较结果，若所述当前第二比较结果为大于，确定所述当前第二比较结果对应的当前车轮着地点在所述当前停车位外部；
否则，确定所述当前第二比较结果对应的当前车轮着地点在所述当前停车位内部或在所述当前停车位边线上。
22.根据权利要求21所述的装置，其特征在于，所述第六确定单元，具体用于
若所述车辆的每一个车轮着地点在所述当前停车位内部或在所述当前停车位边线上，确定所述车辆的停车状态为正常停车；
若所述车辆的任一车轮着地点在所述当前停车位外部，进一步包括：
获取与当前停车位相邻的至少一个停车位信息，基于车轮着地点检测模型确定所述车辆的在所述当前停车位外部的车轮着地点是否在当前停车位相邻的任一停车位内；
若是，确定所述车辆的停车状态为跨位停车；
若否，确定所述车辆的停车状态为压线停车。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910732351.4A CN110491168B (zh) | 2019-08-09 | 2019-08-09 | 一种基于车轮着地点检测车辆停车状态的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910732351.4A CN110491168B (zh) | 2019-08-09 | 2019-08-09 | 一种基于车轮着地点检测车辆停车状态的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110491168A CN110491168A (zh) | 2019-11-22 |
| CN110491168B true CN110491168B (zh) | 2020-09-25 |
Family
ID=68550303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910732351.4A Active CN110491168B (zh) | 2019-08-09 | 2019-08-09 | 一种基于车轮着地点检测车辆停车状态的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110491168B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111105619A (zh) * | 2019-11-28 | 2020-05-05 | 智慧互通科技有限公司 | 一种路侧逆向停车的判断方法及装置 |
| CN111046803A (zh) * | 2019-12-13 | 2020-04-21 | 电子科技大学 | 一种基于卷积神经网络的车辆检测及着地点定位方法 |
| CN111739335B (zh) | 2020-04-26 | 2021-06-25 | 智慧互通科技股份有限公司 | 一种基于视觉差的停车检测方法及装置 |
| CN112766206B (zh) * | 2021-01-28 | 2024-05-28 | 深圳市捷顺科技实业股份有限公司 | 一种高位视频车辆检测方法、装置、电子设备和存储介质 |
| CN113052141A (zh) * | 2021-04-26 | 2021-06-29 | 超级视线科技有限公司 | 一种检测车辆停放位置的方法及装置 |
| CN113255486B (zh) * | 2021-05-13 | 2024-02-13 | 华设设计集团股份有限公司 | 一种基于高位视频监控的车位占用检测方法 |
| CN113611149A (zh) * | 2021-07-12 | 2021-11-05 | 无锡安科迪智能技术有限公司 | 一种基于多镜头摄像机的路侧停车管理方法及系统 |
| CN113570857A (zh) * | 2021-07-19 | 2021-10-29 | 超级视线科技有限公司 | 一种基于高位视频的路侧停车泊位预约方法及系统 |
| CN113706919A (zh) * | 2021-08-20 | 2021-11-26 | 云往(上海)智能科技有限公司 | 一种路边停车位判断方法及智慧停车系统 |
| CN113887294A (zh) * | 2021-08-31 | 2022-01-04 | 际络科技(上海)有限公司 | 车轮接地点的检测方法、装置、电子设备与存储介质 |
| CN115131892B (zh) * | 2022-05-27 | 2024-06-04 | 广州高新兴机器人有限公司 | 基于巡逻机器人的异常停车检测方法、装置、介质及设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003118522A (ja) * | 2001-10-18 | 2003-04-23 | Clarion Co Ltd | 駐車支援装置 |
| CN103065520A (zh) * | 2012-12-28 | 2013-04-24 | 苏州苏迪智能系统有限公司 | 倒车入库检测系统及其检测方法 |
| CN103806731A (zh) * | 2012-11-09 | 2014-05-21 | 昆达电脑科技(昆山)有限公司 | 停车场车轮定位装置 |
| CN106023595A (zh) * | 2016-06-13 | 2016-10-12 | 北京精英智通科技股份有限公司 | 一种异常停车的判断方法、装置及球型摄像机 |
| CN106384503A (zh) * | 2015-12-06 | 2017-02-08 | 杭州后博科技有限公司 | 一种规范停放机动车的系统及方法 |
| CN106652551A (zh) * | 2016-12-16 | 2017-05-10 | 浙江宇视科技有限公司 | 一种车位检测方法及设备 |
| CN106683484A (zh) * | 2017-03-07 | 2017-05-17 | 深圳市先波科技有限公司 | 一种实时判断车位占用状态的检测系统及检测方法 |
| CN107195198A (zh) * | 2017-07-31 | 2017-09-22 | 重庆酷贝科技发展有限公司 | 一种基于图像识别技术的路边停车管理方法及其系统 |
| CN108022404A (zh) * | 2017-10-18 | 2018-05-11 | 广州市果豆科技有限责任公司 | 一种基于多摄像头的停车报警方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3666397B2 (ja) * | 2001-01-10 | 2005-06-29 | 日本電気株式会社 | コインパーキングシステム及びそれに用いるコインパーキング予約決済方法 |
| CN103473950B (zh) * | 2012-06-06 | 2017-04-12 | 刘鉵 | 一种停车场车位监控方法 |
| CN105551305B (zh) * | 2015-12-23 | 2018-05-04 | 惠州市源城驾驶员培训服务有限公司 | 车辆停泊指示系统 |
| CN106652468B (zh) * | 2016-12-09 | 2019-09-10 | 武汉极目智能技术有限公司 | 车辆道路前车违规检测和自车违规预警提醒装置及方法 |
-
2019
- 2019-08-09 CN CN201910732351.4A patent/CN110491168B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003118522A (ja) * | 2001-10-18 | 2003-04-23 | Clarion Co Ltd | 駐車支援装置 |
| CN103806731A (zh) * | 2012-11-09 | 2014-05-21 | 昆达电脑科技(昆山)有限公司 | 停车场车轮定位装置 |
| CN103065520A (zh) * | 2012-12-28 | 2013-04-24 | 苏州苏迪智能系统有限公司 | 倒车入库检测系统及其检测方法 |
| CN106384503A (zh) * | 2015-12-06 | 2017-02-08 | 杭州后博科技有限公司 | 一种规范停放机动车的系统及方法 |
| CN106023595A (zh) * | 2016-06-13 | 2016-10-12 | 北京精英智通科技股份有限公司 | 一种异常停车的判断方法、装置及球型摄像机 |
| CN106652551A (zh) * | 2016-12-16 | 2017-05-10 | 浙江宇视科技有限公司 | 一种车位检测方法及设备 |
| CN106683484A (zh) * | 2017-03-07 | 2017-05-17 | 深圳市先波科技有限公司 | 一种实时判断车位占用状态的检测系统及检测方法 |
| CN107195198A (zh) * | 2017-07-31 | 2017-09-22 | 重庆酷贝科技发展有限公司 | 一种基于图像识别技术的路边停车管理方法及其系统 |
| CN108022404A (zh) * | 2017-10-18 | 2018-05-11 | 广州市果豆科技有限责任公司 | 一种基于多摄像头的停车报警方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于视频跟踪轨迹的全过程路侧停车行为检测与识别技术;于青青;《计算机与现代化》;20170930(第9期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110491168A (zh) | 2019-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110491168B (zh) | 一种基于车轮着地点检测车辆停车状态的方法及装置 | |
| CN107738612B (zh) | 基于全景视觉辅助系统的自动泊车停车位检测与识别系统 | |
| CN110163107B (zh) | 一种基于视频帧识别路侧停车行为的方法及装置 | |
| US11380104B2 (en) | Method and device for detecting illegal parking, and electronic device | |
| CN111739335B (zh) | 一种基于视觉差的停车检测方法及装置 | |
| CN113160575A (zh) | 一种非机动车辆及驾驶人的交通违法行为检测方法及系统 | |
| CN113055823B (zh) | 一种基于路侧停车管理共享单车的方法及装置 | |
| CN110688902B (zh) | 一种检测停车位内车辆区域的方法及装置 | |
| CN115116012B (zh) | 基于目标检测算法的车辆停车位停车状态检测方法及系统 | |
| CN111178235A (zh) | 一种目标数量确定方法、装置、设备及存储介质 | |
| CN113066306B (zh) | 一种路侧停车的管理方法及装置 | |
| CN111931673B (zh) | 一种基于视觉差的车辆检测信息的校验方法及装置 | |
| CN111951601B (zh) | 一种识别配送车辆停放位置的方法及装置 | |
| US11482007B2 (en) | Event-based vehicle pose estimation using monochromatic imaging | |
| CN113033479B (zh) | 一种基于多层感知的泊位事件识别方法及系统 | |
| CN112766046B (zh) | 一种目标检测方法及相关装置 | |
| CN112861773A (zh) | 一种基于多层次的泊位状态检测方法及系统 | |
| CN115909241A (zh) | 一种车道线检测方法、系统、电子设备和存储介质 | |
| CN113450575B (zh) | 一种路侧停车的管理方法及装置 | |
| CN113052141A (zh) | 一种检测车辆停放位置的方法及装置 | |
| CN113221894A (zh) | 车辆的车牌号识别方法、装置、电子设备和存储介质 | |
| CN113449624B (zh) | 一种基于行人重识别确定车辆行为的方法及装置 | |
| CN113408514B (zh) | 一种基于深度学习检测路侧停车场泊位的方法及装置 | |
| CN115223114A (zh) | 一种基于双向融合特征金字塔的端到端车辆姿态估计方法 | |
| CN114463976A (zh) | 一种基于3d车辆轨迹的车辆行为状态判定方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 075000 ten building, phase 1, airport economic and Technological Development Zone, Zhangjiakou, Hebei Patentee after: Smart intercommunication Technology Co.,Ltd. Address before: 075000 ten building, phase 1, airport economic and Technological Development Zone, Zhangjiakou, Hebei Patentee before: INTELLIGENT INTERCONNECTION TECHNOLOGIES Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |