CN111739175B - 一种车辆停车监控方法和装置 - Google Patents
一种车辆停车监控方法和装置 Download PDFInfo
- Publication number
- CN111739175B CN111739175B CN202010802867.4A CN202010802867A CN111739175B CN 111739175 B CN111739175 B CN 111739175B CN 202010802867 A CN202010802867 A CN 202010802867A CN 111739175 B CN111739175 B CN 111739175B
- Authority
- CN
- China
- Prior art keywords
- parking
- event
- parking space
- space occupation
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
- G07B15/00—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
- G07B15/02—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points taking into account a variable factor such as distance or time, e.g. for passenger transport, parking systems or car rental systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例提供了一种车辆停车监控方法和装置,方法包括:从停车区域的监控视频中确定一个或多个目标车辆;对每个目标车辆进行检测,确定触发的停车事件,作为该目标车辆的初始停车事件;基于监控视频,确定停车区域中所有停车位的车位占用状态;基于该初始停车事件的事件信息,从所有停车位的车位占用状态中,获得目标停车位的车位占用状态,作为参考车位占用状态;基于该初始停车事件的事件信息中的入车事件标识或出车事件标识,确定该初始停车事件对应的目标停车位的车位占用状态,作为预测车位占用状态;若预测车位占用状态与参考车位占用状态一致,确定该初始停车事件为最终的停车事件。基于上述处理,能够提高确定出的停车事件的准确度。
Description
技术领域
本申请涉及视频监控技术领域,特别是涉及一种车辆停车监控方法和装置。
背景技术
随着车辆的不断增加,城市的交通压力也越来越大,为了缓解停车难的问题,可以在道路的两侧设置停车位,还可以根据车辆停靠的时长收取停车费。为了提高收费的效率,可以对车辆停车进行监控,进而,可以获取车辆驶入停车位以及驶出停车位的相关信息。
相关技术中,可以对监控视频中的车辆进行检测和跟踪,得到车辆的行驶轨迹,然后,可以基于车辆的行驶轨迹和停车位的位置信息,确定车辆的停车事件,停车事件可以包括车辆驶入停车位的入车事件和车辆驶出停车位的出车事件。
然而,上述监控过程中,很容易造成检测错误、跟踪丢失等情况,使得确定出的行驶轨迹的准确度较低,进而,会导致确定出的停车事件的准确度较低。
发明内容
本申请实施例的目的在于提供一种车辆停车监控方法和装置,能够提高确定出的停车事件的准确度。具体技术方案如下:
第一方面,为了达到上述目的,本申请实施例公开了一种车辆停车监控方法,所述方法包括:
获取停车区域的监控视频;
从所述监控视频中确定一个或多个目标车辆;
对每个目标车辆进行检测,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件;其中,该初始停车事件的事件信息包括:停车事件标识和该初始停车事件对应的目标停车位的标识;所述停车事件标识为入车事件标识或出车事件标识;
基于所述监控视频,确定所述停车区域中所有停车位的车位占用状态;
基于该初始停车事件的事件信息,从所有停车位的车位占用状态中,获得所述目标停车位的车位占用状态,作为参考车位占用状态;
基于该初始停车事件的事件信息中的入车事件标识或出车事件标识,确定该初始停车事件对应的所述目标停车位的车位占用状态,作为预测车位占用状态;
若所述预测车位占用状态与所述参考车位占用状态一致,则确定该初始停车事件为最终的停车事件。
可选的,所述基于所述监控视频,确定所述停车区域中所有停车位的车位占用状态,包括:
基于实例分割算法,获得所述监控视频中的每个停车位与该停车位对应的车辆之间的相对位置,所述该停车位对应的车辆,为处于该停车位预设范围内的车辆;
当基于所述相对位置确定该停车位处不存在对应的车辆时,确定所述目标停车位的车位占用状态为未占用;
当基于所述相对位置确定该停车位处存在对应的车辆时,确定所述目标停车位的车位占用状态为占用;
记录该停车位的车位占用状态及该车位占用状态的生成时刻。
可选的,该初始停车事件的事件信息还包括该初始停车事件的触发时刻;
所述基于该初始停车事件的事件信息,从所有停车位的车位占用状态中,获得所述目标停车位的车位占用状态,作为参考车位占用状态,包括:
基于该初始停车事件对应的目标停车位的标识,从已记录的所有停车位的车位占用状态及该车位占用状态的生成时刻中,获得所述目标停车位的车位占用状态及该车位占用状态的生成时刻;
获得生成时刻与该初始停车事件的触发时刻对应的车位占用状态,作为该初始停车事件对应的目标停车位的参考车位占用状态。
可选的,所述方法还包括:
若所述预测车位占用状态与所述参考车位占用状态不一致,则按预设的停车事件的置信度确定算法,确定该初始停车事件的事件置信度;以及,按预设的参考车位占用状态置信度确定算法,确定该参考车位占用状态的状态置信度;
其中,该初始停车事件的事件置信度,用于表示该初始停车事件与该目标车辆真实的行驶状态一致的程度;该参考车位占用状态的状态置信度,用于表示该参考车位占用状态与所述目标停车位真实的状态一致的程度;该初始停车事件的事件置信度为预设的多个置信度值中的一个置信度值,该参考车位占用状态的状态置信度为所述预设的多个置信度值中的一个置信度值;
基于该初始停车事件的事件置信度和该参考车位占用状态的状态置信度,判断该初始停车事件是否满足预设的输出条件;
如果该初始停车事件满足预设的输出条件,则将该初始停车事件作为可疑停车事件输出给用户;
如果该初始停车事件不满足预设的输出条件,则删除该初始停车事件的事件信息。
可选的,所述按预设的停车事件的置信度确定算法,确定该初始停车事件的事件置信度,包括:
基于所述监控视频,获得对该目标车辆进行跟踪的跟踪数据;
基于所述跟踪数据,和预设的停车事件的置信度确定算法,确定该初始停车事件的事件置信度。
可选的,所述基于所述跟踪数据,和预设的停车事件的置信度确定算法,确定该初始停车事件的事件置信度,包括:
基于所述跟踪数据,判断对该目标车辆进行跟踪时是否满足预设跟踪丢失条件;其中,所述预设跟踪丢失条件包括:所述监控视频中的目标视频帧的中心区域内存在该目标车辆,且在所述目标视频帧之后的视频帧的中心区域内不存在该目标车辆;
在对该目标车辆进行跟踪时满足所述预设跟踪丢失条件的情况下,确定该初始停车事件的事件置信度为所述预设的多个置信度值中的第一置信度值;
在对该目标车辆进行跟踪时不满足所述预设跟踪丢失条件的情况下,判断对该目标车辆进行跟踪时是否满足预设跟踪错误条件;其中,所述预设跟踪错误条件包括:所述监控视频中的相邻两个视频帧中该目标车辆的特征参数之间的差值,大于预设阈值;
如果对该目标车辆进行跟踪时满足所述预设跟踪错误条件,确定该初始停车事件的事件置信度为所述预设的多个置信度值中的第二置信度值;
如果对该目标车辆进行跟踪时不满足所述预设跟踪错误条件,判断是否能够检测到该目标车辆的车牌信息;如果不能够检测到该目标车辆的车牌信息,确定该初始停车事件的事件置信度为所述第二置信度值;如果能够检测到该目标车辆的车牌信息,确定该初始停车事件的事件置信度为所述预设的多个置信度值中的第三置信度值;
其中,所述第三置信度值高于所述第二置信度值,所述第二置信度值高于所述第一置信度值。
可选的,所述按预设的参考车位占用状态置信度确定算法,确定该参考车位占用状态的状态置信度,包括:
在所述监控视频中,确定得到该参考车位占用状态所采用的视频帧,得到视频帧集合;
基于所述视频帧集合中,多个连续的视频帧之间对该目标车辆进行检测的检测结果的交并比,以及所述多个连续的视频帧的数目,确定该参考车位占用状态的状态置信度。
可选的,所述基于所述视频帧集合中,多个连续的视频帧之间对该目标车辆进行检测的检测结果的交并比,以及所述多个连续的视频帧的数目,确定该参考车位占用状态的状态置信度,包括:
如果所述视频帧集合中距离指定视频帧最近的第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比,均大于第一交并比阈值,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第四置信度值;其中,所述指定视频帧为按照时间的先后顺序,所述视频帧集合中的最后一个视频帧;
如果所述第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比中,存在小于所述第一交并比阈值的交并比,且所述第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比,均大于第二交并比阈值,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第三置信度值;其中,所述第二交并比阈值小于所述第一交并比阈值;
如果所述第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比中,存在小于所述第二交并比阈值的交并比,且所述视频帧集合中距离所述指定视频帧最近的第二数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比,均大于所述第二交并比阈值,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第二置信度值;其中,所述第二数目小于所述第一数目;
如果所述第二数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比中,存在小于所述第二交并比阈值的交并比,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第一置信度值;
其中,所述第四置信度值高于所述第三置信度值;所述第三置信度值高于所述第二置信度值;所述第二置信度值高于所述第一置信度值。
可选的,所述方法还包括:
当到达预设定时时长时,检测所述监控视频中的每个停车位的车位占用状态,是否有对应的初始停车事件;
当检测到存在车位占用状态,而没有对应的初始停车事件时,生成与该车位占用状态对应的停车位的备选停车事件;
判断该车位占用状态的状态置信度是否低于预设的第五置信度值;
如果该车位占用状态的状态置信度不低于所述第五置信度值,确定所述备选停车事件为最终的停车事件;
如果该车位占用状态的状态置信度低于所述第五置信度值,确定所述备选停车事件为可疑停车事件。
可选的,所述生成与该车位占用状态对应的停车位的备选停车事件,包括:
如果该车位占用状态为未占用,确定该车位占用状态对应的停车位的上一个入车事件,作为待处理入车事件,并生成所述待处理入车事件对应的出车事件,作为与该车位占用状态对应的停车位的备选停车事件;
如果该车位占用状态为占用,基于该车位占用状态对应的停车位中当前停靠的车辆的车辆信息,生成对应的入车事件,作为与该车位占用状态对应的停车位的备选停车事件。
可选的,所述对每个目标车辆进行检测,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件,包括:
基于目标检测算法和目标跟踪算法,对所述监控视频中的每个目标车辆进行检测和跟踪,得到每个目标车辆的行驶轨迹;
基于每个目标车辆的行驶轨迹和所述停车区域中的停车位的位置信息,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件。
第二方面,为了达到上述目的,本申请实施例公开了一种车辆停车监控装置,所述装置包括:
监控视频获取模块,用于获取停车区域的监控视频;
目标车辆确定模块,用于从所述监控视频中确定一个或多个目标车辆;
初始停车事件确定模块,用于对每个目标车辆进行检测,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件;其中,该初始停车事件包括入车事件或出车事件,该初始停车事件的事件信息包括:入车事件标识或出车事件标识,和该初始停车事件对应的目标停车位的标识;
车位占用状态确定模块,用于基于所述监控视频,确定所述停车区域中所有停车位的车位占用状态;
参考车位占用状态获得模块,用于基于该初始停车事件的事件信息,从所有停车位的车位占用状态中,获得所述目标停车位的车位占用状态,作为参考车位占用状态;
预测车位占用状态确定模块,用于基于该初始停车事件的事件信息中的入车事件标识或出车事件标识,确定该初始停车事件对应的所述目标停车位的车位占用状态,作为预测车位占用状态;
第一处理模块,用于若所述预测车位占用状态与所述参考车位占用状态一致,则确定该初始停车事件为最终的停车事件。
可选的,所述车位占用状态确定模块,包括:
相对位置确定子模块,用于基于实例分割算法,获得所述监控视频中的每个停车位与该停车位对应的车辆之间的相对位置,所述该停车位对应的车辆,为处于该停车位预设范围内的车辆;
第一车位占用状态确定子模块,用于当基于所述相对位置确定该停车位处不存在对应的车辆时,确定所述目标停车位的车位占用状态为未占用;
第二车位占用状态确定子模块,用于当基于所述相对位置确定该停车位处存在对应的车辆时,确定所述目标停车位的车位占用状态为占用;
记录子模块,用于记录该停车位的车位占用状态及该车位占用状态的生成时刻。
可选的,该初始停车事件的事件信息还包括该初始停车事件的触发时刻;
所述参考车位占用状态获得模块,包括:
生成时刻获得子模块,用于基于该初始停车事件对应的目标停车位的标识,从已记录的所有停车位的车位占用状态及该车位占用状态的生成时刻中,获得所述目标停车位的车位占用状态及该车位占用状态的生成时刻;
参考车位占用状态获得子模块,用于获得生成时刻与该初始停车事件的触发时刻对应的车位占用状态,作为该初始停车事件对应的目标停车位的目标车位占用状态。
可选的,所述装置还包括:
置信度获取模块,用于若所述预测车位占用状态与所述参考车位占用状态不一致,则按预设的停车事件的置信度确定算法,确定该初始停车事件的事件置信度;以及,按预设的参考车位占用状态置信度确定算法,确定该参考车位占用状态的状态置信度;
其中,该初始停车事件的事件置信度,用于表示该初始停车事件与该目标车辆真实的行驶状态一致的程度;该参考车位占用状态的状态置信度,用于表示该参考车位占用状态与所述目标停车位真实的状态一致的程度;该初始停车事件的事件置信度为预设的多个置信度值中的一个置信度值,该参考车位占用状态的状态置信度为所述预设的多个置信度值中的一个置信度值;
第一判断模块,用于基于该初始停车事件的事件置信度和该参考车位占用状态的状态置信度,判断该初始停车事件是否满足预设的输出条件;
输出模块,用于如果该初始停车事件满足预设的输出条件,则将该初始停车事件作为可疑停车事件输出给用户;
删除模块,用于如果该初始停车事件不满足预设的输出条件,则删除该初始停车事件的事件信息。
可选的,所述置信度获取模块,包括:
跟踪数据获得子模块,用于基于所述监控视频,获得对该目标车辆进行跟踪的跟踪数据;
事件置信度确定子模块,用于基于所述跟踪数据,和预设的停车事件的置信度确定算法,确定该初始停车事件的事件置信度。
可选的,所述事件置信度确定子模块,包括:
第一判断单元,用于基于所述跟踪数据,判断对该目标车辆进行跟踪时是否满足预设跟踪丢失条件;其中,所述预设跟踪丢失条件包括:所述监控视频中的目标视频帧的中心区域内存在该目标车辆,且在所述目标视频帧之后的视频帧的中心区域内不存在该目标车辆;
第一置信度确定单元,用于在对该目标车辆进行跟踪时满足所述预设跟踪丢失条件的情况下,确定该初始停车事件的事件置信度为所述预设的多个置信度值中的第一置信度值;
第二判断单元,用于在对该目标车辆进行跟踪时不满足所述预设跟踪丢失条件的情况下,判断对该目标车辆进行跟踪时是否满足预设跟踪错误条件;其中,所述预设跟踪错误条件包括:所述监控视频中的相邻两个视频帧中该目标车辆的特征参数之间的差值,大于预设阈值;
第二置信度确定单元,用于如果对该目标车辆进行跟踪时满足所述预设跟踪错误条件,确定该初始停车事件的事件置信度为所述预设的多个置信度值中的第二置信度值;
第三置信度确定单元,用于如果对该目标车辆进行跟踪时不满足所述预设跟踪错误条件,判断是否能够检测到该目标车辆的车牌信息;如果不能够检测到该目标车辆的车牌信息,确定该初始停车事件的事件置信度为所述第二置信度值;如果能够检测到该目标车辆的车牌信息,确定该初始停车事件的事件置信度为所述预设的多个置信度值中的第三置信度值;
其中,所述第三置信度值高于所述第二置信度值,所述第二置信度值高于所述第一置信度值。
可选的,所述置信度获取模块,包括:
视频帧集合获得子模块,用于在所述监控视频中,确定得到该参考车位占用状态所采用的视频帧,得到视频帧集合;
状态置信度确定子模块,用于基于所述视频帧集合中,多个连续的视频帧之间对该目标车辆进行检测的检测结果的交并比,以及所述多个连续的视频帧的数目,确定该参考车位占用状态的状态置信度。
可选的,所述状态置信度确定子模块,包括:
第四置信度确定单元,用于如果所述视频帧集合中距离指定视频帧最近的第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比,均大于第一交并比阈值,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第四置信度值;其中,所述指定视频帧为按照时间的先后顺序,所述视频帧集合中的最后一个视频帧;
第五置信度确定单元,用于如果所述第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比中,存在小于所述第一交并比阈值的交并比,且所述第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比,均大于第二交并比阈值,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第三置信度值;其中,所述第二交并比阈值小于所述第一交并比阈值;
第六置信度确定单元,用于如果所述第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比中,存在小于所述第二交并比阈值的交并比,且所述视频帧集合中距离所述指定视频帧最近的第二数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比,均大于所述第二交并比阈值,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第二置信度值;其中,所述第二数目小于所述第一数目;
第七置信度确定单元,用于如果所述第二数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比中,存在小于所述第二交并比阈值的交并比,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第一置信度值;
其中,所述第四置信度值高于所述第三置信度值;所述第三置信度值高于所述第二置信度值;所述第二置信度值高于所述第一置信度值。
可选的,所述装置还包括:
车位占用状态检测模块,用于当到达预设定时时长时,检测所述监控视频中的每个停车位的车位占用状态,是否有对应的初始停车事件;
备选停车事件生成模块,用于当检测到存在车位占用状态,而没有对应的初始停车事件时,生成与该车位占用状态对应的停车位的备选停车事件;
第二判断模块,用于判断该车位占用状态的状态置信度是否低于预设的第五置信度值;
第二处理模块,用于如果该车位占用状态的状态置信度不低于所述第五置信度值,确定所述备选停车事件为最终的停车事件;
可疑停车事件确定模块,用于如果该车位占用状态的状态置信度低于所述第五置信度值,确定所述备选停车事件为可疑停车事件。
可选的,所述备选停车事件生成模块,包括:
第一备选停车事件生成子模块,用于如果该车位占用状态为未占用,确定该车位占用状态对应的停车位的上一个入车事件,作为待处理入车事件,并生成所述待处理入车事件对应的出车事件,作为与该车位占用状态对应的停车位的备选停车事件
第二备选停车事件生成子模块,用于如果该车位占用状态为占用,基于该车位占用状态对应的停车位中当前停靠的车辆的车辆信息,生成对应的入车事件,作为与该车位占用状态对应的停车位的备选停车事件。
可选的,所述初始停车事件确定模块,包括:
行驶轨迹获取子模块,用于基于目标检测算法和目标跟踪算法,对所述监控视频中的每个目标车辆进行检测和跟踪,得到每个目标车辆的行驶轨迹;
初始停车事件确定子模块,用于基于每个目标车辆的行驶轨迹和所述停车区域中的停车位的位置信息,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件。
在本申请实施的另一方面,为了达到上述目的,本申请实施例还公开了一种电子设备,所述电子设备包括处理器、通信接口、存储器和通信总线,其中,所述处理器,所述通信接口,所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现如上述第一方面所述的车辆停车监控方法。
在本申请实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的车辆停车监控方法。
在本申请实施的又一方面,本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的车辆停车监控方法。
本申请实施例提供了一种车辆监控方法,可以获取停车区域的监控视频;从监控视频中确定一个或多个目标车辆;对每个目标车辆进行检测,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件;其中,该初始停车事件的事件信息包括:停车事件标识和该初始停车事件对应的目标停车位的标识;停车事件标识为入车事件标识或出车事件标识;基于监控视频,确定停车区域中所有停车位的车位占用状态;基于该初始停车事件的事件信息,从所有停车位的车位占用状态中,获得目标停车位的车位占用状态,作为参考车位占用状态;基于该初始停车事件的事件信息中的入车事件标识或出车事件标识,确定该初始停车事件对应的目标停车位的车位占用状态,作为预测车位占用状态;若预测车位占用状态与参考车位占用状态一致,则确定该初始停车事件为最终的停车事件。
基于上述处理,能够基于初始停车事件确定出预测车位占用状态,并基于监控视频,确定出参考车位占用状态,针对同一初始停车事件,如果对应的预测车位占用状态与参考车位占用状态一致,则确定初始停车事件为最终的停车事件,由于结合了对停车位进行监控确定出的参考车位占用状态,相对于现有技术,能够在一定程度上避免因检测错误、跟踪丢失导致确定出的停车事件的准确度较低的情况,进而,能够提高确定出的停车事件的准确度。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的车辆停车监控方法的一种流程图;
图2为本申请实施例提供的车辆停车监控方法的另一种流程图;
图3为本申请实施例提供的车辆停车监控方法的另一种流程图;
图4为本申请实施例提供的车辆停车监控方法的另一种流程图;
图5为本申请实施例提供的车辆停车监控中确定事件置信度的一种流程图;
图6为本申请实施例提供的车辆停车监控中确定事件置信度的另一种流程图;
图7为本申请实施例提供的车辆停车监控中确定状态置信度的一种流程图;
图8为本申请实施例提供的车辆停车监控中确定状态置信度的另一种流程图;
图9为本申请实施例提供的车辆停车监控方法的另一种流程图;
图10为本申请实施例提供的种车辆停车监控的一种总体流程框图;
图11为本申请实施例提供的确定初始停车事件的一种流程框图;
图12为本申请实施例提供的确定车位占用状态的一种流程框图;
图13为本申请实施例提供的确定最终的停车事件和可以停车事件的一种流程框图;
图14为本申请实施例提供的车辆停车监控装置的一种结构图;
图15为本申请实施例提供的电子设备的一种结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
相关技术中,对监控视频中的车辆进行检测和跟踪,得到车辆的行驶轨迹,然后,可以基于车辆的行驶轨迹和停车位的位置信息,确定车辆的停车事件。然而,上述监控过程中,很容易造成检测错误、跟踪丢失等情况,使得确定出的行驶轨迹的准确度较低,进而,会导致确定出的停车事件的准确度较低。
为了解决上述问题,本申请实施例提供了一种车辆停车监控方法,参见图1,图1为本申请实施例提供的车辆停车监控方法的一种流程图,该方法可以包括以下步骤:
S101:获取停车区域的监控视频。
S102:从监控视频中确定一个或多个目标车辆。
S103:对每个目标车辆进行检测,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件。
其中,该初始停车事件的事件信息包括:停车事件标识和该初始停车事件对应的目标停车位的标识;停车事件标识为入车事件标识或出车事件标识。
S104:基于监控视频,确定停车区域中所有停车位的车位占用状态。
S105:基于该初始停车事件的事件信息,从所有停车位的车位占用状态中,获得目标停车位的车位占用状态,作为参考车位占用状态。
S106:基于该初始停车事件的事件信息中的入车事件标识或出车事件标识,确定该初始停车事件对应的目标停车位的车位占用状态,作为预测车位占用状态。
S107:若预测车位占用状态与参考车位占用状态一致,则确定该初始停车事件为最终的停车事件。
本申请实施例提供的车辆停车监控方法,能够基于初始停车事件确定出预测车位占用状态,并基于监控视频,确定出参考车位占用状态,针对同一初始停车事件,如果对应的预测车位占用状态与参考车位占用状态一致,则确定初始停车事件为最终的停车事件,由于结合了对停车位进行监控确定出的参考车位占用状态,相对于现有技术,能够在一定程度上避免因检测错误、跟踪丢失导致确定出的停车事件的准确度较低的情况,进而,能够提高确定出的停车事件的准确度。
一种实现方式中,本申请实施例的方法可以应用于停车区域中安装的视频监控设备,或者,也可以应用于能够与停车区域中的视频监控设备进行数据通信的电子设备(例如,服务器),该电子设备可以从视频监控设备获取监控视频,并基于本申请实施例的方法进行处理。
在一个实施例中,可以基于监控视频对停车区域中的各个停车位进行实时监控,确定各停车位的车位占用状态,进而,在确定出一个初始停车事件时,可以获取对应的目标停车位的车位占用状态(即预测车位占用状态),以进行相应处理。
例如,可以基于高精度检测算法、实例分割算法、语义分割算法等算法,获得监控视频中的每个停车位与该停车位对应的车辆之间的相对位置,进而,根据相位位置,确定该停车位的车位占用状态(即参考车位占用状态)。
在一个实施例中,参见图2,步骤S104可以包括以下步骤:
S1041:基于实例分割算法,获得监控视频中的每个停车位与该停车位对应的车辆之间的相对位置。
S1042:当基于相对位置确定该停车位处不存在对应的车辆时,确定目标停车位的车位占用状态为未占用。
S1043:当基于相对位置确定该停车位处存在对应的车辆时,确定目标停车位的车位占用状态为占用。
S1044:记录该停车位的车位占用状态及该车位占用状态的生成时刻。
其中,该停车位对应的车辆,为处于该停车位预设范围内的车辆。
本申请实施例中的实例分割算法,可以为Mask R-CNN(Mask Region-Convolutional Neural Networks,区域卷积神经网络)算法,或者,也可以为其他分割算法。
一种实现方式中,基于实例分割算法,可以确定监控视频中每个车辆和停车位各自包含的像素的位置,进而,针对监控视频中每个停车位,可以根据该停车位的位置,与该停车位对应的车辆包含的像素的位置,确定该停车位与对应的车辆的相对位置。该停车位对应的车辆可以包括驶入该停车位的车辆和驶出该停车位的车辆。
如果根据相对位置,确定该停车位处不存在对应的车辆时,则可以确定该停车位的车位占用状态为未占用,也就是,该停车位从停有车辆变为未停有车辆。
如果根据相对位置,确定该停车位处存在对应的车辆,则可以确定该停车位的车位占用状态为占用,也就是,该停车位从未停有车辆变为停有车辆。
进而,可以记录监控视频中各个停车位的车位占用状态,另外,还可以对应地记录车位占用状态的生成时刻。车位占用状态的生成时刻可以为车位占用状态发生变化的时刻。例如,车位占用状态从未占用变为占用的时刻,或者,车位占用状态从占用变为未占用的时刻。
在一个实施例中,该初始停车事件的事件信息还可以包括该初始停车事件的触发时刻,相应的,在图2的基础上,参见图3,S105可以包括以下步骤:
S1051:基于该初始停车事件对应的目标停车位的标识,从已记录的所有停车位的车位占用状态及该车位占用状态的生成时刻中,获得目标停车位的车位占用状态及该车位占用状态的生成时刻。
S1052:获得生成时刻与该初始停车事件的触发时刻对应的车位占用状态,作为该初始停车事件对应的目标停车位的参考车位占用状态。
在不同的时刻,同一个停车位中会驶入/驶出不同的车辆,也就是说,同一个停车位可以对应有多个初始停车事件,且可以对应有多个车位占用状态。
因此,在本申请实施例中,在确定初始停车事件后,针对每一个初始停车事件,可以提取该初始停车事件的事件信息中的目标停车位的标识,进而,可以基于该标识,从已记录的所有停车位的车位占用状态及该车位占用状态的生成时刻,查询该标识对应的车位占用状态及该车位占用状态的生成时刻,也就是,该初始停车事件对应的目标停车位的车位占用状态及车位占用状态的生成时刻。
然后,可以从查询到的生成时刻中,确定初始停车事件的触发时刻,进而,得到该触发时刻对应的车位占用状态,作为该初始停车事件对应的参考车位占用状态。
在步骤S106中,如果该初始停车事件的事件信息中为入车事件标识,也就是说,检测到有车辆驶入目标停车位,则可以确定预测车位占用状态为占用;如果该初始停车事件的事件信息中为出车事件标识,也就是说,检测到有车辆驶出目标停车位,则可以确定预测车位占用状态为未占用。
在步骤S107中,预测车位占用状态与参考车位占用状态一致,例如,预测车位占用状态为占用,参考车位占用状态表示为占用;或者,预测车位占用状态为未占用,参考车位占用状态表示为未占用,表明确定出的初始停车事件的可靠度较高,此时,可以直接确定初始停车事件为最终的停车事件。
在一个实施例中,在图1的基础上,参见图4,该方法还可以包括以下步骤;
S108:若预测车位占用状态与参考车位占用状态不一致,则按预设的停车事件的置信度确定算法,确定该初始停车事件的事件置信度;以及,按预设的参考车位占用状态置信度确定算法,确定该参考车位占用状态的状态置信度。
S109:基于该初始停车事件的事件置信度和该参考车位占用状态的状态置信度,判断该初始停车事件是否满足预设的输出条件。
S1010:如果该初始停车事件满足预设的输出条件,则将该初始停车事件作为可疑停车事件输出给用户。
S1011:如果该初始停车事件不满足预设的输出条件,则删除该初始停车事件的事件信息。
其中,该初始停车事件的事件置信度,用于表示该初始停车事件与该目标车辆真实的行驶状态一致的程度;该参考车位占用状态的状态置信度,用于表示该参考车位占用状态与目标停车位真实的状态一致的程度;该初始停车事件的事件置信度为预设的多个置信度值中的一个置信度值,该参考车位占用状态的状态置信度为预设的多个置信度值中的一个置信度值。
在本申请实施例中,预测车位占用状态与对应的参考车位占用状态不一致,例如,预测车位占用状态为占用,而参考车位占用状态为未占用,或者,预测车位占用状态为未占用,而参考车位占用状态为占用,表明确定出的初始停车事件有可能是错误的停车事件,此时,可以计算该初始停车事件的事件置信度,以及参考车位占用状态的状态置信度,进而,基于事件置信度和状态置信度,进行相应处理。
其中,预设的输出条件可以包括:状态置信度低于事件置信度。
在本申请实施例中,如果状态置信度低于事件置信度,表明确定出的该参考车位占用状态可能出错,也就是说,该初始停车事件可能为真实的停车事件,因此,可以将该初始停车事件作为可疑停车事件输出给用户。
如果状态置信度不低于事件置信度,表明确定出的该初始停车事件为错误的停车事件,因此,可以删除该初始停车事件的事件信息。
另外,如果状态置信度不低于事件置信度,对该初始停车事件的事件信息也可以不进行任何处理。
在一个实施例中,S103可以包括以下步骤:
步骤一:基于目标检测算法和目标跟踪算法,对监控视频中的每个目标车辆进行检测和跟踪,得到每个目标车辆的行驶轨迹。
步骤二:基于每个目标车辆的行驶轨迹和停车区域中的停车位的位置信息,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件。
在本申请实施例中,上述目标检测算法可以为Faster R-CNN(Faster Region-Convolutional Neural Networks,快速区域卷积神经网络)、YOLO等深度学习算法,也可以为DPM(Deformable Parts Model,可变形部件模型)等传统检测算法。
目标跟踪算法可以包括单目标跟踪算法和多目标跟踪算法。
基于目标检测算法,可以识别出车辆在监控视频中的位置,进而,基于目标跟踪算法,结合车辆的位置,可以得到所跟踪的车辆的行驶轨迹。
一种实现方式中,可以获取停车区域中各停车位在监控视频中的位置,如果基于目标车辆的行驶轨迹,确定该目标车辆从停车位的位置行驶至停车位以外的位置,则可以确定该目标车辆驶出停车位,进而,可以确定该目标车辆触发出车事件,作为初始停车事件。
如果基于目标车辆的行驶轨迹,确定该目标车辆从停车位以外的位置行驶至停车位的位置,则可以确定该目标车辆驶入停车位,进而,可以确定该目标车辆触发入车事件,作为初始停车事件。
在一个实施例中,参见图5,确定事件置信度的方法可以包括以下步骤:
S501:基于监控视频,获得对该目标车辆进行跟踪的跟踪数据。
S502:基于跟踪数据,和预设的停车事件的置信度确定算法,确定该初始停车事件的事件置信度。
在本申请实施例中,基于目标检测算法,可以识别出车辆在监控视频中的位置,进而,基于目标跟踪算法,结合车辆的位置,可以得到包括所跟踪的车辆的跟踪数据。
例如,跟踪数据可以包括在视频帧中是否存在所跟踪的车辆、所跟踪的车辆在视频帧中的位置、所跟踪的车辆在视频帧中的特征参数,以及是否能检测到所跟踪的车辆的车牌信息等。
参见图6,步骤S502可以包括:
S5021:基于跟踪数据,判断对该目标车辆进行跟踪时是否满足预设跟踪丢失条件。
其中,预设跟踪丢失条件包括:监控视频中的目标视频帧的中心区域内存在该目标车辆,且在目标视频帧之后的视频帧的中心区域内不存在该目标车辆。
S5022:在对该目标车辆进行跟踪时满足预设跟踪丢失条件的情况下,确定该初始停车事件的事件置信度为预设的多个置信度值中的第一置信度值。
S5023:在对该目标车辆进行跟踪时不满足预设跟踪丢失条件的情况下,判断对该目标车辆进行跟踪时是否满足预设跟踪错误条件。
其中,预设跟踪错误条件包括:监控视频中的相邻两个视频帧中该目标车辆的特征参数之间的差值,大于预设阈值。
S5024:如果对该目标车辆进行跟踪时满足预设跟踪错误条件,确定该初始停车事件的事件置信度为预设的多个置信度值中的第二置信度值。
S5025:如果对该目标车辆进行跟踪时不满足预设跟踪错误条件,判断是否能够检测到该目标车辆的车牌信息。
S5026:如果不能够检测到该目标车辆的车牌信息,确定该初始停车事件的事件置信度为第二置信度值。
S5027:如果能够检测到该目标车辆的车牌信息,确定该初始停车事件的事件置信度为预设的多个置信度值中的第三置信度值。
其中,第三置信度值高于第二置信度值,第二置信度值高于第一置信度值。
在本申请实施例中,目标视频帧的中心区域内存在该目标车辆,且在目标视频帧之后的视频帧的中心区域内不存在该目标车辆,表明从目标视频帧之后的视频帧中开始检测不到该目标车辆,也就是说,对该目标车辆进行跟踪发送跟踪丢失。
目标车辆的特征参数,可以包括目标车辆在视频帧中的大小和目标车辆的颜色等信息。
如果相邻两个视频帧中该目标车辆的特征参数之间的差值大于预设阈值,表明两个视频帧中并不是同一个车辆,也就是说,对该目标车辆进行跟踪发送跟踪错误。
如果对目标车辆进行跟踪时发生跟踪丢失,表明确定出的该初始停车事件的可靠性较低,因此,确定该初始停车事件的事件置信度为第一置信度值。
如果对目标车辆进行跟踪时未发生跟踪丢失,且对目标车辆进行跟踪时发生跟踪错误,表明确定出的该初始停车事件的可靠性高于对目标车辆进行跟踪时发生跟踪丢失的可靠性,因此,可以确定该初始停车事件的事件置信度为第二置信度值。
如果对目标车辆进行跟踪时未发生跟踪丢失、对目标车辆进行跟踪时未发生跟踪错误,但是不能够检测到目标车辆的车牌信息,表明确定出的该初始停车事件的可靠性,高于对目标车辆进行跟踪时发生跟踪丢失的可靠性,因此,可以确定该初始停车事件的事件置信度为第二置信度值。
如果对目标车辆进行跟踪时未发生跟踪丢失、对目标车辆进行跟踪时未发生跟踪错误、且能够检测到目标车辆的车牌信息,表明确定出的该初始停车事件的可靠性较高,因此,可以确定该初始停车事件的事件置信度为第三置信度值。
一种实现方式中,可用High(高)、Medium(中等)、Low(低)分别表示第三置信度值、第二置信度值、第一置信度值。
在一个实施例中,参见图7,确定状态置信度的方法可以包括以下步骤:
S701:在监控视频中,确定得到该车位占用状态所采用的视频帧,得到视频帧集合。
S702:基于视频帧集合中,多个连续的视频帧之间对该目标车辆进行检测的检测结果的交并比,以及多个连续的视频帧的数目,确定该参考车位占用状态的状态置信度。
一种实现方式中,可以基于实例分割算法确定车位占用状态。例如,可以对监控视频中的视频帧进行采样,并基于实例分割算法对采样得到的视频帧进行处理,以提高确定车位占用状态的效率。
多个连续的视频帧之间对目标车辆进行检测的检测结果的交并比,以及多个连续的视频帧的数目,能够体现基于实例分割算法进行处理的稳定性,交并比越大,则稳定性越强,多个连续的视频帧的数目越大,则稳定性越强。进而,基于多个连续的视频帧之间对目标车辆进行检测的检测结果的交并比,以及多个连续的视频帧的数目,也就可以确定出状态置信度。
在一个实施例中,S702可以包括以下步骤中的一项:
步骤一:如果视频帧集合中距离指定视频帧最近的第一数目个视频帧中,每相邻的两个视频帧之间对目标车辆进行检测的检测结果的交并比,均大于第一交并比阈值,确定该参考车位占用状态的状态置信度为预设的多个置信度值中的第四置信度值。
其中,指定视频帧为按照时间的先后顺序,视频帧集合中的最后一个视频帧。
第一数目可以由技术人员根据经验进行设置,例如,第一数目可以为30,或者,第一数目也可以为25,但并不限于此。第一数目越大,则对实例分割算法精确度的要求越高。
第一交并比阈值可以由技术人员根据经验进行设置,例如,第一交并比阈值可以为0.8,或者,第一交并比阈值也可以为0.85,但并不限于此。第一交并比阈值越大,则对实例分割算法精确度的要求越高。
在本申请实施例中,在确定出视频帧集合后,可以按照时间的先后顺序,确定视频帧集合中的最后一个视频帧(即本申请实施例中的指定视频帧)。
针对相邻的两个视频帧,如果在一个视频帧中检测出的目标车辆包含的像素所占的图像区域为A,在另一个视频帧中检测出的目标车辆包含的像素所占的图像区域为B,则可以计算图像区域A与图像区域B的交集表示的图像区域C,以及图像区域A与图像区域B的并集表示的图像区域D,进而,可以计算图像区域C与图像区域D的大小的比值,作为该两个视频帧之间对目标车辆进行检测的检测结果的交并比。
例如,第一数目为25,第一交并比阈值为0.8,如果距离指定视频帧最近的25个视频帧中,每相邻的两个视频帧之间对目标车辆进行检测的检测结果的交并比,均大于0.8,则可以确定该参考车位占用状态的状态置信度为第四置信度值。
步骤二:如果第一数目个视频帧中,每相邻的两个视频帧之间对目标车辆进行检测的检测结果的交并比中,存在小于第一交并比阈值的交并比,且第一数目个视频帧中,每相邻的两个视频帧之间对目标车辆进行检测的检测结果的交并比,均大于第二交并比阈值,确定该参考车位占用状态的状态置信度为预设的多个置信度值中的第三置信度值。
其中,第二交并比阈值小于第一交并比阈值。第二交并比阈值可以由技术人员根据经验进行设置,例如,第一交并比阈值为0.8,则第二交并比阈值可以为0.6;第一交并比阈值为0.85,则第二交并比阈值可以为0.65,但并不限于此。
例如,第一数目为25,第一交并比阈值为0.8,第二交并比阈值为0.6。如果距离指定视频帧最近的25个视频帧中,每相邻的两个视频帧之间对目标车辆进行检测的检测结果的交并比中,存在小于0.8的交并比,且距离指定视频帧最近的25个视频帧中,每相邻的两个视频帧之间对目标车辆进行检测的检测结果的交并比,均大于0.6,则可以确定该参考车位占用状态的状态置信度为第三置信度值。
步骤三:如果第一数目个视频帧中,每相邻的两个视频帧之间对目标车辆进行检测的检测结果的交并比中,存在小于第二交并比阈值的交并比,且视频帧集合中距离指定视频帧最近的第二数目个视频帧中,每相邻的两个视频帧之间对目标车辆进行检测的检测结果的交并比,均大于第二交并比阈值,确定该参考车位占用状态的状态置信度为预设的多个置信度值中的第二置信度值。
其中,第二数目小于第一数目。第二数目可以由技术人员根据经验进行设置,例如,第一数目为30,则第二数目可以为25;第一数目为25,则第二数目可以为10,但并不限于此。
例如,第一数目为25,第一交并比阈值为0.8,第二交并比阈值为0.6,第二数目为10。
如果距离指定视频帧最近的25个视频帧中,每相邻的两个视频帧之间对目标车辆进行检测的检测结果的交并比中,存在小于0.6的交并比,且距离指定视频帧最近的10个视频帧中,每相邻的两个视频帧之间对目标车辆进行检测的检测结果的交并比,均大于0.6,则可以确定该参考车位占用状态的状态置信度为第二置信度值。
步骤四:如果第二数目个视频帧中,每相邻的两个视频帧之间对目标车辆进行检测的检测结果的交并比中,存在小于第二交并比阈值的交并比,确定该参考车位占用状态的状态置信度为预设的多个置信度值中的第一置信度值。
例如,第一数目为25,第一交并比阈值为0.8,第二交并比阈值为0.6,第二数目为10。
如果距离指定视频帧最近的10个视频帧中,每相邻的两个视频帧之间对目标车辆进行检测的检测结果的交并比中,存在小于0.6的交并比,则可以确定该参考车位占用状态的状态置信度为第一置信度值。
一种实现方式中,可用Absolute(完全的)、High(高)、Medium(中等)、Low(低)分别表示第四置信度值、第三置信度值、第二置信度值、第一置信度值。
在一个实施例中,参见图8,步骤S702可以包括以下步骤:
S7021:判断视频帧集合中距离指定视频帧最近的第一数目个视频帧中,每相邻的两个视频帧之间对目标车辆进行检测的检测结果的交并比,是否均大于第一交并比阈值,如果是,执行S7022;如果否,执行S7023。
S7022:确定该参考车位占用状态的状态置信度为预设的多个置信度值中的第四置信度值。
S7023:判断第一数目个视频帧中,每相邻的两个视频帧之间对目标车辆进行检测的检测结果的交并比,是否均大于第二交并比阈值;如果是,执行S7024,如果否,执行S7025。
其中,第二交并比阈值小于第一交并比阈值。
S7024:确定该参考车位占用状态的状态置信度为预设的多个置信度值中的第三置信度值。
S7025:判断视频帧集合中距离指定视频帧最近的第二数目个视频帧中,每相邻的两个视频帧之间对目标车辆进行检测的检测结果的交并比,是否均大于第二交并比阈值,如果是,执行S7026,如果否,执行S7027。
其中,第二数目小于第一数目。
S7026:确定该参考车位占用状态的状态置信度为预设的多个置信度值中的第二置信度值。
S7027:确定该参考车位占用状态的状态置信度为预设的多个置信度值中的第一置信度值。
在一个实施例中,参见图9,该方法还可以包括以下步骤:
S1012:当到达预设定时时长时,检测监控视频中的每个停车位的车位占用状态,是否有对应的初始停车事件。
S1013:当检测到存在车位占用状态,而没有对应的初始停车事件时,生成与该车位占用状态对应的停车位的备选停车事件。
S1014:判断该车位占用状态的状态置信度是否低于预设的第五置信度值;如果否,执行S1015;如果是,执行S1016。
S1015:确定备选停车事件为最终的停车事件。
S1016:确定备选停车事件为可疑停车事件。
在本申请实施例中,受算法的精确度的限制,在对监控视频中的车辆进行检测,确定初始停车事件的过程中,可能会出现实际车辆触发了停车事件,然而并未确定出初始停车事件的情况(即漏抓了初始停车事件),此时,基于监控视频,仍会确定出该车位对应的车位占用状态。
因此,可以在达到预设定时时长时,检测监控视频中的每个停车位的车位占用状态,是否有对应的初始停车事件。
当检测到存在车位占用状态,而没有对应的初始停车事件时,表明可能漏抓了该车位占用状态对应的初始停车事件。
在一个实施例中,步骤S1013可以包括以下步骤中的一项:
步骤一:如果该车位占用状态为未占用,确定该车位占用状态对应的停车位的上一个入车事件,作为待处理入车事件,并生成待处理入车事件对应的出车事件,作为与该车位占用状态对应的停车位的备选停车事件。
步骤二:如果该车位占用状态为占用,基于该车位占用状态对应的停车位中当前停靠的车辆的车辆信息,生成对应的入车事件,作为与该车位占用状态对应的停车位的备选停车事件。
在本申请实施例中,如果检测出的该车位占用状态为未占用,表明漏抓的初始停车事件为出车事件,相应的,则可以确定该车位占用状态对应的停车位的上一个入车事件,并生成该入车事件对应的出车事件。
例如,可以获取确定出的上一个入车事件中的车辆的车牌信息,进而,基于车牌信息生成对应的出车事件。
如果检测出的该车位占用状态为占用,表明漏抓的初始停车事件为入车事件,进而,可以直接基于该车位占用状态对应的的停车位中当前停靠的车辆的车辆信息,生成对应的入车事件,作为备选停车事件。
第五置信度值可以为上述预设的多个置信度值中的第三置信度值。
如果检测出的该车位占用状态的置信度低于第五置信度值,表明备选停车事件的可靠性较低,此时,可以确定备选停车事件为可疑停车事件。后续,可以将该可疑停车事件发送给用户,由用户进行人工检测。
如果检测出的该车位占用状态的置信度不低于第五置信度值,表明备选停车事件的可靠性较高,此时,可以确定备选停车事件为最终的停车事件。
在一个实施例中,该方法还可以包括:向预设终端发送确定出的最终的停车事件,以及可疑停车事件。
一种实现方式中,可以向预设终端发送确定出的最终的停车事件,以及可疑停车事件,使得预设终端能够显示确定出的最终的停车事件,以及可疑停车事件。相应的,用户可以对可疑停车事件进行人工审核,判断其是否为最终的停车事件。
在一个实施例中,本申请提供的方法可以由电子设备执行,该电子设备可以包括视频触发模块、状态感知模块、后处理模块和人工审核模块,相应的,参见图10,图10为本申请实施例提供的车辆停车监控的一种总体流程框图。
在获取监控视频后,视频触发模块可以对监控视频中的车辆进行检测和跟踪,确定车辆的行驶轨迹,进而,可以根据车辆的行驶轨迹和停车区域中停车位的位置,确定初始停车事件。
在获取监控视频后,状态感知模块可以确定监控视频中的各个停车位与车辆的相对位置,进而,可以根据相对位置,确定各个停车位的车位占用状态。
后处理模块可以获取初始停车事件和车位占用状态,基于该初始停车事件的事件信息,从所有停车位的车位占用状态中,获得该初始停车事件对应的车位占用状态,作为参考车位占用状态,以及基于该初始停车事件的事件信息中的入车事件标识或出车事件标识,确定该初始停车事件对应的目标停车位的车位占用状态,作为预测车位占用状态;并校验参考车位占用状态与预测车位占用状态是否一致,以及基于初始停车事件的事件置信度和参考车位占用状态的状态置信度,确定出最终的停车事件和可疑停车事件。
人工审核模块可以获取最终的停车事件和可疑停车事件,并向用户展示,用户可以浏览最终的停车事件和可疑停车事件,并对可疑停车事件进行人工审核,从可疑停车事件中确定出最终的停车事件,进而,得到所有最终的停车事件,作为目标停车事件。
在一个实施例中,与上述视频触发模块对应,参见图11,图11为本申请实施例提供的确定初始停车事件的一种流程框图。
在获取监控视频后,目标检测模块可以基于目标检测算法,确定车辆在监控视频中的位置,另外,目标检测模块还可以确定检测到的车辆的车辆类型等信息。然后,目标检测模块可以将确定出的信息,发送至车牌识别模块和目标跟踪模块。
车牌识别模块则可以对监控视频中的车牌进行识别,并确定车牌在监控视频中的位置,进而,可以结合车牌在监控视频中的位置和车辆在监控视频中的位置,确定车辆与车牌的对应关系。
目标跟踪模块可以获取车辆在监控视频中的位置,采用多目标跟踪算法和单目标跟踪算法,对监控视频中的车辆进行跟踪,得到车辆的行驶轨迹。
事件分析模块则可以根据车辆的行驶轨迹,结合停车位的位置,确定车辆驶出停车位,或者,驶入停车位,得到对应的初始停车事件。
基于上述处理,得到的初始停车事件的事件信息可以包括:停车事件标识、车辆的车牌信息、车位信息、生成时刻和过程图片。
其中,车位信息可以包括车辆驶出/或驶入的停车位的标识。
如果初始停车事件为出车事件,则生成时刻可以表示车辆驶出停车位的时间;如果初始停车事件为入车事件,则生成时刻可以表示车辆在停车位停下的时间。
如果初始停车事件为出车事件,则过程图片可以包括:从车辆开始行使至车辆行使出停车位过程中的多个视频帧;如果初始停车事件为入车事件,则过程图片可以包括:从车辆开始驶入停车位至车辆在停车位停下的过程中的多个视频帧。
在一个实施例中,与上述状态感知模块对应,参见图12,图12为本申请实施例提供的确定车位占用状态的一种流程框图。
在获取监控视频后,实例分割模块可以基于实例分割算法,确定监控视频中车辆包含的像素的位置,并向状态处理模块发送。
状态处理模块可以基于车辆包含的像素的位置,以及停车位的位置,确定车辆与停车位的相对位置,进而,可以基于停车位与车辆的相对位置,确定停车位的车位占用状态。
另外,状态处理模块还可以对实例分割模块发送的,车辆包含的像素的位置进行去噪处理和平滑处理。例如,车辆包含的像素在一个视频帧中的位置,与在该视频帧相邻的其他视频帧中的位置的差异较大,则状态处理模块可以基于车辆包含的像素在其他视频帧中的位置,重新计算车辆包含的像素在该视频帧中的位置。
在一个实施例中,与上述后处理模块对应,参见图13,图13为本申请实施例提供的确定最终的停车事件和可以停车事件的一种流程框图。
事件缓存模块可以获取确定出的初始停车事件和车位占用状态,并缓存。
误抓过滤模块,可以校验初始停车事件对应的参考车位占用状态,以及基于初始停车事件确定出的预测参考车位占用状态是否一致,如果一致,确定初始停车事件为最终的停车事件。
如果不一致,判断参考车位占用状态的状态置信度是否低于初始停车事件的事件置信度;如果参考车位占用状态的状态置信度低于初始停车事件的事件置信度,确定初始停车事件为可疑停车事件;否则,删除该初始停车事件的事件信息。
漏抓补抓模块,可以在到达预设定时时长时,检测监控视频中的每个停车位的车位占用状态,是否有对应的初始停车事件。当检测到存在车位占用状态,而没有对应的初始停车事件时,生成与该车位占用状态对应的停车位的备选停车事件。如果该车位占用状态的置信度不低于第五置信度值,确定备选停车事件为最终的停车事件;否则,确定备选停车事件为可疑停车事件。
进而,可以得到最终的停车事件和可疑停车事件。
基于相同的发明构思,本申请实施例还提供了一种车辆停车监控装置,参见图14,图14为本申请实施例提供的一种车辆停车监控装置的结构图,装置可以包括:
监控视频获取模块1401,用于获取停车区域的监控视频;
目标车辆确定模块1402,用于从所述监控视频中确定一个或多个目标车辆;
初始停车事件确定模块1403,用于对每个目标车辆进行检测,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件;其中,该初始停车事件包括入车事件或出车事件,该初始停车事件的事件信息包括:入车事件标识或出车事件标识,和该初始停车事件对应的目标停车位的标识;
车位占用状态确定模块1404,用于基于所述监控视频,确定所述停车区域中所有停车位的车位占用状态;
参考车位占用状态获得模块1405,用于基于该初始停车事件的事件信息,从所有停车位的车位占用状态中,获得所述目标停车位的车位占用状态,作为参考车位占用状态;
预测车位占用状态确定模块1406,用于基于该初始停车事件的事件信息中的入车事件标识或出车事件标识,确定该初始停车事件对应的所述目标停车位的车位占用状态,作为预测车位占用状态;
第一处理模块1407,用于若所述预测车位占用状态与所述参考车位占用状态一致,则确定该初始停车事件为最终的停车事件。
可选的,所述车位占用状态确定模块1404,包括:
相对位置确定子模块,用于基于实例分割算法,获得所述监控视频中的每个停车位与该停车位对应的车辆之间的相对位置,所述该停车位对应的车辆,为处于该停车位预设范围内的车辆;
第一车位占用状态确定子模块,用于当基于所述相对位置确定该停车位处不存在对应的车辆时,确定所述目标停车位的车位占用状态为未占用;
第二车位占用状态确定子模块,用于当基于所述相对位置确定该停车位处存在对应的车辆时,确定所述目标停车位的车位占用状态为占用;
记录子模块,用于记录该停车位的车位占用状态及该车位占用状态的生成时刻。
可选的,该初始停车事件的事件信息还包括该初始停车事件的触发时刻;
所述参考车位占用状态获得模块1405,包括:
生成时刻获得子模块,用于基于该初始停车事件对应的目标停车位的标识,从已记录的所有停车位的车位占用状态及该车位占用状态的生成时刻中,获得所述目标停车位的车位占用状态及该车位占用状态的生成时刻;
参考车位占用状态获得子模块,用于获得生成时刻与该初始停车事件的触发时刻对应的车位占用状态,作为该初始停车事件对应的目标停车位的目标车位占用状态。
可选的,所述装置还包括:
置信度获取模块,用于若所述预测车位占用状态与所述参考车位占用状态不一致,则按预设的停车事件的置信度确定算法,确定该初始停车事件的事件置信度;以及,按预设的参考车位占用状态置信度确定算法,确定该参考车位占用状态的状态置信度;
其中,该初始停车事件的事件置信度,用于表示该初始停车事件与该目标车辆真实的行驶状态一致的程度;该参考车位占用状态的状态置信度,用于表示该参考车位占用状态与所述目标停车位真实的状态一致的程度;该初始停车事件的事件置信度为预设的多个置信度值中的一个置信度值,该参考车位占用状态的状态置信度为所述预设的多个置信度值中的一个置信度值;
第一判断模块,用于基于该初始停车事件的事件置信度和该参考车位占用状态的状态置信度,判断该初始停车事件是否满足预设的输出条件;
输出模块,用于如果该初始停车事件满足预设的输出条件,则将该初始停车事件作为可疑停车事件输出给用户;
删除模块,用于如果该初始停车事件不满足预设的输出条件,则删除该初始停车事件的事件信息。
可选的,所述置信度获取模块,包括:
跟踪数据获得子模块,用于基于所述监控视频,获得对该目标车辆进行跟踪的跟踪数据;
事件置信度确定子模块,用于基于所述跟踪数据,和预设的停车事件的置信度确定算法,确定该初始停车事件的事件置信度。
可选的,所述事件置信度确定子模块,包括:
第一判断单元,用于基于所述跟踪数据,判断对该目标车辆进行跟踪时是否满足预设跟踪丢失条件;其中,所述预设跟踪丢失条件包括:所述监控视频中的目标视频帧的中心区域内存在该目标车辆,且在所述目标视频帧之后的视频帧的中心区域内不存在该目标车辆;
第一置信度确定单元,用于在对该目标车辆进行跟踪时满足所述预设跟踪丢失条件的情况下,确定该初始停车事件的事件置信度为所述预设的多个置信度值中的第一置信度值;
第二判断单元,用于在对该目标车辆进行跟踪时不满足所述预设跟踪丢失条件的情况下,判断对该目标车辆进行跟踪时是否满足预设跟踪错误条件;其中,所述预设跟踪错误条件包括:所述监控视频中的相邻两个视频帧中该目标车辆的特征参数之间的差值,大于预设阈值;
第二置信度确定单元,用于如果对该目标车辆进行跟踪时满足所述预设跟踪错误条件,确定该初始停车事件的事件置信度为所述预设的多个置信度值中的第二置信度值;
第三置信度确定单元,用于如果对该目标车辆进行跟踪时不满足所述预设跟踪错误条件,判断是否能够检测到该目标车辆的车牌信息;如果不能够检测到该目标车辆的车牌信息,确定该初始停车事件的事件置信度为所述第二置信度值;如果能够检测到该目标车辆的车牌信息,确定该初始停车事件的事件置信度为所述预设的多个置信度值中的第三置信度值;
其中,所述第三置信度值高于所述第二置信度值,所述第二置信度值高于所述第一置信度值。
可选的,所述置信度获取模块,包括:
视频帧集合获得子模块,用于在所述监控视频中,确定得到该参考车位占用状态所采用的视频帧,得到视频帧集合;
状态置信度确定子模块,用于基于所述视频帧集合中,多个连续的视频帧之间对该目标车辆进行检测的检测结果的交并比,以及所述多个连续的视频帧的数目,确定该参考车位占用状态的状态置信度。
可选的,所述状态置信度确定子模块,包括:
第四置信度确定单元,用于如果所述视频帧集合中距离指定视频帧最近的第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比,均大于第一交并比阈值,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第四置信度值;其中,所述指定视频帧为按照时间的先后顺序,所述视频帧集合中的最后一个视频帧;
第五置信度确定单元,用于如果所述第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比中,存在小于所述第一交并比阈值的交并比,且所述第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比,均大于第二交并比阈值,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第三置信度值;其中,所述第二交并比阈值小于所述第一交并比阈值;
第六置信度确定单元,用于如果所述第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比中,存在小于所述第二交并比阈值的交并比,且所述视频帧集合中距离所述指定视频帧最近的第二数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比,均大于所述第二交并比阈值,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第二置信度值;其中,所述第二数目小于所述第一数目;
第七置信度确定单元,用于如果所述第二数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比中,存在小于所述第二交并比阈值的交并比,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第一置信度值;
其中,所述第四置信度值高于所述第三置信度值;所述第三置信度值高于所述第二置信度值;所述第二置信度值高于所述第一置信度值。
可选的,所述装置还包括:
车位占用状态检测模块,用于当到达预设定时时长时,检测所述监控视频中的每个停车位的车位占用状态,是否有对应的初始停车事件;
备选停车事件生成模块,用于当检测到存在车位占用状态,而没有对应的初始停车事件时,生成与该车位占用状态对应的停车位的备选停车事件;
第二判断模块,用于判断该车位占用状态的状态置信度是否低于预设的第五置信度值;
第二处理模块,用于如果该车位占用状态的状态置信度不低于所述第五置信度值,确定所述备选停车事件为最终的停车事件;
可疑停车事件确定模块,用于如果该车位占用状态的状态置信度低于所述第五置信度值,确定所述备选停车事件为可疑停车事件。
可选的,所述备选停车事件生成模块,包括:
第一备选停车事件生成子模块,用于如果该车位占用状态为未占用,确定该车位占用状态对应的停车位的上一个入车事件,作为待处理入车事件,并生成所述待处理入车事件对应的出车事件,作为与该车位占用状态对应的停车位的备选停车事件
第二备选停车事件生成子模块,用于如果该车位占用状态为占用,基于该车位占用状态对应的停车位中当前停靠的车辆的车辆信息,生成对应的入车事件,作为与该车位占用状态对应的停车位的备选停车事件。
可选的,所述初始停车事件确定模块1403,包括:
行驶轨迹获取子模块,用于基于目标检测算法和目标跟踪算法,对所述监控视频中的每个目标车辆进行检测和跟踪,得到每个目标车辆的行驶轨迹;
初始停车事件确定子模块,用于基于每个目标车辆的行驶轨迹和所述停车区域中的停车位的位置信息,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件。
本申请实施例还提供了一种电子设备,如图15所示,包括处理器1501、通信接口1502、存储器1503和通信总线1504,其中,处理器1501,通信接口1502,存储器1503通过通信总线1504完成相互间的通信,
存储器1503,用于存放计算机程序;
处理器1501,用于执行存储器1503上所存放的程序时,实现如下步骤:
获取停车区域的监控视频;
从所述监控视频中确定一个或多个目标车辆;
对每个目标车辆进行检测,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件;其中,该初始停车事件的事件信息包括:停车事件标识和该初始停车事件对应的目标停车位的标识;所述停车事件标识为入车事件标识或出车事件标识;
基于所述监控视频,确定所述停车区域中所有停车位的车位占用状态;
基于该初始停车事件的事件信息,从所有停车位的车位占用状态中,获得所述目标停车位的车位占用状态,作为参考车位占用状态;
基于该初始停车事件的事件信息中的入车事件标识或出车事件标识,确定该初始停车事件对应的所述目标停车位的车位占用状态,作为预测车位占用状态;
若所述预测车位占用状态与所述参考车位占用状态一致,则确定该初始停车事件为最终的停车事件。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行本申请实施例提供的车辆停车监控方法。
具体的,上述车辆停车监控方法,包括:
获取停车区域的监控视频;
从所述监控视频中确定一个或多个目标车辆;
对每个目标车辆进行检测,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件;其中,该初始停车事件的事件信息包括:停车事件标识和该初始停车事件对应的目标停车位的标识;所述停车事件标识为入车事件标识或出车事件标识;
基于所述监控视频,确定所述停车区域中所有停车位的车位占用状态;
基于该初始停车事件的事件信息,从所有停车位的车位占用状态中,获得所述目标停车位的车位占用状态,作为参考车位占用状态;
基于该初始停车事件的事件信息中的入车事件标识或出车事件标识,确定该初始停车事件对应的所述目标停车位的车位占用状态,作为预测车位占用状态;
若所述预测车位占用状态与所述参考车位占用状态一致,则确定该初始停车事件为最终的停车事件。
需要说明的是,上述车辆停车监控方法的其他实现方式与前述方法实施例部分相同,这里不再赘述。
本申请实施例还提供了另一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本申请实施例提供的车辆停车监控方法。
具体的,上述车辆停车监控方法,包括:
获取停车区域的监控视频;
从所述监控视频中确定一个或多个目标车辆;
对每个目标车辆进行检测,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件;其中,该初始停车事件的事件信息包括:停车事件标识和该初始停车事件对应的目标停车位的标识;所述停车事件标识为入车事件标识或出车事件标识;
基于所述监控视频,确定所述停车区域中所有停车位的车位占用状态;
基于该初始停车事件的事件信息,从所有停车位的车位占用状态中,获得所述目标停车位的车位占用状态,作为参考车位占用状态;
基于该初始停车事件的事件信息中的入车事件标识或出车事件标识,确定该初始停车事件对应的所述目标停车位的车位占用状态,作为预测车位占用状态;
若所述预测车位占用状态与所述参考车位占用状态一致,则确定该初始停车事件为最终的停车事件。
需要说明的是,上述车辆停车监控方法的其他实现方式与前述方法实施例部分相同,这里不再赘述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质、计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (13)
1.一种车辆停车监控方法,其特征在于,所述方法包括:
获取停车区域的监控视频;
从所述监控视频中确定一个或多个目标车辆;
对每个目标车辆进行检测,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件;其中,该初始停车事件的事件信息包括:停车事件标识和该初始停车事件对应的目标停车位的标识;所述停车事件标识为入车事件标识或出车事件标识;
基于所述监控视频,确定所述停车区域中所有停车位的车位占用状态;
基于该初始停车事件的事件信息,从所有停车位的车位占用状态中,获得所述目标停车位的车位占用状态,作为参考车位占用状态;
基于该初始停车事件的事件信息中的入车事件标识或出车事件标识,确定该初始停车事件对应的所述目标停车位的车位占用状态,作为预测车位占用状态;
若所述预测车位占用状态与所述参考车位占用状态一致,则确定该初始停车事件为最终的停车事件;
车位占用状态为基于所述监控视频对停车区域中的各个停车位进行实时监控确定的;
所述方法还包括:
若所述预测车位占用状态与所述参考车位占用状态不一致,则按预设的停车事件的置信度确定算法,确定该初始停车事件的事件置信度;以及,按预设的参考车位占用状态置信度确定算法,确定该参考车位占用状态的状态置信度;
其中,该初始停车事件的事件置信度,用于表示该初始停车事件与该目标车辆真实的行驶状态一致的程度;该参考车位占用状态的状态置信度,用于表示该参考车位占用状态与所述目标停车位真实的状态一致的程度;该初始停车事件的事件置信度为预设的多个置信度值中的一个置信度值,该参考车位占用状态的状态置信度为所述预设的多个置信度值中的一个置信度值;
基于该初始停车事件的事件置信度和该参考车位占用状态的状态置信度,判断该初始停车事件是否满足预设的输出条件;
如果该初始停车事件满足预设的输出条件,则将该初始停车事件作为可疑停车事件输出给用户;
如果该初始停车事件不满足预设的输出条件,则删除该初始停车事件的事件信息。
2.根据权利要求1所述的方法,其特征在于,所述基于所述监控视频,确定所述停车区域中所有停车位的车位占用状态,包括:
基于实例分割算法,获得所述监控视频中的每个停车位与该停车位对应的车辆之间的相对位置,所述该停车位对应的车辆,为处于该停车位预设范围内的车辆;
当基于所述相对位置确定该停车位处不存在对应的车辆时,确定所述目标停车位的车位占用状态为未占用;
当基于所述相对位置确定该停车位处存在对应的车辆时,确定所述目标停车位的车位占用状态为占用;
记录该停车位的车位占用状态及该车位占用状态的生成时刻。
3.根据权利要求2所述的方法,其特征在于,该初始停车事件的事件信息还包括该初始停车事件的触发时刻;
所述基于该初始停车事件的事件信息,从所有停车位的车位占用状态中,获得所述目标停车位的车位占用状态,作为参考车位占用状态,包括:
基于该初始停车事件对应的目标停车位的标识,从已记录的所有停车位的车位占用状态及该车位占用状态的生成时刻中,获得所述目标停车位的车位占用状态及该车位占用状态的生成时刻;
获得生成时刻与该初始停车事件的触发时刻对应的车位占用状态,作为该初始停车事件对应的目标停车位的参考车位占用状态。
4.根据权利要求1所述的方法,其特征在于,所述按预设的停车事件的置信度确定算法,确定该初始停车事件的事件置信度,包括:
基于所述监控视频,获得对该目标车辆进行跟踪的跟踪数据;
基于所述跟踪数据,和预设的停车事件的置信度确定算法,确定该初始停车事件的事件置信度。
5.根据权利要求4所述的方法,其特征在于,所述基于所述跟踪数据,和预设的停车事件的置信度确定算法,确定该初始停车事件的事件置信度,包括:
基于所述跟踪数据,判断对该目标车辆进行跟踪时是否满足预设跟踪丢失条件;其中,所述预设跟踪丢失条件包括:所述监控视频中的目标视频帧的中心区域内存在该目标车辆,且在所述目标视频帧之后的视频帧的中心区域内不存在该目标车辆;
在对该目标车辆进行跟踪时满足所述预设跟踪丢失条件的情况下,确定该初始停车事件的事件置信度为所述预设的多个置信度值中的第一置信度值;
在对该目标车辆进行跟踪时不满足所述预设跟踪丢失条件的情况下,判断对该目标车辆进行跟踪时是否满足预设跟踪错误条件;其中,所述预设跟踪错误条件包括:所述监控视频中的相邻两个视频帧中该目标车辆的特征参数之间的差值,大于预设阈值;
如果对该目标车辆进行跟踪时满足所述预设跟踪错误条件,确定该初始停车事件的事件置信度为所述预设的多个置信度值中的第二置信度值;
如果对该目标车辆进行跟踪时不满足所述预设跟踪错误条件,判断是否能够检测到该目标车辆的车牌信息;如果不能够检测到该目标车辆的车牌信息,确定该初始停车事件的事件置信度为所述第二置信度值;如果能够检测到该目标车辆的车牌信息,确定该初始停车事件的事件置信度为所述预设的多个置信度值中的第三置信度值;
其中,所述第三置信度值高于所述第二置信度值,所述第二置信度值高于所述第一置信度值。
6.根据权利要求4所述的方法,其特征在于,所述按预设的参考车位占用状态置信度确定算法,确定该参考车位占用状态的状态置信度,包括:
在所述监控视频中,确定得到该参考车位占用状态所采用的视频帧,得到视频帧集合;
基于所述视频帧集合中,多个连续的视频帧之间对该目标车辆进行检测的检测结果的交并比,以及所述多个连续的视频帧的数目,确定该参考车位占用状态的状态置信度。
7.根据权利要求6所述的方法,其特征在于,所述基于所述视频帧集合中,多个连续的视频帧之间对该目标车辆进行检测的检测结果的交并比,以及所述多个连续的视频帧的数目,确定该参考车位占用状态的状态置信度,包括:
如果所述视频帧集合中距离指定视频帧最近的第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比,均大于第一交并比阈值,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第四置信度值;其中,所述指定视频帧为按照时间的先后顺序,所述视频帧集合中的最后一个视频帧;
如果所述第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比中,存在小于所述第一交并比阈值的交并比,且所述第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比,均大于第二交并比阈值,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第三置信度值;其中,所述第二交并比阈值小于所述第一交并比阈值;
如果所述第一数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比中,存在小于所述第二交并比阈值的交并比,且所述视频帧集合中距离所述指定视频帧最近的第二数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比,均大于所述第二交并比阈值,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第二置信度值;其中,所述第二数目小于所述第一数目;
如果所述第二数目个视频帧中,每相邻的两个视频帧之间对所述目标车辆进行检测的检测结果的交并比中,存在小于所述第二交并比阈值的交并比,确定该参考车位占用状态的状态置信度为所述预设的多个置信度值中的第一置信度值;
其中,所述第四置信度值高于所述第三置信度值;所述第三置信度值高于所述第二置信度值;所述第二置信度值高于所述第一置信度值。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当到达预设定时时长时,检测所述监控视频中的每个停车位的车位占用状态,是否有对应的初始停车事件;
当检测到存在车位占用状态,而没有对应的初始停车事件时,生成与该车位占用状态对应的停车位的备选停车事件;
判断该车位占用状态的状态置信度是否低于预设的第五置信度值;
如果该车位占用状态的状态置信度不低于所述第五置信度值,确定所述备选停车事件为最终的停车事件;
如果该车位占用状态的状态置信度低于所述第五置信度值,确定所述备选停车事件为可疑停车事件。
9.根据权利要求8所述的方法,其特征在于,所述生成与该车位占用状态对应的停车位的备选停车事件,包括:
如果该车位占用状态为未占用,确定该车位占用状态对应的停车位的上一个入车事件,作为待处理入车事件,并生成所述待处理入车事件对应的出车事件,作为与该车位占用状态对应的停车位的备选停车事件;
如果该车位占用状态为占用,基于该车位占用状态对应的停车位中当前停靠的车辆的车辆信息,生成对应的入车事件,作为与该车位占用状态对应的停车位的备选停车事件。
10.根据权利要求1所述的方法,其特征在于,所述对每个目标车辆进行检测,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件,包括:
基于目标检测算法和目标跟踪算法,对所述监控视频中的每个目标车辆进行检测和跟踪,得到每个目标车辆的行驶轨迹;
基于每个目标车辆的行驶轨迹和所述停车区域中的停车位的位置信息,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件。
11.一种车辆停车监控装置,其特征在于,所述装置包括:
监控视频获取模块,用于获取停车区域的监控视频;
目标车辆确定模块,用于从所述监控视频中确定一个或多个目标车辆;
初始停车事件确定模块,用于对每个目标车辆进行检测,确定每个目标车辆触发的停车事件,作为该目标车辆的初始停车事件;其中,该初始停车事件包括入车事件或出车事件,该初始停车事件的事件信息包括:入车事件标识或出车事件标识,和该初始停车事件对应的目标停车位的标识;
车位占用状态确定模块,用于基于所述监控视频,确定所述停车区域中所有停车位的车位占用状态;
目标车位占用状态获得模块,用于基于该初始停车事件的事件信息,从所有停车位的车位占用状态中,获得所述目标停车位的车位占用状态,作为参考车位占用状态;
预测车位占用状态确定模块,用于基于该初始停车事件的事件信息中的入车事件标识或出车事件标识,确定该初始停车事件对应的所述目标停车位的车位占用状态,作为预测车位占用状态;
第一处理模块,用于若所述预测车位占用状态与所述参考车位占用状态一致,则确定该初始停车事件为最终的停车事件;
车位占用状态为基于所述监控视频对停车区域中的各个停车位进行实时监控确定的;
所述装置还包括:
置信度获取模块,用于若所述预测车位占用状态与所述参考车位占用状态不一致,则按预设的停车事件的置信度确定算法,确定该初始停车事件的事件置信度;以及,按预设的参考车位占用状态置信度确定算法,确定该参考车位占用状态的状态置信度;
其中,该初始停车事件的事件置信度,用于表示该初始停车事件与该目标车辆真实的行驶状态一致的程度;该参考车位占用状态的状态置信度,用于表示该参考车位占用状态与所述目标停车位真实的状态一致的程度;该初始停车事件的事件置信度为预设的多个置信度值中的一个置信度值,该参考车位占用状态的状态置信度为所述预设的多个置信度值中的一个置信度值;
第一判断模块,用于基于该初始停车事件的事件置信度和该参考车位占用状态的状态置信度,判断该初始停车事件是否满足预设的输出条件;
输出模块,用于如果该初始停车事件满足预设的输出条件,则将该初始停车事件作为可疑停车事件输出给用户;
删除模块,用于如果该初始停车事件不满足预设的输出条件,则删除该初始停车事件的事件信息。
12.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器,所述通信接口,所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1-10任一所述的方法步骤。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-10任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010802867.4A CN111739175B (zh) | 2020-08-11 | 2020-08-11 | 一种车辆停车监控方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010802867.4A CN111739175B (zh) | 2020-08-11 | 2020-08-11 | 一种车辆停车监控方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111739175A CN111739175A (zh) | 2020-10-02 |
CN111739175B true CN111739175B (zh) | 2022-07-05 |
Family
ID=72658395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010802867.4A Active CN111739175B (zh) | 2020-08-11 | 2020-08-11 | 一种车辆停车监控方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111739175B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112820141B (zh) * | 2021-01-14 | 2022-04-19 | 浙江吉利控股集团有限公司 | 一种泊车车位的检测方法和检测系统 |
CN112784794B (zh) * | 2021-01-29 | 2024-02-02 | 深圳市捷顺科技实业股份有限公司 | 一种车辆停放状态检测方法、装置、电子设备及存储介质 |
CN113674350A (zh) * | 2021-07-15 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种车位状态检测方法、装置、计算机设备和存储介质 |
CN114038232B (zh) * | 2021-10-28 | 2022-09-20 | 超级视线科技有限公司 | 一种基于边缘端算存结合的路侧停车管理方法及系统 |
CN115035714A (zh) * | 2022-05-05 | 2022-09-09 | 浙江大华技术股份有限公司 | 车辆停车行为确定方法、电子设备及存储介质 |
CN116091899B (zh) * | 2023-04-12 | 2023-06-23 | 中国铁塔股份有限公司 | 车辆跟踪方法、系统、装置、电子设备及可读存储介质 |
CN116502125B (zh) * | 2023-04-28 | 2024-03-12 | 重庆赛力斯凤凰智创科技有限公司 | 车辆事件划分方法、装置及车联网服务器 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107134145A (zh) * | 2017-06-10 | 2017-09-05 | 智慧互通科技有限公司 | 基于多类型图像采集的路侧停车管理装置、系统及方法 |
CN108765976A (zh) * | 2018-06-21 | 2018-11-06 | 智慧互通科技有限公司 | 路侧平行停车信息管理系统及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9129524B2 (en) * | 2012-03-29 | 2015-09-08 | Xerox Corporation | Method of determining parking lot occupancy from digital camera images |
CN105844959B (zh) * | 2016-06-13 | 2018-07-24 | 北京精英智通科技股份有限公司 | 车辆入位的判定方法、装置及车辆出位的判定方法、装置 |
CN107665599A (zh) * | 2016-07-28 | 2018-02-06 | 北海和思科技有限公司 | 基于视觉检测的停车场车位自动识别方法 |
WO2018025381A1 (ja) * | 2016-08-04 | 2018-02-08 | 三菱電機株式会社 | 駐車場監視システム |
CN107767673B (zh) * | 2017-11-16 | 2019-09-27 | 智慧互通科技有限公司 | 一种基于多摄像机的路侧停车管理方法、装置及系统 |
CN111105639B (zh) * | 2018-10-25 | 2022-04-05 | 杭州海康威视系统技术有限公司 | 车位状态检测方法及装置、车辆引导方法及系统、摄像机 |
CN111508082A (zh) * | 2019-10-31 | 2020-08-07 | 杭州海康威视系统技术有限公司 | 一种停车信息采集方法、装置、中心平台及存储介质 |
-
2020
- 2020-08-11 CN CN202010802867.4A patent/CN111739175B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107134145A (zh) * | 2017-06-10 | 2017-09-05 | 智慧互通科技有限公司 | 基于多类型图像采集的路侧停车管理装置、系统及方法 |
CN108765976A (zh) * | 2018-06-21 | 2018-11-06 | 智慧互通科技有限公司 | 路侧平行停车信息管理系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111739175A (zh) | 2020-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111739175B (zh) | 一种车辆停车监控方法和装置 | |
CN101206799B (zh) | 监控系统、监控装置和监控方法 | |
CN111028503B (zh) | 一种车辆变道监测方法及装置 | |
CN113205692B (zh) | 一种路侧停车泊位异常变动的自动识别方法 | |
CN110647818A (zh) | 一种遮挡目标物体的识别方法及装置 | |
CN114241016A (zh) | 一种跨相机轨迹关联方法、装置及电子设备 | |
CN113450575B (zh) | 一种路侧停车的管理方法及装置 | |
CN113869137A (zh) | 事件检测方法、装置、终端设备及存储介质 | |
JP5517410B2 (ja) | ナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラム | |
CN113743228A (zh) | 基于多数据融合结果的障碍物存在性检测方法和装置 | |
CN112163480A (zh) | 一种行为识别方法及装置 | |
CN112766222B (zh) | 一种基于泊位线辅助识别车辆行为的方法及装置 | |
US10628681B2 (en) | Method, device, and non-transitory computer readable medium for searching video event | |
CN113869258A (zh) | 交通事件检测方法、装置、电子设备及可读存储介质 | |
CN113673454A (zh) | 遗留物检测方法、相关设备和存储介质 | |
CN110880205B (zh) | 一种停车收费方法及装置 | |
CN111768630A (zh) | 一种违章废图检测方法、装置及电子设备 | |
CN114863372A (zh) | 一种泊车管理方法、泊车管理装置和计算机可读存储介质 | |
CN111179443A (zh) | 一种停车计费方法及装置 | |
CN112788228A (zh) | 一种基于雷达的抓拍触发系统、方法及装置 | |
CN114664096B (zh) | 停车场的监控视频处理方法及装置 | |
CN114037926A (zh) | 一种寻车路线的规划方法、装置、电子设备及存储介质 | |
CN111738185B (zh) | 一种目标识别方法、装置及设备 | |
JP5147536B2 (ja) | 不正車両撮影システム及び画像処理装置 | |
CN118072527A (zh) | 针对逃费车辆的追缴方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |