CN115082571A - 用于路内停车摄像机的异常检测方法和系统 - Google Patents

用于路内停车摄像机的异常检测方法和系统 Download PDF

Info

Publication number
CN115082571A
CN115082571A CN202210854186.1A CN202210854186A CN115082571A CN 115082571 A CN115082571 A CN 115082571A CN 202210854186 A CN202210854186 A CN 202210854186A CN 115082571 A CN115082571 A CN 115082571A
Authority
CN
China
Prior art keywords
berth
vertex
road parking
parking
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210854186.1A
Other languages
English (en)
Other versions
CN115082571B (zh
Inventor
黄二雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen 4hiitech Information Technology Co ltd
Original Assignee
Shenzhen 4hiitech Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen 4hiitech Information Technology Co ltd filed Critical Shenzhen 4hiitech Information Technology Co ltd
Priority to CN202210854186.1A priority Critical patent/CN115082571B/zh
Publication of CN115082571A publication Critical patent/CN115082571A/zh
Application granted granted Critical
Publication of CN115082571B publication Critical patent/CN115082571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Abstract

本发明公开了一种用于路内停车摄像机的异常检测方法,包括获取路内停车摄像机拍摄的图像;基于预先训练的图片异常分类模型对图像进行预分类,如果预分类结果为异常图像,则输出对应的异常类型,如果预分类结果为正常图像,则根据预先训练的泊位顶点检测模型识别图像中的泊位顶点;根据泊位顶点的测量值,判断路内停车摄像机是否发生偏移。通过预分类可以自动感知路内停车摄像机是否发生模糊、遮挡等异常情况;通过匹配泊位顶点,可以自动感知该路内停车摄像机是否发生错位,避免了在镜头因为外界原因发生偏移时,系统无法感知的情况,进而避免了镜头发生错位引发的后续错误。

Description

用于路内停车摄像机的异常检测方法和系统
技术领域
本发明涉及智慧停车技术领域,尤其涉及一种用于路内停车摄像机的异常检测方法和系统。
背景技术
智慧停车是智能化城市建设中重要的一环,充分利用城市道路的路内停车是实现智慧停车的重要组成部分,高位视频摄像头是一个解决路内停车收费、监控的重要解决方案。当部署了大量高位视频摄像头之后,对设备的维护成为了一个必须要解决的问题。
高位视频摄像头在现实环境中面临很多意外情况,如设备由于外界因素(例如,设备的固定螺丝松动或者因为大风等原因)错位、镜头意外被遮挡等等,这些都是实际运营过程中经常遇到的问题。现有的设备图像异常检测主要是基于传统的图像处理技术,通过分析图像像素的规律实现遮挡分析。这种方法对于摄像头的大范围遮挡比较敏感,但对镜头错位等情况无法准确的感知。
基于此,需要一种新的解决方案。
发明内容
本发明的主要目的在于提供一种用于路内停车摄像机的异常检测方法和系统。
为实现上述目的,本发明提供一种用于路内停车摄像机的异常检测方法,所述路内停车摄像机用于监测绘制有多个泊位的路边停车区域,包括以下步骤:
获取所述路内停车摄像机拍摄的图像;
基于预先训练的图片异常分类模型对所述图像进行预分类,如果预分类结果为异常图像,则输出对应的异常类型,如果预分类结果为正常图像,则根据预先训练的泊位顶点检测模型识别所述图像中的泊位顶点;以及
根据所述泊位顶点的测量值,判断所述路内停车摄像机是否发生偏移。
在本发明提供的用于路内停车摄像机的异常检测方法中,所述泊位顶点的测量值包括根据所述泊位顶点检测模型识别出的泊位顶点的数量和每个泊位顶点的坐标,根据所述泊位顶点的测量值,判断所述路内停车摄像机是否发生偏移的步骤包括:
判断所述泊位顶点检测模型识别出的泊位顶点是否满足第一条件,所述第一条件是:所述泊位顶点检测模型识别出的泊位顶点的数量小于或等于所述路内停车摄像机监测范围中的泊位顶点数量的最大值;
如果满足所述第一条件,则计算所述泊位顶点检测模型识别出的每个泊位顶点与所述路内停车摄像机监测范围中的泊位顶点的预设坐标集合中距离最近的点之间的距离;
如果不满足所述第一条件或所述多个距离的偏差大于预设阈值,则判定所述路内停车摄像机发生偏移。
在本发明提供的用于路内停车摄像机的异常检测方法中,还包括:根据所述多个距离的偏差,划分所述路内停车摄像机的偏移程度。
在本发明提供的用于路内停车摄像机的异常检测方法中,在所述预分类结果为图像异常以及所述路内停车摄像机发生偏移时,上报异常告警信息,所述告警信息包括所述路内停车摄像机的位置、设备编码和告警类型。
在本发明提供的用于路内停车摄像机的异常检测方法中,还包括:
获取正常图像样本信息和异常图像样本信息;
对所述异常图像样本信息根据异常类型进行分类;
标注所述正常图像样本信息中的泊位顶点;
利用深度CNN网络分别训练分类后的所述异常图像样本信息和标注好的所述正常图像样本信息,生成所述图片异常分类模型和所述泊位顶点检测模型。
此外,为实现上述目的,本发明还提供一种用于路内停车摄像机的异常检测系统,所述路内停车摄像机用于监测绘制有多个泊位的路边停车区域,包括:
图像获取模块,用于获取所述路内停车摄像机拍摄的图像;
预分类模块,用于基于预先训练的图片异常分类模型对所述图像进行预分类,在预分类结果为异常图像时,输出对应的异常类型;
泊位顶点识别模块,用于在预分类结果为正常图像时,根据预先训练的泊位顶点检测模型识别所述图像中的泊位顶点;以及
偏移检测模块,用于根据所述泊位顶点的测量值,判断所述路内停车摄像机是否发生偏移。
在本发明提供的用于路内停车摄像机的异常检测系统中,所述泊位顶点的测量值包括根据所述泊位顶点检测模型识别出的泊位顶点的数量和每个泊位顶点的坐标,所述偏移检测模块包括:
第一判断单元,用于判断所述泊位顶点检测模型识别出的泊位顶点是否满足第一条件,所述第一条件是:所述泊位顶点检测模型识别出的泊位顶点的数量小于或等于所述路内停车摄像机监测范围中的泊位顶点数量的最大值,如果不满足所述第一条件,则判定所述路内停车摄像机发生偏移;
计算单元,用于在满足所述第一条件时,计算所述泊位顶点检测模型识别出的每个泊位顶点与所述路内停车摄像机监测范围中的泊位顶点的预设坐标集合中距离最近的点之间的距离;以及
第二判断单元,用于根据计算出的多个距离,判断所述路内停车摄像机是否发生偏移,如果所述多个距离的偏差大于预设阈值,则判定所述路内停车摄像机发生偏移。
在本发明提供的用于路内停车摄像机的异常检测系统中,还包括告警信息上报模块和模型训练模块,
所述告警信息上报模块用于在所述预分类结果为图像异常以及所述路内停车摄像机发生偏移时,上报异常告警信息,所述告警信息包括所述路内停车摄像机的位置、设备编码和告警类型;
所述模型训练模块包括:
样本信息获取单元,用于获取正常图像样本信息和异常图像样本信息;
样本信息处理单元,用于对所述异常图像样本信息根据异常类型进行分类,标注所述正常图像样本信息中的泊位顶点;
模型生成单元,用于利用深度CNN网络分别训练分类后的所述异常图像样本信息和标注好的所述正常图像样本信息,生成所述图片异常分类模型和所述泊位顶点检测模型。
本发明还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如上所述的用于路内停车摄像机的异常检测方法的步骤。
本发明提供的用于路内停车摄像机的异常检测系统和方法具有以下有益效果:本发明提供的用于路内停车摄像机的异常检测方法,利用图片异常分类模型先将路内停车摄像机拍摄的图像分类,如果是异常图像则直接输出异常类型,如果是正常图像,则继续利用泊位顶点检测模型识别图像中的多个泊位顶点,然后根据识别出的泊位顶点与系统预存的泊位顶点正常值进行比对,以判断该路内停车摄像机是否发生偏移。由此,通过预分类可以自动感知路内停车摄像机是否发生模糊、遮挡等异常情况;通过匹配泊位顶点,可以自动感知该路内停车摄像机是否发生错位,避免了在镜头因为外界原因(例如,设备的固定螺丝松动,或者因为大风等原因)发生偏移时,系统无法感知的情况,进而避免了镜头发生错位引发的后续错误。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图:
图1所示为本发明一实施例提供的用于路内停车摄像机的异常检测方法的流程图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的典型实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
本发明总的思路是:针对现有的设备图像异常检测通过分析图像像素的规律实现遮挡分析,对镜头错位等情况无法准确的感知的问题,利用图片异常分类模型先将路内停车摄像机拍摄的图像分类,如果是异常图像则直接输出异常类型,如果是正常图像,则继续利用泊位顶点检测模型识别图像中的多个泊位顶点,然后根据识别出的泊位顶点与系统预存的泊位顶点正常值进行比对,以判断该路内停车摄像机是否发生偏移。由此,通过预分类可以自动感知路内停车摄像机是否发生模糊、遮挡等异常情况;通过匹配泊位顶点,可以自动感知该路内停车摄像机是否发生错位,这样,在镜头因为外界原因(例如,设备的固定螺丝松动,或者因为大风等原因)发生偏移时,系统无法感知的情况,进而避免了镜头发生错位引发的后续错误。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明,应当理解本发明实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本发明实施例以及实施例中的技术特征可以相互组合。
本发明一实施例提供用于路内停车摄像机的异常检测方法,该路内停车摄像机用于监测绘制有多个泊位的路边停车区域,例如,3个泊位。正常情况下,将该摄像机的镜头对准要监控的泊位,该泊位已经标定好泊位线,通常情况下一个泊位有4条泊位线,因此,一个泊位就有4个顶点;设备根据识别出来的图像中的车辆信息,当泊位外的车辆接触到泊位线时,开始跟踪驶入,当泊位内的车辆开始运动时开始跟踪驶出;然后,将事件上报到后台系统,并推送给用户收费。如果该路内停车摄像机发生了异常,例如,遮挡、模糊或错位等情况,则无法正确跟踪车辆的驶入驶出情况,进而无法完成正常收费。
图1所示为本发明一实施例提供的用于路内停车摄像机的异常检测方法的流程图。如图1所示,该用于路内停车摄像机的异常检测方法包括以下步骤:
步骤S1、获取所述路内停车摄像机拍摄的图像;
具体地,在本发明一实施例中,安装人员将路内停车摄像机安装到立杆上,初步调整好角度,使得路内停车摄像机的视角范围覆盖多个泊位并启动该路内停车摄像机以拍摄其监控范围内的多个泊位的情况,之后将获取到的摄像头拍摄的视频图像发送到后台服务器进行分析。
步骤S2、基于预先训练的图片异常分类模型对所述图像进行预分类,如果预分类结果为异常图像,则进行到步骤S5,如果预分类结果为正常图像,则进行到步骤S3;
具体地,在本发明一实施例中,针对失焦模糊/水雾遮挡/异物遮挡(树叶、塑料袋等)/黑屏等容易识别出异常的图像,可以预先训练一个图片异常分类模型,然后对路边停车摄像机拍摄的每一帧图像利用预先训练的该图片异常分类模型进行一个预分类,将图像分为正常图像和异常图像。通过预分类,可以先通过一个简单方式将容易识别的异常情况识别出来,提高数据处理的速度。因此,在步骤S1之前,还包括训练图片异常分类模型的步骤,具体包括:首先,获取异常图像样本信息,其中,异常样本图像是指发生了失焦模糊/水雾遮挡/异物遮挡(树叶、塑料袋等)/黑屏等情况下拍摄的图像;其次,对所述异常图像样本信息根据异常类型进行分类,其中,异常类型包括失焦模糊/水雾遮挡/异物遮挡(树叶、塑料袋等)/黑屏等,可以由工作人员根据实际情况进行调整,这里的分类是人工分类;最后,利用深度CNN网络训练分类后的所述异常图像样本信息,生成所述图片异常分类模型,其中,将人工分类标记后的图片输入到深度CNN网络进行训练以得到图片异常分类模型。
步骤S3、根据预先训练的泊位顶点检测模型识别所述图像中的泊位顶点;
具体地,在本发明一实施例中,镜头因为外界原因例如设备的固定螺丝松动,或者因为大风等原因设备发生偏移时,通过镜头获取的图像也是正常的,只是其拍摄的视角发生了变化,例如,本来是用于监测3个完整泊位的摄像头,在发生偏移后,其只能监测到两个完整泊位;又或者是泊位顶点的坐标发生了偏移,这种情况下现有的图像分析方法是没有办法识别的。因此,针对正常图像,即没有识别到失焦模糊/水雾遮挡/异物遮挡(树叶、塑料袋等)/黑屏等情况的图像,预先训练一个泊位顶点检测模型,然后对该预分类结果为正常图像的图像利用预先训练的该泊位顶点检测模型进行检测,识别出其中包含的泊位顶点。通过识别泊位顶点,可以判断摄像头是否发生偏移错位等情况。因此,在步骤S1之前,还包括训练泊位顶点检测模型的步骤,具体包括:首先,获取正常图像样本信息,其中,正常样本图像是指摄像头没有发生错位偏移时,该摄像头获取的图像,包括了泊位上有车辆停靠、没有车辆停靠、停靠不同数量车辆等各种情况下的正常图像;其次,标注所述正常图像样本信息中的泊位顶点,其中,由工作人员对获取到的正常图像进行标注,在图像上标注出泊位顶点;最后,利用深度CNN网络训练标注好的所述正常图像样本信息,生成泊位顶点检测模型,其中,将人工标记后的图片输入到深度CNN网络进行训练以得到泊位顶点检测模型。
步骤S4、根据所述泊位顶点的测量值,判断所述路内停车摄像机是否发生偏移,在发生偏移时进行到步骤S5,在未发生偏移时,返回步骤S1。
具体地,在本发明一实施例中,通过泊位顶点检测模型可以识别图像中的泊位顶点的数量和每个泊位顶点的坐标,例如,在图1所示的图片中,可以识别出4个泊位顶点以及这4个泊位顶点的坐标,然后利用识别出的泊位顶点的数量和每个泊位顶点的坐标来判断是否发生偏移,具体包括:
步骤S41、判断所述泊位顶点检测模型识别出的泊位顶点是否满足第一条件,所述第一条件是:所述泊位顶点检测模型识别出的泊位顶点的数量小于或等于所述路内停车摄像机监测范围中的泊位顶点数量的最大值,如果满足,则进行到步骤S42,如果不满足,则判定所述路内停车摄像机发生偏移;
具体地,在本发明一实施例中,对于正常图片使用泊位顶点检测模型处理后,得到图片中所有泊位的顶点坐标集合为A(P1(x1, y1)、P2(x1, y1)...PN(xN, yN)),预设图片正确的泊位顶点坐标集合为B(P1(x1, y1)、P2(x1, y1)...PN(xN, yN))。实际场景下由于车辆停放在泊位上时会对部分泊位顶点产生遮挡,因此如果镜头未发生偏移时集合A的元素数量一定小于等于集合B的元素数量。因此,判断集合A中的元素数量和集合B的元素数量,如果A的数量大于B的数量,则表明发生了异常,可能由于镜头偏移拍摄到了其他泊位。
步骤S42、计算所述泊位顶点检测模型识别出的每个泊位顶点与所述路内停车摄像机监测范围中的泊位顶点的预设坐标集合中距离最近的点之间的距离。
具体地,在本发明一实施例中,遍历集合A的的每个元素,假设元素为An。对A集合中元素An,循环和B集合中每一个元素进行距离计算,找到B集合中和An元素距离最近的点。公式如下:
Dn = min((Axn - Bx1) * (Axn - Bx1) + (Ayn - By1) * (Ayn - By1), ... ,(Axn - Bxn) * (Axn - Bxn) + (Ayn - Byn) * (Ayn - Byn));
其中Dn为A集合中元素An在集合B中的最佳匹配元素的距离。
步骤S43、根据计算出的多个距离,判断所述路内停车摄像机是否发生偏移。
具体地,在本发明一实施例中,根据步骤S42中获得的多个Dn,计算距离偏差,公式如下:
Figure 322979DEST_PATH_IMAGE001
在不考虑模型轻微误差的情况下,Bias的值无限接近于0,如果Bias大于预设值,则判断发生了偏移。进一步地,通过量化值Bias可以计算出镜头发生偏移的程度,例如:正常:0- 100;轻微偏移:100-500;严重偏移:500-2000;畸形偏移:大于2000。
步骤S5、上报异常告警信息。
具体地,在本发明一实施例中,在所述预分类结果为图像异常以及所述路内停车摄像机发生偏移时,上报异常告警信息,所述告警信息包括所述路内停车摄像机的位置、设备编码和告警类型。该路内停车摄像机通过MQTT协议连接业务平台,通过MQTT协议上报告警消息,消息内容包括:设备所在位置,设备编码,告警类型(失焦模糊/水雾遮挡/异物遮挡(树叶、塑料袋等)/黑屏/轻微偏移/严重偏移/畸形偏移)。通过上报告警信息,可以在发生异常时第一时间通知后台人员进行相关处理。
相应地,本发明还提供一种用于路内停车摄像机的异常检测系统,包括:
图像获取模块,用于获取所述路内停车摄像机拍摄的图像;
预分类模块,用于基于预先训练的图片异常分类模型对所述图像进行预分类,在预分类结果为异常图像时,输出对应的异常类型;
具体地,在本发明一实施例中,针对失焦模糊/水雾遮挡/异物遮挡(树叶、塑料袋等)/黑屏等容易识别出异常的图像,可以预先训练一个图片异常分类模型,然后对路边停车摄像机拍摄的每一帧图像利用预先训练的该图片异常分类模型进行一个预分类,将图像分为正常图像和异常图像。通过预分类,可以先通过一个简单方式将容易识别的异常情况识别出来,提高数据处理的速度。
泊位顶点识别模块,用于在预分类结果为正常图像时,根据预先训练的泊位顶点检测模型识别所述图像中的泊位顶点;
具体地,在本发明一实施例中,镜头因为外界原因例如设备的固定螺丝松动,或者因为大风等原因设备发生偏移时,通过镜头获取的图像也是正常的,只是其拍摄的视角发生了变化,例如,本来是用于监测3个完整泊位的摄像头,在发生偏移后,其只能监测到两个完整泊位;又或者是泊位顶点的坐标发生了偏移,这种情况下现有的图像分析方法是没有办法识别的。因此,针对正常图像,即没有识别到失焦模糊/水雾遮挡/异物遮挡(树叶、塑料袋等)/黑屏等情况的图像,预先训练一个泊位顶点检测模型,然后对该预分类结果为正常图像的图像利用预先训练的该泊位顶点检测模型进行检测,识别出其中包含的泊位顶点。
偏移检测模块,用于根据所述泊位顶点的测量值,判断所述路内停车摄像机是否发生偏移。
进一步地,在本发明一实施例中,所述泊位顶点的测量值包括根据所述泊位顶点检测模型识别出的泊位顶点的数量和每个泊位顶点的坐标,所述偏移检测模块包括:
第一判断单元,用于判断所述泊位顶点检测模型识别出的泊位顶点是否满足第一条件,所述第一条件是:所述泊位顶点检测模型识别出的泊位顶点的数量小于或等于所述路内停车摄像机监测范围中的泊位顶点数量的最大值,如果不满足所述第一条件,则判定所述路内停车摄像机发生偏移;
计算单元,用于在满足所述第一条件时,计算所述泊位顶点检测模型识别出的每个泊位顶点与所述路内停车摄像机监测范围中的泊位顶点的预设坐标集合中距离最近的点之间的距离;以及
第二判断单元,用于根据计算出的多个距离,判断所述路内停车摄像机是否发生偏移,如果所述多个距离的偏差大于预设阈值,则判定所述路内停车摄像机发生偏移。
进一步地,在本发明一实施例中,还包括告警信息上报模块,在所述预分类结果为图像异常以及所述路内停车摄像机发生偏移时,上报异常告警信息,所述告警信息包括所述路内停车摄像机的位置、设备编码和告警类型。通过上报告警信息,可以在发生异常时第一时间通知后台人员进行相关处理。
进一步地,在本发明一实施例中,还包括模型训练模块,用于训练图片异常分类模型和所述泊位顶点检测模型。具体包括:
样本信息获取单元,用于获取正常图像样本信息和异常图像样本信息,其中,异常样本图像是指发生了失焦模糊/水雾遮挡/异物遮挡(树叶、塑料袋等)/黑屏等情况下拍摄的图像;正常样本图像是指摄像头没有发生错位偏移时,该摄像头获取的图像,包括了泊位上有车辆停靠、没有车辆停靠、停靠不同数量车辆等各种情况下的正常图像;
样本信息处理单元,用于对所述异常图像样本信息根据异常类型进行分类,标注所述正常图像样本信息中的泊位顶点,其中,异常类型包括失焦模糊/水雾遮挡/异物遮挡(树叶、塑料袋等)/黑屏等,可以由工作人员根据实际情况进行调整;由工作人员对获取到的正常图像进行标注,在图像上标注出泊位顶点;
模型生成单元,用于利用深度CNN网络分别训练分类后的所述异常图像样本信息和标注好的所述正常图像样本信息,生成所述图片异常分类模型和所述泊位顶点检测模型。
本发明实施例还提供了一种用于路内停车摄像机的异常检测装置,可以包括:
存储器,用于存储计算机程序;
处理器,用于执行上述存储器存储的计算机程序时可实现如下步骤:
获取所述路内停车摄像机拍摄的图像;基于预先训练的图片异常分类模型对所述图像进行预分类,如果预分类结果为异常图像,则输出对应的异常类型,如果预分类结果为正常图像,则根据预先训练的泊位顶点检测模型识别所述图像中的泊位顶点;以及根据所述泊位顶点的测量值,判断所述路内停车摄像机是否发生偏移。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时可实现如下步骤;
获取所述路内停车摄像机拍摄的图像;基于预先训练的图片异常分类模型对所述图像进行预分类,如果预分类结果为异常图像,则输出对应的异常类型,如果预分类结果为正常图像,则根据预先训练的泊位顶点检测模型识别所述图像中的泊位顶点;以及根据所述泊位顶点的测量值,判断所述路内停车摄像机是否发生偏移。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM) >随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种用于路内停车摄像机的异常检测方法,所述路内停车摄像机用于监测绘制有多个泊位的路边停车区域,其特征在于,包括以下步骤:
获取所述路内停车摄像机拍摄的图像;
基于预先训练的图片异常分类模型对所述图像进行预分类,如果预分类结果为异常图像,则输出对应的异常类型,如果预分类结果为正常图像,则根据预先训练的泊位顶点检测模型识别所述图像中的泊位顶点;以及
根据所述泊位顶点的测量值,判断所述路内停车摄像机是否发生偏移。
2.如权利要求1所述的用于路内停车摄像机的异常检测方法,其特征在于,所述泊位顶点的测量值包括根据所述泊位顶点检测模型识别出的泊位顶点的数量和每个泊位顶点的坐标,根据所述泊位顶点的测量值,判断所述路内停车摄像机是否发生偏移的步骤包括:
判断所述泊位顶点检测模型识别出的泊位顶点是否满足第一条件,所述第一条件是:所述泊位顶点检测模型识别出的泊位顶点的数量小于或等于所述路内停车摄像机监测范围中的泊位顶点数量的最大值;
如果满足所述第一条件,则计算所述泊位顶点检测模型识别出的每个泊位顶点与所述路内停车摄像机监测范围中的泊位顶点的预设坐标集合中距离最近的点之间的距离;
如果不满足所述第一条件或多个距离的偏差大于预设阈值,则判定所述路内停车摄像机发生偏移。
3.如权利要求2所述的用于路内停车摄像机的异常检测方法,其特征在于,还包括:根据所述多个距离的偏差,划分所述路内停车摄像机的偏移程度。
4.如权利要求1所述的用于路内停车摄像机的异常检测方法,其特征在于,在所述预分类结果为图像异常以及所述路内停车摄像机发生偏移时,上报异常告警信息,所述告警信息包括所述路内停车摄像机的位置、设备编码和告警类型。
5.如权利要求1所述的用于路内停车摄像机的异常检测方法,其特征在于,还包括:
获取正常图像样本信息和异常图像样本信息;
对所述异常图像样本信息根据异常类型进行分类;
标注所述正常图像样本信息中的泊位顶点;
利用深度CNN网络分别训练分类后的所述异常图像样本信息和标注好的所述正常图像样本信息,生成所述图片异常分类模型和所述泊位顶点检测模型。
6.一种用于路内停车摄像机的异常检测系统,所述路内停车摄像机用于监测绘制有多个泊位的路边停车区域,其特征在于,包括:
图像获取模块,用于获取所述路内停车摄像机拍摄的图像;
预分类模块,用于基于预先训练的图片异常分类模型对所述图像进行预分类,在预分类结果为异常图像时,输出对应的异常类型;
泊位顶点识别模块,用于在预分类结果为正常图像时,根据预先训练的泊位顶点检测模型识别所述图像中的泊位顶点;以及
偏移检测模块,用于根据所述泊位顶点的测量值,判断所述路内停车摄像机是否发生偏移。
7.如权利要求6所述的用于路内停车摄像机的异常检测系统,其特征在于,所述泊位顶点的测量值包括根据所述泊位顶点检测模型识别出的泊位顶点的数量和每个泊位顶点的坐标,所述偏移检测模块包括:
第一判断单元,用于判断所述泊位顶点检测模型识别出的泊位顶点是否满足第一条件,所述第一条件是:所述泊位顶点检测模型识别出的泊位顶点的数量小于或等于所述路内停车摄像机监测范围中的泊位顶点数量的最大值,如果不满足所述第一条件,则判定所述路内停车摄像机发生偏移;
计算单元,用于在满足所述第一条件时,计算所述泊位顶点检测模型识别出的每个泊位顶点与所述路内停车摄像机监测范围中的泊位顶点的预设坐标集合中距离最近的点之间的距离;以及
第二判断单元,用于根据计算出的多个距离,判断所述路内停车摄像机是否发生偏移,如果所述多个距离的偏差大于预设阈值,则判定所述路内停车摄像机发生偏移。
8.如权利要求6所述的用于路内停车摄像机的异常检测系统,其特征在于,还包括告警信息上报模块和模型训练模块,
所述告警信息上报模块用于在所述预分类结果为图像异常以及所述路内停车摄像机发生偏移时,上报异常告警信息,所述告警信息包括所述路内停车摄像机的位置、设备编码和告警类型;
所述模型训练模块包括:
样本信息获取单元,用于获取正常图像样本信息和异常图像样本信息;
样本信息处理单元,用于对所述异常图像样本信息根据异常类型进行分类,标注所述正常图像样本信息中的泊位顶点;
模型生成单元,用于利用深度CNN网络分别训练分类后的所述异常图像样本信息和标注好的所述正常图像样本信息,生成所述图片异常分类模型和所述泊位顶点检测模型。
9.一种计算机可读存储介质,其特征在于,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如权利要求1至5中任一项所述的用于路内停车摄像机的异常检测方法的步骤。
10.一种用于路内停车摄像机的异常检测装置,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的用于路内停车摄像机的异常检测方法的步骤。
CN202210854186.1A 2022-07-20 2022-07-20 用于路内停车摄像机的异常检测方法和系统 Active CN115082571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210854186.1A CN115082571B (zh) 2022-07-20 2022-07-20 用于路内停车摄像机的异常检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210854186.1A CN115082571B (zh) 2022-07-20 2022-07-20 用于路内停车摄像机的异常检测方法和系统

Publications (2)

Publication Number Publication Date
CN115082571A true CN115082571A (zh) 2022-09-20
CN115082571B CN115082571B (zh) 2022-11-18

Family

ID=83259497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210854186.1A Active CN115082571B (zh) 2022-07-20 2022-07-20 用于路内停车摄像机的异常检测方法和系统

Country Status (1)

Country Link
CN (1) CN115082571B (zh)

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177964A (ja) * 1997-12-09 1999-07-02 Omron Corp 画像処理方法およびその装置
JP2006203780A (ja) * 2005-01-24 2006-08-03 Mitsubishi Electric Corp 駐車場監視装置
US20070188615A1 (en) * 2006-02-14 2007-08-16 Fumiko Beniyama Monitoring system, monitoring method, and monitoring program
JP2011076573A (ja) * 2009-10-02 2011-04-14 Fujitsu Ltd 監視カメラシステム及びその異常検出方法
JP2014115814A (ja) * 2012-12-10 2014-06-26 Alpine Electronics Inc 車載カメラシステムおよびカメラレンズ異常検知方法
CN107154152A (zh) * 2017-06-30 2017-09-12 深圳信路通智能技术有限公司 视频桩设备及停车管理方法
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
WO2018218286A1 (en) * 2017-05-29 2018-12-06 Saltor Pty Ltd Method and system for abnormality detection
CN109472184A (zh) * 2017-09-08 2019-03-15 深圳市金溢科技股份有限公司 路内泊位的状态检测方法、系统及其数据处理装置
JP2019191808A (ja) * 2018-04-23 2019-10-31 株式会社デンソーテン 異常検出装置および異常検出方法
CN110852151A (zh) * 2019-09-26 2020-02-28 深圳市金溢科技股份有限公司 一种路内泊位遮挡检测方法和装置
JP2020060550A (ja) * 2018-10-10 2020-04-16 株式会社デンソーテン 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
CN112381054A (zh) * 2020-12-02 2021-02-19 东方网力科技股份有限公司 摄像机的工作状态检测方法及相关设备、系统
WO2021068178A1 (en) * 2019-10-11 2021-04-15 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for image quality detection
JP2021111928A (ja) * 2020-01-15 2021-08-02 アズビル株式会社 異常検知装置、および異常検知方法
CN113206995A (zh) * 2021-04-29 2021-08-03 超级视线科技有限公司 一种基于视频帧判定泊位线偏转角度的方法
CN113205692A (zh) * 2021-04-29 2021-08-03 超级视线科技有限公司 一种路侧停车泊位异常变动的自动识别方法
CN113705472A (zh) * 2021-08-30 2021-11-26 平安国际智慧城市科技股份有限公司 基于图像识别的异常摄像头排查方法、装置、设备及介质
US20210398318A1 (en) * 2020-06-17 2021-12-23 Microsoft Technology Licensing, Llc Auto Calibrating A Single Camera From Detectable Objects
CN114220074A (zh) * 2021-12-13 2022-03-22 超级视线科技有限公司 一种车辆异常行为状态的识别方法及系统
CN114241395A (zh) * 2021-12-27 2022-03-25 超级视线科技有限公司 基于泊位号码的路侧停车泊位异常识别方法及装置
CN114626450A (zh) * 2022-03-07 2022-06-14 蔚来汽车科技(安徽)有限公司 摄像头异常状况检测方法、系统和计算机可读存储介质
CN114648734A (zh) * 2022-03-31 2022-06-21 天地(常州)自动化股份有限公司 基于图像处理的摄像机工作异常检测方法

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177964A (ja) * 1997-12-09 1999-07-02 Omron Corp 画像処理方法およびその装置
JP2006203780A (ja) * 2005-01-24 2006-08-03 Mitsubishi Electric Corp 駐車場監視装置
US20070188615A1 (en) * 2006-02-14 2007-08-16 Fumiko Beniyama Monitoring system, monitoring method, and monitoring program
JP2011076573A (ja) * 2009-10-02 2011-04-14 Fujitsu Ltd 監視カメラシステム及びその異常検出方法
JP2014115814A (ja) * 2012-12-10 2014-06-26 Alpine Electronics Inc 車載カメラシステムおよびカメラレンズ異常検知方法
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
WO2018218286A1 (en) * 2017-05-29 2018-12-06 Saltor Pty Ltd Method and system for abnormality detection
CN107154152A (zh) * 2017-06-30 2017-09-12 深圳信路通智能技术有限公司 视频桩设备及停车管理方法
CN109472184A (zh) * 2017-09-08 2019-03-15 深圳市金溢科技股份有限公司 路内泊位的状态检测方法、系统及其数据处理装置
JP2019191808A (ja) * 2018-04-23 2019-10-31 株式会社デンソーテン 異常検出装置および異常検出方法
JP2020060550A (ja) * 2018-10-10 2020-04-16 株式会社デンソーテン 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
CN110852151A (zh) * 2019-09-26 2020-02-28 深圳市金溢科技股份有限公司 一种路内泊位遮挡检测方法和装置
WO2021068178A1 (en) * 2019-10-11 2021-04-15 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for image quality detection
JP2021111928A (ja) * 2020-01-15 2021-08-02 アズビル株式会社 異常検知装置、および異常検知方法
US20210398318A1 (en) * 2020-06-17 2021-12-23 Microsoft Technology Licensing, Llc Auto Calibrating A Single Camera From Detectable Objects
CN112381054A (zh) * 2020-12-02 2021-02-19 东方网力科技股份有限公司 摄像机的工作状态检测方法及相关设备、系统
CN113206995A (zh) * 2021-04-29 2021-08-03 超级视线科技有限公司 一种基于视频帧判定泊位线偏转角度的方法
CN113205692A (zh) * 2021-04-29 2021-08-03 超级视线科技有限公司 一种路侧停车泊位异常变动的自动识别方法
CN113705472A (zh) * 2021-08-30 2021-11-26 平安国际智慧城市科技股份有限公司 基于图像识别的异常摄像头排查方法、装置、设备及介质
CN114220074A (zh) * 2021-12-13 2022-03-22 超级视线科技有限公司 一种车辆异常行为状态的识别方法及系统
CN114241395A (zh) * 2021-12-27 2022-03-25 超级视线科技有限公司 基于泊位号码的路侧停车泊位异常识别方法及装置
CN114626450A (zh) * 2022-03-07 2022-06-14 蔚来汽车科技(安徽)有限公司 摄像头异常状况检测方法、系统和计算机可读存储介质
CN114648734A (zh) * 2022-03-31 2022-06-21 天地(常州)自动化股份有限公司 基于图像处理的摄像机工作异常检测方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
JAEHOON JUNG 等: "Object Occlusion Detection Using Automatic Camera Calibration for a Wide-Area Video Surveillance System", 《SENSORS》 *
SEBASTIAN HOUBEN 等: "On-Vehicle Video-Based Parking Lot Recongnition with Fisheye Optics", 《16TH INTERNATIONAL IEEE CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS(ITSC 2013)》 *
YI-CHONG ZENG 等: "Automatic recognition of frame quality degradation for inspection of surveillance camera", 《PROCEEDINGS OF THE 2012 ASIA PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE》 *
张玉峰: "面向自动泊车的停车位视觉识别技术研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
江中旭: "基于网格激光视觉增强技术的泊车位及障碍物识别研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
潘德馨: "光学像差的图像校正算法", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
米磊: "基于视觉的停车位检测系统的研究与实现", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
赵敏 等: "基于角点集特征的高速公路摄像头监控范围偏差检测", 《华南理工大学学报(自然科学版)》 *

Also Published As

Publication number Publication date
CN115082571B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
US10878584B2 (en) System for tracking object, and camera assembly therefor
EP3576008B1 (en) Image based lane marking classification
JP4279790B2 (ja) 車番認識装置
JP6205172B2 (ja) 近視野のカメラの障害物の検出
KR101735365B1 (ko) 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
US9030559B2 (en) Constrained parametric curve detection using clustering on Hough curves over a sequence of images
CN111932901A (zh) 道路车辆跟踪检测设备、方法及存储介质
CN113205692B (zh) 一种路侧停车泊位异常变动的自动识别方法
CN112883921A (zh) 一种垃圾桶满溢检测模型训练方法及垃圾桶满溢检测方法
JP2012028992A (ja) 自立監視型カメラ装置
JP2019154027A (ja) ビデオ監視システムのパラメータ設定方法、装置及びビデオ監視システム
CN110349172B (zh) 基于图像处理和双目立体测距的输电线路防外破预警方法
KR101033237B1 (ko) 360도 초광역 영상에 의한 영역감시, 방범 및 주정차단속 다기능 시스템 및 단속방법
CN112906428B (zh) 影像侦测区域取得方法及空间使用情况的判定方法
CN115082571B (zh) 用于路内停车摄像机的异常检测方法和系统
Sala et al. Measuring traffic lane‐changing by converting video into space–time still images
JP4788926B2 (ja) 車両ナンバー読取装置
CN113642509A (zh) 垃圾桶溢出状态检测方法、装置、存储介质及电子设备
KR101577747B1 (ko) 불법 주정차 감지 방법 및 시스템
CN112686956A (zh) 一种城市道路信号灯杆倾斜故障的检测方法
CN111372051A (zh) 多相机联动盲区检测方法、装置和电子设备
JP4987819B2 (ja) 交通監視装置及び交通監視方法
CN116681955B (zh) 用于交通护栏异常识别的方法及计算设备
CN114283413B (zh) 一种巡检场景下数字仪表读数的识别方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant