CN116152691A - 图像检测方法、装置、设备和存储介质 - Google Patents
图像检测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116152691A CN116152691A CN202111375363.XA CN202111375363A CN116152691A CN 116152691 A CN116152691 A CN 116152691A CN 202111375363 A CN202111375363 A CN 202111375363A CN 116152691 A CN116152691 A CN 116152691A
- Authority
- CN
- China
- Prior art keywords
- license plate
- image
- candidate image
- frame
- detection frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种图像检测方法、装置、设备和存储介质,通过获取视频流,视频流中的每一帧图像均包括车牌号码,车牌号码处于车牌检测框中,再根据视频流中的帧顺序,依次对比视频流中第i帧图像和跟踪清单中的候选图像,确定出跟踪清单中与第i帧图像的车牌号码一致的第一候选图像,并将第i帧图像记为第二候选图像,第i帧图像中的车牌号码为目标车牌,跟踪清单中包括至少一个候选图像,i为大于1的整数,之后根据第一候选图像和第二候选图像,确定出目标车牌对应的目标图像,将目标图像作为目标车牌对应的新的第一候选图像,并输出新的第一候选图像。该技术方案从每帧图像的检测出发,实现了更加准确的对车牌图像进行检测。
Description
技术领域
本申请涉及检测技术领域,尤其涉及一种图像检测方法、装置、设备和存储介质。
背景技术
随着经济的发展,对于智能交通巡逻提出了越来越高的需求,而图像检测是最基础、应用最广泛的场景,在收费站、交通违章等事件中发挥着重要作用。
在现有技术中,图像检测多基于固定的摄像头、固定的拍摄角度、固定的光照条件,比如停车场出入口、交通电子卡口等应用场景,且技术上图像检测应用深度学习模型,即将视频输入至深度学习模型得到车牌图像。
然而,在实际应用中,由于车辆运动过程中拍摄的视频图像可能存在质量不清晰的情况时,基于深度学习模型得到车牌图像的准确率并不高。
发明内容
本申请实施例提供一种图像检测方法、装置、设备和存储介质,用以解决现有技术针对图像检测的准确率不高的问题。
第一方面,本申请实施例提供了一种图像检测方法,包括:
获取视频流,所述视频流中至少一个帧图像包括至少一个车牌检测框,所述车牌检测框中有车牌号码;
根据视频流中的帧顺序,依次对比所述视频流中第i帧图像和跟踪清单中的候选图像,确定出所述跟踪清单中与所述第i帧图像的车牌号码一致的第一候选图像,并将所述第i帧图像记为第二候选图像,所述第i帧图像中的车牌号码为目标车牌,所述跟踪清单中包括至少一个候选图像,所述i为大于1的整数;
根据所述第一候选图像和所述第二候选图像,确定出所述目标车牌对应的目标图像,将所述目标图像作为所述目标车牌对应的新的第一候选图像;
输出所述新的第一候选图像。
在第一方面一种可能的设计中,所述根据所述第一候选图像和所述第二候选图像,确定出所述目标车牌对应的目标图像,包括:
获取所述第二候选图像的车牌检测框的框图信息,所述框图信息包括:所述第二候选图像的车牌检测框的像素面积、所述第二候选图像的车牌检测框的角点置信度、所述第二候选图像的车牌检测框的字符长度、所述第二候选图像的车牌检测框的字符对应的置信度的平均值;
若所述框图信息满足预设的基准条件,将所述第二候选图像的车牌检测框的字符和所述第一候选图像的车牌检测框的字符进行合并,确定所述目标车牌对应的目标图像,所述基准条件用于限定所述第二候选图像是否优于所述第一候选图像。
可选的,所述基准条件为:
所述第二候选图像的车牌检测框的像素面积大于所述第一候选图像的车牌检测框的像素面积与预设的面积调节参数的乘积;
所述第二候选图像的车牌检测框的角点置信度大于所述第一候选图像的车牌检测框的角点置信度;
所述第二候选图像的车牌检测框的字符长度大于所述第一候选图像的车牌检测框的字符长度;
所述第二候选图像的车牌检测框的字符对应的置信度的平均值大于所述第一候选图像的车牌检测框的字符对应的置信度的平均值。
在该种可能的设计中,所述将所述第二候选图像的车牌检测框的字符和所述第一候选图像的车牌检测框的字符进行合并,得到所述目标车牌对应的目标图像,包括:
依次比较所述第二候选图像的车牌检测框中各个字符所在位置上字符对应的置信度和所述第一候选图像的车牌检测框中各个字符所在位置上字符对应的置信度的大小;
将各个位置上置信度较大的字符作为最终识别字符;
根据各个位置上的最终识别字符,替换所述第二候选图像中的车牌检测框中的字符,得到所述目标车牌对应的目标图像。
在第一方面另一种可能的设计中,在所述获取视频流之后,所述方法还包括:
将第1帧图像作为候选图像,并确定所述候选图像对应的车牌号码;
将所述候选图像及所述候选图像对应的车牌号码存储至所述跟踪清单。
在第一方面再一种可能的设计中,所述根据所述视频流中第i帧图像和跟踪清单,确定所述跟踪清单中存在与所述第i帧图像的车牌号码一致的第一候选图像,包括:
针对所述跟踪清单中每个候选图像,根据所述第i帧图像与所述候选图像,确定所述第i帧图像的车牌检测框和所述候选图像的车牌检测框的交并比;
当所述第i帧图像的车牌检测框和所述候选图像的车牌检测框的交并比大于预设的交并比阈值,确定所述跟踪清单中存在与所述第i帧图像的车牌号码一致的第一候选图像。
在该种可能的设计中,所述方法还包括:
当所述第i帧图像的车牌检测框和每个候选图像的车牌检测框的交并比均小于或等于所述交并比阈值,识别所述第i帧图像中的字符;
将所述字符输入至第一预设模型,得到所述字符对应的置信度,所述第一预设模型为用于检测图像中字符的置信度的模型;
若所述字符对应的置信度均大于预设的置信度阈值,针对每个候选图像,确定出所述字符和所述第一候选图像中字符的相似度;
若所述相似度大于预设的相似度阈值,确定所述相似度大于所述相似度阈值对应的候选图像为与所述第i帧图像的车牌号码一致的第一候选图像。
第二方面,本申请实施例提供了一种图像检测方法,包括:获取模块、处理模块、确定模块和显示模块;
所述获取模块,用于获取视频流,所述视频流中至少一个帧图像包括至少一个车牌检测框,所述车牌检测框中有车牌号码;
所述处理模块,用于根据视频流中的帧顺序,依次对比所述视频流中第i帧图像和跟踪清单中的候选图像,确定出所述跟踪清单中与所述第i帧图像的车牌号码一致的第一候选图像,并将所述第i帧图像记为第二候选图像,所述第i帧图像中的车牌号码为目标车牌,所述跟踪清单中包括至少一个候选图像,所述i为大于1的整数;
所述确定模块,用于根据所述第一候选图像和所述第二候选图像,确定出所述目标车牌对应的目标图像,将所述目标图像作为所述目标车牌对应的新的第一候选图像;
所述显示模块,用于输出所述新的第一候选图像。
在第二方面一种可能的设计中,所述确定模块,具体用于:
获取所述第二候选图像的车牌检测框的框图信息,所述框图信息包括:所述第二候选图像的车牌检测框的像素面积、所述第二候选图像的车牌检测框的角点置信度、所述第二候选图像的车牌检测框的字符长度、所述第二候选图像的车牌检测框的字符对应的置信度的平均值;
若所述框图信息满足预设的基准条件,将所述第二候选图像的车牌检测框的字符和所述第一候选图像的车牌检测框的字符进行合并,确定所述目标车牌对应的目标图像,所述基准条件用于限定所述第二候选图像是否优于所述第一候选图像。
可选的,所述基准条件为:
所述第二候选图像的车牌检测框的像素面积大于所述第一候选图像的车牌检测框的像素面积与预设的面积调节参数的乘积;
所述第二候选图像的车牌检测框的角点置信度大于所述第一候选图像的车牌检测框的角点置信度;
所述第二候选图像的车牌检测框的字符长度大于所述第一候选图像的车牌检测框的字符长度;
所述第二候选图像的车牌检测框的字符对应的置信度的平均值大于所述第一候选图像的车牌检测框的字符对应的置信度的平均值。
在该种可能的设计中,所述确定模块将所述第二候选图像的车牌检测框的字符和所述第一候选图像的车牌检测框的字符进行合并,得到所述目标车牌对应的目标图像,具体用于:
依次比较所述第二候选图像的车牌检测框中各个字符所在位置上字符对应的置信度和所述第一候选图像的车牌检测框中各个字符所在位置上字符对应的置信度的大小;
将各个位置上置信度较大的字符作为最终识别字符;
根据各个位置上的最终识别字符,替换所述第二候选图像中的车牌检测框中的字符,得到所述目标车牌对应的目标图像。
在第二方面另一种可能的设计中,在所述获取视频流之后,所述处理模块,还用于:
将第1帧图像作为候选图像,并确定所述候选图像对应的车牌号码;
将所述候选图像及所述候选图像对应的车牌号码存储至所述跟踪清单。
在第二方面再一种可能的设计中,所述处理模块,具体用于:
针对所述跟踪清单中每个候选图像,根据所述第i帧图像与所述候选图像,确定所述第i帧图像的车牌检测框和所述第一候选图像的车牌检测框的交并比;
当所述第i帧图像的车牌检测框和所述候选图像的车牌检测框的交并比大于预设的交并比阈值,确定所述跟踪清单中存在与所述第i帧图像的车牌号码一致的第一候选图像。
在该种可能的设计中,所述处理模块,还用于:
当所述第i帧图像的车牌检测框和每个第一候选图像的车牌检测框的交并比均小于或等于所述交并比阈值,识别所述第i帧图像中的字符;
将所述字符输入至第一预设模型,得到所述字符对应的置信度,所述第一预设模型为用于检测图像中字符的置信度的模型;
若所述字符对应的置信度均大于预设的置信度阈值,针对每个候选图像,确定出所述字符和所述候选图像中字符的相似度;
若所述相似度大于预设的相似度阈值,确定所述相似度大于所述相似度阈值对应的候选图像为与所述第i帧图像的车牌号码一致的第一候选图像。
第三方面,本申请实施例提供一种计算机设备,包括:处理器、存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述计算机执行指令,使得所述计算机设备执行如上述第一方面及各种可能的设计中所述的图像检测方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上述第一方面及各种可能的设计中所述的图像检测方法。
第五方面,本申请实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时用于实现如上述第一方面及各种可能的设计中所述的图像检测方法。
本申请实施例提供的图像检测方法、装置、设备和存储介质,通过获取视频流,视频流中至少一个帧图像包括至少一个车牌检测框,该车牌检测框中有车牌号码,再根据视频流中的帧顺序,依次对比视频流中第i帧图像和跟踪清单中的候选图像,确定出跟踪清单中与第i帧图像的车牌号码一致的第一候选图像,并将第i帧图像记为第二候选图像,第i帧图像中的车牌号码为目标车牌,跟踪清单中包括至少一个候选图像,i为大于1的整数,之后根据第一候选图像和第二候选图像,确定出目标车牌对应的目标图像,将目标图像作为目标车牌对应的新的第一候选图像,并输出新的第一候选图像。该技术方案从每帧图像的检测出发,实现了更加准确的对车牌图像进行检测。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本申请实施例提供的图像检测方法的应用场景示意图;
图2为本申请实施例提供的图像检测方法实施例一的流程示意图;
图3为本申请实施例提供的图像检测方法实施例二的流程示意图;
图4为本申请实施例提供的图像检测方法实施例三的流程示意图;
图5为本申请实施例提供的图像检测方法实施例四的流程示意图;
图6为本申请实施例提供的图像检测方法实施例五的流程示意图;
图7为本申请实施例提供的图像检测装置的结构示意图;
图8为本申请实施例提供的计算机设备的结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在介绍本申请的实施例之前,首先对本申请的背景技术进行解释说明:
随着经济的发展,对于智能交通巡逻提出了越来越高的需求,车牌识别是最基础、应用最广泛的场景。但是传统车牌识别多基于固定的摄像头、固定的拍摄角度、固定的光照条件,比如停车场出入口、交通电子卡口等应用场景,且技术上传统车牌识别相对较少应用深度学习模型,近几年随着深度学习模型的进步,基于深度学习模型的车牌识别成为主流。
在智能交通车载、人载等巡逻应用场景下,拍摄的车牌图像数据的质量、角度、光照条件都是在动态变化。因此,如何在动态变化中准确的检测、跟踪、识别出车牌,并筛选出质量最高的图片成为一个亟待解决的实际应用问题。在现有技术中,单纯依赖提高某个深度学习模型的准确率并不一定能够提高在实际应用场景的鲁棒性。
即,现有技术存在以下问题:
一、在视频里活动时间段里,同一个车牌被抓取推出了多张图片,且存在字符识别不一致的情况。
造成这种问题出现的原因可能是:
1、由于运动中拍摄的视频不是每帧图像都是质量清晰的,检测模型也不一定都能够检测到目标,因此不容易保证连续跟踪得上,导致同一个车牌出现多个跟踪目标的情况;
2、计算机侧的计算能力有限,算法并不是逐帧处理,且不能采用非常复杂耗时太长的跟踪算法,会进一步加剧了跟踪失败的概率;
3、在某一段连续跟踪时段内,车牌的视频所有帧整体清晰度都不高,会导致车牌号码识别错误。
进一步地,基于深度学习模型进行目标检测,目标检测失败是有一定概率的,也是不可避免的,在应用外场实测跟踪失败的概率非常高,重复率达到了40%-50%。
二、在视频里活动时间段里,抓取推出的车牌图片质量较差,甚至有边缘遮挡的图片,而且还存在字符识别错误的情况。
造成这种问题出现的原因可能是:
1、由于在整个车牌目标跟踪时间段里,没有设计合理的图片质量筛选算法,导致跟踪结束最后推出的图片质量较差。
进一步地,图片质量模型设计需要涉及到很多参数,且外场实际应用场景图片质量缺陷种类繁多,需要综合多种参数设计合理的质量评估模型较困难。
在上述现有技术存在的问题基础上,图1为本申请实施例提供的图像检测方法的应用场景示意图,用以解决上述技术问题。如图1所示,该应用场景示意图包括:计算机设备11、摄像头12和至少一个车辆13。
其中,计算机设备11可以是计算机、笔记本、电脑、平板等设备,在一些实现中,也可以是服务器侧,具体的,提供一种图像检测平台,当上传摄像头12拍摄的视频之后,由服务器处理视频,并发送结果至客户端。
可选的,摄像头12可以设置在停车场、高速路测速段、高速出入口等位置,也可以设置在其他车辆的车载记录仪上,在车辆运行的过程中,实时拍摄视频。
在一种可能的实现中,当车辆A在路上行驶时,至少一个车辆13在车辆A的前方或摄像头12可拍摄到的区域运行,摄像头12实时获取视频数据(该视频数据中可以记载部分车辆13的行驶情况,并不限定整个视频中,车辆13一直存在)。
进一步地,计算机设备11不断获取摄像头12拍摄得到的视频,并对视频进行帧处理,以得到连续的帧图像,并依次对各个帧图像进行处理,以得到符合预期的图像,该图像中可以清晰的确定出车辆13的车牌。
应理解,车辆13可以是至少一辆车,也即在视频中,某个时刻,拍摄到的图像可以是有多辆车,其中,车辆13可以是各种轿车、越野车、货车、客车等。
此外,针对计算机设备11侧,可以结合深度学习模型目标检测和车牌识别模型实现车牌实时跟踪识别的算法。其中目标检测模型负责实现视频图像帧车牌目标的检测、车牌识别模型负责车牌字符的识别。具体由下述实施例详述。
本申请针对上述技术问题,发明人的技术构思过程如下:在对视频进行处理时,由于可能存在视频的某段或者全段模糊的情况,如果能够将视频进行分帧,得到各个帧图像,之后依次对得到的各个帧图像进行比较,不断进行优化,具体在对车牌图像中的字符处理时,不断选取置信度更高的字符,便可以更加准确的确定出具有车牌号码的图像,同时也可以避免现有技术存在重复抓取相同车牌图片、字符识别错误等问题。
下面以图1所示的应用场景示意图,通过具体实施例对本申请的技术方案进行详细说明。需要说明的是,下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图2为本申请实施例提供的图像检测方法实施例一的流程示意图。如图2所示,该图像检测方法可以包括如下步骤:
步骤21、获取视频流。
其中,视频流中至少一个帧图像包括至少一个车牌检测框,该车牌检测框中有车牌号码。
在本步骤中,计算机设备为了对车牌号码进行识别,需要通过摄像设备对至少一个车辆进行拍摄,从而得到视频流。
可选的,摄像设备可以是摄像头、摄像机等,根据应用场景的不同,摄像设备的安装以及获取视频数据的位置也不同,例如,在红绿灯路口,摄像设备可以安装在指示灯所在的杆上;在商场出入口,摄像设备可以安装在出入的起降杆的附近;在车辆运行时,摄像设备可以安装在车辆的前端或者尾部,在该车辆运行时,对路途中的其他车辆进行拍摄。
进一步地,摄像设备通过无线或者有线的连接方式与计算机设备连接,将实时获取的视频流发送给计算机设备,计算机设备在收到视频流后,不断进行帧处理,以得到按照时间顺序构成的帧图像。
可选的,计算机设备具有车牌检测框的标注功能,对每帧图像的车牌号码进行标注,以得到车牌检测框,在本申请实施例中,该车牌检测框不限定是二维检测框或三维检测框。
可选的,在对视频流进行帧处理,得到多个帧图像后,依次对每帧图像进行车牌检测框标注,在一些实现中,可以存在以下可能,例如,以共计5个帧图像为例:第1帧图像有车牌号码O、车牌号码P的车牌检测框;第2帧图像有车牌号码O、车牌号码Q的车牌检测框;第3帧图像有车牌号码I、车牌号码P的车牌检测框;第4帧图像没有识别出车牌检测框;第5帧图像有车牌号码O、车牌号码P、车牌号码Q的车牌检测框。
步骤22、根据视频流中的帧顺序,依次对比视频流中第i帧图像和跟踪清单中的候选图像,确定出跟踪清单中与第i帧图像的车牌号码一致的第一候选图像,并将第i帧图像记为第二候选图像。
其中,第i帧图像中的车牌号码为目标车牌,跟踪清单中包括至少一个候选图像,i为大于1的整数。
在本步骤中,计算机设备在获取到多帧图像时,逐帧进行处理,出发点是不断对多帧图像一一进行比较,以确定出质量更高的图像,而后对这些图像进行处理。
可选的,依次对帧图像进行处理,以第i帧为例,对比第i帧图像和跟踪清单中的各个候选图像,以确定出各个候选图像中是否有与第i帧图像车牌号码相同的图像,在存在时,将该候选图像记为第一候选图像,将第i帧图像记为第二候选图像。
在一种可能的实现中,该对比方式可以是根据跟踪清单中的车牌检测框和第i帧图像的车牌检测框进行面积的交并比对比,在交并比满足一定条件时,即认为该步骤可以直接在跟踪清单中确定出与第i帧图像相同车牌号码的图像。
在另一种可能的实现中,当交并比不满足该条件时,还需要对跟踪清单中的车牌检测框和第i帧图像的车牌检测框的其他信息进行对比,才可以确定。
应理解,上述两种可能的实现的详述由图4对应的实施例给出,此处不再赘述。
可选的,跟踪清单中可以存储有不同车牌号码对应的图像:
例如,将第1帧图像作为候选图像,并确定候选图像对应的车牌号码,将该候选图像及候选图像对应的车牌号码存储至跟踪清单;
再如,在该步骤处理到第7帧时,在跟踪清单中已经存储有6个不同车牌号码对应的帧图像,即认为前6帧图像对应的车牌信息各不相同,也即将前6帧图像分别作为候选图像,将各自的车牌号码及对应的图像存储至跟踪清单等。
具体的,如,跟踪清单的表头可以是不同的车牌号码,在不同车牌号码对应的路径下存储有计算机设备认为该车牌号码对应的帧图像,也即候选图像。
此外,根据视频流中的帧顺序,依次对比视频流中第i帧图像时,存在步骤21中,例如,第4帧图像没有识别出车牌检测框的情况,则直接进行第5帧图像的处理,以使得对目标车牌对应车辆的继续跟踪,避免了漏帧等问题造成车牌识别不准确的情况。
应理解,本申请实施例在对第i帧图像进行处理时,具体可以是多个车牌检测框,即不同车辆对应的车牌,实施例中以一个车牌检测框为例,在对视频流数据逐帧进行处理时,该处理过程可以是并行的,即对多个车牌检测框同时且分别进行跟踪处理。
步骤23、根据第一候选图像和第二候选图像,确定出目标车牌对应的目标图像,将目标图像作为目标车牌对应的新的第一候选图像。
在本步骤中,第二候选图像为当前处理的第i帧图像,而第一候选图像为跟踪清单中第i帧图像中车牌检测框对应的车牌号码对应的候选图像,将第一候选图像和第二候选图像中的信息进行比较优化,以确定出该车牌号码(目标车牌)更加准确定的图像(目标图像)。
在一种可能的实现中,该步骤可以是根据第二候选图像中车牌检测框的信息和第一候选图像中车牌检测框的信息进行比较,当满足一定条件后,将两个车牌检测框中代表车牌号码的字符进行合并,以确定出目标图像。
可选的,以一个车牌号码为例,在步骤22处理之后,便可以确定出该车牌号码对应的帧图像的集合,而集合中的每个帧图像中,均包含有该车牌号码对应的车牌检测框的坐标信息,依次确定出该车牌号码的对应的车牌检测框的坐标,也即得到了该车牌号码的对应的车辆的轨迹,此外,也可以是最后一次确定出的该车牌号码对应的目标图像中的车牌检测框的坐标。
进一步地,由于步骤22和步骤23是循环执行的过程,在确定出目标车牌对应的目标图像之后,可以将该目标图像作为新的第一候选图像(也即删除原该目标号码对应的第一候选图像),之后执行第i+1帧图像的相关处理。
步骤24、输出新的第一候选图像。
可选的,在此处可以设置一个跟踪目标超时定时器Fn,当跟踪该目标车牌的时长Fn较大时,可以执行下一步,时长较大的判断可以设定一个时间阈值T1,当Fn大于T1时,即认为该目标丢失。
在一种可能的实现中,在对视频流中的帧图像依次进行处理一定的时间之后,当确定出不存在目标车牌对应的检测框时,认为该目标车牌对应的车辆已经离开了摄像装置所能拍摄到的区域,此时,可以输出跟踪清单中目标车牌对应的最新的第一候选图像。
进一步地,新的第一候选图像为进行图像优化后的图像,其中车牌检测框中的字符可识别度、准确度较高。在将目标图像输出到计算机设备的显示屏或者与计算机设备相连的终端上之前,可以先进行过滤操作,以得到更加令用户满意的图像。
可选的,为了更好的提高用户满意度,在显示目标图像之前,还可以将得到的目标图像进行过滤,例如,检测到某个目标图像中图像像素为A,像素阈值为B,当A大于B时,输出该目标图像。
应理解,像素阈值作为过滤条件仅为示例,还可以是其他过滤指标,例如,清晰度等。
在一种可能的实现中,在上述步骤中已经确定出了新的第一候选图像中的目标车牌对应的字符,此时不仅可以输出新的第一候选图像,还可以输出目标车牌对应的字符。
本申请实施例提供的图像检测方法,通过获取视频流,该视频流中至少一个帧图像包括至少一个车牌检测框,该车牌检测框中有车牌号码,再根据视频流中的帧顺序,依次对比视频流中第i帧图像和跟踪清单中的候选图像,确定出跟踪清单中与第i帧图像的车牌号码一致的第一候选图像,并将第i帧图像记为第二候选图像,第i帧图像中的车牌号码为目标车牌,跟踪清单中包括至少一个候选图像,i为大于1的整数,之后根据第一候选图像和第二候选图像,确定出目标车牌对应的目标图像,将目标图像作为目标车牌对应的新的第一候选图像,并输出新的第一候选图像。该技术方案从每帧图像的检测出发,实现了更加准确的对车牌图像进行检测。
在上述实施例的基础上,图3为本申请实施例提供的图像检测方法实施例二的流程示意图。如图3所示,上述实施例中步骤23可以包括如下步骤:
步骤31、获取第二候选图像的车牌检测框的框图信息。
其中,框图信息包括:第二候选图像的车牌检测框的像素面积、第二候选图像的车牌检测框的角点置信度、第二候选图像的车牌检测框的字符长度、第二候选图像的车牌检测框的字符对应的置信度的平均值。
在本步骤中,对第二候选图像的车牌检测框进行处理,得到车牌检测框的像素面积Zi,角点置信度Pi,字符长度Ln,字符对应的置信度的平均值An。
其中,车牌检测框的角点可以是车牌检测框的4个角点,即关键点;车牌检测框的字符长度可以是车牌号码的字符数量。
作为示例,车牌号码31290M,即字符长度为6;车牌检测框的字符对应的置信度的平均值可以是95%,具体的:车牌号码31290M的置信度分别为98%、92%、97%、93%、96%、94%,则平均值为:
(98%+92%+97%+93%+96%+94%)/6=95%
步骤32、若框图信息满足预设的基准条件,将第二候选图像的车牌检测框的字符和第一候选图像的车牌检测框的字符进行合并,确定目标车牌对应的目标图像。
在本步骤,根据第二候选图像的车牌检测框的框图信息和第一候选图像的车牌检测框的框图信息,确定出第二候选图像是否优于第一候选图像时,对两个车牌检测框的框图信息进行字符合并,即将置信度高的字符作为目标图像的字符。
也即,基准条件用于限定第二候选图像是否优于第一候选图像。具体的,该基准条件可以包括如下几条:
第1、第二候选图像的车牌检测框的像素面积Zi大于第一候选图像的车牌检测框的像素面积与预设的面积调节参数的乘积Zo;
其中,预设的面积调节参数可以是a,取值范围为0-1之间。
第2、第二候选图像的车牌检测框的角点置信度Pi大于第一候选图像的车牌检测框的角点置信度Po;
第3、第二候选图像的车牌检测框的字符长度Ln大于第一候选图像的车牌检测框的字符长度Lo;
第4、第二候选图像的车牌检测框的字符对应的置信度的平均值An大于第一候选图像的车牌检测框的字符对应的置信度的平均值Ao。
进一步地,根据第二候选图像的车牌检测框的框图信息和第一候选图像的车牌检测框的框图信息,进行上述条件的判断,当第二候选图像和第一候选图像的车牌检测框满足基准条件时,进行车牌检测框的字符合并操作。
应理解,该基准条件的个数和内容可以增加和减少,不限于上述提出的4条。
可选的,该步骤中字符的合并操作的一种可能的实现具体可以包括如下步骤:
第1步、依次比较第二候选图像的车牌检测框中各个字符所在位置上字符对应的置信度和第一候选图像的车牌检测框中各个字符所在位置上字符对应的置信度的大小;
可选的,检测车牌检测框中各个字符,可以分别得到第二候选图像和第一候选图像的车牌检测框中各个字符所在位置上字符对应的置信度的大小。
例如,第二候选图像中车牌检测框中各个字符的置信度依次为98%、97%、93%、98%、99%和96%,第一候选图像中车牌检测框中各个字符的置信度依次为97%、96%、95%、93%和99%,那么依次对每个位置的置信度比较,得到第1个位置98%大于97%、第2个位置97%大于96%、第3个位置98%大于95%、第4个位置99%大于93%、第5个位置96%小于99%。
第2步、将各个位置上置信度较大的字符作为最终识别字符;
可选的,将上述各个位置上两个车牌检测框中相应位置中置信度较大的字符作为需要的字符。
例如,将第二候选图像中第1个字符(第1个位置98%大于97%)、第二候选图像中第2个字符(第2个位置97%大于96%)、第二候选图像中第3个字符(第3个位置98%大于95%)、第二候选图像中第4个字符(第4个位置99%大于93%)、第一候选图像中第5个字符(第5个位置96%小于99%)作为最终识别字符。
可选的,例如在某一个位置字符的置信度相同时,可以视置信度较大的字符为该位置上的任一个。
第3步、根据各个位置上的最终识别字符,替换第二候选图像中的车牌检测框中的字符,得到目标车牌对应的目标图像。
可选的,由于第二候选图像优于第一候选图像,以第二候选图像为基准,利用最终识别字符替换第二候选图像中的车牌检测框中的字符,便可以得到目标车牌对应的目标图像。
例如,上述可知,第二候选图像中第1个字符、第二候选图像中第2个字符、第二候选图像中第3个字符和第二候选图像中第4个字符不变,将第二候选图像中第5个字符替换为第一候选图像中第5个字符。
本申请实施例提供的图像检测方法,通过获取第二候选图像的车牌检测框的框图信息,之后当框图信息满足预设的基准条件,将第二候选图像的车牌检测框的字符和第一候选图像的车牌检测框的字符进行合并,确定目标车牌对应的目标图像,该技术方案,从第二候选图像与第一候选图像的车牌检测框的信息进行比较,从而得到更加准确的目标车牌对应的目标图像。
在上述实施例的基础上,图4为本申请实施例提供的图像检测方法实施例三的流程示意图。如图4所示,上述实施例中步骤22的实现可以包括如下步骤:
步骤41、针对跟踪清单中每个候选图像,根据第i帧图像与候选图像,确定第i帧图像的车牌检测框和候选图像的车牌检测框的交并比。
在本步骤中,需要确定出第i帧图像中的车牌号码与跟踪清单中的哪个车牌号码一致,以实现对相同号码的图像进行步骤22的相关处理。此时,可以根据第i帧图像的车牌检测框与跟踪清单中各个候选图像的车牌检测框进行对比,确定出第i帧图像的车牌检测框与各个候选图像的车牌检测框的交并比。
由于交并比描述了两个车牌检测框之间的重合度,也可以看成是两个像素的集合,车牌检测框的交并比等于两个车牌检测框重合部分的面积除以车牌检测框合并起来的面积。
例如,第i帧图像的车牌检测框为E,跟踪清单中某个候选图像的车牌检测框为G,那么交并比Hi可以是(E∩G)/(E∪G)。
步骤42、当第i帧图像的车牌检测框和候选图像的车牌检测框的交并比大于预设的交并比阈值,确定跟踪清单中存在与第i帧图像的车牌号码一致的第一候选图像。
在本步骤中,依次确定出第i帧图像的车牌检测框与各个候选图像的车牌检测框的交并比,并找到交并比最大值对应的候选图像的车牌检测框,并对该最大值进行判定,满足一定条件时,即认为该候选图像的车牌检测框指示的车牌号码与第i帧图像的车牌检测框指示的车牌号码一致。
在一种可能的实现中,该条件可以是预设的交并比阈值J,当该最大的交并比Himax大于交并比阈值J时,即认为跟踪清单中存在与第i帧图像的车牌号码一致的第一候选图像。
可选的,当第i帧图像的车牌检测框和每个候选图像的车牌检测框的交并比均小于或等于交并比阈值,该步骤可以通过另一种可能的实现确定跟踪清单中存在与第i帧图像的车牌号码一致的第一候选图像,具体为:
第1步、识别第i帧图像中的字符。
可选的,针对第i帧图像的车牌检测框,对该车牌检测框中的字符进行识别,得到车牌号码对应的字符。
第2步、将字符输入至第一预设模型,得到字符对应的置信度,第一预设模型为用于检测图像中字符的置信度的模型。
可选的,将字符依次输入至用于检测图像中字符的置信度的模型,得到各个字符的置信度。
例如,以字符数量为5为例,得到各个字符的置信度为80%、90%、85%、96%、88%。
应理解,在上述图3中,字符对应的置信度的获取方法也可以如该步骤所示。
第3步、若字符对应的置信度均大于预设的置信度阈值,针对每个候选图像,确定出字符和第一候选图像中字符的相似度。
可选的,得到各个字符的置信度为80%、90%、85%、96%和88%之后,判定各个字符的置信度是否大于各个位置上预设的置信度阈值。
例如,预设5个字符各个位置上的置信度阈值分别为78%、88%、81%、95%、80%(各个位置上的置信度阈值也可以相同),便可以得到各个字符的置信度大于各自所在位置上的置信度阈值。
应理解,存在至少一个不符合大小关系时,该第i帧图像的车牌检测框被抛弃,执行下一帧图像的处理。
进一步地,相似度的确定可以是判断第i帧图像的字符与各个候选图像的字符的相似度。
例如,第i帧图像的车牌的字符是ABD123,某个候选图像的车牌的字符是BC133,其中在两个车牌中共有的部分B-1-3,则记相似度为3;再如,第i+1帧图像的车牌的字符是ABD123,某个候选图像的车牌的字符是CBC126,其中在两个车牌中共有的部分B-12,则记相似度为3。
第4步、若相似度大于预设的相似度阈值,确定相似度大于相似度阈值对应的候选图像为与第i帧图像的车牌号码一致的第一候选图像。
可选的,确定出相似度大于预设的相似度阈值的候选图像,例如,某个图像与第i帧图像的字符的相似度为5,而相似度阈值为4,则认为该候选图像与第i帧图像的车牌号码一致,记为第一候选图像。
也即在跟踪清单确定出了与第i帧图像的车牌号码一致的第一候选图像。
本申请实施例提供的图像检测方法,通过针对跟踪清单中每个第一候选图像,根据第i帧图像与第一候选图像,确定第i帧图像的车牌检测框和候选图像的车牌检测框的交并比,并当第i帧图像的车牌检测框和候选图像的车牌检测框的交并比大于预设的交并比阈值,确定跟踪清单中存在与第i帧图像的车牌号码一致的第一候选图像。该技术方案,从帧图像之间检测框的交并比关系出发,对同一号码的帧图像进行了确定,为后续得到该号码的目标图像提供了基础。
在上述实施例的基础上,图5为本申请实施例提供的图像检测方法实施例四的流程示意图。如图5所示,对本申请实施例进行宏观概述:
第1步、开始;
第2步、计算当前车牌检测框与跟踪清单中候选图像的交并比;
第3步、选取最大的交并比;
第4步、判断最大的交并比是否大于交并比阈值,若是,执行第10步;若否,执行第5步;
第5步、识别当前车牌检测框的字符的置信度;
第6步、判断字符的置信度是否大于置信度阈值,若是,执行第8步;若否,执行第7步;
第7步、丢弃当前车牌检测框;
第8步、确定当前车牌检测框的字符与最大的交并比对应的候选图像中字符的相似度;
第9步、判断相似度是否大于相似度阈值,若是,执行第10步;若否,执行第14步;
第10步、刷新跟踪参数(跟踪检测框坐标pos和跟踪超时定时器Fn);
第11步、图片选优;
第12步、判断跟踪车牌检测框坐标的时间是否大于时间阈值,若是,执行第13步;若否,执行第15步;
第13步、推图过滤(即输出目标图像中图像像素大于预设的像素阈值的图像),执行第15步;
第14步、获取下一帧图像,执行第10步;
第15步、结束。
本申请实施例提供的图像检测方法,通过计算当前车牌检测框与跟踪清单中候选图像的交并比,选取最大的交并比,当最大的交并比大于交并比阈值时,根据最大的交并比对应的候选图像和当前车牌检测框,进行图片选优,当满足时间的限定条件之后,输出目标图像中图像像素大于预设的像素阈值的图像;在最大的交并比不大于交并比阈值时,根据当前车牌检测框和最大的交并比对应的候选图像中的字符信息进行判断,确定出当前车牌检测框和候选图像同属一个车牌号码,之后,进行图片选优等后续操作。该技术方案从最大的交并比对应的候选图像和当前车牌检测框出发,使得对同一号码不同图像的信息进行处理,使得更加准确地输出符合用户需求的图像。
进一步地,图6为本申请实施例提供的图像检测方法实施例五的流程示意图。如图6所示,对上述图5中第11步进行详述:
第1步、开始;
第2步、获取当前车牌检测框的第一面积与最大的交并比对应的候选图像中车牌检测框的第二面积;
第3步、判断第一面积是否大于第二面积的a倍,若是,执行第4步;若否,执行第12步;
第4步、获取当前车牌检测框的第一角点置信度和最大的交并比对应的候选图像中车牌检测框的第二角点置信度;
第5步、判断第一角点置信度是否大于第二角点置信度,若是,执行第6步;若否,执行第12步;
第6步、获取当前车牌检测框的第一字符长度和最大的交并比对应的候选图像中车牌检测框的第二字符长度;
第7步、判断第一字符长度是否大于第二字符长度,若是,执行第8步;若否,执行第12步;
第8步、获取当前车牌检测框的字符对应的置信度的第一平均值和最大的交并比对应的候选图像中车牌检测框的字符对应的置信度的第二平均值;
第9步、判断第一平均值是否大于第二平均值,若是,执行第10步;若否,执行第12步;
第10步、合并当前车牌检测框的字符和最大的交并比对应的候选图像中车牌检测框的字符;
第11步、确定目标图像;
第12步、结束。
本申请实施例提供的图像检测方法,通过获取当前车牌检测框的第一面积与最大的交并比对应的候选图像中车牌检测框的第二面积,当前车牌检测框的第一角点置信度和最大的交并比对应的候选图像中车牌检测框的第二角点置信度,当前车牌检测框的第一字符长度和最大的交并比对应的候选图像中车牌检测框的第二字符长度,获取当前车牌检测框的字符对应的置信度的第一平均值和最大的交并比对应的候选图像中车牌检测框的字符对应的置信度的第二平均值,在上述四项获取的信息比较中,若当前车牌检测框的信息都优于最大的交并比对应的候选图像中车牌检测框的信息,之后合并当前车牌检测框的字符和最大的交并比对应的候选图像中车牌检测框的字符,并基于此,确定目标图像。该技术方案中,对帧图像不断比较优化,为输出符合预期要求的车牌的图像提供了基础。
在上述方法实施例的基础上,图7为本申请实施例提供的图像检测装置的结构示意图。包括:获取模块71、处理模块72、确定模块73和显示模块74;
获取模块71,用于获取视频流,视频流中至少一个帧图像包括至少一个车牌检测框,该车牌检测框中有车牌号码;
处理模块72,用于根据视频流中的帧顺序,依次对比视频流中第i帧图像和跟踪清单中的候选图像,确定出跟踪清单中与第i帧图像的车牌号码一致的第一候选图像,并将第i帧图像记为第二候选图像,第i帧图像中的车牌号码为目标车牌,跟踪清单中包括至少一个候选图像,i为大于1的整数;
确定模块73,用于根据第一候选图像和第二候选图像,确定出目标车牌对应的目标图像,将目标图像作为目标车牌对应的新的第一候选图像;
显示模块74,用于输出新的第一候选图像。
在本申请实施例一种可能的设计中,确定模块73,具体用于:
获取第二候选图像的车牌检测框的框图信息,框图信息包括:第二候选图像的车牌检测框的像素面积、第二候选图像的车牌检测框的角点置信度、第二候选图像的车牌检测框的字符长度、第二候选图像的车牌检测框的字符对应的置信度的平均值;
若框图信息满足预设的基准条件,将第二候选图像的车牌检测框的字符和第一候选图像的车牌检测框的字符进行合并,确定目标车牌对应的目标图像,基准条件用于限定第二候选图像是否优于第一候选图像。
可选的,基准条件为:
第二候选图像的车牌检测框的像素面积大于第一候选图像的车牌检测框的像素面积与预设的面积调节参数的乘积;
第二候选图像的车牌检测框的角点置信度大于第一候选图像的车牌检测框的角点置信度;
第二候选图像的车牌检测框的字符长度大于第一候选图像的车牌检测框的字符长度;
第二候选图像的车牌检测框的字符对应的置信度的平均值大于第一候选图像的车牌检测框的字符对应的置信度的平均值。
在该种可能的设计中,确定模块73将第二候选图像的车牌检测框的字符和第一候选图像的车牌检测框的字符进行合并,得到目标车牌对应的目标图像,具体用于:
依次比较第二候选图像的车牌检测框中各个字符所在位置上字符对应的置信度和第一候选图像的车牌检测框中各个字符所在位置上字符对应的置信度的大小;
将各个位置上置信度较大的字符作为最终识别字符;
根据各个位置上的最终识别字符,替换第二候选图像中的车牌检测框中的字符,得到目标车牌对应的目标图像。
在本申请实施例另一种可能的设计中,在获取视频流之后,处理模块72,还用于:
将第1帧图像作为第一候选图像,并确定第一候选图像对应的车牌号码;
将第一候选图像及第一候选图像对应的车牌号码存储至跟踪清单。
在本申请实施例再一种可能的设计中,处理模块72,具体用于:
针对跟踪清单中每个第一候选图像,根据第i帧图像与第一候选图像,确定第i帧图像的车牌检测框和第一候选图像的车牌检测框的交并比;
当第i帧图像的车牌检测框和第一候选图像的车牌检测框的交并比大于预设的交并比阈值,确定跟踪清单中存在与第i帧图像的车牌号码一致的第一候选图像。
在该种可能的设计中,处理模块72,还用于:
当第i帧图像的车牌检测框和每个第一候选图像的车牌检测框的交并比均小于或等于交并比阈值,识别第i帧图像中的字符;
将字符输入至第一预设模型,得到字符对应的置信度,第一预设模型为用于检测图像中字符的置信度的模型;
若字符对应的置信度均大于预设的置信度阈值,针对每个第一候选图像,确定出字符和第一候选图像中字符的相似度;
若相似度大于预设的相似度阈值,确定相似度大于相似度阈值对应的第一候选图像与第i帧图像的车牌号码一致。
本申请实施例提供的图像检测装置,可用于执行上述实施例中图像检测方法对应的技术方案,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
图8为本申请实施例提供的计算机设备的结构示意图。如图8所示,该计算机设备可以包括:处理器80、存储器81及存储在该存储器81上并可在处理器80上运行的计算机程序指令。
其中,该计算机设备可以是电脑、平板等具有显示功能的设备。
处理器80执行存储器81存储的计算机执行指令,使得处理器80执行上述实施例中的方案。处理器80可以是通用处理器,包括中央处理器CPU、网络处理器(networkprocessor,NP)等;还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的,该计算机设备还可以包括:收发器82。
存储器81和收发器82通过系统总线与处理器80连接并完成相互间的通信,存储器81用于存储计算机程序指令。
收发器82用于和其他设备进行通信,该收发器82构成通信接口。
可选的,在硬件实现上,上述图7所示实施例中的获取模块71对应于本实施例中的收发器82。
在一种可能的实现中,该计算机设备还可以包括:显示器,该显示器用于显示计算机设备的显示界面,具体为实施例中的示例:目标图像,在硬件实现上,对应上述图7所示实施例中的显示模块74。
系统总线可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本申请实施例提供的计算机设备,可用于执行上述实施例中图像检测方法对应的技术方案,其实现原理和技术效果类似,在此不再赘述。
本申请实施例还提供一种运行指令的芯片,该芯片用于执行上述实施例中图像检测方法的技术方案。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在计算机设备上运行时,使得计算机设备执行上述实施例中图像检测方法的技术方案。
本申请实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时用于执行上述实施例中图像检测方法的技术方案。
上述的计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。可读存储介质可以是通用或专用计算机设备能够存取的任何可用介质。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (16)
1.一种图像检测方法,其特征在于,包括:
获取视频流,所述视频流中至少一个帧图像包括至少一个车牌检测框,所述车牌检测框中有车牌号码;
根据视频流中的帧顺序,依次对比所述视频流中第i帧图像和跟踪清单中的候选图像,确定出所述跟踪清单中与所述第i帧图像的车牌号码一致的第一候选图像,并将所述第i帧图像记为第二候选图像,所述第i帧图像中的车牌号码为目标车牌,所述跟踪清单中包括至少一个候选图像,所述i为大于1的整数;
根据所述第一候选图像和所述第二候选图像,确定出所述目标车牌对应的目标图像,将所述目标图像作为所述目标车牌对应的新的第一候选图像;
输出所述新的第一候选图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一候选图像和所述第二候选图像,确定出所述目标车牌对应的目标图像,包括:
获取所述第二候选图像的车牌检测框的框图信息,所述框图信息包括:所述第二候选图像的车牌检测框的像素面积、所述第二候选图像的车牌检测框的角点置信度、所述第二候选图像的车牌检测框的字符长度、所述第二候选图像的车牌检测框的字符对应的置信度的平均值;
若所述框图信息满足预设的基准条件,将所述第二候选图像的车牌检测框的字符和所述第一候选图像的车牌检测框的字符进行合并,确定所述目标车牌对应的目标图像,所述基准条件用于限定所述第二候选图像是否优于所述第一候选图像。
3.根据权利要求2所述的方法,其特征在于,所述基准条件为:
所述第二候选图像的车牌检测框的像素面积大于所述第一候选图像的车牌检测框的像素面积与预设的面积调节参数的乘积;
所述第二候选图像的车牌检测框的角点置信度大于所述第一候选图像的车牌检测框的角点置信度;
所述第二候选图像的车牌检测框的字符长度大于所述第一候选图像的车牌检测框的字符长度;
所述第二候选图像的车牌检测框的字符对应的置信度的平均值大于所述第一候选图像的车牌检测框的字符对应的置信度的平均值。
4.根据权利要求2或3所述的方法,其特征在于,所述将所述第二候选图像的车牌检测框的字符和所述第一候选图像的车牌检测框的字符进行合并,确定所述目标车牌对应的目标图像,包括:
依次比较所述第二候选图像的车牌检测框中各个字符所在位置上字符对应的置信度和所述第一候选图像的车牌检测框中各个字符所在位置上字符对应的置信度的大小;
将各个位置上置信度较大的字符作为最终识别字符;
根据各个位置上的最终识别字符,替换所述第二候选图像中的车牌检测框中的字符,得到所述目标车牌对应的目标图像。
5.根据权利要求1所述的方法,其特征在于,在所述获取视频流之后,所述方法还包括:
将第1帧图像作为候选图像,并确定所述候选图像对应的车牌号码;
将所述候选图像及所述候选图像对应的车牌号码存储至所述跟踪清单。
6.根据权利要求1或5所述的方法,其特征在于,所述根据所述视频流中第i帧图像和跟踪清单,确定所述跟踪清单中存在与所述第i帧图像的车牌号码一致的第一候选图像,包括:
针对所述跟踪清单中每个候选图像,根据所述第i帧图像与所述候选图像,确定所述第i帧图像的车牌检测框和所述候选图像的车牌检测框的交并比;
当所述第i帧图像的车牌检测框和所述候选图像的车牌检测框的交并比大于预设的交并比阈值,确定所述跟踪清单中存在与所述第i帧图像的车牌号码一致的第一候选图像。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
当所述第i帧图像的车牌检测框和每个候选图像的车牌检测框的交并比均小于或等于所述交并比阈值,识别所述第i帧图像中的字符;
将所述字符输入至第一预设模型,得到所述字符对应的置信度,所述第一预设模型为用于检测图像中字符的置信度的模型;
若所述字符对应的置信度均大于预设的置信度阈值,针对每个候选图像,确定出所述字符和所述候选图像中字符的相似度;
若所述相似度大于预设的相似度阈值,确定所述相似度大于所述相似度阈值对应的候选图像为与所述第i帧图像的车牌号码一致的第一候选图像。
8.一种图像检测装置,其特征在于,包括:获取模块、处理模块、确定模块和显示模块;
所述获取模块,用于获取视频流,所述视频流中至少一个帧图像包括至少一个车牌检测框,所述车牌检测框中有车牌号码;
所述处理模块,用于根据视频流中的帧顺序,依次对比所述视频流中第i帧图像和跟踪清单中的候选图像,确定出所述跟踪清单中与所述第i帧图像的车牌号码一致的第一候选图像,并将所述第i帧图像记为第二候选图像,所述第i帧图像中的车牌号码为目标车牌,所述跟踪清单中包括至少一个候选图像,所述i为大于1的整数;
所述确定模块,用于根据所述第一候选图像和所述第二候选图像,确定出所述目标车牌对应的目标图像,将所述目标图像作为所述目标车牌对应的新的第一候选图像;
所述显示模块,用于输出所述新的第一候选图像。
9.根据权利要求8所述的装置,其特征在于,所述确定模块,具体用于:
获取所述第二候选图像的车牌检测框的框图信息,所述框图信息包括:所述第二候选图像的车牌检测框的像素面积、所述第二候选图像的车牌检测框的角点置信度、所述第二候选图像的车牌检测框的字符长度、所述第二候选图像的车牌检测框的字符对应的置信度的平均值;
若所述框图信息满足预设的基准条件,将所述第二候选图像的车牌检测框的字符和所述第一候选图像的车牌检测框的字符进行合并,确定所述目标车牌对应的目标图像,所述基准条件用于限定所述第二候选图像是否优于所述第一候选图像。
10.根据权利要求9所述的装置,其特征在于,所述基准条件为:
所述第二候选图像的车牌检测框的像素面积大于所述第一候选图像的车牌检测框的像素面积与预设的面积调节参数的乘积;
所述第二候选图像的车牌检测框的角点置信度大于所述第一候选图像的车牌检测框的角点置信度;
所述第二候选图像的车牌检测框的字符长度大于所述第一候选图像的车牌检测框的字符长度;
所述第二候选图像的车牌检测框的字符对应的置信度的平均值大于所述第一候选图像的车牌检测框的字符对应的置信度的平均值。
11.根据权利要求9或10所述的装置,其特征在于,所述确定模块,将所述第二候选图像的车牌检测框的字符和所述第一候选图像的车牌检测框的字符进行合并,确定所述目标车牌对应的目标图像,具体用于:
依次比较所述第二候选图像的车牌检测框中各个字符所在位置上字符对应的置信度和所述第一候选图像的车牌检测框中各个字符所在位置上字符对应的置信度的大小;
将各个位置上置信度较大的字符作为最终识别字符;
根据各个位置上的最终识别字符,替换所述第二候选图像中的车牌检测框中的字符,得到所述目标车牌对应的目标图像。
12.根据权利要求11所述的装置,其特征在于,在所述获取视频流之后,所述处理模块,还用于:
将第1帧图像作为候选图像,并确定所述候选图像对应的车牌号码;
将所述候选图像及所述候选图像对应的车牌号码存储至所述跟踪清单。
13.根据权利要求8或12所述的装置,其特征在于,所述处理模块,具体用于:
针对所述跟踪清单中每个候选图像,根据所述第i帧图像与所述候选图像,确定所述第i帧图像的车牌检测框和所述候选图像的车牌检测框的交并比;
当所述第i帧图像的车牌检测框和所述候选图像的车牌检测框的交并比大于预设的交并比阈值,确定所述跟踪清单中存在与所述第i帧图像的车牌号码一致的第一候选图像。
14.根据权利要求13所述的装置,其特征在于,所述处理模块,还用于:
当所述第i帧图像的车牌检测框和每个候选图像的车牌检测框的交并比均小于或等于所述交并比阈值,识别所述第i帧图像中的字符;
将所述字符输入至第一预设模型,得到所述字符对应的置信度,所述第一预设模型为用于检测图像中字符的置信度的模型;
若所述字符对应的置信度均大于预设的置信度阈值,针对每个候选图像,确定出所述字符和所述候选图像中字符的相似度;
若所述相似度大于预设的相似度阈值,确定所述相似度大于所述相似度阈值对应的候选图像为与所述第i帧图像的车牌号码一致的第一候选图像。
15.一种计算机设备,包括:处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序指令,其特征在于,所述处理器执行所述计算机程序指令时实现如上述权利要求1至7任一项所述的图像检测方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上述权利要求1至7任一项所述的图像检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111375363.XA CN116152691A (zh) | 2021-11-19 | 2021-11-19 | 图像检测方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111375363.XA CN116152691A (zh) | 2021-11-19 | 2021-11-19 | 图像检测方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116152691A true CN116152691A (zh) | 2023-05-23 |
Family
ID=86337557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111375363.XA Pending CN116152691A (zh) | 2021-11-19 | 2021-11-19 | 图像检测方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116152691A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116977949A (zh) * | 2023-08-24 | 2023-10-31 | 北京唯行科技有限公司 | 车辆停车巡检方法、装置和设备 |
-
2021
- 2021-11-19 CN CN202111375363.XA patent/CN116152691A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116977949A (zh) * | 2023-08-24 | 2023-10-31 | 北京唯行科技有限公司 | 车辆停车巡检方法、装置和设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110298300B (zh) | 一种检测车辆违章压线的方法 | |
CN110738150B (zh) | 相机联动抓拍方法、装置以及计算机存储介质 | |
CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
CN111783573B (zh) | 一种远光灯检测方法、装置及设备 | |
CN105608209A (zh) | 一种视频标注方法和视频标注装置 | |
CN107506753B (zh) | 一种面向动态视频监控的多车辆跟踪方法 | |
CN116152691A (zh) | 图像检测方法、装置、设备和存储介质 | |
CN114897684A (zh) | 车辆图像的拼接方法、装置、计算机设备和存储介质 | |
CN112598743B (zh) | 一种单目视觉图像的位姿估算方法及相关装置 | |
CN116863124B (zh) | 车辆姿态确定方法、控制器及存储介质 | |
CN115601738B (zh) | 停车信息获取方法、装置、设备、存储介质及程序产品 | |
CN115761668A (zh) | 摄像头的污渍识别方法、装置、车辆及存储介质 | |
CN112818743B (zh) | 图像识别的方法、装置、电子设备及计算机存储介质 | |
CN114155201A (zh) | 检测镜头附有目标物的方法、装置、设备及可读存储介质 | |
CN113066100A (zh) | 目标跟踪方法、装置、设备及存储介质 | |
CN115082326A (zh) | 视频去模糊的处理方法、边缘计算设备及中心处理器 | |
CN111314611A (zh) | 一种多个运动对象的拍摄方法及装置 | |
CN114663793A (zh) | 目标行为识别方法及装置、存储介质、终端 | |
CN113269007A (zh) | 道路监控视频的目标跟踪装置以及方法 | |
JP7177118B2 (ja) | 車両管理装置 | |
CN112183413B (zh) | 一种车位检测方法、装置、存储介质及车辆 | |
CN112687108B (zh) | 人车匹配的检测方法、检测装置、拍摄装置及存储介质 | |
CN114898325B (zh) | 一种车辆危险变道检测方法、装置及电子设备 | |
Kopenkov et al. | Detection and tracking of vehicles based on the videoregistration information | |
CN111104900B (zh) | 高速公路费用清分方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |