CN117894009A - 一种基于智能视觉的车牌识别系统 - Google Patents

Abstract

本发明涉及图像识别技术领域，尤其涉及一种基于智能视觉的车牌识别系统，包括用以采集车辆图像的偏振相机，用以获取所述偏振相机采集的车辆图像的数据获取单元，用以确定对所述车牌图像的车牌号识别，或确定对车牌图像的预处理，或确定对所述车牌图像的判定的第一分析单元，用以确定是否保留识别结果，或确定对所述第一预设置信度的调整的第二分析单元，用以根据调整系数对所述第一预设置信度进行调整的调整单元，本发明克服了现有技术中车牌图像在不同光线条件下清晰度差，同时对于车牌图像缺乏合理的处理方式，导致对车牌号的识别精确度低的问题。

Description

一种基于智能视觉的车牌识别系统

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于智能视觉的车牌识别系统。

背景技术

在现代交通系统中，车牌识别技术扮演着至关重要的角色，尤其是在交通监控、自动收费、车辆管理等方面。随着智能交通系统的发展，对车牌识别技术的需求日益增长，这促使研究人员和工程师开发出更加高效、准确的车牌识别系统。传统的车牌识别系统在处理高动态范围的图像、不同光照条件下的图像以及图像模糊等问题时往往表现不佳。此外，传统系统在处理复杂背景下的车牌时也经常出现误识别的情况，为了克服这些限制，基于智能视觉的车牌识别系统逐渐成为研究的热点。这类系统通常利用深度学习技术，特别是卷积神经网络和目标检测模型，来提高识别的准确性和鲁棒性。通过这些先进的技术，系统能够更好地处理各种复杂情况下的车牌识别任务，包括但不限于不同光照条件、不同角度的拍摄以及车牌部分遮挡的情况。

中国专利申请公开号：CN111639645A公开了一种车牌号识别方法，包括获取根据预先设定的角度拍摄的RGB格式的车牌图像，其中，所述车牌图像包括车辆头部车牌图像及车辆尾部车牌图像；通过openCV计算机视觉库，对所述车牌图像做灰度化处理，将所述车牌图像转换为色值为255单通道的车牌图像；对所述车牌图像做高斯滤波处理并基于设定的阈值，对所述车牌图像进行二值化处理，形成单色的车牌图像；获取当前订单对应的车牌号并根据所述车牌号的位数，对所述车牌图像进行切割；对切割后的车牌图像进行归一化处理并将归一化后的车牌图像输入训练过的人工神经网络模型，生成符合规定的车牌图像并获取所述车牌图像中的车牌号。

由此可见，现有技术存在以下问题：由于车牌图像在不同光线条件下清晰度差，同时对于车牌图像缺乏合理的处理方式，导致对车牌号的识别精确度低。

发明内容

为此，本发明提供一种基于智能视觉的车牌识别系统，用以克服现有技术中车牌图像在不同光线条件下清晰度差，同时对于车牌图像缺乏合理的处理方式，导致对车牌号的识别精确度低的问题。

为实现上述目的，本发明提供一种基于智能视觉的车牌识别系统，包括：

偏振相机，其用以采集车辆图像；

数据获取单元，其与所述偏振相机相连，用以获取所述偏振相机采集的车辆图像；

第一分析单元，其与所述数据获取单元相连，用以根据车辆图像中车牌图像被目标检测模型检测到的第一置信度确定对所述车牌图像的车牌号识别，或确定对车牌图像的预处理，以根据所述第一置信度与第一预设置信度的第一相对差确定对车牌图像进行预处理的预处理方式；

根据预处理完成的车牌图像被目标检测模型检测到的第二置信度确定对所述车牌图像的车牌号识别，或确定对所述车牌图像的判定；

根据所述第二置信度与第二预设置信度的第二相对差确定是否计算车牌图像质量评价值，以根据所述车牌图像质量评价值确定对所述车牌图像的车牌号识别；

第二分析单元，其与所述第一分析单元相连，用以根据卷积神经网络识别出车牌图像中所有字符的平均概率确定是否保留识别结果，或根据所述平均概率与预设平均概率的第三相对差确定对所述第一预设置信度的调整；

调整单元，其分别与所述第一分析单元以及第二分析单元相连，用以根据调整系数对所述第一预设置信度进行调整。

进一步地，所述第一分析单元基于车辆图像中检测出车牌图像的第一置信度大于第一预设置信度的比对结果确定对所述车牌图像进行车牌号识别，基于所述第一置信度小于等于第一预设置信度的比对结果确定对车牌图像进行预处理。

进一步地，所述第一分析单元基于所述第一相对差小于等于第一预设相对差的比对结果确定对车牌图像进行中值滤波。

进一步地，所述第一分析单元基于所述第一相对差大于第一预设相对差的比对结果确定采用SRResNet网络对车牌图像进行超分辨率重建。

进一步地，所述第一分析单元基于车牌图像的第二置信度小于等于第二预设置信度的比对结果确定对所述车牌图像进行判定，基于车牌图像的第二置信度大于第二预设置信度的比对结果确定对所述车牌图像进行车牌号识别。

进一步地，所述第一分析单元基于所述第二相对差小于等于第二预设相对差的比对结果确定计算车牌图像质量评价值。

进一步地，所述第一分析单元根据以下公式计算车牌图像质量评价值，设定：

；

其中，P表示车牌图像质量评价值，A1表示车牌图像中所有符合预设条件的字符的边界框的像素面积，A2表示车牌图像的像素面积，e表示自然常数。

进一步地，所述第一分析单元基于所述车牌图像质量评价值大于预设车牌图像质量评价值的比对结果确定对所述车牌图像进行车牌号识别。

进一步地，所述第二分析单元基于卷积神经网络识别出车牌图像中所有字符的平均概率大于预设平均概率的比对结果确定保留识别结果。

进一步地，所述第二分析单元基于所述第三相对差小于等于第三预设相对差的比对结果确定对所述第一预设置信度进行调整；

所述调整单元根据以下调整系数对所述第一预设置信度进行调整，设定：

其中，Z表示所述调整系数，△G表示所述第三相对差。

与现有技术相比，本发明的有益效果在于，本发明根据车辆图像中检测出车牌图像的第一置信度与第一预设置信度的比对结果确定对所述车牌图像的车牌号识别，以及车牌图像的预处理来提升识别的准确性，减少因车牌图像质量不佳而导致的识别错误。

进一步地，本发明根据第一相对差与第一预设相对差的比对结果确定对车牌图像进行预处理的预处理方式，能够选择最合适的预处理策略，更加灵活和精确地处理不同质量的图像，从而提高整体的识别准确率，SRResNet网络的超分辨率重建需要更多的计算资源，而中值滤波则相对轻量，通过根据第一相对差选择预处理方式，能够更高效地利用计算资源，避免计算资源的浪费。

进一步地，本发明根据车牌图像的第二置信度与第二预设置信度的比对结果确定对所述车牌图像的车牌号识别进一步对车牌图像进行质量评估以确定是否能够进行车牌号识别，提高识别结果的精确度。

进一步地，本发明根据第二相对差与第二预设相对差的比对结果确定是否计算车牌图像质量评价值，以进一步对车牌图像的质量进行精确评估，提高对车牌号的识别精确度。

进一步地，本发明根据车牌图像中所有符合预设条件的字符的边界框的像素面积以及车牌图像的像素面积精确评估车牌图像质量评价值，并根据车牌图像质量评价值与预设车牌图像质量评价值的比对结果确定对所述车牌图像的车牌号识别，以在车牌图像质量合格的情况下对车牌号识别，提高车牌号识别的精确度。

进一步地，本发明根据卷积神经网络识别出车牌图像中所有字符的平均概率与预设平均概率的比对结果确定是否保留识别结果，确保识别概率高、可信度强的识别结果被保留以显著降低错误识别的风险，从而提高整体的识别准确率。

进一步地，本发明根据所述第三相对差与第三预设相对差的比对结果确定是否对所述第一预设置信度进行调整以在平均概率处于中间水平时提高车牌图像质量，以提高车牌号识别的精确性。

进一步地，本发明根据公式计算调整系数以精确调整第一预设置信度，保证调整的精确性的同时避免过度调整导致计算资源的浪费，从而提高车牌号的识别精确性。

附图说明

图1为本发明实施例基于智能视觉的车牌识别系统的结构示意图；

图2为本发明实施例基于智能视觉的车牌识别系统第一分析单元工作过程的流程图；

图3为本发明实施例基于智能视觉的车牌识别系统第二分析单元工作过程的流程图。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1-图3所示，图1为本发明实施例基于智能视觉的车牌识别系统的结构示意图；图2为本发明实施例基于智能视觉的车牌识别系统第一分析单元工作过程的流程图；图3为本发明实施例基于智能视觉的车牌识别系统第二分析单元工作过程的流程图。

本发明实施例基于智能视觉的车牌识别系统，包括：

偏振相机，其用以采集车辆图像；

数据获取单元，其与所述偏振相机相连，用以获取所述偏振相机采集的车辆图像；

第一分析单元，其与所述数据获取单元相连，用以根据车辆图像中车牌图像被目标检测模型检测到的第一置信度X1确定对所述车牌图像的车牌号识别，或确定对车牌图像的预处理，以根据所述第一置信度X1与第一预设置信度X01的第一相对差△X1确定对车牌图像进行预处理的预处理方式；

根据预处理完成的车牌图像被目标检测模型检测到的第二置信度X2确定对所述车牌图像的车牌号识别，或确定对所述车牌图像的判定；

根据所述第二置信度X2与第二预设置信度X02的第二相对差△X2确定是否计算车牌图像质量评价值P，以根据所述车牌图像质量评价值P确定对所述车牌图像的车牌号识别；

第二分析单元，其与所述第一分析单元相连，用以根据卷积神经网络识别出车牌图像中所有字符的平均概率G确定是否保留识别结果，或根据所述平均概率G与预设平均概率G0的第三相对差△G确定对所述第一预设置信度X01的调整；

调整单元，其分别与所述第一分析单元以及第二分析单元相连，用以根据调整系数Z对所述第一预设置信度X01进行调整。

本发明实施例中，目标检测模型优选YOLOV5，卷积神经网络优选ResNet50。

具体而言，所述第一分析单元根据车辆图像中检测出车牌图像的第一置信度X1与第一预设置信度X01的比对结果确定是否对所述车牌图像进行车牌号识别；

若X1≤X01，则所述第一分析单元确定对车牌图像进行预处理；

若X1＞X01，则所述第一分析单元确定对所述车牌图像进行车牌号识别；

本发明实施例中，第一预设置信度X01取值为0.8，本领域技术人员可以根据具体情况对第一预设置信度X01进行调整。

具体而言，本发明根据车辆图像中检测出车牌图像的第一置信度与第一预设置信度的比对结果确定对所述车牌图像的车牌号识别，以及车牌图像的预处理来提升识别的准确性，减少因车牌图像质量不佳而导致的识别错误。

具体而言，所述第一分析单元在确定对车牌图像预处理条件下，计算所述第一置信度X1与第一预设置信度X01的第一相对差△X1，并根据所述第一相对差△X1与第一预设相对差△X01的比对结果确定对车牌图像进行预处理的预处理方式，设定△X1=（X01-X1）/X01；

若△X1≤△X01，则所述第一分析单元确定以第一预处理方式对车牌图像进行预处理；

若△X1＞△X01，则所述第一分析单元确定以第二预处理方式对车牌图像进行预处理；

其中，所述第一预处理方式为对车牌图像进行中值滤波；

所述第二预处理方式为采用SRResNet网络对车牌图像进行超分辨率重建。

本发明实施例中，第一预设相对差△X01取值为0.25，第一预设相对差△X01是在第一置信度X1为0.6的情况下取得的，本领域技术人员可以根据具体情况对第一预设相对差△X01进行调整。

具体而言，本发明根据第一相对差与第一预设相对差的比对结果确定对车牌图像进行预处理的预处理方式，能够选择最合适的预处理策略，更加灵活和精确地处理不同质量的图像，从而提高整体的识别准确率，SRResNet网络的超分辨率重建需要更多的计算资源，而中值滤波则相对轻量，通过根据第一相对差选择预处理方式，能够更高效地利用计算资源，避免计算资源的浪费。

具体而言，所述第一分析单元在确定对车牌图像预处理完成条件下，根据车牌图像的第二置信度X2与第二预设置信度X02的比对结果确定是否对所述车牌图像进行车牌号识别；

若X2≤X02，则所述第一分析单元确定对所述车牌图像进行判定；

若X2＞X02，则所述第一分析单元确定对所述车牌图像进行车牌号识别；

本发明实施例中，第二预设置信度X02取值为0.8，本领域技术人员可以根据具体情况对第二预设置信度X02进行调整。

具体而言，本发明根据车牌图像的第二置信度与第二预设置信度的比对结果确定对所述车牌图像的车牌号识别进一步对车牌图像进行质量评估以确定是否能够进行车牌号识别，提高识别结果的精确度。

具体而言，所述第一分析单元在确定对所述车牌图像判定条件下，计算所述第二置信度X2与第二预设置信度X02的第二相对差△X2，并根据所述第二相对差△X2与第二预设相对差△X02的比对结果确定是否计算车牌图像质量评价值P，设定△X2=（X02-X2）/X02；

若△X2≤△X02，则所述第一分析单元确定计算车牌图像质量评价值P；

若△X2＞△X02，则所述第一分析单元确定不计算车牌图像质量评价值P；

本发明实施例中，第二预设相对差△X02取值为0.25，第二预设相对差△X02是在第二置信度X2为0.6的情况下取得的，本领域技术人员可以根据具体情况对第二预设相对差△X02进行调整。

具体而言，本发明根据第二相对差与第二预设相对差的比对结果确定是否计算车牌图像质量评价值，以进一步对车牌图像的质量进行精确评估，提高对车牌号的识别精确度。

具体而言，所述第一分析单元根据以下公式计算车牌图像质量评价值P，设定：

；

其中，A1表示车牌图像中所有符合预设条件的字符的边界框的像素面积，A2表示车牌图像的像素面积，e表示自然常数。

本发明实施例中，所述预设条件为车牌图像中的字符能够被目标检测算法识别出并且置信度大于0.95。

具体而言，所述第一分析单元在车牌图像质量评价值P计算完成条件下，根据所述车牌图像质量评价值P与预设车牌图像质量评价值P0的比对结果确定是否对所述车牌图像进行车牌号识别；

若P＜P0，则所述第一分析单元确定不对所述车牌图像进行车牌号识别；

若P≥P0，则所述第一分析单元确定对所述车牌图像进行车牌号识别；

本发明实施例中，预设车牌图像质量评价值P0取值为0.94，预设车牌图像质量评价值P0是在A1/A2=0.5的情况下取得的，本领域技术人员可以根据具体情况对预设车牌图像质量评价值P0进行调整。

具体而言，本发明根据车牌图像中所有符合预设条件的字符的边界框的像素面积以及车牌图像的像素面积精确评估车牌图像质量评价值，并根据车牌图像质量评价值与预设车牌图像质量评价值的比对结果确定对所述车牌图像的车牌号识别，以在车牌图像质量合格的情况下对车牌号识别，提高车牌号识别的精确度。

具体而言，所述第二分析单元在第一分析单元确定对所述车牌图像进行车牌号识别条件下，根据卷积神经网络识别出车牌图像中所有字符的平均概率G与预设平均概率G0的比对结果确定是否保留识别结果；

若G≤G0，则所述第二分析单元确定不保留识别结果；

若G＞G0，则所述第二分析单元确定保留识别结果；

本发明实施例中，预设平均概率G0取值为0.9，本领域技术人员可以根据具体情况对预设平均概率G0进行调整。

具体而言，本发明根据卷积神经网络识别出车牌图像中所有字符的平均概率与预设平均概率的比对结果确定是否保留识别结果，确保识别概率高、可信度强的识别结果被保留以显著降低错误识别的风险，从而提高整体的识别准确率。

具体而言，所述第二分析单元在确定不保留识别结果条件下，计算所述平均概率G与预设平均概率G0的第三相对差△G，并根据所述第三相对差△G与第三预设相对差△G0的比对结果确定是否对所述第一预设置信度X01进行调整，设定△G=（G0-G）/G0；

若△G≤△G0，则所述第二分析单元确定对所述第一预设置信度X01进行调整；

若△G＞△G0，则所述第二分析单元确定不对所述第一预设置信度X01进行调整；

本发明实施例中，第三预设相对差△G0取值为0.33，第三预设相对差△G0是在平均概率G为0.6的情况下取得的，本领域技术人员可以根据具体情况对第三预设相对差△G0进行调整。

具体而言，本发明根据所述第三相对差与第三预设相对差的比对结果确定是否对所述第一预设置信度进行调整以在平均概率处于中间水平时提高车牌图像质量，以提高车牌号识别的精确性。

具体而言，所述调整单元在所述第二分析单元确定对所述第一预设置信度X01调整条件下，根据以下调整系数Z对所述第一预设置信度X01进行调整，设定：

；

将调整后的第一预设相对差设置为W=X01×Z。

具体而言，本发明根据公式计算调整系数以精确调整第一预设置信度，保证调整的精确性的同时避免过度调整导致计算资源的浪费，从而提高车牌号的识别精确性。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于智能视觉的车牌识别系统，其特征在于，包括：

偏振相机，其用以采集车辆图像；

数据获取单元，其与所述偏振相机相连，用以获取所述偏振相机采集的车辆图像；

第一分析单元，其与所述数据获取单元相连，用以根据车辆图像中车牌图像被目标检测模型检测到的第一置信度确定对所述车牌图像的车牌号识别，或确定对车牌图像的预处理，以根据所述第一置信度与第一预设置信度的第一相对差确定对车牌图像进行预处理的预处理方式；

根据预处理完成的车牌图像被目标检测模型检测到的第二置信度确定对所述车牌图像的车牌号识别，或确定对所述车牌图像的判定；

根据所述第二置信度与第二预设置信度的第二相对差确定是否计算车牌图像质量评价值，以根据所述车牌图像质量评价值确定对所述车牌图像的车牌号识别；

第二分析单元，其与所述第一分析单元相连，用以根据卷积神经网络识别出车牌图像中所有字符的平均概率确定是否保留识别结果，或根据所述平均概率与预设平均概率的第三相对差确定对所述第一预设置信度的调整；

调整单元，其分别与所述第一分析单元以及第二分析单元相连，用以根据调整系数对所述第一预设置信度进行调整；

所述第一分析单元根据以下公式计算车牌图像质量评价值，设定：

；

其中，P表示车牌图像质量评价值，A1表示车牌图像中所有符合预设条件的字符的边界框的像素面积，A2表示车牌图像的像素面积，e表示自然常数。

2.根据权利要求1所述的基于智能视觉的车牌识别系统，其特征在于，所述第一分析单元基于车辆图像中检测出车牌图像的第一置信度大于第一预设置信度的比对结果确定对所述车牌图像进行车牌号识别，基于所述第一置信度小于等于第一预设置信度的比对结果确定对车牌图像进行预处理。

3.根据权利要求2所述的基于智能视觉的车牌识别系统，其特征在于，所述第一分析单元基于所述第一相对差小于等于第一预设相对差的比对结果确定对车牌图像进行中值滤波。

4.根据权利要求3所述的基于智能视觉的车牌识别系统，其特征在于，所述第一分析单元基于所述第一相对差大于第一预设相对差的比对结果确定采用SRResNet网络对车牌图像进行超分辨率重建。

5.根据权利要求4所述的基于智能视觉的车牌识别系统，其特征在于，所述第一分析单元基于车牌图像的第二置信度小于等于第二预设置信度的比对结果确定对所述车牌图像进行判定，基于车牌图像的第二置信度大于第二预设置信度的比对结果确定对所述车牌图像进行车牌号识别。

6.根据权利要求5所述的基于智能视觉的车牌识别系统，其特征在于，所述第一分析单元基于所述第二相对差小于等于第二预设相对差的比对结果确定计算车牌图像质量评价值。

7.根据权利要求6所述的基于智能视觉的车牌识别系统，其特征在于，所述第一分析单元基于所述车牌图像质量评价值大于预设车牌图像质量评价值的比对结果确定对所述车牌图像进行车牌号识别。

8.根据权利要求7所述的基于智能视觉的车牌识别系统，其特征在于，所述第二分析单元基于卷积神经网络识别出车牌图像中所有字符的平均概率大于预设平均概率的比对结果确定保留识别结果。

9.根据权利要求8所述的基于智能视觉的车牌识别系统，其特征在于，所述第二分析单元基于所述第三相对差小于等于第三预设相对差的比对结果确定对所述第一预设置信度进行调整；

所述调整单元根据以下调整系数对所述第一预设置信度进行调整，设定：

其中，Z表示所述调整系数，△G表示所述第三相对差。