CN115410190A - 车牌图像角点检测模型训练方法、车牌脱敏方法及其设备 - Google Patents

车牌图像角点检测模型训练方法、车牌脱敏方法及其设备 Download PDF

Info

Publication number
CN115410190A
CN115410190A CN202211363371.7A CN202211363371A CN115410190A CN 115410190 A CN115410190 A CN 115410190A CN 202211363371 A CN202211363371 A CN 202211363371A CN 115410190 A CN115410190 A CN 115410190A
Authority
CN
China
Prior art keywords
license plate
detection model
trained
corner
plate image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211363371.7A
Other languages
English (en)
Other versions
CN115410190B (zh
Inventor
苏沁宁
苏志锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202211363371.7A priority Critical patent/CN115410190B/zh
Publication of CN115410190A publication Critical patent/CN115410190A/zh
Application granted granted Critical
Publication of CN115410190B publication Critical patent/CN115410190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种车牌图像角点检测模型训练方法、车牌脱敏方法及其设备，车牌图像角点检测模型训练方法包括：获取待训练车牌图像集，其中待训练车牌图像集包括若干待训练车牌图像及其车牌角点的真实值；将待训练车牌图像集输入待训练的检测模型，以获取待训练的检测模型输出的待训练车牌图像的车牌角点的预测值；获取待训练车牌图像的车牌角点的真实值和预测值的第一对应关系；基于第一对应关系建立损失函数，并按照损失函数对待训练的检测模型进行训练，以得到最终的检测模型。通过上述方式，本申请提供的基于车牌角点的检测模型训练方法可以得到车牌图像角点检测模型，进而可以利用该检测模型进行检测，得到车牌图像的角点信息。

Description

车牌图像角点检测模型训练方法、车牌脱敏方法及其设备
技术领域
本申请涉及计算机视觉以及车牌识别技术领域，特别是一种车牌图像角点检测模型训练方法、车牌脱敏方法及其设备。
背景技术
随着科技的日益发展，在智能化技术的发展背景下，车辆的车牌检测识别技术也有了新的研究进展，是智能化技术交通管理的主要研究问题。但是目前的车牌识别技术主要是利用图像分割技术或目标检测技术，若是利用图像分割技术会存在图像分割模型内存占用大、分割耗时长、分割错误导致车牌识别错误等问题，若利用目标检测技术会存在由于矩形框与车牌不匹配、检测效果不佳等问题。
发明内容
本申请提供一种车牌角点检测模型训练方法、车牌脱敏方法及其设备，通过训练一个基于车牌图像角点的检测模型训练方法，可以得到一个车牌图像角点检测模型，进而可以利用该车牌图像角点检测模型高准确度地检测出车牌图像的角点信息，并基于检测出的角点信息进行车牌脱敏。
为了解决上述技术问题，本申请采用的一个技术方案是：提供一种基于车牌图像角点的检测模型训练方法，该方法包括：获取待训练车牌图像集，其中待训练车牌图像集包括若干待训练车牌图像及其车牌角点的真实值；将待训练车牌图像集输入待训练的检测模型，以获取待训练的检测模型输出的待训练车牌图像的车牌角点的预测值；获取待训练车牌图像的车牌角点的真实值和预测值的第一对应关系；基于第一对应关系建立损失函数，并按照损失函数对待训练的检测模型进行训练，以得到最终的检测模型。
其中，获取所训练车牌图像的车牌角点的真实值和预测值的第一对应关系，包括：获取真实值的第一维度信息和第二维度信息，以及预测值的第三维度信息和第四维度信息，其中第一维度信息和第三维度信息分别为与待训练车牌图像对应的目标框的中心点坐标、高度、宽度和置信度，第二维度信息和第四维度信息分别为与待训练车牌图像对应的目标框的左上角坐标、右上角坐标、左下角坐标和右下角坐标；基于真实值的第一维度信息和第二维度信息以及预测值的第三维度信息和第四维度信息，确定各待训练车牌图像的真实值和预测值的第一对应关系。
其中，损失函数为交并比损失函数、分类损失函数和关键点损失函数中的一种或多种的组合。
其中，按照损失函数对待训练的检测模型进行训练，以得到最终的检测模型，包括：固定待训练的检测模型中的一个或多个第一模型参数，按照损失函数对剩余的第二模型参数进行训练，得到第一检测模型；固定第一检测模型中的一个或多个第二模型参数，按照损失函数对第二模型参数进行训练，得到最终的检测模型。
其中，按照损失函数对第二模型参数进行训练，得到最终的检测模型，包括：按照损失函数对第二模型参数进行训练，得到第二检测模型；将真实值和预测值的第一对应关系中的第一维度信息和第三维度信息剔除，得到真实值和预测值的第二对应关系；利用第二对应关系，按照损失函数对第二检测模型的模型参数进行训练，得到最终的检测模型。
其中，检测模型包括依次连接的骨干层、瓶颈层以及预测层。
其中，按照损失函数对待训练的检测模型进行训练，以得到最终的检测模型，包括：固定骨干层以及瓶颈层的模型参数；按照损失函数对待训练的检测模型中预测层的模型参数进行训练，以得到最终的检测模型。
为了解决上述技术问题，本申请采用的另一技术方案是：提供一种车牌脱敏方法，该车牌脱敏方法包括：将待脱敏的车牌图像输入预先训练的检测模型；获取检测模型输出的车牌角点，并基于车牌角点计算透视变换关系；基于透视变换关系对车牌图像进行脱敏处理。
其中，检测模型通过上述的检测模型训练方法训练所得。
其中，基于车牌角点计算透视变换关系，包括：获取线性变换矩阵、透视变换矩阵和图像平移矩阵；将线性变换矩阵、透视变换矩阵和图像平移矩阵，进行组合得到最终透视变换矩阵；利用最终透视变换矩阵对车牌角点进行计算，得到车牌角点透视变换后的透视变换关系，透视变换关系包括透视变换后的车牌角点。
其中，基于透视变换关系对车牌图像进行脱敏处理，包括：基于透视变换后的车牌角点，将掩码图像覆盖到车牌图像上的相应位置，达到脱敏效果。
为了解决上述技术问题，本申请采用的另一技术方案是：提供一种车牌脱敏设备，该车牌脱敏设备包括存储器和处理器，其中，存储器中存储有程序数据，处理器用于执行程序数据以实现如上述的基于车牌图像角点的检测模型训练方法或车牌脱敏方法。
为了解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序数据，该程序数据在被处理器执行时用于实现如上述基于车牌图像角点的检测模型训练方法或车牌脱敏方法。
本申请的有益效果是：区别于现有技术，本申请提供的基于车牌图像角点的检测模型的训练方法通过获取待训练车牌图像的真实角点和预测角点的对应关系，进一步基于该对应关系建立损失函数，并基于损失函数进行车牌图像角点检测模型训练，得到最终的基于车牌图像角点的检测模型训练模型。通过上述方式，可以得到车牌角点的检测模型，进而利用该车牌图像角点检测模型对车牌图像进行检测，得到车牌图像角点信息，并基于该车牌图像角点信息对车牌图像进行脱敏处理。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的车牌图像角点检测模型训练方法第一实施例的流程示意图；
图2是本申请提供的预测输出结构第一实施例的结构示意图；
图3是图1所示车牌图像角点检测模型训练方法的步骤13一实施例的流程示意图；
图4是图1所示车牌图像角点检测模型训练方法的步骤14一实施例的流程示意图；
图5是本申请提供的预测输出结构第二实施例的结构示意图；
图6是本申请提供的车牌脱敏方法第一实施例的流程示意图；
图7是图6所示车牌脱敏方法的步骤62一实施例的流程示意图；
图8是本申请提供的车牌脱敏设备一实施例的结构示意图；
图9是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参阅图1，图1是本申请提供的车牌图像角点检测模型训练方法第一实施例的流程示意图，该方法包括：
步骤11：获取待训练车牌图像集，其中待训练车牌图像集包括若干待训练车牌图像及其车牌角点的真实值。
在一些实施例中，通过互联网图像库获取待训练车牌图像，如CCPD（Chinese CityParking Dataset，中国城市车辆停车数据集），CCPD是一个大型的、多样化的、经过标注的中国城市车牌开源数据集，其包含了正常的车牌图像（二十几万张）、光线较暗或较亮的车牌图像（两万多张）、雨天或雪天或雾天的车牌图像（一万多张）、水平倾斜和/或垂直倾斜的车牌图像（两万多张）等，满足了模型训练的需求，利用该车牌数据集进行模型训练，可以得到一个能更好适应多场景的模型，提高模型的鲁棒性。
在其他实施例中，可以通过静态和动态两种方式采集待训练车牌图像，其中，静态指的是依靠地感线圈、红外或雷达等装置，当有车辆通过时这些装置时相机会接到一个触发信号，从而立刻抓拍一张图像；动态采集指的是在实时视频模式下进行，不需要其他感应装置给相机发送任何触发信号，完全依靠算法从实时的视频流图像中采集车辆信息。
步骤12：将待训练车牌图像集输入待训练的检测模型，以获取待训练的检测模型输出的待训练车牌图像的车牌角点的预测值。
在一些实施例中，检测模型输出的车牌角点的预测值是对应车牌图像的目标框，通过该目标框可以获取目标框左上角、右上角、左下角和右下角的坐标信息。
在一些实施例中，目标框的中心点坐标为（xc，yc），高度是h，宽度是w，置信度是a，目标框的左上角坐标是（xlu，ylu），右上角坐标是（xru，yru），左下角坐标是（xlb，ylb），右下角坐标是（xrb，yrb）。
在一些实施例中，参阅图2，图2是本申请提供的预测输出结构第一实施例的结构示意图，该预测输出结构20包括三个预测输出层，每一个预测层对应一个Anchor（锚），即这三个预测分别是Anchor1预测输出层201、Anchor2预测输出层202和Anchor3预测输出层203，检测模型输出的车牌角点的预测值可以通过预测输出结构20得到。
值得注意的是，Anchor1预测输出层201、Anchor2预测输出层202和Anchor3预测输出层203都是单层预测输出层。
具体地，每一单层预测输出层中都包含4维向量、8维向量和1维向量。其中，4维向量指的是预测值中的目标框的中心点坐标、目标框的高度和目标框的宽度；8维向量指的是预测值中的目标框左上角、左下角、右上角和右下角的坐标信息；1维向量指的是置信度。
另外，每一单层预测输出层的高是y、宽是x（其中，x、y都是大于0的自然数，且x和y可以相同）。在一实施例中，高度和宽度所对应的数值表示分辨率，而预测输出层中的点对应原图像（如原始车牌图像）的像素位置，预测输出层的深度表示原图像对应的位置信息。
在一些实施例中，使用YOLOv5算法对待训练车牌图像进行目标检测，可以得到待训练车牌图像的目标框。
步骤13：获取待训练车牌图像的车牌角点的真实值和预测值的第一对应关系。
在一些实施例中，参阅图3，步骤13可以是以下流程：
步骤31：获取真实值的第一维度信息和第二维度信息，以及预测值的第三维度信息和第四维度信息，其中第一维度信息和第三维度信息分别为与待训练车牌图像对应的目标框的中心点坐标、高度、宽度和置信度，第二维度信息和第四维度信息分别为与待训练车牌图像对应的目标框的左上角坐标、右上角坐标、左下角坐标和右下角坐标。
在一些实施例中，第一维度信息和第二维度信息属于真实值，第三维度信息和第四维度信息属于预测值。其中，真实值的目标框的中心点坐标是（xc1，yc1），高度是h1，宽度是w1，置信度是a1，左上角坐标是（xlu1，ylu1），右上角坐标是（xru1，yru1），左下角坐标是（xlb1，ylb1），右下角坐标是（xrb1，yrb1）；预测值的目标框的中心坐标是（xc2，yc2），高度是h2，宽度是w2，置信度是a2，左上角坐标是（xlu2，ylu2），右上角坐标是（xru2，yru2），左下角坐标是（xlb2，ylb2），右下角坐标是（xrb2，yrb2）。
步骤32：基于真实值的第一维度信息和第二维度信息以及预测值的第三维度信息和第四维度信息，确定各待训练车牌图像的真实值和预测值的第一对应关系。
在一些实施例中，检测模型包括依次连接的骨干层（Backbone）、瓶颈层（Neck）以及预测层。其中，骨干层用于对待训练车牌图像进行特征提取，得到特征图，接着进入瓶颈层，瓶颈层中包含Concat层，利用Concat层对两个及以上的特征图按照在channel（通道）或num（数量）维度上进行拼接，并将不同分辨率的特征输入至预测层，预测层由不带BN（BatchNormalization）的单卷积层构成，待训练车牌图像经过预测层可以得到三个尺度（分辨率不同）的特征和特征深度c。
在一些实施例中，利用YOLOv5算法检测得到的待训练车牌图像的目标框，以及该目标框的高度h2和宽度w2基于Anchor（锚）的数量为基础进行回归。
在一些实施例中，待训练车牌图像的特征深度的计算公式为：c=(5+8)*anchor_num。
其中，5指的是第三维度信息，8指的是第四维度信息，Anchor的数量是anchor_num。
具体地，YOLOv5采用的匹配规则是：计算bbox（目标检测框）和当前层Anchor的宽高比，若宽高比大于设定的阈值，则该Anchor与bbox不匹配，丢弃该bbox，认为其为负样本；剩下的bbox，计算它落在哪个网格（利用特征提取网络对待训练车牌图像进行特征提取，得到若干个大小一致的特征图/网格图）内并寻找相邻的两个网格，认为这三个网格都可能是来预测该bbox的，基于此，一个bbox至少有3个Anchor进行匹配。
在一些实施例中，anchor_num是3，即Anchor1、Anchor2和Anchor3。
基于不同的Anchor，通过以下方式获取各待训练车牌图像的真实值和预测值的第一对应关系（图未示）：
S1：获取某一Anchor的高度anchor_h和宽度anchor_w，以得到（anchor_w，anchor_h）。
S2：获取真实值的中心点坐标（xc1，yc1）与预测值的中心点坐标（xc2，yc2）的偏移量xc_o和yc_o，以得到待训练车牌图像中心点坐标的真实值与预测值的第一对应关系为xc1=xc2 +σ(xc_o)和yc1= yc2 +σ(yc_o)。
S3：获取真实值与预测值之间的目标框的宽度、高度的第一对应关系，为w1=anchor_w*expw2和h1=anchor_h*exph2。
S4：获取真实值和预测值的目标框的左上角坐标、右上角坐标、左下角坐标和右下角坐标的第一对应关系，为xlu1 =anchor_w*(σ(xlu2)-0.5)*4+ xc2、ylu1 =anchor_h*(σ(ylu2)-0.5)*4+ yc2、xru1 =anchor_w*(σ(xru2)-0.5)*4+ xc2、yru1 =anchor_h*(σ(yru2)-0.5)*4+ yc2、xlb1 =anchor_w*(σ(xlb2)-0.5)*4+ xc2、ylb1 =anchor_h*(σ(ylb2)-0.5)*4+yc2、xrb1 =anchor_w*(σ(xrb2)-0.5)*4+ xc2、yrb1 =anchor_h*(σ(yrb2)-0.5)*4+ yc2。
其中，σ是均方差。
步骤14：基于第一对应关系建立损失函数，并按照损失函数对待训练的检测模型进行训练，以得到最终的检测模型。
在一些实施例中，损失函数为交并比损失函数、分类损失函数和关键点损失函数中的一种或多种的组合。在一些实施例中，检测模型包括依次连接的骨干层、瓶颈层以及预测层。通过固定骨干层以及瓶颈层的模型参数，接着按照损失函数对待训练的检测模型中预测层的模型参数进行训练，可以得到最终的检测模型。
在一些实施例中，参阅图4，步骤14可以是以下流程：
步骤41：固定待训练的检测模型中的一个或多个第一模型参数，按照损失函数对剩余的第二模型参数进行训练，得到第一检测模型。
在一些实施例中，交并比（Intersection over Union，IoU）损失函数的计算公式是：
Figure DEST_PATH_IMAGE001
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
Figure DEST_PATH_IMAGE004
在一些实施例中，分类损失函数的计算公式是：
Figure DEST_PATH_IMAGE005
其中，
Figure DEST_PATH_IMAGE006
是一个one-hot向量，表示当前输出值为0或1，
Figure DEST_PATH_IMAGE007
表示输出真实值的概率，
Figure DEST_PATH_IMAGE008
表示目标类。
在一些实施例中，关键点损失函数的计算公式是：
Figure DEST_PATH_IMAGE009
其中，x1表示真实值中的目标框左上角、左下角、右上角、右下角的横坐标信息，x2表示预测值中的目标框左上角、左下角、右上角、右下角的横坐标信息。
此时，总的损失函数为：
Figure DEST_PATH_IMAGE010
其中，
Figure DEST_PATH_IMAGE011
、
Figure DEST_PATH_IMAGE012
和
Figure DEST_PATH_IMAGE013
都是权重。
在一些实施例中，固定
Figure 532589DEST_PATH_IMAGE011
和
Figure 980888DEST_PATH_IMAGE013
，
Figure 167150DEST_PATH_IMAGE012
不断变化，在
Figure 93518DEST_PATH_IMAGE012
稳定时确定
Figure 596305DEST_PATH_IMAGE012
的取值；固定
Figure 559713DEST_PATH_IMAGE011
和
Figure 357905DEST_PATH_IMAGE012
，
Figure 212597DEST_PATH_IMAGE013
不断变化，在
Figure 412635DEST_PATH_IMAGE013
稳定时确定
Figure 812523DEST_PATH_IMAGE013
的取值；固定
Figure 98011DEST_PATH_IMAGE012
和
Figure 992280DEST_PATH_IMAGE013
，
Figure 46823DEST_PATH_IMAGE011
不断变化，在
Figure 679930DEST_PATH_IMAGE011
稳定时确定
Figure 577348DEST_PATH_IMAGE011
的取值。如，
Figure 383630DEST_PATH_IMAGE011
=0.25、
Figure 433625DEST_PATH_IMAGE012
=0.63、
Figure 299950DEST_PATH_IMAGE013
=0.12。
在一些实施例中，利用梯度下降算法减小总的损失函数，接着通过反向传播更新参数（权重）自动学习，以得到第一检测模型。
步骤42：固定第一检测模型中的一个或多个第二模型参数，按照损失函数对第二模型参数进行训练，得到最终的检测模型。
在一些实施例中，步骤42可以是以下流程（图未示）：
S1：按照损失函数对第二模型参数进行训练，得到第二检测模型。
S2：将真实值和预测值的第一对应关系中的第一维度信息和第三维度信息剔除，得到真实值和预测值的第二对应关系。
S3：利用第二对应关系，按照损失函数对第二检测模型的模型参数进行训练，得到最终的检测模型。
在一些实施例中，对模型进行剪枝处理，即将预测层的预测值中的目标框中心点坐标、宽度和高度剔除，以减少车牌图像角点检测模型的冗余，得到的交并比损失函数、分类损失函数和关键点损失函数的计算公式分别为：
Figure DEST_PATH_IMAGE014
Figure DEST_PATH_IMAGE015
综上，总的损失函数为：
Figure DEST_PATH_IMAGE016
其中，
Figure DEST_PATH_IMAGE017
和
Figure DEST_PATH_IMAGE018
都是权重。
在一些实施例中，利用网络搜索策略，在小数集上确定
Figure 576342DEST_PATH_IMAGE017
和
Figure 61681DEST_PATH_IMAGE018
。
在一些实施例中，固定
Figure DEST_PATH_IMAGE019
，
Figure DEST_PATH_IMAGE020
不断变化，在
Figure 779232DEST_PATH_IMAGE020
稳定时确定
Figure 754142DEST_PATH_IMAGE020
的取值，固定
Figure 360572DEST_PATH_IMAGE020
，
Figure 774236DEST_PATH_IMAGE019
不断 变化，在
Figure 533245DEST_PATH_IMAGE019
稳定时确定
Figure 6951DEST_PATH_IMAGE019
的取值。
在一些实施例中，利用梯度下降算法减小总的损失函数，接着通过反向传播更新参数（权重）自动学习，以得到第二检测模型。
在一些实施例中，参阅图5，图5是本申请提供的预测输出结构第二实施例的结构示意图，该预测输出结构50包括三个预测输出层，每一个预测层对应一个Anchor（锚），即这三个预测分别是Anchor1预测输出层501、Anchor2预测输出层502和Anchor3预测输出层503，检测模型输出的车牌角点的预测值可以通过预测输出结构50得到。
值得注意的是，Anchor1预测输出层501、Anchor2预测输出层502和Anchor3预测输出层503都是单层预测输出层。
具体地，每一单层预测输出层中都包含8维向量和1维向量。其中， 8维向量指的是预测值中的目标框左上角、左下角、右上角和右下角的坐标信息；1维向量指的是置信度。
另外，每一单层预测输出层的高是y、宽是x（其中，x、y都是大于0的自然数，且x和y可以相同）。在一实施例中，高度和宽度所对应的数值都是分辨率，而预测输出层中的点对应原图像（如原始车牌图像）的像素位置，预测输出层的深度表示原图像对应的位置信息。
区别于现有技术，本申请提供的基于车牌图像角点的检测模型训练方法通过获取待训练车牌图像真实的角点信息和预测的角点信息的对应关系，进而基于该对应关系利用损失函数对待训练的检测模型进行训练，以得到最终的车牌图像角点检测模型。通过上述方式，利用损失函数进行训练可以减少车牌图像角点检测误差，进而可以得到一个高准确度的车牌图像角点检测模型。
参阅图6，图6是本申请提供的车牌脱敏方法第一实施例的流程示意图，该方法包括：
步骤61：将待脱敏的车牌图像输入预先训练的检测模型。
具体地，预先训练的检测模型可以通过上述实施例获得。
步骤62：获取检测模型输出的车牌角点，并基于车牌角点计算透视变换关系。
在一些实施例中，透视变换关系的公式是：
Figure DEST_PATH_IMAGE021
其中，
Figure DEST_PATH_IMAGE022
为变换后的坐标，
Figure DEST_PATH_IMAGE023
为原始坐标，
Figure DEST_PATH_IMAGE024
为线性变换矩阵，
Figure DEST_PATH_IMAGE025
为透视变换矩阵，
Figure DEST_PATH_IMAGE026
为图像平移矩阵，s是一个与V2×1相 关的缩放因子，一般情况下会通过归一化使得s=1。
在一些实施例中，参阅图7，步骤62可以包括以下流程：
步骤71：获取线性变换矩阵、透视变换矩阵和图像平移矩阵。
步骤72：将线性变换矩阵、透视变换矩阵和图像平移矩阵，进行组合得到最终透视变换矩阵。
具体地，透视变换矩阵是
Figure DEST_PATH_IMAGE027
。
步骤73：利用最终透视变换矩阵对车牌角点进行计算，得到车牌角点透视变换后的透视变换关系，透视变换关系包括透视变换后的车牌角点。
步骤63：基于透视变换关系对所述车牌图像进行脱敏处理。
在一些实施例中，基于透视变换后的车牌角点，将掩码图像覆盖到车牌图像上的相应位置，达到脱敏效果。
区别于现有技术，本申请提供的车牌脱敏方法利用预先训练好的车牌图像角点检测模型进行车牌脱敏，因车牌图像角点检测模型可以实现高准确度的车牌检测，进而进行车牌脱敏可以避免对图像覆盖面积过大的问题，以及解决了视觉效果差的问题。
参阅图8，图8是本申请提供的车牌脱敏设备一实施例的结构示意图，该车牌脱敏设备80包括存储器801和处理器802，存储器801用于存储程序数据，处理器802用于执行程序数据以实现如上述任一实施例的车牌图像角点检测模型训练方法或车牌脱敏方法，这里不再赘述。
参阅图9，图9是本申请提供的计算机可读存储介质一实施例的结构示意图，该计算机可读存储介质90存储有程序数据901，程序数据901在被处理器执行时用于实现如上述任一实施例的车牌图像角点检测模型训练方法或车牌脱敏方法，这里不再赘述。
综上所述，本申请可以通过训练得到基于车牌图像角点的检测模型，以及通过获取的基于车牌角点的检测模型获取车牌图像的角点信息，进而基于获取的角点信息进行车牌脱敏操作。
本申请涉及的处理器可以称为CPU（Central Processing Unit，中央处理单元），可能是一种集成电路芯片，还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请使用的存储介质包括U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种基于车牌图像角点的检测模型训练方法，其特征在于，所述检测模型训练方法包括：
获取待训练车牌图像集，其中，所述待训练车牌图像集包括若干待训练车牌图像及其车牌角点的真实值；
将所述待训练车牌图像集输入待训练的检测模型，以获取所述待训练的检测模型输出的所述待训练车牌图像的车牌角点的预测值；
获取所述待训练车牌图像的车牌角点的真实值和预测值的第一对应关系；
基于所述第一对应关系建立损失函数，并按照所述损失函数对所述待训练的检测模型进行训练，以得到最终的检测模型。
2.根据权利要求1所述的方法，其特征在于，
所述获取所述待训练车牌图像的车牌角点的真实值和预测值的第一对应关系，包括：
获取所述真实值的第一维度信息和第二维度信息，以及所述预测值的第三维度信息和第四维度信息，其中所述第一维度信息和所述第三维度信息分别为与所述待训练车牌图像对应的目标框的中心点坐标、高度、宽度和置信度，所述第二维度信息和第四维度信息分别为与所述待训练车牌图像对应的目标框的左上角坐标、右上角坐标、左下角坐标和右下角坐标；
基于所述真实值的第一维度信息和第二维度信息以及所述预测值的第三维度信息和第四维度信息，确定各所述待训练车牌图像的所述真实值和所述预测值的第一对应关系。
3.根据权利要求2所述的方法，其特征在于，
所述损失函数为交并比损失函数、分类损失函数和关键点损失函数中的一种或多种的组合。
4.根据权利要求2或3所述的方法，其特征在于，
所述按照所述损失函数对所述待训练的检测模型进行训练，以得到最终的检测模型，包括：
固定所述待训练的检测模型中的一个或多个第一模型参数，按照所述损失函数对剩余的第二模型参数进行训练，得到第一检测模型；
固定所述第一检测模型中的一个或多个第二模型参数，按照所述损失函数对所述第二模型参数进行训练，得到最终的检测模型。
5.根据权利要求4所述的方法，其特征在于，
所述按照所述损失函数对所述第二模型参数进行训练，得到最终的检测模型，包括：
按照所述损失函数对所述第二模型参数进行训练，得到第二检测模型；
将所述真实值和所述预测值的第一对应关系中的第一维度信息和第三维度信息剔除，得到所述真实值和所述预测值的第二对应关系；
利用所述第二对应关系，按照所述损失函数对所述第二检测模型的模型参数进行训练，得到最终的检测模型。
6.根据权利要求1所述的方法，其特征在于，
所述检测模型包括依次连接的骨干层、瓶颈层以及预测层；
所述按照所述损失函数对所述待训练的检测模型进行训练，以得到最终的检测模型，包括：
固定所述骨干层以及所述瓶颈层的模型参数；
按照所述损失函数对所述待训练的检测模型中预测层的模型参数进行训练，以得到最终的检测模型。
7.一种车牌脱敏方法，其特征在于，所述车牌脱敏方法包括：
将待脱敏的车牌图像输入预先训练的检测模型；
获取所述检测模型输出的车牌角点，并基于所述车牌角点计算透视变换关系；
基于所述透视变换关系对所述车牌图像进行脱敏处理；
其中，所述检测模型通过权利要求1-6任一项所述的检测模型训练方法训练所得。
8.根据权利要求7所述的方法，其特征在于，
所述基于所述车牌角点计算透视变换关系，包括：
获取线性变换矩阵、透视变换矩阵和图像平移矩阵；
将所述线性变换矩阵、所述透视变换矩阵和所述图像平移矩阵，进行组合得到最终透视变换矩阵；
利用所述最终透视变换矩阵对所述车牌角点进行计算，得到所述车牌角点透视变换后的透视变换关系，所述透视变换关系包括透视变换后的车牌角点。
9.根据权利要求8所述的方法，其特征在于，
所述基于所述透视变换关系对所述车牌图像进行脱敏处理，包括：
基于所述透视变换后的车牌角点，将掩码图像覆盖到所述车牌图像上的相应位置，达到脱敏效果。
10.一种车牌脱敏设备，其特征在于，所述车牌脱敏设备包括存储器和处理器，所述存储器存储有程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-6任一项所述基于车牌图像角点的检测模型训练的方法或权利要求7-9任一项所述的车牌脱敏方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序数据，所述程序数据在被处理器执行时用于实现如权利要求1-6任一项所述基于车牌图像角点的检测模型训练的方法或权利要求7-9任一项所述的车牌脱敏方法。
CN202211363371.7A 2022-11-02 2022-11-02 车牌图像角点检测模型训练方法、车牌脱敏方法及其设备 Active CN115410190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211363371.7A CN115410190B (zh) 2022-11-02 2022-11-02 车牌图像角点检测模型训练方法、车牌脱敏方法及其设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211363371.7A CN115410190B (zh) 2022-11-02 2022-11-02 车牌图像角点检测模型训练方法、车牌脱敏方法及其设备

Publications (2)

Publication Number Publication Date
CN115410190A true CN115410190A (zh) 2022-11-29
CN115410190B CN115410190B (zh) 2023-04-14

Family

ID=84169133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211363371.7A Active CN115410190B (zh) 2022-11-02 2022-11-02 车牌图像角点检测模型训练方法、车牌脱敏方法及其设备

Country Status (1)

Country Link
CN (1) CN115410190B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347853A (zh) * 2020-10-10 2021-02-09 鹏城实验室 一种基于视频的车牌数据脱敏方法、存储介质及服务器
WO2021189906A1 (zh) * 2020-10-20 2021-09-30 平安科技（深圳）有限公司 基于联邦学习的目标检测方法、装置、设备及存储介质
CN113947766A (zh) * 2021-12-21 2022-01-18 之江实验室 一种基于卷积神经网络的实时车牌检测方法
KR20220099672A (ko) * 2021-01-07 2022-07-14 주식회사 엠엘브이 차량 번호판 인식 시스템
CN114782770A (zh) * 2022-03-15 2022-07-22 合肥科大立安安全技术有限责任公司 一种基于深度学习的车牌检测与车牌识别方法及系统
CN114842035A (zh) * 2022-04-24 2022-08-02 平安国际融资租赁有限公司 基于深度学习的车牌脱敏方法、装置、设备及存储介质
CN115270184A (zh) * 2022-08-01 2022-11-01 零束科技有限公司 视频脱敏、车辆的视频脱敏方法、车载处理系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347853A (zh) * 2020-10-10 2021-02-09 鹏城实验室 一种基于视频的车牌数据脱敏方法、存储介质及服务器
WO2021189906A1 (zh) * 2020-10-20 2021-09-30 平安科技（深圳）有限公司 基于联邦学习的目标检测方法、装置、设备及存储介质
KR20220099672A (ko) * 2021-01-07 2022-07-14 주식회사 엠엘브이 차량 번호판 인식 시스템
CN113947766A (zh) * 2021-12-21 2022-01-18 之江实验室 一种基于卷积神经网络的实时车牌检测方法
CN114782770A (zh) * 2022-03-15 2022-07-22 合肥科大立安安全技术有限责任公司 一种基于深度学习的车牌检测与车牌识别方法及系统
CN114842035A (zh) * 2022-04-24 2022-08-02 平安国际融资租赁有限公司 基于深度学习的车牌脱敏方法、装置、设备及存储介质
CN115270184A (zh) * 2022-08-01 2022-11-01 零束科技有限公司 视频脱敏、车辆的视频脱敏方法、车载处理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈强等: "基于深度学习的车牌识别系统开发研究", 《现代计算机》 *

Also Published As

Publication number Publication date
CN115410190B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
Zhao et al. Building outline delineation: From aerial images to polygons with an improved end-to-end learning framework
Liu et al. Multiscale U-shaped CNN building instance extraction framework with edge constraint for high-spatial-resolution remote sensing imagery
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN109960742B (zh) 局部信息的搜索方法及装置
CN111369581A (zh) 图像处理方法、装置、设备及存储介质
CN111709416B (zh) 车牌定位方法、装置、系统及存储介质
CN112183414A (zh) 一种基于混合空洞卷积的弱监督遥感目标检测方法
CN112418212B (zh) 一种基于EIoU改进的YOLOv3算法
CN113052170B (zh) 一种无约束场景下的小目标车牌识别方法
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN113901972A (zh) 遥感图像建筑物的检测方法、装置、设备及存储介质
CN113313094B (zh) 一种基于卷积神经网络的车载图像目标检测方法和系统
CN116453121B (zh) 一种车道线识别模型的训练方法及装置
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
Sofla et al. Road extraction from satellite and aerial image using SE-Unet
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
CN115661611A (zh) 一种基于改进Yolov5网络的红外小目标检测方法
CN114283326A (zh) 一种结合局部感知和高阶特征重构的水下目标重识别方法
Zhao et al. Building outline delineation: From very high resolution remote sensing imagery to polygons with an improved end-to-end learning framework
CN112365508A (zh) 基于视觉注意与残差网络的sar遥感图像水域分割方法
CN115346206B (zh) 基于改进超分辨的深度卷积特征识别的车牌检测方法
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN115410190B (zh) 车牌图像角点检测模型训练方法、车牌脱敏方法及其设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant