CN115050016B - 车牌检测方法、装置、设备终端和可读存储介质 - Google Patents

车牌检测方法、装置、设备终端和可读存储介质 Download PDF

Info

Publication number
CN115050016B
CN115050016B CN202210975997.7A CN202210975997A CN115050016B CN 115050016 B CN115050016 B CN 115050016B CN 202210975997 A CN202210975997 A CN 202210975997A CN 115050016 B CN115050016 B CN 115050016B
Authority
CN
China
Prior art keywords
image
feature map
light source
license plate
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210975997.7A
Other languages
English (en)
Other versions
CN115050016A (zh
Inventor
王子镜
周有喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Core Computing Integrated Shenzhen Technology Co ltd
Original Assignee
Shenzhen Aishen Yingtong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Aishen Yingtong Information Technology Co Ltd filed Critical Shenzhen Aishen Yingtong Information Technology Co Ltd
Priority to CN202210975997.7A priority Critical patent/CN115050016B/zh
Publication of CN115050016A publication Critical patent/CN115050016A/zh
Application granted granted Critical
Publication of CN115050016B publication Critical patent/CN115050016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19107—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及车牌检测方法、装置、设备终端和可读存储介质，该车牌检测方法通过获取车牌的可见光图像和红外图像，将可见光图像转换为对应的灰度图像，获取灰度图像中的车辆光源强度分布图，将可见光图像和红外图像分别进行特征提取，得到第一特征图以及第二特征图，根据车辆光源强度分布图、第一特征图和第二特征图，计算第一特征图和第二特征图之间的差异程度值，根据差异程度值，分别计算经过先验知识后的第一特征图和第二特征图，将可见光图像、经过先验知识后的第一特征图和第二特征图进行特征融合，得到融合后的输出图像，将融合后的输出图像输入到预设车牌识别模型进行识别，以得到对应的车牌检测结果，提高了车牌检测的准确度。

Description

车牌检测方法、装置、设备终端和可读存储介质
技术领域
本申请涉及图像处理领域，具体涉及一种车牌检测方法、装置、设备终端和可读存储介质。
背景技术
深度学习十分依赖从原图中提取图像的梯度信息，在极暗光环境下的强噪声使得直接从原图中提取清晰的梯度图变得十分困难，此外，单纯从可见光图像中提取信息亦不充足。
其中，对于车牌检测而言，在光照条件较差的情况下，可见光图像中很多信息会失真，而红外图像的波长比较长，可以获得更多的细节信息，因此就可以利用红外图像来引导可见光图像的增强以对车牌进行识别检测。
然而，在上述引导过程中，若仅仅将红外图像与可见光图像进行直接拼接以对车牌进行识别检测，在实际应用中，车牌的检测准确度并未得到大幅提升。
发明内容
鉴于此，本申请提供一种车牌检测方法、装置、设备终端和可读存储介质，在将红外图像与可见光图像结合以对车牌进行识检测的过程中，上述车牌检测方法能够使得车牌的检测准确度大幅提升。
一种车牌检测方法，包括：
获取车牌的可见光图像和红外图像，将可见光图像转换为对应的灰度图像；
获取灰度图像中的车辆光源强度分布图；
将可见光图像和红外图像分别进行特征提取，得到可见光图像对应的第一特征图以及红外图像对应的第二特征图；
根据车辆光源强度分布图、第一特征图和第二特征图，利用先验公式计算第一特征图和第二特征图之间的差异程度值；
根据差异程度值，分别计算经过先验知识后的第一特征图和第二特征图；
将可见光图像、经过先验知识后的第一特征图和第二特征图进行特征融合，得到融合后的输出图像；
将融合后的输出图像输入到预设车牌识别模型进行识别，以得到对应的车牌检测结果。
在一个实施例中，获取灰度图像中的车辆光源强度分布图的步骤包括：
采用直方图均衡化对灰度图像进行图像增强，得到增强后的灰度图像；
确定增强后的灰度图像中的光源数量与位置信息，并得到各个光源对应的损失函数值；
确定各个光源中的车辆光源，并根据各个光源对应的损失函数值，确定所述车辆光源对应的车辆光源位置区域；
将增强后的灰度图像进行归一化处理；
根据归一化处理后的灰度图像以及车辆光源位置区域，得到对应的车辆光源强度分布图。
在一个实施例中，确定增强后的灰度图像中的光源数量与位置信息，并得到各个光源对应的损失函数值的步骤包括：
获取增强后的灰度图像中灰度值大于或等于预设灰度阈值的各个目标点；
构建包含各个目标点各自所对应的横坐标值、纵坐标值和灰度值的三维数组；
根据三维数组，采用三维K-Means聚类公式确定增强后的灰度图像中的光源数量与位置信息，并得到各个光源对应的损失函数值。
在一个实施例中，根据归一化处理后的灰度图像以及车辆光源位置区域，得到对应的车辆光源强度分布图的步骤包括：
在归一化处理后的灰度图像中，降低车辆光源位置区域之外的各个点的灰度值权重，以得到对应的车辆光源强度分布图。
在一个实施例中，根据车辆光源强度分布图、第一特征图和第二特征图，利用先验公式计算第一特征图和第二特征图之间的差异程度值的步骤中对应的计算公式为：
Figure 165546DEST_PATH_IMAGE001
P(x,y)表示第一特征图和第二特征图之间在同一像素点（x，y）的差异程度值，CBGR表示第一特征图下（x，y）点处的像素点值，CNIR表示第二特征图下（x，y）点处的像素点值，CGRAY表示车辆光源强度分布图下（x，y）点处的像素点值，
Figure 636979DEST_PATH_IMAGE002
表示平衡参数因子。
在一个实施例中，将可见光图像、经过先验知识后的第一特征图和第二特征图进行特征融合，得到融合后的输出图像的步骤包括：
将可见光图像、经过先验知识后的第一特征图和第二特征图输入至初始特征融合网络进行融合，输出初步融合后的图像；
根据初步融合后的图像进行损失函数计算，获得优化梯度，进行权重和偏置更新，直至损失函数收敛以生成融合后的输出图像。
在一个实施例中，损失函数为：
Figure DEST_PATH_IMAGE003
Loss表示损失函数值，Pin表示输入的可见光图像，Pout表示融合后的输出图像，P(x,y)表示第一特征图和第二特征图之间在同一像素点（x，y）的差异程度值，
Figure 347315DEST_PATH_IMAGE002
表示平衡参数因子。
此外，还提供一种车牌检测装置，包括：
图像获取单元，用于获取车牌的可见光图像和红外图像，将可见光图像转换为对应的灰度图像；
分布图生成单元，用于获取灰度图像中的车辆光源强度分布图；
特征图生成单元，用于将可见光图像和红外图像分别进行特征提取，得到可见光图像对应的第一特征图以及红外图像对应的第二特征图；
差异计算单元，用于根据车辆光源强度分布图、第一特征图和第二特征图，利用先验公式计算第一特征图和第二特征图之间的差异程度值；
先验知识处理单元，用于根据差异程度值，分别计算经过先验知识后的第一特征图和第二特征图；
图像融合单元，用于将可见光图像、经过先验知识后的第一特征图和第二特征图进行特征融合，得到融合后的输出图像；
车牌检测单元，用于将融合后的输出图像输入到预设车牌识别模型进行识别，以得到对应的车牌检测结果。
此外，还提供一种设备终端，设备终端包括处理器和存储器，存储器用于存储计算机程序，处理器运行计算机程序以使设备终端执行上述车牌检测方法。
此外，还提供一种可读存储介质，可读存储介质存储有计算机程序，计算机程序在被处理器执行时上述车牌检测方法。
上述车牌检测方法，通过获取车牌的可见光图像和红外图像，将可见光图像转换为对应的灰度图像，获取灰度图像中的车辆光源强度分布图，将可见光图像和红外图像分别进行特征提取，得到可见光图像对应的第一特征图以及红外图像对应的第二特征图，根据车辆光源强度分布图、第一特征图和第二特征图，利用先验公式计算第一特征图和第二特征图之间的差异程度值，根据差异程度值，分别计算经过先验知识后的第一特征图和第二特征图，将可见光图像、经过先验知识后的第一特征图和第二特征图进行特征融合，得到融合后的输出图像，将融合后的输出图像输入到预设车牌识别模型进行识别，以得到对应的车牌检测结果，上述车牌检测方法，在得到第一特征图、第二特征图和车辆光源强度分布图的基础上，通过引入先验公式，计算第一特征图和第二特征图之间的差异程度值，通过计算差异程度值，能够区分出可见光图像和红外图像之间的差异程度，进而能够解决可见光图像和红外图像之间融合时结构不一致的问题，在利用差异程度值的基础上，分别计算经过先验知识后的第一特征图和第二特征图，能够正确的引导整个处理模型学习可见光图像和红外图像之间的差别信息，进而能够从低信噪比的可见光图像中提取得到清晰的结构信息，然后进一步将可见光图像、经过先验知识后的第一特征图和第二特征图进行特征融合，得到融合后的输出图像，最后对融合后的输出图像进行识别，上述车牌检测方法能够更好的利用红外图像来引导可见光图像的增强，进而有效的从整体上提升了车牌检测准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种车牌检测方法的流程示意图；
图2是本申请实施例提供的一种得到车辆光源强度分布图的方法流程示意图；
图3是本申请实施例提供的一种确定光源数量、位置信息以及得到各个光源对应的损失函数值的方法流程示意图；
图4是本申请实施例提供的一种生成融合后的输出图像的方法流程示意图；
图5是本申请实施例提供的一种车辆检测装置的结构框图。
具体实施方式
下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例。在不冲突的情况下，下述各个实施例及其技术特征可以相互组合。
如图1所示，提供一种车牌检测方法，该车牌检测方法包括：
步骤S110，获取车牌的可见光图像和红外图像，将可见光图像转换为对应的灰度图像。
其中，通过车辆检测模型可检测出车辆信息框以及车牌信息框，然后根据车辆与车牌的位置信息判断车辆是否有车牌，当存在车牌时，分别通过可见光摄像头获取车牌的可见光图像，通过红外摄像头获取车牌的红外图像，并进一步将可见光图像转换为对应的红外图像。
步骤S120，获取灰度图像中的车辆光源强度分布图。
灰度图像中的光源在后续处理过程中，由于亮度太大，则会造成可见光图像与红外图像之间的差异过大，因此，有必要先确定灰度图像中的车辆光源强度分布图，以降低光源对可见光图像与红外图像之间的差异所造成的影响。
其中，可见光图像中也可能存在外界光源，通过确定灰度图像中的车辆光源，也能够进一步降低外界光源对于后续过程的干扰，增强图像的有效信息。
步骤S130，将可见光图像和红外图像分别进行特征提取，得到可见光图像对应的第一特征图以及红外图像对应的第二特征图。
其中，在对可见光图像和红外图像分别进行特征提取时，可采用基于CNN（卷积神经网络）的提取方法进行提取，以得到可见光图像对应的第一特征图以及红外图像对应的第二特征图。
步骤S140，根据车辆光源强度分布图、第一特征图和第二特征图，利用先验公式计算第一特征图和第二特征图之间的差异程度值。
其中，可见光图像和红外图像之间主要存在结构不一致问题，因此，在融合前，准确的识别出车辆光源，以引入车辆光源强度分布图，增强图像的有效信息，从而减少外界光源对于后续过程的干扰，然后根据车辆光源强度分布图、第一特征图和第二特征图计算利用先验公式计算第一特征图和第二特征图之间的差异程度值，以进一步考虑可见光图像和红外图像之间存在结构不一致因素。
步骤S150，根据差异程度值，分别计算经过先验知识后的第一特征图和第二特征图。
其中，在确定可见光图像和红外图像之间结构所存在的差异程度值之后，可进一步分别计算经过先验知识后的第一特征图和第二特征图，从而对第一特征图和第二特征图进行对应调整，得到经过先验知识后的第一特征图和第二特征图，为后续步骤S160奠定基础。
步骤S160，将可见光图像、经过先验知识后的第一特征图和第二特征图进行特征融合，得到融合后的输出图像。
其中，在将可见光图像、经过先验知识后的第一特征图和第二特征图进行特征融合时，可采用FPN（Feature Pyramid Networks，特征图金字塔网络）进行融合处理。
步骤S170，将融合后的输出图像输入到预设车牌识别模型进行识别，以得到对应的车牌检测结果。
上述车牌检测方法，在得到第一特征图、第二特征图和车辆光源强度分布图的基础上，引入先验公式，计算第一特征图和第二特征图之间的差异程度值，通过利用计算差异程度值，能够区分出可见光图像和红外图像之间的差异程度，进而能够解决可见光图像和红外图像之间融合时结构不一致的问题，在利用差异程度值的基础上，分别计算经过先验知识后的第一特征图和第二特征图，能够正确的引导学习可见光图像和红外图像之间的差别信息，进而能够从低信噪比的可见光图像中提取得到清晰的结构信息，然后进一步将可见光图像、经过先验知识后的第一特征图和第二特征图进行特征融合，得到融合后的输出图像，最后对融合后的输出图像进行识别，上述车牌检测方法能够更好的利用红外图像来引导可见光图像的增强，进而有效的从整体上提升了车牌检测准确度。
在一个实施例中，如图2所示，步骤S120包括：
步骤S121，采用直方图均衡化对灰度图像进行图像增强，得到增强后的灰度图像。
其中，通过采用直方图均衡化，能够对灰度图像中的各个点的像素强度值自动进行调整，从而进行图像增强。
步骤S122，确定增强后的灰度图像中的光源数量与位置信息，并得到各个光源对应的损失函数值。
其中，增强后的灰度图像中除了车辆光源之外，可能存在外界环境光源，因此，需要确定增强后的灰度图像中的光源数量与位置信息，并得到各个光源对应的损失函数值。
步骤S123，确定各个光源中的车辆光源，并根据各个光源对应的损失函数值，确定车辆光源对应的车辆光源位置区域。
其中，在得到增强后的灰度图像中的光源数量与位置信息之后，可通过计算各个光源的位置信息与车辆检测模型中检测得到的车辆信息框的交并比，并与预设交并比阈值进行比较，可判断是否为车辆光源，然后再确定得到车辆光源的情况下，可根据各个光源对应的损失函数值，获取车辆光源对应的车辆光源位置区域。
在一个实施例中，预设交并比阈值为0.85~0.95，优选为0.9。
步骤S124，将增强后的灰度图像进行归一化处理。
步骤S125，根据归一化处理后的灰度图像以及车辆光源位置区域，得到对应的车辆光源强度分布图。
在确定光源位置区域之后，通过对归一化处理后的灰度图像的像素值进行处理，可得到对应的车辆光源强度分布图。
在一个实施例中，如图3所示，步骤S122包括：
步骤S122a，获取增强后的灰度图像中灰度值大于或等于预设灰度阈值的各个目标点。
步骤S122b，构建包含各个目标点各自所对应的横坐标值、纵坐标值和灰度值的三维数组。
步骤S122c，根据三维数组，采用三维K-Means聚类公式确定增强后的灰度图像中的光源数量与位置信息，并得到各个光源对应的损失函数值。
本实施例中，通过设定一个预设灰度阈值，将增强后的灰度图像中灰度值大于或等于预设灰度阈值的各个目标点筛选出来，然后构建包含各个目标点各自所对应的横坐标值、纵坐标值和灰度值的三维数组，最后采用三维K-Means聚类公式对该三维数组进行处理，即可确定增强后的灰度图像中的光源数量与位置信息，并得到各个光源对应的损失函数值。
在一个实施例中，步骤S125包括：在归一化处理后的灰度图像中，降低车辆光源位置区域之外的各个点的灰度值权重，以得到对应的车辆光源强度分布图。
其中，将车辆光源位置区域之外的各个点的灰度值权重依据公式n=mix(n-m，0)+ε进行处理，其中n为归一化处理后的灰度图像中的点，m为归一化处理后的灰度图像中统计的各个像素点灰度值的中位数，ε为极小值以防止结果为0。
本实施例中，在归一化处理后的灰度图像中，通过降低车辆光源位置区域之外的各个点的灰度值权重，能够进一步对比区分出车辆光源强度信息。
在一个实施例中，步骤S140中对应的计算公式为：
Figure 246001DEST_PATH_IMAGE001
P(x,y)表示第一特征图和第二特征图之间在同一像素点（x，y）的差异程度值，CBGR表示第一特征图下（x，y）点处的像素点值，CNIR表示第二特征图下（x，y）点处的像素点值，CGRAY表示车辆光源强度分布图下（x，y）点处的像素点值，
Figure 690888DEST_PATH_IMAGE002
表示平衡参数因子。
其中，CGRAY在光源强度较强时会趋近于1，在光照强度较弱时会趋近于0，在CBGR= 1和CNIR= 0，或CBGR= 0和CNIR= 1时，P(x,y)趋近0，表明第一特征图和第二特征图之间结构存在较大差异，反之，当CBG、CNIR均趋近于1时，P(x,y)趋近1，表明第一特征图和第二特征图之间结构存在较小差异，
Figure 434854DEST_PATH_IMAGE002
表示平衡参数因子，即作为超参数可以平衡下P(x,y)的值。
在一个实施例中，如图4所示，步骤S160包括：
步骤S160a，将可见光图像、经过先验知识后的第一特征图和第二特征图输入至初始特征融合网络进行融合，输出初步融合后的图像。
步骤S160b，根据初步融合后的图像进行损失函数计算，获得优化梯度，进行权重和偏置更新，直至损失函数收敛以生成融合后的输出图像。
在一个实施例中，上述特征融合网络可采用FPN（Feature Pyramid Networks，特征图金字塔网络）。
本实施例中，通过对初始特征融合网络进行训练，并利用损失函数进行权重和偏置更新，直至损失函数收敛以生成融合后的输出图像，进一步提上了特征融合网络的融合效果。
在一个实施例中，损失函数为：
Figure 62013DEST_PATH_IMAGE003
Loss表示损失函数值，Pin表示输入的可见光图像，Pout表示融合后的输出图像，P(x,y)表示第一特征图和第二特征图之间在同一像素点（x，y）的差异程度值，
Figure 866021DEST_PATH_IMAGE002
表示平衡参数因子。
此外，如图5所示，还提供一种车牌检测装置200，包括：
图像获取单元210，用于获取车牌的可见光图像和红外图像，将可见光图像转换为对应的灰度图像；
分布图生成单元220，用于获取灰度图像中的车辆光源强度分布图；
特征图生成单元230，用于将可见光图像和红外图像分别进行特征提取，得到可见光图像对应的第一特征图以及红外图像对应的第二特征图；
差异计算单元240，用于根据车辆光源强度分布图、第一特征图和第二特征图，利用先验公式计算第一特征图和第二特征图之间的差异程度值；
先验知识处理单元250，用于根据差异程度值，分别计算经过先验知识后的第一特征图和第二特征图；
图像融合单元260，用于将可见光图像、经过先验知识后的第一特征图和第二特征图进行特征融合，得到融合后的输出图像；
车牌检测单元270，用于将融合后的输出图像输入到预设车牌识别模型进行识别，以得到对应的车牌检测结果。
此外，还提供一种设备终端，设备终端包括处理器和存储器，存储器用于存储计算机程序，处理器运行计算机程序以使设备终端执行上述车牌检测方法。
此外，还提供一种可读存储介质，可读存储介质存储有计算机程序，计算机程序在被处理器执行时上述车牌检测方法。
另外，对于特性相同或相似的结构元件，本申请可采用相同或者不相同的标号进行标识。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“例如”一词是用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何一个实施例不一定被解释为比其它实施例更加优选或更加具优势。为了使本领域任何技术人员能够实现和使用本申请，本申请给出了以上描述。在以上描述中，为了解释的目的而列出了各个细节。
应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实施例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

Claims (8)

1.一种车牌检测方法，其特征在于，包括：
获取所述车牌的可见光图像和红外图像，将所述可见光图像转换为对应的灰度图像；
获取所述灰度图像中的车辆光源强度分布图；
将所述可见光图像和所述红外图像分别进行特征提取，得到所述可见光图像对应的第一特征图以及所述红外图像对应的第二特征图；
根据所述车辆光源强度分布图、所述第一特征图和所述第二特征图，利用先验公式计算所述第一特征图和所述第二特征图之间的差异程度值，所述利用先验公式计算所述第一特征图和所述第二特征图之间的差异程度值所对应的计算公式为：
Figure 839223DEST_PATH_IMAGE001
P(x,y)表示所述第一特征图和所述第二特征图之间在同一像素点（x，y）的差异程度值，CBGR表示所述第一特征图下（x，y）点处的像素点值，CNIR表示所述第二特征图下（x，y）点处的像素点值，CGRAY表示所述车辆光源强度分布图下（x，y）点处的像素点值，
Figure 968853DEST_PATH_IMAGE003
表示平衡参数因子；
根据所述差异程度值，分别计算经过所述先验知识后的第一特征图和第二特征图；
将所述可见光图像、所述经过所述先验知识后的第一特征图和第二特征图进行特征融合，得到融合后的输出图像；
将所述融合后的输出图像输入到预设车牌识别模型进行识别，以得到对应的车牌检测结果。
2.根据权利要求1所述的方法，其特征在于，所述获取所述灰度图像中的车辆光源强度分布图的步骤包括：
采用直方图均衡化对所述灰度图像进行图像增强，得到增强后的灰度图像；
确定所述增强后的灰度图像中的光源数量与位置信息，并得到各个光源对应的损失函数值；
确定各个光源中的车辆光源，并根据各个光源对应的损失函数值，确定所述车辆光源对应的车辆光源位置区域；
将所述增强后的灰度图像进行归一化处理；
根据归一化处理后的灰度图像以及所述车辆光源位置区域，得到对应的车辆光源强度分布图。
3.根据权利要求2所述的方法，其特征在于，所述确定所述增强后的灰度图像中的光源数量与位置信息，并得到各个光源对应的损失函数值的步骤包括：
获取所述增强后的灰度图像中灰度值大于或等于预设灰度阈值的各个目标点；
构建包含各个目标点各自所对应的横坐标值、纵坐标值和灰度值的三维数组；
根据所述三维数组，采用三维K-Means聚类公式确定所述增强后的灰度图像中的光源数量与位置信息，并得到各个光源对应的损失函数值。
4.根据权利要求2所述的方法，其特征在于，所述根据归一化处理后的灰度图像以及所述车辆光源位置区域，得到对应的车辆光源强度分布图的步骤包括：
在归一化处理后的灰度图像中，降低所述车辆光源位置区域之外的各个点的灰度值权重，以得到对应的车辆光源强度分布图。
5.根据权利要求1所述的方法，其特征在于，所述将所述可见光图像、所述经过所述先验知识后的第一特征图和第二特征图进行特征融合，得到融合后的输出图像的步骤包括：
将所述可见光图像、所述经过所述先验知识后的第一特征图和第二特征图输入至初始特征融合网络进行融合，输出初步融合后的图像；
根据所述初步融合后的图像进行损失函数计算，获得优化梯度，进行权重和偏置更新，直至所述损失函数收敛以生成融合后的输出图像。
6.根据权利要求5所述的方法，其特征在于，所述损失函数为：
Figure 579963DEST_PATH_IMAGE004
Loss表示损失函数值，Pin表示输入的所述可见光图像，Pout表示所述融合后的输出图像，P(x,y)表示所述第一特征图和所述第二特征图之间在同一像素点（x，y）的差异程度值，
Figure 12213DEST_PATH_IMAGE003
表示平衡参数因子。
7.一种车牌检测装置，其特征在于，包括：
图像获取单元，用于获取所述车牌的可见光图像和红外图像，将所述可见光图像转换为对应的灰度图像；
分布图生成单元，用于获取所述灰度图像中的车辆光源强度分布图；
特征图生成单元，用于将所述可见光图像和所述红外图像分别进行特征提取，得到所述可见光图像对应的第一特征图以及所述红外图像对应的第二特征图；
差异计算单元，用于根据所述车辆光源强度分布图、所述第一特征图和所述第二特征图，利用先验公式计算所述第一特征图和所述第二特征图之间的差异程度值，所述利用先验公式计算所述第一特征图和所述第二特征图之间的差异程度值所对应的计算公式为：
Figure 75984DEST_PATH_IMAGE005
P(x,y)表示所述第一特征图和所述第二特征图之间在同一像素点（x，y）的差异程度值，CBGR表示所述第一特征图下（x，y）点处的像素点值，CNIR表示所述第二特征图下（x，y）点处的像素点值，CGRAY表示所述车辆光源强度分布图下（x，y）点处的像素点值，
Figure 9305DEST_PATH_IMAGE003
表示平衡参数因子；
先验知识处理单元，用于根据所述差异程度值，分别计算经过所述先验知识后的第一特征图和第二特征图；
图像融合单元，用于将所述可见光图像、所述经过所述先验知识后的第一特征图和第二特征图进行特征融合，得到融合后的输出图像；
车牌检测单元，用于将所述融合后的输出图像输入到预设车牌识别模型进行识别，以得到对应的车牌检测结果。
8.一种设备终端，其特征在于，所述设备终端包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述设备终端执行权利要求1至6中任一项所述的车牌检测方法。
CN202210975997.7A 2022-08-15 2022-08-15 车牌检测方法、装置、设备终端和可读存储介质 Active CN115050016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210975997.7A CN115050016B (zh) 2022-08-15 2022-08-15 车牌检测方法、装置、设备终端和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210975997.7A CN115050016B (zh) 2022-08-15 2022-08-15 车牌检测方法、装置、设备终端和可读存储介质

Publications (2)

Publication Number Publication Date
CN115050016A CN115050016A (zh) 2022-09-13
CN115050016B true CN115050016B (zh) 2023-01-17

Family

ID=83167270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210975997.7A Active CN115050016B (zh) 2022-08-15 2022-08-15 车牌检测方法、装置、设备终端和可读存储介质

Country Status (1)

Country Link
CN (1) CN115050016B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111581A (zh) * 2019-05-21 2019-08-09 哈工大机器人（山东）智能装备研究院 目标识别方法、装置、计算机设备及存储介质
WO2020171281A1 (ko) * 2019-02-22 2020-08-27 써모아이 주식회사 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치
CN111860496A (zh) * 2020-06-22 2020-10-30 中国平安财产保险股份有限公司 车牌识别方法、装置、设备及计算机可读存储介质
CN113076953A (zh) * 2021-03-01 2021-07-06 深圳市捷顺科技实业股份有限公司 一种黑色车检测方法、系统、装置以及存储介质
CN114445314A (zh) * 2022-01-28 2022-05-06 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461168B (zh) * 2018-10-15 2021-03-16 腾讯科技（深圳）有限公司 目标对象的识别方法和装置、存储介质、电子装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020171281A1 (ko) * 2019-02-22 2020-08-27 써모아이 주식회사 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치
CN110111581A (zh) * 2019-05-21 2019-08-09 哈工大机器人（山东）智能装备研究院 目标识别方法、装置、计算机设备及存储介质
CN111860496A (zh) * 2020-06-22 2020-10-30 中国平安财产保险股份有限公司 车牌识别方法、装置、设备及计算机可读存储介质
CN113076953A (zh) * 2021-03-01 2021-07-06 深圳市捷顺科技实业股份有限公司 一种黑色车检测方法、系统、装置以及存储介质
CN114445314A (zh) * 2022-01-28 2022-05-06 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
改进YOLOv3的多模态融合行人检测算法;邓佳桐 等;《中国测试》;20220531;第48卷(第5期);第108-115页 *

Also Published As

Publication number Publication date
CN115050016A (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN108229580B (zh) 一种基于注意力机制及特征融合的眼底图中糖网特征分级装置
CN111597933B (zh) 人脸识别方法和装置
CN111539456B (zh) 一种目标识别方法及设备
CN108229274B (zh) 多层神经网络模型训练、道路特征识别的方法和装置
CN112560710B (zh) 一种用于构建指静脉识别系统的方法及指静脉识别系统
CN112364851A (zh) 一种自动调制识别方法、装置、电子设备及存储介质
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN114549414A (zh) 一种针对轨道数据的异常变化检测方法及系统
CN113962900A (zh) 复杂背景下红外弱小目标检测方法、装置、设备及介质
CN117830616A (zh) 基于渐进式伪标签的遥感图像无监督跨域目标检测方法
CN115050016B (zh) 车牌检测方法、装置、设备终端和可读存储介质
CN116385866B (zh) 基于sar图像的铁路沿线彩钢房变化检测方法和装置
CN111275642B (zh) 一种基于显著性前景内容的低光照图像增强方法
Song et al. A single image dehazing method based on end-to-end cpad-net network in deep learning environment
CN117173154A (zh) 玻璃瓶的在线图像检测系统及其方法
CN113191996A (zh) 一种遥感影像变化检测方法、装置及其电子设备
CN116994049A (zh) 全自动针织横机及其方法
CN111353526A (zh) 一种图像匹配方法、装置以及相关设备
CN114841907A (zh) 面向红外与可见光图像的多尺度生成对抗融合网络的方法
CN114119382A (zh) 一种基于注意力生成对抗网络的图像去雨滴方法
CN113344987A (zh) 复杂背景下电力设备的红外与可见光图像配准方法及系统
CN117853817B (zh) 一种基于图像识别的智慧社区垃圾分类报警管理方法
CN113591933B (zh) 一种基于相关性度量的遥感图像变化检测方法及系统
KR102635911B1 (ko) 지능형 운량 측정 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230621

Address after: 13C-18, Caihong Building, Caihong Xindu, No. 3002, Caitian South Road, Gangsha Community, Futian Street, Futian District, Shenzhen, Guangdong 518033

Patentee after: Core Computing Integrated (Shenzhen) Technology Co.,Ltd.

Address before: 518000 1001, building G3, TCL International e city, Shuguang community, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen Aishen Yingtong Information Technology Co.,Ltd.