CN114998879A - 一种基于事件相机的模糊车牌识别方法 - Google Patents

一种基于事件相机的模糊车牌识别方法 Download PDF

Info

Publication number
CN114998879A
CN114998879A CN202210530060.9A CN202210530060A CN114998879A CN 114998879 A CN114998879 A CN 114998879A CN 202210530060 A CN202210530060 A CN 202210530060A CN 114998879 A CN114998879 A CN 114998879A
Authority
CN
China
Prior art keywords
license plate
event
feature maps
detection module
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210530060.9A
Other languages
English (en)
Inventor
康渭林
何峥浩
汤兆东
卢昕
余磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210530060.9A priority Critical patent/CN114998879A/zh
Publication of CN114998879A publication Critical patent/CN114998879A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明属于计算机图像处理技术领域，公开了一种基于事件相机的模糊车牌识别方法。本发明采用事件相机对车牌进行拍摄得到车牌对应的传统光学图像和事件流数据，对事件流数据进行预处理得到与传统光学图像具有相同分辨率的多张事件帧图像，构建多输入深度神经网络，分为检测模块和识别模块，将传统光学图像和多张事件帧图像融合输入至检测模块，检测模块输出车牌的边界框位置信息，识别模块基于边界框位置信息提取得到特征信息，基于特征信息得到车牌识别结果。本发明能够有效提高模糊车牌识别的准确率。

Description

一种基于事件相机的模糊车牌识别方法
技术领域
本发明属于计算机图像处理技术领域，更具体地，涉及一种基于事件相机的模糊车牌识别方法。
背景技术
在计算机图像检测车牌识别领域，深度神经网络经过良好的训练能够分辨出不同车牌字符，并展现出极好的性能。然而，大部分深度神经网络只能针对良好光照条件以及清晰的光学图片基础上进行识别，对于特殊光照情况以及车辆高速行驶时导致光学相机拍摄的模糊图片，无法准确识别车牌字符。
发明内容
本发明通过提供一种基于事件相机的模糊车牌识别方法，解决现有技术中在光照条件不佳或车辆高速行驶的场景下无法准确识别车牌字符的问题。
本发明提供一种基于事件相机的模糊车牌识别方法，采用事件相机对车牌进行拍摄，得到车牌对应的传统光学图像和事件流数据；对所述事件流数据进行预处理，得到与所述传统光学图像具有相同分辨率的多张事件帧图像；构建多输入深度神经网络，所述多输入深度神经网络分为检测模块和识别模块；将所述传统光学图像和多张事件帧图像融合，输入至所述检测模块，所述检测模块输出车牌的边界框位置信息；所述识别模块基于所述边界框位置信息提取得到特征信息，基于所述特征信息得到车牌识别结果。
优选的，采用事件相机对车牌进行拍摄时，根据事件相机激发事件点，设置拍摄的时间阈值，得到所述时间阈值内的事件流数据；所述事件流数据包括每个事件点的X坐标、Y坐标、极性和时间戳；对所述事件流数据进行预处理时，在所述时间阈值内按时间戳将所述事件流数据等分为多组，将每组事件点按坐标叠加，将背景设置为白色，叠加事件点根据极性设置为不同亮度，得到多张事件帧图像。
优选的，所述检测模块包括多个卷积层和边界预测器；通过多个卷积层提取来自输入图像的不同的水平特征映射，将最后一个卷积层的水平特征映射输出至所述边界预测器；所述边界预测器由多个同级的全连接层构成，所述边界预测器输出车牌的边界框位置信息；所述识别模块包括多个ROI池化层和分类组件；通过多个ROI池化层将提取的多个水平特征映射转换为具有不同大小的多个特征图，多个特征图合并后得到的特征图输入至所述分类组件，所述分类组件包括多个分类器，所述分类组件输出车牌识别结果。
优选的，在所述多输入深度神经网络的训练中，关于检测性能的定位损失表示为：
Figure BDA0003645839340000021
其中，Lloc为定位损失函数，pb表示预测框，gb表示地面真值框，smoothL1为平滑L1损失函数，N为训练中一个小批的大小，cx为车牌包围框的中心点x坐标，cy为车牌包围框的中心点y坐标、w为车牌包围框的宽度，h为车牌包围框的高度；
Figure BDA0003645839340000022
其中，bx为边界框的中心点x坐标，by为边界框的中心点y坐标、bw为边界框的宽度，bh为边界框的高度；W为输入图像的宽度，H为输入图像的高度；
在所述多输入深度神经网络的训练中，关于识别性能的分类损失表示为：
Figure BDA0003645839340000023
其中，Lcls为分类损失函数，pn表示车牌字符的预测值，gn表示车牌字符的真实值；k 表示车牌字符的位数，pni为第i位车牌字符的预测值，gni为第i位车牌字符的真实值，[]表示取整运算；nci为浮点数的总数，每个浮点数表示属于特定字符类的可能性，分类损失为交叉损失；
所述多输入深度神经网络训练中的统一损失函数表示为：
Figure BDA0003645839340000024
其中，L为统一损失函数。
优选的，所述检测模块包括10个卷积层和边界预测器，所述边界预测器由3个同级的全连接层构成；所述识别模块包括3个ROI池化层和分类组件，所述分类组件包括7个分类器；将1张传统光学图像提取单通道，与10张事件帧图像合并为11通道，归一化后输入至所述检测模块，所述检测模块在第2层卷积层、第4层卷积层和第6层卷积层提取水平特征映射，3个ROI池化层将提取的3个水平特征映射转换为具有不同大小的3个特征图，合并后输入至所述分类组件，7个分类器输出7位车牌字符的识别结果。
优选的，将1张传统光学图像和10张事件帧图像均变形为480×480分辨率，每张图片提取其灰度单通道数据得到11个480×480的二维数组，储存为灰度图片像素点亮度信息，值域为[0,255]，再融合为11×480×480的三维数组，传统光学图像数据作为第一项，对三维数组进行归一化处理；经3个ROI池化层转换后得到的3个特征图的大小分别为8×16×64、8×16×160、8×16×192，3个特征图被连接到一个8×16×416大小的特征图用于车牌字符分类。
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
在本发明中，使用事件相机对车牌进行拍摄，得到传统光学图像和事件流数据，再对事件流数据进行预处理，得到多张事件帧图像；本发明构建的多输入深度神经网络分为检测模块与识别模块，将传统光学图像和多张事件帧图像融合，输入至检测模块，通过检测模块输出车牌的边界框位置信息，通过识别模块得到车牌识别结果。本发明将事件相机引入车牌识别领域，利用事件相机动态范围高，低时延特点，使得车牌检测任务能够适应更加恶劣的环境，比如高速公路(车辆运动速度快，通常导致传统光学相机成像质量差，带来动态模糊)，行车时车牌被后车行驶灯照射(强曝光)等情景。同时，本发明提出了一种多输入结构融合深度神经网络，将传统光学相机图像与事件相机多张事件帧融合输入，网络能够融合多维输入，提取特征，其识别效果优于现有的其他用于识别车牌字符的深度神经网络。本发明可以有效地提升模糊车牌识别准确率，并且可以有效处理低照度、车辆高速运动等极端环境下传统光学相机无法识别车牌的情况，为后续的极端环境下车牌识别、智能驾驶以及工程应用提供新的思路。此外，事件相机仅在光亮变化物体运动时进行拍摄，可结合太阳能电池，使得车牌检测任务能够在非规划道路上开展。
附图说明
图1为本发明实施例提供的一种基于事件相机的模糊车牌识别方法中多输入深度神经网络的整体框架图；
图2为事件相机事件流和压帧的示意图；
图3为实验效果图。
具体实施方式
事件相机区别于传统光学相机，其优势包括：事件相机不像传统光学相机那样使用快门捕捉图像，取而代之的是，事件相机内的每个像素独立且异步地运行，在亮度变化发生时报告它们，否则保持沉默。每个像素存储一个参考亮度级别，并不断将其与当前亮度级别进行比较，如果亮度差异超过阈值，则该像素将重置其参考水平并生成一个事件：包含像素地址和时间戳的离散数据包。事件还可能包含亮度变化的极性(增加或减少)，或照明水平的瞬时测量，因此，事件摄像机输出由场景照明变化触发的异步事件流。事件摄像机具有微秒级时间分辨率、120dB动态范围以及更少的曝光不足/过度曝光和运动模糊。这使他们能够更准确地跟踪物体和相机的运动(光流)，产生灰度信息。
本发明利用事件相机，结合改进的深度神经网络，提供一种模糊车牌识别方法，以解决目前低照度和车辆高速运动带来的车牌识别问题，能够提高模糊车牌识别的准确率。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本实施例提供了一种基于事件相机的模糊车牌识别方法，采用事件相机对车牌进行拍摄，得到车牌对应的传统光学图像和事件流数据；对所述事件流数据进行预处理，得到与所述传统光学图像具有相同分辨率的多张事件帧图像；构建多输入深度神经网络，所述多输入深度神经网络分为检测模块和识别模块；将所述传统光学图像和多张事件帧图像融合，输入至所述检测模块，所述检测模块输出车牌的边界框位置信息；所述识别模块基于所述边界框位置信息提取得到特征信息，基于所述特征信息得到车牌识别结果。
其中，采用事件相机对车牌进行拍摄时，根据事件相机激发事件点，设置拍摄的时间阈值，得到所述时间阈值内的事件流数据；所述事件流数据包括每个事件点的X坐标、Y坐标、极性和时间戳；对所述事件流数据进行预处理时，在所述时间阈值内按时间戳将所述事件流数据等分为多组，将每组事件点按坐标叠加，将背景设置为白色，叠加事件点根据极性设置为不同亮度，得到多张事件帧图像。
参见图1，所述检测模块包括多个卷积层和边界预测器；通过多个卷积层提取来自输入图像的不同的水平特征映射，将最后一个卷积层的水平特征映射输出至所述边界预测器；所述边界预测器由多个同级的全连接层构成，所述边界预测器输出车牌的边界框位置信息。所述识别模块包括多个ROI池化层和分类组件；通过多个ROI池化层将提取的多个水平特征映射转换为具有不同大小的多个特征图，多个特征图合并后得到的特征图输入至所述分类组件，所述分类组件包括多个分类器，所述分类组件输出车牌识别结果。
在所述多输入深度神经网络的训练中，关于检测性能的定位损失表示为：
Figure BDA0003645839340000041
其中，Lloc为定位损失函数，pb表示预测框，gb表示地面真值框，smoothL1为平滑L1损失函数，N为训练中一个小批的大小，cx为车牌包围框的中心点x坐标，cy为车牌包围框的中心点y坐标、w为车牌包围框的宽度，h为车牌包围框的高度。
Figure BDA0003645839340000042
其中，bx为边界框的中心点x坐标，by为边界框的中心点y坐标、bw为边界框的宽度，bh为边界框的高度；W为输入图像的宽度，H为输入图像的高度。
在所述多输入深度神经网络的训练中，关于识别性能的分类损失表示为：
Figure BDA0003645839340000051
其中，Lcls为分类损失函数，pn表示车牌字符的预测值，gn表示车牌字符的真实值；k 表示车牌字符的位数，pni为第i位车牌字符的预测值，gni为第i位车牌字符的真实值，[]表示取整运算；nci为浮点数的总数，每个浮点数表示属于特定字符类的可能性，分类损失为交叉损失；
所述多输入深度神经网络训练中的统一损失函数表示为：
Figure BDA0003645839340000052
其中，L为统一损失函数。
为了更好地理解本发明，下面以待识别车牌的车牌字符位数为7位，事件帧图像为10 张进行举例说明。
本发明提供一种基于事件相机的模糊车牌识别方法，包括以下步骤：
步骤1，采用事件相机对车牌进行拍摄，得到车牌对应的传统光学图像和事件流数据。
根据事件相机激发事件点，设置每次拍摄时间阈值，通常为0.6秒，由事件相机输出灰度传统光学图像与时间阈值内的事件流数据。事件流数据包括每个事件点的二维X坐标、Y 坐标，激发的极性和时间戳。
步骤2，对事件流数据进行预处理，按时间压帧处理为10张事件帧图像。
将得到的事件流数据，在步骤1设置的时间阈值内按时间戳等分为10组，分别将每组事件点按坐标叠加。本发明提出将背景设置白色，叠加事件点根据极性设置为不同亮度，得到10张与步骤1获取传统光学图像相同分辨率的灰度事件帧图像。
为了得到事件帧，需要对事件流进行切割，常用的切割方法为按事件点个数进行切割和按时间进行切割，为能快速进行车牌识别，本发明采用按时间对事件流进行切割。参见图2，将步骤1得到的事件流数据，在步骤1设置时间阈值内按时间戳等分为10组，分别将每组事件点按坐标叠加。不同于现有技术通常将被事件帧背景设置为灰色，根据事件点极性设置亮度进行叠加的方法，为提高识别车牌字符准确性，去除冗余信息，本发明提出将背景设置白色，叠加事件点根据极性设置为不同亮度，形成10张和步骤1获取传统光学图像相同分辨率的灰度事件帧图像。
步骤3，利用多输入深度神经网络得到车牌识别结果。
参见图2，多输入深度神经网络分为检测模块和识别模块；所述检测模块包括10个卷积层和边界预测器，所述边界预测器由3个同级的全连接层构成；所述识别模块包括3个ROI 池化层和分类组件，所述分类组件包括7个分类器。
其中，卷积层为具有线性整流函数(ReLU)和合批(Batch)归一化的卷积层，ROI池化层为具有丢弃法(Dropout)的最大池化(MaxPooling)层。
将1张传统光学图像提取单通道，与10张事件帧图像合并为11通道，归一化后输入至所述检测模块，所述检测模块在第2层卷积层、第4层卷积层和第6层卷积层提取水平特征映射，3个ROI池化层将提取的3个水平特征映射转换为具有不同大小的3个特征图，合并后输入至所述分类组件，7个分类器输出7位车牌字符的识别结果。
具体的，将1张传统光学图像和10张事件帧图像均变形为480×480分辨率，每张图片提取其灰度单通道数据得到11个480×480的二维数组，储存为灰度图片像素点亮度信息，值域为[0,255]，再融合为11×480×480的三维数组，其中，传统光学图像数据作为第一项，最后对三维数组进行归一化处理，即将得到三维数组成员数值转换数据类型归一化处理值域为[0,1]。
用10个卷积层去提取来自于输入车牌图像的不同的水平特征映射(feature map)所述检测模块将最后一个卷积层的feature map输出提供给三个同级完全连接的层，我们将其命名为“box predictor”，即边界预测器，用于边界框预测。
车牌包围框位置满足：
Figure BDA0003645839340000061
其中，cx为车牌包围框的中心点x坐标，cy为车牌包围框的中心点y坐标、w为车牌包围框的宽度，h为车牌包围框的高度；bx为边界框的中心点x坐标，by为边界框的中心点y坐标、bw为边界框的宽度，bh为边界框的高度；W为输入图像的宽度，H为输入图像的高度。
由于网络中不同层的特征图具有不同的接受域大小，且来自低层的特征图可以提高语义分割的质量，因此低层能捕获更多输入对象的细节。车牌的面积相对于整个图像来说是非常小的，检测模块完成所有的卷积层计算后，边界预测器会输出边界框位置(cx，cy，w，h)。参见图1，识别模块在大小为(m×h)×(n×w)，p个通道的边界框区域内提取特征映射。多输入深度神经网络在第二层卷积层、第四层卷积层、第六层卷积层提取特征图，特征图的大小(122×h)×(122×w)×64，(63×h)×(63×w)×160，(33×h)×(33×w)×192。在实际应用中，从较高的卷积层中提取特征图会使识别过程变慢，对提高识别精度几乎没有帮助。
在多输入深度神经网络训练中，定义关于检测性能的定位损失(loc)为：
Figure BDA0003645839340000071
其中，Lloc为定位损失函数，pb表示预测框，gb表示地面真值框，smoothL1为平滑L1损失函数，N为训练中一个小批的大小。
多输入深度神经网络首先利用检测模块来预测边界框，然后利用识别模块根据每个特征图中包围框的相对位置，从几个已经生成的特征图中提取感兴趣区域(ROI)，将它们合并到相同的宽度和高度(16×8)后，将合并后的特征图提供给后续分类器，最终得到车牌字符。
使用神经网络中的一个流行术语“注意”(attention)，检测模块作为这个统一网络的“注意”，它告诉识别模块在哪里查找，然后识别模块从共享特征图中提取ROI，并预测车牌字符。
在提取特征图之后，多输入深度神经网络利用ROI池层将每个提取的特征转换为一个具有固定空间范围的8×16的特征图。然后，这三个调整了大小的特征图(分别为8×16×64, 8×16×160和8×16×192)被连接到一个8×16×416大小的特征图用于车牌字符分类。
在多输入深度神经网络训练中，定义关于识别性能的分类损失(cls)为：
Figure BDA0003645839340000072
其中，Lcls为分类损失函数，pni(1≤i≤7)为对7个车牌字符的预测值，每个车牌字符预测值pni包含nci浮点数，每个浮点数表示属于特定字符类的可能性，gni(1≤i≤7)为7个车牌字符的真实值。
将定位损失和分类的联合，可得到模型训练统一损失函数为：
Figure BDA0003645839340000073
其中，L为统一损失函数。
本发明通过定位损失和分类损失的联合优化，提取的特征信息将具有更丰富的车牌特征信息。实验表明，联合优化这两种损耗可以提高检测和识别性能。
为了说明本发明的效果，下面进行实验验证。
在实验过程中，由于缺少基于事件相机的事件帧车牌数据集，本发明采用ESIM方法对现有中国车牌数据集CCPD仿真，将数据集每张照片在ROS中设置随机路径运动，使用仿真事件相机进行拍摄，输出得到分辨率为720×1160传统光学灰度图片与事件流数据。
对车牌识别精度的测量，本方法采用的分析指标为：标准协议交并比(IoU)，和车牌数字识别正确个数。只有当IoU大于0.6且车牌数字中的所有字符都被正确识别时，车牌识别被认为是正确的。
实验结果如图3和表1所示，图3和表1均包括原图以及多输入深度神经网络EMRP-net (本发明)、LPRnet(Intel于2018年发表的车牌识别网络)、RP-net(中国科学技术大学于 2019年发表的车牌检测识别网络)分别对应的识别结果，可知，在光照条件不佳或车辆高速行驶的场景下只有本发明能够正确识别车牌，其他方法均存在识别错误。需要指出的是， LPRnet无法识别数据集中车牌的具体位置，本实验向LPRnet提供车牌位置后，再进行车牌识别。由车牌识别的定量分析和定性分析可知，本发明在极端环境动态模糊下的车牌识别精度已经达到行业领先水平。
表1在本发明ESIM建立模糊车牌数据集上车牌识别方法的实验结果
Figure BDA0003645839340000081
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于事件相机的模糊车牌识别方法，其特征在于，采用事件相机对车牌进行拍摄，得到车牌对应的传统光学图像和事件流数据；对所述事件流数据进行预处理，得到与所述传统光学图像具有相同分辨率的多张事件帧图像；构建多输入深度神经网络，所述多输入深度神经网络分为检测模块和识别模块；将所述传统光学图像和多张事件帧图像融合，输入至所述检测模块，所述检测模块输出车牌的边界框位置信息；所述识别模块基于所述边界框位置信息提取得到特征信息，基于所述特征信息得到车牌识别结果。
2.根据权利要求1所述的基于事件相机的模糊车牌识别方法，其特征在于，采用事件相机对车牌进行拍摄时，根据事件相机激发事件点，设置拍摄的时间阈值，得到所述时间阈值内的事件流数据；所述事件流数据包括每个事件点的X坐标、Y坐标、极性和时间戳；
对所述事件流数据进行预处理时，在所述时间阈值内按时间戳将所述事件流数据等分为多组，将每组事件点按坐标叠加，将背景设置为白色，叠加事件点根据极性设置为不同亮度，得到多张事件帧图像。
3.根据权利要求1所述的基于事件相机的模糊车牌识别方法，其特征在于，所述检测模块包括多个卷积层和边界预测器；通过多个卷积层提取来自输入图像的不同的水平特征映射，将最后一个卷积层的水平特征映射输出至所述边界预测器；所述边界预测器由多个同级的全连接层构成，所述边界预测器输出车牌的边界框位置信息；
所述识别模块包括多个ROI池化层和分类组件；通过多个ROI池化层将提取的多个水平特征映射转换为具有不同大小的多个特征图，多个特征图合并后得到的特征图输入至所述分类组件，所述分类组件包括多个分类器，所述分类组件输出车牌识别结果。
4.根据权利要求1所述的基于事件相机的模糊车牌识别方法，其特征在于，在所述多输入深度神经网络的训练中，关于检测性能的定位损失表示为：
Figure FDA0003645839330000011
其中，Lloc为定位损失函数，pb表示预测框，gb表示地面真值框，smoothL1为平滑L1损失函数，N为训练中一个小批的大小，cx为车牌包围框的中心点x坐标，cy为车牌包围框的中心点y坐标、w为车牌包围框的宽度，h为车牌包围框的高度；
Figure FDA0003645839330000012
其中，bx为边界框的中心点x坐标，by为边界框的中心点y坐标、bw为边界框的宽度，bh为边界框的高度；W为输入图像的宽度，H为输入图像的高度；
在所述多输入深度神经网络的训练中，关于识别性能的分类损失表示为：
Figure FDA0003645839330000021
其中，Lcls为分类损失函数，pn表示车牌字符的预测值，gn表示车牌字符的真实值；k表示车牌字符的位数，pni为第i位车牌字符的预测值，gni为第i位车牌字符的真实值，[]表示取整运算；nci为浮点数的总数，每个浮点数表示属于特定字符类的可能性，分类损失为交叉损失；
所述多输入深度神经网络训练中的统一损失函数表示为：
Figure FDA0003645839330000022
其中，L为统一损失函数。
5.根据权利要求3所述的基于事件相机的模糊车牌识别方法，其特征在于，所述检测模块包括10个卷积层和边界预测器，所述边界预测器由3个同级的全连接层构成；所述识别模块包括3个ROI池化层和分类组件，所述分类组件包括7个分类器；
将1张传统光学图像提取单通道，与10张事件帧图像合并为11通道，归一化后输入至所述检测模块，所述检测模块在第2层卷积层、第4层卷积层和第6层卷积层提取水平特征映射，3个ROI池化层将提取的3个水平特征映射转换为具有不同大小的3个特征图，合并后输入至所述分类组件，7个分类器输出7位车牌字符的识别结果。
6.根据权利要求5所述的基于事件相机的模糊车牌识别方法，其特征在于，将1张传统光学图像和10张事件帧图像均变形为480×480分辨率，每张图片提取其灰度单通道数据得到11个480×480的二维数组，储存为灰度图片像素点亮度信息，值域为[0,255]，再融合为11×480×480的三维数组，传统光学图像数据作为第一项，对三维数组进行归一化处理；
经3个ROI池化层转换后得到的3个特征图的大小分别为8×16×64、8×16×160、8×16×192，3个特征图被连接到一个8×16×416大小的特征图用于车牌字符分类。
CN202210530060.9A 2022-05-16 2022-05-16 一种基于事件相机的模糊车牌识别方法 Pending CN114998879A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210530060.9A CN114998879A (zh) 2022-05-16 2022-05-16 一种基于事件相机的模糊车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210530060.9A CN114998879A (zh) 2022-05-16 2022-05-16 一种基于事件相机的模糊车牌识别方法

Publications (1)

Publication Number Publication Date
CN114998879A true CN114998879A (zh) 2022-09-02

Family

ID=83026604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210530060.9A Pending CN114998879A (zh) 2022-05-16 2022-05-16 一种基于事件相机的模糊车牌识别方法

Country Status (1)

Country Link
CN (1) CN114998879A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631407A (zh) * 2022-11-10 2023-01-20 中国石油大学(华东) 基于事件相机与彩色帧图像融合的水下透明生物检测

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631407A (zh) * 2022-11-10 2023-01-20 中国石油大学(华东) 基于事件相机与彩色帧图像融合的水下透明生物检测
CN115631407B (zh) * 2022-11-10 2023-10-20 中国石油大学(华东) 基于事件相机与彩色帧图像融合的水下透明生物检测

Similar Documents

Publication Publication Date Title
CN109740465B (zh) 一种基于实例分割神经网络框架的车道线检测算法
CN110728200B (zh) 一种基于深度学习的实时行人检测方法及系统
CN109543695B (zh) 基于多尺度深度学习的泛密度人群计数方法
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN111967305A (zh) 一种基于轻量级卷积神经网络的实时多尺度目标检测方法
CN112800906B (zh) 一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法
CN106886778B (zh) 一种监控场景下车牌字符分割与识别方法
CN111723693A (zh) 一种基于小样本学习的人群计数方法
CN111368830A (zh) 基于多视频帧信息和核相光滤波算法的车牌检测识别方法
CN113011329A (zh) 一种基于多尺度特征金字塔网络及密集人群计数方法
CN112507844A (zh) 基于视频分析的交通拥堵检测方法
CN107944437B (zh) 一种基于神经网络和积分图像的人脸定位方法
CN112801027A (zh) 基于事件相机的车辆目标检测方法
CN115841649A (zh) 一种用于城市复杂场景的多尺度人数统计方法
CN114049572A (zh) 识别小目标的检测方法
CN114898353B (zh) 一种基于视频序列图像特征与信息的车牌识别方法
CN115661777A (zh) 一种联合语义的雾天道路目标检测算法
CN112613392A (zh) 基于语义分割的车道线检测方法、装置、系统及存储介质
CN113011308A (zh) 一种引入注意力机制的行人检测方法
CN114998879A (zh) 一种基于事件相机的模糊车牌识别方法
CN114332921A (zh) 基于改进聚类算法的Faster R-CNN网络的行人检测方法
CN112347967B (zh) 一种复杂场景下融合运动信息的行人检测方法
CN113496480A (zh) 一种焊缝图像缺陷的检测方法
CN117036412A (zh) 一种融合可变形卷积的孪生网络红外行人目标跟踪方法
CN116824630A (zh) 一种轻量化红外图像行人目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination