CN115424276B - 一种基于深度学习技术的船牌号检测方法 - Google Patents

一种基于深度学习技术的船牌号检测方法 Download PDF

Info

Publication number
CN115424276B
CN115424276B CN202211058283.6A CN202211058283A CN115424276B CN 115424276 B CN115424276 B CN 115424276B CN 202211058283 A CN202211058283 A CN 202211058283A CN 115424276 B CN115424276 B CN 115424276B
Authority
CN
China
Prior art keywords
license plate
map
data set
detection model
position detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211058283.6A
Other languages
English (en)
Other versions
CN115424276A (zh
Inventor
李海涛
丁东平
张雷
张俊虎
张德春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Limap Hi Tech Information Technology Co ltd
Original Assignee
Qingdao Limap Hi Tech Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Limap Hi Tech Information Technology Co ltd filed Critical Qingdao Limap Hi Tech Information Technology Co ltd
Priority to CN202211058283.6A priority Critical patent/CN115424276B/zh
Publication of CN115424276A publication Critical patent/CN115424276A/zh
Application granted granted Critical
Publication of CN115424276B publication Critical patent/CN115424276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习技术的船牌号检测方法，包括构建检测数据集和船牌号位置检测模型；基于所述检测数据集，训练所述船牌号位置检测模型；将训练后的船牌号位置检测模型进行特征提取，获得船牌号位置特征图；验证所述船牌号位置特征图，得到验证结果，基于所述验证结果，得到合格的船牌号位置检测模型；基于所述合格的船牌号位置检测模型，输出最终船牌号位置图片。本发明设计一种个性化深度学习架构方案，并进行训练，得到个性化的船牌号检测模型，实现对船牌号位置高准确度的检测。

Description

一种基于深度学习技术的船牌号检测方法
技术领域
本发明涉及海洋港口管理领域，尤其涉及一种基于深度学习技术的船牌号检测方法。
背景技术
水路运输是推动人类文明发展最重要的运输方式之一。近年来，随着我国海洋经济的不断发展以及海洋数字化城市的不断建设，船舶的使用数量也相应地增长。港口是船只的主要聚集点，随着船的数量的增长，诸如船只碰撞、渔船非法出海捕捞和船舶安全管理等水路交通安全管理问题频繁发生。这使得对港口船只诸如身份识别和安全运输等问题的研究具有重要价值。
中国的海洋意识在不断地加强，国家越来越注重发展海洋经济。而且随着社会经济不断的发展，我国的现代化基础设施在不断的完善，而物联网，大数据，互联网等新一代信息技术与港口的运输业务融合起来，这必将在更高的层面上实现港口资源优化配置，助推智慧港口更好地建设发展。
目前我国的港口智能化建设还处于初级阶段，通信基础的设施、海洋数据研究中心的建设以及实现对海洋信息资源的处理技术还有待提高。随着海洋经济的发展以及海洋城市数字化的建设，我国港口船只的数量也在快速增长，这使得港口的船只运输管理变得越来越重要。水路运输一直以来都是人类最重要的交通运输方式，每天都会有成千上万的船只在中国沿海地带的港口停靠。一般港口可为船只的安全进出和停泊提供方便，这使得它成为运输系统的重要节点。然而渔船的运输管理会遇到各种各样的问题，比如运输管理混乱、违法捕捞、超载和台风等自然灾害对渔船的安全等问题。
水路运输最重要的载体就是船只，这使船与岸、船与船之间如何准确及时地进行数据交换和身份识别成为了很重要的问题。船只身份的正确识别保证了船与船之间通信的畅通无阻，以及岸边对船只的安全监控。目前已有一些船舶识别系统，比如船舶自动识别系统 (Automatic Identification System,AIS)，它是指船只通过AIS 系统进行航行数据的通信与交换，从而达到避免碰撞的目的。但这种设备本身存在着局限性，比如AIS系统设计的不合理性给船只之间的沟通协调带来了麻烦等。而且这种系统并不是通过位置检测的途径来进行船只身份识别的。
发明内容
本发明的目的是提供一种基于深度学习技术的船牌号检测方法，根据船牌具有悬挂位置不统一、背景颜色不统一、字符个数与字体不统一等问题及深度学习技术特点，设计一种个性化深度学习架构方案，并进行训练，得到个性化的船牌号检测模型，实现对船牌号位置高准确度的检测。
为实现上述目的，本发明提供了如下方案：
一种基于深度学习技术的船牌号检测方法，包括：
构建检测数据集和船牌号位置检测模型；
基于所述检测数据集，训练所述船牌号位置检测模型；
将训练后的船牌号位置检测模型进行特征提取，获得船牌号位置特征图；
验证所述船牌号位置特征图，得到验证结果，基于所述验证结果，得到合格的船牌号位置检测模型；
基于所述合格的船牌号位置检测模型，输出最终船牌号位置图片。
优选地，所述船牌号位置检测模型包括：
输入层、编码层和解码层；
所述输入层用于将所述检测数据集输入到所述编码层中；所述编码层用于提取所述检测数据集的特征信息；所述解码层用于计算所述特征信息，得到文本框；
其中，所述编码层包括：SENet模块和ResNet残差模块；
所述SENet模块用于提取所述检测数据集的全局特征信息；所述ResNet残差模块用于提取所述检测数据集的局部特征信息。
优选地，训练所述船牌号位置检测模型的过程包括：
将所述检测数据集划分为训练数据集、测试数据集和验证数据集；
将所述训练数据集分别输入到所述SENet模块和所述ResNet残差模块进行特征信息提取，得到SENet特征结果和ResNet特征结果；
将所述SENet特征结果和所述ResNet特征结果输入到所述解码层，得到概率图和阈值图；
对所述概率图和所述阈值图进行计算，得到近似二值图；
基于所述近似二值图、所述概率图和所述阈值图，获取文本框。
优选地，得到所述SENet特征结果包括：
对所述训练数据集进行卷积计算得到的各通道特征图；
对所述各通道特征图进行Squeeze操作，得到各通道的全局特征；
对所述各通道的全局特征进行Extraction操作，得到各通道间的关系和各通道间的权值；
基于所述各通道间的权值与所述各通道特征图进行计算，得到所述SENet特征结果。
优选地，对所述各通道特征图进行Squeeze操作包括：
其中，uc(i,j)表示图像中的一个像素，W和H分别表示图像的宽度和高度，i为第i行，j为第j列，Fsq(uc)为全局平均池化函数，uc为通道内高为H，宽为W的全部空间信息，sq为Squeeze压缩操作缩写。
优选地，对所述各通道的全局特征进行Extraction操作包括：
s＝Fex(z,W)＝σ(g(z,W))＝σ(W2ζ(W1,z))
其中，Fex()为Extraction激励操作，z为经过Squeeze压缩操作之后生成的一维实数，ex为Extraction激励操作缩写，W1为第一个全连接层中的权重，W为为每个通道生成权重，W2为第二个全连接层中的权重，σ()为激活函数，R为实数，c为特征通道数，ζ为， r为系数，为一个超参数，σ和δ为激活函数。
优选地，基于所述各通道间的权值与所述各通道特征图进行计算的方法包括：
xc＝Fscale(uc,s)＝sc·uc
其中，uc为公式计算的每个通道的特征图像，sc为全连接层缩放后的第C个通道的权值，Fscale()为Scale缩放操作。
优选地，得到所述概率图和所述阈值图包括：
基于可变形卷积对所述SENet特征结果和所述ResNet特征结果进行特征融合，得到融合后的特征结果；
将所述融合后的特征结果输入到所述解码层，得到所述概率图和所述阈值图。
优选地，获取文本框包括：
获取所述阈值图的标签、所示概率图的标签、所述近似二值图的标签，并定义偏移量；
对所述概率图的标签、所述阈值图的标签、所述近似二值图的标签进行计算，得到第一计算结果；
对所述偏移量进行归一化处理；
将归一化处理后的所述偏移量和所述第一计算结果进行相减计算，得到第二计算结果；
对所述第二计算结果进行缩放，获得所述文本框。
优选地，得到所述合格的船牌号位置检测模型包括：
基于所述文本框，获取船牌号位置特征图；
将所述测试数据集输入到所述船牌号位置检测模型，并将所述船牌号位置特征图与真实值之间的误差进行反向传播，更新所述船牌号位置检测模型的权值，验证更新后的所述船牌号位置检测模型是否合格，若合格，得到所述合格的船牌号位置检测模型，获得误差最小的所述船牌号位置特征图；若不合格，则继续训练所述船牌号位置检测模型。
本发明的有益效果为：
本发明基于船牌号位置检测模型可以及时得出该船舶的基本信息，方便事故追溯和及时抢修索赔，有利于规范行船行为，确保水上交通顺畅；
在后续船舶号检测与识别的研究中，本发明公开的船舶号位置数据集会为国内外相关船舶号检测与识别领域的研究提供强有力的数据支持。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于深度学习技术的船牌号检测方法的流程图；
图2为本发明实施例SE-DBnet模块的结构图；
图3为本发明实施例SENet基本框架的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
本发明基于DBnet文字检测算法在处理横向、纵向和卷曲文字上都有很好的效果；DBnet文字检测算法比多数文字检测算法要快得多，得益于DBnet算法可以生成二值图，显著地简化了后处理；DBnet文字检测算法即使用轻量级的骨架网络，表现也很好；可微分二值化部分，在推理过程中可以去掉，不会有更多的内存/时间开销；
本发明将DBnet文字检测算法中的特征提取层进行改进，经过综合考虑设备环境及图像训练难度，选用ResNet34作为特征提取网络进行特征提取。但是在图像的特征提取过程中，对于图像中的权重注意力大小很难有效的确定。选用SENet对特种提取网络中的特征权重进行分配。SENet在于通过网络根据loss去学习特征权重,获取到每个feature map的重要程度，然后用这个重要程度去给每一个特征通道赋予一个权重值,从而让神经网络去重点关注某些feature map,使得有效的feature map权重大,无效或效果小的featuremap权重小, 使模型达到更好的效果,同时也不可避免的增加了一些参数和计算量。
因此本发明基于DBnet网络的特征提取层，提出SENet加入特征提取网络ResNet34中，构建SE-DBnet船牌号位置检测模型。
船牌号的检测模型构建分为3步，第一步数据收集与处理；第二步构建船牌检测数据集；第三步构建基于DBnet的船牌号位置检测模型。
如图1所示，数据处理和构建船牌检测数据集，首先构建船牌号位置检测数据集需要通过港口周围的摄像头收集指定区域内的含有船牌号的图片数据，然后通过labelme软件对图片中的船牌进行人工标注，最终形成船牌号位置检测数据集。将数据集分为训练数据集、测试数据集和验证数据集，同时设计研发适合该数据集的深度学习框架，将处理好的训练数据集导入框架模型中进行训练，然后使用没有参与训练的数据集进行测试，根据测试结果调试超参数，修改模型，得到误差最低，准入度最高的针对性模型，最终得到船牌号位置检测模型。
指定区域的烟台船牌号位置检测数据集
根据研究区域，收集船牌号检测数据。数据样式为包含了船牌号的船舶图像。
图像数据清洗和预处理
对数据集进行清洗，剔除、异常图像数据，剔除图像不清晰、不是船牌的数据。数据集至少整理出9000张有效数据。其中：随机以 8:1:1划分数据集，其中80％作为训练集，10％作为测试集，10％作为预测集。
设计基于深度学习船牌号位置检测模型
该自研模型由输入层，编码层、解码层构成。编码层采用特征提取网络ResNet34算法，解码层由预测概率图和预测阈值图以及预测二值图的网络构成；基于输入层，将所述检测数据集输入到编码层中，提取所述检测数据集的特征信息，将所述检测数据集的特征信息输入到解码层中，计算所述特征信息，得到文本框；编码层包括：SENet模块和ResNet残差模块；将所述检测数据集输入到所述SENet模块中，提取所述检测数据集的全局特征信息；将所述检测数据集输入到所述ResNet残差模块中，提取所述检测数据集的局部特征信息；
用于实现该装置的方法如下：
将所述检测数据集划分为训练数据集、测试数据集和验证数据集；
将所述训练数据集分别输入到所述SENet模块和所述ResNet残差模块进行特征信息提取，得到SENet特征结果和ResNet特征结果；
将所述SENet特征结果和所述ResNet特征结果输入到所述解码层，得到概率图和阈值图；
对所述概率图和所述阈值图进行计算，得到近似二值图；
基于所述近似二值图、所述概率图和所述阈值图，获取文本框。
具体操作如下：
模型数据首先通过输入层进入改进后加入SENet算法的编码层特征提取网络ResNet中进行特征提取。SE模块主要包括挤压、激励、重新标注3个层次，首先需要对利用卷积计算得到的特征图进行 Squeeze操作，得到各个通道的全局特征，然后对全局特征进行Extraction操作，得到各通道间的关系和权值，最后利用通道权重与原图相乘，得到了特征图的最终特征分布，SENet基本框架如图2所示。
Squeeze操作采用global average pooling将一个通道上的所有信息行平均，得到通道上的全局特征，解决了CNN网络中的感受野较小问题，计算方法采用公式(1)。
其中，uc(i,j)表示图像中的一个像素，W和H分别表示图像的宽度和高度，i为第i行，j为第j列，Fsq(uc)为全局平均池化函数，uc为通道内高为H，宽为W的全部空间信息，sq为Squeeze压缩操作缩写。
Squeeze操作对所有像素值求和后取平均值。Excitation操作需要各通道中信息的关系；
如公式(2)所示，采用2个全连接的bottleneck结构，其中，r参考inception网络中为系数，为一个超参数，σ和δ为2个激活函数，经过计算，可以提取由公式(2)压缩后的图像特征；
s＝Fex(z,W)＝σ(g(z,W))＝σ(W2ζ(W1,z)) (2)
Fex()为Extraction激励操作，z为经过Squeeze压缩操作之后生成的一维实数，ex为Extraction激励操作缩写，W1为第一个全连接层中的权重，W为为每个通道生成权重，W2为第二个全连接层中的权重，σ()为激活函数，R为实数，c为特征通道数，ζ为，r 为超参数，σ和δ为激活函数。
最后利用学习得到的权重参数与原卷积网络计算的各通道特征相乘，计算得到SENet的输出，如公式(3)所示。
xc＝Fscale(uc,s)＝sc·uc (3)
其中，uc表示公式计算的每个通道的特征图像，sc表示为全连接层缩放后的第C个通道的权值，Fscale()为Scale缩放操作，相乘后得到融合后的图像信息。
如图3所示，将SENet模块和ResNet残差模块结合，在图像上同时捕获全局和局部信息，避免了信息丢失。
在结合了SENet算法的ResNet34特征提取网络提取完特征后，从特征提取网络不同的stage抽取特征，然后对这些特征做特征融合，最后得到特征图，对于这个部分的实现采用在 stage2,stage3,stage4使用可变形卷积来提升骨干网络的特征提取的效果，可变形卷积改善了一般卷积的格点采样的方式，采取在卷积核的每个采样点后面加入一个偏移量，此偏移量为可变卷积中的偏移量，使卷积核在采样点发生偏移，集中于我们感兴趣的区域，来增加网络对于几何形变的适应能力，使得模型更好的支持长文本检测。
船牌图片在经过搭建的特征提取网络后会得到特征图，这个特征图在解码部分会预测两个结果，一个是概率图，代表像素点是文本的概率，此外还会预测一个边缘图，即阈值图，代表每个像素点的阈值。概率图就代表文本区域，阈值图就是对文本区域做一个收缩和扩张，然后求一个差值，就得到了文本的边界。得到概率图和阈值图之后，我们使用近似的二值化的公式就可以求到一个二值图。二值化的公式如公式(4)所示
上式中T代表了网络学习的阈值图，k代表一个因子，输出的代表近似二值图，Tij为阈值图，Pij为概率图，j为纵坐标，i为横坐标。
与此同时获取二值图、阈值图、概率图的标签，二值图和概率图使用的是相同的标签，并定义一个偏移量D
式中，r是预先设置的缩放因子，L为标注框的周长，A为标注框的面积。
然后把每个标注框缩小该大小的偏移量，得到的标签图成为Gs，原始标注框G。
阈值图T的标签生成过程如下：首先，使用上述偏移量D来对原始标注框G进行扩充，得到的框为Gd。然后，计算出在框Gd内的所有的点到G的四条边的最小距离(即Gd框内点距离最近的G框边的距离)。接着，将求得的最小距离通过除以偏移量D来进行归一化，要求将归一化的距离限制在[0,1]内，也就是将大于1的改为1，小于0 的改为0。然后使用1减去上一步中得到的map(Gd框内点距离最近的G框边的距离)，由此便可以得到Gd框和Gs框之间的像素到G框最近边的归一化距离。由于阈值T的label不能为0或者1，因此需要对label值进行一定的缩放，将1缩放为0.7，将0缩放为0.3，得到最终的文本框。
二值图和概率图的标签生成过程为，将原始多边形标注框pn缩小了di个像素，得到了缩小的多边形。随后，将每个缩小的多边形pi转移到0/1二进制掩码中，作为进行分割标签的底图。缩放比例视为ri，则pn和pi之间的边距di可计算为：
其中Area()是计算多边形面积的函数；Perimeter()是计算多边形周长的函数；另外，缩放比例ri定义为：
其中m是最终缩放比例，n是核的个数。
在训练的时候，会对概率图、阈值图、二值图分别去计算损失，并求一个加权的总损失，用这种方式我们就可以得到一个更加准确的预测结果。网络的损失函数定义为：
L＝Ls+α×Lb+β×Lt
其中Ls代表概率图损失，Lb代表二值图损失，Lt代表阈值图损失，α＝1.0，β＝10.0。
Ls和Lb的计算是通过使用相同的二进制交叉熵损失函数。
其中，xi为概率图或二值图的label，yi为阈值图的label，i为像素，Si为整个图片面积下的像素；
Lt的计算使用Lt距离损失：
其中，是阈值图的label,而Rd是标注框经过扩充D偏移量后得到的Gd里的所有像素。
模型验证
为了验证本发明提出的SE-DBnet模型在船牌号位置检测上的良好效果，将得到的最终检测的照片与实际照片，进行了算法对比实验。本实验采用准确率(P)、召回率(R)、F1Measure(F值)为评价标准。评估公式如下：
其中，TP代表正样本预测为真的情况，FP代表反样本预测为真的情况，FN代表真样本预测为假的情况，P为准确率，R为召回率。
实施例2
数据收集与筛选：
通过芝罘区港口周围所布置的摄像头拍摄含有船牌的船舶图片；
通过labelme软件进行标注，将标注完成的图片构成船牌号位置检测数据集；
船牌图像数据筛选和标注完成后，训练数据集整理出1万组有效图像数据。
模型训练和验证
根据整理好的船牌号位置检测训练集和验证集以及修改和搭建好的船牌检测模型开始进行模型的训练和验证。后续将实时的渔船船牌数据导入模型，对该区域内的船牌号位置进行检测。
训练步骤如下：
将整理好的船牌号位置检测训练集输入加入SENet算法的特征提取网络ResNet34中,通过多个卷积层提取船牌的多维特征，经过上采样融合并concat操作后便可以形成最终的特征图。
该输出特征图输入到解码层，通过网络来预测概率图和阈值图；
最后利用概率图和阈值图计算得到近似二值图
通过概率图或者近似二值图来获取文本框；
通过输出层的输出结果计算与真实值之间的误差，真实值为船牌实际所在位置的特征图；
误差反向传播，更新各个权值；
调整该模型超参数，并重复以上步骤，对比误差值最低的模型，完成模型训练，生成适用于船牌号位置检测的模型。
模型验证
将整理好的测试数据集输入到训练好的模型网络中，通过处理得到船牌号位置检测图片，使用精度和召回率作指标。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明，本具体实施方式以芝罘区部分渔港为例进行说明。
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (5)

1.一种基于深度学习技术的船牌号检测方法，其特征在于，包括：
构建检测数据集和船牌号位置检测模型；
所述船牌号位置检测模型包括：
输入层、编码层和解码层；
所述输入层用于将所述检测数据集输入到所述编码层中；所述编码层用于提取所述检测数据集的特征信息；所述解码层用于计算所述特征信息，得到文本框；
其中，所述编码层包括：SENet模块和ResNet残差模块；
所述SENet模块用于提取所述检测数据集的全局特征信息；所述ResNet残差模块用于提取所述检测数据集的局部特征信息；
基于所述检测数据集，训练所述船牌号位置检测模型；
训练所述船牌号位置检测模型的过程包括：
将所述检测数据集划分为训练数据集、测试数据集和验证数据集；
将所述训练数据集分别输入到所述SENet模块和所述ResNet残差模块进行特征信息提取，得到SENet特征结果和ResNet特征结果；
将所述SENet特征结果和所述ResNet特征结果输入到所述解码层，得到概率图和阈值图；
对所述概率图和所述阈值图进行计算，得到近似二值图；
基于所述近似二值图、所述概率图和所述阈值图，获取文本框；
得到所述SENet特征结果包括：
对所述训练数据集进行卷积计算得到的各通道特征图；
对所述各通道特征图进行Squeeze操作，得到各通道的全局特征；
对所述各通道的全局特征进行Extraction操作，得到各通道间的关系和各通道间的权值；
基于所述各通道间的权值与所述各通道特征图进行计算，得到所述SENet特征结果；将训练后的船牌号位置检测模型进行特征提取，获得船牌号位置特征图；
验证所述船牌号位置特征图，得到验证结果，基于所述验证结果，得到合格的船牌号位置检测模型；
基于所述合格的船牌号位置检测模型，输出最终船牌号位置图片；
得到所述概率图和所述阈值图包括：
基于可变形卷积对所述SENet特征结果和所述ResNet特征结果进行特征融合，得到融合后的特征结果；
将所述融合后的特征结果输入到所述解码层，得到所述概率图和所述阈值图；
获取文本框包括：
获取所述阈值图的标签、所述概率图的标签、所述近似二值图的标签，并定义偏移量；
对所述概率图的标签、所述阈值图的标签、所述近似二值图的标签进行计算，得到第一计算结果；
对所述偏移量进行归一化处理；
将归一化处理后的所述偏移量和所述第一计算结果进行相减计算，得到第二计算结果；
对所述第二计算结果进行缩放，获得所述文本框。
2.根据权利要求1所述的一种基于深度学习技术的船牌号检测方法，其特征在于，对所述各通道特征图进行Squeeze操作包括：
其中，uc(i,j)表示图像中的一个像素，W和H分别表示图像的宽度和高度，i为第i行，j为第j列，Fsq(uc)为全局平均池化函数，uc为通道内高为H，宽为W的全部空间信息，sq为Squeeze压缩操作缩写。
3.根据权利要求1所述的一种基于深度学习技术的船牌号检测方法，其特征在于，对所述各通道的全局特征进行Extraction操作包括：
s＝Fex(z,W)＝σ(g(z,W))＝σ(W2ζ(W1,z))
其中，Fex()为Extraction激励操作，z为经过Squeeze压缩操作之后生成的一维实数，ex为Extraction激励操作缩写，W1为第一个全连接层中的权重，W为每个通道生成权重，W2为第二个全连接层中的权重，R为实数，c为特征通道数，r为系数，σ、δ和g均为激活函数。
4.根据权利要求1所述的一种基于深度学习技术的船牌号检测方法，其特征在于，基于所述各通道间的权值与所述各通道特征图进行计算的方法包括：
xc＝Fscale(uc,s)＝sc·uc
其中，uc为公式计算的每个通道的特征图像，sc为全连接层缩放后的第C个通道的权值，Fscale()为Scale缩放操作。
5.根据权利要求1所述的一种基于深度学习技术的船牌号检测方法，其特征在于，得到所述合格的船牌号位置检测模型包括：
基于所述文本框，获取船牌号位置特征图；
将所述测试数据集输入到所述船牌号位置检测模型，并将所述船牌号位置特征图与真实值之间的误差进行反向传播，更新所述船牌号位置检测模型的权值，验证更新后的所述船牌号位置检测模型是否合格，若合格，得到所述合格的船牌号位置检测模型，获得误差最小的所述船牌号位置特征图；若不合格，则继续训练所述船牌号位置检测模型。
CN202211058283.6A 2022-08-30 2022-08-30 一种基于深度学习技术的船牌号检测方法 Active CN115424276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211058283.6A CN115424276B (zh) 2022-08-30 2022-08-30 一种基于深度学习技术的船牌号检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211058283.6A CN115424276B (zh) 2022-08-30 2022-08-30 一种基于深度学习技术的船牌号检测方法

Publications (2)

Publication Number Publication Date
CN115424276A CN115424276A (zh) 2022-12-02
CN115424276B true CN115424276B (zh) 2023-09-22

Family

ID=84201186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211058283.6A Active CN115424276B (zh) 2022-08-30 2022-08-30 一种基于深度学习技术的船牌号检测方法

Country Status (1)

Country Link
CN (1) CN115424276B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453105B (zh) * 2023-06-20 2023-08-18 青岛国实科技集团有限公司 基于知识蒸馏深度神经网络的船牌号识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008639A (zh) * 2019-10-17 2020-04-14 安徽清新互联信息科技有限公司 一种基于注意力机制的车牌字符识别方法
CN113297929A (zh) * 2021-05-10 2021-08-24 大连理工大学 基于全过程可视化的卷积神经网络微震监测波形识别方法
CN114445807A (zh) * 2022-01-19 2022-05-06 浙江网商银行股份有限公司 一种文本区域检测方法及装置
CN114926826A (zh) * 2022-04-27 2022-08-19 新疆大学 场景文本检测系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008639A (zh) * 2019-10-17 2020-04-14 安徽清新互联信息科技有限公司 一种基于注意力机制的车牌字符识别方法
CN113297929A (zh) * 2021-05-10 2021-08-24 大连理工大学 基于全过程可视化的卷积神经网络微震监测波形识别方法
CN114445807A (zh) * 2022-01-19 2022-05-06 浙江网商银行股份有限公司 一种文本区域检测方法及装置
CN114926826A (zh) * 2022-04-27 2022-08-19 新疆大学 场景文本检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Multi-scale single image rain removal using a squeeze-and-excitation residual network";Rushi Lan et al.;《elsevier》;第1-10页 *
"基于DBNet 网络的瓶盖文字目标检测";吴鑫磊等;《研究与开发》;第47-52页 *

Also Published As

Publication number Publication date
CN115424276A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN110503112B (zh) 一种增强特征学习的小目标检测及识别方法
CN110033000B (zh) 一种票据图像的文本检测与识别方法
CN110889449A (zh) 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
WO2020046213A1 (en) A method and apparatus for training a neural network to identify cracks
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN115035295B (zh) 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法
CN115424276B (zh) 一种基于深度学习技术的船牌号检测方法
CN113255430A (zh) 基于深度学习的视频中人群分布检测与计数方法
CN115424017B (zh) 一种建筑物内外轮廓分割方法、装置及存储介质
CN116091764A (zh) 一种基于融合变换网络的云图像分割方法
CN115115863A (zh) 水面多尺度目标检测方法、装置及系统和存储介质
CN116152678A (zh) 小样本条件下基于孪生神经网络的海洋承灾体识别方法
CN116309536A (zh) 一种路面裂缝检测方法及存储介质
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN113011338A (zh) 一种车道线检测方法及系统
CN113887330A (zh) 一种基于遥感图像的目标检测系统
CN109284752A (zh) 一种车辆的快速检测方法
CN110929726B (zh) 一种铁路接触网支柱号牌识别方法及系统
Danilenko License plate detection and recognition using convolution networks
Ebren et al. Determining the occupancy of Vehicle Parking Areas by deep learning
CN113192018B (zh) 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法
CN116012709A (zh) 一种高分辨率遥感影像建筑物提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant