CN116189162A - 一种船牌检测与识别方法、装置、电子设备和储存介质 - Google Patents

一种船牌检测与识别方法、装置、电子设备和储存介质 Download PDF

Info

Publication number
CN116189162A
CN116189162A CN202211269284.5A CN202211269284A CN116189162A CN 116189162 A CN116189162 A CN 116189162A CN 202211269284 A CN202211269284 A CN 202211269284A CN 116189162 A CN116189162 A CN 116189162A
Authority
CN
China
Prior art keywords
image
map
ship
threshold
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211269284.5A
Other languages
English (en)
Inventor
赵伟
马召标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Technology AHUT
Original Assignee
Anhui University of Technology AHUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Technology AHUT filed Critical Anhui University of Technology AHUT
Priority to CN202211269284.5A priority Critical patent/CN116189162A/zh
Publication of CN116189162A publication Critical patent/CN116189162A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种船牌检测与识别方法、装置、电子设备和储存介质，涉及计算机应用技术及目标检测技术领域。通过引入DBnet模型与CRNN模型进行训练与测试，解决船只检测与识别存在的效率低下、检测识别精度低的技术问题。本申请的方法包括：接收第一图像；处理接收到的所述第一图像，获得DBnet数据集；根据所述DBnet数据集生成概率图标签Gs和阈值图标签Gd；发送所述第一图像到残差神经网络网络，获得所述概率图、所述阈值图、所述近似二值图、所述总损失值L和所述预测分；判断所述坐标点个数与预测分，若符合要求，则进入下一步，否则移出检测流程；导入CRNN模型识别所述第一图像中的文字、字母和数字；输出船牌名。

Description

一种船牌检测与识别方法、装置、电子设备和储存介质
技术领域
本发明涉及计算机应用技术领域及目标检测技术领域，具体涉及一种船牌检测与识别方法、装置、电子设备和储存介质。
背景技术
伴随时代发展，我国的水路运输产生了天翻地覆的变化，船只作为水路运输的重要载体为水路运输创造了丰富的价值，所以维护水路运输的稳定性对于保障民生、提高生产力至关重要。维护水路运输稳定性的重要做法就是检测并识别船只的身份，让合规的船只在船与船、船与港口之间进行安全的数据交换。近年来，我国港口不断发生非法捕鱼、违法停泊、船只碰撞等事件，此类事件造成的后果不仅降低了港口运行效率，同时侵害了人们的财产，甚至危及到人员的生命。因此，制定合理的管理制度，优化船只管理系统对于提高港口对船只的管理能力，维护船只运输系统的有序运行尤为重要。基于此，实际生产生活中需要一套行之有效的管理系统以及管理办法进行船只号牌检测与身份识别，获取船只的有效信息，而船只号牌如何快速有效地检测与识别是我们研究问题的中心。
深度学习以及图像处理等计算机视觉技术在人脸识别、光学字符识别等领域都取得了很大成就，但针对于水路安全的研究与应用还有所欠缺。船牌识别属于场景文字检测，而船牌不像车牌一样具有固定的位置、固定的文字类型和有限的文字个数，船牌的文字、类型和位置具有随机性与多样性。因此利用船牌进行检测与识别从而确定船只身份面临着非常大的阻碍。
科技的不断发展与进步正逐渐地改变人们的生产生活方式，使我们的生产生活变得简洁高效。人工智能技术、计算机硬件技术跟随科技飞速发展，使得神经网络的应用成为现实。关于深度学习方面的算法数不胜数，其中DBnet以其高精度的特性被运用到许多目标检测之中，但是将DBnet运用到检测并识别船牌中的案例十分匮乏，现阶段并无合理运用DBnet的高精度特性准确检测并识别船牌的方法，船只的检测与识别仍然存在效率低下、检测识别精度低的问题。
发明内容
本发明目的在于提供一种船牌检测与识别方法、装置、电子设备和储存介质，通过引入DBnet进行模型训练与模型测试，用于解决船只的检测与识别仍然存在效率低下、检测识别精度低的技术问题。
为达成上述目的，本发明提出如下技术方案：
本申请的第一方面，提出一种船牌检测与识别方法，包括：
接收第一图像，其中，所述第一图像包含有船舶的船牌；
处理接收到的所述第一图像获得DBnet数据集，其中，所述DBnet数据集包含有所述第一图像的坐标点；
根据所述DBnet数据集生成概率图标签Gs和阈值图标签Gd；
发送所述第一图像到残差神经网络，获得概率图和阈值图；根据所述概率图和所述阈值图获得近似二值图；根据所述概率图标签Gs、所述阈值图标签Gd和所述近似二值图获得总损失L；根据所述总损失L获得预测分；
判断所述坐标点个数与预测分，若所述坐标点的个数＞4且所述预测分＞0.7，则进入以下步骤，否则移出检测流程；
利用CRNN模型识别所述第一图像中的文字、字母和数字；
根据所述第一图像中的文字、字母和数字获得船牌名。
进一步的，所述发送所述第一图像到残差神经网络，获得概率图和阈值图；根据所述概率图和所述阈值图获得近似二值图；根据所述概率图标签Gs、所述阈值图标签Gd和所述近似二值图获得总损失值L；根据所述总损失值L获得预测分的方法包括：
通过FPN结构按照卷积公式自底向上采样，获得所述第一图像大小比例的1/2、1/4、1/8、1/16、1/32的第一特征图；
通过FPN结构按照卷积公式自顶向下采样，获得所述第一图像大小比例的1/2、1/4、1/8、1/16、1/32的第二特征图；
融合所述第一特征图与所述第二特征图并采用3x3的卷积消除上采样的混叠效应获得第三特征图；
对所述第三特征图上采样获得统一为所述第一图像大小比例的1/4大小的第四特征图；
对所述第四特征图经过若干卷积和转置卷积转化后获得第五特征图，所述第五特征图的大小与所述第一图像大小比例相同；
对所述第五特征图经过sigmoid函数计算生成概率图与阈值图；
对所述概率图与所述阈值图进行可微分的二值化操作生成近似二值图；
对所述DBnet数据集和所述概率图标签Gs进行二值交叉熵计算获得概率图损失Ls与近似二值图损失Lb；
对所述阈值图标签Gd进行L1 Loss计算获得所述阈值图损失Lt；对所述概率图损失Ls、所述近似二值图损失Lb和所述阈值图损失Lt相加获得总损失L；
对所述总损失L和所述阈值图固定阈值处理获得分割图；对所述分割图计算、遍历每个轮廓并去除无效预测获得第一轮廓；对所述第一轮廓计算包围矩形获得预测分。
进一步的，所述接收第一图像，其中，所述第一图像包含有船舶的船牌的方法包括：
接收所述第一图像；
利用PaddleOCR工具切割所述第一图像获得一标注框，其中，所述标注框包含所述船牌信息；
根据所述标注框获得第一文本文件，其中，所述第一文本文件包含有所述第一图像的坐标和识别内容；
根据所述第一文本文件获得一DBnet数据集，其中，所述DBnet数据集为icdar2015格式，所述DBnet数据集包含test、train和val的第二文本文件。
进一步的，所述根据所述DBnet数据集生成概率图标签Gs和阈值图标签Gd的方法包括：
所述第一图像包含的文字图像为多边形，对该多边形使用一组线段公式
Figure BDA0003894522970000041
描述，其中，n为线段个数；根据所述线段公式生成所述概率图标签Gs。
进一步的，所述根据所述DBnet数据集生成概率图标签Gs和阈值图标签Gd的方法包括：
根据该多边形的周长L、面积A和收缩因子r利用偏移量公式
Figure BDA0003894522970000042
计算得到偏移量D；根据所述偏移量D进行多边形扩充，获得概率图标签Gs到阈值图标签Gd的中间区域；设置所述标注框所在位置为0，计算所述中间区域到所述标注框的距离并且得到与最近边的长度，该长度为所述阈值图标签Gd。
进一步的，所述总损失L计算公式为
Figure BDA0003894522970000043
所述概率图损失Ls、所述近似二值图损失Lb的计算公式为/>
Figure BDA0003894522970000044
其中，Si为所述DBnet数据集，所述DBnet数据集正负样本量比例为1：3；所述Lt计算方法为
Figure BDA0003894522970000045
式中Rd为所述标注框经过所述偏移量D扩充后的所有像素。
进一步的，所述利用CRNN模型识别所述第一图像中的文字、字母和数字的方法包括：
接收所述船牌数据中包含的文字、字母和数字第一信息；
利用卷积神经网络提取所述第一信息的特征；
利用循环神经网络预测所述特征的标签分布；
利用连接时序分类对所述标签分布去重整合转化成最终识别结果。
本申请的第二方面，提出一种船牌检测与识别装置，包括：
接收模块，用于接收第一图像，其中，所述第一图像包含有船舶的船牌；
处理模块，用于处理接收到的所述第一图像获得DBnet数据集，其中，所述DBnet数据集包含有所述第一图像的坐标点；
根据所述DBnet数据集生成概率图标签Gs和阈值图标签Gd；
发送模块，用于发送所述第一图像到残差神经网络，获得概率图和阈值图；根据所述概率图和所述阈值图获得近似二值图；根据所述概率图标签Gs、所述阈值图标签Gd和所述近似二值图获得总损失L；根据所述总损失L获得预测分；
判断模块，用于判断所述坐标点个数与预测分，若所述坐标点的个数＞4且所述预测分＞0.7，则进入以下步骤，否则移出检测流程；
识别模块，用于利用CRNN模型识别所述第一图像中的文字、字母和数字；
输出模块，用于根据所述第一图像中的文字、字母和数字获得船牌名。
本申请的第三方面，提出一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实施如权利要求1～7中任意一项所述的船牌检测与识别方法。
本申请的第四方面，提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实施如权利要求1～7中任意一项所述的船牌检测与识别方法。
有益效果：
由以上技术方案可知，本申请的技术方案提供了一种船牌检测与识别方法、装置、电子设备和储存介质，通过选取不同类型，不同大小，不同角度等各种不同特征的船牌作为训练数据并标注，使得样本丰富多样。本申请利用DBnet模型和CRNN模型识别船牌，与传统的手动提取特征和利用简单神经网络的方法相比，节省了检测时间并且准确率也大大提高。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不表示按照真实参照物比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1为本申请实施例中的船牌识别方法的总体流程图；
图2为本申请实施例中的船牌识别方法的概率图、阈值图和近似二值图获得流程图；
图3为本申请实施例中的DBnet的算法流程图；
图4为本申请实施例中的CRNN算法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，除非上下文清楚地指明其它情况，否则单数形式的“一个”“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的特征、整体、步骤、操作、元素和/或组件，并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。“上”“下”“左”“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
由于船牌在自然情况下类型大小都不相同，用传统的方法很难所有的船牌进行非常准确的检测与识别。船牌识别属于场景文字检测，而船牌不像车牌一样具有固定的位置、固定的文字类型和有限的文字个数，船牌的文字、类型和位置具有随机性与多样性。因此利用船牌进行检测与识别从而确定船只身份面临着非常大的阻碍。本发明旨在提出一种船牌检测与识别方法、装置、电子设备和储存介质，通过获取不同类型，不同大小，不同角度等各种不同特征的船牌作为训练数据并进行标注等处理，丰富样本；利用DBnet模型训练文字检测，利用CRNN模型训练船牌识别，最终经过模型测试输出完整的船名。与传统的手动提取特征和利用简单神经网络的方法相比，本申请节省了检测时间并且准确率也大大提高。
本发明实施例提供的船牌检测与识别方法如图1所示，具体步骤为：
步骤S102:接收第一图像，其中，所述第一图像包含有船舶的船牌；
步骤S104:处理接收到的所述第一图像获得DBnet数据集，其中，所述DBnet数据集包含有所述第一图像的坐标点；
步骤S106:根据所述DBnet数据集生成概率图标签Gs和阈值图标签Gd；
步骤S108:发送所述第一图像到残差神经网络，获得概率图和阈值图；根据所述概率图和所述阈值图获得近似二值图；根据所述概率图标签Gs、所述阈值图标签Gd和所述近似二值图获得总损失L；根据所述总损失L获得预测分；
步骤S110:判断所述坐标点个数与预测分，若所述坐标点的个数＞4且所述预测分＞0.7，则进入以下步骤，否则移出检测流程；
步骤S112:利用CRNN模型识别所述第一图像中的文字、字母和数字；
步骤S114:根据所述第一图像中的文字、字母和数字获得船牌名。
本申请实施例所述的船牌的识别与检测方法不受限于位置、文字类型和文字个数，排除了船牌的文字、类型和位置具有随机性与多样性的干扰，最后能够准确地输出所述船牌信息。在实际船牌检测场景下，船牌出现的形式包括水平文本、倾斜文本和曲形文本，利用本实施例所述方法能够在像素水平进行预测，能更好的描述实际船牌检测场景下不同形状的文字。
准确检测并识别船牌，首先得获取所述船牌信息。获取所述第一图像，进行如所述步骤S102的操作，所述第一图像为通过实地拍摄和数据增强处理获取的图片数据，获取所述图片数据后将所述图片数据格式保存为JPG的格式。
准确检测并识别船牌，其次得对所述船牌信息进行初步处理。在获取到包含所述船牌信息的所述第一图像后，进行如步骤S104所述操作，其中，处理所述第一图像的方法包括：接收所述第一图像；利用PaddleOCR工具切割所述第一图像获得一标注框，其中，所述标注框包含所述船牌信息；根据所述标注框获得第一文本文件，其中，所述第一文本文件包含有所述第一图像的坐标和识别内容。PaddleOCR工具的功能大体分为文本检测和文本识别两部分，通过对所述第一图像半自动标注，直接转化为文本,省去了繁杂的步骤。
准确检测并识别船牌，再其次得对所述船牌信息进行二次处理。在对所述第一图像的处理中，本申请实施例引入DBnet模型，所述DBnet模型执行的操作如图3所示，且所述DBnet模型具有以下优点：在基准数据集上表现得更好，包括处理横向、纵向和卷曲文字；利用DBnet可以生成可靠度更高的的二值图，显著地简化了后处理；即使使用轻量级的骨架网络，DBnet的表现也很好，跟残差神经网络的组合使用效果提升大；DBnet模型不会占用更多的内存，也不会产生更多的时间开销。
在本申请实施例中，所述第一图像还具有生成概率图标签Gs和阈值图标签Gd的作用，其中生成概率图标签Gs的方法包括：所述第一图像包含的文字图像为多边形，对该多边形使用一组线段公式
Figure BDA0003894522970000091
描述，其中，n为线段个数；根据所述线段公式生成所述概率图标签Gs。
生成阈值图标签Gd的方法包括：根据该多边形的周长L、面积A和收缩因子r利用偏移量公式
Figure BDA0003894522970000092
计算得到偏移量D；根据所述偏移量D进行多边形扩充，获得概率图标签Gs到阈值图标签Gd的中间区域；设置所述标注框所在位置为0，计算所述中间区域到所述标注框的距离并且得到与最近边的长度，该长度为所述阈值图标签Gd。
在获取到所述概率图标签Gs和所述阈值图标签Gd后，首先将所述第一图像输入到一残差神经网络；然后利用FPN结构按照卷积公式采样到特征图；接着使用该特征图来生成所述概率图和所述阈值图；最后通过所述概率图和所述阈值图计算近似二值图。在上述过程中，都会用到获取到所述概率图标签Gs和所述阈值图标签Gd去进行监督训练。
具体展开所述步骤S108，获得所述概率图、所述阈值图、所述近似二值图、所述总损失值L和所述预测分的方法如图2所示，包括：在通过FPN结构按照卷积公式自底向上采样后，获得所述第一图像大小比例的1/2、1/4、1/8、1/16、1/32的第一特征图；根据所述第一特征图；在通过FPN结构按照卷积公式自顶向下采样后，获得所述第一图像大小比例的1/2、1/4、1/8、1/16、1/32的第二特征图；根据所述第一特征图与所述第二特征图，在融合所述第一特征图与所述第二特征图并采用3x3的卷积消除上采样的混叠效应后，获得第三特征图；根据所述第三特征图，在对所述第三特征图上采样后，获得统一为1/4大小的第四特征图；根据所述第四特征图，在经过一系列卷积和转置卷积转化后，所述第四特征图转化为原图大小的第五特征图。
在经过经sigmoid函数计算后，生成概率图与阈值图；根据所述概率图与所述阈值图，在通过可微分的二值化操作后，生成近似二值图。
在所述步骤S108生成所述近似二值图中，之所以提出可微分的二值化操作，是因为标准二值化操作会给DBnet模型训练带来梯度不可微的情况。其次，对比二值化操作中DB曲线与标准二值化曲线，所述两条曲线具有很高的相似度，并且所述DB曲线是可微分的，从而达到了二值化的目的；此时，也可加入分割网络联合优化；同时，梯度的反向传播将DBNet的性能进行了提升，梯度被放大因子k增大，在错误预测的区域这一放大效果更为显著，进而可以促进所述DBnet模型的优化过程并产生更为清晰的预测结果。
由于在训练阶段输出了所述概率图、所述阈值图和所述近似二值图，所以在计算损失函数中，也需要有阈值对应的真实标签去构建损失函数才能缩小损失函数，最终实现更精准的检测。
根据所述DBnet数据集和所述概率图标签Gs，在二值交叉熵计算后，获得概率图损失Ls与近似二值图损失Lb；所述概率图损失Ls、所述近似二值图损失Lb的计算公式为
Figure BDA0003894522970000101
其中，Si为所述DBnet数据集，所述DBnet数据集正负样本量比例为1：3。
根据所述阈值图标签Gd，在L1 Loss计算后，获得所述阈值图损失Lt；根据L1 Loss方法计算阈值图损失值Lt，所述Lt计算方法为
Figure BDA0003894522970000102
式中Rd为所述标注框经过所述偏移量D扩充后的所有像素。
在所述概率图损失Ls、所述近似二值图损失Lb和所述阈值图损失Lt相加后，获得总损失L；所述总损失L计算公式为
Figure BDA0003894522970000103
基于以上方法，获得所述总损失L、所述概率图、所述阈值图和所述近似二值图，在固定阈值处理后，获得分割图；根据所述分割图，在计算轮廓、遍历每个轮廓、去除无效预测后，获得第一轮廓；根据所述第一轮廓，在对所述第一轮廓计算包围矩形后，获得预测分。
步骤S108作为所述DBnet模型关键步骤嵌套于整个船牌检测与识别流程中，如图3所示，经过判断检测合格船牌信息才能进入下一流程。
准确检测并识别船牌，之后得对检测到的所述船牌信息进行识别。在所述步骤S112中，利用所述CRNN模型进行识别操作，具体而言，所述CRNN模型识别所述第一图像中的文字、字母和数字，其操作方法如图4所示，包括：接收所述船牌数据中包含的文字、字母和数字第一信息；利用卷积神经网络提取所述第一信息的特征；利用循环神经网络预测所述特征的标签分布；利用连接时序分类对所述标签分布去重整合转化成最终识别结果。
在某些实施例中，训练了两个所述CRNN模型，用于处理中文加数字和拼音，其中，第一个CRNN模型识别字母。第二个模型识别中文加数字。
在某些实施例中，还设计了模型检测步骤，将所述第一图像输入所述DBnet模型中，检测出图片中文字的精确位置和概率。在删除错误的文字图片后，再传入CRNN模型中识别出具体文字，最后得到完整船名。
准确检测并识别船牌，最后得对检测并识别到的真实船牌信息输出，输出内容为船牌本身包含的文字、字母和数字。
以上步骤实现了如图2所示的流程，本发明实施例提供的一种船牌检测与识别方法的实现也基于此流程。
本发明实施例还提供了一种船牌检测与识别装置，该装置包括：
接收模块，用于接收第一图像，其中，所述第一图像包含有船舶的船牌；
处理模块，用于处理接收到的所述第一图像获得DBnet数据集，其中，所述DBnet数据集包含有所述第一图像的坐标点；
根据所述DBnet数据集生成概率图标签Gs和阈值图标签Gd；
发送模块，用于发送所述第一图像到残差神经网络，获得概率图和阈值图；根据所述概率图和所述阈值图获得近似二值图；根据所述概率图标签Gs、所述阈值图标签Gd和所述近似二值图获得总损失L；根据所述总损失L获得预测分；
判断模块，用于判断所述坐标点个数与预测分，若所述坐标点的个数＞4且所述预测分＞0.7，则进入以下步骤，否则移出检测流程；
识别模块，用于利用CRNN模型识别所述第一图像中的文字、字母和数字；
输出模块，用于根据所述第一图像中的文字、字母和数字获得船牌名。
本发明实施例还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行存储在所述存储器中的如本申请实施例中所述的程序模块。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于DBnet的船牌检测与识别装置的控制中心，利用各种接口和线路连接整个基于DBnet的船牌检测与识别装置的各个部分。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实施如本申请实施例中所述的船牌检测与识别方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器优选但不限于高速随机存取存储器，例如，还可以是非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器还可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的程序，可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read□Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid□StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
综上，一种船牌检测与识别方法、装置、电子设备和储存介质被设计出来，并且该方法、装置、电子设备和储存介质能应用于解决船只的检测与识别存在的效率低下、检测识别精度低的技术问题。本申请的实施例通过标注船牌制作训练数据，利用DBnet模型和CRNN模型训练得到最终模型。本申请的实施例相对于传统手动提取特征的方法和简单的神经网络方法，具有检测速度快和准确率高的优势。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种船牌检测与识别方法，其特征在于，包括：
接收第一图像，其中，所述第一图像包含有船舶的船牌；
处理接收到的所述第一图像获得DBnet数据集，其中，所述DBnet数据集包含有所述第一图像的坐标点；
根据所述DBnet数据集生成概率图标签Gs和阈值图标签Gd；
发送所述第一图像到残差神经网络，获得概率图和阈值图；根据所述概率图和所述阈值图获得近似二值图；根据所述概率图标签Gs、所述阈值图标签Gd和所述近似二值图获得总损失L；根据所述总损失L获得预测分；
判断所述坐标点个数与预测分，若所述坐标点的个数＞4且所述预测分＞0.7，则进入以下步骤，否则移出检测流程；
利用CRNN模型识别所述第一图像中的文字、字母和数字；
根据所述第一图像中的文字、字母和数字获得船牌名。
2.根据权利要求1所述方法，其特征在于，所述发送所述第一图像到残差神经网络，获得概率图和阈值图；根据所述概率图和所述阈值图获得近似二值图；根据所述概率图标签Gs、所述阈值图标签Gd和所述近似二值图获得总损失值L；根据所述总损失值L获得预测分的方法包括：
通过FPN结构按照卷积公式自底向上采样，获得所述第一图像大小比例的1/2、1/4、1/8、1/16、1/32的第一特征图；
通过FPN结构按照卷积公式自顶向下采样，获得所述第一图像大小比例的1/2、1/4、1/8、1/16、1/32的第二特征图；
融合所述第一特征图与所述第二特征图并采用3x3的卷积消除上采样的混叠效应获得第三特征图；
对所述第三特征图上采样获得统一为所述第一图像大小比例的1/4大小的第四特征图；
对所述第四特征图经过若干卷积和转置卷积转化后获得第五特征图，所述第五特征图的大小与所述第一图像大小比例相同；
对所述第五特征图经过sigmoid函数计算生成概率图与阈值图；
对所述概率图与所述阈值图进行可微分的二值化操作生成近似二值图；
对所述DBnet数据集和所述概率图标签Gs进行二值交叉熵计算获得概率图损失Ls与近似二值图损失Lb；
对所述阈值图标签Gd进行L1 Loss计算获得所述阈值图损失Lt；对所述概率图损失Ls、所述近似二值图损失Lb和所述阈值图损失Lt相加获得总损失L；
对所述总损失L和所述阈值图固定阈值处理获得分割图；对所述分割图计算、遍历每个轮廓并去除无效预测获得第一轮廓；对所述第一轮廓计算包围矩形获得预测分。
3.根据权利要求1所述方法，其特征在于，所述接收第一图像，其中，所述第一图像包含有船舶的船牌的方法包括：
接收所述第一信息；
利用PaddleOCR工具切割所述第一图像获得一标注框，其中，所述标注框包含所述船牌信息；
根据所述标注框获得第一文本文件，其中，所述第一文本文件包含有所述第一图像的坐标和识别内容；
根据所述第一文本文件获得一DBnet数据集，其中，所述DBnet数据集为icdar2015格式，所述DBnet数据集包含test、train和val的第二文本文件。
4.根据权利要求1所述方法，其特征在于，所述根据所述DBnet数据集生成概率图标签Gs和阈值图标签Gd的方法包括：
所述第一图像包含的文字图像为多边形，对该多边形使用一组线段公式
Figure FDA0003894522960000021
描述，其中，n为线段个数；根据所述线段公式生成所述概率图标签Gs。
5.根据权利要求1所述方法，其特征在于，所述根据所述DBnet数据集生成概率图标签Gs和阈值图标签Gd的方法包括：
根据该多边形的周长L、面积A和收缩因子r利用偏移量公式
Figure FDA0003894522960000031
计算得到偏移量D；根据所述偏移量D进行多边形扩充，获得概率图标签Gs到阈值图标签Gd的中间区域；设置所述标注框所在位置为0，计算所述中间区域到所述标注框的距离并且得到与最近边的长度，该长度为所述阈值图标签Gd。
6.根据权利要求1所述方法，其特征在于，所述总损失L计算公式为
Figure FDA0003894522960000032
所述概率图损失Ls、所述近似二值图损失Lb的计算公式为
Figure FDA0003894522960000033
其中，Si为所述DBnet数据集，所述DBnet数据集正负样本量比例为1：3；所述Lt计算方法为Lt/>
Figure FDA0003894522960000034
式中Rd为所述标注框经过所述偏移量D扩充后的所有像素。
7.根据权利要求1所述方法，其特征在于，所述利用CRNN模型识别所述第一图像中的文字、字母和数字的方法包括：
接收所述船牌数据中包含的文字、字母和数字第一信息；
利用卷积神经网络提取所述第一信息的特征；
利用循环神经网络预测所述特征的标签分布；
利用连接时序分类对所述标签分布去重整合转化成最终识别结果。
8.一种船牌检测与识别装置，其特征在于，包括：
接收模块，用于接收第一图像，其中，所述第一图像包含有船舶的船牌；
处理模块，用于处理接收到的所述第一图像获得DBnet数据集，其中，所述DBnet数据集包含有所述第一图像的坐标点；
根据所述DBnet数据集生成概率图标签Gs和阈值图标签Gd；
发送模块，用于发送所述第一图像到残差神经网络，获得概率图和阈值图；根据所述概率图和所述阈值图获得近似二值图；根据所述概率图标签Gs、所述阈值图标签Gd和所述近似二值图获得总损失L；根据所述总损失L获得预测分；
判断模块，用于判断所述坐标点个数与预测分，若所述坐标点的个数＞4且所述预测分＞0.7，则进入以下步骤，否则移出检测流程；
识别模块，用于利用CRNN模型识别所述第一图像中的文字、字母和数字；
输出模块，用于根据所述第一图像中的文字、字母和数字获得船牌名。
9.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实施如权利要求1～7中任意一项所述的船牌检测与识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实施如权利要求1～7中任意一项所述的船牌检测与识别方法。
CN202211269284.5A 2022-10-17 2022-10-17 一种船牌检测与识别方法、装置、电子设备和储存介质 Pending CN116189162A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211269284.5A CN116189162A (zh) 2022-10-17 2022-10-17 一种船牌检测与识别方法、装置、电子设备和储存介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211269284.5A CN116189162A (zh) 2022-10-17 2022-10-17 一种船牌检测与识别方法、装置、电子设备和储存介质

Publications (1)

Publication Number Publication Date
CN116189162A true CN116189162A (zh) 2023-05-30

Family

ID=86431389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211269284.5A Pending CN116189162A (zh) 2022-10-17 2022-10-17 一种船牌检测与识别方法、装置、电子设备和储存介质

Country Status (1)

Country Link
CN (1) CN116189162A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453105A (zh) * 2023-06-20 2023-07-18 青岛国实科技集团有限公司 基于知识蒸馏深度神经网络的船牌号识别方法及系统
CN117437495A (zh) * 2023-12-20 2024-01-23 武汉理工大学 一种船舶的水尺线识别方法、装置、电子设备及存储装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453105A (zh) * 2023-06-20 2023-07-18 青岛国实科技集团有限公司 基于知识蒸馏深度神经网络的船牌号识别方法及系统
CN116453105B (zh) * 2023-06-20 2023-08-18 青岛国实科技集团有限公司 基于知识蒸馏深度神经网络的船牌号识别方法及系统
CN117437495A (zh) * 2023-12-20 2024-01-23 武汉理工大学 一种船舶的水尺线识别方法、装置、电子设备及存储装置

Similar Documents

Publication Publication Date Title
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN109117848B (zh) 一种文本行字符识别方法、装置、介质和电子设备
CN107133622B (zh) 一种单词的分割方法和装置
US11475681B2 (en) Image processing method, apparatus, electronic device and computer readable storage medium
JP5775225B2 (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
CN111738169B (zh) 一种基于端对端网络模型的手写公式识别方法
Xu et al. Fast vehicle and pedestrian detection using improved Mask R‐CNN
CN116189162A (zh) 一种船牌检测与识别方法、装置、电子设备和储存介质
WO2023082784A1 (zh) 一种基于局部特征注意力的行人重识别方法和装置
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN111104813A (zh) 二维码图像关键点检测方法、装置、电子设备及存储介质
CN111507337A (zh) 基于混合神经网络的车牌识别方法
CN116311310A (zh) 一种结合语义分割和序列预测的通用表格识别方法和装置
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN115240121B (zh) 一种用于增强行人局部特征的联合建模方法和装置
He et al. Aggregating local context for accurate scene text detection
CN112686243A (zh) 智能识别图片文字的方法、装置、计算机设备及存储介质
CN113111880A (zh) 证件图像校正方法、装置、电子设备及存储介质
CN114581710A (zh) 图像识别方法、装置、设备、可读存储介质及程序产品
CN113807218B (zh) 版面分析方法、装置、计算机设备和存储介质
CN110796145A (zh) 基于智能决策的多证件分割关联方法及相关设备
Natei et al. Extracting text from image document and displaying its related information
CN111242114B (zh) 文字识别方法及装置
CN115131778A (zh) 一种基于深度学习的场景文本检测方法
CN115424275A (zh) 一种基于深度学习技术的渔船船牌号识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination