CN110929726B - 一种铁路接触网支柱号牌识别方法及系统 - Google Patents

一种铁路接触网支柱号牌识别方法及系统 Download PDF

Info

Publication number
CN110929726B
CN110929726B CN202010085675.6A CN202010085675A CN110929726B CN 110929726 B CN110929726 B CN 110929726B CN 202010085675 A CN202010085675 A CN 202010085675A CN 110929726 B CN110929726 B CN 110929726B
Authority
CN
China
Prior art keywords
network
number plate
image
loss
subnet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010085675.6A
Other languages
English (en)
Other versions
CN110929726A (zh
Inventor
吴泽彬
郑尚东
陆威
徐洋
詹天明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhiliansen Information Technology Co ltd
Original Assignee
Nanjing Zhiliansen Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhiliansen Information Technology Co ltd filed Critical Nanjing Zhiliansen Information Technology Co ltd
Priority to CN202010085675.6A priority Critical patent/CN110929726B/zh
Publication of CN110929726A publication Critical patent/CN110929726A/zh
Application granted granted Critical
Publication of CN110929726B publication Critical patent/CN110929726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种铁路接触网支柱号牌识别方法，包括基于预设的检测网络，从原始图像中检测出支柱号牌区域图像；基于预设的多任务识别网络，将支柱号牌区域图像转换成高分辨率图像，从高分辨率图像中识别字符。同时公开了相应的系统。本发明从原始图像中检测出支柱号牌区域图像，基于预设的多任务识别网络，将支柱号牌区域图像转换成高分辨率图像，从高分辨率图像中识别字符，在字符识别过程中既融合了识别的特征信息，又融合了分辨率转换的特征信息，二者相互促进，提高了识别精度。

Description

一种铁路接触网支柱号牌识别方法及系统
技术领域
本发明涉及一种铁路接触网支柱号牌识别方法及系统，属于图像处理领域。
背景技术
铁路交通是连接城市的重要纽带，也是为城市发展运送人流、物流的重要通道。确保铁路交通运输的安全性，稳定性在当今时代也变得尤为重要。随着高铁覆盖范围的增长，铁路接触网的分布也越来越广，接触网支柱的数目也随之变得越来越多。当铁路接触网出现某种异常的时候，如果能够及时而准确的定位到铁路接触网的位置，我们就能更加迅速的去解决各种隐患。因此，我们需要一种有效地对铁路接触网支柱号牌进行识别的方法。
现在常使用深度学习的方法对号牌进行识别，将不同环境、不同质量的图片都直接送到神经网络中进行特征的提取与学习，虽然该方法也取得了很好的结果，但是最终的精度仍然有待提高。
发明内容
本发明提供了一种铁路接触网支柱号牌识别方法及系统，解决了背景技术中披露的问题。
为了解决上述技术问题，本发明所采用的技术方案是：
一种铁路接触网支柱号牌识别方法，包括，
基于预设的检测网络，从原始图像中检测出支柱号牌区域图像；
基于预设的多任务识别网络，将支柱号牌区域图像转换成高分辨率图像，从高分辨率图像中识别字符；其中，多任务识别网络包括图像转换子网和字符识别子网，多任务识别网络的损失函数为图像转换子网的损失函数与字符识别子网的损失函数之和，在优化求解的过程中同时考虑图像分辨率和识别精度两个任务，随着网络迭代损失，同时学习并更新两个任务的最优参数 。
多任务识别网络的损失函数
Figure DEST_PATH_IMAGE001
，其中
Figure 908477DEST_PATH_IMAGE002
和
Figure DEST_PATH_IMAGE003
为衡量两个任务损失权重的参数，
Figure 829160DEST_PATH_IMAGE004
为图像转换子网的损失函数，
Figure DEST_PATH_IMAGE005
为字符 识别子网的损失函数。
图像转换子网的损失函数为，
Figure 286686DEST_PATH_IMAGE006
其中，
Figure DEST_PATH_IMAGE007
为输入的支柱号牌区域图像，n 为转换子网训练集中高分辨率图像的数 量，
Figure 22430DEST_PATH_IMAGE008
为训练集中的第
Figure DEST_PATH_IMAGE009
个高分辨率图像，
Figure 484373DEST_PATH_IMAGE010
为图像转换子网的所有参数集合，
Figure DEST_PATH_IMAGE011
为图像 转换子网，
Figure 626772DEST_PATH_IMAGE012
为转换子网预测出的高分辨率图像，
Figure DEST_PATH_IMAGE013
为图像转换子网的损失函 数。
字符识别子网的损失函数为，
Figure 933995DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
为字符识别子网的损失函数，
Figure 478240DEST_PATH_IMAGE016
用来判断特征的第i个网格在第j个锚 点下是否存在物体，如果第i个网格在第j个锚点存在物体，则
Figure DEST_PATH_IMAGE017
的值为1，反之为0，
Figure 799500DEST_PATH_IMAGE018
为 该物体的真实标签矩形包围框的中心点X轴坐标，
Figure DEST_PATH_IMAGE019
为该物体的真实标签矩形包围框的中 心点Y轴坐标，
Figure 662151DEST_PATH_IMAGE020
为该物体的真实标签矩形包围框的长度，
Figure DEST_PATH_IMAGE021
为该物体的真实标签矩形包 围框的宽度，
Figure 540108DEST_PATH_IMAGE022
为衡量了定位损失的权重占比，B为锚点的数目，
Figure DEST_PATH_IMAGE023
为网格的数目；
Figure 437395DEST_PATH_IMAGE024
为特征的第i个网格在第j个锚点上存在物体的标签真实值，
Figure 414709DEST_PATH_IMAGE025
为特征的第i 个网格在第j个锚点上存在物体的网络预测值，
Figure 107202DEST_PATH_IMAGE026
用来判断特征的第i个网格在第j个 锚点下是否不存在物体，如果不存在则
Figure 460954DEST_PATH_IMAGE027
的值为1，反之为0，
Figure 901162DEST_PATH_IMAGE028
是为了衡量物体是否 存在而设置的权重占比，
Figure 813492DEST_PATH_IMAGE029
为特征的第i个网格在第j个锚点上不存在物体的真实标签 值；
Figure 276835DEST_PATH_IMAGE030
为特征的第i个网格在第j个锚点上不存在物体的网络预测值；
Figure 683545DEST_PATH_IMAGE031
为类别的真实值，
Figure 303227DEST_PATH_IMAGE032
为类别的预测值，c为类别，
Figure 120879DEST_PATH_IMAGE033
为包括背 景类的所有类的集合。
检测网络、图像转换子网和字符识别子网均为卷积神经网络，其中，字符识别子网的卷积核尺寸大于检测网络的卷积核尺寸。
检测网络采用双阶段网络架构，包括支柱号牌区域提取阶段和检测阶段。
一种铁路接触网支柱号牌识别系统，包括，
检测模块：基于预设的检测网络，从原始图像中检测出支柱号牌区域图像；
识别模块：基于预设的多任务识别网络，将支柱号牌区域图像转换成高分辨率图像，从高分辨率图像中识别字符；其中，多任务识别网络包括图像转换子网和字符识别子网，多任务识别网络的损失函数为图像转换子网的损失函数与字符识别子网的损失函数之和，在优化求解的过程中同时考虑图像分辨率和识别精度两个任务，随着网络迭代损失，同时学习并更新两个任务的最优参数。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行铁路接触网支柱号牌识别方法。
一种计算设备，包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行铁路接触网支柱号牌识别方法的指令。
本发明所达到的有益效果：本发明从原始图像中检测出支柱号牌区域图像，基于预设的多任务识别网络，将支柱号牌区域图像转换成高分辨率图像，从高分辨率图像中识别字符，在字符识别过程中既融合了识别的特征信息，又融合了分辨率转换的特征信息，二者相互促进，提高了识别精度。
附图说明
图1为本发明方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，一种铁路接触网支柱号牌识别方法，包括以下步骤：
步骤1，基于预设的检测网络，从原始图像中检测出支柱号牌区域图像。
由于支柱号牌在原始图像中的小目标特性，这里的检测网络采用常见的卷积神经网络，卷积核尺寸为1*1。小的卷积核以遍历的形式关注原始图像上每一块小的区域，这样，支柱号牌就不容易在每次卷积中被当成背景而剔除，从而提高检测精度。
考虑小目标的检测精度问题，检测网络采用双阶段网络架构，具体包括支柱号牌区域提取阶段（RPN）和检测阶段（detector）。
两个阶段的损失函数都包括分类损失和边框回归损失，并且两个阶段的损失函数公式一致，具体如下：
Figure 399414DEST_PATH_IMAGE034
其中，
Figure 281919DEST_PATH_IMAGE035
为分类损失，
Figure 447452DEST_PATH_IMAGE036
为边框回归损失，
Figure 124421DEST_PATH_IMAGE037
为衡量二者损失权重的一个参数。
在RPN中，只有两个类，前景和背景，所以是一个典型的二分类问题，即类别数目
Figure 624673DEST_PATH_IMAGE038
为2，
Figure 622453DEST_PATH_IMAGE039
表示锚点下预测为前景目标的概率，
Figure 829444DEST_PATH_IMAGE040
为真实标签，前景为1，背景为0，
Figure 5210DEST_PATH_IMAGE041
为采用二分类交叉熵计 算损失。detector部分的分类损失和上面的公式一样，只不过是一个多分类问题，即
Figure 930441DEST_PATH_IMAGE042
为C+1，其中C代表类别数目，加1是要把背景类别加上。
RPN和detector的边框回归损失是一样的，
Figure DEST_PATH_IMAGE043
是一个向量，可以用
Figure 30115DEST_PATH_IMAGE043
四个值来表示， 分别代表预测的矩形包围框相对于锚点的中心点X轴坐标、中心点Y轴坐标、长、宽的偏移 量，
Figure 357191DEST_PATH_IMAGE044
是和
Figure 953127DEST_PATH_IMAGE043
同一维度的向量，代表真实标签下相对于锚点的偏移量，
Figure DEST_PATH_IMAGE045
，表示二者的误差将用smoothL1函数来限制。
检测的具体过程如下：
11）将训练样本矩阵和其对应的铁路接触网支柱号牌坐标输入到检测网络进行训练并获得对应的参数。
12）对铁路接触网图像（即原始图像）送入检测网络进行特征提取，得到整幅图像的一个特征映射图。
13）采用一个1*1的卷积核，在特征映射图上进行卷积操作；这里采用较小尺寸的卷积核，对应的感受野也较小，能够更好地提取小目标特征，减少背景干扰。
14）根据通过训练标签的坐标聚类出的锚点进行接触网支柱号牌区域坐标的微调（即对矩形包围框进行坐标和长宽的微调），能够更好的将完整的号牌区域框出。
15）设置合适的阈值，将隶属于号牌区域的置信度大于阈值的坐标保留，得到该坐标对应的铁路接触网支柱号牌目标区域，即支柱号牌区域图像。
步骤2，基于预设的多任务识别网络，将支柱号牌区域图像转换成高分辨率图像（即将支柱号牌区域图像转换成分辨率超过阈值的图像），从高分辨率图像中识别字符。
多任务识别网络包括图像转换子网和字符识别子网；其中，图像转换子网用以将支柱号牌区域图像转换成高分辨率图像，字符识别子网用以从高分辨率图像中识别字符。
图像转换子网和字符识别子网均为卷积神经网络，其中，字符识别子网的卷积核尺寸大于检测网络的卷积核尺寸，一般为5*5的卷积核。因为字符在号牌区域图像中的占比较大，采用尺寸为5*5的卷积核能够避免字符被切分为多个片段导致的误识别，同时使用由字符尺寸聚类获得的锚点进行初定位以提高准确性。
将支柱号牌区域图像进行图像块特征提取，通过非线性映射层以及重建层，把支柱号牌区域图像转换成高分辨率图像。
图像转换子网的损失函数为：
Figure 162391DEST_PATH_IMAGE006
其中，
Figure 3439DEST_PATH_IMAGE007
为输入的支柱号牌区域图像，n 为转换子网训练集中高分辨率图像的数 量，
Figure 247339DEST_PATH_IMAGE008
为训练集中的第
Figure 702591DEST_PATH_IMAGE009
个高分辨率图像，
Figure 749936DEST_PATH_IMAGE010
为图像转换子网的所有参数集合，
Figure 316046DEST_PATH_IMAGE011
为图像 转换子网，
Figure 414452DEST_PATH_IMAGE012
为转换子网预测出的高分辨率图像，
Figure 853655DEST_PATH_IMAGE013
为图像转换子网的损失函 数，意义是采用参数
Figure 975195DEST_PATH_IMAGE010
会有一个损失的计算，网络会根据这个损失进行优化。
其意义在于，把所有的图像都最大可能的增强其分辨率，最大化图像的结构相似性和峰值信噪比，充分的利用神经网络的鲁棒性和表征性。
在网络设计中，考虑到卷积核的尺寸越小、数量越多，特征向量的大小和维数也就越高，效果会相应好，但是会影响算法的速度。通过多次的实验尝试，对于图像转换子网第一层的特征提取层，选用64个尺寸为9x9的卷积核来进行卷积操作，从而生成64维的特征向量组成特征矩阵，第二层的非线性映射层，选取了35个尺寸1x1的卷积核来增加特征的非线性。对于映射后的图像特征进行重建，生成高分辨率图像，我们选取了1个5x5的卷积核，将n2维的特征矩阵还原为高分辨率图像。
具体操作如下：
提取图像特征：从支柱号牌区域图像中提取多个子图像块，每个块被卷积操作表示为多维的向量（维数等于卷积核的个数），所有的特征向量组成特征矩阵（featuremaps）；
非线性映射：将n1维的特征矩阵，通过卷积操作实现非线性映射，扩充特征的表达能力，变成另一个n2维的特征矩阵；
重构图像：相当于一个反卷积过程，将n2维的特征矩阵还原为高分辨图像，模型训 练的优化参数是三层卷积层对应的卷积核（w）和偏置量（b），参数p=｛W_1，W_2，W_3，b_1，b_ 2，b_3｝，最小化上面的均方差是采用随即梯度下降方向传播的方法来更新P的参数使得损 失函数
Figure 407313DEST_PATH_IMAGE046
最小化。
字符识别子网的识别模型：
Figure 563488DEST_PATH_IMAGE014
上述分为三个部分，第一个部分用于提高模型对于字符的定位能力，第二部分用于提高模型判断字符是否存在的能力，第三部分用于提高模型对于字符的分类能力。
第一部分
Figure DEST_PATH_IMAGE047
， 每个字符定位结果由该部分限制；把识别网络的最后一层特征分成大小相等的不同网格， 在不同的网格中都会依据锚点的形状进行多次预测。其中，
Figure 672127DEST_PATH_IMAGE015
为识别损失函数，
Figure 343280DEST_PATH_IMAGE016
用来判 断特征的第i个网格在第j个锚点下是否存在物体，如果第i个网格在第j个锚点存在物体， 则
Figure 64242DEST_PATH_IMAGE016
的值为1，反之为0，
Figure 137241DEST_PATH_IMAGE018
为该物体的真实标签矩形包围框的中心点X轴坐标，
Figure 105197DEST_PATH_IMAGE019
为该 物体的真实标签矩形包围框的中心点Y轴坐标，
Figure 512913DEST_PATH_IMAGE020
为该物体的真实标签矩形包围框的长 度，
Figure 99883DEST_PATH_IMAGE021
为该物体的真实标签矩形包围框的宽度，
Figure 230650DEST_PATH_IMAGE022
为衡量了定位损失的权重占比，B为 锚点的数目，
Figure 431825DEST_PATH_IMAGE023
为网格的数目。
第二部分包含两个损失，各自的权重由
Figure 749673DEST_PATH_IMAGE048
来衡量。
Figure 576553DEST_PATH_IMAGE024
为特征的第i个网格在第j个锚点上存在物体的标签真实值，
Figure 624143DEST_PATH_IMAGE025
为特征的第i个网格在第j个锚点上存在物体的网 络预测值，
Figure 933902DEST_PATH_IMAGE026
用来判断特征的第i个网格在第j个锚点下是否不存在物体，如果不存在 则
Figure 552096DEST_PATH_IMAGE026
的值为1，反之为0，
Figure 605503DEST_PATH_IMAGE028
是为了衡量物体是否存在而设置的权重占比，
Figure 507600DEST_PATH_IMAGE029
为特征 的第i个网格在第j个锚点上不存在物体的真实标签值；
Figure 299844DEST_PATH_IMAGE030
为特征的第i个网格在第j个锚 点上不存在物体的网络预测值。
第三个部分是常见的分类损失，
Figure 857864DEST_PATH_IMAGE031
为类别的真实值，
Figure 511700DEST_PATH_IMAGE032
为类别的预 测值，c为类别，
Figure 471565DEST_PATH_IMAGE033
为包括背景类的所有类的集合。
多任务识别网络的损失函数为图像转换的损失函数与字符识别的损失函数之和。在优化求解的过程中能够同时考虑图像分辨率和识别精度两个方面的任务。
多任务识别网络的损失函数
Figure 936176DEST_PATH_IMAGE001
，其中
Figure 778230DEST_PATH_IMAGE002
和
Figure 173439DEST_PATH_IMAGE003
为衡量两个任务损失权重的参数。随着网络迭代损失，会同时学习并更新两个 任务的最优参数，两个任务相互促进，并且两个子任务的结果在测试的时候可以同时输出。
上述方法从原始图像中检测出支柱号牌区域图像，基于预设的多任务识别网络，将支柱号牌区域图像转换成高分辨率图像，从高分辨率图像中识别字符，在字符识别过程中既融合了识别的特征信息，又融合了分辨率转换的特征信息，二者相互促进，提高了识别精度。
一种铁路接触网支柱号牌识别系统，包括，
检测模块：基于预设的检测网络，从原始图像中检测出支柱号牌区域图像；
识别模块：基于预设的多任务识别网络，将支柱号牌区域图像转换成高分辨率图像，从高分辨率图像中识别字符。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行铁路接触网支柱号牌识别方法。
一种计算设备，包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行铁路接触网支柱号牌识别方法的指令。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (7)

1.一种铁路接触网支柱号牌识别方法，其特征在于：包括，
基于预设的检测网络，从原始图像中检测出支柱号牌区域图像；检测网络采用双阶段网络架构，包括支柱号牌区域提取阶段和检测阶段；两个阶段的损失函数都包括分类损失和边框回归损失，并且两个阶段的损失函数一致；
检测的具体过程如下：
11)将训练样本矩阵和其对应的铁路接触网支柱号牌坐标输入到检测网络进行训练并获得对应的参数；
12)对铁路接触网图像送入检测网络进行特征提取，得到整幅图像的一个特征映射图；
13)采用一个1*1的卷积核，在特征映射图上进行卷积操作；
14)根据通过训练标签的坐标聚类出的锚点进行接触网支柱号牌区域坐标的微调，将完整的号牌区域框出；
15)设置合适的阈值，将隶属于号牌区域的置信度大于阈值的坐标保留，得到该坐标对应的铁路接触网支柱号牌目标区域；
基于预设的多任务识别网络，将支柱号牌区域图像转换成高分辨率图像，从高分辨率图像中识别字符；其中，多任务识别网络包括图像转换子网和字符识别子网，多任务识别网络的损失函数为图像转换子网的损失函数与字符识别子网的损失函数之和，在优化求解的过程中同时考虑图像分辨率和识别精度两个任务，随着网络迭代损失，同时学习并更新两个任务的最优参数；
多任务识别网络的损失函数
Figure FDA0002492914800000011
其中λL(θ)和
Figure FDA0002492914800000012
为衡量两个任务损失权重的参数，L(θ)为图像转换子网的损失函数，
Figure FDA0002492914800000021
为字符识别子网的损失函数。
2.根据权利要求1所述的一种铁路接触网支柱号牌识别方法，其特征在于：图像转换子网的损失函数为，
Figure FDA0002492914800000022
其中，Yi′为输入的支柱号牌区域图像，n为转换子网训练集中高分辨率图像的数量，Xi′为训练集中的第i′个高分辨率图像，θ为图像转换子网的所有参数集合，F()为图像转换子网，F(Yi′；θ)为转换子网预测出的高分辨率图像，L(θ)为图像转换子网的损失函数。
3.根据权利要求1所述的一种铁路接触网支柱号牌识别方法，其特征在于：字符识别子网的损失函数为，
Figure FDA0002492914800000023
其中，
Figure FDA0002492914800000024
为字符识别子网的损失函数，
Figure FDA0002492914800000025
用来判断特征的第i个网格在第j个锚点下是否存在物体，如果第i个网格在第j个锚点存在物体，则
Figure FDA0002492914800000026
的值为1，反之为0，xij为该物体的真实标签矩形包围框的中心点X轴坐标，yij为该物体的真实标签矩形包围框的中心点Y轴坐标，wij为该物体的真实标签矩形包围框的长度，hij为该物体的真实标签矩形包围框的宽度，λcoord为衡量了定位损失的权重占比，B为锚点的数目，S2为网格的数目；
Cij为特征的第i个网格在第j个锚点上存在物体的标签真实值，
Figure FDA0002492914800000031
为特征的第i个网格在第j个锚点上存在物体的网络预测值，
Figure FDA0002492914800000032
用来判断特征的第i个网格在第j个锚点下是否不存在物体，如果不存在则
Figure FDA0002492914800000033
的值为1，反之为0，λnoobj是为了衡量物体是否存在而设置的权重占比，C′ij为特征的第i个网格在第j个锚点上不存在物体的真实标签值；
Figure FDA0002492914800000034
为特征的第i个网格在第j个锚点上不存在物体的网络预测值；
pij(c)为类别的真实值，
Figure FDA0002492914800000035
为类别的预测值，c为类别，classes为包括背景类的所有类的集合。
4.根据权利要求1所述的一种铁路接触网支柱号牌识别方法，其特征在于：检测网络、图像转换子网和字符识别子网均为卷积神经网络，其中，字符识别子网的卷积核尺寸大于检测网络的卷积核尺寸。
5.一种铁路接触网支柱号牌识别系统，其特征在于：包括，
检测模块：基于预设的检测网络，从原始图像中检测出支柱号牌区域图像；
检测网络采用双阶段网络架构，包括支柱号牌区域提取阶段和检测阶段；两个阶段的损失函数都包括分类损失和边框回归损失，并且两个阶段的损失函数一致；
检测的具体过程如下：
11)将训练样本矩阵和其对应的铁路接触网支柱号牌坐标输入到检测网络进行训练并获得对应的参数；
12)对铁路接触网图像送入检测网络进行特征提取，得到整幅图像的一个特征映射图；
13)采用一个1*1的卷积核，在特征映射图上进行卷积操作；
14)根据通过训练标签的坐标聚类出的锚点进行接触网支柱号牌区域坐标的微调，将完整的号牌区域框出；
15)设置合适的阈值，将隶属于号牌区域的置信度大于阈值的坐标保留，得到该坐标对应的铁路接触网支柱号牌目标区域；
识别模块：基于预设的多任务识别网络，将支柱号牌区域图像转换成高分辨率图像，从高分辨率图像中识别字符；其中，多任务识别网络包括图像转换子网和字符识别子网，多任务识别网络的损失函数为图像转换子网的损失函数与字符识别子网的损失函数之和，在优化求解的过程中同时考虑图像分辨率和识别精度两个任务，随着网络迭代损失，同时学习并更新两个任务的最优参数；
多任务识别网络的损失函数
Figure FDA0002492914800000041
其中λL(θ)和
Figure FDA0002492914800000042
为衡量两个任务损失权重的参数，L(θ)为图像转换子网的损失函数，
Figure FDA0002492914800000043
为字符识别子网的损失函数。
6.一种存储一个或多个程序的计算机可读存储介质，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至4所述的方法中的任一方法。
7.一种计算设备，其特征在于：包括，
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至4所述的方法中的任一方法的指令。
CN202010085675.6A 2020-02-11 2020-02-11 一种铁路接触网支柱号牌识别方法及系统 Active CN110929726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010085675.6A CN110929726B (zh) 2020-02-11 2020-02-11 一种铁路接触网支柱号牌识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010085675.6A CN110929726B (zh) 2020-02-11 2020-02-11 一种铁路接触网支柱号牌识别方法及系统

Publications (2)

Publication Number Publication Date
CN110929726A CN110929726A (zh) 2020-03-27
CN110929726B true CN110929726B (zh) 2020-07-03

Family

ID=69854853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010085675.6A Active CN110929726B (zh) 2020-02-11 2020-02-11 一种铁路接触网支柱号牌识别方法及系统

Country Status (1)

Country Link
CN (1) CN110929726B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114018150B (zh) * 2021-11-08 2023-08-15 河北荣众信息科技有限公司 一种数字全息显微测量装置及其控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6090962B1 (ja) * 2016-09-20 2017-03-08 株式会社トーアエンジニアリング Ｃａｄデータの自動解析装置とコンピュータプログラム
CN107392201A (zh) * 2017-06-09 2017-11-24 中国科学院自动化研究所 接触网支柱的支柱号识别方法、存储介质、处理设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3026589A1 (fr) * 2014-09-30 2016-04-01 Orange Procede et dispositif d'adaptation d'affichage d'un flux video par un client
CN106709875B (zh) * 2016-12-30 2020-02-18 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN108509954A (zh) * 2018-04-23 2018-09-07 合肥湛达智能科技有限公司 一种实时交通场景的多车牌动态识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6090962B1 (ja) * 2016-09-20 2017-03-08 株式会社トーアエンジニアリング Ｃａｄデータの自動解析装置とコンピュータプログラム
CN107392201A (zh) * 2017-06-09 2017-11-24 中国科学院自动化研究所 接触网支柱的支柱号识别方法、存储介质、处理设备

Also Published As

Publication number Publication date
CN110929726A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN108564097B (zh) 一种基于深度卷积神经网络的多尺度目标检测方法
Adarsh et al. YOLO v3-Tiny: Object Detection and Recognition using one stage improved model
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
Putra et al. Convolutional neural network for person and car detection using yolo framework
CN112949572B (zh) 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN111444939A (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN111368636A (zh) 目标分类方法、装置、计算机设备和存储介质
CN114758288A (zh) 一种配电网工程安全管控检测方法及装置
CN114648665A (zh) 一种弱监督目标检测方法及系统
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN111738164B (zh) 一种基于深度学习的行人检测方法
CN114332921A (zh) 基于改进聚类算法的Faster R-CNN网络的行人检测方法
CN112528845A (zh) 一种基于深度学习的物理电路图识别方法及其应用
CN110929726B (zh) 一种铁路接触网支柱号牌识别方法及系统
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
Ajitha et al. Vehicle model classification using deep learning
CN117315499A (zh) 一种卫星遥感图像目标检测方法及系统
CN113065379A (zh) 融合图像质量的图像检测方法、装置、电子设备
INTHIYAZ et al. YOLO (YOU ONLY LOOK ONCE) Making Object detection work in Medical Imaging on Convolution detection System.
CN113269171B (zh) 车道线检测方法、电子设备及车辆
Li et al. Prediction model of urban street public space art design indicators based on deep convolutional neural network
CN111178158A (zh) 一种骑车人检测方法及系统
Gizatullin et al. Automatic car license plate detection based on the image weight model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant