CN116434234A - 一种铸坯字符的检测与识别方法、装置、设备及存储介质 - Google Patents

一种铸坯字符的检测与识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116434234A
CN116434234A CN202310593815.4A CN202310593815A CN116434234A CN 116434234 A CN116434234 A CN 116434234A CN 202310593815 A CN202310593815 A CN 202310593815A CN 116434234 A CN116434234 A CN 116434234A
Authority
CN
China
Prior art keywords
character
casting blank
correction
network
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310593815.4A
Other languages
English (en)
Other versions
CN116434234B (zh
Inventor
殷绪成
胡中杰
陈松路
刘琦
陈�峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Eeasy Electronic Tech Co ltd
Original Assignee
Zhuhai Eeasy Electronic Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Eeasy Electronic Tech Co ltd filed Critical Zhuhai Eeasy Electronic Tech Co ltd
Priority to CN202310593815.4A priority Critical patent/CN116434234B/zh
Publication of CN116434234A publication Critical patent/CN116434234A/zh
Application granted granted Critical
Publication of CN116434234B publication Critical patent/CN116434234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用人工智能与计算机视觉领域，提供了一种铸坯字符的检测与识别方法、装置、设备及存储介质，该方法包括：当接收到铸坯字符识别请求时，获取待识别的铸坯图像，通过预先训练好的铸坯字符检测识别网络对铸坯图像进行处理，得到铸坯图像的矫正字符信息，其中，铸坯字符检测识别网络包括第一网络和第二网络，根据矫正字符信息和预设的矫正算法得到铸坯图像中的铸坯字符，从而有效降低了漏识和错识的概率，提高了任意方向且多行分布的铸坯字符的检测和识别性能，同时有效提高了识别准确度。

Description

一种铸坯字符的检测与识别方法、装置、设备及存储介质
技术领域
本发明属于人工智能与计算机视觉领域，尤其涉及一种铸坯字符的检测与识别方法、装置、设备及存储介质。
背景技术
钢铁铸坯编号检测和识别是钢厂生产钢铁铸坯环节中必不可少的一环，在实际的生产中，由于铸坯放置的方式随机以及拍摄角度不定，使得图片中字符编号的朝向不同且会出现任意朝向的字符，此外，铸坯编号为多行阅读顺序固定的分布，当字符朝向任意时（倾斜角度过大或者出现倒置)，多行之间的字符阅读顺序不能直接用一般的顺序（从左到右，从上到下）来对字符进行排列输出每一行的识别结果，给铸坯号检测和识别带来了一定的挑战。
传统的字符文本检测和识别方法基于字符文本的简单特征，例如边缘，纹理等等进行图像形态学操作，实现字符文本区域的行级或者字符级检测，但是这种方法只能处理场景简单且图像清晰的字符文本，非常容易受到其他因素如光照、干扰字符等影响，而且这种方法只能处理水平规则字符文本，对于任意朝向的字符文本非常容易出现检测错误导致后续的识别错误。此外，传统的识别方法需要在字符文本区域的基础上进行截取再进行字符文本的识别，这种方式同时要求检测识别两种独立的解决方法且对两个方法的精度要求都比较高，否则容易出现累积错误。近年来，深度学习的方法迅速发展，在铸坯编号检测识别领域展现出巨大的潜力，深度学习方法无需手动设置特征，通过模型对铸坯图像数据提取特征进行学习，抗干扰能力和泛化能力都强于传统方法，而铸坯编号识别属于场景文本识别的一种，能够使用场景文本识别的深度学习方法来进行处理，比如基于文本行的检测方法CTPN（Tian Z, Huang W, He T, et al. Detecting text in natural image withconnectionist text proposal network[C]//Computer Vision–ECCV 2016: 14thEuropean Conference, Amsterdam, The Netherlands, October 11-14, 2016,Proceedings, Part VIII 14. Springer International Publishing, 2016: 56-72.）通过将单行文本做为基准来实现文本的识别，但是，由于这类方法需要在检测到文本行区域之后再对单行的文本区域图像进行识别，过程较为繁琐，当需要检测识别的铸坯字符倾斜角度过大时，文本行检测得到文本行结果出现偏差，导致后续的文本行的识别出现字符的漏识和错识，此外，由于该任务处理的铸坯字符分布存在多行顺序这个规则，基于单独的文本行的检测识别方法无法获取文本行之间的顺序信息，导致在最终输出识别结果时出现行结果的输出顺序错误。还有基于通用的旋转目标检测的方法则是通过处理单个字符来实现文本的识别，但是由于这种方法检测框的定义缺陷，无法得到字符360°的朝向信息，当铸坯的字符旋转角度大于180°出现倒置，虽然旋转检测能够准确框出字符的位置，但是无法获取字符的朝向信息，使得字符间的排序方式出现错误，导致最终的识别错误。
发明内容
本发明的目的在于提供一种铸坯字符的检测与识别方法、装置、设备及存储介质，旨在解决由于现有技术无法提供一种有效的铸坯字符的检测与识别方法，导致铸坯字符的漏识和错识的概率高的问题。
一方面，本发明提供了一种铸坯字符的检测与识别方法，所述方法包括下述步骤：
当接收到铸坯字符识别请求时，获取待识别的铸坯图像；
通过预先训练好的铸坯字符检测识别网络对所述铸坯图像进行处理，得到所述铸坯图像的矫正字符信息，其中，所述铸坯字符检测识别网络包括第一网络和第二网络；
根据所述矫正字符信息和预设的矫正算法得到所述铸坯图像中的铸坯字符；
所述通过预先训练好的铸坯字符检测识别网络对所述铸坯图像进行处理的步骤，包括：
通过所述第一网络对所述铸坯图像进行特征提取，得到铸坯特征图；
通过所述第二网络对所述铸坯特征图进行特征重建，得到所述矫正字符信息。
优选地，所述第一网络和所述第二网络均包含字符类别分支、字符位置分支以及字符角点回归分支，所述矫正字符信息包括矫正字符集和与所述矫正字符集中每个矫正字符对应的字符位置信息和角信息。
优选地，所述根据所述矫正字符信息和预设的矫正算法得到所述铸坯图像中的铸坯字符的步骤，包括：
根据所述字符位置信息和所述角信息，使用预设的朝向角度公式对对应的矫正字符的矫正角度进行计算；
根据计算得到的所述矫正角度和所述字符位置信息，使用预设的坐标矫正公式对对应的所述矫正字符的中心点的矫正坐标进行计算；
根据计算得到的所述矫正坐标输出对应的所述矫正字符，得到所述铸坯字符。
优选地，所述通过所述第二网络对所述铸坯特征图进行特征重建的步骤，包括：
通过所述第二网络中的字符类别分支对所述铸坯特征图进行单个字符的识别，识别到的所有矫正字符构成所述矫正字符集；
通过所述第二网络中的字符位置分支对所述矫正字符集中的每个矫正字符进行定位，得到所述每个矫正字符对应的所述字符位置信息；
通过所述第二网络中的字符角点回归分支得到所述每个矫正字符的所述角信息，由所述矫正字符集和所述矫正字符集中的所述每个矫正字符对应的所述字符位置信息和所述角信息构成所述矫正字符信息。
另一方面，本发明提供了一种铸坯字符的检测与识别装置，所述装置包括：
铸坯图像获取单元，用于当接收到铸坯字符识别请求时，获取待识别的铸坯图像；
字符信息获得单元，用于通过预先训练好的铸坯字符检测识别网络对所述铸坯图像进行处理，得到所述铸坯图像的矫正字符信息，其中，所述铸坯字符检测识别网络包括第一网络和第二网络；以及
铸坯字符获得单元，用于根据所述矫正字符信息和预设的矫正算法得到所述铸坯图像中的铸坯字符；
所述字符信息获得单元包括：
特征提取单元，用于通过所述第一网络对所述铸坯图像进行特征提取，得到铸坯特征图；以及
特征重建单元，用于通过所述第二网络对所述铸坯特征图进行特征重建，得到所述矫正字符信息。
优选地，所述第一网络和所述第二网络均包含字符类别分支、字符位置分支以及字符角点回归分支，所述矫正字符信息包括矫正字符集和与所述矫正字符集中每个矫正字符对应的字符位置信息和角信息。
优选地，所述铸坯字符获得单元包括：
矫正角度计算单元，用于根据所述字符位置信息和所述角信息，使用预设的朝向角度公式对对应的矫正字符的矫正角度进行计算；
矫正坐标计算单元，用于根据计算得到的所述矫正角度和所述字符位置信息，使用预设的坐标矫正公式对对应的所述矫正字符的中心点的矫正坐标进行计算；以及
字符获得子单元，用于根据计算得到的所述矫正坐标输出对应的所述矫正字符，得到所述铸坯字符。
优选地，所述特征重建单元包括：
字符识别单元，用于通过所述第二网络中的字符类别分支对所述铸坯特征图进行单个字符的识别，识别到的所有矫正字符构成所述矫正字符集；
字符定位单元，用于通过所述第二网络中的字符位置分支对所述矫正字符集中的每个矫正字符进行定位，得到所述每个矫正字符对应的所述字符位置信息；以及
角信息获得单元，用于通过所述第二网络中的字符角点回归分支得到所述每个矫正字符的所述角信息，由所述矫正字符集和所述矫正字符集中的所述每个矫正字符对应的所述字符位置信息和所述角信息构成所述矫正字符信息。
另一方面，本发明还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述一种铸坯字符的检测与识别方法所述的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述一种铸坯字符的检测与识别方法所述的步骤。
本发明当接收到铸坯字符识别请求时，获取待识别的铸坯图像，通过预先训练好的铸坯字符检测识别网络对铸坯图像进行处理，得到铸坯图像的矫正字符信息，其中，铸坯字符检测识别网络包括第一网络和第二网络，根据矫正字符信息和预设的矫正算法得到铸坯图像中的铸坯字符，从而有效降低了漏识和错识的概率，提高了任意方向且多行分布的铸坯字符的检测和识别性能，同时有效提高了识别准确度。
附图说明
图1是本发明实施例一提供的铸坯字符的检测与识别方法的实现流程图；
图2是本发明实施例二提供的铸坯字符的检测与识别方法的实现流程图；
图3是本发明实施例二提供的铸坯字符的检测与识别方法中字符角度的示意图；
图4是本发明实施例三提供的铸坯字符的检测与识别装置的结构示意图；
图5是本发明实施例三提供的铸坯字符的检测与识别装置的优选结构示意图；
图6是本发明实施例四提供的计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的铸坯字符的检测与识别方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，当接收到铸坯字符识别请求时，获取待识别的铸坯图像。
本发明实施例适用于计算设备，例如，个人计算机、服务器等。在本发明实施例中，在铸坯生产中会对铸坯进行编号，以对铸坯进行管理和铸坯物料的跟踪，铸坯的编号可以是数字、也可以是字母、还可以是数字与字母的组合，铸坯的编号可以是单行分布，也可以是连续多行分布，铸坯图像即是包含铸坯的编号的图像。
在步骤S102中，通过预先训练好的铸坯字符检测识别网络对铸坯图像进行处理，得到铸坯图像的矫正字符信息，其中，铸坯字符检测识别网络包括第一网络和第二网络。
在本发明实施例中，铸坯字符检测识别网络是一个端到端深度神经网络，将铸坯图像输入到预先训练好的铸坯字符检测识别网络中，通过第一网络和第二网络的相应处理，最后，输出检测及识别到的铸坯图像中的矫正字符信息。
优选地，第一网络和第二网络均包含字符类别分支、字符位置分支以及字符角点回归分支，矫正字符信息包括矫正字符集和与矫正字符集中每个矫正字符对应的字符位置信息和角信息，其中，字符位置信息包括字符中心点坐标和字符角度，角信息包括第一角坐标和第二角坐标，从而实现字符360°范围的朝向检测，有效提高任意方向且多行分布的铸坯字符的检测和识别性能。
在本发明实施例中，对铸坯图像进行处理的过程详见下述方法实施例，在此不再赘述。
在步骤S103中，根据矫正字符信息和预设的矫正算法得到铸坯图像中的铸坯字符。
在本发明实施例中，在根据矫正字符信息和预设的矫正算法得到铸坯图像中的铸坯字符时，优选地，通过下述步骤实现铸坯字符的获得：
（1）根据字符位置信息和角信息，使用预设的朝向角度公式对对应的矫正字符的矫正角度进行计算。
在本发明实施例中，首先根据角信息中的第一角坐标（
Figure SMS_2
，
Figure SMS_4
）和第二角坐标（
Figure SMS_5
，
Figure SMS_7
），计算与字符位置信息和角信息对应的矫正字符的第一角和第二角这两个角的角点中 点坐标（
Figure SMS_9
，
Figure SMS_10
），之后，将角点中点坐标（
Figure SMS_12
，
Figure SMS_1
）与字符位置信息中的字符中心点坐标 （
Figure SMS_3
，
Figure SMS_6
）进行横坐标和纵坐标的比较，最后根据比较结果，使用朝向角度公式
Figure SMS_8
计算该矫正字符的矫正角度
Figure SMS_11
，以将范围为[- 90°，90°]的
Figure SMS_13
转变为360°范围的
Figure SMS_14
。
在本发明实施例中，具体地，第一角坐标为对应的矫正字符所属检测框的左上角的坐标，第二角坐标为该矫正字符所属检测框的右上角的坐标，角点中点坐标也即左上角的坐标和右上角的坐标的中点坐标。
（2）根据计算得到的矫正角度和字符位置信息，使用预设的坐标矫正公式对对应的矫正字符的中心点的矫正坐标进行计算。
在本发明实施例中，根据计算得到的360°范围的矫正角度
Figure SMS_16
对与其对应的矫正 字符所属的检测框进行顺时针旋转，以使矫正字符的朝向为垂直向上，获得旋转后的铸坯 图像的中心点坐标
Figure SMS_17
、
Figure SMS_18
，再根据矫正角度
Figure SMS_19
和字符位置信息中字符中心点坐标（
Figure SMS_20
，
Figure SMS_21
），使用预设的坐标矫正公式
Figure SMS_23
计算对应矫正字符的 中心点的矫正坐标（
Figure SMS_15
，
Figure SMS_22
），其中，cx、cy分别是铸坯图像的中心点坐标。
（3）根据计算得到的矫正坐标输出对应的矫正字符，得到铸坯字符。
在本发明实施例中，按照通用阅读顺序，从左到右、从上到下将矫正字符集中的所有矫正字符以计算得到的对应的矫正坐标进行有序输出，得到正确识别的、铸坯图像中的铸坯字符。
通过上述步骤（1）~（3）实现铸坯字符的获得，从而有效提高任意方向且多行分布的铸坯字符的检测和识别性能，提高了检测和识别的准确度。
在本发明实施例中，当接收到铸坯字符识别请求时，获取待识别的铸坯图像，通过预先训练好的铸坯字符检测识别网络对铸坯图像进行处理，得到铸坯图像的矫正字符信息，其中，铸坯字符检测识别网络包括第一网络和第二网络，根据矫正字符信息和预设的矫正算法得到铸坯图像中的铸坯字符，从而有效降低了漏识和错识的概率，提高了任意方向且多行分布的铸坯字符的检测和识别性能，同时有效提高了识别准确度。
实施例二：
图2示出了本发明实施例二提供的铸坯字符的检测与识别方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
通过下述步骤实现实施例一的步骤S102中对铸坯图像进行处理：
在步骤S201中，通过第一网络对铸坯图像进行特征提取，得到铸坯特征图。
在本发明实施例中，第一网络采用的是残差网络（Residual Network，ResNet）与特征金字塔（FPN，Feature Pyramid Network)结构，是铸坯字符检测识别网络的主干网络，通过第一网络对输入的铸坯图像进行特征提取，得到包含铸坯图像的多尺度特征信息的铸坯特征图。
在通过第一网络对铸坯图像进行特征提取时，具体地，通过第一网络中的字符类别分支对铸坯图像进行初始识别，得到初始字符集，通过第一网络中的字符位置分支对初始字符集中的每个字符进行定位，得到初始字符集中每个字符的字符位置信息，最后通过第一网络中的字符角点回归分支预测初始字符集中的每个字符的角信息，最终得到包含识别到的所有初始字符、以及每个初始字符分别对应的字符位置信息和角信息的这些特征信息的铸坯特征图。
在步骤S202中，通过第二网络对铸坯特征图进行特征重建，得到矫正字符信息。
在本发明实施例中，第二网络是基于旋转目标检测网络（Refined Single-StageDetector with Feature Refinement for Rotating Object，R3det），是铸坯字符检测识别网络的特征精炼网络，通过该网络将主干网络得到的铸坯特征图进行特征精炼重建，得到矫正字符信息。
在通过第二网络对铸坯特征图进行特征重建时，具体地，通过下述步骤实现对对铸坯特征图的特征重建：
（1）通过第二网络中的字符类别分支对铸坯特征图进行单个字符的识别，识别到的所有矫正字符构成矫正字符集；
（2）通过第二网络中的字符位置分支对矫正字符集中的每个矫正字符进行定位，得到每个矫正字符的字符位置信息；
在本发明实施例中，字符位置信息为矩形的检测框形式，其格式为（
Figure SMS_25
，
Figure SMS_27
，
Figure SMS_28
，
Figure SMS_29
），其中，（
Figure SMS_30
，
Figure SMS_31
）为矫正字符所属的检测框的中心点坐标，即该矫正字符的字符中心点坐 标，
Figure SMS_32
，
Figure SMS_24
为检测框的宽、高，
Figure SMS_26
为检测框的角度（即字符角度），其范围在[-90°，0°]或[0°， 90°]之间，该角度是根据水平x轴旋转时与检测框的第一条边相遇时之间的夹角，逆时针旋 转角度为负，顺时针旋转角度为正，如图3示出了顺时针和逆时针两种情况的字符角度，该 第一条边为检测框的长边或短边。
优选地，当与x轴相遇的检测框的第一条边为长边时，根据角度转换公式
Figure SMS_33
对字符角度进行转换，从而实现字符角度都是以短边为第一 条边，使得字符角度的范围统一在[-90°，90°]之间。
（3）通过第二网络中的字符角点回归分支得到每个矫正字符的角信息，由矫正字符集和矫正字符集中的每个矫正字符对应的字符位置信息和角信息构成矫正字符信息；
在本发明实施例中，通过字符角点回归分支预测每个矫正字符所属检测框的左上角和右上角的位置，得到左上角坐标和右上角坐标，左上角坐标和右上角坐标组成角信息。
在通过预先训练好的铸坯字符检测识别网络对铸坯图像进行处理之前，优选地，根据预设的目标损失函数对铸坯字符检测识别网络进行训练。
在本发明实施例中，铸坯字符检测识别网络的目标损失函数
Figure SMS_34
由第一网络的第一 损失函数
Figure SMS_35
和第二网络的第二损失函数
Figure SMS_36
构成，表示为
Figure SMS_37
；
对于第一网络损失
Figure SMS_39
，其主要由字符类别分支的类别损失
Figure SMS_40
、字符位置分支 的位置损失
Figure SMS_41
以及字符角点回归分支的角点回归损失
Figure SMS_42
构成，表示为
Figure SMS_43
，其中，
Figure SMS_44
表示与铸坯字符匹配的锚框正样 本数量，
Figure SMS_45
和
Figure SMS_38
为平衡位置损失和角点回归损失的权重参数；
类别损失
Figure SMS_46
用来判断字符的具体类别，根据需要的实际情况进行设置，可以为10 类（数字），26类（字母）和36类（数字+字母），通过Focal loss损失来进行计算，具体为
Figure SMS_47
，其中，C表示字符设 置的类别，
Figure SMS_48
表示通过sigmoid函数计算得到的第n个预测值的类别概率分布，
Figure SMS_49
表示第n 个锚框对应的类别，
Figure SMS_50
表示类别为k时的概率，
Figure SMS_51
是Focol loss损失的调节超参数，默认设 置为2；
位置损失
Figure SMS_62
用来回归字符的旋转检测框的位置（
Figure SMS_64
，
Figure SMS_66
，
Figure SMS_67
，
Figure SMS_68
），本发明使 用KFLoss损失（Yang, X., Zhou, Y., Zhang, G., Yang, J., Wang, W., Yan, J., Zhang, X., Tian, Q.: The kfiou loss for rotated object detection. CoRR abs/ 2201.12558 (2022)）来计算
Figure SMS_69
，以解决由于角度存在周期性且这五个参数的度量单位 不一致，导致用损失直接回归这五个参数非常不稳定的问题，具体地，首先将旋转的检测框 转换为高斯分布
Figure SMS_70
，计算两个高斯分布
Figure SMS_52
、
Figure SMS_54
之间的中心点距离损失
Figure SMS_56
， 再使用卡尔曼滤波器计算两个高斯分布之间的重合分布，最后将该重合分布重新变换为旋 转框形态，计算交并比值（Intersection over Union，IoU），公式表示为
Figure SMS_57
Figure SMS_59
，其 中，
Figure SMS_61
表示第n个预测的检测框值，
Figure SMS_63
表示第n个目标的真实值，
Figure SMS_65
表示高斯分布中心点 的位置损失，
Figure SMS_53
表示KFIoU的损失值，
Figure SMS_55
表示两个检测框转换为高 斯分布后的均值和方差，RIoU是通过卡尔曼滤波器计算两个高斯分布
Figure SMS_58
、
Figure SMS_60
之 间的重合分布，从而避免直接回归旋转框方法可能带来的不稳定和旋转IoU难以计算以及 不可导的问题；
角点回归损失
Figure SMS_71
使用Smooth L1损失进行计算，表示为
Figure SMS_72
，其中，
Figure SMS_73
表示第n个目标的预测值，
Figure SMS_74
为第n个目标的角点真实值；
对于第二网络损失
Figure SMS_76
，根据公式
Figure SMS_77
进行计算，其中，N 表示使用的第二网络组件的个数，
Figure SMS_79
表示第n个第二网络组件的损失权重，
Figure SMS_80
表示第n个第 二网络组件的损失，每个第二网络组件的损失由字符类别分支的类别损失
Figure SMS_81
、字符位置 分支的位置损失
Figure SMS_82
以及字符角点回归分支的角点回归损失
Figure SMS_83
构成，
Figure SMS_75
计算方式 和
Figure SMS_78
一致，在此不再赘述；
另外，对铸坯字符检测识别网络进行训练的数据集有两类，第一类数据集由实际采集的铸坯图像数据集和扩充数据集组成，扩充数据集是对铸坯图像数据集中的铸坯图像进行360°随机角度的旋转而得到的，第一类数据集中的每个铸坯图像包含朝向任意的铸坯字符，且呈连续多行分布，也可能存在个别字符的缺失，第二类数据集是随机生成的、包含多行顺序排列的字母和数字图像数据集，具体地，随机生成3-5行字符，每行字符为1-5个数字和字母的随机组合，并以360°随机角度对其进行旋转，得到最终的第二类数据集，第一类数据集和第二类数据集都包含铸坯字符四个顶点以及类别的标注信息，从而根据这两类数据集和目标损失函数实现对铸坯字符检测识别网络的训练，提高了网络模型的鲁棒性。
在本发明实施例中，通过第一网络对铸坯图像进行特征提取，得到铸坯特征图，通过第二网络对铸坯特征图进行特征重建，得到矫正字符信息，从而提高了字符检测和识别的准确度。
实施例三：
图4示出了本发明实施例三提供的铸坯字符的检测与识别装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
铸坯图像获取单元41，用于当接收到铸坯字符识别请求时，获取待识别的铸坯图像。
在本发明实施例中，在铸坯生产中会对铸坯进行编号，以对铸坯进行管理和铸坯物料的跟踪，铸坯的编号可以是数字、也可以是字母、还可以是数字与字母的组合，铸坯的编号可以是单行分布，也可以是连续多行分布，铸坯图像即是包含铸坯的编号的图像。
字符信息获得单元42，用于通过预先训练好的铸坯字符检测识别网络对铸坯图像进行处理，得到铸坯图像的矫正字符信息，其中，铸坯字符检测识别网络包括第一网络和第二网络。
在本发明实施例中，铸坯字符检测识别网络是一个端到端深度神经网络，将铸坯图像输入到预先训练好的铸坯字符检测识别网络中，通过第一网络和第二网络的相应处理，最后，输出检测及识别到的铸坯图像中的矫正字符信息。
优选地，第一网络和第二网络均包含字符类别分支、字符位置分支以及字符角点回归分支，矫正字符信息包括矫正字符集和与矫正字符集中每个矫正字符对应的字符位置信息和角信息，其中，字符位置信息包括字符中心点坐标和字符角度，角信息包括第一角坐标和第二角坐标，从而实现字符360°范围的朝向检测，有效提高任意方向且多行分布的铸坯字符的检测和识别性能。
铸坯字符获得单元43，用于根据矫正字符信息和预设的矫正算法得到铸坯图像中的铸坯字符。
如图5所示，优选地，字符信息获得单元42包括：
特征提取单元421，用于通过第一网络对铸坯图像进行特征提取，得到铸坯特征图。
在本发明实施例中，第一网络采用的是残差网络（Residual Network，ResNet）与特征金字塔（FPN，Feature Pyramid Network)结构，是铸坯字符检测识别网络的主干网络，通过第一网络对输入的铸坯图像进行特征提取，得到包含铸坯图像的多尺度特征信息的铸坯特征图。
在通过第一网络对铸坯图像进行特征提取时，具体地，通过第一网络中的字符类别分支对铸坯图像进行初始识别，得到初始字符集，通过第一网络中的字符位置分支对初始字符集中的每个字符进行定位，得到初始字符集中每个字符的字符位置信息，最后通过第一网络中的字符角点回归分支预测初始字符集中的每个字符的角信息，最终得到包含识别到的所有初始字符、以及每个初始字符分别对应的字符位置信息和角信息的这些特征信息的铸坯特征图。
特征重建单元422，用于通过第二网络对铸坯特征图进行特征重建，得到矫正字符信息。
在本发明实施例中，第二网络是基于旋转目标检测网络（Refined Single-StageDetector with Feature Refinement for Rotating Object，R3det），是铸坯字符检测识别网络的特征精炼网络，通过该网络将主干网络得到的铸坯特征图进行特征精炼重建，得到矫正字符信息。
铸坯字符获得单元43包括：
矫正角度计算单元431，用于根据字符位置信息和角信息，使用预设的朝向角度公式对对应的矫正字符的矫正角度进行计算。
在本发明实施例中，首先根据角信息中的第一角坐标（
Figure SMS_85
，
Figure SMS_86
）和第二角坐标（
Figure SMS_88
，
Figure SMS_91
），计算与字符位置信息和角信息对应的矫正字符的第一角和第二角这两个角的角点中 点坐标（
Figure SMS_93
，
Figure SMS_95
），之后，将角点中点坐标（
Figure SMS_97
，
Figure SMS_84
）与字符位置信息中的字符中心点坐标 （
Figure SMS_87
，
Figure SMS_89
）进行横坐标和纵坐标的比较，最后根据比较结果，使用朝向角度公式
Figure SMS_90
计算该矫正字符的矫正角度
Figure SMS_92
，以将范围为[- 90°，90°]的
Figure SMS_94
转变为360°范围的
Figure SMS_96
。
在本发明实施例中，具体地，第一角坐标为对应的矫正字符所属检测框的左上角的坐标，第二角坐标为该矫正字符所属检测框的右上角的坐标，角点中点坐标也即左上角的坐标和右上角的坐标的中点坐标。
矫正坐标计算单元432，用于根据计算得到的矫正角度和字符位置信息，使用预设的坐标矫正公式对对应的矫正字符的中心点的矫正坐标进行计算。
在本发明实施例中，根据计算得到的360°范围的矫正角度
Figure SMS_99
对与其对应的矫正 字符所属的检测框进行顺时针旋转，以使矫正字符的朝向为垂直向上，获得旋转后的铸坯 图像的中心点坐标
Figure SMS_101
、
Figure SMS_102
，再根据矫正角度
Figure SMS_103
和字符位置信息中字符中心点坐标（
Figure SMS_104
，
Figure SMS_105
），使用预设的坐标矫正公式
Figure SMS_106
计算对应矫正字符的 中心点的矫正坐标（
Figure SMS_98
，
Figure SMS_100
），其中，cx、cy分别是铸坯图像的中心点坐标。
字符获得子单元433，用于根据计算得到的矫正坐标输出对应的矫正字符，得到铸坯字符。
在本发明实施例中，按照通用阅读顺序，从左到右、从上到下将矫正字符集中的所有矫正字符以计算得到的对应的矫正坐标进行有序输出，得到正确识别的、铸坯图像中的铸坯字符。
特征重建单元422，包括：
字符识别单元，用于通过第二网络中的字符类别分支对铸坯特征图进行单个字符的识别，识别到的所有矫正字符构成矫正字符集；
字符定位单元，用于通过第二网络中的字符位置分支对矫正字符集中的每个矫正字符进行定位，得到每个矫正字符的字符位置信息；
在本发明实施例中，字符位置信息为矩形的检测框形式，其格式为（
Figure SMS_108
，
Figure SMS_110
，
Figure SMS_111
，
Figure SMS_112
），其中，（
Figure SMS_113
，
Figure SMS_114
）为矫正字符所属的检测框的中心点坐标，即该矫正字符的字符中心点坐 标，
Figure SMS_115
，
Figure SMS_107
为检测框的宽、高，
Figure SMS_109
为检测框的角度（即字符角度），其范围在[-90°，0°]或[0°， 90°]之间，该角度是根据水平x轴旋转时与检测框的第一条边相遇时之间的夹角，逆时针旋 转角度为负，顺时针旋转角度为正，如图3示出了顺时针和逆时针两种情况的字符角度，该 第一条边为检测框的长边或短边。
优选地，当与x轴相遇的检测框的第一条边为长边时，根据角度转换公式
Figure SMS_116
对字符角度进行转换，从而实现字符角度都是以短边为第一 条边，使得字符角度的范围统一在[-90°，90°]之间。
角信息获得单元，用于通过第二网络中的字符角点回归分支得到每个矫正字符的角信息，由矫正字符集和矫正字符集中的每个矫正字符对应的字符位置信息和角信息构成矫正字符信息；
在本发明实施例中，通过字符角点回归分支预测每个矫正字符所属检测框的左上角和右上角的位置，得到左上角坐标和右上角坐标，左上角坐标和右上角坐标组成角信息。
优选地，铸坯字符的检测与识别装置还包括：
网络训练单元，用于根据预设的目标损失函数对铸坯字符检测识别网络进行训练。
在本发明实施例中，铸坯字符检测识别网络的目标损失函数
Figure SMS_117
由第一网络的第一 损失函数
Figure SMS_118
和第二网络的第二损失函数
Figure SMS_119
构成，表示为
Figure SMS_120
；
对于第一网络损失
Figure SMS_122
，其主要由字符类别分支的类别损失
Figure SMS_123
、字符位置分支 的位置损失
Figure SMS_124
以及字符角点回归分支的角点回归损失
Figure SMS_125
构成，表示为
Figure SMS_126
，其中，
Figure SMS_127
表示与铸坯字符匹配的锚框正样 本数量，
Figure SMS_128
和
Figure SMS_121
为平衡位置损失和角点回归损失的权重参数；
类别损失
Figure SMS_129
用来判断字符的具体类别，根据需要的实际情况进行设置，可以为10 类（数字），26类（字母）和36类（数字+字母），通过Focal loss损失来进行计算，具体为
Figure SMS_130
，其中，C表示字符设 置的类别，
Figure SMS_131
表示通过sigmoid函数计算得到的第n个预测值的类别概率分布，
Figure SMS_132
表示第n 个锚框对应的类别，
Figure SMS_133
表示类别为k时的概率，
Figure SMS_134
是Focol loss损失的调节超参数，默认设 置为2；
位置损失
Figure SMS_145
用来回归字符的旋转检测框的位置（
Figure SMS_147
，
Figure SMS_148
，
Figure SMS_150
，
Figure SMS_151
），本发明使 用KFLoss损失（Yang, X., Zhou, Y., Zhang, G., Yang, J., Wang, W., Yan, J., Zhang, X., Tian, Q.: The kfiou loss for rotated object detection. CoRR abs/ 2201.12558 (2022)）来计算
Figure SMS_152
，以解决由于角度存在周期性且这五个参数的度量单位 不一致，导致用损失直接回归这五个参数非常不稳定的问题，具体地，首先将旋转的检测框 转换为高斯分布
Figure SMS_153
，计算两个高斯分布
Figure SMS_135
、
Figure SMS_137
之间的中心点距离损失
Figure SMS_138
， 再使用卡尔曼滤波器计算两个高斯分布之间的重合分布，最后将该重合分布重新变换为旋 转框形态，计算交并比值（Intersection over Union，IoU），公式表示为
Figure SMS_140
Figure SMS_142
，其 中，
Figure SMS_144
表示第n个预测的检测框值，
Figure SMS_146
表示第n个目标的真实值，
Figure SMS_149
表示高斯分布中心点 的位置损失，
Figure SMS_136
表示KFIoU的损失值，
Figure SMS_139
表示两个检测框转换为高 斯分布后的均值和方差，RIoU是通过卡尔曼滤波器计算两个高斯分布
Figure SMS_141
、
Figure SMS_143
之 间的重合分布，从而避免直接回归旋转框方法可能带来的不稳定和旋转IoU难以计算以及 不可导的问题；
角点回归损失
Figure SMS_154
使用Smooth L1损失进行计算，表示为
Figure SMS_155
，其中，
Figure SMS_156
表示第n个目标的预测值，
Figure SMS_157
为第n个目标的角点真实值；
对于第二网络损失
Figure SMS_159
，根据公式
Figure SMS_161
进行计算，其中，N 表示使用的第二网络组件的个数，
Figure SMS_162
表示第n个第二网络组件的损失权重，
Figure SMS_163
表示第n个第 二网络组件的损失，每个第二网络组件的损失由字符类别分支的类别损失
Figure SMS_164
、字符位置 分支的位置损失
Figure SMS_165
以及字符角点回归分支的角点回归损失
Figure SMS_166
构成，
Figure SMS_158
计算方式 和
Figure SMS_160
一致，在此不再赘述；
另外，对铸坯字符检测识别网络进行训练的数据集有两类，第一类数据集由实际采集的铸坯图像数据集和扩充数据集组成，扩充数据集是对铸坯图像数据集中的铸坯图像进行360°随机角度的旋转而得到的，第一类数据集中的每个铸坯图像包含朝向任意的铸坯字符，且呈连续多行分布，也可能存在个别字符的缺失，第二类数据集是随机生成的、包含多行顺序排列的字母和数字图像数据集，具体地，随机生成3-5行字符，每行字符为1-5个数字和字母的随机组合，并以360°随机角度对其进行旋转，得到最终的第二类数据集，第一类数据集和第二类数据集都包含铸坯字符四个顶点以及类别的标注信息，从而根据这两类数据集和目标损失函数实现对铸坯字符检测识别网络的训练，提高了网络模型的鲁棒性。
在本发明实施例中，铸坯字符的检测与识别装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例四：
图6示出了本发明实施例四提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的计算设备6包括处理器60、存储器61以及存储在存储器61中并可在处理器60上运行的计算机程序62。该处理器60执行计算机程序62时实现上述一种铸坯字符的检测与识别方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，处理器60执行计算机程序62时实现上述各装置实施例中各单元的功能，例如图4所示单元41至43的功能。
在本发明实施例中，当接收到铸坯字符识别请求时，获取待识别的铸坯图像，通过预先训练好的铸坯字符检测识别网络对铸坯图像进行处理，得到铸坯图像的矫正字符信息，其中，铸坯字符检测识别网络包括第一网络和第二网络，根据矫正字符信息和预设的矫正算法得到铸坯图像中的铸坯字符，从而有效降低了漏识和错识的概率，提高了任意方向且多行分布的铸坯字符的检测和识别性能，同时有效提高了识别准确度。
本发明实施例的计算设备可以为个人计算机、服务器。该计算设备6中处理器60执行计算机程序62时实现一种铸坯字符的检测与识别方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。
实施例五：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述一种铸坯字符的检测与识别方法实施例中的步骤，例如，图1所示的步骤S101至S103。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图4所示单元41至43的功能。
在本发明实施例中，当接收到铸坯字符识别请求时，获取待识别的铸坯图像，通过预先训练好的铸坯字符检测识别网络对铸坯图像进行处理，得到铸坯图像的矫正字符信息，其中，铸坯字符检测识别网络包括第一网络和第二网络，根据矫正字符信息和预设的矫正算法得到铸坯图像中的铸坯字符，从而有效降低了漏识和错识的概率，提高了任意方向且多行分布的铸坯字符的检测和识别性能，同时有效提高了识别准确度。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种铸坯字符的检测与识别方法，其特征在于，所述方法包括下述步骤：
当接收到铸坯字符识别请求时，获取待识别的铸坯图像；
通过预先训练好的铸坯字符检测识别网络对所述铸坯图像进行处理，得到所述铸坯图像的矫正字符信息，其中，所述铸坯字符检测识别网络包括第一网络和第二网络；
根据所述矫正字符信息和预设的矫正算法得到所述铸坯图像中的铸坯字符；
所述通过预先训练好的铸坯字符检测识别网络对所述铸坯图像进行处理的步骤，包括：
通过所述第一网络对所述铸坯图像进行特征提取，得到铸坯特征图；
通过所述第二网络对所述铸坯特征图进行特征重建，得到所述矫正字符信息。
2.如权利要求1所述的方法，其特征在于，所述第一网络和所述第二网络均包含字符类别分支、字符位置分支以及字符角点回归分支，所述矫正字符信息包括矫正字符集和与所述矫正字符集中每个矫正字符对应的字符位置信息和角信息。
3.如权利要求2所述的方法，其特征在于，所述根据所述矫正字符信息和预设的矫正算法得到所述铸坯图像中的铸坯字符的步骤，包括：
根据所述字符位置信息和所述角信息，使用预设的朝向角度公式对对应的矫正字符的矫正角度进行计算；
根据计算得到的所述矫正角度和所述字符位置信息，使用预设的坐标矫正公式对对应的所述矫正字符的中心点的矫正坐标进行计算；
根据计算得到的所述矫正坐标输出对应的所述矫正字符，得到所述铸坯字符。
4.如权利要求2所述的方法，其特征在于，所述通过所述第二网络对所述铸坯特征图进行特征重建的步骤，包括：
通过所述第二网络中的字符类别分支对所述铸坯特征图进行单个字符的识别，识别到的所有矫正字符构成所述矫正字符集；
通过所述第二网络中的字符位置分支对所述矫正字符集中的每个矫正字符进行定位，得到所述每个矫正字符对应的所述字符位置信息；
通过所述第二网络中的字符角点回归分支得到所述每个矫正字符的所述角信息，由所述矫正字符集和所述矫正字符集中的所述每个矫正字符对应的所述字符位置信息和所述角信息构成所述矫正字符信息。
5.一种铸坯字符的检测与识别装置，其特征在于，所述装置包括：
铸坯图像获取单元，用于当接收到铸坯字符识别请求时，获取待识别的铸坯图像；
字符信息获得单元，用于通过预先训练好的铸坯字符检测识别网络对所述铸坯图像进行处理，得到所述铸坯图像中的矫正字符信息，其中，所述铸坯字符检测识别网络包括第一网络和第二网络；以及
铸坯字符获得单元，用于根据所述矫正字符信息和预设的矫正算法得到所述铸坯图像中的铸坯字符；
所述字符信息获得单元包括：
特征提取单元，用于通过所述第一网络对所述铸坯图像进行特征提取，得到铸坯特征图；以及
特征重建单元，用于通过所述第二网络对所述铸坯特征图进行特征重建，得到所述矫正字符信息。
6.如权利要求5所述的装置，其特征在于，所述第一网络和所述第二网络均包含字符类别分支、字符位置分支以及字符角点回归分支，所述矫正字符信息包括矫正字符集和与所述矫正字符集中每个矫正字符对应的字符位置信息和角信息。
7.如权利要求6所述的装置，其特征在于，所述铸坯字符获得单元包括：
矫正角度计算单元，用于根据所述字符位置信息和所述角信息，使用预设的朝向角度公式对对应的矫正字符的矫正角度进行计算；
矫正坐标计算单元，用于根据计算得到的所述矫正角度和所述字符位置信息，使用预设的坐标矫正公式对对应的所述矫正字符的中心点的矫正坐标进行计算；以及
字符获得子单元，用于根据计算得到的所述矫正坐标输出对应的所述矫正字符，得到所述铸坯字符。
8.如权利要求6所述的装置，其特征在于，所述特征重建单元包括：
字符识别单元，用于通过所述第二网络中的字符类别分支对所述铸坯特征图进行单个字符的识别，识别到的所有矫正字符构成所述矫正字符集；
字符定位单元，用于通过所述第二网络中的字符位置分支对所述矫正字符集中的每个矫正字符进行定位，得到所述每个矫正字符对应的所述字符位置信息；以及
角信息获得单元，用于通过所述第二网络中的字符角点回归分支得到所述每个矫正字符的所述角信息，由所述矫正字符集和所述矫正字符集中的所述每个矫正字符对应的所述字符位置信息和所述角信息构成所述矫正字符信息。
9.一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
CN202310593815.4A 2023-05-25 2023-05-25 一种铸坯字符的检测与识别方法、装置、设备及存储介质 Active CN116434234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310593815.4A CN116434234B (zh) 2023-05-25 2023-05-25 一种铸坯字符的检测与识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310593815.4A CN116434234B (zh) 2023-05-25 2023-05-25 一种铸坯字符的检测与识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116434234A true CN116434234A (zh) 2023-07-14
CN116434234B CN116434234B (zh) 2023-10-17

Family

ID=87085692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310593815.4A Active CN116434234B (zh) 2023-05-25 2023-05-25 一种铸坯字符的检测与识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116434234B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100954137B1 (ko) * 2009-07-17 2010-04-20 포항공과대학교 산학협력단 슬라브 정보 인식을 위한 관리번호 추출 방법
CN108549893A (zh) * 2018-04-04 2018-09-18 华中科技大学 一种任意形状的场景文本端到端识别方法
JP2019159833A (ja) * 2018-03-13 2019-09-19 株式会社リコー 画像処理装置、及び画像処理方法
CN111046859A (zh) * 2018-10-11 2020-04-21 杭州海康威视数字技术股份有限公司 字符识别方法及装置
CN111079735A (zh) * 2018-10-22 2020-04-28 莱芜钢铁集团电子有限公司 一种铸坯端面字符识别方法及装置
CN113298039A (zh) * 2021-06-21 2021-08-24 北京观微科技有限公司 一种顾及遥感图像旋转目标的目标检测方法
CN114067300A (zh) * 2021-06-25 2022-02-18 安徽清新互联信息科技有限公司 一种端到端的车牌矫正及识别方法
CN114495108A (zh) * 2021-12-29 2022-05-13 南京中科创达软件科技有限公司 字符检测方法、装置、电子设备及可读介质
CN115063786A (zh) * 2022-08-18 2022-09-16 松立控股集团股份有限公司 一种高位远景模糊车牌检测方法
CN115797939A (zh) * 2022-11-01 2023-03-14 深圳市凌云视迅科技有限责任公司 一种基于深度学习的两阶段斜体字符识别方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100954137B1 (ko) * 2009-07-17 2010-04-20 포항공과대학교 산학협력단 슬라브 정보 인식을 위한 관리번호 추출 방법
JP2019159833A (ja) * 2018-03-13 2019-09-19 株式会社リコー 画像処理装置、及び画像処理方法
CN108549893A (zh) * 2018-04-04 2018-09-18 华中科技大学 一种任意形状的场景文本端到端识别方法
CN111046859A (zh) * 2018-10-11 2020-04-21 杭州海康威视数字技术股份有限公司 字符识别方法及装置
CN111079735A (zh) * 2018-10-22 2020-04-28 莱芜钢铁集团电子有限公司 一种铸坯端面字符识别方法及装置
CN113298039A (zh) * 2021-06-21 2021-08-24 北京观微科技有限公司 一种顾及遥感图像旋转目标的目标检测方法
CN114067300A (zh) * 2021-06-25 2022-02-18 安徽清新互联信息科技有限公司 一种端到端的车牌矫正及识别方法
CN114495108A (zh) * 2021-12-29 2022-05-13 南京中科创达软件科技有限公司 字符检测方法、装置、电子设备及可读介质
CN115063786A (zh) * 2022-08-18 2022-09-16 松立控股集团股份有限公司 一种高位远景模糊车牌检测方法
CN115797939A (zh) * 2022-11-01 2023-03-14 深圳市凌云视迅科技有限责任公司 一种基于深度学习的两阶段斜体字符识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
""R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object"", 《ARXIV》, pages 1 - 13 *

Also Published As

Publication number Publication date
CN116434234B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
US10977523B2 (en) Methods and apparatuses for identifying object category, and electronic devices
CN108764048B (zh) 人脸关键点检测方法及装置
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN108345821B (zh) 面部追踪方法及设备
CN111784747B (zh) 一种基于关键点检测和校正的车辆多目标跟踪系统及方法
CN103279952B (zh) 一种目标跟踪方法和装置
CN111512317A (zh) 一种多目标实时跟踪方法、装置及电子设备
JP2011138388A (ja) データ補正装置及び方法
CN107967692A (zh) 一种基于跟踪学习检测的目标跟踪优化方法
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN112652020B (zh) 一种基于AdaLAM算法的视觉SLAM方法
CN110598647B (zh) 一种基于图像识别的头部姿态识别方法
CN111950370B (zh) 动态环境下线拓展视觉里程计方法
CN110942473A (zh) 一种基于特征点网格化匹配的运动目标跟踪检测方法
CN115937003A (zh) 图像处理方法、装置、终端设备和可读存储介质
CN112418250B (zh) 一种复杂3d点云的优化匹配方法
CN110956664B (zh) 一种手持式三维扫描系统的相机位置实时重定位方法
CN116434234B (zh) 一种铸坯字符的检测与识别方法、装置、设备及存储介质
CN113095316A (zh) 基于多级融合和角点偏移的图像旋转目标检测方法
JP5080416B2 (ja) 入力画像から検出対象物の像を検出する画像処理装置
US20230005162A1 (en) Image processing system, image processing method, and storage medium
CN112634141B (zh) 一种车牌矫正方法、装置、设备及介质
CN113012298B (zh) 一种基于区域检测的弯曲mark三维注册增强现实方法
CN114545412A (zh) Isar图像序列等效雷达视线拟合的空间目标姿态估计方法
CN113920196A (zh) 视觉定位方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant