CN115019321A - 一种文本识别、模型训练方法、装置、设备及存储介质 - Google Patents

一种文本识别、模型训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115019321A
CN115019321A CN202210800458.XA CN202210800458A CN115019321A CN 115019321 A CN115019321 A CN 115019321A CN 202210800458 A CN202210800458 A CN 202210800458A CN 115019321 A CN115019321 A CN 115019321A
Authority
CN
China
Prior art keywords
image
text
scaling
height
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210800458.XA
Other languages
English (en)
Inventor
范森
王晓燕
吕鹏原
姚锟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210800458.XA priority Critical patent/CN115019321A/zh
Publication of CN115019321A publication Critical patent/CN115019321A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)

Abstract

本公开提供了一种文本识别、模型训练方法、装置、设备及存储介质，涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域，可应用于OCR等场景。具体实现方案为：对待识别图像进行缩放处理，得到基准尺寸的第一图像；提取所述第一图像的图像特征；根据所述图像特征确定所述第一图像中文本的最小文本高度；基于所述最小文本高度和所述基准尺寸对应的基准文本高度，获取对所述第一图像进行缩放处理后保持文本清晰的缩放系数；按照所述缩放系数对所述第一图像进行缩放处理，得到第二图像；对所述第二图像进行文本识别。应用本公开实施例搜提供的方案能够针对各种尺寸的图像进行文本识别。

Description

一种文本识别、模型训练方法、装置、设备及存储介质
技术领域
本公开涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域，可应用于OCR等场景。
背景技术
图像在日常生活中越来越常见，一些图像可能会记录有文本，例如，网页图像中记录有文章等文本、发票图像中记录有开票人、开票日期等文本，鉴于此，为便于进行文本处理，需要识别图像中的文本。
然而不同的场景中图像的尺寸可能差距较大，例如，表情包图像的尺寸往往较小，而滑动截屏图像的尺寸往往较大。
鉴于上述情况，需要提供一种基于图像的文本识别方法，能够针对各种尺寸的图像进行文本识别。
发明内容
本公开提供了一种文本识别、模型训练方法、装置、设备及存储介质。
根据本公开的一方面，提供了一种文本识别方法，包括：
对待识别图像进行缩放处理，得到基准尺寸的第一图像；
提取所述第一图像的图像特征；
根据所述图像特征确定所述第一图像中文本的最小文本高度；
基于所述最小文本高度和所述基准尺寸对应的基准文本高度，获取对所述第一图像进行缩放处理后保持文本清晰的缩放系数；
按照所述缩放系数对所述第一图像进行缩放处理，得到第二图像；
对所述第二图像进行文本识别。
根据本公开的另一方面，提供了一种模型训练方法，包括：
获取样本原始图像和所述样本原始图像中文本的标注框；
根据所述样本原始图像的第一尺寸，获得将所述第一尺寸缩放至基准尺寸的缩放比例；
按照所述缩放比例，对所述样本原始图像进行缩放处理，得到样本处理图像；
按照所述缩放比例对所述标注框进行缩放处理；
确定缩放后的标注框的最小框高度；
基于所述最小框高度和所述基准尺寸对应的基准文本高度，获取第一缩放系数；
将所述样本处理图像输入预设的神经网络模型，得到输出的第二缩放系数；
根据所述第一缩放系数与所述第二缩放系数之间的第一差异信息，对所述神经网络模型进行网络参数调整，得到缩放系数预测模型。
根据本公开的另一方面，提供了一种文本识别装置，包括：
第一图像获得模块，用于对待识别图像进行缩放处理，得到基准尺寸的第一图像；
缩放系数获取模块，用于提取所述第一图像的图像特征，根据所述图像特征确定所述第一图像中文本的最小文本高度，并基于所述最小文本高度和所述基准尺寸对应的基准文本高度，获取对所述第一图像进行缩放处理后保持文本清晰的缩放系数；
第二图像获得模块，用于按照所述缩放系数对所述第一图像进行缩放处理，得到第二图像；
文本识别模块，用于对所述第二图像进行文本识别。
根据本公开的另一方面，提供了一种模型训练装置，包括：
样本原始图像获得模块，用于获取样本原始图像和所述样本原始图像中文本的标注框；
缩放比例获取模块，用于根据所述样本原始图像的第一尺寸，获得将所述第一尺寸缩放至基准尺寸的缩放比例；
样本处理图像获得模块，用于按照所述缩放比例，对所述样本原始图像进行缩放处理，得到样本处理图像，并按照所述缩放比例对所述标注框进行缩放处理；
最小框高度确定模块，用于确定缩放后的标注框的最小框高度；
第一缩放系数获取模块，用于基于所述最小框高度和所述基准尺寸对应的基准文本高度，获取第一缩放系数；
样本处理图像输入模块，用于将所述样本处理图像输入预设的神经网络模型，得到输出的第二缩放系数；
参数调整模块，用于根据所述第一缩放系数与所述第二缩放系数之间的第一差异信息，对所述神经网络模型进行网络参数调整，得到缩放系数预测模型。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述文本识别方法或模型训练方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述文本识别方法或模型训练方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述文本识别方法或模型训练方法。
由以上可见，应用本公开实施例所提供的方案进行文本识别时，首先将识别图像缩放为具有基准尺寸的第一图像，然后基于第一图像中的最小文本高度和上述基准尺寸对应的基准文本高度，获取对第一图像进行缩放处理后保持文本清晰的缩放系数，进而按照缩放系数对第一图像进行缩放处理得到第二图像，此时，第二图像中的文本是清晰显示的，然后识别第二图像中的文本。也就是，针对各种原始尺寸的待识别图像，均将待识别图像缩放为文本清晰的第二图像，提升了识别第二图像中文本的准确性。因此，本公开实施例所提供的方案能够针对各种尺寸的图像进行文本识别。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开实施例提供的一种文本识别方法的流程示意图；
图2为本公开实施例提供的第一种模型训练方法的流程示意图；
图3为本公开实施例提供的第二种模型训练方法的流程示意图；
图4为本公开实施例提供的一种文本识别装置的结构示意图；
图5为本公开实施例提供的一种模型训练装置的结构示意图；
图6是用来实现本公开实施例的文本识别方法或模型训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面通过具体实施例对本公开实施例提供的文本识别方法进行详细说明。
参见图1，图1为本公开实施例提供的一种文本识别方法的流程示意图，上述方法包括以下步骤S101-S106。
步骤S101：对待识别图像进行缩放处理，得到基准尺寸的第一图像。
待识别图像可以是多种类型的图像，例如，待识别图像可以是RGB彩色图像、灰度图像、黑白二值图像等类型的图像。
上述基准尺寸可以是工作人员根据实际需要设定的便于进行文本识别的图像尺寸。
其中，上述基准尺寸可以是图像的长和宽相同的尺寸。例如，可以是640像素×640像素、960像素×960像素等；上述基准尺寸也可以是图像的长和宽不相同的尺寸。例如，可以是640像素×320像素、960像素×480像素等。
具体的，可以通过以下方式将待识别图像缩放为基准尺寸的第一图像：
计算基准尺寸的长与待识别图像的长的比值，作为待识别图像的长的缩放比例；计算基准尺寸的宽与待识别图像的宽的比值，作为待识别图像的宽的缩放比例。然后，分别将待识别图像沿长度方向和宽度方向按照对应的缩放比例缩放，得到基准尺寸的第一图像。
步骤S102：提取第一图像的图像特征。
本步骤中不限定提取第一图像的图像特征的方式，例如，可以基于边缘提取算子、纹理特征提取算法、卷积神经网络算法等特征提取算法提取上述第一图像的图像特征。
步骤S103：根据图像特征确定第一图像中文本的最小文本高度。
上述最小文本高度为第一图像中高度最小的文本的文本高度。由于文本高度可以衡量一个文本的大小，因此，本步骤中确定的最小文本高度对应的文本可以理解为第一图像中最小的文本。
下面介绍根据提取到的图像特征确定第一图像中文本的最小文本高度的方式。
一种实施方式中，可以基于提取到的图像特征确定出第一图像中的各个文本区域，然后，确定各个文本区域中的最小区域高度，将上述最小区域高度确定为最小文本高度。
例如，可以基于图像特征确定第一图像中文本所在的矩形区域，该矩形区域可以是一行文本的最小外接矩形，也可以各个字符或者文字的最小外接矩形，然后选择这些矩形区域的最小高度作为上述最小文本高度。
步骤S104：基于最小文本高度和基准尺寸对应的基准文本高度，获取对第一图像进行缩放处理后保持文本清晰的缩放系数。
上述基准文本高度为在基准尺寸的图像中能够使得文本清晰显示的文本高度。
可以理解的是，在不同的基准尺寸下，上述基准文本高度不同，工作人员可以预先设定对应于各基准尺寸的基准文本高度。
例如，基准尺寸S1为640像素×640像素，文本高度为20像素的文本可以在基准尺寸S1的图像中清晰显示，因此基准尺寸S1对应的基准文本高度可以是20像素；基准尺寸S2为960像素×960像素，文本高度为30像素的文本可以在基准尺寸S2的图像中清晰显示，因此基准尺寸S2对应的基准文本高度可以是30像素。
由于最小文本高度对应的文本为基准尺寸的第一图像中最小的文本，基准文本高度为在基准尺寸的图像中能够使得文本清晰显示的文本高度，因此，可以基于上述最小文本高度和上述基准文本高度，获取对第一图像进行缩放处理后保持文本清晰的缩放系数。具体实施方式可以参见后续实施例，这里暂不详述。
本公开的一个实施例中，本步骤可以通过预先训练的缩放系数预测模型实现，详见后续实施例，这里暂不详述。
步骤S105：按照缩放系数对第一图像进行缩放处理，得到第二图像。
本步骤中，可以将第一图像沿长度方向和宽度方向均按照上述缩放系数缩放，得到缩放后的第二图像。
步骤S106：对第二图像进行文本识别。
本步骤中，对第二图像进行文本识别时，可以采用预先训练的文本识别模型实现，上述预先训练的文本识别模型可以包括文本区域检测功能以及文本识别功能。其中，文本区域检测功能用于检测第二图像中的各文本区域，文本识别功能用于识别各文本区域中的文本。
下面通过举例对于上述文本识别模型的模型架构进行简要介绍。
上述文本区域检测功能可以基于轻量级网络Mobile-v3以及Unet网络实现，其中，Mobile-v3作为骨干网络，Unet网络作为任务网络。
这样将第二图像输入上述文本识别模型后，上述文本区域检测功能可以基于上述网络提取第二图像的图像特征，基于提取到的图像特征输出文本区域得分图。
例如，当第二图像的类型为RGB图像时，将具有3通道的第二图像输入上述模型，上述模型可以输出文本区域得分图。如，文本区域得分为1，非文本区域得分为0，这样可以将得分为1的区域确定为文本区域。
其中，上述文本区域检测功能所确定的文本区域可以是各个文本区域，也可以是各个文本行区域或文本列区域。
上述文本区域识别功能可以基于CRNN(Convolutional Recurrent NeuralNetwork，卷积循环神经网络)+CTC(Connectionist temporal classification，基于神经网络的时序类分类)的架构实现，即CRNN作为骨干网络，CTC作为解码层。
其中，上述CRNN可以采用Resnet18网络作为编码器，用于获得上述文本区域检测功能所确定出的文本区域的图像全局特征；上述CTC作为文本行字段解码器，用于对上述图像全局特征进行序列化建模，结合文本的上下文特征，来预测各文本字符类别，并输出各文本字符的识别结果。
需要说明的是，上述预先训练的用于识别第二图像中的文本的文本识别模型仅为举例，本公开不限定用于识别第二图像中文本的具体模型。
需要说明的是，由前述实施例可知，步骤S104中缩放系数的获取可以通过预先训练的缩放系数预测模型实现，在前述获取缩放系数是用上述缩放系数模型实现的时候，上述缩放系数模型可以是文本识别模型中的一个子模型；或者，可以是文本识别模型中的一个或多个网络层；或者，可以是文本识别模型中的一个是功能性模块。
由以上可见，应用本公开实施例所提供的方案进行文本识别时，首先将识别图像缩放为具有基准尺寸的第一图像，然后基于第一图像中的最小文本高度和上述基准尺寸对应的基准文本高度，获取对第一图像进行缩放处理后保持文本清晰的缩放系数，进而按照缩放系数对第一图像进行缩放处理得到第二图像，此时，第二图像中的文本是清晰显示的，然后识别第二图像中的文本。也就是，针对各种原始尺寸的待识别图像，均将待识别图像缩放为文本清晰的第二图像，提升了识别第二图像中文本的准确性。
可以看出，本公开实施例所提供的方案能够针对各种尺寸的图像进行文本识别，提高了文本识别方案的通用性，可以适用于更多的识别场景，提高了需要进行文本识别的用户的体验。
下面对本公开实施例所提供的方案与现有技术的区别进行介绍。
现有技术中，对待识别图像进行文本识别之前，需要保证待识别图像的尺寸统一，因此会将待识别图像缩放到一个预设的固定尺寸。然而，实际场景中，待识别图像的原始尺寸大小各异，因此将原始尺寸不同的待识别图像均缩放到固定尺寸，会导致缩放后的图像中文本大小不符合预期，进而影响文本识别结果：一方面，将原始尺寸过大的待识别图像缩放到固定尺寸后，可能导致缩放后的图像中文本过小从而无法识别；另一方面，将原始尺寸较小的图像缩放到固定尺寸后，可能导致缩放后的图像中文本过大，从而导致在文本识别过程中造成冗余计算，增加了识别耗时。
相较于现有技术，采用本公开实施例提供的方案进行文本识别时，对于各种原始尺寸的待识别图像，能够针对性的预测待识别图像的缩放系数，使得基于上述缩放系数得到的第二图像中的文本大小趋近于预期大小，能够清晰显示，进而将包含清晰文本的第二图像作为文本识别的图像。可见，相较于现有技术中将待识别图像全部缩放到固定尺寸，并将上述缩放到固定尺寸的图像作为文本识别的图像，由于本公开提供的方案中第二图像中文本大小趋近于预期大小，因此可以有效降低进行文本识别的图像中文本过小无法识别或文本过大导致冗余计算和资源浪费的概率，提高了文本识别的效率。
本发明的一个实施例中，上述步骤S102-步骤S104可以通过预先训练的缩放模型实现：
通过将第一图像输入预先训练的缩放系数预测模型，得到输出的缩放系数。
其中，缩放系数预测模型为：以基准尺寸的样本图像为输入信息、样本缩放系数为训练标注对预设的神经网络模型进行训练得到的、用于预测缩放系数的模型，样本缩放系数根据样本图像中文本的最小高度和基准文本高度确定。
上述缩放系数预测模型的具体训练方式详见后续图2所示的实施例，这里暂不详述。
下面对步骤S104中获取对第一图像进行缩放处理后保持文本清晰的缩放系数的方式进行说明：
一种实施方式中，可以首先计算上述基准文本高度与最小文本高度之间的比值，然后基于比值，获得对第一图像进行缩放处理后使得文本清晰的缩放系数。
上述基准文本高度与最小文本高度之间的比值的可以表征以下含义：
当上述比值大于1时，表示缩放后的第一图像中最小文本高度小于上述基准文本高度，也就是具有上述最小文本高度的最小文本过小，不足以在基准尺寸的图像中清晰显示，为了便于后续能够准备识别第一图像中的文本，可以将第一图像放大。
当上述比值小于1时，表示缩放后的第一图像中最小文本高度大于上述基准文本高度，也就是具有上述最小文本高度的最小文本过大，足以在基准尺寸的图像中清晰显示，为了节省后续文本识别时的计算资源消耗，可以将第一图像缩小。
基于上述比值的含义，可以通过以下方式获得对第一图像进行缩放处理后使得文本清晰的缩放系数。
第一种方式，可以直接将上述比值确定为上述缩放系数。
例如，基准尺寸S1对应的基准文本高度为20像素，第一图像中的最小文本高度为10像素，上述比值为20/10＝2，可以将2确定为上述缩放系数。
这样可以使得缩放后得到的第二图像中的最小文本高度等于上述基准文本高度，也就是使得缩放后的第二图像中的具有最小文本高度的最小文本能够在第二图像中清晰显示，由于第二图像中的其它文本不小于最小文本，因此其他文本也能够在第二图像中清晰显示。也就是，按照上述缩放系数缩放后的第二图像中的所有文本都可以清晰显示。
第二种方式，可以在上述比值的基础上，预设一个浮动值，基于上述比值和浮动值确定浮动范围，将位于浮动范围内的任一值确定为上述缩放系数。
例如，基准尺寸S1对应的基准文本高度为20像素，第一图像中的最小文本高度为10像素，上述比值为20/10＝2，预设的浮动值为5％，那么上述浮动范围为：[1.9-2.1]，可以将[1.9-2.1]内任意值确定为上述缩放系数。
这样可以使得缩放后得到的第二图像中的最小文本高度趋近于上述基准文本高度。
由前述实施方式可知，当缩放后得到的第二图像中的最小文本高度等于上述基准文本高度时，第二图像中的所有文本都可以清晰显示，那么，本实施例中使得缩放后得到的第二图像中的最小文本高度趋近于上述基准文本高度时，也往往能够保证第二图像中的所有文本都可以清晰显示。
这样基于基准文本高度与最小文本高度之间的比值确定缩放系数，有利于使得按照上述缩放系数缩放后的第二图像中的最小文本高度趋近于基准文本高度，也就是有利于缩放后的第二图像中的文本能够清晰显示，便于后续的文本识别。
由于缩放系数预测模型是通过大量样本图像预先训练得到的，这样缩放系数预测模型能够学习到大量样本图像进行缩放处理得到文本清晰的图像这一过程中样本图像、最终输出图像以及缩放系数的特点，从而使得缩放系数预测模型能够准确的预测缩放系数。另外，通过预先训练的缩放系数预测模型得到上述缩放系数，减少了获得上述缩放系数的时间，提高了获得上述缩放系数的效率，进而提高了整个文本识别流程的效率。
本发明的另一个实施例中，上述步骤S102、S103以及上述实现步骤S104的实施方式中提及的步骤也可以共同由上述缩放系数模型实现。
与前述文本识别方法相对应，本公开实施例还提供了一种模型训练方法，用于训练上述缩放系数预测模型。
参见图2，图2为本公开实施例提供的第一种模型训练方法的流程示意图，上述方法包括以下步骤S201-S208。
步骤S201：获取样本原始图像和样本原始图像中文本的标注框。
具体的，可以通过以下方式获得样本原始图像中文本的标注框。
一种实施方式中，可以提取样本原始图像的图像特征，根据提取到的图像特征，确定图像中的各文本区域，将所确定的文本区域边框标注为样本原始图像中文本的标注框。
上述提取图像特征以及确定图像中的各文本区域的方式可以参见图1所示实施例，具体的，可以在图1所示实施例的步骤S102中介绍的提取第一图像的图像特征以及步骤S103基于提取到的图像特征确定出第一图像中的各个文本区域的方式的基础上得到，这里不再赘述。
另一种实施方式中，可以采用人工标注的方式标注样本原始图像中文本的标注框，这样可以依靠人工的丰富经验以及视觉特性得到准确的标注框。
值得一提的是，从前述图1所示的实施例中可以看出，在对第二图像进行文本识别时，可以基于预先训练的文本识别模型实现，在对文本识别模型进行训练时也需要样本图像，且需要对样本图像中的文本区域进行标注，这样在对这里的缩放系数预测模型进行训练时，可以复用文本识别模型训练过程中使用到的样本图像以及文本区域的标注信息，这样无需再增加标注成本，有利于减少资源的消耗，且提高了获得样本原始图像以及样本原始图像中文本的标注框的效率，进而有利于提高缩放系数预测模型的训练效率。
步骤S202：根据样本原始图像的第一尺寸，获得将第一尺寸缩放至基准尺寸的缩放比例。
上述缩放比例分别为样本原始图像的长和宽的缩放比例。
具体的，可以计算基准尺寸的长与样本原始图像的长的比值，作为样本原始图像的长的缩放比例；计算基准尺寸的宽与样本原始图像的宽的比值，作为样本原始图像的长的缩放比例。
例如，基准尺寸为640像素×640像素，上述第一尺寸为1280像素×640像素，那么将样本原始图像的尺寸缩放至基准尺寸时，样本原始图像的长的缩放比例为640/1280＝0.5，样本原始图像的宽的缩放比例为640/640＝1。
步骤S203：按照缩放比例，对样本原始图像进行缩放处理，得到样本处理图像。
具体的，分别沿样本原始图像的长度方向和宽度方向按照确定出缩放比例缩放，可以得到样本处理图像。
步骤S204：按照缩放比例对标注框进行缩放处理。
因为上述标注框是针对样本原始图像中的文本标注的，因此对样本原始图像按照缩放比例进行缩放得到样本处理图像后，可以分别按照样本原始图像的长和宽对应的缩放比例，对上述标注框的长和宽进行对应的缩放处理。
由于标注框是针对样本原始图像中的文本标注的，反映了样本原始图像中的文本大小，而对样本原始图像进行缩放得到样本处理图像后，样本原始图像中的文本也被同样缩放，因此，按照缩放比例缩放后的标注框大小实际反映了缩放后的样本处理图像中的文本大小。
步骤S205：确定缩放后的标注框的最小框高度。
由上述步骤S204可知，缩放后的标注框大小实际反映了缩放后的样本处理图像中的文本大小，因此，缩放后的标注框的最小框高度也就是缩放后的样本处理图像中的最小文本高度。
步骤S206：基于最小框高度和基准尺寸对应的基准文本高度，获取第一缩放系数。
本步骤中，基于上述最小框高度和上述基准文本高度获得的第一缩放系数为：能够使得样本处理图像按照第一缩放系数缩放后保持文本清晰的缩放系数，也就是希望模型能够输出的缩放系数。
获得第一缩放系数的具体方式参见后续实施例，这里暂不详述。
步骤S207：将样本处理图像输入预设的神经网络模型，得到输出的第二缩放系数。
具体的，上述预设的神经网络模型能够提取样本处理图像的图像特征，并基于图像特征预测样本处理图像的第二缩放系数。其中，上述预设的神经网络模型可以采用轻量化的Mobile-v3模型作为骨干网络。
需要说明的是，上述Mobile-v3模型仅为举例，本公开不限定上述预设的神经网络模型的具体架构方式。
步骤S208：根据第一缩放系数与第二缩放系数之间的第一差异信息，对神经网络模型进行网络参数调整，得到缩放系数预测模型。
具体的，可以根据上述第一缩放系数与第二缩放系数之间的差异计算神经网络模型预测缩放系数时产生的损失值，采用上述损失值对神经网络模型的网络参数进行调整，基于调整后的参数继续迭代训练，在满足预设的训练结束条件后完成训练，得到训练完成的缩放系数预测模型。上述预设的训练结束条件可以是损失值小于预设值、达到预设的训练次数等。
其中，计算损失值的具体方式可以是采用预设的损失函数计算，例如，上述损失函数可以是均方差损失函数、交叉熵损失函数等，本公开并不对损失值的具体计算方式进行限定。
由以上可见，应用本公开实施例提供的方案进行模型训练时，首先获得了样本原始图像以及样本原始图像中文本的标注框，然后将样本原始图像缩放到具有基准尺寸的样本处理图像，按照样本原始图像缩放时的缩放系数对标注框进行了缩放，缩放后的最小框高度为样本处理图像中的最小文本高度。因此，基于上述最小框高度和基准尺寸对应的基准文本高度，可以获得能够使得样本处理图像缩放后保持文本清晰的第一缩放系数，进而将第一缩放系数作为样本的标注信息对模型进行训练，能够使得模型学习到样本处理图像与第一缩放系数间的关系，进而能够训练得到能够预测缩放系数的模型。
下面对前述提及的获得第一缩放系数的方式进行说明：
具体的，可以计算基准尺寸对应的基准文本高度与最小框高度之间的比值，第一缩放系数即为上述比值。
这样将基准文本高度与最小框高度间的比值作为第一缩放系数，有利于使得预设的神经网络模型学习到样本处理图像的图像特征与该样本处理图像预期的缩放系数间的关系，进而提高了上述模型预测上述缩放系数的准确性。
本公开的一个实施例中，前述步骤S206可以通过以下方式实现：
响应于确定最小框高度大于预设高度，基于最小框高度和基准文本高度，获取第一缩放系数。
也就是，若判断最小框高度是否大于预设高度，若为是，执行步骤S207以及后续步骤；若为否，则不执行步骤S207以及后续步骤。
上述预设高度可以由工作人员根据经验设定，例如，可以是1、2等。
在上述最小框高度小于预设高度时，表明缩放后的第二图像中的最小文本过小，或者，表明缩放前的第一图像中的最小文本大小与第一图像的尺寸的相对差距过大。
下面以预设高度为1，基准尺寸为640像素×640像素为例，对上述最小框高度不大于预设高度的情况进行举例说明。
第一种情况，可以是具有巨大尺寸的样本原始图像中的最小文本不够大。
例如：样本原始图像P1的尺寸为12800像素×12800像素，P1中最小文本的文本高度为20像素，最小文本对应的标注框高度为20像素，计算出P1的长和宽的缩放比例均为640/12800＝1/20，那么将P1中的文本标注框的长和宽分别按照1/20缩放后，最小文本对应的标注框高度为1，也就是上述最小框高度为1，不大于预设高度1。
可以看出，这种情况下，P1中的最小文本大小相较于P1的尺寸过小，这样对P1进行缩放后再进行文字识别时，缩放后的图像中文字过小，难以识别。因此，针对样本原始图像P1不进行后续步骤，也就是将上述样本原始图像舍弃，不作为用于训练神经网络模型的样本。
第二种情况，可以是正常尺寸的样本原始图像中的最小文本极小。
例如：样本原始图像P2的尺寸为1280像素×1280像素，P2中最小文本的文本高度为1像素，最小文本对应的标注框高度为1像素，计算出P1的长和宽的缩放比例均为640/1280＝0.5，那么将P2中的文本标注框的长和宽分别按照0.5缩放后，最小文本对应的标注框高度为0.5，也就是上述最小框高度为0.5，不大于预设高度1。
可以看出，这种情况下，P2中的最小文本大小极小，也难以识别。因此，针对样本原始图像P2不进行后续步骤，也就是将上述样本原始图像舍弃，不作为用于训练神经网络模型的样本。
这样可以过滤掉所包含的文本难以识别的样本处理图像，仅采用所包含文本便于识别的样本处理图像训练模型，避免模型学习到所包含的文本难以识别的样本处理图像的图像特征从而干扰模型的训练结果，降低了模型训练时的干扰，提高了训练得到的模型预测缩放系数时的准确率。
在图2所示实施例的基础上，神经网络模型除了可以输出第二缩放系数之外，还可以输出以下至少一项：表征样本处理图像中是否存在文本的第一信息；表征样本处理图像中文本方向的第二信息。鉴于上述情况，本公开实施例提供了第二种模型训练方法。
参见图3，图3为本公开实施例提供的第二种模型训练方法的流程示意图，上述方法包括以下步骤S301-S308。
步骤S301：获得样本原始图像和样本原始图像中文本的标注框。
步骤S302：根据样本原始图像的第一尺寸，获得将第一尺寸缩放至基准尺寸的缩放比例。
步骤S303：按照缩放比例，对样本原始图像进行缩放处理，得到样本处理图像。
步骤S304：按照缩放比例对标注框进行缩放处理。
步骤S305：确定缩放后的标注框的最小框高度。
步骤S306：基于最小框高度和基准尺寸对应的基准文本高度，获得第一缩放系数。
上述步骤S301-步骤S306与前述图2所示实施例中步骤S201-步骤S206相同，这里不再赘述。
步骤S307：将样本处理图像输入预设的神经网络模型，得到输出的第二缩放系数以及以下至少一项：表征样本处理图像中是否存在文本的第一信息、表征样本处理图像中文本方向的第二信息。
可见上述神经网络模型的输出可以存在多种情况。具体的，可以包括上述第二缩放系数以及上述第一信息；可以包括上述第二缩放系数以及上述第二信息，可以包括上述第二缩放系数、第一信息和第二信息。输出不同的情况下调整网络参数的方式也不同，相关内容具体参见后续步骤S308，这里暂不详述。
将样本处理图像输入预设的神经网络模型后，该模型可以对样本处理图像进行特征提取，然后基于所提取的特征进行缩放系数预测。除此之外，获得第一信息以及第二信息时，也会用到样本处理图像的特征，这样在同一模型中输出上述三种信息，可以使得样本处理图像的特征得以共用，无需多次进行图像特征提取，节省了计算资源。
步骤S308：根据扩展信息和第一缩放系数与第二缩放系数之间的第一差异信息，对神经网络模型进行网络参数调整，得到缩放系数预测模型。
其中，扩展信息包括以下至少一项：第二信息与第三信息之间的第二差异信息，上述第三信息表征标注框中的文本方向；
第一信息与第四信息之间的第三差异信息，上述第四信息表征样本处理图像存在文本。
具体的，根据神经网络模型输出的不同，上述扩展信息包括内容的不同，根据扩展信息包括内容的不同，对神经网络模型进行网络参数调整的方式也不同。具体有以下几种情况：
第一种情况，上述神经网络模型的输出参数包括第二缩放系数以及第二信息，这时扩展信息包括上述第二差异信息。
这种情况下，对神经网络模型进行网络参数调整时，一方面，根据第一差异信息对模型参数进行调整，具体调整方式可以参见前述图2所示实施例中步骤S208，这里不再赘述；另一方面，还要根据上述第二差异信息，对模型参数进行调整，以使得模型学习到样本处理图像的图像特征与标注框中的文本方向间的关系，进而使得模型还能够输出表征样本处理图像中文本方向的第二信息。
其中，根据上述第二差异信息调整网络参数的方式可以在根据第一差异信息对模型参数进行调整的方式的基础上得到，这里不再赘述。
第二种情况，上述神经网络模型的输出参数可以包括第二缩放系数以及第一信息，这时扩展信息包括上述第三差异信息。
这种情况下，对神经网络模型进行网络参数调整时，一方面，根据第一差异信息对模型参数进行调整，具体调整方式可以参见前述图2所示实施例中步骤S208，这里不再赘述；另一方面，还要根据上述第三差异信息对模型参数进行调整，以使得模型学习到样本处理图像的图像特征与样本处理图像中是否存在文本间的关系，进而使得模型还能够输出上述表征所述样本处理图像中是否存在文本的第一信息。
其中，根据第三差异信息调整网络参数的方式可以在根据第一差异信息对模型参数进行调整的方式的基础上得到，这里不再赘述。
第三种情况，上述神经网络模型的输出参数可以包括第二缩放系数、第一信息以及第二信息，这时扩展信息包括第二差异信息以及第三差异信息。
这种情况下，对神经网络模型进行网络参数调整时，第一方面，根据第一差异信息对模型参数进行调整；第二方面，还要根据第二差异信息对模型参数进行调整；第三方面，还要根据第三差异信息对模型参数进行调整。这样能够训练得到能够给输出第二缩放系数、表征样本处理图像中文本方向的第二信息的以及表征样本处理图像中是否存在文本的第一信息的缩放系数预测模型。其中，上述网络参数的调整方式参见前述介绍，这里不再详述。
由以上可见，应用本公开实施例提供的方案训练得到的缩放系数模型针对出入的第一图像除了能够输出第二缩放系数之外，还可以输出表征第一图像中是否存在文本的第一信息和表征第一图像中文本方向的第二信息中的至少一种，这样在识别基于缩放系数得到第二图像之前，可以根据上述第一信息和第二信息中的至少一种对第二图像进行过滤或调整，有利于文本识别的顺利进行，提高了识别效率。
本公开的一个实施例中，由于图3所示实施例训练得到的缩放系数预测模型针对第一图像除了能够输出第二缩放系数外，还能够输出表征第一图像中是否存在文本的第一信息和表征第一图像中文本方向的第二信息中的至少一种，因此，基于上述缩放系数得到第二图像，对第二图像进行文本识别前，可以先根据上述第一信息和第二信息中的至少一种对第二图像进行过滤或调整。具体实施方式如下：
一种实施方式中，缩放系数预测模型可以输出上述第二缩放系数以及第一信息。这种情况下，可以判断第一信息是否表征第一图像中存在文本，若为是，基于上述缩放系数对第一图像进行缩放得到第二图像，对第二图像进行文本识别；若为否，表明第一图像不存在文本，因此不针对第一图像进行后续处理，文本识别流程结束。
这样在第一图像不存在文本时能够结束文本识别流程，有利于减少针对无文本图像进行文本识别时造成的计算资源浪费。
另一种实施方式中，缩放系数预测模型可以输出上述第二缩放系数以及第二信息。这种情况下，可以判断上述第二信息是否表征第一图像中文本方向为预设排列方向，若为是，基于上述缩放系数对第一图像进行缩放得到第二图像，对第二图像进行文本识别；若为否，表明第一图像中的文本不是预设排列方向，因此可以进一步对第一图像进行旋转，得到文本排列方向为预设排列方向的新第一图像，然后再基于上述缩放系数对新第一图像进行缩放得到第二图像，对第二图像进行文本识别。上述预设排列方向可以是预设的便于后续文本识别的文本方向，例如，可以是横向排列方向等。
这样在第一图像中的文本方向不为预设排列方向时，能够通过对第一图像进行旋转，得到文本排列方向为预设排列方向的新第一图像，进而基于上述缩放系数对新第一图像进行缩放得到第二图像，对第二图像进行文本识别时，有利于提高文本识别的准确度。
再一种实施方式中，缩放系数预测模型可以输出上述第二缩放系数、第一信息以及第二信息。这种情况下，可以先判断第一是否表征第一图像中存在文本，若为是，再判断上述第二信息是否表征第一图像中文本方向为预设排列方向，根据判断结果对第一图像进行调整，然后基于上述缩放系数对调整后新第一图像进行缩放得到第二图像，对第二图像进行文本识别；若为否，表明第一图像不存在文本，因此不针对第一图像进行后续处理，文本识别流程结束。上述调整方式参见前述实施例，这里不再赘述。
这样可以基于上述第一信息以及第二信息对第一图像进行预先处理，进而能够过滤无文本的第一图像或调整第一图像中的文本排列方向，有利于减少计算资源浪费并且有利于提高文本识别的准确度。
与上述文本识别方法相对应的，本公开实施例提供了一种文本识别装置。
参见图4，图4为本公开实施例提供的一种文本识别装置的结构示意图，上述装置包括以下模块401-404。
第一图像获得模块401，用于对待识别图像进行缩放处理，得到基准尺寸的第一图像；
缩放系数获取模块402，用于提取所述第一图像的图像特征，根据所述图像特征确定所述第一图像中文本的最小文本高度，并基于所述最小文本高度和所述基准尺寸对应的基准文本高度，获取对所述第一图像进行缩放处理后保持文本清晰的缩放系数；
第二图像获得模块403，用于按照所述缩放系数对所述第一图像进行缩放处理，得到第二图像；
文本识别模块404，用于对所述第二图像进行文本识别。
由以上可见，应用本公开实施例所提供的方案进行文本识别时，首先将识别图像缩放为具有基准尺寸的第一图像，然后基于第一图像中的最小文本高度和上述基准尺寸对应的基准文本高度，获取对第一图像进行缩放处理后保持文本清晰的缩放系数，进而按照缩放系数对第一图像进行缩放处理得到第二图像，此时，第二图像中的文本是清晰显示的，然后识别第二图像中的文本。也就是，针对各种原始尺寸的待识别图像，均将待识别图像缩放为文本清晰的第二图像，提升了识别第二图像中文本的准确性。
可以看出，本公开实施例所提供的方案能够针对各种尺寸的图像进行文本识别，提高了文本识别方案的通用性，可以适用于更多的识别场景，提高了需要进行文本识别的用户的体验。
本公开的一个实施例中，所述缩放系数获取模块402，具体用于通过将所述第一图像输入预先训练的缩放系数预测模型，得到输出的所述缩放系数；其中，所述缩放系数预测模型为：以所述基准尺寸的样本图像为输入信息、样本缩放系数为训练标注对预设的神经网络模型进行训练得到的、用于预测缩放系数的模型，所述样本缩放系数根据所述样本图像中文本的最小高度和所述基准文本高度确定。
由于缩放系数预测模型是通过大量样本图像预先训练得到的，这样缩放系数预测模型能够学习到大量样本图像进行缩放处理得到文本清晰的图像这一过程中样本图像、最终输出图像以及缩放系数的特点，从而使得缩放系数预测模型能够准确的预测缩放系数。另外，通过预先训练的缩放系数预测模型得到上述缩放系数，减少了获得上述缩放系数的时间，提高了获得上述缩放系数的效率，进而提高了整个文本识别流程的效率。
本公开的一个实施例中，所述缩放系数获取模块402，具体用于提取所述第一图像的图像特征，根据所述图像特征确定所述第一图像中文本的最小文本高度，计算所述基准文本高度与所述最小文本高度之间的比值；基于所述比值获取所述缩放系数。
这样基于基准文本高度与最小文本高度之间的比值确定缩放系数，有利于使得按照上述缩放系数缩放后的第二图像中的最小文本高度趋近于基准文本高度，也就是有利于缩放后的第二图像中的文本能够清晰显示，便于后续的文本识别。
与上述模型训练方法相对应的，本公开实施例提供了一种模型训练装置。
参见图5，图5为本公开实施例提供的一种模型训练装置的结构示意图，上述装置包括以下模块501-507。
样本原始图像获得模块501，用于获取样本原始图像和所述样本原始图像中文本的标注框；
缩放比例获取模块502，用于根据所述样本原始图像的第一尺寸，获取将所述第一尺寸缩放至基准尺寸的缩放比例；
样本处理图像获得模块503，用于按照所述缩放比例，对所述样本原始图像进行缩放处理，得到样本处理图像，并按照所述缩放比例对所述标注框进行缩放处理；
最小框高度确定模块504，用于确定缩放后的标注框的最小框高度；
第一缩放系数获取模块505，用于基于所述最小框高度和所述基准尺寸对应的基准文本高度，获取第一缩放系数；
样本处理图像输入模块506，用于将所述样本处理图像输入预设的神经网络模型，得到输出的第二缩放系数；
参数调整模块507，用于根据所述第一缩放系数与所述第二缩放系数之间的第一差异信息，对所述神经网络模型进行网络参数调整，得到缩放系数预测模型。
由以上可见，应用本公开实施例提供的方案进行模型训练时，首先获得了样本原始图像以及样本原始图像中文本的标注框，然后将样本原始图像缩放到具有基准尺寸的样本处理图像，按照样本原始图像缩放时的缩放系数对标注框进行了缩放，缩放后的最小框高度为样本处理图像中的最小文本高度。因此，基于上述最小框高度和基准尺寸对应的基准文本高度，可以获得能够使得样本处理图像缩放后保持文本清晰的第一缩放系数，进而将第一缩放系数作为样本的标注信息对模型进行训练，能够使得模型学习到样本处理图像与第一缩放系数间的关系，进而能够训练得到能够预测缩放系数的模型。
本公开的一个实施例中，所述第一缩放系数获取模块505，具体用于计算所述基准文本高度与所述最小框高度之间的比值；
所述第一缩放系数为所述比值。
这样将基准文本高度与最小框高度之间的比值作为第一缩放系数，有利于使得预设的神经网络模型学习到样本处理图像的图像特征与该样本处理图像预期的缩放系数间的关系，进而提高了上述模型预测上述缩放系数的准确性。
本公开的一个实施例中，所述第一缩放系数获取模块505，具体用于响应于确定所述最小框高度大于预设高度，基于所述最小框高度和所述基准文本高度，获取所述第一缩放系数。
这样可以过滤掉所包含的文本难以识别的样本处理图像，仅采用所包含文本便于识别的样本处理图像训练模型，避免模型学习到所包含的文本难以识别的样本处理图像的图像特征从而干扰模型的训练结果，降低了模型训练时的干扰，提高了训练得到的模型预测缩放系数时的准确率。
本公开的一个实施例中，所述神经网络模型的输出还包括以下至少一项：表征所述样本处理图像中是否存在文本的第一信息、表征所述样本处理图像中文本方向的第二信息；
所述参数调整模块507，具体用于根据扩展信息和所述第一差异信息，对所述神经网络模型进行网络参数调整，得到缩放系数预测模型；
其中，所述扩展信息包括以下至少一项：所述第二信息与第三信息之间的第二差异信息，所述第三信息表征所述标注框中的文本方向；
所述第一信息与第四信息之间的第三差异信息，所述第四信息表征所述样本处理图像存在文本。
由以上可见，应用本公开实施例提供的方案训练得到的缩放系数模型针对出入的第一图像除了能够输出第二缩放系数之外，还可以输出表征第一图像中是否存在文本的第一信息和表征第一图像中文本方向的第二信息中的至少一种，这样在识别基于缩放系数得到第二图像之前，可以根据上述第一信息和第二信息中的至少一种对第二图像进行过滤或调整，有利于文本识别的顺利进行，提高了识别效率。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
本公开实施例提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行文本识别方法或模型训练方法。
本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行模型文本识别方法或模型训练方法。
本公开实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现文本识别方法或模型训练方法。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如文本识别方法或模型训练方法。例如，在一些实施例中，文本识别方法或模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的文本识别方法或模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行文本识别方法或模型训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种文本识别方法，包括：
对待识别图像进行缩放处理，得到基准尺寸的第一图像；
提取所述第一图像的图像特征；
根据所述图像特征确定所述第一图像中文本的最小文本高度；
基于所述最小文本高度和所述基准尺寸对应的基准文本高度，获取对所述第一图像进行缩放处理后保持文本清晰的缩放系数；
按照所述缩放系数对所述第一图像进行缩放处理，得到第二图像；
对所述第二图像进行文本识别。
2.根据权利要求1所述的方法，其中，所述提取所述第一图像的图像特征，根据所述图像特征确定所述第一图像中文本的最小文本高度，基于所述最小文本高度和所述基准尺寸对应的基准文本高度，获取对所述第一图像进行缩放处理后保持文本清晰的缩放系数，包括：
通过将所述第一图像输入预先训练的缩放系数预测模型，得到输出的所述缩放系数；
其中，所述缩放系数预测模型为：以所述基准尺寸的样本图像为输入信息、样本缩放系数为训练标注对预设的神经网络模型进行训练得到的、用于预测缩放系数的模型，所述样本缩放系数根据所述样本图像中文本的最小高度和所述基准文本高度确定。
3.根据权利要求1所述的方法，其中，所述基于所述最小文本高度和所述基准尺寸对应的基准文本高度，获取对所述第一图像进行缩放处理后保持文本清晰的缩放系数，包括：
计算所述基准文本高度与所述最小文本高度之间的比值；
基于所述比值获取所述缩放系数。
4.一种模型训练方法，包括：
获取样本原始图像和所述样本原始图像中文本的标注框；
根据所述样本原始图像的第一尺寸，获取将所述第一尺寸缩放至基准尺寸的缩放比例；
按照所述缩放比例，对所述样本原始图像进行缩放处理，得到样本处理图像；
按照所述缩放比例对所述标注框进行缩放处理；
确定缩放后的标注框的最小框高度；
基于所述最小框高度和所述基准尺寸对应的基准文本高度，获取第一缩放系数；
将所述样本处理图像输入预设的神经网络模型，得到输出的第二缩放系数；
根据所述第一缩放系数与所述第二缩放系数之间的第一差异信息，对所述神经网络模型进行网络参数调整，得到缩放系数预测模型。
5.根据权利要求4所述的方法，其中，所述基于所述最小框高度和所述基准尺寸对应的基准文本高度，获取第一缩放系数，包括：
计算所述基准文本高度与所述最小框高度之间的比值；
所述第一缩放系数为所述比值。
6.根据权利要求4所述的方法，其中，所述基于所述最小框高度和所述基准尺寸对应的基准文本高度，获取第一缩放系数，包括：
响应于确定所述最小框高度大于预设高度，基于所述最小框高度和所述基准文本高度，获取所述第一缩放系数。
7.根据权利要求4-6中任一项所述的方法，其中，
所述神经网络模型的输出还包括以下至少一项：表征所述样本处理图像中是否存在文本的第一信息、表征所述样本处理图像中文本方向的第二信息；
所述根据所述第一缩放系数与所述第二缩放系数之间的第一差异信息，对所述神经网络模型进行网络参数调整，得到缩放系数预测模型，包括：
根据扩展信息和所述第一差异信息，对所述神经网络模型进行网络参数调整，得到缩放系数预测模型；其中，
所述扩展信息包括以下至少一项：
所述第二信息与第三信息之间的第二差异信息，所述第三信息表征所述标注框中的文本方向；
所述第一信息与第四信息之间的第三差异信息，所述第四信息表征所述样本处理图像存在文本。
8.一种文本识别装置，包括：
第一图像获得模块，用于对待识别图像进行缩放处理，得到基准尺寸的第一图像；
缩放系数获取模块，用于提取所述第一图像的图像特征，根据所述图像特征确定所述第一图像中文本的最小文本高度，并基于所述最小文本高度和所述基准尺寸对应的基准文本高度，获取对所述第一图像进行缩放处理后保持文本清晰的缩放系数；
第二图像获得模块，用于按照所述缩放系数对所述第一图像进行缩放处理，得到第二图像；
文本识别模块，用于对所述第二图像进行文本识别。
9.根据权利要求8所述的装置，其中，
所述缩放系数获取模块，具体用于通过将所述第一图像输入预先训练的缩放系数预测模型，得到输出的所述缩放系数；其中，所述缩放系数预测模型为：以所述基准尺寸的样本图像为输入信息、样本缩放系数为训练标注对预设的神经网络模型进行训练得到的、用于预测缩放系数的模型，所述样本缩放系数根据所述样本图像中文本的最小高度和所述基准文本高度确定。
10.根据权利要求8所述的装置，其中，
所述缩放系数获取模块，具体用于提取所述第一图像的图像特征，根据所述图像特征确定所述第一图像中文本的最小文本高度，计算所述基准文本高度与所述最小文本高度之间的比值；基于所述比值获取所述缩放系数。
11.一种模型训练装置，包括：
样本原始图像获得模块，用于获取样本原始图像和所述样本原始图像中文本的标注框；
缩放比例获取模块，用于根据所述样本原始图像的第一尺寸，获取将所述第一尺寸缩放至基准尺寸的缩放比例；
样本处理图像获得模块，用于按照所述缩放比例，对所述样本原始图像进行缩放处理，得到样本处理图像，并按照所述缩放比例对所述标注框进行缩放处理；
最小框高度确定模块，用于确定缩放后的标注框的最小框高度；
第一缩放系数获取模块，用于基于所述最小框高度和所述基准尺寸对应的基准文本高度，获取第一缩放系数；
样本处理图像输入模块，用于将所述样本处理图像输入预设的神经网络模型，得到输出的第二缩放系数；
参数调整模块，用于根据所述第一缩放系数与所述第二缩放系数之间的第一差异信息，对所述神经网络模型进行网络参数调整，得到缩放系数预测模型。
12.根据权利要求11所述的装置，其中，
所述第一缩放系数获取模块，具体用于计算所述基准文本高度与所述最小框高度之间的比值；
所述第一缩放系数为所述比值。
13.根据权利要求11所述的装置，其中，
所述第一缩放系数获取模块，具体用于响应于确定所述最小框高度大于预设高度，基于所述最小框高度和所述基准文本高度，获取所述第一缩放系数。
14.根据权利要求11-13中任一项所述的装置，其中，
所述神经网络模型的输出还包括以下至少一项：表征所述样本处理图像中是否存在文本的第一信息、表征所述样本处理图像中文本方向的第二信息；
所述参数调整模块，具体用于根据扩展信息和所述第一差异信息，对所述神经网络模型进行网络参数调整，得到缩放系数预测模型；
其中，所述扩展信息包括以下至少一项：所述第二信息与第三信息之间的第二差异信息，所述第三信息表征所述标注框中的文本方向；
所述第一信息与第四信息之间的第三差异信息，所述第四信息表征所述样本处理图像存在文本。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
CN202210800458.XA 2022-07-06 2022-07-06 一种文本识别、模型训练方法、装置、设备及存储介质 Pending CN115019321A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210800458.XA CN115019321A (zh) 2022-07-06 2022-07-06 一种文本识别、模型训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210800458.XA CN115019321A (zh) 2022-07-06 2022-07-06 一种文本识别、模型训练方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115019321A true CN115019321A (zh) 2022-09-06

Family

ID=83079894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210800458.XA Pending CN115019321A (zh) 2022-07-06 2022-07-06 一种文本识别、模型训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115019321A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330777A (zh) * 2022-10-13 2022-11-11 浙江华是科技股份有限公司 训练图片缩放尺寸船舶检测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330777A (zh) * 2022-10-13 2022-11-11 浙江华是科技股份有限公司 训练图片缩放尺寸船舶检测方法及系统

Similar Documents

Publication Publication Date Title
CN110363252B (zh) 趋向于端到端的场景文字检测与识别方法以及系统
CN113139543B (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
CN114550177A (zh) 图像处理的方法、文本识别方法及装置
CN115063875B (zh) 模型训练方法、图像处理方法、装置和电子设备
CN112989995B (zh) 文本检测方法、装置及电子设备
CN112686243A (zh) 智能识别图片文字的方法、装置、计算机设备及存储介质
CN114022887B (zh) 文本识别模型训练及文本识别方法、装置、电子设备
CN114863437B (zh) 文本识别方法、装置、电子设备和存储介质
CN113361462B (zh) 视频处理和字幕检测模型的方法及装置
CN114187459A (zh) 目标检测模型的训练方法、装置、电子设备以及存储介质
CN115861462A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN114549904B (zh) 视觉处理及模型训练方法、设备、存储介质及程序产品
WO2024174726A1 (zh) 基于深度学习的手写及打印文本检测方法和装置
CN115019321A (zh) 一种文本识别、模型训练方法、装置、设备及存储介质
CN114429637A (zh) 一种文档分类方法、装置、设备及存储介质
CN114495101A (zh) 文本检测方法、文本检测网络的训练方法及装置
CN114022865A (zh) 基于车道线识别模型的图像处理方法、装置、设备和介质
CN113837965A (zh) 图像清晰度识别方法、装置、电子设备及存储介质
CN114724144B (zh) 文本识别方法、模型的训练方法、装置、设备及介质
CN114882313B (zh) 生成图像标注信息的方法、装置、电子设备及存储介质
CN115376137B (zh) 一种光学字符识别处理、文本识别模型训练方法及装置
CN114511862B (zh) 表格识别方法、装置及电子设备
CN113706705B (zh) 用于高精地图的图像处理方法、装置、设备以及存储介质
CN115761698A (zh) 一种目标检测方法、装置、设备及存储介质
CN115393870A (zh) 一种文本信息处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination