CN114120305B - 文本分类模型的训练方法、文本内容的识别方法及装置 - Google Patents

文本分类模型的训练方法、文本内容的识别方法及装置 Download PDF

Info

Publication number
CN114120305B
CN114120305B CN202111425339.2A CN202111425339A CN114120305B CN 114120305 B CN114120305 B CN 114120305B CN 202111425339 A CN202111425339 A CN 202111425339A CN 114120305 B CN114120305 B CN 114120305B
Authority
CN
China
Prior art keywords
text
text line
attribute information
information
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111425339.2A
Other languages
English (en)
Other versions
CN114120305A (zh
Inventor
刘珊珊
乔美娜
吴亮
吕鹏原
范森
章成全
姚锟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111425339.2A priority Critical patent/CN114120305B/zh
Publication of CN114120305A publication Critical patent/CN114120305A/zh
Priority to EP22190160.6A priority patent/EP4187504A1/en
Priority to US17/890,629 priority patent/US20220392243A1/en
Application granted granted Critical
Publication of CN114120305B publication Critical patent/CN114120305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)

Abstract

本公开提供了一种文本分类模型的训练方法、文本内容的识别方法及装置，涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于光学字符识别、文字识别等场景，训练方法包括：获取待训练图像集合，待训练图像集合中包括至少一个样本图像，根据每一样本图像，确定每一样本图像中每一文本行的预测位置信息和预测的属性信息，依据每一样本图像的每一文本行的标注位置信息和标注的属性信息、以及每一样本图像中每一文本行的预测位置信息和预测的属性信息，训练得到文本分类模型，文本分类模型用于检测待识别图像中每一文本行的属性信息，提高训练的准确性，使得在基于文本分类模型对文本行的属性信息进行确定时，提高分类的可靠性。

Description

文本分类模型的训练方法、文本内容的识别方法及装置
技术领域
本公开涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于光学字符识别(Optical Character Recognition，OCR)、文字识别等场景，尤其涉及一种文本分类模型的训练方法、文本内容的识别方法及装置。
背景技术
人工智智能(Artificial Intelligence，AI)技术被应用于对图像文本内容的识别场景，如拍照、扫描书本、合同、单票类、试卷、表格等图像的文本内容识别场景。具体的，当AI技术被应用于对试卷中的答题内容进行识别时，可以基于文本检测方法实现。
目前，在基于文本检测方法对图像进行检测时，通常是对图像中的各文字字符进行检测。
然而，不同的图像之间可能存在差异，而基于文本检测方法对图像进行检测，可能使得检测的准确性偏低的技术问题。
发明内容
本公开提供了一种用于提高检测准确性的文本分类模型的训练方法、文本内容的识别方法及装置。
根据本公开的第一方面，提供了一种文本分类模型的训练方法，包括：
获取待训练图像集合，所述待训练图像集合中包括至少一个样本图像，每一样本图像的每一文本行具有标注位置信息和标注的属性信息，所述属性信息表征文本行中的文本为手写文本或者印刷文本；
根据每一样本图像，确定每一样本图像中每一文本行的预测位置信息和预测的属性信息；
依据每一样本图像的每一文本行的标注位置信息和标注的属性信息、以及每一样本图像中每一文本行的预测位置信息和预测的属性信息，训练得到文本分类模型，其中，所述文本分类模型用于检测待识别图像中每一文本行的属性信息。
根据本公开的第二方面，提供了一种文本类型的分类方法，包括：
获取待分类图像，基于预先训练的文本分类模型对所述待分类图像进行分类处理，得到所述待分类图像中每一文本行的属性信息；
其中，所述属性信息表征文本行中的文本为手写文本或者印刷文本，所述文本分类模型是基于如第一方面所述的方法训练生成的。
根据本公开的第三方面，提供了一种文本内容的识别方法，包括：
获取待识别图像，基于预先训练的文本分类模型对所述待识别图像中的每一文本行进行分类处理，得到所述每一文本行的属性信息，其中，所述属性信息表征文本行中的文本为手写文本或者印刷文本，所述文本分类模型是基于如第一方面所述的方法训练生成的；
根据所述每一文本行的属性信息获取用于识别所述每一文本行的文本识别模型，并基于所述每一文本行的文本识别模型对所述每一文本行进行文本识别处理，得到并输出所述待识别图像的文本内容。
根据本公开的第四方面，提供了一种文本分类模型的训练装置，包括：
第一获取单元，用于获取待训练图像集合，所述待训练图像集合中包括至少一个样本图像，每一样本图像的每一文本行具有标注位置信息和标注的属性信息，所述属性信息表征文本行中的文本为手写文本或者印刷文本；
确定单元，用于根据每一样本图像，确定每一样本图像中每一文本行的预测位置信息和预测的属性信息；
训练单元，用于依据每一样本图像的每一文本行的标注位置信息和标注的属性信息、以及每一样本图像中每一文本行的预测位置信息和预测的属性信息，训练得到文本分类模型，其中，所述文本分类模型用于检测待识别图像中每一文本行的属性信息。
根据本公开的第五方面，提供了一种文本类型的分类装置，包括：
第二获取单元，用于获取待分类图像；
第一分类单元，用于基于预先训练的文本分类模型对所述待分类图像进行分类处理，得到所述待分类图像中每一文本行的属性信息；
其中，所述属性信息表征文本行中的文本为手写文本或者印刷文本，所述文本分类模型是基于如第四方面所述的装置训练生成的。
根据本公开的第六方面，提供了一种文本内容的识别装置，包括：
第三获取单元，用于获取待识别图像；
第二分类单元，用于基于预先训练的文本分类模型对所述待识别图像中的每一文本行进行分类处理，得到所述每一文本行的属性信息，其中，所述属性信息表征文本行中的文本为手写文本或者印刷文本，所述文本分类模型是基于如第四方面所述的装置训练生成的；
第四获取单元，用于根据所述每一文本行的属性信息获取用于识别所述每一文本行的文本识别模型；
识别单元，用于基于所述每一文本行的文本识别模型对所述每一文本行进行文本识别处理，得到并输出所述待识别图像的文本内容。
根据本公开的第七方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法；或者，以使所述至少一个处理器能够执行第二方面所述的方法；或者，以使所述至少一个处理器能够执行第三方面所述的方法。
根据本公开的第八方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的方法；或者，所述计算机指令用于使所述计算机执行根据第二方面所述的方法；或者，所述计算机指令用于使所述计算机执行根据第三方面所述的方法。
根据本公开的第九方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法；或者，所述至少一个处理器执行所述计算机程序使得电子设备执行第二方面所述的方法；或者，所述至少一个处理器执行所述计算机程序使得电子设备执行第三方面所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是本公开实施例样本图像的示意图；
图3是根据本公开第二实施例的示意图；
图4是本公开实施例的基础网络模型的框架示意图；
图5是根据本公开第三实施例的示意图；
图6是根据本公开第四实施例的示意图；
图7是根据本公开第五实施例的示意图；
图8是根据本公开第六实施例的示意图；
图9是根据本公开第七实施例的示意图；
图10是根据本公开第八实施例的示意图；
图11是根据本公开第九实施例的示意图；
图12是用来实现本公开实施例的文本分类模型的训练方法、文本类型的分类方法、文本内容的识别方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
人工智能技术被应用于各种图像识别场景，如对图像中的文本内容进行识别的场景，且图像的种类复杂多样，如图像可以为照片、合同、票据、试卷、表格等。
在相关技术中，主要采用如下三种方法进行文本检测，以得到图像中的文本内容：
第一种方法(单字检测的方法)：对图像中的各文字字符进行检测，并对检测得到的各文字字符进行拼接处理，得到文本行，从而得到图像中的文本内容。
第二种方法(回归文本框的方法)：获取图像的文本框(文本框中包括文本内容)，利用深度卷积神经网络对文本框进行回归处理，从而得到图像中的文本内容。
第三种方法(分割的方法)：将文字区域内的像素视为需分割的目标区域，并对目标区域内的文字进行检测，从而得到图像中的文本内容。
然而，采用第一种方法时，需要较为复杂的文本框的成行策略支持，容易造成当文本框较长而无法完整检测的技术问题；采用第二种方法时，强依赖于文本框，若文本框不准确或者不完全，则容易造成准确性偏低的技术问题；采用第三种方法时，若图像中的文本编排相对复杂，则容易造成准确性偏低的技术问题。
且结合上述分析可知，图像具有多样性，针对同一种类型的图像的文本的排版也可能存在较大差异，如图像中的文本可能至少为印刷文本，也可能至少为手写文本，而采用上述三种方法中的任意方法获取图像中的文本内容时，由于未对文本的类型(即文本具体为印刷文本还是手写文本)进行区分，因此，可能导致获取到的文本内容的准确性偏低的技术问题。
在本实施例中，提出了发明构思：训练生成文本分类模型，以基于训练得到的文本分类模型对图像中的每一文本行的类型进行检测，即确定每一文本行为印刷文本或是手写文本，以结合每一文本行的类型实现对图像中文本内容的获取。
基于上述发明构思，本公开提供一种文本分类模型的训练方法、文本内容的识别方法及装置，应用于人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于光学字符识别、文字识别等场景，以达到提高文本识别的可靠性和准确性。
图1是根据本公开第一实施例的示意图，如图1所示，本公开实施例的文本分类模型的训练方法，包括：
S101：获取待训练图像集合，待训练图像集合中包括至少一个样本图像，每一样本图像的每一文本行具有标注位置信息和标注的属性信息，属性信息表征文本行中的文本为手写文本或者印刷文本。
示例性的，本实施例的执行主体可以为文本分类模型的训练装置(下文简称训练装置)，训练装置可以为服务器(如云端服务器，或者，本地服务器)，也可以为计算机，也可以为终端设备，也可以为处理器，也可以为芯片等，本实施例不做限定。
其中，样本图像可以理解为用于训练得到文本分类模型的数据。样本图像的数量可以基于应用文本分类模型的场景等确定。例如，针对具有相对较高可靠性的应用文本分类模型的场景，可以采用相对较多数量的样本图像进行训练；而针对具有相对较低可靠性的应用文本分类模型的场景，可以采用相对较少数量的样本图像进行训练。
样本图像中至少包括一个文本行，即样本图像中可以包括一个文本行，也可以包括多个文本行。文本行是指，对样本图像中的文字描述行，如图2所示，样本图像中包括文本行1、文本行2直至文本行n。如图2所示，各文本行的尺寸可能相同，也可能不同。
标注位置信息是指，对文本行的位置进行标注而得到的文本行的位置信息，如文本行四个角点的像素坐标。
例如，如图2所示，文本行1的四个角点分别为左上角点、左下角点、右上角点、右下角点。其中，左上角点的像素坐标是指，以样本图像的像素坐标系为基准，左上角点在像素坐标系中的位置。相应的，左下角点的像素坐标是指，左下角点在像素坐标系中的位置；右上角点的像素坐标是指，右上角点在像素坐标系中的位置；右下角点的像素坐标是指，右下角点在像素坐标系中的位置。
标注的属性信息是指，对文本行为手写文本或者印刷文本而标注得到的文本行中文字的类型的信息。
需要说明的是，本实施例对的待训练图像集合具体获取方法不做限定，例如，获取待训练图像集合可以采用下述示例实现：
一个示例中，训练装置可以与图像采集装置连接，并接收由图像采集装置发送的待训练图像集合。
另一个示例中，训练装置可以提供载入图像的工具，用户可以通过该载入图像的工具将待训练图像集合传输至训练装置。
其中，载入图像的工具可以为用于与外接设备连接的接口，如用于与其他存储设备连接的接口，通过该接口获取外接设备传输的待训练图像集合；载入图像的工具也可以为显示装置，如训练装置可以在显示装置上输入载入图像功能的界面，用户可以通过该界面将待训练图像集合导入至训练装置。
同理，本实施例对每一文本行的标注位置信息和标注的属性信息的标注方法不做限定，例如，可以基于人工的方式实现，也可以基于人工智能的方式实现。
S102：根据每一样本图像，确定每一样本图像中每一文本行的预测位置信息和预测的属性信息。
预测位置信息与标注位置信息为相对概念，是指基于预测得到的文本行的位置信息。即，标注位置信息为基于对文本行进行标注而得到的位置信息，而预测位置信息为基于对文本行进行预测而得到的位置信息。如，预测位置信息可以为预测得到的文本行的四角点的像素坐标。
同理，预测的属性信息与标注的属性信息为相对概念，是指基于预测得到的文本行的属性信息。即，标注属性信息为基于对文本行进行标注而得到的属性信息，而预测属性信息为基于对文本行进行预测而得到的属性信息。
S103：依据每一样本图像的每一文本行的标注位置信息和标注的属性信息、以及每一样本图像中每一文本行的预测位置信息和预测的属性信息，训练得到文本分类模型。其中，文本分类模型用于检测待识别图像中每一文本行的属性信息。
例如，可以基于每一样本图像的每一文本行的标注位置信息和标注的属性信息、以及每一样本图像中每一文本行的预测位置信息和预测的属性信息，对预设的基础网络模型进行训练，从而得到文本分类模型。
基于上述分析可知，本公开实施例提供了一种文本分类模型的训练方法，包括：获取待训练图像集合，待训练图像集合中包括至少一个样本图像，每一样本图像的每一文本行具有标注位置信息和标注的属性信息，属性信息表征文本行中的文本为手写文本或者印刷文本，根据每一样本图像，确定每一样本图像中每一文本行的预测位置信息和预测的属性信息，依据每一样本图像的每一文本行的标注位置信息和标注的属性信息、以及每一样本图像中每一文本行的预测位置信息和预测的属性信息，训练得到文本分类模型，其中，文本分类模型用于检测待识别图像中每一文本行的属性信息，在本实施例中，引入了：结合每一文本行的标注位置信息和标注的属性信息、以及每一文本行的预测位置信息和预测的属性信息，训练得到文本分类模型，以对待识别图像中的每一文本行的属性信息进行检测的技术特征，通过结合位置信息和属性信息训练得到文本分类模型，使得属性信息和位置信息之间相互约束，避免了偏离位置信息而确定属性信息造成的准确性偏低的弊端，提高了训练的可靠性和准确性，从而使得在基于文本分类模型对文本行的属性信息进行确定时，提高分类的准确性和可靠性的技术效果，进而实现在识别场景中，获取到的文本内容的准确性和可靠性的技术效果。
图3是根据本公开第二实施例的示意图，如图3所示，本公开实施例的文本分类模型的训练方法，包括：
S301：获取采集到的每一样本图像的像素信息，并确定各样本图像的像素信息的共同像素。
其中，关于本实施例与上一实施例中相同的内容，本实施例不再赘述，如本实施例的执行主体、样本图像等，可以参见上一实施例地阐述。
若样本图像的数量为N，即基于N个样本图像训练得到文本分类模型，则该步骤可以理解为：对N个样本图像中的每一样本图像的像素信息进行获取，并确定N个样本图像均包括的像素信息，该部分像素信息即为共同像素，即共同像素为被N个样本图像中的每一样本图像均包括的像素。
S302：根据共同像素对每一样本图像的像素进行归一化处理，并基于归一化处理后的各样本图像构建待训练图像集合。
其中，每一样本图像的每一文本行具有标注位置信息和标注的属性信息，属性信息表征文本行中的文本为手写文本或者印刷文本。
针对N个样本图像中的每一样本图像，根据共同像素对该样本图像进行归一化处理。其中，本实施例中的归一化处理是指广义的归一化处理，可以理解为每一样本图像基于共同像素共同执行的处理操作。例如，归一化处理可以为对共同像素的减操作处理，即针对每一样本图像，可以从每一样本图像中剔除共同像素，从而得到待训练图像集合。例如：
值得说明的是，在本实施例中，通过基于上述方案中的归一化处理(如减共同像素处理)，可以减少训练的复杂度，降低训练成本，且同时凸显个体特征差异，提高训练的可靠性，满足差异化的场景需求的技术效果。
在一些实施例中，各样本图像具有相同的尺寸。例如，可以预先预设样本图像的尺寸，且该尺寸可以基于训练速度进行确定，且基于该尺寸对不符合该尺寸的样本图像进行预处理(如裁剪等)，以使得待训练图像集合中的样本图像均为该尺寸，从而提高训练效率。
S303：根据每一样本图像，确定每一样本图像的特征图，并根据每一样本图像的特征图生成每一样本图像的各文本框。其中，文本框中包括样本图像中的文本行中的文本内容。
例如，可以采用目标检测算法(stage)对每一样本图像进行采样处理，得到每一样本图像的采样图(为了与下文中再采样得到的图进行区分，将本次采样得到的采样图称为第一采样图)，其中，对于不同的样本图像，采用的目标检测算法可以不同，关于目标检测算法的实现原理，可以参见相关技术，此处不再赘述。
针对每一采样图，对该采样图进行多次下采样处理，得到每一采样图的采样图(同理，为了与其他采用得到的图像进行区分，将本次采样得到的图称为第二采样图)。
例如，以多次下采样处理为四次为例，则针对第一采样图A0，进行第一次下采样处理，得到采样图A1，再对采样图A1进行下采样处理，得到采样图A2，再对采样图A2进行下采样处理，得到采样图A3，再对采样图A3进行下采样处理，得到采样图A4(采样图A4即为第一采样图A0对应的第二采样图)。
其中，每一次下采样得到的采样图都是对样本图像的特征进行表征，只是包含的信息的维度有所不同，因此，下采样的次数可以基于对样本图像的特征进行表征的维度进行确定。样本图像的特征包括颜色、纹路、位置、像素等的特征。
基于每一下采样后的第二采样图构建特征金字塔，并对特征金字塔进行上采样处理，以得到与每一样本图像相同尺寸的特征图。
对每一样本图像的特征图依次进行卷积和分类处理，得到该样本图像的阈值图和概率图，并根据阈值图和概率图确定每一样本图像的二值图，以便根据二值图生成该样本图像的每一文本框。
S304：根据每一文本行的文本框确定每一文本行的预测位置信息，并根据每一文本行所归属的样本图像的特征图、以及每一文本行的预测位置信息确定每一文本行的预测的属性信息。
值得说明的是，在本实施例中，通过结合特征图生成文本框，以基于文本框确定预测位置信息，可以使得预测位置信息具有较高的准确性和可靠性，避免文本行的实际位置信息与预测位置信息之间偏差，并结合特征图和预测位置信息确定预测的属性信息，以使得预测的属性信息与文本行之间具有较高的贴合性，从而提高得到预测的属性信息的准确性和可靠性的技术效果。
在一些实施例中，根据每一文本行的文本框确定每一文本行的预测位置信息，可以包括如下步骤：
第一步骤：获取每一文本行的文本框的每一角点的角点位置信息。
第二步骤：根据每一文本行的各角点位置信息确定每一文本行的文本框的中心位置信息，并确定每一文本行的文本框的中心位置信息为每一文本行的预测位置信息。
结合上述分析可知，针对任一文本行的文本框，该文本框可以有四个角点，每一个角点具有每一角点在以样本图像的像素坐标系中的像素坐标，像素坐标即可为角点位置信息。
相应的，在获取到该文本框的四个角点各自对应的角点位置信息之后，可以基于对四个角点位置信息进行计算，以得到该文本框的中心位置信息，该中心位置信息可以理解为该文本框的中心点的坐标。
也就是说，在本实施例中，将每一文本框的中心点的坐标确定为与每一文本框对应的文本行的预测位置信息，以避免预测位置信息的偏离，从而提高预测位置信息的准确性和可靠性的技术效果。
在一些实施例中，根据每一文本行所归属的样本图像的特征图、以及每一文本行的预测位置信息确定每一文本行的预测的属性信息，可以包括如下步骤：
第一步骤：根据每一文本行的预测位置信息确定每一文本行的初始属性信息。
例如，在确定出每一文本行的预测位置信息之后，可以基于该预测位置信息对每一文本行的初始属性信息进行预测。
其中，初始属性信息中的“初始”是用于区分标注的属性信息以及预测的属性信息，可以理解为粗略的确定出的文本行的属性信息，而预测的属性信息可以理解为相对较为精准的文本行的属性信息。
值得说明的是，在本实施例中，通过结合预测位置信息确定每一文本行的初始属性信息，使得初始属性信息可以用于表征预测位置信息的文本行为印刷文本或者手写文本，以使得初始属性信息是相对较为准确的对文本行的属性信息进行表征，而避免错文本行的表征的弊端。
第二步骤：根据每一文本行所归属的样本图像的特征图确定每一文本行的前景区域和背景区域，并根据每一文本行的前景区域和背景区域，对每一文本行的初始属性信息进行修正处理，得到每一文本行的预测的属性信息。
其中，前景区域与背景区域是相对概念，是针对文本行而言，文本行中包括文字的区域为前景区域，不包括文字的区域为背景区域，如两个相邻文字之间的间隙为背景区域。
在本实施例中，通过每一文本行的前景区域和背景区域，对每一文本行的初始属性信息进行修正处理，以结合是否包括文字的区域的相关信息对初始属性信息进行修正处理，从而使得每一文本行的预测的属性信息与每一文本行中的文字进行高度贴合，进而提高每一文本行的预测的属性信息的准确性和可靠性的技术效果。
在一些实施例中，前景区域中包括前景像素信息，背景区域中包括背景像素信息；根据每一文本行的前景区域和背景区域，对每一文本行的初始属性信息进行修正处理，得到每一文本行的预测的属性信息，可以包括如下子步骤：
第一子步骤：根据每一文本行的前景像素信息和背景像素信息，对每一文本行的背景区域进行背景区域抑制处理，得到每一文本行的抑制处理后的背景像素信息。
其中，前景像素信息和背景像素信息为相对概念，相对于每一文本行而言，该文本行的前景像素信息和该文本行的背景像素信息为该文本行的整体像素信息。也就是说，文本行的像素信息中包括文本行的前景像素信息和背景像素信息。
相对而言，可以基于文本行的像素灰度值确定文本行的前景像素信息和背景像素信息。例如，将文本行的每一像素的灰度值与预设灰度阈值区间进行比较，如果某像素的灰度值处于灰度阈值区间，则该像素为前景像素，该像素对应的信息即为前景像素信息；如果某像素的灰度值未处于灰度阈值区间，则该像素为背景像素，该像素对应的信息即为背景像素信息。
在一些实施例中，可以基于前景像素信息和背景像素信息，构建像素分类图。如在像素分类图中，通过1对前景像素进行标识，通过0对背景像素进行标识。
相应的，在根据像素分类图对背景区域进行抑制处理时，可以结合特征图实现。例如：对像素分类图进行卷积处理，得到卷积矩阵，将卷积矩阵与特征图进行相乘处理，则可以被标识为0的像素，从而实现抑制背景区域。
第二子步骤：根据每一文本行的前景像素信息以及抑制处理后的背景像素信息，对每一文本行的初始属性信息进行修正处理，得到每一文本行的预测的属性信息。
结合上述分析，该子步骤可以理解为，在对每一文本行的像素分类图的背景区域进行抑制处理后，得到抑制处理后的像素分类图，基于每一文本行的抑制处理后的像素分类图，对每一文本行的初始属性信息进行修正处理，得到每一文本行的预测的属性信息。
在本实施例中，通过结合背景区域抑制处理，可以实现对背景区域的背景像素信息的抑制，增强前景区域中的前景像素信息，以对初始属性信息进行修正处理，从而实现确定出的每一文本行的预测的属性信息的准确性和可靠性的技术效果。
S305：获取每一样本图像的每一文本行的标注位置信息与预测位置信息两者之间的损失信息，并获取每一样本图像的每一文本行的标注的属性信息与预测的属性信息两者之间的损失信息。
S306：根据每一样本图像的每一文本行的标注位置信息与预测位置信息两者之间的损失信息(为了与后文中的损失信息进行区分，可以称为第一损失信息)、以及每一样本图像的每一文本行的标注的属性信息与预测的属性信息两者之间的损失信息(为了与前文中的损失信息进行区分，可以称为第二损失信息)，进行监督学习处理，训练得到分类模型。
例如，可以获取预先为标注位置信息与预测位置信息两者之间的损失信息而设定的第一损失阈值，并获取预先为标注的属性信息与预测的属性信息两者之间的损失信息而设定的第二损失阈值。其中，第一损失阈值与第二损失阈值为不同的值。
通过结合第一损失信息、第一损失阈值、第二损失信息、第二损失阈值进行监督学习处理，即基于第一损失信息和第一损失阈值监督第二损失阈值和第二损失信息，反之，基于第二损失信息和第二损失阈值监督第一损失阈值和第一损失信息，以通过共同监督学习的方式，提高训练的有效性和可靠性的技术效果。
在一些实施例中，训练可以基于基础网络模型实现，即对基础网络模型进行训练，以对基础网络模型的参数(如卷积参数等)进行训练，从而得到文本分类模型。
其中，基础网络模型400的框架可以参阅图4，如图4所示，基础网络模型400的框架可以包括输入模块401、文本行多分类检测模块402、类别提炼(refine)模块403。其中：
输入模块401可以用于，获取包括各样本图像的待训练图像集合。
文本行多分类检测模块402可以用于，基于上述方法实施例中的原理确定每一文本行的文本框、特征图、像素分类图。
其中，文本行多分类检测模块402可以是神经网络模型(backbone)，且可以采用resnet18结构。
类别提炼模块403可以用于，基于上述方法实施例中的原理得到文本分类模型。如，基于共同监督学习的方式，调整文本行多分类检测模块402、类别提炼模块403的网络参数，从而得到文本分类模型。
其中，类别提炼模块403可以采用多层卷积网络结构，如四层卷积网络结构。
图5是根据本公开第三实施例的示意图，如图5所示，本公开实施例的文本类型的方法，包括：
S501：获取待分类图像。
S502：基于预先训练的文本分类模型对待分类图像进行分类处理，得到待分类图像中每一文本行的属性信息。
其中，属性信息表征文本行中的文本为手写文本或者印刷文本，文本分类模型是基于如上任一实施例所述的文本分类模型的训练方法训练生成的。
值得说明的是，本公开实施例的执行主体可以与上述实施例中，文本分类模型的训练方法的执行主体相同，也可以不同，本实施例不做限定。
结合上述分析可知，通过上述文本分类模型的训练方法训练得到文本分类模型具有较高的准确性和可靠性，因此，当基于文本分类模型对待分类图像进行分类处理时，可以提高分类处理的准确性和可靠性的技术效果。
图6是根据本公开第四实施例的示意图，如图6所示，本公开实施例的文本内容的识别方法，包括：
S601：获取待识别图像，基于预先训练的文本分类模型对待识别图像中的每一文本行进行分类处理，得到每一文本行的属性信息。其中，属性信息表征文本行中的文本为手写文本或者印刷文本，文本分类模型是基于如上任一实施例所述的文本分类模型的训练方法训练生成的。
同理，本公开实施例的执行主体可以与上述实施例中，文本分类模型的训练方法的执行主体相同，也可以不同，本实施例不做限定。
S602：根据每一文本行的属性信息获取用于识别每一文本行的文本识别模型，并基于每一文本行的文本识别模型对每一文本行进行文本识别处理，得到并输出待识别图像的文本内容。
在本实施例中，通过先结合文本分类模型对文本行为印刷文本或是手写文本进行确定，并通过与印刷文本对应的文本识别模型或者手写文本对应的文本识别模型，识别并输出待识别图像的文本内容，可以提高识别的可靠性和准确性的技术效果。
在一些实施例中，文本识别模型包括手写文本识别模型和印刷文本识别模型；属性信息为手写文本的文本行的文本识别模型为手写文本识别模型；属性信息为印刷文本的文本行的文本识别模型为印刷文本识别模型。
例如，若待识别图像为试卷的图像，该图像中包括手写文本(如试卷中作答的文本)和印刷文本(如试卷中考题的文本)，通过文本分类模型对该图像中的手写文本和印刷文本进行区分，以灵活选择相应的文本识别模型，如选择手写文本识别模型对手写文本进行识别，选择印刷文本识别模型对印刷文本进行识别，以提高自动阅卷的准确性和可靠性的技术效果。
图7是根据本公开第五实施例的示意图，如图7所示，本公开实施例的文本分类模型的训练装置700，包括：
第一获取单元701，用于获取待训练图像集合，待训练图像集合中包括至少一个样本图像，每一样本图像的每一文本行具有标注位置信息和标注的属性信息，属性信息表征文本行中的文本为手写文本或者印刷文本。
确定单元702，用于根据每一样本图像，确定每一样本图像中每一文本行的预测位置信息和预测的属性信息。
训练单元703，用于依据每一样本图像的每一文本行的标注位置信息和标注的属性信息、以及每一样本图像中每一文本行的预测位置信息和预测的属性信息，训练得到文本分类模型，其中，文本分类模型用于检测待识别图像中每一文本行的属性信息。
图8是根据本公开第六实施例的示意图，如图8所示，本公开实施例的文本分类模型的训练装置800，包括：
第一获取单元801，用于获取待训练图像集合，待训练图像集合中包括至少一个样本图像，每一样本图像的每一文本行具有标注位置信息和标注的属性信息，属性信息表征文本行中的文本为手写文本或者印刷文本。
结合图8可知，在一些实施例中，第一获取单元801，包括：
第三获取子单元8011，用于获取采集到的每一样本图像的像素信息。
第四确定子单元8012，用于确定各样本图像的像素信息的共同像素。
处理子单元8013，用于根据共同像素对每一样本图像的像素进行归一化处理。
构建子单元8014，用于基于归一化处理后的各样本图像构建待训练图像集合。
确定单元802，用于根据每一样本图像，确定每一样本图像中每一文本行的预测位置信息和预测的属性信息。
结合图8可知，在一些实施例中，确定单元802，包括：
第一确定子单元8021，用于根据每一样本图像，确定每一样本图像的特征图。
生成子单元8022，用于根据每一样本图像的特征图生成每一样本图像的各文本框，其中，文本框中包括样本图像中的文本行中的文本内容。
第二确定子单元8023，用于根据每一文本行的文本框确定每一文本行的预测位置信息。
在一些实施例中，第二确定子单元8023，包括：
获取模块，用于获取每一文本行的文本框的每一角点的角点位置信息。
第三确定模块，用于根据每一文本行的各角点位置信息确定每一文本行的文本框的中心位置信息。
第四确定模块，用于确定每一文本行的文本框的中心位置信息为每一文本行的预测位置信息。
第三确定子单元8024，用于根据每一文本行所归属的样本图像的特征图、以及每一文本行的预测位置信息确定每一文本行的预测的属性信息。
在一些实施例中，第三确定子单元8024，包括：
获取模块，用于根据每一文本行的预测位置信息确定每一文本行的初始属性信息。
第三确定模块，用于根据每一文本行所归属的样本图像的特征图确定每一文本行的前景区域和背景区域。
修正模块，用于根据每一文本行的前景区域和背景区域，对每一文本行的初始属性信息进行修正处理，得到每一文本行的预测的属性信息。
在一些实施例中，前景区域中包括前景像素信息，背景区域中包括背景像素信息；修正模块，包括：
抑制子模块，用于根据每一文本行的前景像素信息和背景像素信息，对每一文本行的背景区域进行背景区域抑制处理，得到每一文本行的抑制处理后的背景像素信息。
修正子模块，用于根据每一文本行的前景像素信息以及抑制处理后的背景像素信息，对每一文本行的初始属性信息进行修正处理，得到每一文本行的预测的属性信息。
训练单元803，用于依据每一样本图像的每一文本行的标注位置信息和标注的属性信息、以及每一样本图像中每一文本行的预测位置信息和预测的属性信息，训练得到文本分类模型，其中，文本分类模型用于检测待识别图像中每一文本行的属性信息。
结合图8可知，在一些实施例中，训练单元803，包括：
第一获取子单元8031，用于获取每一样本图像的每一文本行的标注位置信息与预测位置信息两者之间的损失信息。
第二获取子单元8032，用于获取每一样本图像的每一文本行的标注的属性信息与预测的属性信息两者之间的损失信息。
学习子单元8033，用于根据每一样本图像的每一文本行的标注位置信息与预测位置信息两者之间的损失信息、以及每一样本图像的每一文本行的标注的属性信息与预测的属性信息两者之间的损失信息，进行监督学习处理，训练得到分类模型。
图9是根据本公开第七实施例的示意图，如图9所示，本公开实施例的文本类型的分类装置900，包括：
第二获取单元901，用于获取待分类图像。
第一分类单元902，用于基于预先训练的文本分类模型对待分类图像进行分类处理，得到待分类图像中每一文本行的属性信息。
其中，属性信息表征文本行中的文本为手写文本或者印刷文本，文本分类模型是基于如上任一实施例所述的训练装置训练生成的。
图10是根据本公开第八实施例的示意图，如图10所示，本公开实施例的文本内容的识别装置1000，包括：
第三获取单元1001，用于获取待识别图像。
第二分类单元1002，用于基于预先训练的文本分类模型对待识别图像中的每一文本行进行分类处理，得到每一文本行的属性信息，其中，属性信息表征文本行中的文本为手写文本或者印刷文本，文本分类模型是基于如上任一实施例所述的训练装置训练生成的。
第四获取单元1003，用于根据每一文本行的属性信息获取用于识别每一文本行的文本识别模型。
识别单元1004，用于基于所述每一文本行的文本识别模型对每一文本行进行文本识别处理，得到并输出待识别图像的文本内容。
图11是根据本公开第九实施例的示意图，如图11所示，本公开中的电子设备1100可以包括：处理器1101和存储器1102。
存储器1102，用于存储程序；存储器1102，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器1102用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1102中。并且上述的计算机程序、计算机指令、数据等可以被处理器1101调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1102中。并且上述的计算机程序、计算机指据等可以被处理器1101调用。
处理器1101，用于执行存储器1102存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器1101和存储器1102可以是独立结构，也可以是集成在一起的集成结构。当处理器1101和存储器1102是独立结构时，存储器1102、处理器1101可以通过总线1103耦合连接。
本实施例的电子设备可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示，设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如文本分类模型的训练方法、文本类型的分类方法、文本内容的识别方法。例如，在一些实施例中，文本分类模型的训练方法、文本类型的分类方法、文本内容的识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的文本分类模型的训练方法、文本类型的分类方法、文本内容的识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行文本分类模型的训练方法、文本类型的分类方法、文本内容的识别方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (18)

1.一种文本分类模型的训练方法，包括：
获取待训练图像集合，所述待训练图像集合中包括至少一个样本图像，每一样本图像的每一文本行具有标注位置信息和标注的属性信息，所述属性信息表征文本行中的文本为手写文本或者印刷文本；
根据每一样本图像，确定每一样本图像的特征图，并根据每一样本图像的特征图生成每一样本图像的各文本框，其中，文本框中包括样本图像中的文本行中的文本内容；
根据每一文本行的文本框确定每一文本行的预测位置信息；
根据每一文本行的预测位置信息确定每一文本行的初始属性信息；
根据每一文本行所归属的样本图像的特征图确定每一文本行的前景区域和背景区域，并根据每一文本行的前景区域和背景区域，对每一文本行的初始属性信息进行修正处理，得到每一文本行的预测的属性信息；
依据每一样本图像的每一文本行的标注位置信息和标注的属性信息、以及每一样本图像中每一文本行的预测位置信息和预测的属性信息，训练得到文本分类模型，其中，所述文本分类模型用于检测待识别图像中每一文本行的属性信息。
2.根据权利要求1所述的方法，其中，前景区域中包括前景像素信息，背景区域中包括背景像素信息；根据每一文本行的前景区域和背景区域，对每一文本行的初始属性信息进行修正处理，得到每一文本行的预测的属性信息，包括：
根据每一文本行的前景像素信息和背景像素信息，对每一文本行的背景区域进行背景区域抑制处理，得到每一文本行的抑制处理后的背景像素信息；
根据每一文本行的前景像素信息以及抑制处理后的背景像素信息，对每一文本行的初始属性信息进行修正处理，得到每一文本行的预测的属性信息。
3.根据权利要求1或2所述的方法，其中，根据每一文本行的文本框确定每一文本行的预测位置信息，包括：
获取每一文本行的文本框的每一角点的角点位置信息；
根据每一文本行的各角点位置信息确定每一文本行的文本框的中心位置信息，并确定每一文本行的文本框的中心位置信息为每一文本行的预测位置信息。
4.根据权利要求1至3中任一项所述的方法，其中，依据每一样本图像的每一文本行的标注位置信息和标注的属性信息、以及每一样本图像中每一文本行的预测位置信息和预测的属性信息，训练得到文本分类模型，包括：
获取每一样本图像的每一文本行的标注位置信息与预测位置信息两者之间的损失信息，并获取每一样本图像的每一文本行的标注的属性信息与预测的属性信息两者之间的损失信息；
根据每一样本图像的每一文本行的标注位置信息与预测位置信息两者之间的损失信息、以及每一样本图像的每一文本行的标注的属性信息与预测的属性信息两者之间的损失信息，进行监督学习处理，训练得到所述分类模型。
5.根据权利要求1至4中任一项所述的方法，其中，获取待训练图像集合，包括：
获取采集到的每一样本图像的像素信息，并确定各样本图像的像素信息的共同像素；
根据所述共同像素对每一样本图像的像素进行归一化处理，并基于归一化处理后的各样本图像构建所述待训练图像集合。
6.一种文本类型的分类方法，包括：
获取待分类图像，基于预先训练的文本分类模型对所述待分类图像进行分类处理，得到所述待分类图像中每一文本行的属性信息；
其中，所述属性信息表征文本行中的文本为手写文本或者印刷文本，所述文本分类模型是基于如权利要求1-5中任一项所述的方法训练生成的。
7.一种文本内容的识别方法，包括：
获取待识别图像，基于预先训练的文本分类模型对所述待识别图像中的每一文本行进行分类处理，得到所述每一文本行的属性信息，其中，所述属性信息表征文本行中的文本为手写文本或者印刷文本，所述文本分类模型是基于如权利要求1-5中任一项所述的方法训练生成的；
根据所述每一文本行的属性信息获取用于识别所述每一文本行的文本识别模型，并基于所述每一文本行的文本识别模型对所述每一文本行进行文本识别处理，得到并输出所述待识别图像的文本内容。
8.根据权利要求7所述的方法，其中，所述文本识别模型包括手写文本识别模型和印刷文本识别模型；属性信息为手写文本的文本行的文本识别模型为手写文本识别模型；属性信息为印刷文本的文本行的文本识别模型为印刷文本识别模型。
9.一种文本分类模型的训练装置，包括：
第一获取单元，用于获取待训练图像集合，所述待训练图像集合中包括至少一个样本图像，每一样本图像的每一文本行具有标注位置信息和标注的属性信息，所述属性信息表征文本行中的文本为手写文本或者印刷文本；
确定单元，用于根据每一样本图像，确定每一样本图像中每一文本行的预测位置信息和预测的属性信息；
训练单元，用于依据每一样本图像的每一文本行的标注位置信息和标注的属性信息、以及每一样本图像中每一文本行的预测位置信息和预测的属性信息，训练得到文本分类模型，其中，所述文本分类模型用于检测待识别图像中每一文本行的属性信息；
所述确定单元，包括：
第一确定子单元，用于根据每一样本图像，确定每一样本图像的特征图；
生成子单元，用于根据每一样本图像的特征图生成每一样本图像的各文本框，其中，文本框中包括样本图像中的文本行中的文本内容；
第二确定子单元，用于根据每一文本行的文本框确定每一文本行的预测位置信息；
第三确定子单元，用于根据每一文本行所归属的样本图像的特征图、以及每一文本行的预测位置信息确定每一文本行的预测的属性信息；
其中，所述第三确定子单元，包括：
获取模块，用于根据每一文本行的预测位置信息确定每一文本行的初始属性信息；
第三确定模块，用于根据每一文本行所归属的样本图像的特征图确定每一文本行的前景区域和背景区域；
修正模块，用于根据每一文本行的前景区域和背景区域，对每一文本行的初始属性信息进行修正处理，得到每一文本行的预测的属性信息。
10.根据权利要求9所述的装置，其中，前景区域中包括前景像素信息，背景区域中包括背景像素信息；所述修正模块，包括：
抑制子模块，用于根据每一文本行的前景像素信息和背景像素信息，对每一文本行的背景区域进行背景区域抑制处理，得到每一文本行的抑制处理后的背景像素信息；
修正子模块，用于根据每一文本行的前景像素信息以及抑制处理后的背景像素信息，对每一文本行的初始属性信息进行修正处理，得到每一文本行的预测的属性信息。
11.根据权利要求9或10所述的装置，其中，所述第二确定子单元，包括：
获取模块，用于获取每一文本行的文本框的每一角点的角点位置信息；
第三确定模块，用于根据每一文本行的各角点位置信息确定每一文本行的文本框的中心位置信息；
第四确定模块，用于确定每一文本行的文本框的中心位置信息为每一文本行的预测位置信息。
12.根据权利要求9至11中任一项所述的装置，其中，所述训练单元，包括：
第一获取子单元，用于获取每一样本图像的每一文本行的标注位置信息与预测位置信息两者之间的损失信息；
第二获取子单元，用于获取每一样本图像的每一文本行的标注的属性信息与预测的属性信息两者之间的损失信息；
学习子单元，用于根据每一样本图像的每一文本行的标注位置信息与预测位置信息两者之间的损失信息、以及每一样本图像的每一文本行的标注的属性信息与预测的属性信息两者之间的损失信息，进行监督学习处理，训练得到所述分类模型。
13.根据权利要求9至12中任一项所述的装置，其中，所述第一获取单元，包括：
第三获取子单元，用于获取采集到的每一样本图像的像素信息；
第四确定子单元，用于确定各样本图像的像素信息的共同像素；
处理子单元，用于根据所述共同像素对每一样本图像的像素进行归一化处理；
构建子单元，用于基于归一化处理后的各样本图像构建所述待训练图像集合。
14.一种文本类型的分类装置，包括：
第二获取单元，用于获取待分类图像；
第一分类单元，用于基于预先训练的文本分类模型对所述待分类图像进行分类处理，得到所述待分类图像中每一文本行的属性信息；
其中，所述属性信息表征文本行中的文本为手写文本或者印刷文本，所述文本分类模型是基于如权利要求9至13中任一项所述的装置训练生成的。
15.一种文本内容的识别装置，包括：
第三获取单元，用于获取待识别图像；
第二分类单元，用于基于预先训练的文本分类模型对所述待识别图像中的每一文本行进行分类处理，得到所述每一文本行的属性信息，其中，所述属性信息表征文本行中的文本为手写文本或者印刷文本，所述文本分类模型是基于如权利要求9-13中任一项所述的装置训练生成的；
第四获取单元，用于根据所述每一文本行的属性信息获取用于识别所述每一文本行的文本识别模型；
识别单元，用于基于所述每一文本行的文本识别模型对所述每一文本行进行文本识别处理，得到并输出所述待识别图像的文本内容。
16.根据权利要求15所述的装置，其中，所述文本识别模型包括手写文本识别模型和印刷文本识别模型；属性信息为手写文本的文本行的文本识别模型为手写文本识别模型；属性信息为印刷文本的文本行的文本识别模型为印刷文本识别模型。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法；或者，以使所述至少一个处理器能够执行权利要求6所述的方法；或者，以使所述至少一个处理器能够执行权利要求7或8所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法；或者，所述计算机指令用于使所述计算机执行根据权利要求6所述的方法；或者，所述计算机指令用于使所述计算机执行根据权利要求7或8所述的方法。
CN202111425339.2A 2021-11-26 2021-11-26 文本分类模型的训练方法、文本内容的识别方法及装置 Active CN114120305B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111425339.2A CN114120305B (zh) 2021-11-26 2021-11-26 文本分类模型的训练方法、文本内容的识别方法及装置
EP22190160.6A EP4187504A1 (en) 2021-11-26 2022-08-12 Method for training text classification model, apparatus, storage medium and computer program product
US17/890,629 US20220392243A1 (en) 2021-11-26 2022-08-18 Method for training text classification model, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111425339.2A CN114120305B (zh) 2021-11-26 2021-11-26 文本分类模型的训练方法、文本内容的识别方法及装置

Publications (2)

Publication Number Publication Date
CN114120305A CN114120305A (zh) 2022-03-01
CN114120305B true CN114120305B (zh) 2023-07-07

Family

ID=80370644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111425339.2A Active CN114120305B (zh) 2021-11-26 2021-11-26 文本分类模型的训练方法、文本内容的识别方法及装置

Country Status (3)

Country Link
US (1) US20220392243A1 (zh)
EP (1) EP4187504A1 (zh)
CN (1) CN114120305B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035538B (zh) * 2022-03-22 2023-04-07 北京百度网讯科技有限公司 文本识别模型的训练方法、文本识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111871A (zh) * 2021-04-21 2021-07-13 北京金山数字娱乐科技有限公司 文本识别模型的训练方法及装置、文本识别方法及装置
CN113191358A (zh) * 2021-05-31 2021-07-30 上海交通大学 金属零件表面文本检测方法和系统
CN113378833A (zh) * 2021-06-25 2021-09-10 北京百度网讯科技有限公司 图像识别模型训练方法、图像识别方法、装置及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304814B (zh) * 2018-02-08 2020-07-14 海南云江科技有限公司 一种文字类型检测模型的构建方法和计算设备
CN110321788B (zh) * 2019-05-17 2024-07-02 平安科技（深圳）有限公司 训练数据处理方法、装置、设备及计算机可读存储介质
CN110659574B (zh) * 2019-08-22 2022-02-22 北京易道博识科技有限公司 文档图像勾选框状态识别后输出文本行内容的方法及系统
CN111428718B (zh) * 2020-03-30 2023-05-09 南京大学 一种基于图像增强的自然场景文本识别方法
CN111652217B (zh) * 2020-06-03 2022-05-03 北京易真学思教育科技有限公司 文本检测方法、装置、电子设备及计算机存储介质
CN112766255A (zh) * 2021-01-19 2021-05-07 上海微盟企业发展有限公司 一种光学文字识别方法、装置、设备及存储介质
CN113269049A (zh) * 2021-04-30 2021-08-17 天津科技大学 一种用于检测手写汉字区域的方法
CN113313083B (zh) * 2021-07-28 2021-12-03 北京世纪好未来教育科技有限公司 文本检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111871A (zh) * 2021-04-21 2021-07-13 北京金山数字娱乐科技有限公司 文本识别模型的训练方法及装置、文本识别方法及装置
CN113191358A (zh) * 2021-05-31 2021-07-30 上海交通大学 金属零件表面文本检测方法和系统
CN113378833A (zh) * 2021-06-25 2021-09-10 北京百度网讯科技有限公司 图像识别模型训练方法、图像识别方法、装置及电子设备

Also Published As

Publication number Publication date
EP4187504A8 (en) 2023-07-26
CN114120305A (zh) 2022-03-01
EP4187504A1 (en) 2023-05-31
US20220392243A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
CN115035538B (zh) 文本识别模型的训练方法、文本识别方法及装置
WO2018010657A1 (zh) 结构化文本检测方法和系统、计算设备
US20190019055A1 (en) Word segmentation system, method and device
CN111488826A (zh) 一种文本识别方法、装置、电子设备和存储介质
CN114550177A (zh) 图像处理的方法、文本识别方法及装置
CN113780098B (zh) 文字识别方法、装置、电子设备以及存储介质
US20220027661A1 (en) Method and apparatus of processing image, electronic device, and storage medium
CN114429633B (zh) 文本识别方法、模型的训练方法、装置、电子设备及介质
CN113255501B (zh) 生成表格识别模型的方法、设备、介质及程序产品
CN114359932B (zh) 文本检测方法、文本识别方法及装置
CN115546488B (zh) 信息分割方法、信息提取方法和信息分割模型的训练方法
CN115861400B (zh) 目标对象检测方法、训练方法、装置以及电子设备
CN116844177A (zh) 一种表格识别方法、装置、设备及存储介质
CN113762455A (zh) 检测模型训练方法、单字检测方法、装置、设备及介质
CN114120305B (zh) 文本分类模型的训练方法、文本内容的识别方法及装置
CN112508005B (zh) 用于处理图像的方法、装置、设备以及存储介质
CN116935368A (zh) 深度学习模型训练方法、文本行检测方法、装置及设备
US20230036812A1 (en) Text Line Detection
CN114663886A (zh) 文本识别方法、模型的训练方法及装置
CN114359918A (zh) 提货单信息提取方法、装置及计算机设备
CN114998906B (zh) 文本检测方法、模型的训练方法、装置、电子设备及介质
CN114639107B (zh) 表格图像处理方法、装置和存储介质
CN115439937A (zh) 一种签名识别方法、装置、电子设备及存储介质
CN116229490A (zh) 一种图神经网络的版面分析方法、装置、设备及介质
CN116363681A (zh) 基于文档图像的文本类型识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant