CN117312849A - 文档版式检测模型的训练方法、装置及电子设备 - Google Patents
文档版式检测模型的训练方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117312849A CN117312849A CN202311220870.5A CN202311220870A CN117312849A CN 117312849 A CN117312849 A CN 117312849A CN 202311220870 A CN202311220870 A CN 202311220870A CN 117312849 A CN117312849 A CN 117312849A
- Authority
- CN
- China
- Prior art keywords
- detection
- format
- sample
- layout
- document image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 646
- 238000012549 training Methods 0.000 title claims abstract description 195
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012545 processing Methods 0.000 claims description 32
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000002372 labelling Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/197—Version control
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了文档版式检测模型的训练方法、装置及电子设备，涉及人工智能技术领域，尤其涉及计算机视觉、深度学习、大模型技术领域。具体实现方案为：获取第一训练数据、初始的第一文档版式检测模型、以及第二文档版式检测模型；第二文档版式检测模型的参数，根据包括多个样本文档图像的真标签的第二训练数据确定；将第一训练数据中的样本文档图像输入第二文档版式检测模型，获取版式预测结果；根据版式预测结果以及第一训练数据中该样本文档图像的弱标签，确定伪标签；进而结合伪标签对第一文档版式检测模型进行训练处理。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及计算机视觉、深度学习、大模型等技术领域，可应用于图像处理等场景，尤其涉及一种文档版式检测模型的训练方法、装置及电子设备。
背景技术
目前的文档版式检测方法中，将待检测的文档输入文档版式检测模型，获取文档版式检测结果。文档版式检测模型为大语言模型时，训练数据量大，标注成本高，标注时间长，导致训练数据的获取成本高，模型训练效率差。
发明内容
本公开提供了一种文档版式检测模型的训练方法、装置及电子设备。
根据本公开的一方面，提供了一种文档版式检测模型的训练方法，所述方法包括：获取第一训练数据、初始的第一文档版式检测模型、以及第二文档版式检测模型；所述第一训练数据包括，样本文档图像以及所述样本文档图像的弱标签；所述第二文档版式检测模型的参数，根据包括多个样本文档图像的真标签的第二训练数据确定；针对所述第一训练数据中的样本文档图像，将所述样本文档图像输入所述第二文档版式检测模型，获取所述第二文档版式检测模型输出的版式预测结果；根据所述样本文档图像的版式预测结果以及弱标签，确定所述样本文档图像的伪标签；根据所述第一训练数据中的样本文档图像，以及所述样本文档图像的伪标签，对所述第一文档版式检测模型进行训练处理，得到训练好的文档版式检测模型。
根据本公开的另一方面，提供了一种文档版式检测模型的训练装置，所述装置包括：第一获取模块，用于获取第一训练数据、初始的第一文档版式检测模型、以及第二文档版式检测模型；所述第一训练数据包括，样本文档图像以及所述样本文档图像的弱标签；所述第二文档版式检测模型的参数，根据包括多个样本文档图像的真标签的第二训练数据确定；第二获取模块，用于针对所述第一训练数据中的样本文档图像，将所述样本文档图像输入所述第二文档版式检测模型，获取所述第二文档版式检测模型输出的版式预测结果；确定模块，用于根据所述样本文档图像的版式预测结果以及弱标签，确定所述样本文档图像的伪标签；训练模块，用于根据所述第一训练数据中的样本文档图像，以及所述样本文档图像的伪标签，对所述第一文档版式检测模型进行训练处理，得到训练好的文档版式检测模型。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开上述提出的文档版式检测模型的训练方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开上述提出的文档版式检测模型的训练方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开上述提出的文档版式检测模型的训练方法的步骤。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是根据本公开第二实施例的示意图；
图3是根据本公开第三实施例的示意图；
图4是根据本公开第四实施例的示意图；
图5是用来实现本公开实施例的文档版式检测模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
目前的文档版式检测方法中，将待检测的文档输入文档版式检测模型，获取文档版式检测结果。文档版式检测模型为大语言模型时，需要结合大量的文档以及对应的版式标注数据进行训练处理或者微调处理，训练数据量大，标注成本高，标注时间长，导致训练数据的获取成本高，模型训练效率差。
针对上述问题，本公开提出一种文档版式检测模型的训练方法、装置及电子设备。
图1是根据本公开第一实施例的示意图，需要说明的是，本公开实施例的文档版式检测模型的训练方法可应用于文档版式检测模型的训练装置，该装置可被配置于电子设备中，以使该电子设备可以执行文档版式检测模型的训练功能。以下实施例中以执行主体为电子设备为例进行说明。
其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(PersonalComputer，简称PC)、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备、智能音箱等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
如图1所示，该文档版式检测模型的训练方法可以包括如下步骤：
步骤101，获取第一训练数据、初始的第一文档版式检测模型、以及第二文档版式检测模型；第一训练数据包括，样本文档图像以及样本文档图像的弱标签；第二文档版式检测模型的参数，根据包括多个样本文档图像的真标签的第二训练数据确定。
在本公开实施例中，初始的第一文档版式检测模型，可以为未采用第二训练数据进行训练的模型，或者，可以为采用第二训练数据进行训练的模型。
在本公开实施例中，初始的第一文档版式检测模型，可以为未采用第二训练数据进行训练的模型。对应的，电子设备执行步骤101的过程例如可以为，获取第一训练数据、第二训练数据、初始的第一文档版式检测模型以及初始的第二文档版式检测模型；根据第二训练数据中的样本文档图像，以及样本文档图像的真标签，对初始的第二文档版式检测模型进行训练处理，得到训练好的第二文档版式检测模型。
其中，样本文档图像的真标签，可以为标注得到或者通过其他方式得到的检测框以及检测框对应的版式类别。其中，检测框，可以通过检测框中心点的坐标信息，以及检测框四个角的坐标信息来表示。其中，版式类别，例如，文本段落、表格、表标题、段落标题、图、图标题、页眉、页脚、脚注等，可以根据实际需要进行设定。
其中，样本文档图像的弱标签，可以为样本文档图像中检测框和/或版式类别相关的信息，但根据弱标签不能完全确定样本文档图像中的检测框以及版式类别。其中，弱标签可以为以下任意一种：无标签、版式类别数量、版式类别下的检测框数量、样本检测框中心点、样本检测框中心点以及版式类别、样本检测框。其中，多种弱标签的设定，使得标注人员可以根据实际需要选择合适的标注方式，进一步降低标注成本，降低模型训练成本。
其中，电子设备先采用包含有真标签的第二训练数据，对初始的第二文档版式检测模型进行训练，之后方便结合训练好的第二文档版式检测模型以及包含有弱标签的第一训练数据，确定第一训练数据中样本文档图像的伪标签，从而避免对第一文档版式检测模型训练时所需要的所有样本文档图像进行全量标注，缩短标注时间，降低标注成本。
在本公开实施例中，初始的第一文档版式检测模型，可以为采用第二训练数据进行训练的模型。对应的，电子设备执行步骤101的过程例如可以为，获取第一训练数据、初始的第一文档版式检测模型以及初始的第二文档版式检测模型；根据初始的第一文档版式检测模型的参数，对初始的第二文档版式检测模型进行参数初始化处理，得到第二文档版式检测模型。
其中，电子设备根据采用第二训练数据进行训练的第一文档版式检测模型的参数，对初始的第二文档版式检测模型进行参数初始化处理，能够提高第二文档版式检测模型的检测准确度，将初始化后的第二文档版式检测模型，用于伪标签的确定，能够避免对所有样本文档图像进行全量标注，缩短标注时间，降低标注成本。
其中，在初始的第一文档版式检测模型，为未采用第二训练数据进行训练的模型的情况下，作为第一种示例的替代方案，可以采用第二训练数据对初始的第一文档版式检测模型进行训练，然后根据训练后的第一文档版式检测模型的参数，对初始的第二文档版式检测模型进行参数初始化处理，得到第二文档版式检测模型。
在本公开实施例中，为了方便第一文档版式检测模型和第二文档版式检测模型，提取样本文档图像中的全局特征以及局部特征，考虑较多的特征，提高第一文档版式检测模型的训练准确度，第一文档版式检测模型和第二文档版式检测模型，均可以包括依次连接的卷积神经网络和Transformer网络。其中，卷积神经网络(Convolutional NeuralNetwork，CNN)用于提取局部特征；Transformer网络中的编码层，用于提取全局特征。
其中，以第一文档版式检测模型为例，第一文档版式检测模型具体可以包括，依次连接的卷积神经网络、Transformer网络的编码层、Transformer网络的解码层、以及特征预测层。其中，卷积神经网络，用于提取样本文档图像的局部特征，并提供给编码层；编码层用于提取样本文档图像的全局特征，并提供给解码层；解码层对编码层提供的特征进行解码处理，得到解码特征；特征预测层，对解码特征进行预测处理，得到检测框以及检测框对应的版式类别。
步骤102，针对第一训练数据中的样本文档图像，将样本文档图像输入第二文档版式检测模型，获取第二文档版式检测模型输出的版式预测结果。
在本公开实施例中，一种示例中，在第二文档版式检测模型，根据第二训练数据训练得到的情况下，第一文档版式检测模型和第二文档版式检测模型，结构相同或者结构不同。结构相同时，第一文档版式检测模型和第二文档版式检测模型的参数精度可以不同。例如，第二文档版式检测模型的参数精度，可以高于第一文档版式检测模型的参数精度。
在本公开实施例中，在另一种示例中，在第二文档版式检测模型，根据第一文档版式检测模型的参数进行参数初始化处理得到的情况下，第一文档版式检测模型和第二文档版式检测模型，结构相同且参数精度不同。
其中，第一文档版式检测模型和第二文档版式检测模型，参数精度不同或者结构不同，从而结合第二文档版式检测模型输出的版式预测结果以及弱标签确定伪标签，能够提高确定得到的伪标签的准确度。
步骤103，根据样本文档图像的版式预测结果以及弱标签，确定样本文档图像的伪标签。
在本公开实施例中，样本文档图像的伪标签可以包括，检测框以及检测框对应的版式类别。其中的检测框，根据样本文档图像的版式预测结果中的检测框，和/或，弱标签中检测框的相关信息，确定得到；其中的版式类别，根据样本文档图像的版式预测结果中的类别，和/或，弱标签中版式类别的相关信息，确定得到。
步骤104，根据第一训练数据中的样本文档图像，以及样本文档图像的伪标签，对第一文档版式检测模型进行训练处理，得到训练好的文档版式检测模型。
在本公开实施例中，初始的第一文档版式检测模型，可以为未采用第二训练数据进行训练的模型，或者，可以为采用第二训练数据进行训练的模型。
在本公开实施例中，在初始的第一文档版式检测模型，为未采用第二训练数据进行训练的模型的情况下，电子设备执行步骤104的过程例如可以为，根据第二训练数据中的样本文档图像，以及样本文档图像的真标签，对第一文档版式检测模型进行训练处理，得到训练后的第一文档版式检测模型；根据第一训练数据中的样本文档图像，以及样本文档图像的伪标签，对训练后的第一文档版式检测模型进行再次训练处理，得到训练好的文档版式检测模型。
其中，电子设备根据第一训练数据，对训练后的第一文档版式检测模型进行再次训练处理的过程例如可以为，将第一训练数据中的样本文档图像输入训练后的第一文档版式检测模型，获取输出的预测检测框以及对应的预测版式类别；根据预测检测框以及对应的预测版式类别、伪标签中的检测框以及对应的版式类别、以及损失函数，确定损失函数的数值；根据损失函数的数值，对第一文档版式检测模型进行参数调整处理，得到训练好的文档版式检测模型。
其中，在初始的第一文档版式检测模型，为未采用第二训练数据进行训练的模型的情况下，结合第一训练数据中样本文档图像的伪标签，以及第二训练数据中样本文档图像的真标签，同时对第一文档版式检测模型进行训练处理，能够提高训练得到的文档版式检测模型的准确度。
本公开实施例的文档版式检测模型的训练方法，通过获取第一训练数据、初始的第一文档版式检测模型、以及第二文档版式检测模型；第一训练数据包括，样本文档图像以及样本文档图像的弱标签；第二文档版式检测模型的参数，根据包括多个样本文档图像的真标签的第二训练数据确定；针对第一训练数据中的样本文档图像，将样本文档图像输入第二文档版式检测模型，获取第二文档版式检测模型输出的版式预测结果；根据样本文档图像的版式预测结果以及弱标签，确定样本文档图像的伪标签；根据第一训练数据中的样本文档图像，以及样本文档图像的伪标签，对第一文档版式检测模型进行训练处理，得到训练好的文档版式检测模型，其中，弱标签的设定以及伪标签的确定，能够降低样本文档图像的标注成本，缩短样本文档图像的标注时间，提高模型训练速度以及模型训练效率。
其中，为了准确结合样本文档图像的弱标签以及版式预测结果，确定伪标签，提高确定得到的伪标签的准确度，可以在弱标签为版式类别数量时，按照该版式类别数量，从版式预测结果中选取检测框以及对应的版式类别，作为伪标签。如图2所示，图2是根据本公开第二实施例的示意图，图2所示实施例可以包括以下步骤：
步骤201，获取第一训练数据、初始的第一文档版式检测模型、以及第二文档版式检测模型；第一训练数据包括，样本文档图像以及样本文档图像的弱标签；第二文档版式检测模型的参数，根据包括多个样本文档图像的真标签的第二训练数据确定；样本文档图像的弱标签为版式类别数量。
步骤202，针对第一训练数据中的样本文档图像，将样本文档图像输入第二文档版式检测模型，获取第二文档版式检测模型输出的版式预测结果；版式预测结果包括，多个检测框、检测框的版式类别、检测框属于版式类别的类别概率。
在本公开实施例中，检测框的版式类别，为检测框属于各个版式类别的类别概率中，最大类别概率对应的版式类别。其中，检测框，可以通过检测框中心点的坐标信息，以及检测框四个角的坐标信息来表示。其中，版式类别，例如，文本段落、表格、表标题、段落标题、图、图标题、页眉、页脚、脚注等，可以根据实际需要进行设定。
步骤203，对版式预测结果中的多个检测框，按照类别概率进行降序排序处理，得到排序结果。
其中，作为步骤203的替代方案，电子设备可以执行以下过程来获取排序结果：对版式预测结果中的多个检测框，按照类别概率进行升序排序处理，得到排序结果。
步骤204，依次从排序结果中选择类别概率最大的检测框，作为目标检测框，至目标检测框的版式类别总数量与版式类别数量一致。
在本公开实施例中，在排序结果中检测框按照类别概率降序排序的情况下，电子设备执行步骤204的过程例如可以为，从排序结果中选择最靠前的检测框，作为目标检测框；删除排序结果中最靠前的检测框；统计目标检测框的版式类别总数量；在版式类别总数量小于版式类别数量的情况下，从排序结果继续选择最靠前的检测框，作为目标检测框；重复上述步骤，至目标检测框的版式类别总数量等于版式类别数量，即，版式类别总数量与版式类别数量一致。
其中，为了避免某个版式类别下的检测框数量为单个，避免漏掉检测框，在目标检测框的版式类别总数量等于版式类别数量的情况下，电子设备还可以继续从排序结果中，获取对应的类别概率大于或者等于概率阈值的检测框，作为目标检测框。
在本公开实施例中，还需要进行说明的是，一种示例中，在样本文档图像的弱标签为无标签的情况下，电子设备确定目标检测框的过程例如可以为，获取版式预测结果中的目标检测框，目标检测框的类别概率大于或者等于概率阈值；将目标检测框以及目标检测框的版式类别，作为样本文档图像的伪标签。
其中，在样本文档图像的弱标签为无标签的情况下，电子设备结合检测框的类别概率以及概率阈值，来选择目标检测框，以确定伪标签，能够提高无标签情况下伪标签的准确度。
在本公开实施例中，还需要进行说明的是，另一种示例中，在样本文档图像的弱标签为版式类别下的检测框数量的情况下，电子设备确定目标检测框的过程例如可以为，针对版式预测结果中的每个版式类别，对具有版式类别的检测框，按照类别概率进行降序排序处理，得到排序结果；依次从排序结果中选择类别概率最大的检测框，作为目标检测框，至目标检测框的总数量与版式类别下的检测框数量一致；将目标检测框以及目标检测框的版式类别，作为样本文档图像的伪标签。
其中，在样本文档图像的弱标签为版式类别下的检测框数量的情况下，电子设备结合检测框以及对应的类别概率、各个版式类别下的检测框数量，来选择目标检测框，以确定伪标签，能够提高弱标签为版式类别下的检测框数量时伪标签的准确度。
在本公开实施例中，还需要进行说明的是，另一种示例中，在样本文档图像的弱标签为样本检测框中心点的情况下，电子设备确定目标检测框的过程例如可以为，获取版式预测结果中的目标检测框；目标检测框中包括有样本文档图像中的样本检测框中心点，且目标检测框的类别概率大于或者等于概率阈值；将目标检测框以及目标检测框的版式类别，作为样本文档图像的伪标签。
其中，检测框，可以通过检测框中心点的坐标信息，以及检测框四个角的坐标信息来表示。电子设备可以根据检测框四个角的坐标信息，来确定检测框的区域；进而结合各个样本检测框中心点的坐标信息，确定检测框中是否包括有样本检测框中心点。
其中，在样本文档图像的弱标签为样本检测框中心点的情况下，电子设备从包括有样本检测框中心点的检测框中选择目标检测框，以确定伪标签，能够提高弱标签为样本检测框中心点时伪标签的准确度。
步骤205，将目标检测框以及目标检测框的版式类别，作为样本文档图像的伪标签。
步骤206，根据第一训练数据中的样本文档图像，以及样本文档图像的伪标签，对第一文档版式检测模型进行训练处理，得到训练好的文档版式检测模型。
其中，需要说明的是，步骤201至步骤202，以及步骤206的详细内容，可以参考图1所示实施例中的步骤101至步骤102，以及步骤104，此处不再进行详细说明。
本公开实施例的文档版式检测模型的训练方法，通过获取第一训练数据、初始的第一文档版式检测模型、以及第二文档版式检测模型；第一训练数据包括，样本文档图像以及样本文档图像的弱标签；第二文档版式检测模型的参数，根据包括多个样本文档图像的真标签的第二训练数据确定；样本文档图像的弱标签为版式类别数量；针对第一训练数据中的样本文档图像，将样本文档图像输入第二文档版式检测模型，获取第二文档版式检测模型输出的版式预测结果；版式预测结果包括，多个检测框、检测框的版式类别、检测框属于版式类别的类别概率；对版式预测结果中的多个检测框，按照类别概率进行降序排序处理，得到排序结果；依次从排序结果中选择类别概率最大的检测框，作为目标检测框，至目标检测框的版式类别总数量与版式类别数量一致；将目标检测框以及目标检测框的版式类别，作为样本文档图像的伪标签；根据第一训练数据中的样本文档图像，以及样本文档图像的伪标签，对第一文档版式检测模型进行训练处理，得到训练好的文档版式检测模型，其中，按照弱标签中的版式类别数量，从版式预测结果中选取检测框以及对应的版式类别，作为伪标签，能够降低样本文档图像的标注成本，缩短样本文档图像的标注时间，提高模型训练速度以及模型训练效率。
其中，为了准确结合样本文档图像的弱标签以及版式预测结果，确定伪标签，提高确定得到的伪标签的准确度，可以在弱标签为样本检测框中心点以及版式类别时，结合检测框距离差异以及版式类别差异，从版式预测结果中选择差异较小的检测框，作为目标检测框，以确定伪标签。如图3所示，图3是根据本公开第三实施例的示意图，图3所示实施例可以包括以下步骤：
步骤301，获取第一训练数据、初始的第一文档版式检测模型、以及第二文档版式检测模型；第一训练数据包括，样本文档图像以及样本文档图像的弱标签；第二文档版式检测模型的参数，根据包括多个样本文档图像的真标签的第二训练数据确定；样本文档图像的弱标签为样本检测框中心点以及版式类别。
步骤302，针对第一训练数据中的样本文档图像，将样本文档图像输入第二文档版式检测模型，获取第二文档版式检测模型输出的版式预测结果；版式预测结果包括，多个检测框、检测框的版式类别、检测框属于版式类别的类别概率。
步骤303，针对样本文档图像中的每个样本检测框中心点，确定样本检测框中心点与版式预测结果中各个检测框的中心点之间的距离，以及样本检测框中心点对应的版式类别与各个检测框的版式类别之间的类别差异。
在本公开实施例中，电子设备确定类别差异的过程例如可以为，在样本检测框中心点对应的版式类别与检测框的版式类别相同时，确定类别差异为第一数值；在样本检测框中心点对应的版式类别与检测框的版式类别不同时，确定类别差异为第二数值。其中，第一数值小于第二数值。
步骤304，根据版式预测结果中检测框的距离以及类别差异、以及匈牙利匹配算法，确定版式预测结果中检测框的匹配度。
在本公开实施例中，匈牙利匹配算法是一种在在多项式时间内求解任务分配问题的组合优化算法。在本实施例中，可以指距离以及类别差异的组合优化算法。其中，电子设备确定检测框的匹配度的过程例如可以为，根据匈牙利匹配算法对版式预测结果中检测框的距离以及类别差异，进行加权求和处理，根据处理结果确定匹配度。其中，处理结果越大，匹配度越小；处理结果越小，匹配度越大。
步骤305，根据匹配度，从版式预测结果的各个检测框中选择与样本检测框中心点匹配的目标检测框。
在本公开实施例中，针对样本文档图像中的每个样本检测框中心点，电子设备可以从结合该样本检测框中心点确定得到的多个检测框的匹配度中，选择匹配度最大的检测框，作为与该样本检测框中心点匹配的目标检测框。
在本公开实施例中，还需要进行说明的是，在样本文档图像的弱标签为样本检测框的情况下，作为步骤303至步骤305的替代方案，电子设备确定目标检测框的过程例如可以为，针对样本文档图像中的每个样本检测框，确定样本检测框与版式预测结果中各个检测框的距离以及IOU损失；根据版式预测结果中检测框的距离以及IOU损失、以及匈牙利匹配算法，确定版式预测结果中检测框的匹配度；根据匹配度，从版式预测结果的各个检测框中选择与样本检测框匹配的目标检测框；将目标检测框以及目标检测框的版式类别，作为样本文档图像的伪标签。
其中，电子设备确定IOU损失的过程例如可以为，针对样本文档图像中的每个样本检测框，针对版式预测结果中的每个检测框，确定该样本检测框与该检测框之间的交集，即，重叠区域的大小；确定该样本检测框与该检测框之间的并集，即，所占的全部区域的大小；确定重叠区域的大小与全部区域的大小之间的占比；将1与该占比的差值，确定为该样本检测框与该检测框之间的匹配度。
其中，在样本文档图像的弱标签为样本检测框的情况下，电子设备根据IOU损失以及距离差异，从版式预测结果中选择差异较小的检测框，作为目标检测框，以确定伪标签，能够提高弱标签为样本检测框时伪标签的准确度。
步骤306，将目标检测框以及目标检测框的版式类别，作为样本文档图像的伪标签。
步骤307，根据第一训练数据中的样本文档图像，以及样本文档图像的伪标签，对第一文档版式检测模型进行训练处理，得到训练好的文档版式检测模型。
其中，需要说明的是，步骤301至步骤302，以及步骤307的详细内容，可以参考图1所示实施例中的步骤101至步骤102，以及步骤104，此处不再进行详细说明。
本公开实施例的文档版式检测模型的训练方法，通过获取第一训练数据、初始的第一文档版式检测模型、以及第二文档版式检测模型；第一训练数据包括，样本文档图像以及样本文档图像的弱标签；第二文档版式检测模型的参数，根据包括多个样本文档图像的真标签的第二训练数据确定；样本文档图像的弱标签为样本检测框中心点以及版式类别；针对第一训练数据中的样本文档图像，将样本文档图像输入第二文档版式检测模型，获取第二文档版式检测模型输出的版式预测结果；版式预测结果包括，多个检测框、检测框的版式类别、检测框属于版式类别的类别概率；针对样本文档图像中的每个样本检测框中心点，确定样本检测框中心点与版式预测结果中各个检测框的中心点之间的距离，以及样本检测框中心点对应的版式类别与各个检测框的版式类别之间的类别差异；根据版式预测结果中检测框的距离以及类别差异、以及匈牙利匹配算法，确定版式预测结果中检测框的匹配度；根据匹配度，从版式预测结果的各个检测框中选择与样本检测框中心点匹配的目标检测框；将目标检测框以及目标检测框的版式类别，作为样本文档图像的伪标签；根据第一训练数据中的样本文档图像，以及样本文档图像的伪标签，对第一文档版式检测模型进行训练处理，得到训练好的文档版式检测模型，其中，按照弱标签中的样本检测框中心点以及版式类别，从版式预测结果中选取检测框以及对应的版式类别，作为伪标签，能够降低样本文档图像的标注成本，缩短样本文档图像的标注时间，提高模型训练速度以及模型训练效率。
为了实现上述实施例，本公开还提供一种文档版式检测模型的训练装置。如图4所示，图4是根据本公开第四实施例的示意图。该文档版式检测模型的训练装置40，可以包括：第一获取模块401、第二获取模块402、确定模块403和训练模块404。
其中，第一获取模块401，用于获取第一训练数据、初始的第一文档版式检测模型、以及第二文档版式检测模型；所述第一训练数据包括，样本文档图像以及所述样本文档图像的弱标签；所述第二文档版式检测模型的参数，根据包括多个样本文档图像的真标签的第二训练数据确定；第二获取模块402，用于针对所述第一训练数据中的样本文档图像，将所述样本文档图像输入所述第二文档版式检测模型，获取所述第二文档版式检测模型输出的版式预测结果；确定模块403，用于根据所述样本文档图像的版式预测结果以及弱标签，确定所述样本文档图像的伪标签；训练模块404，用于根据所述第一训练数据中的样本文档图像，以及所述样本文档图像的伪标签，对所述第一文档版式检测模型进行训练处理，得到训练好的文档版式检测模型。
作为本公开实施例的一种可能实现方式，所述初始的第一文档版式检测模型，为未采用所述第二训练数据进行训练的模型；所述第一获取模块401具体用于，获取所述第一训练数据、所述第二训练数据、初始的第一文档版式检测模型以及初始的第二文档版式检测模型；根据所述第二训练数据中的样本文档图像，以及所述样本文档图像的真标签，对所述初始的第二文档版式检测模型进行训练处理，得到训练好的第二文档版式检测模型。
作为本公开实施例的一种可能实现方式，所述初始的第一文档版式检测模型，为采用所述第二训练数据进行训练的模型；所述第一获取模块401具体用于，获取所述第一训练数据、所述初始的第一文档版式检测模型以及初始的第二文档版式检测模型；根据所述初始的第一文档版式检测模型的参数，对所述初始的第二文档版式检测模型进行参数初始化处理，得到所述第二文档版式检测模型。
作为本公开实施例的一种可能实现方式，所述样本文档图像的弱标签为以下任意一种：无标签、版式类别数量、版式类别下的检测框数量、样本检测框中心点、样本检测框中心点以及版式类别、样本检测框。
作为本公开实施例的一种可能实现方式，所述样本文档图像的弱标签为无标签；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；所述确定模块403具体用于，获取所述版式预测结果中的目标检测框，所述目标检测框的类别概率大于或者等于概率阈值；将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
作为本公开实施例的一种可能实现方式，所述样本文档图像的弱标签为版式类别数量；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；所述确定模块403具体用于，对所述版式预测结果中的多个检测框，按照类别概率进行降序排序处理，得到排序结果；依次从所述排序结果中选择类别概率最大的检测框，作为目标检测框，至所述目标检测框的版式类别总数量与所述版式类别数量一致；将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
作为本公开实施例的一种可能实现方式，所述样本文档图像的弱标签为版式类别下的检测框数量；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；所述确定模块403具体用于，针对所述版式预测结果中的每个版式类别，对具有所述版式类别的检测框，按照类别概率进行降序排序处理，得到排序结果；依次从所述排序结果中选择类别概率最大的检测框，作为目标检测框，至所述目标检测框的总数量与所述版式类别下的检测框数量一致；将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
作为本公开实施例的一种可能实现方式，所述样本文档图像的弱标签为样本检测框中心点；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；所述确定模块403具体用于，获取所述版式预测结果中的目标检测框；所述目标检测框中包括有所述样本文档图像中的样本检测框中心点，且所述目标检测框的类别概率大于或者等于概率阈值；将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
作为本公开实施例的一种可能实现方式，所述样本文档图像的弱标签为样本检测框中心点以及版式类别；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；所述确定模块403具体用于，针对所述样本文档图像中的每个样本检测框中心点，确定所述样本检测框中心点与所述版式预测结果中各个检测框的中心点之间的距离，以及所述样本检测框中心点对应的版式类别与各个检测框的版式类别之间的类别差异；根据所述版式预测结果中检测框的距离以及类别差异、以及匈牙利匹配算法，确定所述版式预测结果中检测框的匹配度；根据匹配度，从所述版式预测结果的各个检测框中选择与所述样本检测框中心点匹配的目标检测框；将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
作为本公开实施例的一种可能实现方式，所述样本文档图像的弱标签为样本检测框；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；所述确定模块403具体用于，针对所述样本文档图像中的每个样本检测框，确定所述样本检测框与所述版式预测结果中各个检测框的距离以及IOU损失；根据所述版式预测结果中检测框的距离以及IOU损失、以及匈牙利匹配算法，确定所述版式预测结果中检测框的匹配度；根据匹配度，从所述版式预测结果的各个检测框中选择与所述样本检测框匹配的目标检测框；将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
作为本公开实施例的一种可能实现方式，所述初始的第一文档版式检测模型，为未采用所述第二训练数据进行训练的模型；所述训练模块404具体用于，根据所述第二训练数据中的样本文档图像，以及所述样本文档图像的真标签，对所述第一文档版式检测模型进行训练处理，得到训练后的第一文档版式检测模型；根据所述第一训练数据中的样本文档图像，以及所述样本文档图像的伪标签，对所述训练后的第一文档版式检测模型进行再次训练处理，得到训练好的文档版式检测模型。
作为本公开实施例的一种可能实现方式，所述第一文档版式检测模型与所述第二文档版式检测模型，结构相同或者结构不同；结构相同时，所述第一文档版式检测模型与所述第二文档版式检测模型的参数精度不同。
作为本公开实施例的一种可能实现方式，所述第一文档版式检测模型和所述第二文档版式检测模型，包括依次连接的卷积神经网络和Transformer网络。
本公开实施例的文档版式检测模型的训练装置，通过获取第一训练数据、初始的第一文档版式检测模型、以及第二文档版式检测模型；第一训练数据包括，样本文档图像以及样本文档图像的弱标签；第二文档版式检测模型的参数，根据包括多个样本文档图像的真标签的第二训练数据确定；针对第一训练数据中的样本文档图像，将样本文档图像输入第二文档版式检测模型，获取第二文档版式检测模型输出的版式预测结果；根据样本文档图像的版式预测结果以及弱标签，确定样本文档图像的伪标签；根据第一训练数据中的样本文档图像，以及样本文档图像的伪标签，对第一文档版式检测模型进行训练处理，得到训练好的文档版式检测模型，其中，弱标签的设定以及伪标签的确定，能够降低样本文档图像的标注成本，缩短样本文档图像的标注时间，提高模型训练速度以及模型训练效率。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均在征得用户同意的前提下进行，并且均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如文档版式检测模型的训练方法。例如，在一些实施例中，文档版式检测模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的文档版式检测模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行文档版式检测模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (29)
1.一种文档版式检测模型的训练方法，所述方法包括：
获取第一训练数据、初始的第一文档版式检测模型、以及第二文档版式检测模型；所述第一训练数据包括，样本文档图像以及所述样本文档图像的弱标签；所述第二文档版式检测模型的参数，根据包括多个样本文档图像的真标签的第二训练数据确定；
针对所述第一训练数据中的样本文档图像，将所述样本文档图像输入所述第二文档版式检测模型，获取所述第二文档版式检测模型输出的版式预测结果；
根据所述样本文档图像的版式预测结果以及弱标签，确定所述样本文档图像的伪标签；
根据所述第一训练数据中的样本文档图像，以及所述样本文档图像的伪标签，对所述第一文档版式检测模型进行训练处理，得到训练好的文档版式检测模型。
2.根据权利要求1所述的方法，其中，所述初始的第一文档版式检测模型，为未采用所述第二训练数据进行训练的模型；所述获取第一训练数据、初始的第一文档版式检测模型、以及第二文档版式检测模型，包括：
获取所述第一训练数据、所述第二训练数据、初始的第一文档版式检测模型以及初始的第二文档版式检测模型；
根据所述第二训练数据中的样本文档图像，以及所述样本文档图像的真标签，对所述初始的第二文档版式检测模型进行训练处理，得到训练好的第二文档版式检测模型。
3.根据权利要求1所述的方法，其中，所述初始的第一文档版式检测模型，为采用所述第二训练数据进行训练的模型；所述获取第一训练数据、初始的第一文档版式检测模型、以及第二文档版式检测模型，包括：
获取所述第一训练数据、所述初始的第一文档版式检测模型以及初始的第二文档版式检测模型；
根据所述初始的第一文档版式检测模型的参数，对所述初始的第二文档版式检测模型进行参数初始化处理，得到所述第二文档版式检测模型。
4.根据权利要求1所述的方法，其中，所述样本文档图像的弱标签为以下任意一种：无标签、版式类别数量、版式类别下的检测框数量、样本检测框中心点、样本检测框中心点以及版式类别、样本检测框。
5.根据权利要求1或4所述的方法，其中，所述样本文档图像的弱标签为无标签；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；
所述根据所述样本文档图像的版式预测结果以及弱标签，确定所述样本文档图像的伪标签，包括：
获取所述版式预测结果中的目标检测框，所述目标检测框的类别概率大于或者等于概率阈值；
将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
6.根据权利要求1或4所述的方法，其中，所述样本文档图像的弱标签为版式类别数量；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；
所述根据所述样本文档图像的版式预测结果以及弱标签，确定所述样本文档图像的伪标签，包括：
对所述版式预测结果中的多个检测框，按照类别概率进行降序排序处理，得到排序结果；
依次从所述排序结果中选择类别概率最大的检测框，作为目标检测框，至所述目标检测框的版式类别总数量与所述版式类别数量一致；
将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
7.根据权利要求1或4所述的方法，其中，所述样本文档图像的弱标签为版式类别下的检测框数量；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；
所述根据所述样本文档图像的版式预测结果以及弱标签，确定所述样本文档图像的伪标签，包括：
针对所述版式预测结果中的每个版式类别，对具有所述版式类别的检测框，按照类别概率进行降序排序处理，得到排序结果；
依次从所述排序结果中选择类别概率最大的检测框，作为目标检测框，至所述目标检测框的总数量与所述版式类别下的检测框数量一致；
将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
8.根据权利要求1或4所述的方法，其中，所述样本文档图像的弱标签为样本检测框中心点；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；
所述根据所述样本文档图像的版式预测结果以及弱标签，确定所述样本文档图像的伪标签，包括：
获取所述版式预测结果中的目标检测框；所述目标检测框中包括有所述样本文档图像中的样本检测框中心点，且所述目标检测框的类别概率大于或者等于概率阈值；
将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
9.根据权利要求1或4所述的方法，其中，所述样本文档图像的弱标签为样本检测框中心点以及版式类别；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；
所述根据所述样本文档图像的版式预测结果以及弱标签，确定所述样本文档图像的伪标签，包括：
针对所述样本文档图像中的每个样本检测框中心点，确定所述样本检测框中心点与所述版式预测结果中各个检测框的中心点之间的距离，以及所述样本检测框中心点对应的版式类别与各个检测框的版式类别之间的类别差异；
根据所述版式预测结果中检测框的距离以及类别差异、以及匈牙利匹配算法，确定所述版式预测结果中检测框的匹配度；
根据匹配度，从所述版式预测结果的各个检测框中选择与所述样本检测框中心点匹配的目标检测框；
将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
10.根据权利要求1或4所述的方法，其中，所述样本文档图像的弱标签为样本检测框；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；
所述根据所述样本文档图像的版式预测结果以及弱标签，确定所述样本文档图像的伪标签，包括：
针对所述样本文档图像中的每个样本检测框，确定所述样本检测框与所述版式预测结果中各个检测框的距离以及IOU损失；
根据所述版式预测结果中检测框的距离以及IOU损失、以及匈牙利匹配算法，确定所述版式预测结果中检测框的匹配度；
根据匹配度，从所述版式预测结果的各个检测框中选择与所述样本检测框匹配的目标检测框；
将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
11.根据权利要求1所述的方法，其中，所述初始的第一文档版式检测模型，为未采用所述第二训练数据进行训练的模型；所述根据所述第一训练数据中的样本文档图像，以及所述样本文档图像的伪标签，对所述第一文档版式检测模型进行训练处理，得到训练好的文档版式检测模型，包括：
根据所述第二训练数据中的样本文档图像，以及所述样本文档图像的真标签，对所述第一文档版式检测模型进行训练处理，得到训练后的第一文档版式检测模型；
根据所述第一训练数据中的样本文档图像，以及所述样本文档图像的伪标签，对所述训练后的第一文档版式检测模型进行再次训练处理，得到训练好的文档版式检测模型。
12.根据权利要求2至3中任一项所述的方法，其中，所述第一文档版式检测模型与所述第二文档版式检测模型，结构相同或者结构不同；
结构相同时，所述第一文档版式检测模型与所述第二文档版式检测模型的参数精度不同。
13.根据权利要求1所述的方法，其中，所述第一文档版式检测模型和所述第二文档版式检测模型，包括依次连接的卷积神经网络和Transformer网络。
14.一种文档版式检测模型的训练装置，所述装置包括：
第一获取模块，用于获取第一训练数据、初始的第一文档版式检测模型、以及第二文档版式检测模型；所述第一训练数据包括，样本文档图像以及所述样本文档图像的弱标签；所述第二文档版式检测模型的参数，根据包括多个样本文档图像的真标签的第二训练数据确定；
第二获取模块，用于针对所述第一训练数据中的样本文档图像，将所述样本文档图像输入所述第二文档版式检测模型，获取所述第二文档版式检测模型输出的版式预测结果；
确定模块，用于根据所述样本文档图像的版式预测结果以及弱标签，确定所述样本文档图像的伪标签；
训练模块，用于根据所述第一训练数据中的样本文档图像，以及所述样本文档图像的伪标签，对所述第一文档版式检测模型进行训练处理，得到训练好的文档版式检测模型。
15.根据权利要求14所述的装置，其中，所述初始的第一文档版式检测模型，为未采用所述第二训练数据进行训练的模型；所述第一获取模块具体用于，
获取所述第一训练数据、所述第二训练数据、初始的第一文档版式检测模型以及初始的第二文档版式检测模型；
根据所述第二训练数据中的样本文档图像，以及所述样本文档图像的真标签，对所述初始的第二文档版式检测模型进行训练处理，得到训练好的第二文档版式检测模型。
16.根据权利要求14所述的装置，其中，所述初始的第一文档版式检测模型，为采用所述第二训练数据进行训练的模型；所述第一获取模块具体用于，
获取所述第一训练数据、所述初始的第一文档版式检测模型以及初始的第二文档版式检测模型；
根据所述初始的第一文档版式检测模型的参数，对所述初始的第二文档版式检测模型进行参数初始化处理，得到所述第二文档版式检测模型。
17.根据权利要求14所述的装置，其中，所述样本文档图像的弱标签为以下任意一种：无标签、版式类别数量、版式类别下的检测框数量、样本检测框中心点、样本检测框中心点以及版式类别、样本检测框。
18.根据权利要求14或17所述的装置，其中，所述样本文档图像的弱标签为无标签；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；所述确定模块具体用于，
获取所述版式预测结果中的目标检测框，所述目标检测框的类别概率大于或者等于概率阈值；
将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
19.根据权利要求14或17所述的装置，其中，所述样本文档图像的弱标签为版式类别数量；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；所述确定模块具体用于，
对所述版式预测结果中的多个检测框，按照类别概率进行降序排序处理，得到排序结果；
依次从所述排序结果中选择类别概率最大的检测框，作为目标检测框，至所述目标检测框的版式类别总数量与所述版式类别数量一致；
将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
20.根据权利要求14或17所述的装置，其中，所述样本文档图像的弱标签为版式类别下的检测框数量；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；所述确定模块具体用于，
针对所述版式预测结果中的每个版式类别，对具有所述版式类别的检测框，按照类别概率进行降序排序处理，得到排序结果；
依次从所述排序结果中选择类别概率最大的检测框，作为目标检测框，至所述目标检测框的总数量与所述版式类别下的检测框数量一致；
将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
21.根据权利要求14或17所述的装置，其中，所述样本文档图像的弱标签为样本检测框中心点；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；所述确定模块具体用于，
获取所述版式预测结果中的目标检测框；所述目标检测框中包括有所述样本文档图像中的样本检测框中心点，且所述目标检测框的类别概率大于或者等于概率阈值；
将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
22.根据权利要求14或17所述的装置，其中，所述样本文档图像的弱标签为样本检测框中心点以及版式类别；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；所述确定模块具体用于，
针对所述样本文档图像中的每个样本检测框中心点，确定所述样本检测框中心点与所述版式预测结果中各个检测框的中心点之间的距离，以及所述样本检测框中心点对应的版式类别与各个检测框的版式类别之间的类别差异；
根据所述版式预测结果中检测框的距离以及类别差异、以及匈牙利匹配算法，确定所述版式预测结果中检测框的匹配度；
根据匹配度，从所述版式预测结果的各个检测框中选择与所述样本检测框中心点匹配的目标检测框；
将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
23.根据权利要求14或17所述的装置，其中，所述样本文档图像的弱标签为样本检测框；所述版式预测结果包括，多个检测框、所述检测框的版式类别、所述检测框属于所述版式类别的类别概率；所述确定模块具体用于，
针对所述样本文档图像中的每个样本检测框，确定所述样本检测框与所述版式预测结果中各个检测框的距离以及IOU损失；
根据所述版式预测结果中检测框的距离以及IOU损失、以及匈牙利匹配算法，确定所述版式预测结果中检测框的匹配度；
根据匹配度，从所述版式预测结果的各个检测框中选择与所述样本检测框匹配的目标检测框；
将所述目标检测框以及所述目标检测框的版式类别，作为所述样本文档图像的伪标签。
24.根据权利要求14所述的装置，其中，所述初始的第一文档版式检测模型，为未采用所述第二训练数据进行训练的模型；所述训练模块具体用于，
根据所述第二训练数据中的样本文档图像，以及所述样本文档图像的真标签，对所述第一文档版式检测模型进行训练处理，得到训练后的第一文档版式检测模型；
根据所述第一训练数据中的样本文档图像，以及所述样本文档图像的伪标签，对所述训练后的第一文档版式检测模型进行再次训练处理，得到训练好的文档版式检测模型。
25.根据权利要求15至16中任一项所述的装置，其中，所述第一文档版式检测模型与所述第二文档版式检测模型，结构相同或者结构不同；
结构相同时，所述第一文档版式检测模型与所述第二文档版式检测模型的参数精度不同。
26.根据权利要求14所述的装置，其中，所述第一文档版式检测模型和所述第二文档版式检测模型，包括依次连接的卷积神经网络和Transformer网络。
27.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至13中任一项所述的方法。
28.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至13中任一项所述的方法。
29.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至13中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311220870.5A CN117312849A (zh) | 2023-09-20 | 2023-09-20 | 文档版式检测模型的训练方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311220870.5A CN117312849A (zh) | 2023-09-20 | 2023-09-20 | 文档版式检测模型的训练方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117312849A true CN117312849A (zh) | 2023-12-29 |
Family
ID=89287699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311220870.5A Pending CN117312849A (zh) | 2023-09-20 | 2023-09-20 | 文档版式检测模型的训练方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117312849A (zh) |
-
2023
- 2023-09-20 CN CN202311220870.5A patent/CN117312849A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114549874B (zh) | 多目标图文匹配模型的训练方法、图文检索方法及装置 | |
| CN115063875B (zh) | 模型训练方法、图像处理方法、装置和电子设备 | |
| CN113989593A (zh) | 图像处理方法、检索方法、训练方法、装置、设备及介质 | |
| CN113642583B (zh) | 用于文本检测的深度学习模型训练方法及文本检测方法 | |
| CN113901907A (zh) | 图文匹配模型训练方法、图文匹配方法及装置 | |
| CN113360700B (zh) | 图文检索模型的训练和图文检索方法、装置、设备和介质 | |
| CN114494784A (zh) | 深度学习模型的训练方法、图像处理方法和对象识别方法 | |
| CN112632227B (zh) | 简历匹配方法、装置、电子设备、存储介质和程序产品 | |
| CN114863437B (zh) | 文本识别方法、装置、电子设备和存储介质 | |
| CN112528641A (zh) | 建立信息抽取模型的方法、装置、电子设备和可读存储介质 | |
| CN112580666A (zh) | 图像特征的提取方法、训练方法、装置、电子设备及介质 | |
| CN114511743B (zh) | 检测模型训练、目标检测方法、装置、设备、介质及产品 | |
| CN115359308A (zh) | 模型训练、难例识别方法、装置、设备、存储介质及程序 | |
| CN117746125A (zh) | 图像处理模型的训练方法、装置及电子设备 | |
| CN112784102A (zh) | 视频检索方法、装置和电子设备 | |
| CN114973333B (zh) | 人物交互检测方法、装置、设备以及存储介质 | |
| CN113361522B (zh) | 用于确定字符序列的方法、装置和电子设备 | |
| CN115527069A (zh) | 物品识别和物品识别系统构建方法及装置 | |
| CN114817476A (zh) | 语言模型的训练方法、装置、电子设备和存储介质 | |
| CN113806541A (zh) | 情感分类的方法和情感分类模型的训练方法、装置 | |
| CN117312849A (zh) | 文档版式检测模型的训练方法、装置及电子设备 | |
| CN113204665A (zh) | 图像检索方法、装置、电子设备及计算机可读存储介质 | |
| CN114821801B (zh) | 动作识别方法、模型训练方法、装置、电子设备和存储介质 | |
| CN116244432B (zh) | 语言模型的预训练方法、装置及电子设备 | |
| US20220222941A1 (en) | Method for recognizing action, electronic device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |