CN114550177B - 图像处理的方法、文本识别方法及装置 - Google Patents

Abstract

本公开提供了一种图像处理的方法、文本识别方法及装置，涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域。包括：对获取到的样本图像进行预处理，得到样本图像中字段分别对应的位置信息、图像块、以及文本内容，根据字段分别对应的位置信息、图像块、以及文本内容，对字段的位置信息进行掩码预测，得到预测结果，根据预测结果训练得到文本识别模型，文本识别模型用于对待识别图像进行文本识别，通过融合样本图像的多个维度的内容进行“预训练”，使得“预训练”具有较高的全面性和可靠性，当基于预测结果生成文本识别模型时，使得文本识别模型具有较高的准确性，进而当基于文本识别模型进行文本识别时，提高文本识别的可靠性。

Description

图像处理的方法、文本识别方法及装置

技术领域

本公开涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于光学字符识别(OCR，Optical Character Recognition)等场景，尤其涉及一种图像处理的方法、文本识别方法及装置。

背景技术

随着人工智能(Artificial Intelligence，AI)技术的发展，网络模型被广泛地应用各个领域，如训练文本识别模型，以基于文本识别模型对图像中的文字进行识别，从而得到文本内容等。

在相关技术中，通常采用标注的样本图像对基础网络模型进行训练，以使得基础网络模型学习对样本图像中的文本内容进行识别的能力，从而得到文本识别模型。

然而，采用上述方法，存在文本识别模型的可靠性偏低的技术问题。

发明内容

本公开提供了一种用于提高图像处理的可靠性的图像处理的方法、文本识别方法及装置。

根据本公开的第一方面，提供了一种图像处理的方法，包括：

对获取到的样本图像进行预处理，得到所述样本图像中字段分别对应的位置信息、图像块、以及文本内容；

根据所述字段分别对应的位置信息、图像块、以及文本内容，对所述字段的位置信息进行掩码预测，得到预测结果；

根据所述预测结果训练得到文本识别模型，其中，所述文本识别模型用于对待识别图像进行文本识别。

根据本公开的第二方面，提供了一种文本识别方法，包括：

获取待识别图像；

基于预先训练的文本识别模型对所述待识别图像进行文本识别，得到所述待识别图像的文本内容；

其中，所述文本识别模型是基于如第一方面所述的方法得到的。

根据本公开的第三方面，提供了一种图像处理的装置，包括：

第一处理单元，用于对获取到的样本图像进行预处理，得到所述样本图像中字段分别对应的位置信息、图像块、以及文本内容；

预测单元，用于根据所述字段分别对应的位置信息、图像块、以及文本内容，对所述字段的位置信息进行掩码预测，得到预测结果；

训练单元，用于根据所述预测结果训练得到文本识别模型，其中，所述文本识别模型用于对待识别图像进行文本识别。

根据本公开的第四方面，提供了一种文本识别装置，包括：

获取单元，用于获取待识别图像；

识别单元，用于基于预先训练的文本识别模型对所述待识别图像进行文本识别，得到所述待识别图像的文本内容；

其中，所述文本识别模型是基于如第一方面所述的方法训练的。

根据本公开的第五方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面或第二方面所述的方法。

根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或第二方面所述的方法。

根据本公开的结合字段分别对应的位置信息、图像块、以及文本内容，对字段的位置信息进行掩码预测，以完成“预训练”，并基于“预训练”的预测结果训练得到文本识别模型的技术方案，由于融合了样本图像的多个维度的内容进行“预训练”，可以使得“预训练”具有较高的全面性和可靠性，从而当基于预测结果生成文本识别模型(即完成“微调”)时，可以使得文本识别模型具有较高的准确性和可靠性，进而当基于文本识别模型进行文本识别时，可以提高文本识别的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是可以实现本公开实施例的图像处理的方法、文本识别方法的场景图；

图2是根据本公开第一实施例的示意图；

图3是根据本公开第二实施例的示意图；

图4是根据本公开第三实施例的示意图；

图5是根据本公开的原理示意图一；

图6是根据本公开的原理示意图二；

图7是根据本公开第四实施例的示意图；

图8是根据本公开第五实施例的示意图；

图9是根据本公开第六实施例的示意图；

图10是根据本公开第七实施例的示意图；

图11是根据本公开第八实施例的示意图；

图12是根据本公开第九实施例的示意图；

图13是根据本公开第十实施例的示意图；

图14是用来实现本公开实施例的图像处理的方法、文本识别方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

文档图像结构化是指，将图像中的文本内容(是指图像中所有的文字信息)、关键信息(是指被关注的部分信息，可以基于需求等进行确定)进行抽取，将图像中的内容进行数字化和结构化。

相应的，文本结构化信息可以理解为经文档图像结构化而得到的文本结构化信息，即文本内容。

例如，若针对如图1中所示的发票进行文档图像结构化，则可以将如图1中所示的发票进行拍照，得到发票图像，以对发票图像中的如发票号码、金额、日期等信息进行提取。

应该理解的是，图1只是用于示范性地说明，文档图像可能的形态，而不能理解为对文档图像的限定，文档图像可以理解为包括文本内容的图像，如车船票图像，也可以为招牌图像等。

文档图像结构化可以理解为获取包括文本内容的图像中的文本内容的过程，随着人工智能技术的发展，可以基于网络模型实现，如训练文本识别模型，以基于文本识别模型对待识别图像进行文字识别，从而得到待识别图像中的文本内容。

在一些实施例中，可以基于样本图像对基础网络模型进行训练，以得到文本识别模型。

例如，针对不同的应用场景，选取与应用场景对应的样本图像(包括文本内容)，对样本图像进行标注，并基于标注后的样本图像对基础网络模型进行训练，从而得到文本识别模型。

结合上述分析，不同的应用场景下的文本识别模型，可能用于对不同类型的文档图像的文本内容进行检测，如针对发票的应用场景，在训练用于对发票图像进行识别的文本识别模型时，获取样本发票图像，对样本发票图像进行标注，并基于标注后的样本发票图像对基础网络模型进行训练，从而得到用于对待识别图像为发票图像进行识别的文本识别模型。

又如，针对车票的应用场景，在训练用于对车票图像进行识别的文本识别模型时，获取样本车票图像，对样本车票图像进行标注，并基于标注后的样本车票图像对基础网络模型进行训练，从而得到用于对待识别图像为车票图像进行识别的文本识别模型。

然而，基于该种方法，针对不同的应用场景，需要专门采集相应应用场景的样本图像，以在标注后进行训练，从而导致标注量大，训练时间长，通用性偏低。

在另一些实施例中，可以采用“预训练+微调”的方式训练得到文本识别模型。

其中，“预训练”可以理解为，无需区分应用场景，基于样本图像生成预训练模型，其本质可以理解为是隐藏层。“微调”可以理解为，在隐藏层的基础上，结合应用场景，训练得到适应于应用场景的文本识别模型。

示例性的，结合上述分析，训练文本识别模型可以包括两个阶段，一个为“预训练”阶段，一个为“微调”阶段，针对发票的应用场景和车票的应用场景，可以基于“预训练”阶段得到两个应用场景可以共用的隐藏层，而在“微调阶段”时，针对发票的应用场景，可以结合样本发票图像和隐藏层训练得到适应于发票的应用场景的文本识别模型，针对车票的应用场景，可以结合样本车票图像和隐藏层训练得到适应于车票的应用场景的文本识别模型。

一个示例中，可以基于遮罩式视觉语言模型(Masked Visual-Language Model，MVLM)完成“预训练”。

例如，可以基于遮罩式视觉语言模型对样本图像中的部分文字进行掩码(mask)处理，即遮盖样本图像中的部分文字，并根据样本图像中未被遮盖的部分文字还原被遮盖的部分文字。

其中，具体可以基于样本图像中未被遮盖的部分文字的上下文确定被遮盖的部分文字。在遮盖样本图像的部分文字时，遮盖的可以为部分文字的文本本身与样本图像中被遮盖的部分文字所处的区域。

另一个示例中，可以采用文本长度预测的方式完成“预训练”。

例如，可以获取样本图像的视觉特征，根据视觉特征预测得到样本图像中的文本内容的字符长度，并基于预测的字符长度和真实的字符长度(预先标注的)完成“预训练”。

另一个示例中，可以基于字段之间的位置信息完成“预训练”。

例如，可以获取样本图像的不同字段(如两个字段)各自对应的视觉特征，并基于各视觉特征预测不同字段的位置关系，以预测得到的不同字段的位置关系完成“预训练”。

另一个示例中，可以遮盖样本图像中的部分文本，并对部分文本的输出进行词级别二分类，以预测每个词是否被遮盖，并基于预测结果完成“预训练”。

另一个示例中，可以替换或舍弃样本图像的部分图像，以得到负样本，并基于二分类的方式预测样本图像与部分图像中的文本内容是否匹配，以基于预测结果完成“预训练”。

然而，结合上述分析，在采用上述方式完成“预训练”时，通常是从文本特征的维度出发，融合的样本图像中的特征相对不够全面，因此，可能存在“预训练”的可靠性和准确性偏低的问题。

为了避免上述问题中的至少一种，本公开的发明人经过创造性地劳动，得到了本公开的发明构思：结合样本图像的多个维度的特征完成“预训练”，并通过“微调”得到文本识别模型。

基于上述发明构思，本公开提供一种图像处理的方法、文本识别方法及装置，应用于人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于OCR等场景，以达到提高训练的效率和可靠性。

图2是根据本公开第一实施例的示意图，如图2所示，本实施例的图像处理的方法，包括：

S201：对获取到的样本图像进行预处理，得到样本图像中字段分别对应的位置信息、图像块、以及文本内容。

示例性的，本实施例的执行主体可以为图像处理的装置，图像处理的装置可以为服务器(如云端服务器，或者，本地服务器，或者，服务器集群)，也可以为计算机，也可以为终端设备，也可以为处理器，也可以为芯片等，本实施例不做限定。

本实施例对预处理的方式不做限定，如可以采用文字检测技术实现，也可以采用文字识别技术实现。

该步骤可以理解为：获取样本图像，样本图像中包括字段，即样本图像中包括文字，对字段进行预处理，可以字段的位置信息，如文字的像素坐标，也可以得到字段的图像块，如用于框选字段的矩形框，也可以包括字段的文本内容，即样本图像的文本内容。

S202：根据字段分别对应的位置信息、图像块、以及文本内容，对字段的位置信息进行掩码预测，得到预测结果。

其中，掩码预测是指，对字段的位置信息进行掩码处理，并预测掩码前的位置信息。

在本实施例中，结合三个维度的内容(即字段分别对应的位置信息、图像块、以及文本内容)进行掩码预测，可以使得掩码预测具有较高的可靠性，提高掩码预测的准确性，进而当结合预测结果训练得到文本识别模型时，可以使得文本识别模型具有较高的准确性和可靠性。

S203：根据预测结果训练得到文本识别模型。

其中，文本识别模型用于对待识别图像进行文本识别。

结合上述实施例，S201-202可以理解为“预训练”阶段，S203可以理解为“微调”阶段。

基于上述分析可知，本公开提供了一种图像处理的方法，包括：对获取到的样本图像进行预处理，得到样本图像中字段分别对应的位置信息、图像块、以及文本内容，根据字段分别对应的位置信息、图像块、以及文本内容，对字段的位置信息进行掩码预测，得到预测结果，根据预测结果训练得到文本识别模型，其中，文本识别模型用于对待识别图像进行文本识别，在本实施例中，通过结合字段分别对应的位置信息、图像块、以及文本内容，对字段的位置信息进行掩码预测，以完成“预训练”，并基于“预训练”的预测结果训练得到文本识别模型的技术特征，由于融合了样本图像的多个维度的内容进行“预训练”，可以使得“预训练”具有较高的全面性和可靠性，从而当基于预测结果生成文本识别模型(即完成“微调”)时，可以使得文本识别模型具有较高的准确性和可靠性，进而当基于文本识别模型进行文本识别时，可以提高文本识别的准确性。

图3是根据本公开第二实施例的示意图，如图3所示，本实施例的图像处理的方法，包括：

S301：对获取到的样本图像进行预处理，得到样本图像中字段分别对应的位置信息、图像块、以及文本内容。

应该理解的是，为了避免繁琐的陈述，关于本实施例与上述实施例相同的技术特征，本实施例不再赘述。

S302：获取与字段的位置信息对应的位置特征，获取与图像块对应的视觉特征，获取与文本内容对应的文本特征。

本实施例对获取上述三个维度的特征的方式不做限定，例如，可以通过模型的方式实现，也可以通过算法的方式实现。

其中，位置特征可以为表征字段在样本图像中的像素坐标维度的特征向量，视觉特征可以为表征字段在视觉维度(如颜色和纹理等)的特征向量，文本特征可以为表征字段在文字特色维度(如笔画和结构等)的特征向量。

S303：根据字段的位置特征、视觉特征、以及文本特征，对字段的位置特征进行掩码预测，得到预训练模型。

也就是说，预测结果可以为预训练模型。结合上述分析可知，预测结果本质上为隐藏层。

在本实施例中，由于三个维度的特征能相对较强的对样本图像的特征进行表达，因此，当结合三个维度的特征对字段的位置特征进行掩码预测时，可以使得掩码预测具有较高的准确性和可靠性。

在一些实施例中，S303可以包括如下步骤：

第一步骤：随机去除字段的位置特征中的部分位置特征。

其中，模型训练的过程为迭代的训练过程，在一些实施例中，可以基于需求、历史记录、以及试验等方式设置去除比例，以基于去除比例随机去除字段的位置特征中的部分位置特征。在另一些实施例中，也可以基于不同的去除比例，去除字段的位置特征中的部分位置特征。

第二步骤：根据视觉特征、文本特征、以及字段的位置特征中被保留的部分位置特征，对字段的位置特征中被去除的部分位置特征进行掩码预测，得到预训练模型。

在本实施例中，通过随机去除的方式去除部分位置特征，以使得预训练模型可以还原不同的位置特征，从而使得预训练模型具有较高的准确性和可靠性，且通过结合未被去除的三个维度的特征，对被去除的部分位置特征进行掩码预测，可以使得掩码预测既可以从像素坐标的维度对去除的部分位置特征进行还原，也可以从文本内容的维度对去除的部分位置特征进行还原，也可以从文字的视觉维度去除的部分位置特征进行还原，以使得还原的部分位置特征与去除的部分位置特征高度相同。

在一些实施例中，第二步骤可以包括如下子步骤：

第一子步骤：根据视觉特征、文本特征、以及字段的位置特征中被保留的部分位置特征，预测得到字段的位置特征中被去除的部分位置特征。

结合上述分析，在本实施例中，通过未被去除的三个维度的特征，预测得到被去除的部分位置特征，既考虑了被去除的部分位置特征与被保留的部分位置特征之间在像素坐标上的关联关系，也可考虑了基于上下文语义之间的关联关系，还考虑了视觉上下文之间的关联关系，以使得预测得到的被去除的部分位置特征具有较高的准确性和可靠性。

第二子步骤：获取与字段的位置特征中被去除的部分位置特征对应的位置信息。

第三子步骤：根据字段的位置信息、以及获取到的位置信息，生成预训练模型。

示例性的，该实施例可以理解为，根据被保留下的三个维度的特征预测得到被去除的部分位置特征对应的位置信息，以便基于去除前的位置信息和去除后的位置信息生成预训练模型。

在一些实施例中，可以通过计算字段的位置信息、以及获取到的位置信息之间的损失函数，以基于损失函数训练得到预训练模型。

其中，损失函数用于表征，字段的位置信息、以及获取到的位置信息之间的损失函数之间的差异信息。也就是说，通过结合去除前的位置信息和去除后的位置信息之间的差异信息，生成预训练模型，以使得生成预训练模型具有针对性，提高生成预训练模型的收敛速度。

S304：根据预训练模型训练得到文本识别模型。

其中，文本识别模型用于对待识别图像进行文本识别。

图4是根据本公开第三实施例的示意图，如图4所示，本实施例的图像处理的方法，包括：

S401：对样本图像进行文字检测处理，得到图像块、以及字段的位置信息。

其中，图像块为用于框选字段的位置信息对应的区域的包围框。

同理，为了避免繁琐的陈述，关于本实施例与上述实施例相同的技术特征，本实施例不再赘述。

也就是说，可以基于文字检测技术对样本图像进行预处理，以得到样本图像在视觉维度上的图像块、以及样本图像在位置上的位置信息。

S402：对样本图像进行文字识别处理，得到文本内容。

也就是说，可以采用文字识别技术对样本图像进行预处理，以得到样本图像的文本内容。

示例性的，结合图5可知，预处理包括文字检测处理和文字识别处理，对样本图像进行文字检测处理，得到图像块和位置信息，对样本图像进行文字识别处理，得到文本内容。

在本实施例中，通过不同的预处理方式(即文字检测处理和文字识别处理)对样本图像进行预处理，以得到样本图像的不同维度的内容，以提高对样本图像进行预处理的灵活性和多样性。

S403：将字段的位置信息输入至第一网络模型，输出字段的位置特征。

示例性的，如图5所示，第一网络模型输出的为位置特征。

S404：将图像块输入至第二网络模型，输出视觉特征。

S405：将文本内容输入至第三网络模型，输出文本特征。

其中，本实施例对第一网络模型、第二网络模型、第三网络模型的网络框架、结构、以及参数等不做限定。而基于各网络模型提取各自对应的特征的实现原理，可以参见相关技术，本实施例不做限定。

在本实施例中，通过并行的方式确定样本图像的三个维度的特征，可以避免各特征之间的干扰，提高确定各特征的效率和准确性。

S406：随机去除字段的位置特征中的部分位置特征，得到被保留的部分位置特征。

示例性的，如图5所示，对由第一网络模型输出的位置特征、第二网络模型输出的视觉特征、以及第三网络模型输出的文本特征，进行随机位置特征去除，得到被保留下的特征。

其中，被保留下的特征中包括第二网络模型输出的视觉特征、第三网络模型输出的文本特征、以及第一网络模型输出的位置特征中没有被随机去除的位置特征。

S407：将视觉特征、文本特征、以及字段的位置特征中被保留的部分位置特征输入至第四网络模型，输出字段的位置特征中被去除的部分位置特征的位置信息。

同理，本实施例对第四网络模型不做限定。

示例性的，如图5所示，将被保留下的特征(包括视觉特征、文本特征、以及字段的位置特征中被保留的部分位置特征)输入至第四网络模型，预测得到被随机位置特征去除的位置特征的位置信息。

同理，在本实施例中，通过结合三个维度的特征预测得到被随机位置特征去除的位置特征的位置信息，可以使得预测得到的位置信息具有较高的准确性和可靠性，即可以相对较为准确的还原被去除的位置特征对应的位置信息。

S408：计算字段的位置信息、以及获取到的位置信息之间的损失函数。

示例性的，如图5所示，计算经文字检测处理得到的位置信息、与第四网络模型预测得到的位置信息的损失函数。

其中，损失函数可以包括字段的位置信息、以及获取到的位置信息之间的距离损失。

示例性的，可以计算字段的位置信息、以及获取到的位置信息之间的距离损失，并将距离损失确定为损失函数。

结合上述分析，在本实施例中，通过对位置特征进行掩码预测得到的预训练模型，因此，通过将距离损失确定损失函数，可以使得损失函数可以针对性的表征掩码处理前后的位置信息之间的差异信息，从而使得当结合距离损失函数生成预训练模型时，提高预训练模型的可靠性和准确性。

在一些实施例中，字段的位置信息包括字段以像素坐标系为基准的检测横坐标和检测纵坐标；获取到的位置信息包括以像素坐标系为基准的字段的预测横坐标和预测纵坐标；计算距离损失可以包括如下步骤：

第一步骤：计算预测横坐标与检测横坐标之间的横坐标差异信息、以及预测纵坐标与检测纵坐标之间的纵坐标之间的纵坐标差异信息。

第二步骤：根据横坐标差异信息和纵坐标差异信息，确定距离损失。

示例性的，位置信息可以像素坐标(x1,y1,x2,y2)表示，其中(x1，y1)为位置信息的左上角坐标，(x2，y2)为位置信息的右上角坐标，当然，也可以通过其他形式的方式来表示位置信息，如(x,y,w,h)等等。

其中，x、x1、x2为横坐标，y、y1、y2为纵坐标，w为宽度，h为高度。

若位置信息通过像素坐标(x1,y1,x2,y2)表示，则在一些实施例中，可以根据式1确定距离损失L1，式1：

在另一些实施例中，可以根据式2确定距离损失L2，式2：

其中，上标p为预测横坐标，上标g为检测横坐标(即真实值)。

在本实施例中，通过从两个维度(即横坐标差异信息和纵坐标差异信息)，确定距离损失，可以实现从全局上确定距离损失，以使得确定出的距离损失具有较高的全面性和可靠性。

S409：根据损失函数对第一网络模型、第二网络模型、第三网络模型、以及第四网络模型各自对应的模型参数进行调整，得到预训练模型。

在本实施例中，将第一网络模型、第二网络模型、第三网络模型、以及第四网络模型作为一个整体网络模型，以结合损失函数对整体网络模型进行训练，以使得各网络模型之间紧密结合，减少误差。

S410：根据预训练模型训练得到文本识别模型。

其中，文本识别模型用于对待识别图像进行文本识别。

其中，该步骤可以理解为“微调”阶段。

也就是说，如图6所示，在本实施例中，训练得到文本识别模型包括两个阶段，一个为“预训练”阶段，具体参见S401-是S409，另一个为“微调”阶段，具体参见S410。

且如图6所示，“预训练”阶段可以包括两个子阶段，一个为“训练数据预处理”子阶段，具体参见S401-S402，样本图像为训练数据，另一个为“位置特征掩码预测”子阶段，具体参见S403-S409。

经过“预训练”阶段得到的预训练模型是针对不同应用场景，或者说针对不同类型的识别需求所通用的通用模型，而针对不同的应用场景，或者不同类型的识别需求，可以在该通用模型的基础上进行针对性的训练，从而得到最终的应用于相应应用场景中的神经网络模型。例如，用于对发票进行文本识别的神经网络模型，或者对合同进行识别的神经网络模型。

其中，可以在预训练模型的基础上采用标注的训练数据再进行训练，从而得到最终的应用于相应应用场景中的神经网络模型。

相应的，可以基于最终的应用于相应应用场景中的神经网络模型，输出待识别图像的文本结构化信息(即文本内容)。

图7是根据本公开第四实施例的示意图，如图7所示，本实施例的图像处理的装置700，包括：

第一处理单元701，用于对获取到的样本图像进行预处理，得到样本图像中字段分别对应的位置信息、图像块、以及文本内容。

预测单元702，用于根据字段分别对应的位置信息、图像块、以及文本内容，对字段的位置信息进行掩码预测，得到预测结果。

训练单元703，用于根据预测结果训练得到文本识别模型，其中，文本识别模型用于对待识别图像进行文本识别。

图8是根据本公开第五实施例的示意图，如图8所示，本实施例的图像处理的装置800，包括：

第一处理单元801，用于对获取到的样本图像进行预处理，得到样本图像中字段分别对应的位置信息、图像块、以及文本内容。

在一些实施例中，预处理包括文字检测处理和文字识别处理；结合图8可知，第一处理单元801，包括：

第一处理子单元8011，用于对样本图像进行文字检测处理，得到图像块、以及字段的位置信息，其中，图像块为用于框选字段的位置信息对应的区域的包围框。

第二处理子单元8012，用于对样本图像进行文字识别处理，得到文本内容。

预测单元802，用于根据字段分别对应的位置信息、图像块、以及文本内容，对字段的位置信息进行掩码预测，得到预测结果。

结合图8可知，在一些实施例中，预测结果为预训练模型；预测单元802，包括：

获取子单元8021，用于获取与字段的位置信息对应的位置特征，获取与图像块对应的视觉特征，获取与文本内容对应的文本特征。

在一些实施例中，获取子单元8021，包括：

第一输入模块，用于将字段的位置信息输入至第一网络模型。

第一输出模块，用于输出与字段的位置信息对应的位置特征。

第二输入模块，用于将图像块输入至第二网络模型。

第二输出模块，用于输出视觉特征。

第三输入模块，用于将文本内容输入至第三网络模型。

第三输出模块，用于输出文本特征。

预测子单元8022，用于根据字段的位置特征、视觉特征、以及文本特征，对字段的位置特征进行掩码预测，得到预训练模型。

在一些实施例中，预测子单元8022，包括：

去除模块，用于随机去除字段的位置特征中的部分位置特征。

预测模块，用于根据视觉特征、文本特征、以及字段的位置特征中被保留的部分位置特征，对字段的位置特征中被去除的部分位置特征进行掩码预测，得到预训练模型。

在一些实施例中，预测模块，包括：

输入子模块，用于将视觉特征、文本特征、以及字段的位置特征中被保留的部分位置特征输入至第四网络模型。

输出子模块，用于输出字段的位置特征中被去除的部分位置特征的位置信息。

第二生成子模块，用于根据字段的位置信息、以及输出的位置信息，生成预训练模型。

在一些实施例中，第二生成子模块用于，计算字段的位置信息、以及获取到的位置信息之间的损失函数，并根据损失函数对所述第一网络模型、第二网络模型、第三网络模型、以及第四网络模型各自对应的模型参数进行调整，得到预训练模型。

在一些实施例中，第二生成子模块用于，计算字段的位置信息、以及获取到的位置信息之间的距离损失，并将距离损失确定为损失函数。

在一些实施例中，字段的位置信息包括字段以像素坐标系为基准的检测横坐标和检测纵坐标；获取到的位置信息包括以像素坐标系为基准的字段的预测横坐标和预测纵坐标；第二生成子模块用于，计算预测横坐标与检测横坐标之间的横坐标差异信息、以及预测纵坐标与检测纵坐标之间的纵坐标之间的纵坐标差异信息，并根据横坐标差异信息和纵坐标差异信息，确定距离损失。

在一些实施例中，预测模块，包括：

预测子模块，用于根据视觉特征、文本特征、以及字段的位置特征中被保留的部分位置特征，预测得到字段的位置特征中被去除的部分位置特征。

获取子模块，用于获取与字段的位置特征中被去除的部分位置特征对应的位置信息。

第一生成子模块，用于根据字段的位置信息、以及获取到的位置信息，生成预训练模型。

在一些实施例中，第一生成子模块用于，计算字段的位置信息、以及获取到的位置信息之间的损失函数，并基于损失函数训练得到预训练模型。

训练单元803，用于根据预测结果训练得到文本识别模型，其中，文本识别模型用于对待识别图像进行文本识别。

图9是根据本公开第六实施例的示意图，如图9所示，本实施例的文本识别方法，包括：

S901：获取待识别图像。

示例性的，本实施例的执行主体可以为文本识别装置，且文本识别装置与用于上述实施例的图像处理的装置可以为相同的装置，也可以为不同的装置，本实施例不做限定。

关于获取待识别图像可以采用下述示例实现：

一个示例中，文本识别装置可以与图像采集装置连接，并接收由图像采集装置发送的图像。

其中，图像采集装置可以为具有采集图像的功能的装置，如摄像头等。

另一个示例中，文本识别装置可以提供载入图像的工具，用户可以通过该载入图像的工具将待识别图像传输至文本识别装置。

其中，载入图像的工具可以为用于与外接设备连接的接口，如用于与其他存储设备连接的接口，通过该接口获取外接设备传输的待识别图像；载入图像的工具也可以为显示装置，如文本识别装置可以在显示装置上输入载入图像功能的界面，用户可以通过该界面将待识别图像导入至文本识别装置，文本识别装置获取导入的待识别图像。

S902：基于预先训练的文本识别模型对待识别图像进行文本识别，得到待识别图像的文本内容。

其中，文本识别模型是基于上述任一实施例所述的图像处理的方法得到的。

图10是根据本公开第七实施例的示意图，如图10所示，本实施例的文本识别方法，包括：

S1001：获取待识别图像。

同理，为了避免繁琐的陈述，关于本实施例与上述实施例相同的技术特征，本实施例不再赘述。

S1002：对待识别图像进行预处理，得到待识别图像中字段分别对应的位置信息、图像块、以及文本内容。

同理，结合上述分析可知，预处理可以包括文字检测处理和文字识别处理；S1002可以包括如下步骤：

第一步骤：对待识别图像进行文字检测处理，得到待识别图像中字段分别对应的图像块、位置信息。

其中，待识别图像中字段对应的图像块为，用于框选待识别图像中字段的位置信息对应的区域的包围框。

第二步骤：对待识别图像进行文字识别处理，得到待识别图像对应的文本内容。

S1003：将待识别图像中字段分别对应的位置信息、图像块、以及文本内容输入至文本识别模型，输出待识别图像的文本内容。

其中，文本识别模型是基于上述任一实施例所述的图像处理的方法得到的。

图11是根据本公开第八实施例的示意图，如图11所示，本实施例的文本识别装置1100，包括：

获取单元1101，用于获取待识别图像。

识别单元1102，用于基于预先训练的文本识别模型对待识别图像进行文本识别，得到待识别图像的文本内容。

其中，文本识别模型是基于上述任一实施例所述的图像处理的方法得到的。

图12是根据本公开第九实施例的示意图，如图12所示，本实施例的文本识别装置1200，包括：

获取单元1201，用于获取待识别图像。

第二处理单元1202，用于对待识别图像进行预处理，得到待识别图像中字段分别对应的位置信息、图像块、以及文本内容。

识别单元1203，用于将待识别图像中字段分别对应的位置信息、图像块、以及文本内容输入至文本识别模型，输出待识别图像的文本内容。

其中，文本识别模型是基于上述任一实施例所述的图像处理的方法得到的。

图13是根据本公开第十实施例的示意图，如图13所示，本公开中的电子设备1300可以包括：处理器1301和存储器1302。

存储器1302，用于存储程序；存储器1302，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器1302用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1302中。并且上述的计算机程序、计算机指令、数据等可以被处理器1301调用。

上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1302中。并且上述的计算机程序、计算机指据等可以被处理器1301调用。

处理器1301，用于执行存储器1302存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。

具体可以参见前面方法实施例中的相关描述。

处理器1301和存储器1302可以是独立结构，也可以是集成在一起的集成结构。当处理器1301和存储器1302是独立结构时，存储器1302、处理器1301可以通过总线1303耦合连接。

本实施例的电子设备可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图14示出了可以用来实施本公开的实施例的示例电子设备1400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图14所示，设备1400包括计算单元1401，其可以根据存储在只读存储器(ROM)1402中的计算机程序或者从存储单元1408加载到随机访问存储器(RAM)1403中的计算机程序，来执行各种适当的动作和处理。在RAM 1403中，还可存储设备1400操作所需的各种程序和数据。计算单元1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。

设备1400中的多个部件连接至I/O接口1405，包括：输入单元1406，例如键盘、鼠标等；输出单元1407，例如各种类型的显示器、扬声器等；存储单元1408，例如磁盘、光盘等；以及通信单元1409，例如网卡、调制解调器、无线通信收发机等。通信单元1409允许设备1400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1401执行上文所描述的各个方法和处理，例如图像处理的方法、文本识别方法。例如，在一些实施例中，图像处理的方法、文本识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1402和/或通信单元1409而被载入和/或安装到设备1400上。当计算机程序加载到RAM 1403并由计算单元1401执行时，可以执行上文描述的图像处理的方法、文本识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元1401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理的方法、文本识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (22)

1.一种图像处理的方法，包括：

对样本图像进行文字检测处理，得到图像块、以及字段的位置信息，其中，所述图像块为用于框选所述字段的位置信息对应的区域的包围框；

对所述样本图像进行文字识别处理，得到文本内容，所述样本图像至少包括车船票图像、招牌图像和发票图像；

获取与所述字段的位置信息对应的位置特征，获取与所述图像块对应的视觉特征，获取与所述文本内容对应的文本特征，所述位置特征为表征所述字段在样本图像中的像素坐标维度的特征向量，所述视觉特征为表征所述字段在视觉维度的特征向量，所述文本特征为表征所示字段在文字特色维度的特征向量；

随机去除所述字段的位置特征中的部分位置特征；

根据所述视觉特征、所述文本特征、以及所述字段的位置特征中被保留的部分位置特征，对所述字段的位置特征中被去除的部分位置特征进行掩码预测，使得所述掩码预测从像素坐标的维度、从文本内容的维度以及从文字的视觉维度对去除的部分位置进行还原，得到预训练模型；

根据预测结果训练得到文本识别模型，其中，所述文本识别模型用于对待识别图像进行文本识别。

2.根据权利要求1所述的方法，其中，所述根据所述视觉特征、所述文本特征、以及所述字段的位置特征中被保留的部分位置特征，对所述字段的位置特征中被去除的部分位置特征进行掩码预测，得到所述预训练模型，包括：

根据所述视觉特征、所述文本特征、以及所述字段的位置特征中被保留的部分位置特征，预测得到所述字段的位置特征中被去除的部分位置特征；

获取与所述字段的位置特征中被去除的部分位置特征对应的位置信息；

根据所述字段的位置信息、以及获取到的位置信息，生成所述预训练模型。

3.根据权利要求2所述的方法，其中，所述根据所述字段的位置信息、以及获取到的位置信息，生成所述预训练模型，包括：

计算所述字段的位置信息、以及获取到的位置信息之间的损失函数，并基于所述损失函数训练得到所述预训练模型。

4.根据权利要求1-3任一项所述的方法，其中，所述获取与所述字段的位置信息对应的位置特征，获取与所述图像块对应的视觉特征，获取与所述文本内容对应的文本特征，包括：

将所述字段的位置信息输入至第一网络模型，输出与所述字段的位置信息对应的位置特征；

将所述图像块输入至第二网络模型，输出所述视觉特征；

将所述文本内容输入至第三网络模型，输出所述文本特征。

5.根据权利要求4所述的方法，其中，所述根据所述视觉特征、所述文本特征、以及所述字段的位置特征中被保留的部分位置特征，对所述字段的位置特征中被去除的部分位置特征进行掩码预测，得到所述预训练模型，包括：

将所述视觉特征、所述文本特征、以及所述字段的位置特征中被保留的部分位置特征输入至第四网络模型，输出所述字段的位置特征中被去除的部分位置特征的位置信息；

根据所述字段的位置信息、以及输出的位置信息，生成所述预训练模型。

6.根据权利要求5所述的方法，其中，所述根据所述字段的位置信息、以及输出的位置信息，生成所述预训练模型，包括：

计算所述字段的位置信息、以及获取到的位置信息之间的损失函数；

根据所述损失函数对所述第一网络模型、所述第二网络模型、所述第三网络模型、以及所述第四网络模型各自对应的模型参数进行调整，得到所述预训练模型。

7.根据权利要求6所述的方法，其中，所述计算所述字段的位置信息、以及获取到的位置信息之间的损失函数，包括：

计算所述字段的位置信息、以及获取到的位置信息之间的距离损失，并将所述距离损失确定为所述损失函数。

8.根据权利要求7所述的方法，其中，所述字段的位置信息包括所述字段以像素坐标系为基准的检测横坐标和检测纵坐标；获取到的位置信息包括以像素坐标系为基准的所述字段的预测横坐标和预测纵坐标；

所述计算所述字段的位置信息、以及获取到的位置信息之间的距离损失，包括：

计算所述预测横坐标与所述检测横坐标之间的横坐标差异信息、以及所述预测纵坐标与所述检测纵坐标之间的纵坐标之间的纵坐标差异信息；

根据所述横坐标差异信息和所述纵坐标差异信息，确定所述距离损失。

9.一种文本识别方法，包括：

获取待识别图像；

基于预先训练的文本识别模型对所述待识别图像进行文本识别，得到所述待识别图像的文本内容；

其中，所述文本识别模型是基于如权利要求1-8任一项所述的方法得到的。

10.根据权利要求9所述的方法，所述方法还包括：

对待识别图像进行预处理，得到所述待识别图像中字段分别对应的位置信息、图像块、以及文本内容；

以及，基于预先训练的文本识别模型对所述待识别图像进行文本识别，得到所述待识别图像的文本内容，包括：将所述待识别图像中字段分别对应的位置信息、图像块、以及文本内容输入至所述文本识别模型，输出所述待识别图像的文本内容。

11.一种图像处理的装置，包括：

第一处理单元，用于对样本图像进行文字检测处理，得到图像块、以及字段的位置信息，其中，所述图像块为用于框选所述字段的位置信息对应的区域的包围框；对所述样本图像进行文字识别处理，得到文本内容，所述样本图像至少包括车船票图像、招牌图像和发票图像；

预测单元，用于根据所述字段分别对应的位置信息、图像块、以及文本内容，对所述字段的位置信息进行掩码预测，得到预测结果；

训练单元，用于根据所述预测结果训练得到文本识别模型，其中，所述文本识别模型用于对待识别图像进行文本识别；

其中，所述预测结果为预训练模型；所述预测单元，包括：

获取子单元，用于获取与所述字段的位置信息对应的位置特征，获取与所述图像块对应的视觉特征，获取与所述文本内容对应的文本特征，所述位置特征为表征所述字段在样本图像中的像素坐标维度的特征向量；

预测子单元，用于根据所述字段的位置特征、所述视觉特征、以及所述文本特征，对所述字段的位置特征进行掩码预测，得到所述预训练模型；

所述预测子单元，包括：

去除模块，用于随机去除所述字段的位置特征中的部分位置特征；

预测模块，用于根据所述视觉特征、所述文本特征、以及所述字段的位置特征中被保留的部分位置特征，对所述字段的位置特征中被去除的部分位置特征进行掩码预测，使得所述掩码预测从像素坐标的维度、从文本内容的维度以及从文字的视觉维度对去除的部分位置进行还原，得到所述预训练模型。

12.根据权利要求11所述的装置，其中，所述预测模块，包括：

预测子模块，用于根据所述视觉特征、所述文本特征、以及所述字段的位置特征中被保留的部分位置特征，预测得到所述字段的位置特征中被去除的部分位置特征；

获取子模块，用于获取与所述字段的位置特征中被去除的部分位置特征对应的位置信息；

第一生成子模块，用于根据所述字段的位置信息、以及获取到的位置信息，生成所述预训练模型。

13.根据权利要求12所述的装置，其中，所述第一生成子模块用于，计算所述字段的位置信息、以及获取到的位置信息之间的损失函数，并基于所述损失函数训练得到所述预训练模型。

14.根据权利要求11-13任一项所述的装置，其中，所述获取子单元，包括：

第一输入模块，用于将所述字段的位置信息输入至第一网络模型；

第一输出模块，用于输出与所述字段的位置信息对应的位置特征；

第二输入模块，用于将所述图像块输入至第二网络模型；

第二输出模块，用于输出所述视觉特征；

第三输入模块，用于将所述文本内容输入至第三网络模型；

第三输出模块，用于输出所述文本特征。

15.根据权利要求14所述的装置，其中，所述预测模块，包括：

输入子模块，用于将所述视觉特征、所述文本特征、以及所述字段的位置特征中被保留的部分位置特征输入至第四网络模型；

输出子模块，用于输出所述字段的位置特征中被去除的部分位置特征的位置信息；

第二生成子模块，用于根据所述字段的位置信息、以及输出的位置信息，生成所述预训练模型。

16.根据权利要求15所述的装置，其中，所述第二生成子模块用于，计算所述字段的位置信息、以及获取到的位置信息之间的损失函数，并根据所述损失函数对所述第一网络模型、所述第二网络模型、所述第三网络模型、以及所述第四网络模型各自对应的模型参数进行调整，得到所述预训练模型。

17.根据权利要求16所述的装置，其中，所述第二生成子模块用于，计算所述字段的位置信息、以及获取到的位置信息之间的距离损失，并将所述距离损失确定为所述损失函数。

18.根据权利要求17所述的装置，其中，所述字段的位置信息包括所述字段以像素坐标系为基准的检测横坐标和检测纵坐标；获取到的位置信息包括以像素坐标系为基准的所述字段的预测横坐标和预测纵坐标；所述第二生成子模块用于，计算所述预测横坐标与所述检测横坐标之间的横坐标差异信息、以及所述预测纵坐标与所述检测纵坐标之间的纵坐标之间的纵坐标差异信息，并根据所述横坐标差异信息和所述纵坐标差异信息，确定所述距离损失。

19.一种文本识别装置，包括：

获取单元，用于获取待识别图像；

识别单元，用于基于预先训练的文本识别模型对所述待识别图像进行文本识别，得到所述待识别图像的文本内容；

其中，所述文本识别模型是基于如权利要求1-8任一项所述的方法得到的。

20.根据权利要求19所述的装置，所述装置还包括：

第二处理单元，用于对待识别图像进行预处理，得到所述待识别图像中字段分别对应的位置信息、图像块、以及文本内容；

以及，所述识别单元用于，将所述待识别图像中字段分别对应的位置信息、图像块、以及文本内容输入至所述文本识别模型，输出所述待识别图像的文本内容。

21. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法；或者，以使所述至少一个处理器能够执行权利要求9或10所述的方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法；或者，所述计算机指令用于使所述计算机执行根据权利要求9或10所述的方法。

Images