CN117217876B - 基于ocr技术的订单预处理方法、装置、设备及介质 - Google Patents

Abstract

本申请揭示了一种基于OCR技术的订单预处理方法、装置、设备及介质，其中方法包括：获取目标用户输入的与目标订单对应的各个目标图像及每个目标图像对应的描述数据；对目标图像进行基于描述数据的预测得到单图像质量数据，采用OCR技术对目标图像进行基于描述数据的文本识别得到单图像初始文本；采用结合审核端的处理策略对单图像质量数据小于第一阈值的目标图像对应的单图像初始文本进行基于描述数据的处理得到目标文本；采用自动处理策略对单图像质量数据大于或等于第一阈值的目标图像对应的单图像初始文本进行基于描述数据的处理得到目标文本；根据各个目标文本生成订单处理请求。降低了订单提交的复杂程度，提高了目标文本的准确性。

Description

基于OCR技术的订单预处理方法、装置、设备及介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于OCR技术的订单预处理方法、装置、设备及介质。

背景技术

在设备安装等场景中，用户提交包含图像的订单时，首先需要基于OCR(OpticalCharacter Recognition,光学字符识别)技术对图像进行文字识别，然后根据识别的文字提交订单。然而，在文字识别不准确时，需要用户多次更换图像进行尝试提交，增加了订单提交的复杂程度。

发明内容

基于此，有必要针对现有技术的在文字识别不准确时，需要用户多次更换图像进行尝试提交，增加了订单提交的复杂程度的技术问题，提出了一种基于OCR技术的订单预处理方法、装置、设备及介质。

第一方面，提供了一种基于OCR技术的订单预处理方法，所述方法包括：

获取目标用户输入的与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据；

对所述目标图像进行基于所述描述数据的识别质量分类预测，得到单图像质量数据，采用OCR技术，对所述目标图像进行基于所述描述数据的文本识别，得到单图像初始文本；

采用结合审核端的处理策略，对所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第一目标文本；

采用自动处理策略，对所述单图像质量数据大于或等于所述第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第二目标文本；

根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成订单处理请求。

第二方面，提供了一种基于OCR技术的订单预处理装置，所述装置包括：

数据获取模块，用于获取目标用户输入的与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据；

初级确定模块，用于对所述目标图像进行基于所述描述数据的识别质量分类预测，得到单图像质量数据，采用OCR技术，对所述目标图像进行基于所述描述数据的文本识别，得到单图像初始文本；

第一处理模块，用于采用结合审核端的处理策略，对所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第一目标文本；

第二处理模块，用于采用自动处理策略，对所述单图像质量数据大于或等于所述第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第二目标文本；

请求生成模块，用于根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成订单处理请求。

第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于OCR技术的订单预处理方法的步骤。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于OCR技术的订单预处理方法的步骤。

本申请的基于OCR技术的订单预处理方法、装置、设备及介质，本申请的方法通过获取目标用户输入的与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据，对所述目标图像进行基于所述描述数据的识别质量分类预测，得到单图像质量数据，采用OCR技术，对所述目标图像进行基于所述描述数据的文本识别，得到单图像初始文本，采用结合审核端的处理策略，对所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第一目标文本，采用自动处理策略，对所述单图像质量数据大于或等于所述第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第二目标文本，根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成订单处理请求。实现了只需用户输入与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据，即可自动化进行订单的预处理，不需用户更换图像进行尝试提交，降低了订单提交的复杂程度，提高了用户的提交效率；另外，根据单图像质量数据和第一阈值的对比结果，采用不同的策略对基于OCR技术得到的单图像初始文本进行处理，提高第一目标文本和第二目标文本的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个实施例中基于OCR技术的订单预处理方法的应用环境图；

图2为一个实施例中基于OCR技术的订单预处理方法的流程图；

图3为一个实施例中基于OCR技术的订单预处理装置的结构框图；

图4为一个实施例中计算机设备的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的基于OCR技术的订单预处理方法，可应用在如图1的应用环境中，其中，客户端110通过网络与服务端120进行通信。

服务端120可以通过客户端110获取目标用户输入的与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据。服务端120通过对所述目标图像进行基于所述描述数据的识别质量分类预测，得到单图像质量数据，采用OCR技术，对所述目标图像进行基于所述描述数据的文本识别，得到单图像初始文本；采用结合审核端的处理策略，对所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第一目标文本；采用自动处理策略，对所述单图像质量数据大于或等于所述第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第二目标文本；根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成订单处理请求。实现了只需用户输入与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据，即可自动化进行订单的预处理，不需用户更换图像进行尝试提交，降低了订单提交的复杂程度，提高了用户的提交效率；另外，根据单图像质量数据和第一阈值的对比结果，采用不同的策略对基于OCR技术得到的单图像初始文本进行处理，提高第一目标文本和第二目标文本的准确性。

其中，客户端110可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。下面通过具体的实施例对本发明进行详细的描述。

请参阅图2所示，图2为本发明实施例提供的基于OCR技术的订单预处理方法的一个流程示意图，包括如下步骤：

S1：获取目标用户输入的与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据；

具体而言，目标用户可以通过客户端输入与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据，也可以通过第三方应用发送与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据。

目标订单，可以是工单，还可以是其他使用目的的订单。

目标图像，是数字图像，比如，拍摄的照片。

描述数据，是对目标图像进行描述的数据。

可选的，描述数据包括但不限于：产品类型和图像类别。比如，图像类别为安装细节图。

S2：对所述目标图像进行基于所述描述数据的识别质量分类预测，得到单图像质量数据，采用OCR技术，对所述目标图像进行基于所述描述数据的文本识别，得到单图像初始文本；

单图像质量数据可以是等级数据，也可以是具体数值。若单图像质量数据为具体数值，则单图像质量数据的值越大，意味着OCR技术进行文本识别的准确率越高。

具体而言，采用所述描述数据对应的识别质量分类预测模型，对所述目标图像进行识别质量分类预测，将预测得到的向量中的最大值对应的分类类别作为单图像质量数据；采用基于OCR技术和所述描述数据对应的训练数据训练得到的模型，对所述目标图像进行文本识别，得到单图像初始文本，从而实现了针对不同的描述数据采用不同的模型进行文本识别，提高了单图像初始文本的准确性。

识别质量分类预测模型是一个多分类模型。识别质量分类预测模型的模型结构和训练方法可以从现有技术确定，在此不做赘述。

基于OCR技术和所述描述数据对应的训练数据训练得到的模型的模型结构和训练方法可以从现有技术确定，在此不做赘述。

S3：采用结合审核端的处理策略，对所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第一目标文本；

结合审核端的处理策略，也就是通过审核端实现人工复核的方式进行处理。

具体而言，将所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本发送给该所述目标图像对应的所述描述数据对应的审核端，从而实现对审核端进行细分化的任务分配，有利于提高审核人员的熟练程度，进而提高了符合的准确性以及符合的效率；审核人员通过审核端，对所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本进行复核，将复核后的所述单图像初始文本作为第一目标文本，从而通过人工复核提高质量较差图像的单图像初始文本的准确性。

在本申请的另一个实施例中，若所述单图像质量数据小于最低阈值，此时意味着不符合最低要求，因此，根据所述单图像质量数据小于最低阈值的目标图像生成图像重传请求，图像重传请求用于提醒目标用户重新上传图像，其中，最低阈值小于第一阈值。相对现有的只要OCR识别不合格就打回重传的情况，本实施例只对目标订单中的单图像质量数据非常低的目标图像要求重传，相对现有方式降低了重传概率，而对目标订单中的单图像质量数据大于或等于最低阈值的目标图像的后续处理流程不需目标用户的参与，有利于缩短目标订单的预处理的周期。

S4：采用自动处理策略，对所述单图像质量数据大于或等于所述第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第二目标文本；

自动处理策略，是自动对基于OCR技术得到的单图像初始文本进行纠正的策略。可以理解的是，采用自动处理策略时，不需人工参与。

可选的，自动处理策略为采用语义纠正模型。语义检测模型是基于神经网络训练得到的模型，语义检测模型的模型结构和训练方法可以从现有技术选择，在此不做赘述。

具体而言，采用自动处理策略，对所述单图像质量数据大于或等于所述第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的纠正处理，将处理后的所述单图像初始文本作为所述第二目标文本。

S5：根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成订单处理请求。

订单处理请求，是对目标订单进行处理的请求。

具体而言，根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，按预设规则生成订单处理请求。也就是说，步骤S1至步骤S4，完成了目标订单的预处理。

可以理解的是，在生成订单处理请求时，还可以将所述目标订单对应的基本信息作为订单处理请求携带的参数。

所述目标订单对应的基本信息包括但不限于：用户标识、产品标识、订单类型。用户标识可以是用户名称、用户ID等唯一标识一个用户的数据。产品标识可以是产品名称、产品ID等唯一标识一个产品的数据。订单类型的取值范围包括但不限于：安装类、维修类。

本实施例实现了只需用户输入与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据，即可自动化进行订单的预处理，不需用户更换图像进行尝试提交，降低了订单提交的复杂程度，提高了用户的提交效率；另外，根据单图像质量数据和第一阈值的对比结果，采用不同的策略对基于OCR技术得到的单图像初始文本进行处理，提高第一目标文本和第二目标文本的准确性。

在一个实施例中，所述采用自动处理策略，对所述单图像质量数据大于或等于所述第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到所述第二目标文本的步骤，包括：

S41：采用所述自动处理策略，对第一文本进行基于所述描述数据的处理，得到所述第二目标文本，所述第一文本对应的所述单图像质量数据大于或等于所述第一阈值，并且，小于或等于第二阈值，其中，所述第二阈值大于所述第一阈值；

具体而言，所述单图像质量数据位于第一阈值和第二阈值之间的所述单图像初始文本的质量虽然较好，但是仍然不符合订单处理的要求，需要进行纠正，因此，采用所述自动处理策略，对第一文本进行基于所述描述数据的处理，得到所述第二目标文本。

S42：将第二文本作为所述第二目标文本，所述第二文本对应的所述单图像质量数据大于所述第二阈值。

具体而言，所述单图像质量数据大于所述第二阈值的所述单图像初始文本的质量已经符合订单处理的要求，不需要进行纠正，因此，直接将第二文本作为所述第二目标文本。

本实施例将质量已经符合订单处理的要求单图像初始文本直接作为第二目标文本，在确保不影响订单处理的情况下，减少了纠正单图像初始文本需要的计算资源；而采用所述自动处理策略，对质量虽然较好但是仍然不符合订单处理的要求的单图像初始文本进行基于所述描述数据的处理，从而提高了第二目标文本的准确性，进而提高了订单处理的成功率。

在一个实施例中，所述采用所述自动处理策略，对第一文本进行基于所述描述数据的处理，得到所述第二目标文本的步骤，包括：

S411：根据所述第一文本对应的所述描述数据，对所述第一文本对应的所述目标图像进行基于字体及字号的候选字预测，得到各个第一候选字集，根据所述第一文本对应的所述描述数据，对所述第一文本进行基于上文的下一个字符预测，得到各个第二候选字集；

具体而言，首先确定所述第一文本对应的所述目标图像中每个预测位置的字符的字体及字号识别，采用所述第一文本对应的所述描述数据、与预测位置对应的字体及字号共同对应的候选字预测模型，对所述第一文本对应的所述目标图像进行每个预测位置（对应一个字符）的候选字预测，将针对每个预测位置得到的各个候选字作为一个第一候选字集。

S412：采用遍历方式，将所述第一文本中的一个字符作为指定字符；

S413：判断指定字符是否存在目标位置对应的所述第一候选字集及所述第二候选字集中，其中，所述目标位置是所述指定字符在所述第一文本对应的所述目标图像中的位置；

具体而言，判断指定字符是否存在目标位置对应的所述第一候选字集及所述第二候选字集中，也就是针对同一个预测位置，判断OCR技术识别得到的字符是否同时位于基于字体及字号预测得到的所述第一候选字集及基于上文的下一个字符预测得到的所述第二候选字集中。

S414：若是，则将所述指定字符所在目标字符；

具体而言，若是，也就是针对指定字符对应的预测位置，OCR技术识别得到的字符同时位于基于字体及字号预测得到的所述第一候选字集及基于上文的下一个字符预测得到的所述第二候选字集中，此时意味着OCR技术识别得到的字符是准确的，因此，将所述指定字符所在目标字符。

S415：若否，根据所述第一文本和所述第一文本对应的所述描述数据，对所述目标位置进行基于上下文的预测，得到第三候选字集，根据所述目标位置对应的所述第一候选字集、所述第二候选字集及所述第三候选字集，确定替换字符，采用所述替换字符，对所述第一文本中的与所述目标位置对应的字符进行替换；

具体而言，若否，也就是针对指定字符对应的预测位置，OCR技术识别得到的字符不同时位于基于字体及字号预测得到的所述第一候选字集及基于上文的下一个字符预测得到的所述第二候选字集中，此时意味着OCR技术识别得到的字符是不准确的，需要进行纠正，因此，将所述第一文本和所述第一文本对应的所述描述数据进行拼接，根据拼接得到的数据对所述目标位置进行基于上下文的预测，将预测得到的各个候选字作为第三候选字集。

其中，所述目标位置对应的所述第一候选字集、所述第二候选字集及所述第三候选字集进行并集计算，得到融合集；针对融合集中的每个候选字，根据所述目标位置对应的所述第一候选字集、所述第二候选字集及所述第三候选字集进行排名求和，从求和得到的数据中提取出最小值，将最小值对应的候选字作为替换字符，其中，候选字的排名的值越小候选字为正确字的可能性越高。

可以理解的是，替换字符同时位于所述目标位置对应的所述第一候选字集、所述第二候选字集及所述第三候选字集中。

比如，候选字A位于融合集中，候选字A在所述目标位置对应的所述第一候选字集、所述第二候选字集及所述第三候选字集中的排名分别为：2、3、1，则候选字A的求和的结果为6（也就是2+3+1）。

采用所述替换字符，对所述第一文本中的与所述目标位置对应的字符进行替换，也就是实现了纠正。

S416：在完成所述第一文本的字符的遍历之后，将所述第一文本作为所述第二目标文本。

完成所述第一文本的字符的遍历，也就是针对所述第一文本中的每个字符执行步骤S412至S415。

具体而言，在完成所述第一文本的字符的遍历之后，也就是实现了对所述第一文本的所有字符的纠正处理，此时的所述第一文本是质量符合订单处理要求的文本，因此，将所述第一文本作为所述第二目标文本。

本实施例在采用基于OCR识别得到的文本的字符同时位于基于字体及字号的候选字预测和基于上文的下一个字符预测的范围内时，才确定该字符是正确的，而在基于OCR识别得到的文本的字符不同时在基于字体及字号的候选字预测和基于上文的下一个字符预测的范围内时，根据基于上下文的预测、基于字体及字号的候选字预测、基于上文的下一个字符预测确定替换字符，以对基于OCR识别得到的文本进行纠正，从而进一步提高了第二目标文本的准确性。

在一个实施例中，所述根据所述第一文本对应的所述描述数据，对所述第一文本对应的所述目标图像进行基于字体及字号的候选字预测，得到各个第一候选字集的步骤，包括：

S41111：采用遍历方式，将所述第一文本中的缺位符作为指定符号，将所述指定符号在所述第一文本对应的所述目标图像中的位置，作为缺位位置；

可以理解的是，在采用OCR技术，对所述目标图像进行基于所述描述数据的文本识别时，对于所述目标图像中的单字符图像不能识别时，采用缺位符作为该单字符图像的识别结果。

缺位符可以基于需求，根据字母、符号、中文等设置，在此不做限定。

具体而言，所述指定符号在所述第一文本对应的所述目标图像中的位置，也就是所述指定符号对应的缺位符对应的单字符图像中的一个点（可以是中心点，也可以是其他点，在此不做限定）在所述第一文本对应的所述目标图像中的位置。

S41112：根据所述第一文本和所述第一文本对应的所述描述数据，对所述缺位位置进行从下文到上文的下一个字符预测，得到第四候选字集，根据所述第一文本和所述第一文本对应的所述描述数据，对所述缺位位置进行从上文到下文的下一个字符预测，得到第五候选字集，根据所述第一文本和所述第一文本对应的所述描述数据，对所述缺位位置进行基于上下文的字符预测，得到第六候选字集；

具体而言，将所述第一文本输入与所述第一文本对应的所述描述数据对应的第一模型进行从下文到上文的下一个字符预测，预测的位置为所述缺位位置，将预测得到的各个候选字作为第四候选字集；将所述第一文本输入与所述第一文本对应的所述描述数据对应的第二模型进行从上文到下文的下一个字符预测，预测的位置为所述缺位位置，将预测得到的各个候选字作为第五候选字集；将所述第一文本输入与所述第一文本对应的所述描述数据对应的第三模型进行基于上下文的字符预测，预测的位置为所述缺位位置，将预测得到的各个候选字作为第五候选字集。

第一模型、第二模型、第三模型的模型结构和训练方法可以从现有技术选择，在此不做赘述。

比如，所述第一文本为：ABCDEF,在从下文到上文的下一个字符预测时，也就是采用下文对应的字符串“DEF”，对字符C对应的位置进行预测。

比如，所述第一文本为：ABCDEF,在从上文到下文的下一个字符预测时，也就是采用上文对应的字符串“AB”，对字符C对应的位置进行预测。

比如，所述第一文本为：ABCDEF,在基于上下文的字符预测时，也就是采用上下文对应的字符串“AB[X]DEF”，对字符C对应的位置进行预测，其中，[X]是占位符。

S41113：根据所述第四候选字集、所述第五候选字集和所述第六候选字集，确定缺位替换字；

具体而言，所述第四候选字集、所述第五候选字集和所述第六候选字集进行并集计算，得到合并集；针对合并集中的每个候选字，根据所述第四候选字集、所述第五候选字集和所述第六候选字集进行排名求和，从求和得到的数据中提取出最小值，将最小值对应的候选字作为缺位替换字，其中，候选字的排名的值越小候选字为正确字的可能性越高。

S41114：采用所述缺位替换字，对所述第一文本中的与所述缺位位置对应的缺位符进行替换；

具体而言，采用所述缺位替换字，对所述第一文本中的与所述缺位位置对应的缺位符进行替换，从而实现了对基于OCR无法识别的字符的补充。

S41115：在完成所述第一文本的缺位符的遍历之后，对所述第一文本对应的所述目标图像进行基于字体及字号的候选字预测，得到各个所述第一候选字集。

完成所述第一文本的缺位符的遍历，也就是针对所述第一文本中的每个缺位符均执行过一次步骤S41111至步骤S41114。

具体而言，在完成所述第一文本的缺位符的遍历之后，也就是所述第一文本中不再存在缺位符，因此，开始执行所述对所述第一文本对应的所述目标图像进行基于字体及字号的候选字预测，得到各个所述第一候选字集的步骤。

缺位符相当于所述第一文本的噪声，本实施例首先对所述第一文本的缺位符进行预测替换，避免了缺位符对所述第一文本进行纠正的影响，进一步提高了第二目标文本的准确性；采用同时位于从下文到上文的下一个字符预测、从上文到下文的下一个字符预测、基于上下文的字符预测的范围内的候选字作为缺位替换字，有利于提高确定的缺位替换字的准确性。

在一个实施例中，所述根据所述第一文本对应的所述描述数据，对所述第一文本对应的所述目标图像进行基于字体及字号的候选字预测，得到各个第一候选字集的步骤，还包括：

S41121：采用预设的单字符分割模型，将所述第一文本对应的所述目标图像分割成多个单字符图像；

单字符图像是所述目标图像中的一个字符的最小外接框在该所述目标图像中对应的图像区域。

单字符分割模型是基于目标分割网络训练得到的模型，单字符分割模型的具体结构和训练方法可以从现有技术选择，在此不做赘述。

S41122：采用字体特征提取模型，对指定图像进行字体特征提取，得到第一特征，从字体共性特征库中筛选出与所述第一特征最相似的字体共性特征，作为第二特征，将所述第二特征对应的字体作为目标字体，所述指定图像是任一个所述单字符图像；

字体共性特征库中的每个字体共性特征是针对同一种字体对应的多个字符提取的共性特征。

具体而言，采用字体特征提取模型，对指定图像进行字体特征提取，将提取得到的字体特征作为第一特征；采用余弦相似度算法，从字体共性特征库中筛选出与所述第一特征最相似的字体共性特征，将筛选出的字体共性特征作为第二特征，将所述第二特征对应的字体作为目标字体，从而确定了指定图像中的字符的字体。

字体特征提取模型是基于神经网络训练得到的模型。

S41123：对所述指定图像进行图像深度识别，将所述指定图像和所述图像深度输入与所述目标字体对应的字号识别模型进行字号分类预测，得到目标字号；

具体而言，采用图像深度识别模型，对所述指定图像进行图像深度识别，将所述指定图像和所述图像深度拼接后输入与所述目标字体对应的字号识别模型进行字号分类预测，从预测得到的向量中的值为最大的向量元素对应的字号类别作为目标字号。

图像深度识别模型是用于识别图像中的图像深度的模型。图像深度识别模型的模型结构和训练方法可以从现有技术选择，在此不做赘述。

字号识别模型是多分类模型。

S41124：将所述指定图像输入目标预测模型进行候选字预测，得到所述指定图像对应的所述第一候选字集，其中，所述目标预测模型是与所述第一文本对应的所述描述数据、所述目标字体及所述目标字号共同对应的候选字预测模型。

具体而言，将所述指定图像输入目标预测模型进行候选字预测，从预测得到的向量中的值大于预设概率的各个向量元素对应的候选字作为所述指定图像对应的所述第一候选字集。

本实施例首先预测字体，然后基于预测的字体预测字号，最后根据描述数据、预测的字体和字号进行候选字预测，实现了描述数据、预测的字体和字号共计三种因素细分化下的预测，从而提高了预测的准确性，进而为后续提高第二目标文本的准确性提供了基础。

在一个实施例中，所述采用OCR技术，对所述目标图像进行基于所述描述数据的文本识别，得到单图像初始文本的步骤，包括：

S21：对所述目标图像进行背景区域分割，并对所述目标图像进行文字颜色及背景颜色识别；

具体而言，采用背景分割模型，对所述目标图像进行背景分割，根据分割得到的二值化掩膜从所述目标图像中提取图像区域，将提取的图像区域作为背景区域。其中，所述目标图像包括前景和背景，在本申请中，前景是指字符对应的最小外接矩形框对应的图像区域，背景是指字符对应的最小外接矩形框以外的图像区域（不包含字符）。采用颜色分类模型，对所述目标图像进行文字颜色及背景颜色识别。

背景分割模型是基于目标分割网络训练得到的模型，背景分割模型的具体结构和训练方法可以从现有技术选择，在此不做赘述。

颜色分类模型是多分类模型。

S22：根据所述背景颜色和所述文字颜色确定背景替换色、池化方式和文字增强方式；

具体而言，根据所述背景颜色和所述文字颜色，采用查表法确定背景替换色、池化方式和文字增强方式。

池化方式的取值为最大池化或最小池化。

背景替换色为具体颜色值。

文字增强方式为一种或多种文字增强操作。文字增强操作包括但不限于：颜色加深、颜色变浅、旋转为正向、删除下划线、放大和缩小。

S23：根据所述背景替换色，对所述目标图像中的所述背景区域进行基于所述池化方式的背景弱化处理；

具体而言，根据所述背景替换色，对所述目标图像中的所述背景区域进行基于所述池化方式的背景弱化处理，以使所述目标图像中的背景区域的颜色接近或等于所述背景替换色，从而使背景弱化处理后的所述目标图像中的文字颜色和背景颜色对比度增强。

其中，采用九宫格的方式进行池化，在所述池化方式确定的像素值对应的颜色为背景颜色时，则将所述背景替换色作为中心点的像素值。

S24：采用所述文字增强方式，对背景弱化处理后的所述目标图像进行文字增强处理；

具体而言，采用所述文字增强方式，对背景弱化处理后的所述目标图像进行文字增强处理，从而使文字增强处理后的所述目标图像中的字符去除了噪声，更有利于后续提高基于OCR的识别的准确性。

S25：采用OCR技术，对文字增强处理后的所述目标图像进行基于所述描述数据的文本识别，得到所述单图像初始文本。

具体而言，采用OCR技术，对文字增强处理后的所述目标图像进行基于所述描述数据的文本识别，从而提高了识别的文本的准确性和识别率。

本实施例根据所述背景颜色和所述文字颜色确定背景替换色、池化方式和文字增强方式，从而提升了确定的背景替换色、池化方式和文字增强方式的准确性，进而提升了目标图像的优化的准确性；依次对目标图像进行基于所述池化方式的背景弱化处理、文字增强处理，减少了目标图像中的噪音，凸显了文字（字符），加大了文字与背景的对比度，进而提升采用OCR技术进行基于所述描述数据的文本识别的准确性。

在一个实施例中，所述根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成订单处理请求的步骤，包括：

S51：采用遍历方式，将所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本中的文本作为指定文本；

S52：对所述指定文本进行语义检测，得到检测结果，若所述检测结果为不通过，则对所述指定文本进行语义纠正；

具体而言，采用预设的语义检测模型，对所述指定文本进行语义检测，得到检测结果；在所述检测结果为不通过时，采用预设的语义纠正模型对所述指定文本进行语义纠正。

可选的，语义检测模型是二分类模型。

可选的，将所述指定文本中的每句话或者每段话分别输入语义检测模型进行语义检测，对所述检测结果为不通过的每句话或者每段话进行语义纠正。

语义纠正模型的模型结构和训练方法可以从现有技术选择，在此不做赘述。

S53：在完成所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本的遍历之后，根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成所述订单处理请求。

完成所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本的遍历，也就是对所述目标订单对应的所有所述第一目标文本和各个所述第二目标文本中的每个文本均执行过步骤S51至步骤S55。

具体而言，在完成所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本的遍历之后，此时所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本的准确性均较高，因此，根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成所述订单处理请求。

本实施例首先对所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本进行语义检测、语义纠正，然后再根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成所述订单处理请求，从而提升了订单处理请求携带的信息的准确性，为后续订单处理的准确性和成功率提供了基础。

请参阅图3所示，在一实施例中，提供一种基于OCR技术的订单预处理装置，所述装置包括：

数据获取模块801，用于获取目标用户输入的与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据；

初级确定模块802，用于对所述目标图像进行基于所述描述数据的识别质量分类预测，得到单图像质量数据，采用OCR技术，对所述目标图像进行基于所述描述数据的文本识别，得到单图像初始文本；

第一处理模块803，用于采用结合审核端的处理策略，对所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第一目标文本；

第二处理模块804，用于采用自动处理策略，对所述单图像质量数据大于或等于所述第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第二目标文本；

请求生成模块805，用于根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成订单处理请求。

本实施例实现了只需用户输入与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据，即可自动化进行订单的预处理，不需用户更换图像进行尝试提交，降低了订单提交的复杂程度，提高了用户的提交效率；另外，根据单图像质量数据和第一阈值的对比结果，采用不同的策略对基于OCR技术得到的单图像初始文本进行处理，提高第一目标文本和第二目标文本的准确性。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性和/或易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的客户端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于OCR技术的订单预处理方法服务端侧的功能或步骤。

在一个实施例中，提出了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取目标用户输入的与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据；

对所述目标图像进行基于所述描述数据的识别质量分类预测，得到单图像质量数据，采用OCR技术，对所述目标图像进行基于所述描述数据的文本识别，得到单图像初始文本；

采用结合审核端的处理策略，对所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第一目标文本；

采用自动处理策略，对所述单图像质量数据大于或等于所述第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第二目标文本；

根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成订单处理请求。

本实施例实现了只需用户输入与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据，即可自动化进行订单的预处理，不需用户更换图像进行尝试提交，降低了订单提交的复杂程度，提高了用户的提交效率；另外，根据单图像质量数据和第一阈值的对比结果，采用不同的策略对基于OCR技术得到的单图像初始文本进行处理，提高第一目标文本和第二目标文本的准确性。

在一个实施例中，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取目标用户输入的与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据；

对所述目标图像进行基于所述描述数据的识别质量分类预测，得到单图像质量数据，采用OCR技术，对所述目标图像进行基于所述描述数据的文本识别，得到单图像初始文本；

采用结合审核端的处理策略，对所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第一目标文本；

采用自动处理策略，对所述单图像质量数据大于或等于所述第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第二目标文本；

根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成订单处理请求。

本实施例实现了只需用户输入与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据，即可自动化进行订单的预处理，不需用户更换图像进行尝试提交，降低了订单提交的复杂程度，提高了用户的提交效率；另外，根据单图像质量数据和第一阈值的对比结果，采用不同的策略对基于OCR技术得到的单图像初始文本进行处理，提高第一目标文本和第二目标文本的准确性。

需要说明的是，上述关于计算机可读存储介质或计算机设备所能实现的功能或步骤，可对应参阅前述方法实施例中，服务端侧以及客户端侧的相关描述，为避免重复，这里不再一一描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于OCR技术的订单预处理方法，所述方法包括：

获取目标用户输入的与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据；

对所述目标图像进行基于所述描述数据的识别质量分类预测，得到单图像质量数据，采用OCR技术，对所述目标图像进行基于所述描述数据的文本识别，得到单图像初始文本；

采用结合审核端的处理策略，对所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第一目标文本；

采用自动处理策略，对所述单图像质量数据大于或等于所述第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第二目标文本；

根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成订单处理请求；

所述采用结合审核端的处理策略，对所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到目标文本的步骤，包括：将所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本发送给该所述目标图像对应的所述描述数据对应的审核端；获取所述审核端发送的所述第一目标文本，其中，审核端将审核人员通过审核端对所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本进行复核后作为所述第一目标文本；

所述采用自动处理策略，对所述单图像质量数据大于或等于所述第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到所述第二目标文本的步骤，包括：

采用所述自动处理策略，对第一文本进行基于所述描述数据的处理，得到所述第二目标文本，所述第一文本对应的所述单图像质量数据大于或等于所述第一阈值，并且，小于或等于第二阈值，其中，所述第二阈值大于所述第一阈值；

将第二文本作为所述第二目标文本，所述第二文本对应的所述单图像质量数据大于所述第二阈值；

所述采用所述自动处理策略，对第一文本进行基于所述描述数据的处理，得到所述第二目标文本的步骤，包括：

根据所述第一文本对应的所述描述数据，对所述第一文本对应的所述目标图像进行基于字体及字号的候选字预测，得到各个第一候选字集，根据所述第一文本对应的所述描述数据，对所述第一文本进行基于上文的下一个字符预测，得到各个第二候选字集；

采用遍历方式，将所述第一文本中的一个字符作为指定字符；

判断指定字符是否存在目标位置对应的所述第一候选字集及所述第二候选字集中，其中，所述目标位置是所述指定字符在所述第一文本对应的所述目标图像中的位置；

若是，则将所述指定字符所在目标字符；

若否，根据所述第一文本和所述第一文本对应的所述描述数据，对所述目标位置进行基于上下文的预测，得到第三候选字集，根据所述目标位置对应的所述第一候选字集、所述第二候选字集及所述第三候选字集，确定替换字符，采用所述替换字符，对所述第一文本中的与所述目标位置对应的字符进行替换；

在完成所述第一文本的字符的遍历之后，将所述第一文本作为所述第二目标文本。

2.根据权利要求1所述的基于OCR技术的订单预处理方法，其特征在于，所述根据所述第一文本对应的所述描述数据，对所述第一文本对应的所述目标图像进行基于字体及字号的候选字预测，得到各个第一候选字集的步骤，包括：

采用遍历方式，将所述第一文本中的缺位符作为指定符号，将所述指定符号在所述第一文本对应的所述目标图像中的位置，作为缺位位置；

根据所述第一文本和所述第一文本对应的所述描述数据，对所述缺位位置进行从下文到上文的下一个字符预测，得到第四候选字集，根据所述第一文本和所述第一文本对应的所述描述数据，对所述缺位位置进行从上文到下文的下一个字符预测，得到第五候选字集，根据所述第一文本和所述第一文本对应的所述描述数据，对所述缺位位置进行基于上下文的字符预测，得到第六候选字集；

根据所述第四候选字集、所述第五候选字集和所述第六候选字集，确定缺位替换字；

采用所述缺位替换字，对所述第一文本中的与所述缺位位置对应的缺位符进行替换；

在完成所述第一文本的缺位符的遍历之后，对所述第一文本对应的所述目标图像进行基于字体及字号的候选字预测，得到各个所述第一候选字集。

3.根据权利要求1所述的基于OCR技术的订单预处理方法，其特征在于，所述根据所述第一文本对应的所述描述数据，对所述第一文本对应的所述目标图像进行基于字体及字号的候选字预测，得到各个第一候选字集的步骤，还包括：

采用预设的单字符分割模型，将所述第一文本对应的所述目标图像分割成多个单字符图像；

采用字体特征提取模型，对指定图像进行字体特征提取，得到第一特征，从字体共性特征库中筛选出与所述第一特征最相似的字体共性特征，作为第二特征，将所述第二特征对应的字体作为目标字体，所述指定图像是任一个所述单字符图像；

对所述指定图像进行图像深度识别，将所述指定图像和所述图像深度输入与所述目标字体对应的字号识别模型进行字号分类预测，得到目标字号；

将所述指定图像输入目标预测模型进行候选字预测，得到所述指定图像对应的所述第一候选字集，其中，所述目标预测模型是与所述第一文本对应的所述描述数据、所述目标字体及所述目标字号共同对应的候选字预测模型。

4.根据权利要求1所述的基于OCR技术的订单预处理方法，其特征在于，所述采用OCR技术，对所述目标图像进行基于所述描述数据的文本识别，得到单图像初始文本的步骤，包括：

对所述目标图像进行背景区域分割，并对所述目标图像进行文字颜色及背景颜色识别；

根据所述背景颜色和所述文字颜色确定背景替换色、池化方式和文字增强方式；

根据所述背景替换色，对所述目标图像中的所述背景区域进行基于所述池化方式的背景弱化处理；

采用所述文字增强方式，对背景弱化处理后的所述目标图像进行文字增强处理；

采用OCR技术，对文字增强处理后的所述目标图像进行基于所述描述数据的文本识别，得到所述单图像初始文本。

5.根据权利要求1所述的基于OCR技术的订单预处理方法，其特征在于，所述根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成订单处理请求的步骤，包括：

采用遍历方式，将所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本中的文本作为指定文本；

对所述指定文本进行语义检测，得到检测结果，若所述检测结果为不通过，则对所述指定文本进行语义纠正；

在完成所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本的遍历之后，根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成所述订单处理请求。

6.一种基于OCR技术的订单预处理装置，其特征在于，所述装置包括：

数据获取模块，用于获取目标用户输入的与目标订单对应的各个目标图像及每个所述目标图像对应的描述数据；

初级确定模块，用于对所述目标图像进行基于所述描述数据的识别质量分类预测，得到单图像质量数据，采用OCR技术，对所述目标图像进行基于所述描述数据的文本识别，得到单图像初始文本；

第一处理模块，用于采用结合审核端的处理策略，对所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第一目标文本；

第二处理模块，用于采用自动处理策略，对所述单图像质量数据大于或等于所述第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到第二目标文本；

请求生成模块，用于根据所述目标订单对应的各个所述第一目标文本和各个所述第二目标文本，生成订单处理请求；

所述采用结合审核端的处理策略，对所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到目标文本的步骤，包括：将所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本发送给该所述目标图像对应的所述描述数据对应的审核端；获取所述审核端发送的所述第一目标文本，其中，审核端将审核人员通过审核端对所述单图像质量数据小于第一阈值的所述目标图像对应的所述单图像初始文本进行复核后作为所述第一目标文本；

所述采用自动处理策略，对所述单图像质量数据大于或等于所述第一阈值的所述目标图像对应的所述单图像初始文本进行基于所述描述数据的处理，得到所述第二目标文本的步骤，包括：

采用所述自动处理策略，对第一文本进行基于所述描述数据的处理，得到所述第二目标文本，所述第一文本对应的所述单图像质量数据大于或等于所述第一阈值，并且，小于或等于第二阈值，其中，所述第二阈值大于所述第一阈值；

将第二文本作为所述第二目标文本，所述第二文本对应的所述单图像质量数据大于所述第二阈值；

所述采用所述自动处理策略，对第一文本进行基于所述描述数据的处理，得到所述第二目标文本的步骤，包括：

根据所述第一文本对应的所述描述数据，对所述第一文本对应的所述目标图像进行基于字体及字号的候选字预测，得到各个第一候选字集，根据所述第一文本对应的所述描述数据，对所述第一文本进行基于上文的下一个字符预测，得到各个第二候选字集；

采用遍历方式，将所述第一文本中的一个字符作为指定字符；

判断指定字符是否存在目标位置对应的所述第一候选字集及所述第二候选字集中，其中，所述目标位置是所述指定字符在所述第一文本对应的所述目标图像中的位置；

若是，则将所述指定字符所在目标字符；

若否，根据所述第一文本和所述第一文本对应的所述描述数据，对所述目标位置进行基于上下文的预测，得到第三候选字集，根据所述目标位置对应的所述第一候选字集、所述第二候选字集及所述第三候选字集，确定替换字符，采用所述替换字符，对所述第一文本中的与所述目标位置对应的字符进行替换；

在完成所述第一文本的字符的遍历之后，将所述第一文本作为所述第二目标文本。

7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述基于OCR技术的订单预处理方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于OCR技术的订单预处理方法的步骤。