CN114863440A

CN114863440A - 订单数据处理方法及其装置、设备、介质、产品

Info

Publication number: CN114863440A
Application number: CN202210393216.3A
Authority: CN
Inventors: 黄家冕
Original assignee: Guangzhou Huanju Shidai Information Technology Co Ltd
Current assignee: Guangzhou Huanju Shidai Information Technology Co Ltd
Priority date: 2022-04-14
Filing date: 2022-04-14
Publication date: 2022-08-05

Abstract

本申请公开一种订单数据处理方法及其装置、设备、介质、产品，所述方法包括：获取待检测图像；识别出待检测图像中存在的各个行文本图像相对应的行文本；构造表示各个行文本及各个行文本之间的相对位置关系的知识图谱，所述知识图谱对应各个行文本建立节点，以每两个节点的行文本图像彼此在所述待检测图像中的位置信息之间的数据距离为该两个节点的边权重；根据所述知识图谱构造订单数据，所述订单数据包含根据所述行文本对应获得的数据条目，所述数据条目包含用于描述所述订单的属性字段及其对应的属性数据。本申请能够从待检测图像中识别出结构化的订单数据，可供电商订单业务流程直接调用，提升了电商订单业务流程的处理效率。

Description

订单数据处理方法及其装置、设备、介质、产品

技术领域

本申请涉及电商信息技术领域，尤其涉及一种订单数据处理方法及其相应的装置、计算机设备、计算机可读存储介质，以及计算机程序产品。

背景技术

随着电商的商品交易总量迅速增长，商家的交易量越来越大，导致交易订单迅速增多。因此，针对交易订单中的关键信息快速提取的需求也日益旺盛。

针对部分离线操作的电商场景，电商平台的消费者用户可能通过第三方应用截图或者纸件电子图片等方式，提供其电商订单相对应的一部分信息，例如下单所需的商品信息或者支付某一订单相对应的汇款支付信息等，据此，需要在图片的基础上获取订单相关的数据。

从图片中获取订单相对应的数据，涉及到对交易订单中关键信息的快速提取和结构化，有助于帮助商家快速归集所有交易订单，快速协助商家完成订单信息的统计，利于商家把握全局交易状况，并有针对性的制定相应的促销、发货、生产等措施，同时也能快速掌握商业机密信息，避免出现遗漏、泄漏等情况。

现有技术中，缺乏满足相应场景的技术方案，本申请人长期从事电商领域的技术研发，故对此做出相应的探索。

发明内容

本申请的首要目的在于解决上述问题至少之一而提供一种订单数据处理方法及其相应的装置、计算机设备、计算机可读存储介质、计算机程序产品。

为满足本申请的各个目的，本申请采用如下技术方案：

适应本申请的目的之一而提供的一种订单数据处理方法，包括如下步骤：

获取待检测图像；

识别出待检测图像中存在的各个行文本图像相对应的行文本；

构造表示各个行文本及各个行文本之间的相对位置关系的知识图谱，所述知识图谱对应各个行文本建立节点，以每两个节点的行文本图像彼此在所述待检测图像中的位置信息之间的数据距离为该两个节点的边权重；

根据所述知识图谱构造订单数据，所述订单数据包含根据所述行文本对应获得的数据条目，所述数据条目包含用于描述所述订单的属性字段及其对应的属性数据。

深化的部分实施例中，获取待检测图像，包括如下步骤：

获取用户提交的原始图片；

根据预先训练至收敛状态的订单分类模型的入参对原始图片进行图像预处理，获得待检测图片；

采用所述订单分类模型对预处理后的待检测图片进行分类判别，判别出该待检测图片及该原始图片是否包含订单描述信息，将包含有订单描述信息的所述原始图片确定为待检测图像。

深化的部分实施例中，识别出待检测图像中存在的各个行文本图像相对应的行文本，包括如下步骤：

根据预先训练至收敛状态的文本检测模型的入参对所述待检测图像进行图像预处理，获得预处理后的待检测图像；

调用所述文本检测模型对所述预处理后的待检测图像进行检测，获得所述预处理后的待检测图像中各行文本相对应的候选框；

根据所述候选框从所述待检测图像中截取出各个行文本图像；

将所述行文本图像输入预训练至收敛状态的文本识别模型中进行文本识别，获得相应的行文本。

深化的部分实施例中，构造表示各个行文本及各个行文本之间的相对位置关系的知识图谱，包括如下步骤：

将每个行文本转换为相应的行文本向量；

将各个行文本向量存储为知识图谱的节点；

计算每两个行文本图像的中心点坐标之间的数据距离，存储为所述知识图谱中该两个行文本图像相对应的行文本向量所在的两个节点的边权重。

具体化的实施例中，计算每两个行文本图像的中心点坐标之间的数据距离，包括如下步骤：

获取每个行文本图像在识别出对应的行文本过程中产生的候选框的各个角点的坐标；

针对每个候选框，根据其四个角点的横坐标和纵坐标的均值确定出其中心点坐标；

采用欧氏距离算法计算获得每两个行文本图像的中心点坐标之间的数据距离。

深化的部分实施例中，根据所述知识图谱构造订单数据，包括如下步骤：

以节点信息向量矩阵及节点的邻接矩阵表示所述知识图谱；

将各个节点的所述节点信息向量矩阵及其邻接矩阵输入预先训练至收敛状态的图神经网络中进行推理，获得知识图谱中各个节点的键值对作为订单数据的数据条目，每个键值对中，与节点相映射的类别被存储为键数据作为数据条目中的属性字段，与节点相对应的行文本被存储为值数据作为数据条目中的属性数据。

扩展的部分实施例中，根据所述知识图谱构造订单数据的步骤之后，还包括如下步骤：

根据所述订单数据生成电商交易订单，将该电商交易订单推送至提交所述待检测图像的终端设备以启动预设的电商业务流程。

适应本申请的目的之一而提供的一种订单数据处理装置，包括图像获取模块、文本识别模块、图谱构造模块，以及数据封装模块，其中：所述图像获取模块，用于获取待检测图像；所述文本识别模块，用于识别出待检测图像中存在的各个行文本图像相对应的行文本；所述图谱构造模块，用于构造表示各个行文本及各个行文本之间的相对位置关系的知识图谱，所述知识图谱对应各个行文本建立节点，以每两个节点的行文本图像彼此在所述待检测图像中的位置信息之间的数据距离为该两个节点的边权重；所述数据封装模块，用于根据所述知识图谱构造订单数据，所述订单数据包含根据所述行文本对应获得的数据条目，所述数据条目包含用于描述所述订单的属性字段及其对应的属性数据。

深化的部分实施例中，所述图像获取模块，包括：提交获取单元，用于获取用户提交的原始图片；原图处理单元，用于根据预先训练至收敛状态的订单分类模型的入参对原始图片进行图像预处理，获得待检测图片；原图判别单元，用于采用所述订单分类模型对预处理后的待检测图片进行分类判别，判别出该待检测图片及该原始图片是否包含订单描述信息，将包含有订单描述信息的所述原始图片确定为待检测图像。

深化的部分实施例中，所述文本识别模块，包括：识别预处理单元，用于根据预先训练至收敛状态的文本检测模型的入参对所述待检测图像进行图像预处理，获得预处理后的待检测图像；文本检测单元，用于调用所述文本检测模型对所述预处理后的待检测图像进行检测，获得所述预处理后的待检测图像中各行文本相对应的候选框；截图处理单元，用于根据所述候选框从所述待检测图像中截取出各个行文本图像；文本识别单元，用于将所述行文本图像输入预训练至收敛状态的文本识别模型中进行文本识别，获得相应的行文本。

深化的部分实施例中，所述图谱构造模块，包括：向量表示单元，用于将每个行文本转换为相应的行文本向量；节点存储单元，用于将各个行文本向量存储为知识图谱的节点；边权重生成单元，用于计算每两个行文本图像的中心点坐标之间的数据距离，存储为所述知识图谱中该两个行文本图像相对应的行文本向量所在的两个节点的边权重。

具体化的实施例中，所述边权重生成单元，包括：坐标获取子单元，用于获取每个行文本图像在识别出对应的行文本过程中产生的候选框的各个角点的坐标；中心点确定子单元，用于针对每个候选框，根据其四个角点的横坐标和纵坐标的均值确定出其中心点坐标；距离计算子单元，用于采用欧氏距离算法计算获得每两个行文本图像的中心点坐标之间的数据距离。

深化的部分实施例中，所述数据封装模块，包括：信息表示单元，用于以节点信息向量矩阵及节点的邻接矩阵表示所述知识图谱；推理执行单元，用于将各个节点的所述节点信息向量矩阵及其邻接矩阵输入预先训练至收敛状态的图神经网络中进行推理，获得知识图谱中各个节点的键值对作为订单数据的数据条目，每个键值对中，与节点相映射的类别被存储为键数据作为数据条目中的属性字段，与节点相对应的行文本被存储为值数据作为数据条目中的属性数据。

扩展的部分实施例中，本申请的订单数据处理装置，还包括后于所述数据封装模块运行的订单执行模块，用于根据所述订单数据生成电商交易订单，将该电商交易订单推送至提交所述待检测图像的终端设备以启动预设的电商业务流程。

适应本申请的目的之一而提供的一种计算机设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的订单数据处理方法的步骤。

适应本申请的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述的订单数据处理方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。

适应本申请的另一目的而提供的一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述方法的步骤。

相对于现有技术，本申请的技术方案至少包含如下技术优势：

首先，本申请在获取待检测图像的基础上，对待检测图像进行文本检测和识别，确定其中存在订单所需的订单数据的行文本，相应获得所述行文本的行文本图像，据此可确定各个行文本图像的位置信息，然后以知识图谱为媒介，巧妙地对应各个行文本确定知识图谱中的节点，而将每两个节点相对应的行文本图像的位置信息用于计算确定该两个节点之间的数据距离，以该数据距离作为该两个节点的边权重，从而确定了每两个节点之间的边关系，由此，使所述的知识图谱中不仅表示了各个行文本，也表示了各个行文本的相对位置信息，在此基础上，根据知识图谱进行推理，实现对各个行文本的类别的准确识别，最终直接封装出结构化的订单数据，可供电商订单业务流程直接调用，提升了从图片中识别出订单数据从而据以执行电商订单业务流程的处理效率，便于实现线上与线下相结合的电商订单业务流程。

其次，本申请通过知识图谱综合了行文本的文本信息和行文本相对应的行文本图像的相对位置信息，实现对文本信息和图像信息多种模态的信息的有效融合，在此基础上进行有关订单数据的推理，可以提供更丰富的参考信息，指导推理过程获得更为准确的数据识别结果，从而提升订单数据识别的准确度。

此外，本申请由于提供根据线下获取的图像在线上获取订单数据的服务能力，实现线上与线下相结合的电商业务模式，可以协助商家快速处理交易订单信息，便于商家通过线上归集消费者用户线下实施获得的机密信息，可以提升商家对全局交易的信息处理能力。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请的订单数据处理方法的典型实施例的流程示意图；

图2为本申请实施例中将原始图片识别为待检测图像的过程的流程示意图；

图3为本申请示例性的电子支付凭证的截图；

图4为本申请实施例中从待检测图像中检测、识别出行文本的过程的流程示意图；

图5为本申请实施例中对行文本构造知识图谱的过程的流程示意图；

图6为本申请实施例中确定两个行文本图像的中心点坐标的数据距离的过程的流程示意图；

图7为本申请的订单数据处理装置的原理框图；

图8为本申请所采用的一种计算机设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。

需要指出的是，本申请所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。

本申请的一个或数个技术特征，除非明文指定，既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问，也可直接部署并运行于客户端来实施访问。

本申请中所引用或可能引用到的神经网络模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。

本申请所涉及的各种数据，除非明文指定，既可远程存储于服务器，也可存储于本地终端设备，只要其适于被本申请的技术方案所调用即可。

本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。

本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。

本申请的一种订单数据处理方法，可被编程为计算机程序产品，部署于客户端或服务器中运行而实现，例如在本申请包括直播电商在内的电商平台应用场景中，一般部署在服务器中实施，藉此可以通过访问该计算机程序产品运行后开放的接口，通过图形用户界面与该计算机程序产品的进程进行人机交互而执行该方法。

请参阅图1，本申请的订单数据处理方法，在其典型实施例中，包括如下步骤：

步骤S1100、获取待检测图像：

确定一张目标图片作为待检测图像，待检测图像通常是包含订单数据相对应的文本内容的图像。所述的订单数据是与电商平台的订单业务流程的一个或多个业务环节相关的各类数据，例如，对于电商订单的线下汇款支付环节，所述的订单数据可以包含支付日期、支付金额、商品名称、备注信息等不同类别的数据；对于电商订单的物流环节，所述的订单数据可以包含快递单号、物流承运方等不同类别的数据。诸如此类，均可视为订单数据。

需要注意的是，本申请所称的线下是指相对于电商交易而言的离线操作，即不在本申请所称的电商平台中执行的操作，并非指用户的操作不得依赖互联网。例如前文示例中通过第三方应用程序执行支付的操作，即视为本申请所称的线下的操作。

待检测图像可以是由电商平台的用户提交的原始图片截取包含所述订单数据的图像所在的区域而获得的目标图片。被确定为待检测图像的目标图片，一般是人工可以识别出包含所述订单数据的图像的图片，但对于电商平台的计算机设备而言，可以事先通过技术识别来判断其是否包含所述的订单数据，对于不包含所述订单数据的待检测图像可以不予后续处理，对于包含所述订单数据的待检测图像，则可进一步对其实施文本识别处理。

判断原始图片是否包含所述的订单数据，可采用预先训练至收敛状态的神经网络模型实施，该神经网络模型具有对所述的待检测图像进行表示学习而获得其相对应的图像特征信息的能力，然后将所述图像特征信息输入二分类器进行分类判决，从而确定出所述原始图片是否包含订单数据，将包含订单数据的原始图片确定为待检测图像即可。

步骤S1200、识别出待检测图像中存在的各个行文本图像相对应的行文本：

不难理解，包含订单数据的待检测图像中，存在各个行文本相对应的图像，即行文本图像，对包含订单数据的待检测图像进行文本识别时，可以先检测出待检测图像中各个行文本的行文本图像，确定其位置信息，例如可以将这一位置信息借助四个角点相对应的坐标描述为候选框，根据各个候选框的四个角点的坐标便可截取出相对应的行文本图像，然后再分别对各个行文本图像进行文本识别，便可获得各个行文本图像相对应的行文本。

从待检测图像中确定出其中的行文本图像以及根据行文本图像识别出相应的行文本，可以采用传统技术中的光学图像识别技术(OCR)实现，不影响本申请的创造精神的体现。

可以知晓，各个行文本图像的候选框的坐标指示了订单数据相对应的图像信息，构成一个模态；各个行文本图像相对应的行文本，则提供了订单数据相对应的文本信息，构成另一模态，因而，经此步骤，获得两个模态的信息。

步骤S1300、构造表示各个行文本及各个行文本之间的相对位置关系的知识图谱，所述知识图谱对应各个行文本建立节点，以每两个节点的行文本图像彼此在所述待检测图像中的位置信息之间的数据距离为该两个节点的边权重：

为了实现对前一步骤获得的两个模态的信息的综合表示，可以为其构造相对应的知识图谱，在所述的知识图谱中，对应所述各个行文本构造知识图谱的各个节点，各个节点可以存储并表示其相对应的行文本，所述行文本可以经词嵌入表示为其嵌入向量形式，而节点与节点之间的边权重，则以两个节点相对应的行文本图像的位置信息之间的数据距离来表示，例如通过各个行文本图像的中心点坐标、某一角点的坐标之间的数据距离来表示，由此，在知识图谱中，可实现对两个模态的综合表示，从而将待检测图像的订单数据初步形成语义上相关联的结构化表示信息。

步骤S1400、根据所述知识图谱构造订单数据，所述订单数据包含根据所述行文本对应获得的数据条目，所述数据条目包含用于描述所述订单的属性字段及其对应的属性数据：

由于所述知识图谱包含了对待检测图像中订单数据的多模态信息表示，具有较强的语义表示能力，据此，便可在该知识图谱的基础上，根据各个节点相对应的行文本及其邻近的行文本及相互之间的边权重进行语义推理而确定各个节点的行文本相对应的订单数据类别，由此确定出每个行文本所归属的属性字段，而所述的行文本则可作为其属性数据，每个行文本的属性字段及其相应的属性数据构成一个数据条目，所有行文本相对应的数据条目便构成结构化的订单数据。

根据所述的知识图谱进行语义推理，可采用传统的机器学习算法或者深度学习算法实施，只要能够根据各个节点以及节点与节点之间的边权重确定各个节点相对应的订单数据类别即可，本领域技术人员可以根据此处揭示的原理灵活实施，不影响本申请的创造精神的体现。

根据本典型实施例及其变通实施例可以看出，相对于现有技术，本申请的技术方案至少包含如下技术优势：

请参阅图2，深化的部分实施例中，所述步骤S1100、获取待检测图像，包括如下步骤：

步骤S1110、获取用户提交的原始图片：

在本申请的电商平台应用场景中，以更为具体的电商直播场景为例，直播间的观众用户也即消费者用户从第三方应用程序完成对直播间中的某一商品相对应的订单的支付业务后，获得电子支付凭证，将其截图存储。在所述电子支付凭证的截图中，如图3所示例，包含有支付日期、支付金额以及备注信息等三项构成本申请的订单数据的基本信息，以及其他本申请可以不予关注的信息。

所述的观众用户，将所述的电子支付凭证的截图作为原始图片，提交至电商平台的后台，于是，服务器处便可获得该原始图片，在此基础上，便可完成本申请的各个步骤的执行。

步骤S1120、根据预先训练至收敛状态的订单分类模型的入参对原始图片进行图像预处理，获得待检测图片：

该电子支付凭证是以位图的形式表示所述的订单数据的，因而，虽然人工可以识别，但对于计算机设备而言，需要通过技术进行判定是否包含所述的订单数据。本实施例中，预备有一个订单分类模型用于对原始图片是否包含订单数据进行判别。据此，需要适应所述的订单分类模型的入参所需，对所述的原始图片进行图像预处理，包括对其进行裁剪、缩放等，将其调整至特定的尺寸，例如224*224像素，成为待检测图片。

步骤S1130、采用所述订单分类模型对预处理后的待检测图片进行分类判别，判别出该待检测图片及该原始图片是否包含订单描述信息，将包含有订单描述信息的所述原始图片确定为待检测图像：

所述的订单分类模型基于神经网络基础模型实现，其通过对所述原始图片进行表示学习，获得其图像特征信息，然后借助二分类器对所述图像特征信息进行判别，以确定出所述原始图片是否包含期望的订单数据，对于包含订单数据的原始图片，将其确定为待检测图像。所述订单分类模型可以基于传统CNN、Resnet、MaskCNN等任意一种基础神经网络模型实现，并且事先将其训练至收敛状态。在训练所述订单分类模型时，以包含订单数据的图片为正样本，以不包含订单数据的图片为负样本，采用足量样本对其实施迭代训练至收敛状态即可。

本实施例中，借助订单分类模型对用户提交的原始图片进行自动化的智能判别，快速确定出用户所提交的原始图片是否包含订单数据，将包含订单数据的原始图片确定为本申请的待检测图像。由此实现了对用户提交的原始图片的自动判别功能，在一些复杂场景中，例如直播间的观众用户通过其直播间的聊天界面直接发出其原始图片，原本容易被视为一般的表情图片，但由于存在所述订单分类模型的支持，便可从用户聊天记录中直接调用所述的原始图片进行智能化自动识别，一旦发现原始图片为待检测图像，即可据此完成后续步骤，省去人工处理过程。

请参阅图4，深化的部分实施例中，所述步骤S1200、识别出待检测图像中存在的各个行文本图像相对应的行文本，包括如下步骤：

步骤S1210、根据预先训练至收敛状态的文本检测模型的入参对所述待检测图像进行图像预处理，获得预处理后的待检测图像：

为了对所述待检测图像进行文本识别，首先需要从中检测出多个存在行文本的图像，即行文本图像，据此，可采用一个预设的文本检测模型对所述的待检测图像进行行文本图像的检测。同理，所述的文本检测模型通过入参约束输入其中的待检测图像的尺寸，因而，可根据其入参要求，将包含订单数据的待检测图像，即所述的原始图片，进行预处理，将其通过裁剪、缩放等操作，调整至特定的尺寸，例如1024*1024像素，获得预处理后的待检测图像，以满足所述文本检测模型的输入要求。

步骤S1220、调用所述文本检测模型对所述预处理后的待检测图像进行检测，获得所述预处理后的待检测图像中各行文本相对应的候选框：

所述的文本识别模型可以采用CNN、Resnet等任意一种能够对图像进行表示学习并结合分类器实现文本检测的基础神经网络模型来实施，同理该文本检测模型被预先被训练至收敛状态，可由本领域技术人员采用足量的相应的训练样本对其实施相应的训练，使其习得从给定的预处理后的待检测图像中识别出其中的多个行文本图像相对应的候选框的能力。

调用所述的文本检测模型对待检测图像进行文本识别后，可以获得其中的各行文本相对应的行文本图像的候选框，所述的候选框以行文本图像相对应的四个角点的坐标进行描述。

步骤S1230、根据所述候选框从所述待检测图像中截取出各个行文本图像；

通过每个候选框的四个角点的坐标，可以确定其相应的行文本图像在所述预处理后的待检测图像中的位置，同理，根据待检测图像预处理前后的缩放比例关系，也可进一步确定所述候选框在预处理前的待检测图像即所述的原始图片中的具体位置。因此，可以根据各个候选框，具体是根据其相应的四个角点的坐标，从预处理前或预处理后的待检测图像中，截取出各个候选框相应的行文本图像，这些行文本图像被视为存在行文本。

步骤S1240、将所述行文本图像输入预训练至收敛状态的文本识别模型中进行文本识别，获得相应的行文本：

预备一个文本识别模型用于对所述的各个行文本图像实施文本识别。所述的文本识别模型可以采用CRNN或者AttentionOCR等任意一种能够实现文本检测的基础神经网络模型来实施，其中，CRNN中的RNN以双向LSTM基础模型为骨干，以便加强特征提取，而CNN部分则采用一般的普通卷积神经网络模型。

同理，该文本识别模型被预先被训练至收敛状态，可由本领域技术人员采用足量的相应的训练样本对其实施相应的训练，使其习得从给定的行文本图像中识别出其中的多个文本内容而构成行文本的能力。

至此，通过由所述文本识别模型对各个候选框相对应的行文本图像进行文本识别，可以获得所述待检测图像中存在的各个行文本。

本实施例中，先采用文字检测模型对待检测图像进行检测，确定存在行文本内容的多个候选框，从而获得行文本图像在所述待检测图像中的位置信息，然后根据候选框裁剪待检测图像中对应的行文本图像，采用文本识别模型对各个行文本图像进行文本识别以获得相应的行文本，又获得相应的文本信息，完成了待检测图像中订单数据相对应的两个模态的信息的提取，为本申请实现快速准确识别订单数据提供了有效的数据源。

请参阅图5，深化的部分实施例中，所述步骤S1300、构造表示各个行文本及各个行文本之间的相对位置关系的知识图谱，包括如下步骤：

步骤S1310、将每个行文本转换为相应的行文本向量：

获得所述的各个行文本之后，可以对其进行常规的文本预处理，例如去除空格、特殊符号等，然后，根据预设的词表构造各个行文本相对应的嵌入向量，作为每个行文本相应的行文本向量，实现对各个行文本的向量化表示。

步骤S1320、将各个行文本向量存储为知识图谱的节点：

本申请中，为实现对所述的行文本的语义表示，将每张待检测图像识别出的各个行文本表示为知识图谱，在为针对每张待检测图像创建知识图谱的实例后，将每个行文本映射为该知识图谱中的一个节点，具体可将所述的行文本向量存储至相应的节点中。

步骤S1330、计算每两个行文本图像的中心点坐标之间的数据距离，存储为所述知识图谱中该两个行文本图像相对应的行文本向量所在的两个节点的边权重：

不难理解，知识图谱中除了限定节点的内容外，还需限定节点与节点之间的邻接关系，这一邻接关系通过节点与节点之间的边权重来表示。为了确定任意两个节点之间的边权重，可根据任意两个节点的行文本向量相对应的行文本图像的候选框计算出各个候选框的中心点坐标，然后计算两个中心点坐标之间的数据距离，然后将该数据距离确定为该任意两个节点之间的边权重。

计算所述的数据距离时，可以采用欧氏距离、余弦相似度、皮尔逊相关系数、杰卡德算法等等任意一种传统的数据距离算法进行计算确定。

本实施例通过知识图谱实现对所述待检测图像所识别出来的行文本的图结构映射，完成对所述行文本的语义表示，便于进一步根据知识图谱进行推理确定出各个行文本的数据条目类型。所述的知识图谱中，巧妙地将各个行文本的行文本向量存储为节点数据，而将两两行文本之间基于其相应的行文本图像的候选框的中心点坐标确定的数据距离作为边权重，因而，既实现对行文本相应的图像信息的语义表示，也实现对行文本自身的文本信息的语义表示，通过单个知识图谱实现对待检测图像中的结构化映射，更适合后续的推理，能提升识别订单数据的效率。

请参阅图6，具体化的实施例中，所述步骤S1330、计算每两个行文本图像的中心点坐标之间的数据距离，包括如下步骤：

步骤S1331、获取每个行文本图像在识别出对应的行文本过程中产生的候选框的各个角点的坐标：

如前所述，每个行文本均由一个行文本图像识别获得，故两者相对应，而每个行文本图像由一个候选框所定位，每个候选框以其四个角点对应的坐标进行表示，因而，可以调用本申请前文实施例中，由所述的文本检测模型输入的各个候选框的坐标信息。

步骤S1332、针对每个候选框，根据其四个角点的横坐标和纵坐标的均值确定出其中心点坐标；

设每个候选框的四个角点的坐标表示为：(x₀，y₀)，(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，则可按如下公式计算每个候选框的中心点坐标：

其中，x_center为候选框的中心点的横坐标，y_center为候选框的中心点的纵坐标，(x_center，y_center)即为候选框的中心点坐标。

确定每个候选框相对应的中心点坐标后，可将其存储于相应的节点中，与该节点相应的行文本实现关联以便调用。

步骤S1333、采用欧氏距离算法计算获得每两个行文本图像的中心点坐标之间的数据距离：

本实施例中，推荐使用欧氏距离算法从相应的节点中调用所述的中心点坐标，计算任意两个节点之间的中心点坐标之间的数据距离，更为高效，所确定出的数据距离后续便可作为该任意两个节点之间的边权重。

本实施例具体揭示了计算确定任意两个节点之间的邻接关系相对应的边权重的过程，可以看出，示例性的算法非常简单直接，通过候选框的四个角点的坐标之间的关系便可确定各个候选框的中心点坐标，然后根据节点之间中心点坐标的数据距离便可确定边权重，计算量低，运行高效。由于各个中心点坐标之间的数据距离本身也表示了各个行文本图像之间的相对位置关系，因而，边权重本身较好地实现对各个行文本图像之间的邻接关系的语义表征，能够为后续根据行文本向量进行推理的过程中提供更为丰富的语义信息，有助于更为精准地构造订单数据。

深化的部分实施例中，所述步骤S1400、根据所述知识图谱构造订单数据，包括如下步骤：

步骤S1410、以节点信息向量矩阵及节点的邻接矩阵表示所述知识图谱：

为了方便根据所述的知识图谱进行推理以确定各个行文本所归属的订单数据的具体类型，将所述的知识图谱中各个节点表示为节点信息向量及该节点的邻接矩阵，实现对所述的知识图谱的每个节点的表示。

步骤S1420、将各个节点的所述节点信息向量矩阵及其邻接矩阵输入预先训练至收敛状态的图神经网络中进行推理，获得知识图谱中各个节点的键值对作为订单数据的数据条目，每个键值对中，与节点相映射的类别被存储为键数据作为数据条目中的属性字段，与节点相对应的行文本被存储为值数据作为数据条目中的属性数据：

继而，可以借助本申请预备的图神经网络对所述的知识图谱进行图嵌入，针对各个节点，将其节点信息向量及其邻接矩阵经过神经网络非线性映射，在深层提取到更高层次的特征表示，然后变换成一个向量通过全连接层进行分类，从而获得各个节点相对应的分类结果。

所述的图神经网络被采用足量的训练样本预先训练至收敛状态，使其具备根据所述的节点的节点信息向量矩阵及其邻接矩阵映射出相对应的分类结果的能力，其选型可由本领域技术人员灵活确定，例如采用Graph Attention Network(GAT)来实施。

所述的分类结果是由所述图神经网络将节点的深层语义特征信息映射到预设的分类空间的各个具体分类所获得的结果，例如，如图3示例的电子凭证的，需要提取三个基本分类，即所述的支付日期、支付金额以及备注信息，据此，可以在所述的分类空间对应设置三个分类，针对每个节点，当其映射到所述的分类空间后，获得三个分类相对应的分类概率，其中分类概率最大的分类，即为该节点相对应的分类。

据此，每个节点均确定了其相应的订单数据类别，并且每个节点也有其对应的行文本，由此便可构造结构化的订单数据。具体而言，将每个节点的订单数据类别存储为键值对中的键数据，将每个节点相对应的行文本存储为键值对中的值数据，每个节点相对应的键值对便构成订单数据的一个数据条目，使得所述的订单数据包括多个数据条目，每个数据条目均以键值对表示，其中的键数据指示该数据条目相对应的类别，而值数据则指示数据条目相对应的行文本。由此，实现将原始图片所包含的订单数据从图像转换为结构化的格式，方便计算机进一步调用处理。

本实施例借助图神经网络对本申请构造的知识图谱进行推理而实现对各个行文本的订单数据类别的识别，根据识别结果构造出结构化的订单数据，实现对原始图片所包含的订单数据内容的快速识别，方便后台进行高效的订单数据处理，实现快速将离线生成的图像的内容接入线上电商订单的业务流程。

扩展的部分实施例中，所述步骤S1400、根据所述知识图谱构造订单数据的步骤之后，还包括如下步骤：

步骤S1500、根据所述订单数据生成电商交易订单，将该电商交易订单推送至提交所述待检测图像的终端设备以启动预设的电商业务流程：

对于电商平台的后台而言，获得本申请前述各实施例生成的结构化的订单数据后，便可利用这些订单数据继续其电商交易订单。

仍以图3相对应的场景示例，当用户完成离线支付，将其电子支付凭证上传到电商平台并由本申请的前述任意一个实施例获得相应的结构化的订单数据后，即确定出其中的支付日期、支付金额以及备注信息，所述的备注信息一般用于标注相应的电商交易订单的订单号，据此，所述订单数据将包含三个数据条目，分别是以支付日期、支付金额、备注信息为键数据的三个键值对，从这三个键值对的值数据中，便可获得相应的具体支付日期、具体支付金额，以及具体订单号。据此，便可对用户事先创建的电商下单记录执行支付标记，从而根据该电商下单记录生成有效的电商交易订单，然后将其推送至提交所述的待检测图像即所述的原始图片的终端设备供用户查阅，用户在查阅并确认后，后台便可据此启动预设的电商业务流程，例如将所述电商交易订单推送至物流发货接口进行计费等。

本实施例进一步将本申请从待检测图像中获得的结构化的订单数据用于完善电商业务流程，使电商业务流程可以在所述的订单数据的协助下实现闭环，从而实现线下支付与线上交易的结合。

请参阅图7，适应本申请的目的之一而提供的一种订单数据处理装置，是对本申请的订单数据处理方法的功能化体现，该装置包括图像获取模块1100、文本识别模块1200、图谱构造模块1300，以及数据封装模块1400，其中：所述图像获取模块1100，用于获取待检测图像；所述文本识别模块1200，用于识别出待检测图像中存在的各个行文本图像相对应的行文本；所述图谱构造模块1300，用于构造表示各个行文本及各个行文本之间的相对位置关系的知识图谱，所述知识图谱对应各个行文本建立节点，以每两个节点的行文本图像彼此在所述待检测图像中的位置信息之间的数据距离为该两个节点的边权重；所述数据封装模块1400，用于根据所述知识图谱构造订单数据，所述订单数据包含根据所述行文本对应获得的数据条目，所述数据条目包含用于描述所述订单的属性字段及其对应的属性数据。

深化的部分实施例中，所述图像获取模块1100，包括：提交获取单元，用于获取用户提交的原始图片；原图处理单元，用于根据预先训练至收敛状态的订单分类模型的入参对原始图片进行图像预处理，获得待检测图片；原图判别单元，用于采用所述订单分类模型对预处理后的待检测图片进行分类判别，判别出该待检测图片及该原始图片是否包含订单描述信息，将包含有订单描述信息的所述原始图片确定为待检测图像。

深化的部分实施例中，所述文本识别模块1200，包括：识别预处理单元，用于根据预先训练至收敛状态的文本检测模型的入参对所述待检测图像进行图像预处理，获得预处理后的待检测图像；文本检测单元，用于调用所述文本检测模型对所述预处理后的待检测图像进行检测，获得所述预处理后的待检测图像中各行文本相对应的候选框；截图处理单元，用于根据所述候选框从所述待检测图像中截取出各个行文本图像；文本识别单元，用于将所述行文本图像输入预训练至收敛状态的文本识别模型中进行文本识别，获得相应的行文本。

深化的部分实施例中，所述图谱构造模块1300，包括：向量表示单元，用于将每个行文本转换为相应的行文本向量；节点存储单元，用于将各个行文本向量存储为知识图谱的节点；边权重生成单元，用于计算每两个行文本图像的中心点坐标之间的数据距离，存储为所述知识图谱中该两个行文本图像相对应的行文本向量所在的两个节点的边权重。

深化的部分实施例中，所述数据封装模块1400，包括：信息表示单元，用于以节点信息向量矩阵及节点的邻接矩阵表示所述知识图谱；推理执行单元，用于将各个节点的所述节点信息向量矩阵及其邻接矩阵输入预先训练至收敛状态的图神经网络中进行推理，获得知识图谱中各个节点的键值对作为订单数据的数据条目，每个键值对中，与节点相映射的类别被存储为键数据作为数据条目中的属性字段，与节点相对应的行文本被存储为值数据作为数据条目中的属性数据。

扩展的部分实施例中，本申请的订单数据处理装置，还包括后于所述数据封装模块1400运行的订单执行模块，用于根据所述订单数据生成电商交易订单，将该电商交易订单推送至提交所述待检测图像的终端设备以启动预设的电商业务流程。

为解决上述技术问题，本申请实施例还提供计算机设备。如图8所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该计算机设备的计算机可读存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种订单数据处理方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本申请的订单数据处理方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行图7中的各个模块及其子模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本申请的订单数据处理装置中执行所有模块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。

本申请还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例的订单数据处理方法的步骤。

本申请还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述方法的步骤。

本领域普通技术人员可以理解实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等计算机可读存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

综上所述，本申请能够从待检测图像中识别出订单数据，可供电商订单业务流程直接调用，提升了从图片中识别出订单数据从而据以执行电商订单业务流程的处理效率，便于实现线上与线下相结合的电商订单业务流程。

本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims

1.一种订单数据处理方法，其特征在于，包括如下步骤：

获取待检测图像；

2.根据权利要求1所述的订单数据处理方法，其特征在于，获取待检测图像，包括如下步骤：

获取用户提交的原始图片；

3.根据权利要求1所述的订单数据处理方法，其特征在于，识别出待检测图像中存在的各个行文本图像相对应的行文本，包括如下步骤：

4.根据权利要求1所述的订单数据处理方法，其特征在于，构造表示各个行文本及各个行文本之间的相对位置关系的知识图谱，包括如下步骤：

将每个行文本转换为相应的行文本向量；

将各个行文本向量存储为知识图谱的节点；

5.根据权利要求4所述的订单数据处理方法，其特征在于，计算每两个行文本图像的中心点坐标之间的数据距离，包括如下步骤：

6.根据权利要求1至5中任意一项所述的订单数据处理方法，其特征在于，根据所述知识图谱构造订单数据，包括如下步骤：

以节点信息向量矩阵及节点的邻接矩阵表示所述知识图谱；

7.根据权利要求1至5中任意一项所述的订单数据处理方法，其特征在于，根据所述知识图谱构造订单数据的步骤之后，还包括如下步骤：

8.一种订单数据处理装置，其特征在于，包括：

图像获取模块，用于获取待检测图像；

文本识别模块，用于识别出待检测图像中存在的各个行文本图像相对应的行文本；

图谱构造模块，用于构造表示各个行文本及各个行文本之间的相对位置关系的知识图谱，所述知识图谱对应各个行文本建立节点，以每两个节点的行文本图像彼此在所述待检测图像中的位置信息之间的数据距离为该两个节点的边权重；

数据封装模块，用于根据所述知识图谱构造订单数据，所述订单数据包含根据所述行文本对应获得的数据条目，所述数据条目包含用于描述所述订单的属性字段及其对应的属性数据。

9.一种计算机设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。