CN113065405A - 图片识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图片识别方法、装置、计算机设备和存储介质。包括：获取当前业务流程对应的待检测图片，待检测图片包括当前商品对应的当前商品列表；从待检测图片中确定当前商品列表所在的商品列表区域；对商品列表区域进行裁剪，得到多个商品列表单元格；将各个商品列表单元格确定为目标图片内容识别模型的输入，通过目标图片内容识别模型对各个商品列表单元格进行识别，得到各个商品列表单元格对应的商品列表单元格内容；从目标业务系统中获取与当前业务流程对应的当前商品信息；根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。采用本方法能够提高业务流程中含有列表数据的图片的识别准确率。

Description

图片识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图片识别方法、装置、计算机设备和存储介质。

背景技术

在信息技术快速发展，时间为贵的当今社会。一切工作最求效率年代。线下纸质流程，都转为线上流程衍生出了线上流程系统，减少纸质流程的扭转。许多流程需准备相关附件材料。线下流程转为线上流程后，纸质文件都变为线上Excel，Word，PNG，JPG等文件，以附件的格式上传在众多流程中还涉及到一种业务退厂退货的流程。这一流程中需要将用户上传的，含有商品列表信息的图片与业务系统进行比对。然而在这一比对过程中，业务审核时间较长，容易存在比对错误情况。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高业务流程中含有列表数据的图片的识别准确率的图片识别方法、装置、计算机设备和存储介质。

一种图片识别方法，该方法包括：

获取当前业务流程对应的待检测图片，待检测图片包括当前商品对应的当前商品列表；

从待检测图片中确定当前商品列表所在的商品列表区域；

对商品列表区域进行裁剪，得到多个商品列表单元格；

将各个商品列表单元格确定为目标图片内容识别模型的输入，通过目标图片内容识别模型对各个商品列表单元格进行识别，得到各个商品列表单元格对应的商品列表单元格内容；

从目标业务系统中获取与当前业务流程对应的当前商品信息；

根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。

在其中一个实施例中，获取当前业务流程对应的待检测图片之前，包括：获取当前业务流程启动指令，根据当前业务流程启动指令启动当前业务流程；获取当前业务流程对应的当前图片识别开关状态；在检测到当前图片识别开关状态为开启时，进入步骤获取当前业务流程对应的待检测图片。

在其中一个实施例中，从待检测图片中确定当前商品列表所在的商品列表区域，包括：获取已训练好的目标对象检测模型，目标对象检测模型是用来识别图片中的列表区域的；将待检测图片输入至目标对象检测模型，通过目标对象检测模型对待检测图片进行对象识别，得到待检测图片中当前商品列表所在的商品列表区域。

在其中一个实施例中，从目标业务系统中获取与当前业务流程对应的当前商品信息，包括：发送商品信息获取请求至目标业务系统，商品信息获取请求包括当前业务流程标识；接收目标业务系统根据商品信息获取请求返回的与当前业务流程标识匹配的当前商品信息。

在其中一个实施例中，根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注，包括：检测当前商品信息中是否存在与当前商品编码相同的商品编码信息，当前商品编码是当前商品对应的商品编码；在检测到当前商品信息中存在与当前商品编码相同的商品编码信息时，比对当前商品信息中是否存在与各个商品列表单元格内容匹配的商品信息；将与当前商品信息不匹配的商品列表单元格内容确定为异常商品列表单元格；获取异常商品列表单元格的坐标信息，根据坐标信息在已检测图片中进行标注。

在其中一个实施例中，根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注还包括：在检测到当前商品信息中不存在与当前商品编码相同的商品编码信息时，则确定当前业务流程中的已检测图片为异常检测图片，结束当前业务流程。

在其中一个实施例中，比对当前商品信息中是否存在与各个商品列表单元格内容匹配的商品信息，包括：检测各个商品列表单元格内容是否存在商品列表空单元格内容；将商品列表空单元格内容对应的商品列表单元格内容进行去除，剩下的商品列表单元格内容确定为中间商品列表单元格内容；检测中间商品列表单元格内容对应的字符串是否是纯数字类型；将纯数字类型对应的中间商品列表单元格内容转换为目标类型商品列表单元格内容；比对当前商品信息中是否存在与目标类型商品列表单元格内容和非纯数字类型对应的中间商品列表单元格内容匹配的商品信息。

一种图片识别装置，该装置包括：

待检测图片获取模块，用于获取当前业务流程对应的待检测图片，待检测图片包括当前商品对应的当前商品列表；

列表区域确定模块，用于从待检测图片中确定当前商品列表所在的商品列表区域；

列表区域裁剪模块，用于对商品列表区域进行裁剪，得到多个商品列表单元格；

列表单元格处理模块，用于将各个商品列表单元格确定为目标图片内容识别模型的输入，通过目标图片内容识别模型对各个商品列表单元格进行识别，得到各个商品列表单元格对应的商品列表单元格内容；

当前商品信息获取模块，用于从目标业务系统中获取与当前业务流程对应的当前商品信息；

异常检测图片标注模块，用于根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取当前业务流程对应的待检测图片，待检测图片包括当前商品对应的当前商品列表；

从待检测图片中确定当前商品列表所在的商品列表区域；

对商品列表区域进行裁剪，得到多个商品列表单元格；

将各个商品列表单元格确定为目标图片内容识别模型的输入，通过目标图片内容识别模型对各个商品列表单元格进行识别，得到各个商品列表单元格对应的商品列表单元格内容；

从目标业务系统中获取与当前业务流程对应的当前商品信息；

根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取当前业务流程对应的待检测图片，待检测图片包括当前商品对应的当前商品列表；

从待检测图片中确定当前商品列表所在的商品列表区域；

对商品列表区域进行裁剪，得到多个商品列表单元格；

将各个商品列表单元格确定为目标图片内容识别模型的输入，通过目标图片内容识别模型对各个商品列表单元格进行识别，得到各个商品列表单元格对应的商品列表单元格内容；

从目标业务系统中获取与当前业务流程对应的当前商品信息；

根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。

上述图片识别方法、装置、计算机设备和存储介质，获取当前业务流程对应的待检测图片，待检测图片包括当前商品对应的当前商品列表；从待检测图片中确定当前商品列表所在的商品列表区域；对商品列表区域进行裁剪，得到多个商品列表单元格；将各个商品列表单元格确定为目标图片内容识别模型的输入，通过目标图片内容识别模型对各个商品列表单元格进行识别，得到各个商品列表单元格对应的商品列表单元格内容；从目标业务系统中获取与当前业务流程对应的当前商品信息；根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。因此，通过定位出当前业务流程中待检测图片中商品列表区域，对商品列表区域进行裁剪，得到多个商品列表单元格，将各个商品列表单元格的内容与目标业务系统中的数据进行比对，确定异常商品列表单元格，并在已检测图片中标记出来。整个图片识别过程无需人工操作，避免人工操作出现比对错误，提高了业务流程中含有列表数据的图片的识别准确率。

附图说明

图1为一个实施例中图片识别方法的应用环境图；

图2为一个实施例中图片识别方法的流程示意图；

图3为一个实施例中图片识别方法的流程示意图；

图4为一个实施例中商品列表区域确定步骤的流程示意图；

图5为一个实施例中当前商品信息获取步骤的流程示意图；

图6为一个实施例中异常商品列表单元格确定步骤的流程示意图；

图7为一个实施例中商品列表单元格内容比对步骤的流程示意图；

图8为一个实施例中图片识别装置的结构框图；

图9为一个实施例中计算机设备的内部结构图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的图片识别方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

具体地，终端102启动当前业务流程，并将当前业务流程对应的待检测图片发送至服务器104，其中待检测图片包括当前商品对应的当前商品列表。服务器104从待检测图片中确定当前商品列表所在的商品列表区域，对商品列表区域进行裁剪，得到多个商品列表单元格，将各个商品列表单元格确定为目标图片内容识别模型的输入，通过目标图片内容识别模型对各个商品列表单元格进行识别，得到各个商品列表单元格对应的商品列表单元格内容，从目标业务系统获取与当前业务流程对应的当前商品信息，根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。最后，服务器104可以将标注好的已检测图片返回至终端102，终端102可以展示该标注好的已检测图片。

在一个实施例中，终端102启动当前业务流程，获取当前业务流程对应的待检测图片，待检测图片包括当前商品对应的当前商品列表，从待检测图片中确定当前商品列表所在的商品列表区域，对商品列表区域进行裁剪，得到多个商品列表单元格，将各个商品列表单元格确定为目标图片内容识别模型的输入，通过目标图片内容识别模型对各个商品列表单元格进行识别，得到各个商品列表单元格对应的商品列表单元格内容，从目标业务系统获取与当前业务流程对应的当前商品信息，根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。

在一个实施例中，如图2所示，提供了一种图片识别方法，以该方法应用于图1中的终端或服务器为例进行说明，包括以下步骤：

步骤202，获取当前业务流程对应的待检测图片，待检测图片包括当前商品对应的当前商品列表。

其中，当前业务流程是目前正在处理的业务流程，业务流程是与业务相关的流程，例如业务退场退货流程等等。当前业务流程可以通过当前业务流程启动指令开启，当前业务流程启动指令可以通过相关的业务流程应用提供的控件进行操作触发生成的。其中，在启动当前业务流程时，可以提供相应的待检测图片，而待检测图片包括当前商品对应的当前商品列表，当前商品数目为至少一个，当前商品列表是以列表的形式描述当前商品的相关信息，即待检测图片可以是当前业务数据中含有商品列表数据的图片。

步骤204，从待检测图片中确定当前商品列表所在的商品列表区域。

其中，商品列表区域是指待检测图片中当前商品列表所在的区域，在得到待检测图片后，可以从待检测图片中确定当前商品列表所在的商品列表区域。其中，从待检测图片中确定商品列表区域的方式可自定义，自定义可以是通过采用基于深度学习的目标检测对象模型检测出待检测图片中的商品列表区域，将待检测图片作为目标检测对象模型的输入数据，得到目标检测对象模型输出的待检测图片中的商品列表区域。其中，这里的目标对象检测模型是用来识别图片中的列表区域的。

在另一个实施例中，从待检测图片中确定列表区域的自定义还可以是获取预设列表区域提取工具，这里的列表区域提取工具是用来提取图片中的列表区域的，通过预设列表区域提取工具对待检测图片进行列表区域提取，得到待检测图片中当前商品列表所在的商品列表区域。

步骤206，对商品列表区域进行裁剪，得到多个商品列表单元格。

其中，这里的商品列表单元格是对商品列表区域进行裁剪得到的，对商品列表区域进行裁剪，可以根据预设裁剪大小进行裁剪，而预设裁剪大小可以根据业务需求、产品需求或实际应用场景进行确定得到的。具体地，在将待检测图片中当前商品列表所在的商品列表区域定位出来后，可以获取预设裁剪大小，根据预设裁剪大小对商品列表区域进行裁剪，得到一个个小的商品列表区域，即商品列表单元格。其中，在得到裁剪后的各个商品列表单元格后，需要记录各个商品列表单元格对应的单元格坐标信息，其中，同一商品对应的商品列表单元格的单元格坐标信息可以在第一方向的位置保持不变，例如，商品A的名称所在的商品列表单元格的位置为：(1，2)，商品A的数目所在的商品列表单元格的位置为：(1，4)，商品A的价格所在的商品列表单元格的位置为：(1，6)，即商品A对应的商品列表单元格的单元格坐标信息在第一方向(x轴)的位置保持不变，可以通过第一方向的位置信息确定是否为同一商品。

步骤208，将各个商品列表单元格确定为目标图片内容识别模型的输入，通过目标图片内容识别模型对各个商品列表单元格进行识别，得到各个商品列表单元格对应的商品列表单元格内容。

其中，这里的目标图片内容识别模型是用来识别图片中的具体内容的网络模型，目标图片内容识别模型可以预先根据大量含有表格的图片作为样本集，对原始图片内容识别模型进行有监督训练，得到已训练好的目标图片识别模型。具体地，获取已训练好的目标图片内容识别模型，将各个商品列表单元格确定为目标图片内容识别模型的输入数据，通过目标图片内容识别模型对各个商品列表单元格进行具体内容的识别，得到各个商品列表单元格对应的商品列表单元格内容。也就是说，通过目标图片内容识别模型将以图片形式的商品列表单元格中的具体内容识别出来，得到对应的商品列表单元格内容。

步骤210，从目标业务系统中获取与当前业务流程对应的当前商品信息。

其中，这里的当前商品信息是目标业务系统中与当前业务流程相关的所有商品信息，而目标业务系统是与业务相关的系统，可以根据实际业务需求、产品需求或实际应用场景确定得到的。具体地，发送商品信息获取请求至目标业务系统，所述商品信息获取请求包括当前业务流程标识。其中，商品信息获取请求是用来请求从目标业务系统中获取商品信息的，商品信息获取请求包括当前业务流程标识，其中当前业务流程标识是用来标识当前业务流程的。

进一步地，目标业务系统接收到商品信息获取请求后，根据商品信息获取请求从候选商品信息中查找与当前业务流程标识对应的当前商品信息。最后，目标业务系统再将当前商品信息返回至执行主体。

步骤212，根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。

具体地，在得到当前商品信息后，将当前商品信息与各个商品列表单元格内容进行比对，可以确定异常商品列表单元格。具体可以是，检测当前商品信息中是否包括与当前商品相同商品编码的商品编码信息，如果当前商品信息中包括与当前商品相同商品编码的商品编码信息，说明当前商品是在目标业务系统中，如果当前商品信息不包括与当前商品相同商品编码的商品编码信息，说明当前商品不在目标业务系统中，结束当前业务流程。

进一步地，在检测到当前商品信息中包括与当前商品相同商品编码的商品编码信息后，比对当前商品信息中是否存在与各个商品列表单元格内容匹配的商品信息，将与当前商品信息不匹配的商品列表单元格内容确定为异常商品列表单元格，获取异常商品列表单元的坐标信息，根据坐标信息在已检测图片中进行标注。

其中，比对当前商品信息中是否存在与各个商品列表单元格内容匹配的商品信息，具体可以是，检测各个商品列表单元格内容是否存在商品列表空单元格内容，将商品列表空单元格内容对应的商品列表单元格内容进行去除，剩下的商品列表单元格内容全部确定为中间商品列表单元格内容。再检测中间商品列表单元格内容对应的字符串是否是纯数字类型，进而将纯数字类型对应的中间商品列表单元格内容转换为目标类型商品列表单元格内容，比对当前商品信息中是否存在与目标类型商品列表单元格内容和非纯数字类型对应的中间商品列表单元格内容匹配的商品信息。其中，目标类型可以是double类型(双精度型浮点数据)。

例如，循环遍历各个商品列表单元格内容，与目标业务系统中的当前商品信息进行逐行比对。优先比对唯一标识商品的商品编码，如商品编码比对失败，则标记表单一行数据为错误并记录下整行单元格坐标，确定为异常检测图片。再者，如编码比对成功，将逐一比对商品列表单元格内容。比对商品列表单元格内容时，第一步先去除数据空字符，第二步判断字符串是否是纯数字类型，纯数字将转换为目标类型比对。

上述图片识别方法中，获取当前业务流程对应的待检测图片，待检测图片包括当前商品对应的当前商品列表；从待检测图片中确定当前商品列表所在的商品列表区域；对商品列表区域进行裁剪，得到多个商品列表单元格；将各个商品列表单元格确定为目标图片内容识别模型的输入，通过目标图片内容识别模型对各个商品列表单元格进行识别，得到各个商品列表单元格对应的商品列表单元格内容；从目标业务系统中获取与当前业务流程对应的当前商品信息；根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。因此，通过定位出当前业务流程中待检测图片中商品列表区域，对商品列表区域进行裁剪，得到多个商品列表单元格，将各个商品列表单元格的内容与目标业务系统中的数据进行比对，确定异常商品列表单元格，并在已检测图片中标记出来。整个图片识别过程无需人工操作，避免人工操作出现比对错误，提高了业务流程中含有列表数据的图片的识别准确率。

在一个实施例中，如图3所示，获取当前业务流程对应的待检测图片之前，包括：

步骤302，获取当前业务流程启动指令，根据当前业务流程启动指令启动当前业务流程。

其中，当前业务流程是目前正在处理的业务流程，业务流程是与业务相关的流程，例如业务退场退货流程等等。当前业务流程可以通过当前业务流程启动指令开启，当前业务流程启动指令可以通过相关的业务流程应用提供的控件进行操作触发生成的。其中，在启动当前业务流程时，可以提供相应的待检测图片，而待检测图片包括当前商品对应的当前商品列表。

具体地，在相应的业务流程应用提供的控件进行操作，触发生成当前业务流程启动指令，根据当前业务流程启动指令开启当前业务流程。

步骤304，获取当前业务流程对应的当前图片识别开关状态。

步骤306，在检测到当前图片识别开关状态为开启时，进入步骤获取当前业务流程对应的待检测图片。

其中，当前业务流程可以根据实际业务需求、产品需求或实际应用场景设置了当前图片识别开关，当前图片识别开关是用来控制当前业务流程是否进行图片识别的，可以根据当前图片识别开关的状态确定是否进行当前业务流程的图片识别。当前图片识别开关状态包括开启状态和关闭状态。

具体地，获取当前业务流程对应的当前图片识别开关状态，根据当前图片识别开关状态确定是否开启当前业务流程的图片识别，在检测到当前图片识别开关状态为开启时，说明当前业务流程的当前图片识别开关处于开启状态，可以进入步骤获取当前业务流程对应的待检测图片，进行当前业务流程的图片识别。反之，若检测到当前图片识别开关状态为关闭时，说明当前业务流程的当前图片识别开关处于关闭状态，则无需进入当前业务流程的图片识别。

在一个实施例中，如图4所示，从待检测图片中确定当前商品列表所在的商品列表区域，包括：

步骤402，获取已训练好的目标对象检测模型，目标对象检测模型是用来识别图片中的列表区域的。

步骤404，将待检测图片输入至目标对象检测模型，通过目标对象检测模型对待检测图片进行对象识别，得到待检测图片中当前商品列表所在的商品列表区域。

其中，商品列表区域是指待检测图片中当前商品列表所在的区域，在得到待检测图片后，可以从待检测图片中确定当前商品列表所在的商品列表区域。其中，从待检测图片中确定商品列表区域的方式可自定义，自定义可以是通过采用基于深度学习的目标检测对象模型检测出待检测图片中的商品列表区域，将待检测图片作为目标检测对象模型的输入数据，得到目标检测对象模型输出的待检测图片中的商品列表区域。其中，这里的目标对象检测模型是用来识别图片中的列表区域的。

在另一个实施例中，从待检测图片中确定列表区域的自定义还可以是获取预设列表区域提取工具，这里的列表区域提取工具是用来提取图片中的列表区域的，通过预设列表区域提取工具对待检测图片进行列表区域提取，得到待检测图片中当前商品列表所在的商品列表区域。

在一个实施例中，如图5所示，从目标业务系统中获取与当前业务流程对应的当前商品信息，包括：

步骤502，发送商品信息获取请求至目标业务系统，商品信息获取请求包括当前业务流程标识。

步骤504，接收目标业务系统根据商品信息获取请求返回的与当前业务流程标识匹配的当前商品信息。

其中，这里的当前商品信息是目标业务系统中与当前业务流程相关的所有商品信息，而目标业务系统是与业务相关的系统，可以根据实际业务需求、产品需求或实际应用场景确定得到的。具体地，发送商品信息获取请求至目标业务系统，其中商品信息获取请求包括当前业务流程标识。其中，商品信息获取请求是用来请求从目标业务系统中获取商品信息的，商品信息获取请求包括当前业务流程标识，其中当前业务流程标识是用来标识当前业务流程的。

进一步地，目标业务系统接收到商品信息获取请求后，根据商品信息获取请求从候选商品信息中查找与当前业务流程标识对应的当前商品信息。最后，目标业务系统再将当前商品信息返回至执行主体。

在一个实施例中，如图6所示，根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注，包括：

步骤602，检测当前商品信息中是否存在与当前商品编码相同的商品编码信息，当前商品编码是当前商品对应的商品编码。

步骤604，在检测到当前商品信息中存在与当前商品编码相同的商品编码信息时，比对当前商品信息中是否存在与各个商品列表单元格内容匹配的商品信息。

其中，在得到当前商品信息后，可以通过比对当前商品信息与各个商品列表单元格内容来确定异常商品列表单元格，具体可以是，首先，检测当前商品对应的当前商品编码是否在当前信息中，如果当前商品编码在当前信息中，说明当前商品记录在目标业务系统中，反之，如果当前商品编码不在当前信息中，说明当前商品并没有记录在目标业务系统中，可以直接结束当前业务流程。其中检测当前商品对应的当前商品编码是否在当前信息中，具体可以是检测当前商品信息中是否存在与当前商品编码相同的商品编码信息。

进一步地，在检测到当前商品信息中存在与当前商品编码相同的商品编码信息时，说明当前商品记录在目标业务系统中，再比对当前商品信息中是否包括与各个商品列表单元格内容相同的商品信息，其实就是比对各个商品列表单元格内容是否与记录在目标业务系统上的数据相同，如果完全相同，说明该待检测图片是正确的，可以进行下一业务流程的业务处理，反之，如果不同，说明该待检测图片可能存在造假或者虚报，则需要通过当前业务流程的相应业务节点进行处理。

在一个实施例中，在检测到当前商品信息中不存在与当前商品编码相同的商品编码信息时，则确定当前业务流程中的已检测图片为异常检测图片，结束当前业务流程。

其中，如果检测到当前商品对应的当前商品编码不在当前信息中，说明当前商品并没有记录在目标业务系统中，可以直接确定当前业务流程中的已检测图片为异常检测图片，结束当前业务流程。这种情况，可能是待检测图片出现造假或者虚报，为了避免出现这种情况，可以直接确定为异常检测图片，结束当前业务流程，保证业务数据的安全性。

步骤606，将与当前商品信息不匹配的商品列表单元格内容确定为异常商品列表单元格。

步骤608，获取异常商品列表单元格的坐标信息，根据坐标信息在已检测图片中进行标注。

其中，在比对当前商品信息中是否存在与各个商品列表单元格内容匹配的商品信息时，如果当前商品信息与商品列表单元格内容不匹配，说明这个商品列表单元格内容并不是记录在目标业务系统中的，因此，可以将与当前商品信息不匹配的商品列表单元格内容确定为异常商品列表单元格。其中，如果当前商品信息与列表单元格内容匹配时，说明这个商品列表单元格内容与记录在目标业务系统中的数据完全相同，可以将与当前商品信息匹配的商品列表单元格内容确定为正常商品列表单元格。

进一步地，可以将异常商品列表单元格的坐标信息，根据坐标信息在已检测图片中进行标注。具体可以是，获取异常商品列表单元格对应的坐标信息，根据坐标信息在已检测图片中标记出来。其中，标记的方式可根据实际业务需求、产品需求或实际应用场景进行确定得到。

在一个实施例中，如图7所示，比对当前商品信息中是否存在与各个商品列表单元格内容匹配的商品信息，包括：

步骤702，检测各个商品列表单元格内容是否存在商品列表空单元格内容。

步骤704，将商品列表空单元格内容对应的商品列表单元格内容进行去除，剩下的商品列表单元格内容确定为中间商品列表单元格内容。

步骤706，检测中间商品列表单元格内容对应的字符串是否是纯数字类型。

步骤708，将纯数字类型对应的中间商品列表单元格内容转换为目标类型商品列表单元格内容。

步骤710，比对当前商品信息中是否存在与目标类型商品列表单元格内容和非纯数字类型对应的中间商品列表单元格内容匹配的商品信息。

其中，比对当前商品信息中是否存在与各个商品列表单元格内容匹配的商品信息，具体可以是，检测各个商品列表单元格内容是否存在商品列表空单元格内容，其中，商品列表空单元格内容是指商品列表单元格内容为空，即商品列表单元格中没有任何内容。

进一步地，将商品列表空单元格内容对应的商品列表单元格内容进行去除，剩下的商品列表单元格内容全部确定为中间商品列表单元格内容。再检测中间商品列表单元格内容对应的字符串是否是纯数字类型，其中，纯数字类型是指商品列表单元格内容对应的字符串为数字。进而将纯数字类型对应的中间商品列表单元格内容转换为目标类型商品列表单元格内容，比对当前商品信息中是否存在与目标类型商品列表单元格内容和非纯数字类型对应的中间商品列表单元格内容匹配的商品信息。其中，目标类型可以是double类型(双精度型浮点数据)。

例如，循环遍历各个商品列表单元格内容，与目标业务系统中的当前商品信息进行逐行比对。优先比对唯一标识商品的商品编码，如商品编码比对失败，则标记表单一行数据为错误并记录下整行单元格坐标，确定为异常检测图片。再者，如编码比对成功，将逐一比对商品列表单元格内容。比对商品列表单元格内容时，第一步先去除数据空字符，第二步判断字符串是否是纯数字类型，纯数字将转换为目标类型比对。

在一个具体的实施例中，提供了一种图片识别方法，具体包括以下步骤：

1、获取当前业务流程启动指令，根据当前业务流程启动指令启动当前业务流程。

2、获取当前业务流程对应的待检测图片。

3、获取当前业务流程对应的当前图片识别开关状态。

4、在检测到当前图片识别开关状态为开启时，进入步骤获取当前业务流程对应的待检测图片。

5、获取当前业务流程对应的待检测图片，待检测图片包括当前商品对应的当前商品列表。

6、从待检测图片中确定当前商品列表所在的商品列表区域。

6-1、获取已训练好的目标对象检测模型，目标对象检测模型是用来识别图片中的列表区域的。

6-2、将待检测图片输入至目标对象检测模型，通过目标对象检测模型对待检测图片进行对象识别，得到待检测图片中当前商品列表所在的商品列表区域。

7、对商品列表区域进行裁剪，得到多个商品列表单元格。

8、将各个商品列表单元格确定为目标图片内容识别模型的输入，通过目标图片内容识别模型对各个商品列表单元格进行识别，得到各个商品列表单元格对应的商品列表单元格内容。

9、从目标业务系统中获取与当前业务流程对应的当前商品信息。

9-1、发送商品信息获取请求至目标业务系统，商品信息获取请求包括当前业务流程标识。

9-2、接收目标业务系统根据商品信息获取请求返回的与当前业务流程标识匹配的当前商品信息。

10、根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。

10-1、检测当前商品信息中是否存在与当前商品编码相同的商品编码信息，当前商品编码是当前商品对应的商品编码。

10-2、在检测到当前商品信息中存在与当前商品编码相同的商品编码信息时，比对当前商品信息中是否存在与各个商品列表单元格内容匹配的商品信息。

10-2-1、检测各个商品列表单元格内容是否存在商品列表空单元格内容。

10-2-2、将商品列表空单元格内容对应的商品列表单元格内容进行去除，剩下的商品列表单元格内容确定为中间商品列表单元格内容。

10-2-3、检测中间商品列表单元格内容对应的字符串是否是纯数字类型。

10-2-4、将纯数字类型对应的中间商品列表单元格内容转换为目标类型商品列表单元格内容。

10-2-5、比对当前商品信息中是否存在与目标类型商品列表单元格内容和非纯数字类型对应的中间商品列表单元格内容匹配的商品信息。

10-3、在检测到当前商品信息中不存在与当前商品编码相同的商品编码信息时，则确定当前业务流程中的已检测图片为异常检测图片，结束当前业务流程。

10-4、将与当前商品信息不匹配的商品列表单元格内容确定为异常商品列表单元格。

10-5、获取异常商品列表单元格的坐标信息，根据坐标信息在已检测图片中进行标注。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种图片识别装置800，包括：待检测图片获取模块802、列表区域确定模块804、列表区域裁剪模块806、列表单元格处理模块808、当前商品信息获取模块810和异常检测图片标注模块812，其中：

待检测图片获取模块802，用于获取当前业务流程对应的待检测图片，待检测图片包括当前商品对应的当前商品列表。

列表区域确定模块804，用于从待检测图片中确定当前商品列表所在的商品列表区域。

列表区域裁剪模块806，用于对商品列表区域进行裁剪，得到多个商品列表单元格。

列表单元格处理模块808，用于将各个商品列表单元格确定为目标图片内容识别模型的输入，通过目标图片内容识别模型对各个商品列表单元格进行识别，得到各个商品列表单元格对应的商品列表单元格内容。

当前商品信息获取模块810，用于从目标业务系统中获取与当前业务流程对应的当前商品信息。

异常检测图片标注模块812，用于根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。

在一个实施例中，图片识别装置800还用于获取当前业务流程启动指令，根据当前业务流程启动指令启动当前业务流程，获取当前业务流程对应的当前图片识别开关状态，在检测到当前图片识别开关状态为开启时，进入步骤获取当前业务流程对应的待检测图片。

在一个实施例中，列表区域确定模块804还用于获取已训练好的目标对象检测模型，目标对象检测模型是用来识别图片中的列表区域的，将待检测图片输入至目标对象检测模型，通过目标对象检测模型对待检测图片进行对象识别，得到待检测图片中当前商品列表所在的商品列表区域。

在一个实施例中，当前商品信息获取模块810还用于发送商品信息获取请求至目标业务系统，商品信息获取请求包括当前业务流程标识，接收目标业务系统根据商品信息获取请求返回的与当前业务流程标识匹配的当前商品信息。

在一个实施例中，异常检测图片标注模块812还用于检测当前商品信息中是否存在与当前商品编码相同的商品编码信息，当前商品编码是当前商品对应的商品编码，在检测到当前商品信息中存在与当前商品编码相同的商品编码信息时，比对当前商品信息中是否存在与各个商品列表单元格内容匹配的商品信息，将与当前商品信息不匹配的商品列表单元格内容确定为异常商品列表单元格，获取异常商品列表单元格的坐标信息，根据坐标信息在已检测图片中进行标注。

在一个实施例中，异常检测图片标注模块812还用于在检测到当前商品信息中不存在与当前商品编码相同的商品编码信息时，则确定当前业务流程中的已检测图片为异常检测图片，结束当前业务流程。

在一个实施例中，异常检测图片标注模块812还用于检测各个商品列表单元格内容是否存在商品列表空单元格内容，将商品列表空单元格内容对应的商品列表单元格内容进行去除，剩下的商品列表单元格内容确定为中间商品列表单元格内容，检测中间商品列表单元格内容对应的字符串是否是纯数字类型，将纯数字类型对应的中间商品列表单元格内容转换为目标类型商品列表单元格内容，比对当前商品信息中是否存在与目标类型商品列表单元格内容和非纯数字类型对应的中间商品列表单元格内容匹配的商品信息。

关于图片识别装置的具体限定可以参见上文中对于图片识别方法的限定，在此不再赘述。上述图片识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标图片内容识别模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图片识别方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图片识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9或图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取当前业务流程对应的待检测图片，待检测图片包括当前商品对应的当前商品列表；从待检测图片中确定当前商品列表所在的商品列表区域；对商品列表区域进行裁剪，得到多个商品列表单元格；将各个商品列表单元格确定为目标图片内容识别模型的输入，通过目标图片内容识别模型对各个商品列表单元格进行识别，得到各个商品列表单元格对应的商品列表单元格内容；从目标业务系统中获取与当前业务流程对应的当前商品信息；根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取当前业务流程启动指令，根据当前业务流程启动指令启动当前业务流程；获取当前业务流程对应的当前图片识别开关状态；在检测到当前图片识别开关状态为开启时，进入步骤获取当前业务流程对应的待检测图片。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取已训练好的目标对象检测模型，目标对象检测模型是用来识别图片中的列表区域的；将待检测图片输入至目标对象检测模型，通过目标对象检测模型对待检测图片进行对象识别，得到待检测图片中当前商品列表所在的商品列表区域。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：发送商品信息获取请求至目标业务系统，商品信息获取请求包括当前业务流程标识；接收目标业务系统根据商品信息获取请求返回的与当前业务流程标识匹配的当前商品信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：检测当前商品信息中是否存在与当前商品编码相同的商品编码信息，当前商品编码是当前商品对应的商品编码；在检测到当前商品信息中存在与当前商品编码相同的商品编码信息时，比对当前商品信息中是否存在与各个商品列表单元格内容匹配的商品信息；将与当前商品信息不匹配的商品列表单元格内容确定为异常商品列表单元格；获取异常商品列表单元格的坐标信息，根据坐标信息在已检测图片中进行标注。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在检测到当前商品信息中不存在与当前商品编码相同的商品编码信息时，则确定当前业务流程中的已检测图片为异常检测图片，结束当前业务流程。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：检测各个商品列表单元格内容是否存在商品列表空单元格内容；将商品列表空单元格内容对应的商品列表单元格内容进行去除，剩下的商品列表单元格内容确定为中间商品列表单元格内容；检测中间商品列表单元格内容对应的字符串是否是纯数字类型；将纯数字类型对应的中间商品列表单元格内容转换为目标类型商品列表单元格内容；比对当前商品信息中是否存在与目标类型商品列表单元格内容和非纯数字类型对应的中间商品列表单元格内容匹配的商品信息。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取当前业务流程对应的待检测图片，待检测图片包括当前商品对应的当前商品列表；从待检测图片中确定当前商品列表所在的商品列表区域；对商品列表区域进行裁剪，得到多个商品列表单元格；将各个商品列表单元格确定为目标图片内容识别模型的输入，通过目标图片内容识别模型对各个商品列表单元格进行识别，得到各个商品列表单元格对应的商品列表单元格内容；从目标业务系统中获取与当前业务流程对应的当前商品信息；根据当前商品信息与各个商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取当前业务流程启动指令，根据当前业务流程启动指令启动当前业务流程；获取当前业务流程对应的当前图片识别开关状态；在检测到当前图片识别开关状态为开启时，进入步骤获取当前业务流程对应的待检测图片。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取已训练好的目标对象检测模型，目标对象检测模型是用来识别图片中的列表区域的；将待检测图片输入至目标对象检测模型，通过目标对象检测模型对待检测图片进行对象识别，得到待检测图片中当前商品列表所在的商品列表区域。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：发送商品信息获取请求至目标业务系统，商品信息获取请求包括当前业务流程标识；接收目标业务系统根据商品信息获取请求返回的与当前业务流程标识匹配的当前商品信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：检测当前商品信息中是否存在与当前商品编码相同的商品编码信息，当前商品编码是当前商品对应的商品编码；在检测到当前商品信息中存在与当前商品编码相同的商品编码信息时，比对当前商品信息中是否存在与各个商品列表单元格内容匹配的商品信息；将与当前商品信息不匹配的商品列表单元格内容确定为异常商品列表单元格；获取异常商品列表单元格的坐标信息，根据坐标信息在已检测图片中进行标注。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在检测到当前商品信息中不存在与当前商品编码相同的商品编码信息时，则确定当前业务流程中的已检测图片为异常检测图片，结束当前业务流程。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：检测各个商品列表单元格内容是否存在商品列表空单元格内容；将商品列表空单元格内容对应的商品列表单元格内容进行去除，剩下的商品列表单元格内容确定为中间商品列表单元格内容；检测中间商品列表单元格内容对应的字符串是否是纯数字类型；将纯数字类型对应的中间商品列表单元格内容转换为目标类型商品列表单元格内容；比对当前商品信息中是否存在与目标类型商品列表单元格内容和非纯数字类型对应的中间商品列表单元格内容匹配的商品信息。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图片识别方法，所述方法包括：

获取当前业务流程对应的待检测图片，所述待检测图片包括当前商品对应的当前商品列表；

从所述待检测图片中确定所述当前商品列表所在的商品列表区域；

对所述商品列表区域进行裁剪，得到多个商品列表单元格；

将各个所述商品列表单元格确定为目标图片内容识别模型的输入，通过所述目标图片内容识别模型对各个所述商品列表单元格进行识别，得到各个所述商品列表单元格对应的商品列表单元格内容；

从目标业务系统中获取与所述当前业务流程对应的当前商品信息；

根据所述当前商品信息与各个所述商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。

2.根据权利要求1所述的方法，其特征在于，所述获取当前业务流程对应的待检测图片之前，包括：

获取当前业务流程启动指令，根据所述当前业务流程启动指令启动所述当前业务流程；

获取所述当前业务流程对应的当前图片识别开关状态；

在检测到所述当前图片识别开关状态为开启时，进入步骤获取当前业务流程对应的待检测图片。

3.根据权利要求1所述的方法，其特征在于，所述从所述待检测图片中确定所述当前商品列表所在的商品列表区域，包括：

获取已训练好的目标对象检测模型，所述目标对象检测模型是用来识别图片中的列表区域的；

将所述待检测图片输入至所述目标对象检测模型，通过所述目标对象检测模型对所述待检测图片进行对象识别，得到所述待检测图片中所述当前商品列表所在的商品列表区域。

4.根据权利要求1所述的方法，其特征在于，所述从目标业务系统中获取与所述当前业务流程对应的当前商品信息，包括：

发送商品信息获取请求至目标业务系统，所述商品信息获取请求包括当前业务流程标识；

接收所述目标业务系统根据所述商品信息获取请求返回的与当前业务流程标识匹配的当前商品信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述当前商品信息与各个所述商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注，包括：

检测所述当前商品信息中是否存在与当前商品编码相同的商品编码信息，所述当前商品编码是所述当前商品对应的商品编码；

在检测到当前商品信息中存在与当前商品编码相同的商品编码信息时，比对所述当前商品信息中是否存在与各个所述商品列表单元格内容匹配的商品信息；

将与所述当前商品信息不匹配的商品列表单元格内容确定为异常商品列表单元格；

获取所述异常商品列表单元格的坐标信息，根据所述坐标信息在所述已检测图片中进行标注。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在检测到当前商品信息中不存在与当前商品编码相同的商品编码信息时，则确定所述当前业务流程中的已检测图片为异常检测图片，结束所述当前业务流程。

7.根据权利要求5所述的方法，其特征在于，所述比对所述当前商品信息中是否存在与各个所述商品列表单元格内容匹配的商品信息，包括：

检测各个所述商品列表单元格内容是否存在商品列表空单元格内容；

将所述商品列表空单元格内容对应的商品列表单元格内容进行去除，剩下的商品列表单元格内容确定为中间商品列表单元格内容；

检测所述中间商品列表单元格内容对应的字符串是否是纯数字类型；

将纯数字类型对应的中间商品列表单元格内容转换为目标类型商品列表单元格内容；

比对所述当前商品信息中是否存在与所述目标类型商品列表单元格内容和非纯数字类型对应的中间商品列表单元格内容匹配的商品信息。

8.一种图片识别装置，其特征在于，所述装置包括：

待检测图片获取模块，用于获取当前业务流程对应的待检测图片，所述待检测图片包括当前商品对应的当前商品列表；

列表区域确定模块，用于从所述待检测图片中确定所述当前商品列表所在的商品列表区域；

列表区域裁剪模块，用于对所述商品列表区域进行裁剪，得到多个商品列表单元格；

列表单元格处理模块，用于将各个所述商品列表单元格确定为目标图片内容识别模型的输入，通过所述目标图片内容识别模型对各个所述商品列表单元格进行识别，得到各个所述商品列表单元格对应的商品列表单元格内容；

当前商品信息获取模块，用于从目标业务系统中获取与所述当前业务流程对应的当前商品信息；

异常检测图片标注模块，用于根据所述当前商品信息与各个所述商品列表单元格内容确定异常商品列表单元格，并在已检测图片中进行标注。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images