CN110059687A - 图片信息识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图片信息识别方法、装置、计算机设备和存储介质。该方法包括：接收第一终端上传的业务图片；当业务图片包含图表信息时，确定业务图片对应的图表类型；若图表类型为第一类型，提取业务图片中的图表线条，对多个图表线条进行拼接，得到第一图表；第一图表包括多个空白格；识别每个空白格对应的信息文本；将第一图表转换为第二图表；第二图表包括多个标准格；确定标准格与空白格之间的对应关系，根据对应关系将信息文本填充至标准格中，得到业务图片对应的业务图表，将业务图表存储至图表库。采用本方法能够提高图片信息获取效率。

Description

图片信息识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图片信息识别方法、装置、计算机设备和存储介质。

背景技术

对于图片上的文字，在较多情况下需要进行大段的复制使用。为了提高文字编辑效率，传统方式主要基于OCR(Optical Character Recognition，光学字符识别)技术将图片形式的文字转换为可编辑的文字。然而，传统方式仅简单的进行文字识别，但对于图片中图表的识别则是杂乱无章的。对于用户而言，仍无法基于识别转换结果进行直接快速复制使用，使得图片信息获取效率降低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高图片中图表信息还原效率的图片信息识别方法、装置、计算机设备和存储介质。

一种图片信息识别方法，所述方法包括：接收第一终端上传的业务图片；当所述业务图片包含图表信息时，确定所述业务图片对应的图表类型；若所述图表类型为第一类型，提取所述业务图片中的图表线条，对多个图表线条进行拼接，得到第一图表；所述第一图表包括多个空白格；识别每个空白格对应的信息文本；将所述第一图表转换为第二图表；所述第二图表包括多个标准格；确定所述标准格与空白格之间的对应关系，根据所述对应关系将所述信息文本填充至标准格中，得到业务图片对应的业务图表，将所述业务图表存储至图表库。

在其中一个实施例中，所述接收第一终端上传的业务图片，包括：接收第一终端发送的业务请求；所述业务请求携带了业务类型；获取所述业务类型对应的源业务页面队列；所述源业务页面队列包括特征页面；所述特征页面包括空白单元；将所述源业务页面队列返回至所述第一终端，使第一终端展示所述源业务页面队列，当显示特征页面时，采集业务数据，将采集的业务数据填入至特征页面的空白单元，生成目标业务页面队列；接收第一终端发送的目标业务页面队列，从所述目标业务页面队列中提取业务数据；所述业务数据包括业务文件；对所述业务文件进行扫描，得到至少一张包含图表信息的业务图片。

在其中一个实施例中，所述方法还包括：接收第二终端基于业务文件发送的图表查询请求；根据所述图表查询请求包含的查询字段，在图表库中查找对应的业务图表；获取所述业务图表在业务文件中的布局信息；将所述业务图表及对应的布局信息返回至所述第二终端；使第二终端根据布局信息在业务文件中对业务图表进行快速定位，并将相应业务图片采用获取到的业务图表进行替换。

在其中一个实施例中，所述提取所述业务图片中的图表线条，对多个图表线条进行拼接，得到第一图表，包括：根据横向腐蚀膨胀算法在所述业务图片上进行横向线条检测，得到多个横向线条；根据竖向腐蚀膨胀算法在所述业务图片上进行竖向线条检测，得到多个竖向线条；将所述横向线条和所述竖向线条相交，得到表格线图；通过边缘检测将所述表格线图中的非单元格元素过滤，得到第一图表。

在其中一个实施例中，所述识别每个空白格对应的信息文本，包括：剪取每个所述空白格中的信息区块图；将所述信息区块图输入预设的卷积神经网络模型，识别得到每个信息区块图对应的信息文本。

在其中一个实施例中，所述确定每个标准格相匹配的空白格，包括：确定每个标准格的起点坐标，根据起点坐标对第二图表进行遍历；查询当前遍历顺序的标准格是否存在起点坐标相同的空白格；若是，将起点坐标相同的空白格标记为相应标准格相匹配的空白格；否则，将同行前一列或者同列前一行标准格相匹配的空白格标记为当前遍历顺序标准格相匹配的空白格；将下一遍历顺序的标准格标记为当前遍历顺序的标准格，返回所述查询当前遍历顺序的标准格是否存在起点坐标相同的空白格的步骤，直至所述第二图表遍历完成。

一种图片信息识别装置，所述装置包括：图片识别模块，用于接收第一终端上传的业务图片；当所述业务图片包含图表信息时，确定所述业务图片对应的图表类型；表格重构模块，用于若所述图表类型为第一类型，提取所述业务图片中的图表线条，对多个图表线条进行拼接，得到第一图表；所述第一图表包括多个空白格；将所述第一图表转换为第二图表；所述第二图表包括多个标准格；文本映射模块，用于识别每个空白格对应的信息文本；确定所述标准格与空白格之间的对应关系，根据所述对应关系将所述信息文本填充至标准格中，得到业务图片对应的业务图表，将所述业务图表存储至图表库。

在其中一个实施例中，所述图片识别模块还用于接收第一终端发送的业务请求；所述业务请求携带了业务类型；获取所述业务类型对应的源业务页面队列；所述源业务页面队列包括特征页面；所述特征页面包括空白单元；将所述源业务页面队列返回至所述第一终端，使第一终端展示所述源业务页面队列，当显示特征页面时，采集业务数据，将采集的业务数据填入至特征页面的空白单元，生成目标业务页面队列；接收第一终端发送的目标业务页面队列，从所述目标业务页面队列中提取业务数据；所述业务数据包括业务文件；对所述业务文件进行扫描，得到至少一张包含图表信息的业务图片。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请任意一个实施例中提供的图片信息识别方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请任意一个实施例中提供的图片信息识别方法的步骤。

上述图片信息识别方法、装置、计算机设备和存储介质，根据第一终端上传的包含图表信息的业务图片，可以确定所述业务图片对应的图表类型；若所述图表类型为第一类型，可以提取所述业务图片中的图表线条；对多个图表线条进行拼接，可以得到包括多个空白格的第一图表；根据所述第一图表，可以映射得到对应包括多个标准格的第二图表；通过识别每个空白格对应的信息文本以及每个标准格相匹配的空白格，可以将空白格对应的信息文本填充至相匹配的标准格中，进而得到业务图片对应的业务图表；将所述业务图表存储至图表库，可以在接收到第二终端发送的图表查询请求时，基于所述图表库响应所述图表查询请求。由于将用户上传的业务图片包含的文本信息提取出来，对于包含合并单元格的图表也可以以图表的方式对文本信息的展示方式进行还原。当用户对业务图片进行查询时，可以直接利用业务图片中的文本信息，大大提高图片信息获取效率。

附图说明

图1为一个实施例中图片信息识别方法的应用场景图；

图2为一个实施例中图片信息识别方法的流程示意图；

图3为一个实施例中第一图表重构的步骤的流程示意图；

图4为一个实施例中图片信息识别装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的图片信息识别方法，可以应用于如图1所示的应用环境中。其中，第一终端102与服务器104通过网络进行通信，第二终端106与服务器104通过网络进行通信。其中，第一终端102与第二终端106分别可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。当用户在第一终端102办理业务时，可以上传业务图片。业务图片可以包含图表信息。第一终端102将业务图片上传至服务器104。服务器104基于预设的卷积神经网络模式识别业务图片所包含图表的图表类型。图表类型包括第一类型、第二类型等。当图表类型为第一类型时，服务器104提取业务图片中的图表线条，对多个图表线条进行拼接，得到第一图表。第一图表包括多个空白格。服务器104识别每个空白格对应的信息文本。服务器104将第一图表映射为对应的第二图表。第二图表包括多个标准格。服务器104确定标准格与空白格之间的匹配关系，即确定每个标准格相匹配的空白格。服务器104将空白格对应的信息文本填充至相匹配的标准格中，得到业务图片对应的业务图表，并将业务图表存储至图表库。当后续接收到第二终端106发送的图表查询请求时，服务器104基于图表库响应图表查询请求。第一终端102与第二终端106可以是同一终端。上述图片信息查询过程，服务器将用户上传的业务图片包含的文本信息提取出来，并以图表的方式对文本信息的展示方式进行还原，当用户对业务图片进行查询时，可以直接利用业务图片中的文本信息，大大提高图片信息获取效率。

在一个实施例中，如图2所示，提供了一种图片信息识别方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤202，接收第一终端上传的业务图片。

第一终端上安装了业务平台。当用户需要办理业务时，通过第一终端上的业务平台上传业务资料。业务资料可以是业务文件或业务图片。业务文件中可以包含一张或多张业务图片，其中至少一张业务图片记录了图表信息。业务图片可以是截图、照片等。服务器对接收到包含图表信息的业务图片进行二值化处理，以将彩色的业务图片转换为黑白图片。

步骤204，当业务图片包含图表信息时，确定业务图片对应的图表类型。

业务图片中图表的图表类型可以是带有表格线条的excel表，也可以是不带有表格线条但具有表格格式的excel表，还可以是柱状图、折线图等。服务器基于包含不同类型图表的样本图片对初始模型进行训练，得到图像处理模型。初始模型可以是卷积神经网络(Convolutional Neural Network，CNN)模型。服务器将二值化处理后的业务图片输入图像处理模型，可以得到业务图片的多种图片信息。图片信息包括图片位置、图表类型以及图元信息。图片位置是指业务图片在业务文件中的页码信息。图元信息包括图元字段和图元坐标等。

步骤206，若图表类型为第一类型，提取业务图片中的图表线条，对多个图表线条进行拼接，得到第一图表；第一图表包括多个空白格。

若图表类型为第一类型，即为带有表格线条的excel表时，服务器通过腐蚀膨胀方式提取业务图片中的横向线条和纵向线条，将横向线条和竖向线条按照坐标位置进行相交，得到第一图表。第一图表包括多个空白单元格(记作空白格)。容易理解，第一图表可以包括合并单元格。

步骤208，识别每个空白格对应的信息文本。

在一个实施例中，识别每个空白格对应的信息文本，包括：剪取每个空白格中的信息区块图；将信息区块图输入预设的卷积神经网络模型，识别得到每个信息区块图对应的信息文本。

根据边缘检测得到的每一个单元格坐标，根据单元格坐标剪切出每一个空白格的单元格图片(记作信息区块图)。

步骤210，将第一图表转换为第二图表；第二图表包括多个标准格。

服务器确定第一图表对应的最大列数和最大行数，根据最大行数和最大列数生成第二图表。容易理解，第二图表不存在合并单元格。

步骤212，确定标准格与空白格之间的对应关系，根据对应关系将信息文本填充至标准格中，得到业务图片对应的业务图表，将业务图表存储至图表库。

每个空白格相匹配的标准格可以是多个。例如，若空白格为合并单元格，则存在多个相匹配的同行或同列的标准格。

在一个实施例中，该方法还包括：接收第二终端基于业务文件发送的图表查询请求；根据图表查询请求包含的查询字段，在图表库中查找对应的业务图表；获取业务图表在业务文件中的布局信息；将业务图表及对应的布局信息返回至第二终端；使第二终端根据布局信息在业务文件中对业务图表进行快速定位，并将相应业务图片采用获取到的业务图表进行替换。

当接收到第二终端基于业务文件发送的图表查询请求时，服务器根据图表查询请求携带的查询字段，在图表库中查找包含查找字段的业务图表，获取业务图表对应的图片位置，将业务图表以及图片位置发送至第二终端。第二终端根据图片位置对业务图片进行快速定位，并根据图片位置将业务文件中的相业务图片采用获取到的业务图表进行替换。

本实施例中，根据第一终端上传的包含图表信息的业务图片，可以确定业务图片对应的图表类型；若图表类型为第一类型，可以提取业务图片中的图表线条；对多个图表线条进行拼接，可以得到包括多个空白格的第一图表；根据第一图表，可以映射得到对应包括多个标准格的第二图表；通过识别每个空白格对应的信息文本以及每个标准格相匹配的空白格，可以将空白格对应的信息文本填充至相匹配的标准格中，进而得到业务图片对应的业务图表；将业务图表存储至图表库，可以在接收到第二终端发送的图表查询请求时，基于图表库响应图表查询请求。由于将用户上传的业务图片包含的文本信息提取出来，对于包含合并单元格的图表也可以以图表的方式对文本信息的展示方式进行还原。当用户对业务图片进行查询时，可以直接利用业务图片中的文本信息，大大提高图片信息获取效率。

在一个实施例中，接收第一终端上传的业务图片，包括：接收第一终端发送的业务请求；业务请求携带了业务类型；获取业务类型对应的源业务页面队列；源业务页面队列包括特征页面；特征页面包括空白单元；将源业务页面队列返回至第一终端，使第一终端展示源业务页面队列，当显示特征页面时，采集业务数据，将采集的业务数据填入至特征页面的空白单元，生成目标业务页面队列；接收第一终端发送的目标业务页面队列，从目标业务页面队列中提取业务数据；业务数据包括业务文件；对业务文件进行扫描，得到至少一张包含图表信息的业务图片。

服务器根据业务请求向第一终端返回业务页面。业务页面包括第一业务模式和第二业务模式两个选项，业务页面还包括多种业务类型的选项。第一终端监听业务请求人对业务模式选项以及业务类型选项的选定指令。第一终端根据选定指令生成对应的业务办理请求，将业务办理请求发送至服务器。业务办理请求包含业务类型和业务模式。

若业务模式为第一业务模式，则服务器获取预存储对应业务类型的源业务页面队列。每个源业务页面队列中包含办理相应业务所涉及的所有业务页面。源业务页面队列可以是业务机构在业务平台发布业务产品时进行模拟业务办理预先配置的。源业务页面队列包括有序排列的多个业务页面。源业务页面队列中至少一个业务页面为包含空白单元的特征页面。

在一个实施例中，获取业务类型对应的源业务页面队列之前，还包括：接收第二终端发送的页面录制请求；根据页面录制请求，监听第二终端展示的多个业务页面；添加每个业务页面的页面标签，生成页面标签与业务页面之间的关联关系；当业务页面包含输入框时，采用空白单元替代输入框；根据替换后的业务页面以及关联关系生成源业务页面队列。

源业务页面队列可以是视频，也可以是可以按照预设时间频率或其他预设条件自动切换的动图等。源业务页面队列中多个业务页面的排列顺序可以根据进行相应业务处理时业务页面之间的跳转关系确定。每个业务页面具有对应的页面标签，业务页面之间的排序顺序可以用页面标签与页面之间的关联关系进行表征。例如，触发第一业务页面的第一业务产品标签，显示第一业务产品的详情页面，则建立如第一业务页面的第一业务产品标签与第一业务产品的详情页面之间的关联关系。

服务器将源业务页面队列发送至第一终端。第一终端展示源业务页面队列，当显示特征页面时，采集业务数据，将采集的业务数据填入至特征页面的空白单元，生成带有业务数据的目标业务页面队列。具体的，业务请求人根据源业务页面队列提示，在第一终端前做出指定动作，录入业务数据。业务数据可以是现实场景数据，如带有业务请求人特征信息的指纹信息、人脸图像，语音授权信息、手持身份证件的录制视频等。第一终端去自动采集业务数据，并自动填入到相应的空白单元。若获取的数据满足条件，则展示下一个业务页面，直至源业务页面队列展示最后一个业务页面，生成目标业务页面队列。目标业务页面队列包括相应业务的办理说明，以及办理该业务需要的业务请求人特征信息。

第一终端将目标业务页面队列发送至服务器。服务器从目标业务页面队列中提取业务数据，基于业务数据进行业务处理。

本实施例中，用户可根据展示的带有空白单元的源业务页面队列的提示一次性录入申请办理的业务所需要的所有业务数据，生成带有用户特征的目标业务页面队列，然后只需等待后台反馈的业务办理结果即可。用户无需参与到业务办理流程中去逐个节点的输入相应的信息，业务办理占用用户的时间将大大较少。

在一个实施例中，如图3所示，提取业务图片中的图表线条，对多个图表线条进行拼接，得到第一图表，即第一图表重构的步骤，包括：

步骤302，根据横向腐蚀膨胀算法在业务图片上进行横向线条检测，得到多个横向线条。

服务器通过横向腐蚀膨胀方式在业务图片上进行横向线条检测，得到多个横向线条，并获取每个横向线条的线条长度和线条宽度。服务器确定线条长度最大的横向线条，并对线条长度最大的横向线条的两端垂直线条(记作“横向宽度”)之外的其他线条进行过滤。换言之，过滤掉不在横向宽度范围之内的其他线条。

步骤304，根据竖向腐蚀膨胀算法在业务图片上进行竖向线条检测，得到多个竖向线条。

服务器通过竖向腐蚀膨胀方式在业务图片上进行竖向线条检测，得到多个竖向线条，并获取每个竖向线条的线条长度和线条宽度。服务器确定线条长度最大的竖向线条，并对线条长度最大的竖向线条的两端垂直线条(记作“竖向宽度”)之外的其他线条进行过滤。换言之，过滤掉不在竖向宽度范围之内的其他线条。通过对不在横向宽度范围之内或不在竖向宽度范围之内的其他线条进行过滤，可以去除非表格范围之内的多余线条。

步骤306，将横向线条和竖向线条相交，得到表格线图。

步骤308，通过边缘检测将表格线图中的非单元格元素过滤，得到第一图表。

服务器将横向线条和竖向线条相交，得到表格线图。服务器根据边缘检测得到表格线图中每一个单元格的起点坐标、单元格宽度和单元格高度。根据单元格宽度和单元格高度，服务器可以识别表格线图中的非单元格元素，将检测出来的非单元格元素过滤掉，得到第一图表。例如，要求单元格宽度和单元格高度必须均大于15像素。当进行边缘检测时，检测出来的多余竖向线条边缘，可以看做一个宽度很小的矩形，这个小矩形就可以根据单元格宽度要求进行过滤。同理，横向的多余线条根据边缘检测出来为高度很小的矩形，根据单元格高度要求可以过滤掉。

本实施例中，通过腐蚀膨胀算法对业务图片中的业务图表进行重构，并对其中包含的杂乱的非图表元素进行过滤，可以向用户提供干净整洁的业务图表，从而进一步提高图片信息获取效率。

在一个实施例中，确定每个标准格相匹配的空白格，包括：确定每个标准格的起点坐标，根据起点坐标对第二图表进行遍历；查询当前遍历顺序的标准格是否存在起点坐标相同的空白格；若是，将起点坐标相同的空白格标记为相应标准格相匹配的空白格；否则，将同行前一列或者同列前一行标准格相匹配的空白格标记为当前遍历顺序标准格相匹配的空白格；将下一遍历顺序的标准格标记为当前遍历顺序的标准格，返回查询当前遍历顺序的标准格是否存在起点坐标相同的空白格的步骤，直至第二图表遍历完成。

服务器确定每个标准格的起点坐标，根据起点坐标对标准格进行遍历。每个单元格左上角的位置可以作为起点坐标。按照“Z”字方向对第二图表进行循环扫描遍历。服务器查询当前遍历顺序的标准格是否存在起点坐标相同的空白格。若是，服务器将起点坐标相同的空白格标记为相应标准格相匹配的空白格。

若不存在起点坐标相同的空白格，服务器将同行前一列或者同列前一行标准格相匹配的空白格标记为当前遍历顺序标准格相匹配的空白格。具体的，若一个标准格存在纵坐标相同但横坐标不同的空白格，则表示该标准格与同行前一列的标准格被合并了，服务器将同行前一列标准格相匹配的空白格标记为当前标准格相匹配的空白格。若一个标准格存在横坐标相同但纵坐标不同的空白格，则表示该标准格与同行前一列的标准格被合并了，服务器将同行前一列标准格相匹配的空白格标记为当前标准格相匹配的空白格。在另一个实施例中，服务器计算标准格与空白格的相交度。相交度可以是标准格与空白格的重叠面积比例。相交度可以是25％，50％这样的比例值其中的一个。服务器将相交度符合预设条件的空白格标记为相应标准格相匹配的空白格。

服务器按照上述方式确定下一遍历顺序的标准格相匹配的空白格，直至第二图表中最后一个标准格。

本实施例中，通过将标准格与空白格进行匹配，可以确定合并单元格内文本信息的展示方式，进而可以还原包括合并单元格的图表。

应该理解的是，虽然图2～图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2～图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种图片信息识别装置，包括：图片识别模块402、表格重构模块404和文本映射模块406，其中：

图片识别模块402，用于接收第一终端上传的业务图片；当业务图片包含图表信息时，确定业务图片对应的图表类型。

表格重构模块404，用于若图表类型为第一类型，提取业务图片中的图表线条，对多个图表线条进行拼接，得到第一图表；第一图表包括多个空白格；将第一图表转换为第二图表；第二图表包括多个标准格。

文本映射模块406，用于识别每个空白格对应的信息文本；确定标准格与空白格之间的对应关系，根据对应关系将信息文本填充至标准格中，得到业务图片对应的业务图表，将业务图表存储至图表库。

在一个实施例中，图片识别模块402还用于接收第一终端发送的业务请求；业务请求携带了业务类型；获取业务类型对应的源业务页面队列；源业务页面队列包括特征页面；特征页面包括空白单元；将源业务页面队列返回至第一终端，使第一终端展示源业务页面队列，当显示特征页面时，采集业务数据，将采集的业务数据填入至特征页面的空白单元，生成目标业务页面队列；接收第一终端发送的目标业务页面队列，从目标业务页面队列中提取业务数据；业务数据包括业务文件；对业务文件进行扫描，得到至少一张包含图表信息的业务图片。

在一个实施例中，该装置还包括图片查询模块408，用于接收第二终端基于业务文件发送的图表查询请求；根据图表查询请求包含的查询字段，在图表库中查找对应的业务图表；获取业务图表在业务文件中的布局信息；将业务图表及对应的布局信息返回至第二终端；使第二终端根据布局信息在业务文件中对业务图表进行快速定位，并将相应业务图片采用获取到的业务图表进行替换。

在一个实施例中，表格重构模块404还用于根据横向腐蚀膨胀算法在业务图片上进行横向线条检测，得到多个横向线条；根据竖向腐蚀膨胀算法在业务图片上进行竖向线条检测，得到多个竖向线条；将横向线条和竖向线条相交，得到表格线图；通过边缘检测将表格线图中的非单元格元素过滤，得到第一图表。

在一个实施例中，文本映射模块406还用于剪取每个空白格中的信息区块图；将信息区块图输入预设的卷积神经网络模型，识别得到每个信息区块图对应的信息文本。

在一个实施例中，文本映射模块406还用于确定每个标准格的起点坐标，根据起点坐标对第二图表进行遍历；查询当前遍历顺序的标准格是否存在起点坐标相同的空白格；若是，将起点坐标相同的空白格标记为相应标准格相匹配的空白格；否则，将同行前一列或者同列前一行标准格相匹配的空白格标记为当前遍历顺序标准格相匹配的空白格；将下一遍历顺序的标准格标记为当前遍历顺序的标准格，返回查询当前遍历顺序的标准格是否存在起点坐标相同的空白格的步骤，直至第二图表遍历完成。

关于图片信息识别装置的具体限定可以参见上文中对于图片信息识别方法的限定，在此不再赘述。上述图片信息识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储业务图表。该计算机设备的网络接口用于与外部终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图片信息识别方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请任意一个实施例中提供的图片信息识别方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体详细，但并不能因此理解为对发明专利范围的限制。应指出的是，对本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图片信息识别方法，所述方法包括：

接收第一终端上传的业务图片；

当所述业务图片包含图表信息时，确定所述业务图片对应的图表类型；

若所述图表类型为第一类型，提取所述业务图片中的图表线条，对多个图表线条进行拼接，得到第一图表；所述第一图表包括多个空白格；

识别每个空白格对应的信息文本；

将所述第一图表转换为第二图表；所述第二图表包括多个标准格；

确定所述标准格与空白格之间的对应关系，根据所述对应关系将所述信息文本填充至标准格中，得到业务图片对应的业务图表，将所述业务图表存储至图表库。

2.根据权利要求1所述的方法，其特征在于，所述接收第一终端上传的业务图片，包括：

接收第一终端发送的业务请求；所述业务请求携带了业务类型；

获取所述业务类型对应的源业务页面队列；所述源业务页面队列包括特征页面；所述特征页面包括空白单元；

将所述源业务页面队列返回至所述第一终端，使第一终端展示所述源业务页面队列，当显示特征页面时，采集业务数据，将采集的业务数据填入至特征页面的空白单元，生成目标业务页面队列；

接收第一终端发送的目标业务页面队列，从所述目标业务页面队列中提取业务数据；所述业务数据包括业务文件；

对所述业务文件进行扫描，得到至少一张包含图表信息的业务图片。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

接收第二终端基于业务文件发送的图表查询请求；

根据所述图表查询请求包含的查询字段，在图表库中查找对应的业务图表；

获取所述业务图表在业务文件中的布局信息；

将所述业务图表及对应的布局信息返回至所述第二终端；使第二终端根据布局信息在业务文件中对业务图表进行快速定位，并将相应业务图片采用获取到的业务图表进行替换。

4.根据权利要求1所述的方法，其特征在于，所述提取所述业务图片中的图表线条，对多个图表线条进行拼接，得到第一图表，包括：

根据横向腐蚀膨胀算法在所述业务图片上进行横向线条检测，得到多个横向线条；

根据竖向腐蚀膨胀算法在所述业务图片上进行竖向线条检测，得到多个竖向线条；

将所述横向线条和所述竖向线条相交，得到表格线图；

通过边缘检测将所述表格线图中的非单元格元素过滤，得到第一图表。

5.根据权利要求1所述的方法，其特征在于，所述识别每个空白格对应的信息文本，包括：

剪取每个所述空白格中的信息区块图；

将所述信息区块图输入预设的卷积神经网络模型，识别得到每个信息区块图对应的信息文本。

6.根据权利要求1所述的方法，其特征在于，所述确定每个标准格相匹配的空白格，包括：

确定每个标准格的起点坐标，根据起点坐标对第二图表进行遍历；

查询当前遍历顺序的标准格是否存在起点坐标相同的空白格；

若是，将起点坐标相同的空白格标记为相应标准格相匹配的空白格；

否则，将同行前一列或者同列前一行标准格相匹配的空白格标记为当前遍历顺序标准格相匹配的空白格；

将下一遍历顺序的标准格标记为当前遍历顺序的标准格，返回所述查询当前遍历顺序的标准格是否存在起点坐标相同的空白格的步骤，直至所述第二图表遍历完成。

7.一种图片信息识别装置，所述装置包括：

图片识别模块，用于接收第一终端上传的业务图片；当所述业务图片包含图表信息时，确定所述业务图片对应的图表类型；

表格重构模块，用于若所述图表类型为第一类型，提取所述业务图片中的图表线条，对多个图表线条进行拼接，得到第一图表；所述第一图表包括多个空白格；将所述第一图表转换为第二图表；所述第二图表包括多个标准格；

文本映射模块，用于识别每个空白格对应的信息文本；确定所述标准格与空白格之间的对应关系，根据所述对应关系将所述信息文本填充至标准格中，得到业务图片对应的业务图表，将所述业务图表存储至图表库。

8.根据权利要求7所述的装置，其特征在于，所述图片识别模块还用于接收第一终端发送的业务请求；所述业务请求携带了业务类型；获取所述业务类型对应的源业务页面队列；所述源业务页面队列包括特征页面；所述特征页面包括空白单元；将所述源业务页面队列返回至所述第一终端，使第一终端展示所述源业务页面队列，当显示特征页面时，采集业务数据，将采集的业务数据填入至特征页面的空白单元，生成目标业务页面队列；接收第一终端发送的目标业务页面队列，从所述目标业务页面队列中提取业务数据；所述业务数据包括业务文件；对所述业务文件进行扫描，得到至少一张包含图表信息的业务图片。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。