CN112396048A - 图片信息提取方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例属于人工智能技术领域，涉及一种图片信息提取方法及相关设备，可应用于智慧政务领域，包括：获取目标图片，检测目标图片中每个元素的信息边界框；根据信息边界框对元素进行粗排序，得到粗排序元素表，基于粗排序元素表获取目标图片的高置信度行；计算高置信度行中每个元素的中心坐标，根据中心坐标计算高置信度行的斜率；获取目标图片中所有元素的中心坐标，根据中心坐标和斜率确定元素属于同一行的行片段，以及元素属于同一列的列片段；按照行片段和列片段对所有元素重新进行排序，得到目标图片对应的结构化信息表。此外，本申请还涉及区块链技术，结构化信息表可存储于区块链中。本申请实现了对图片信息的准确提取。

Description

图片信息提取方法、装置、计算机设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种图片信息提取方法、装置、计算机设备及存储介质。

背景技术

当前，图像识别的方式有多种，为得到图像中的表格信息，主要通过OCR图像识别对目标图像进行识别，得到带有坐标的原始字符串列表。然而，通过OCR图像识别无法直接根据这些初始的无序信息直接得到有效信息。

因此，如果想要得到图片中的有效信息，则首先需要知道图片中各个片段的相对位置关系，根据图片的结构化信息，将OCR识别结果以列表的形式进行恢复。然而，当图片发生旋转时，普通的结构化方法将出现行、列错乱的问题。由此导致图片信息识别错误的问题。

发明内容

本申请实施例的目的在于提出一种图片信息提取方法、装置、计算机设备及存储介质，旨在解决图片信息识别错误的技术问题。

为了解决上述技术问题，本申请实施例提供一种图片信息提取方法，采用了如下所述的技术方案：

一种图片信息提取方法，包括以下步骤：

获取目标图片，检测所述目标图片中每个元素的信息边界框；

根据所述信息边界框对所述元素进行粗排序，得到粗排序元素表，基于所述粗排序元素表获取所述目标图片的高置信度行；

计算所述高置信度行中每个所述元素的中心坐标，根据所述中心坐标计算所述高置信度行的斜率；

获取所述目标图片中所有所述元素的所述中心坐标，根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一行的行片段，并根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一列的列片段；

按照所述行片段和所述列片段对所有所述元素重新进行排序，得到所述目标图片对应的结构化信息表。

进一步的，所述检测所述目标图片中每个元素的信息边界框的步骤包括：

按照x轴从小到大扫描所述目标图片的信息内容，识别所述目标图片中每个所述元素的边界坐标；

根据所述边界坐标确定每个所述元素对应的所述信息边界框。

进一步的，所述基于所述粗排序元素表获取所述目标图片的高置信度行的步骤包括：

获取所述粗排序元素表中每行的所述信息边界框的个数；

将所述个数大于等于预设阈值的行确定为高置信度行。

进一步的，所述根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一行的行片段的步骤包括：

根据所述中心坐标和所述斜率，计算所述目标图片中每个所述元素与y轴的第一交点坐标；

计算不同所述元素之间的所述第一交点坐标的第一差值，将所述第一差值小于等于第一预设误差值的元素作为同一行的行元素，组合所述同一行的行元素为一个所述行片段。

进一步的，所述根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一列的列片段的步骤包括：

根据所述斜率计算所述高置信度行对应的法线斜率，并根据所述法线斜率和所有所述中心坐标，计算每个所述元素与x轴的第二交点坐标；

计算不同所述元素之间的所述第二交点坐标的第二差值，将所述第二差值小于等于第二预设误差值的元素作为同一列的列元素，组合所述同一列的列元素为一个所述列片段。

进一步的，所述按照所述行片段和所述列片段对所有所述元素重新进行排序，得到所述目标图片对应的结构化信息表的步骤包括：

根据所述行片段和所述列片段，确定所有所述元素的索引坐标；

按照所述索引坐标对所有所述元素重新进行排序，得到所述目标图片对应的所述结构化信息表。

进一步的，所述按照所述索引坐标对所有所述元素重新进行排序，得到所述目标图片对应的所述结构化信息表的步骤包括：

合并所述索引坐标相同的所述元素为一个子片段；

将所述子片段中的每个所述元素的信息边界框合并为一个片段边界框，将所述片段边界框中的所有所述元素作为新的识别文本保存在所述结构化信息表中。

为了解决上述技术问题，本申请实施例还提供一种图片信息提取装置，采用了如下所述的技术方案：

检测模块，用于获取目标图片，检测所述目标图片中每个元素的信息边界框；

第一排序模块，用于根据所述信息边界框对所述元素进行粗排序，得到粗排序元素表，基于所述粗排序元素表获取所述目标图片的高置信度行；

计算模块，用于计算所述高置信度行中每个所述元素的中心坐标，根据所述中心坐标计算所述高置信度行的斜率；

确认模块，用于获取所述目标图片中所有所述元素的所述中心坐标，根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一行的行片段，并根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一列的列片段；

第二排序模块，用于按照所述行片段和所述列片段对所有所述元素重新进行排序，得到所述目标图片对应的结构化信息表。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器和处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图片信息提取方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图片信息提取方法的步骤。

上述图片信息提取方法，通过获取目标图片，检测目标图片中每个元素的信息边界框；根据信息边界框对元素进行粗排序，得到粗排序元素表，而由于粗排序之后得到的粗排序元素表中仍然可能会出现元素的错位，因此，基于粗排序元素表获取目标图片的高置信度行，计算高置信度行中每个元素的中心坐标，根据中心坐标计算高置信度行的斜率；之后，获取目标图片中所有元素的中心坐标，根据所有中心坐标和斜率确定在目标图片中元素属于同一行的行片段，并根据所有中心坐标和斜率确定在目标图片中元素属于同一列的列片段；按照行片段和列片段对所有元素重新进行排序，消除粗排序元素表中可能发生错位的元素，最终得到目标图片对应的结构化信息表。由此，实现了对图片信息的准确提取，尤其是在图片发生倾斜时对图片信息的正确提取，避免了图片信息提取的错误，提高了图片信息提取的准确率及效率。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2是图片信息提取方法的一个实施例的流程示意图；

图3是一份检查报告的片段合并示意图；

图4是根据本申请的图片信息提取装置的一个实施例的结构示意图；

图5是根据本申请的计算机设备的一个实施例的结构示意图。

附图标记：图片信息提取装置400，检测模块401，第一排序模块402，计算模块403，确认模块404，第二排序模块405。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的图片信息提取方法一般由服务端/终端执行，相应地，图片信息提取装置一般设置于服务端/终端设备中。

应该理解，图1中的终端、网络和服务端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的图片信息提取方法的一个实施例的流程图。所述图片信息提取方法，包括以下步骤：

步骤S201，获取目标图片，检测所述目标图片中每个元素的信息边界框；

在本实施例中，目标图片为目标的处理图片，该目标图片中包括有图表类的文字信息，如体检报告单、流程表等。在得到目标图片时，检测该目标图片中每个元素的信息边界框，其中，元素为每个边界框中所包括的所有文本信息。在得到目标图片时，获取同属一类的文本信息，将同类的文本信息组合为元素，识别每个元素的边界坐标(即左下角、左上角、右下角和右上角的坐标)，即可得到每个元素对应的信息边界框。例如，一份体检报告包括“姓名:张三”、“性别:女”、“年龄:42岁”，该“姓名:张三”、“性别:女”、“年龄:42岁”则分别对应不同的元素。

步骤S202，根据所述信息边界框对所述元素进行粗排序，得到粗排序元素表，基于所述粗排序元素表获取所述目标图片的高置信度行；

在本实施例中，在得到目标图片中的所有信息边界框时，根据该信息边界框对目标图片中的元素进行粗排序，即将每个信息边界框的左下点坐标的x坐标，从小到大进行排序，将由小到大依次递增的左下角坐标对应的元素作为同一行元素；在x坐标依次递增之后，检测到x坐标减小时，则将减小的x坐标对应的元素作为第二行的头元素，依次类推，即可得到目标图片对应的粗排序元素表。在得到粗排序元素表时，将该粗排序元素表中元素个数大于等于预设个数的行作为高置信度行，例如，在粗排序元素表中第二行的元素个数大于等于预设个数，则确定第二行为高置信度行。

步骤S203，计算所述高置信度行中每个所述元素的中心坐标，根据所述中心坐标计算所述高置信度行的斜率；

在本实施例中，在得到高置信度行时，计算该高置信度行的斜率，该斜率可根据该高置信度行的长度和宽度计算得到，也可根据高置信度行中的每个元素的中心坐标计算得到。计算目标图片的每个元素的中心坐标，其中，每个元素的边界坐标在x轴的平均值即为该元素对应中心坐标的x值，每个元素的边界坐标在y轴的平均值即为该元素对应中心坐标的y值。在得到该中心坐标时，通过最小二乘法对高置信度行中包括的元素的中心坐标进行拟合，得到该高置信度行对应的拟合直线，最小二乘法为一种计算误差估计、不确定度和系统辨识及预测的数学工具；在得到高置信度行对应的拟合直线时，计算拟合直线的平均值，即得到该高置信度行的斜率。

步骤S204，获取所述目标图片中所有所述元素的所述中心坐标，根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一行的行片段，并根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一列的列片段；

在本实施例中，在计算得到中心坐标和高置信度行的斜率时，将该斜率作为目标图片中每个元素的行斜率，将该斜率倒数的负数作为目标图片中每个元素的列斜率。根据该行斜率和中心坐标，则可以确定以该行斜率为直线斜率并经过这个中心点的直线，即该元素所在的直线。计算每个元素所在的直线与x轴的第一交点坐标和与y轴的第二交点坐标，将目标图片中所有第一交点坐标之间的差值小于等于第一预设误差值的元素，确定为同一行的元素，同一行的元素即组成一个行片段；将所有第二交点坐标之间的差值小于等于第二预设误差值的元素，确定为同一列的元素，同一列的元素即组成一个列片段。

步骤S205，按照所述行片段和所述列片段对所有所述元素重新进行排序，得到所述目标图片对应的结构化信息表。

在本实施例中，在得到目标图片的行片段和列片段时，获取目标图片中每个元素的行索引和列索引，其中，该行索引和列索引为每个元素所在的行序号和列序号组成的索引坐标，行序号和列序号代表每个元素属于的行和所属的列。在得到索引坐标时，遍历所有索引坐标对应的元素，根据该索引坐标对目标图片的每个元素进行重新排序，重新排序后的元素表则为该目标图片对应的结构化信息表。

需要强调的是，为进一步保证上述结构化信息表的私密和安全性，上述结构化信息表还可以存储于一区块链的节点中。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本实施例实现了对图片信息的准确提取，尤其是在图片发生倾斜时对图片信息的正确提取，避免了图片信息提取的错误，提高了图片信息提取的准确率及效率。

在本申请的一些实施例中，上述检测所述目标图片中每个元素的信息边界框包括：

按照x轴从小到大扫描所述目标图片的信息内容，识别所述目标图片中每个所述元素的边界坐标；

根据所述边界坐标确定每个所述元素对应的所述信息边界框。

在本实施例中，在获取到目标图片时，沿着x轴从小到大对该目标图片的内容进行依次扫描检测，将间隔大于等于预设间隔的两个文本信息作为两个相互独立的元素所包括的信息，将间隔小于预设间隔的两个文本信息包括在同一元素中。不同的信息边界框则包括不同的元素，检测每个元素的左下点坐标和对应的宽和高，即可得到每个元素左下角、左上角、右下角和右上角对应的边界坐标，根据该边界坐标即可确定每个元素的信息边界框。

本实施例通过对信息边界框进行确定，可以使得通过该信息边界框能够较快地得到粗排序结果，提高了图片信息提取的效率。

在本申请的一些实施例中，上述基于所述粗排序元素表获取所述目标图片的高置信度行包括：

获取所述粗排序元素表中每行的所述信息边界框的个数；

将所述个数大于等于预设阈值的行确定为高置信度行。

在本实施例中，在得到目标图片对应的粗排序元素表后，由于目标图片可能存在倾斜或翻转，所得到的粗排序元素表的结果并不准确，在粗排序元素表中可能会出现文本的“串行”。因此，在得到粗排序元素表后需要对当前粗排序元素表中的高置信度行进行确定，其中，高置信度行即表示“串行”概率较低的行。具体地，获取预设阈值，该预设阈值为预先设定的个数阈值，以及粗排序元素表中每行元素对应的信息边界框的个数，将个数大于等于预设阈值的行确定为高置信度行。

本实施例通过对高置信度行进行确定，实现了对粗排序元素表中串行概率较低的行的确定，使得通过该高置信度行能够对目标图片进行精确地矫正，避免了信息提取的错误。

在本申请的一些实施例中，上述根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一行的行片段包括：

根据所述中心坐标和所述斜率，计算所述目标图片中每个所述元素与y轴的第一交点坐标；

计算不同所述元素之间的所述第一交点坐标的第一差值，将所述第一差值小于等于第一预设误差值的元素作为同一行的行元素，组合所述同一行的行元素为一个所述行片段。

在本实施例中，高置信度行对应的斜率即为目标图片的行斜率，根据行斜率和每个元素的中心坐标可以确定对应的直线，该直线与y轴的交点即为该元素与y轴的第一交点坐标，计算目标图片中不同元素之间第一交点坐标的第一差值，将该第一差值小于等于第一预设误差值的元素作为同一行的行元素。例如，一组元素的第一交点坐标包括(0，1.5)、(0，1.8)、(0，1.9)、(0，2)、(0，2.1)、(0，2.5)、(0，3)，第一预设误差值为0.1，则其中(0，1.8)、(0，1.9)、(0，2)、(0，2.1)对应的元素则为属于同一行的行元素。在得到属于同一行的行元素时，则将该同一行的行元素组合为一个行片段。

本实施例通过对行片段进行确定，实现了对误差较小的行元素的检测与合并，避免了在图片信息提取过程中元素的错位，进一步提高了图片信息提取的准确率。

在本申请的一些实施例中，上述根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一列的列片段包括：

根据所述斜率计算所述高置信度行对应的法线斜率，并根据所述法线斜率和所有所述中心坐标，计算每个所述元素与x轴的第二交点坐标；

计算不同所述元素之间的所述第二交点坐标的第二差值，将所述第二差值小于等于第二预设误差值的元素作为同一列的列元素，组合所述同一列的列元素为一个所述列片段。

在本实施例中，在得到目标图片的斜率时，取该斜率倒数的负数，将该斜率倒数的负数作为高置信度行的法线斜率，同时该法线斜率亦为目标图片的列斜率。在得到该法线斜率时，根据目标图片中每个元素的中心坐标和该法线斜率，即可计算得到每个元素对应的法线与x轴的交点坐标，即元素与x轴的第二交点坐标。计算目标图片中每个不同元素之间第二交点坐标的第二差值，将第二差值小于等于第二预设误差值的元素作为同一列的列元素，如一组元素的第二交点坐标包括(0.5,0)、(0.9,0)、(1,0)、(1.1,0)、(1.4,0)、(1.6,0)，第二预设误差值为0.1，则其中(0.9,0)、(1,0)、(1.1,0)对应的元素为属于同一列的列元素。在得到属于同一列的列元素时，则将该同一列的列元素组合为一个列片段。

本实施例通过对列片段进行确定，实现了对误差较小的列元素的检测与合并，避免了在图片信息提取过程中元素的错位，进一步提高了图片信息提取的准确率。

在本申请的一些实施例中，上述按照所述行片段和所述列片段对所有所述元素重新进行排序，得到所述目标图片对应的结构化信息表包括：

根据所述行片段和所述列片段，确定所有所述元素的索引坐标；

按照所述索引坐标对所有所述元素重新进行排序，得到所述目标图片对应的所述结构化信息表。

在本实施例中，在对目标图片进行重新排序时，可通过索引坐标进行排序。其中，索引坐标为每个元素所在的行序号和列序号组成的坐标，该行序号和列序号分别代表元素所在的行和列。行序号可以由每个行片段中包括的第一交点坐标的和值确定，按照该第一交点坐标的和值从小到大依次对行序号进行递增排序，最小的第一交点坐标的和值对应的行序号则为1，按照和值大小序号依次递增；列序号则由每个列片段中包括的第二交点坐标的和值确定，按照该第二交点坐标的和值从小到大依次对列序号进行递增排序，最小的第二交点坐标的和值对应的列序号则为1，按照和值大小序号依次递增。

例如，按照索引坐标的x值从小到大进行排序，将从小到大依次递增的元素作为同一行元素，将x值从大值到小值转变的大值作为前一行元素的尾元素，将小值作为当前行的首元素，由此即可得到目标图片对应的结构化信息表。除此之外，对得到的列片段进行结构化时，还可以获取每个列片段中元素中心点坐标(x₀,y₀)的y坐标(即y₀)，按照y₀从小到大排序，即可得到按列结构化的结果。

本实施例通过索引坐标对目标图片重新进行排序，实现了对图片的矫正，避免了在图片发生倾斜时，图片信息提取的错误，提高了图片信息提取的准确率。

在本申请的一些实施例中，上述按照所述索引坐标对所有所述元素重新进行排序，得到所述目标图片对应的所述结构化信息表包括：

合并所述索引坐标相同的所述元素为一个子片段；

将所述子片段中的每个所述元素的信息边界框合并为一个片段边界框，将所述片段边界框中的所有所述元素作为新的识别文本保存在所述结构化信息表中。

在本实施例中，由于图像分割尺度通常较小，可能会存在行索引和列索引相同的元素，因此，在得到每个元素的行索引和列索引时，还可以将行索引和列索引相同的元素作为同一个子片段的元素。在得到子片段时，获取每个子片段中所有元素的信息边界框，将每个子片段中所有信息边界框合并为对应的片段边界框，将片段边界框中的所有元素作为新的识别文本保存在对应的结构化信息表中。具体地，获取每个子片段中元素的信息边界框的边界坐标，确定该边界坐标中的最小x值和最小y值为片段边界框的左下角坐标，边界坐标中最大x值和最大y值为片段边界框的右上角坐标，边界坐标中最大x值和最小y值为片段边界框的右下角坐标，边界坐标中最小x值和最大y值为左上角坐标，由此，即可得到对应的片段边界框。识别该片段边界框中的所有元素，将该片段边界框中的所有元素，作为目标图片对应的结构化信息中新的识别文本。如图3所示，图3为一份检查报告的片段合并示意图，其中检查报告中的方框表示每个元素及其对应的信息边界框，行索引和列索引均相同的两个元素(即属于同一行片段和列片段的两个元素)则进行信息边界框的合并，即合并为一个子片段。

本实施例通过对信息边界框的合并，实现了在结构化信息表中同类信息的合并，使得通过该结构信息表能够更精确地获取到目标图片中所传递的内容。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图4，作为对上述图2所示方法的实现，本申请提供了一种图片信息提取装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例所述的图片信息提取装置400包括：检测模块401、第一排序模块402、计算模块403、确认模块404和第二排序模块405。其中，

检测模块401，用于获取目标图片，检测所述目标图片中每个元素的信息边界框；

其中，检测模块包括：

识别单元，用于按照x轴从小到大扫描所述目标图片的信息内容，识别所述目标图片中每个所述元素的边界坐标；

第一确认单元，用于根据所述边界坐标确定每个所述元素对应的所述信息边界框。

在本实施例中，目标图片为目标的处理图片，该目标图片中包括有图表类的文字信息，如体检报告单、流程表等。在得到目标图片时，检测该目标图片中每个元素的信息边界框，其中，元素为每个边界框中所包括的所有文本信息。在得到目标图片时，获取同属一类的文本信息，将同类的文本信息组合为元素，识别每个元素的边界坐标(即左下角、左上角、右下角和右上角的坐标)，即可得到每个元素对应的信息边界框。例如，一份体检报告包括“姓名:张三”、“性别:女”、“年龄:42岁”，该“姓名:张三”、“性别:女”、“年龄:42岁”则分别对应不同的元素。

第一排序模块402，用于根据所述信息边界框对所述元素进行粗排序，得到粗排序元素表，基于所述粗排序元素表获取所述目标图片的高置信度行；

其中，第一排序模块包括：

获取单元，用于获取所述粗排序元素表中每行的所述信息边界框的个数；

第二确认单元，用于将所述个数大于等于预设阈值的行确定为高置信度行。

在本实施例中，在得到目标图片中的所有信息边界框时，根据该信息边界框对目标图片中的元素进行粗排序，即将每个信息边界框的左下点坐标的x坐标，从小到大进行排序，将由小到大依次递增的左下角坐标对应的元素作为同一行元素；在x坐标依次递增之后，检测到x坐标减小时，则将减小的x坐标对应的元素作为第二行的头元素，依次类推，即可得到目标图片对应的粗排序元素表。在得到粗排序元素表时，将该粗排序元素表中元素个数大于等于预设个数的行作为高置信度行，例如，在粗排序元素表中第二行的元素个数大于等于预设个数，则确定第二行为高置信度行。

计算模块403，用于计算所述高置信度行中每个所述元素的中心坐标，根据所述中心坐标计算所述高置信度行的斜率；

在本实施例中，在得到高置信度行时，计算该高置信度行的斜率，该斜率可根据该高置信度行的长度和宽度计算得到，也可根据高置信度行中的每个元素的中心坐标计算得到。计算目标图片的每个元素的中心坐标，其中，每个元素的边界坐标在x轴的平均值即为该元素对应中心坐标的x值，每个元素的边界坐标在y轴的平均值即为该元素对应中心坐标的y值。在得到该中心坐标时，通过最小二乘法对高置信度行中包括的元素的中心坐标进行拟合，得到该高置信度行对应的拟合直线，最小二乘法为一种计算误差估计、不确定度和系统辨识及预测的数学工具；在得到高置信度行对应的拟合直线时，计算拟合直线的平均值，即得到该高置信度行的斜率。

确认模块404，用于获取所述目标图片中所有所述元素的所述中心坐标，根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一行的行片段，并根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一列的列片段；

其中，确认模块包括：

第一计算单元，用于根据所述中心坐标和所述斜率，计算所述目标图片中每个所述元素与y轴的第一交点坐标；

第一组合单元，用于计算不同所述元素之间的所述第一交点坐标的第一差值，将所述第一差值小于等于第一预设误差值的元素作为同一行的行元素，组合所述同一行的行元素为一个所述行片段。

第二计算单元，用于根据所述斜率计算所述高置信度行对应的法线斜率，并根据所述法线斜率和所有所述中心坐标，计算每个所述元素与x轴的第二交点坐标；

第二组合单元，用于计算不同所述元素之间的所述第二交点坐标的第二差值，将所述第二差值小于等于第二预设误差值的元素作为同一列的列元素，组合所述同一列的列元素为一个所述列片段。

在本实施例中，在计算得到中心坐标和高置信度行的斜率时，将该斜率作为目标图片中每个元素的行斜率，将该斜率倒数的负数作为目标图片中每个元素的列斜率。根据该行斜率和中心坐标，则可以确定以该行斜率为直线斜率并经过这个中心点的直线，即该元素所在的直线。计算每个元素所在的直线与x轴的第一交点坐标和与y轴的第二交点坐标，将目标图片中所有第一交点坐标之间的差值小于等于第一预设误差值的元素，确定为同一行的元素，同一行的元素即组成一个行片段；将所有第二交点坐标之间的差值小于等于第二预设误差值的元素，确定为同一列的元素，同一列的元素即组成一个列片段。

第二排序模块405，用于按照所述行片段和所述列片段对所有所述元素重新进行排序，得到所述目标图片对应的结构化信息表。

其中，第二排序模块包括：

第三确认单元，用于根据所述行片段和所述列片段，确定所有所述元素的索引坐标；

排序单元，用于按照所述索引坐标对所有所述元素重新进行排序，得到所述目标图片对应的所述结构化信息表。

其中，排序单元包括：

合并子单元，用于合并所述索引坐标相同的所述元素为一个子片段；

存储子单元，用于将所述子片段中的每个所述元素的信息边界框合并为一个片段边界框，将所述片段边界框中的所有所述元素作为新的识别文本保存在所述结构化信息表中。

在本实施例中，在得到目标图片的行片段和列片段时，获取目标图片中每个元素的行索引和列索引，其中，该行索引和列索引为每个元素所在的行序号和列序号组成的索引坐标，行序号和列序号代表每个元素属于的行和所属的列。在得到索引坐标时，遍历所有索引坐标对应的元素，根据该索引坐标对目标图片的每个元素进行重新排序，重新排序后的元素表则为该目标图片对应的结构化信息表。

需要强调的是，为进一步保证上述结构化信息表的私密和安全性，上述结构化信息表还可以存储于一区块链的节点中。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本实施例提出的图片信息提取装置，实现了对图片信息的准确提取，尤其是在图片发生倾斜时对图片信息的正确提取，避免了图片信息提取的错误，提高了图片信息提取的准确率及效率。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图5，图5为本实施例计算机设备基本结构框图。

所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如图片信息提取方法的程序代码等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的程序代码或者处理数据，例如运行所述图片信息提取方法的程序代码。

所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。

本实施例提出的计算机设备，实现了对图片信息的准确提取，尤其是在图片发生倾斜时对图片信息的正确提取，避免了图片信息提取的错误，提高了图片信息提取的准确率及效率。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有图片信息提取程序，所述图片信息提取程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的图片信息提取的步骤。

本实施例提出的计算机可读存储介质，实现了对图片信息的准确提取，尤其是在图片发生倾斜时对图片信息的正确提取，避免了图片信息提取的错误，提高了图片信息提取的准确率及效率。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种图片信息提取方法，其特征在于，包括下述步骤：

获取目标图片，检测所述目标图片中每个元素的信息边界框；

根据所述信息边界框对所述元素进行粗排序，得到粗排序元素表，基于所述粗排序元素表获取所述目标图片的高置信度行；

计算所述高置信度行中每个所述元素的中心坐标，根据所述中心坐标计算所述高置信度行的斜率；

获取所述目标图片中所有所述元素的所述中心坐标，根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一行的行片段，并根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一列的列片段；

按照所述行片段和所述列片段对所有所述元素重新进行排序，得到所述目标图片对应的结构化信息表。

2.根据权利要求1所述的图片信息提取方法，其特征在于，所述检测所述目标图片中每个元素的信息边界框的步骤包括：

按照x轴从小到大扫描所述目标图片的信息内容，识别所述目标图片中每个所述元素的边界坐标；

根据所述边界坐标确定每个所述元素对应的所述信息边界框。

3.根据权利要求1所述的图片信息提取方法，其特征在于，所述基于所述粗排序元素表获取所述目标图片的高置信度行的步骤包括：

获取所述粗排序元素表中每行的所述信息边界框的个数；

将所述个数大于等于预设阈值的行确定为高置信度行。

4.根据权利要求1所述的图片信息提取方法，其特征在于，所述根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一行的行片段的步骤包括：

根据所述中心坐标和所述斜率，计算所述目标图片中每个所述元素与y轴的第一交点坐标；

计算不同所述元素之间的所述第一交点坐标的第一差值，将所述第一差值小于等于第一预设误差值的元素作为同一行的行元素，组合所述同一行的行元素为一个所述行片段。

5.根据权利要求1所述的图片信息提取方法，其特征在于，所述根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一列的列片段的步骤包括：

根据所述斜率计算所述高置信度行对应的法线斜率，并根据所述法线斜率和所有所述中心坐标，计算每个所述元素与x轴的第二交点坐标；

计算不同所述元素之间的所述第二交点坐标的第二差值，将所述第二差值小于等于第二预设误差值的元素作为同一列的列元素，组合所述同一列的列元素为一个所述列片段。

6.根据权利要求1所述的图片信息提取方法，其特征在于，所述按照所述行片段和所述列片段对所有所述元素重新进行排序，得到所述目标图片对应的结构化信息表的步骤包括：

根据所述行片段和所述列片段，确定所有所述元素的索引坐标；

按照所述索引坐标对所有所述元素重新进行排序，得到所述目标图片对应的所述结构化信息表。

7.根据权利要求6所述的图片信息提取方法，其特征在于，所述按照所述索引坐标对所有所述元素重新进行排序，得到所述目标图片对应的所述结构化信息表的步骤包括：

合并所述索引坐标相同的所述元素为一个子片段；

将所述子片段中的每个所述元素的信息边界框合并为一个片段边界框，将所述片段边界框中的所有所述元素作为新的识别文本保存在所述结构化信息表中。

8.一种图片信息提取装置，其特征在于，包括：

检测模块，用于获取目标图片，检测所述目标图片中每个元素的信息边界框；

第一排序模块，用于根据所述信息边界框对所述元素进行粗排序，得到粗排序元素表，基于所述粗排序元素表获取所述目标图片的高置信度行；

计算模块，用于计算所述高置信度行中每个所述元素的中心坐标，根据所述中心坐标计算所述高置信度行的斜率；

确认模块，用于获取所述目标图片中所有所述元素的所述中心坐标，根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一行的行片段，并根据所有所述中心坐标和所述斜率确定在所述目标图片中所述元素属于同一列的列片段；

第二排序模块，用于按照所述行片段和所述列片段对所有所述元素重新进行排序，得到所述目标图片对应的结构化信息表。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的图片信息提取方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图片信息提取方法的步骤。

Images