CN108960210A - 一种研报板式识别和分割的方法、系统及装置 - Google Patents

Abstract

本发明公开了一种研报板式识别和分割的方法、系统及装置。本发明通过截取PDF文件为图片；对所述图片进行一系列预处理操作，获取其图片的空白像素直方图；遍历所述空白像素直方图，获取其最低波谷位置；依据所述最低波谷位置在图片上标注，并依据所述标注对所述图片进行板式分割。发明基于研报板式的复杂多样，采用图像处理和正则表达式相结合的方法自动识别出各种板式的分栏并做分割，可以自动获取PDF文件中的每页中的各分栏。该发明为研报分析人员针对性的提取自己所需的分栏内容提供了便利性，大大降低了研报分析人员的工作量。

Description

一种研报板式识别和分割的方法、系统及装置

技术领域

本发明涉及一种PDF文件数字图像处理技术领域，尤其涉及一种PDF研报板式的识别和分割的数字图像处理技术。

背景技术

PDF(Portable Document Format，便携式文档格式)是一种独立于硬件、操作系统、应用程序的电子文档格式。由于其具有跨平台、多媒体集成、安全等优点，PDF已成为目前使用最为广泛的电子文档格式之一。随着PDF格式文档的广泛使用，大量有价值的数据均以PDF文档的形式呈现出来。 因此，如何从PDF文档中提取数据，是一个被广泛关注和研究的问题。

研报是机构对一家公司或者一个行业的研究报告，是众多投资者做投资决策的重要依据。而针对大量的研报，投资者需要花费大量的时间去一一研读，包括一些不需要的研报内容。而有的投资者往往仅需要一份研报中的额部分图文、报表等数据。无形增加了投资者的工作量。研报的文件格式一般都是PDF文件，研报的板式复杂多样，每个券商之间的板式都不一样，这也给研报自动识别增加了难度。研报有侧栏，转换成html后，侧栏混合在正文中，无法进行提取，所以进行版式识别是非常必要的。

发明内容

本发明涉及研报自动化提取中，研报板式的自动识别以及板式的分割。这里采用图像处理和正则表达式相结合的方法进行版式识别。其具体的技术方案内容如下：

第一方面，一种研报板式识别和分割的方法，所述方法步骤为：

步骤101，截取PDF文件为图片，转换模块将PDF文件按页分别保存为图片一；

步骤102，预处理图片二，预处理模块获取所述图片执行预处理操作，生成预处理图片二；

步骤103，获取目标分栏位置，分析模块获取所述预处理图片二，生成所述预处理图片二的空白像素直方图，分析所述空白像素直方图中的最低波谷，获取所述空白像素直方图中目标分栏的位置；

步骤104，标注所述目标分栏，标注模块根据所述空白像素直方图中的所述目标分栏的位置，在所述图片一中标注所述目标分栏的位置，生成标注图片。

结合第一方面，在第一方面可能的实现方式中的第一种情况为，还包括步骤105，分割目标分栏，所述分割模块根据所述图片中标注的所述目标分栏的位置分割所述图片，并保存所述分割的图片。

结合第一方面及第一方面可能的实现方式中的第一种情况，在第一方面可能的实现方式中的第二种情况为，所述步骤102为，预处理模块获取所述图片执行灰度化、阈值分割、二值化、去噪预处理操作，生成预处理图片二。

结合第一方面可能的实现方式中的第二种情况，在第一方面可能的实现方式中的第三种情况为，所述预处理操作为依次执行灰度化-阈值分割-二值化-去噪。

结合第一方面可能的实现方式中的第三种情况，在第一方面可能的实现方式中的第四种情况为，所述阈值分割操作为otsu阈值分割操作；所述去噪操作为腐蚀膨胀去噪操作。

结合第一方面可能的实现方式中的第三种或第四种情况，在第一方面可能的实现方式中的第五种情况为，所述步骤103为，分析模块获取所述预处理图片二，生成所述预处理图片二的横轴方向的空白像素直方图，遍历所述空白像素直方图的横轴，分析获取所述空白像素直方图中横轴的最低波谷，根据所述最低波谷分析获取所述空白像素直方图中纵轴方向的目标分栏的位置。

结合第一方面可能的实现方式中的第五种情况，在第一方面可能的实现方式中的第六种情况为，所述步骤103为，分析模块获取所述预处理图片二，生成所述预处理图片二的纵轴方向的空白像素直方图，遍历所述空白像素直方图的纵轴，分析获取所述空白像素直方图中纵轴的最低波谷，根据所述最低波谷分析获取所述空白像素直方图中横轴方向的目标分栏的位置。

第二方面，一种研报板式识别和分割的系统，所述系统结构为：

转换模块，用于将PDF文件按页分别保存为图片一；

预处理模块，用于对所述图片一执行预处理操作，生成预处理图片二；

分析模块，用于生成所述预处理图片二的空白像素直方图，分析所述空白像素直方图，获取所述空白像素直方图中目标分栏的位置；

标注模块，用于在所述图片一中标注所述目标分栏的位置，生成标注图片；

分割模块，用于根据所述标注图片中标注的所述目标分栏的位置分割所述图片，并保存所述分割的图片。

结合第二方面，在第二方面可能的实现方式中的第一种情况为，所述预处理模块先后执行灰度化、阈值分割、二值化、去噪预处理操作，生成预处理图片二；所述分析模块获取所述预处理图片二，生成所述预处理图片二的横/纵轴方向的空白像素直方图，遍历所述空白像素直方图的横/纵轴，分析获取所述空白像素直方图中横/纵轴的最低波谷，根据所述最低波谷分析获取所述空白像素直方图中纵/横轴方向的目标分栏的位置。

第三方面，一种研报板式识别和分割的装置，所述装置包括：计算机可读存储装置、中央处理器、总线；所述计算机可读存储装置同所述中央处理器通过总线进行连接；所述计算机可读存储装置存储有多条操作指令供中央处理器调用以及存储所述系统生成的包括但不限于的所述图片一、所述预处理图片二、所述空白像素直方图、所述标注图片、所述分割的图片供所述中央处理器通过所述操作指令进行调用，所述中央处理器执行所述操作指令实现第一方面及第一方面可能的实现方式中的第一至第六种情况所述的方法。

有益效果：

本发明基于研报板式的复杂多样，采用图像处理和正则表达式相结合的方法自动识别出各种板式的分栏并做分割，可以自动获取PDF文件中的每页中的各分栏。该发明为研报分析人员针对性的提取自己所需的分栏内容提供了便利性，大大降低了研报分析人员的工作量。

附图说明

图1为本发明实施例一的方法流程图；

图2为本发明实施例一的PDF文件截图的图片一；

图3为本发明实施例一的预处理图片二；

图4为本发明实施例一的空白像素直方图；

图5为本发明实施例二的标注图片；

图6为本发明实施例三的系统结构框架图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

一种研报板式识别和分割的方法，如图1所示的方法步骤为：

步骤101，截取PDF文件为图片，转换模块用开源库mupdf将PDF文件按页分别截图并保存为图片一；所述图片保存格式为计算机系统所默认的通用格式，如jpg、png、tif、bmp等格式。

如图2所示，为所述PDF文件中的某页所截图并保存的图片。该图片为某个股发布额度PDF文件格式研报中的首页，图片中“试点中药配方颗粒，打开新的增长空间”标题下方的一横向分栏及“投资要点”正文内容右侧的竖向分栏，所述竖向分栏也就是本发明中需要标注的目标分栏位置。

步骤102，预处理图片二，预处理模块获取所述图片执行预处理操作，生成预处理图片二。所述预处理操作为依次执行灰度化-otsu阈值分割-二值化-腐蚀膨胀去噪。所述预处理图片二如图3所示，图2中为彩色图片进行上述预处理操作后生成图3所示的预处理图片二，将图片中的数据内容转化为空白像素。若图2为灰度图片则可跳过灰度化预处理操作。

步骤103，获取目标分栏位置，分析模块获取所述预处理图片二，生成所述预处理图片二的横轴（以下简称X轴）方向的空白像素直方图，如图4所示。遍历所述空白像素直方图的X轴，分析获取所述空白像素直方图中X轴上的所有波谷，并获取所述波谷中的最低波谷的位置。根据所述最低波谷位置分析获取所述空白像素直方图中纵轴（以下简称Y轴）方向的目标分栏的位置。如图4所示，分析模块将图3转化为X轴方向的空白像素直方图，图中的白色即为空白像素的分布。所述分析模块遍历X轴方向上的空白像素分布，获取其分布中的所有波谷，选取所述波谷中最低波谷的位置为Y轴方向上的目标分栏的位置所在。从图4可以明确得出其最低波谷的位置正对应了图2中的所述竖向分栏的位置。

同理，分析模块也可生成所述预处理图片二的Y轴方向的空白像素直方图。遍历所述空白像素直方图的Y轴，分析获取所述空白像素直方图中Y轴上的所有波谷，并获取所述波谷中的最低波谷的位置。根据所述最低波谷位置分析获取所述空白像素直方图中X轴方向的目标分栏的位置。

步骤104，标注所述目标分栏，标注模块根据所获取的所述空白像素直方图中Y轴方向的目标分栏的位置，在所述图片一中标注所述目标分栏的位置，生成标注图片。如图5所示，结合图4所示的X轴方向上的最低波谷，可以得出“投资要点”正文内容与右侧侧栏内容之间存在竖向分栏（即Y轴方向的分栏），即用户想以此分栏进行格式分割的目标分栏。将该Y轴方向的目标分栏用进行加粗标注。标注方式旨在使其识别出的目标分栏被用户清晰识别，其标注方式可根据用户需求自定义，并非仅限定为加粗。

另外，如若分析模块生成所述预处理图片二的Y轴方向的空白像素直方图，获取所述波谷中的最低波谷的位置，分析获取所述空白像素直方图中X轴方向的目标分栏的位置。则所述标注模块根据所获取的所述空白像素直方图中X轴方向的目标分栏的位置，在所述图片中标注所述目标分栏的位置。

步骤105，分割所述目标分栏，所述分割模块根据所述标注图片中标注的所述目标分栏的位置分割所述标注图片，并保存所述分割的图片，做进一步的图片数据处理。

实施例二

在实施例一的步骤103中，当所述分析获取所述空白像素直方图中X轴上的所有波谷，并获取所述波谷中的最低波谷时，如若有多个最低波谷，即多个深度相同的最低波谷，则所述分析模块分别获取所述多个最低波谷的位置及其对应的目标分栏位置。所述标注模块在所述图片一上分别标注所述各个目标分栏的位置，所述分割模块依据所述标注的各个目标分栏的位置分别分割所述图片一。

实施例三

如图6所示，本发明基于上述方法提供了一种研报板式识别和分割的系统，所述系统结构为：

转换模块，用于调用开源库mupdf将PDF文件按页分别保存为图片一。

预处理模块，用于对所述图片一先后执行灰度化、阈值分割、二值化、去噪预处理操作，生成预处理图片二。

分析模块，用于生成所述预处理图片二的横/纵轴方向的空白像素直方图，遍历所述空白像素直方图的横/纵轴，分析获取所述空白像素直方图中横/纵轴的最低波谷，根据所述最低波谷分析获取所述空白像素直方图中纵/横轴方向的目标分栏的位置。

标注模块，用于在所述图片一中标注所述目标分栏的位置，生成标注图片；

分割模块，用于根据所述标注图片中标注的所述目标分栏的位置分割所述图片，并保存所述分割的图片。

基于上述软件系统，本发明还提供了一种研报板式识别和分割的装置供所述系统运行。所述装置包括：计算机可读存储装置、中央处理器、总线；所述计算机可读存储装置同所述中央处理器通过总线进行连接；所述计算机可读存储装置存储有多条操作指令供中央处理器调用、执行，以及存储所述系统生成的包括但不限于的所述图片一、所述预处理图片二、所述空白像素直方图、所述标注图片、所述分割的图片供所述中央处理器通过所述操作指令进行调用，所述中央处理器执行所述操作指令实现说明书中所述的方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所描述的装置实施例仅仅是示意性的，可以是设计成一体设备，也可以是组合成一套设备，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件和必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种研报板式识别和分割的方法，其特征在于所述方法步骤为：

步骤101，转换模块将源文件转换为图片一；

步骤102，预处理模块获取所述图片一执行预处理操作，生成预处理图片二；

步骤103，分析模块获取所述预处理图片二，生成所述预处理图片二的空白像素直方图，分析所述空白像素直方图中的最低波谷，获取所述空白像素直方图中目标分栏的位置；

步骤104，标注模块根据所述空白像素直方图中的所述目标分栏的位置，在所述图片一中进行所述目标分栏的位置标注，生成标注图片。

2.根据权利要求1所述的一种研报板式识别和分割的方法，其特征在于所述方法还包括：

步骤105，分割模块根据所述图片一中标注的所述目标分栏的位置分割所述图片，并保存所述分割的图片。

3.根据权利要求1或2所述的一种研报板式识别和分割的方法，其特征在于所述步骤102的预处理操作为按照任意顺序执行包含如下处理的操作：

预处理模块获取所述图片执行灰度化操作；

预处理模块获取所述图片执行阈值分割操作；

预处理模块获取所述图片执行二值化操作；

预处理模块获取所述图片执行去噪预处理操作。

4.根据权利要求3所述的一种研报板式识别和分割的方法，其特征在于所述预处理操作为依次执行灰度化-阈值分割-二值化-去噪的预处理操作。

5.根据权利要求4所述的一种研报板式识别和分割的方法，其特征在于所述阈值分割预处理操作为otsu阈值分割；所述去噪预处理操作为腐蚀膨胀去噪。

6.根据权利要求4或5所述的一种研报板式识别和分割的方法，其特征在于所述步骤103为：

分析模块获取所述预处理图片二，生成所述预处理图片二的横轴方向的空白像素直方图；

遍历所述空白像素直方图的横轴，分析获取所述空白像素直方图中横轴的最低波谷；

根据所述最低波谷分析获取所述空白像素直方图中纵轴方向的目标分栏的位置。

7.根据权利要求6所述的一种研报板式识别和分割的方法，其特征在于所述步骤103为：

分析模块获取所述预处理图片二，生成所述预处理图片二的纵轴方向的空白像素直方图；

遍历所述空白像素直方图的纵轴，分析获取所述空白像素直方图中纵轴的最低波谷；

根据所述最低波谷分析获取所述空白像素直方图中横轴方向的目标分栏的位置。

8.一种研报板式识别和分割的系统，其特征在于所述系统结构为：

转换模块，用于将PDF文件按页分别保存为图片一；

预处理模块，用于对所述图片一执行预处理操作，生成预处理图片二；

分析模块，用于生成所述预处理图片二的空白像素直方图，分析所述空白像素直方图，获取所述空白像素直方图中目标分栏的位置；

标注模块，用于在所述图片一中标注所述目标分栏的位置，生成标注图片；

分割模块，用于根据所述标注图片中标注的所述目标分栏的位置分割所述标注图片，并保存所述分割的图片。

9.根据权利要求8所述的一种研报板式识别和分割的系统，其特征在于所述预处理模块先后执行灰度化、阈值分割、二值化、去噪预处理操作，生成预处理图片二；所述分析模块获取所述预处理图片二，生成所述预处理图片二的横/纵轴方向的空白像素直方图，遍历所述空白像素直方图的横/纵轴，分析获取所述空白像素直方图中横/纵轴的最低波谷，根据所述最低波谷分析获取所述空白像素直方图中纵/横轴方向的目标分栏的位置。

10.一种研报板式识别和分割的装置，其特征在于所述装置包括：计算机可读存储装置、中央处理器、总线；所述计算机可读存储装置同所述中央处理器通过总线进行连接；所述计算机可读存储装置存储有多条操作指令供中央处理器调用以及存储权利要求1-7所述方法生成的图片供所述中央处理器通过所述操作指令进行调用，所述中央处理器执行所述操作指令实现权利要求1-7所述的方法。