CN111859863A - 一种文档的结构转换方法、装置、存储介质及电子设备 - Google Patents
一种文档的结构转换方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN111859863A CN111859863A CN202010492442.8A CN202010492442A CN111859863A CN 111859863 A CN111859863 A CN 111859863A CN 202010492442 A CN202010492442 A CN 202010492442A CN 111859863 A CN111859863 A CN 111859863A
- Authority
- CN
- China
- Prior art keywords
- document
- unstructured
- data
- storage area
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/151—Transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/93—Document management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Machine Translation (AREA)
Abstract
本申请适用于数据处理技术领域,提供了一种文档的结构转换方法、装置、存储介质及电子设备。所述结构转换方法包括:预先解析所述非结构化文档,获取非结构化数据,然后查找与所述非结构化数据匹配的初始结构化文档,其中,所述初始结构化文档预设有数据存储区域,最后根据预设对应关系列表,将所述非结构化数据存储至所述初始结构化文档的数据存储区域,获取所述结构化文档。本发明提供的结构转换方法,采用自动读取非结构化文档的非结构化数据,并将所述非结构化数据自动转换成结构化文档,以代替了传统的手工录入方式,解决了由于手工录入方式带来的效率低下,容易出错等问题,提高了工作效率,降低了工作成本。
Description
技术领域
本申请属于数据处理技术领域,尤其涉及一种文档的结构转换方法、装置、存储介质及电子设备。
背景技术
计算机信息化系统中的数据分为结构化数据和非结构化数据。非结构化数据其格式种类较多,标准也是各种各样,而且在技术上非结构化信息比结构化信息更难标准化和理解。
在文档结构转换时,将非结构化文档转换成结构化文档通常是手工录入的方式,从而导致工作效率低下。
申请内容
有鉴于此,本申请实施方式提供了一种文档的结构转换方法、装置、存储介质及电子设备,以解决现有的将非结构化文档转换成结构化文档是手工录入的方式从而导致工作效率低下的问题。
本申请实施方式第一方面提供了一种文档的结构转换方法,用于将非结构化文档转换成结构化文档,所述结构转换方法包括:
解析所述非结构化文档,获取非结构化数据;
查找与所述非结构化数据匹配的初始结构化文档,其中,所述初始结构化文档预设有数据存储区域;
根据预设对应关系列表,将所述非结构化数据存储至所述初始结构化文档的数据存储区域,获取所述结构化文档。
可选地,所述非结构化数据包括第一级别标题、第二级别标题以及正文;所述数据存储区域包括章节、条款以及内容。
可选地,所述解析所述非结构化的文档,获取非结构化数据,包括:
从前端至后端的顺序依次读取所述非结构化的文档;
定义位于所述非结构化的文档最前端的标题作为解析起始端,往后端依次读取文档内容并识别文档内容的样式,并根据所述文档内容样式,分类存储对应文档内容,当所述文档内容空置时,解析结束,并获取所述非结构化数据。
可选地,所述文档内容的样式包括标题样式与正文样式;对应的,所述根据所述文档内容样式,分类存储对应文档内容,包括:
当识别的所述文档内容的样式为标题样式时,判断所述标题级别,并将对应文档内容分类存储为非结构化数据的第一级别标题或者第二级别标题,并继续往后端依次读取文档内容;
当识别的所述文档内容的样式为正文样式时,将所述文档内容存储为非结构化数据的正文,并继续往后端依次读取文档内容,若下一次识别的所述文档内容的样式为正文时,将识别的所述文档内容叠加至上一次读取的文档内容,以组合成一个正文进行存储。
可选地,在所述查找与所述非结构化数据匹配的初始结构化文档之前,所述结构转换方法还包括:
预先上传文档名称或数据结构相同或相近似的所述非结构化文档与初始结构化文档。
可选地,所述对应关系列表是指所述第一级别标题对应所述数据存储区域的章节、所述第二级别标题对应所述数据存储区域的条款以及所述正文对应所述数据存储区域的内容;
相应的,所述根据预设对应关系列表,将所述非结构化数据存储至所述初始结构化文档的数据存储区域,获取所述结构化的文档,包括:
将所述非结构化数据的第一级别标题存储至所述初始结构化文档的数据存储区域的章节;
将所述非结构化数据的第二级别标题存储至所述初始结构化文档的数据存储区域的条款;
将所述非结构化数据的正文存储至初始结构化文档的数据存储区域的内容;
获取所述结构化的文档。
可选地,所述非结构化文档为非结构化的规章制度文档,所述结构化文档为结构化的规章制度文档。
可选地,所述非结构化的规章制度文档为word格式文档,所述转换结构化的规章制度文档为excel格式文档。
本申请实施方式第二方面提供了一种文档的结构转换装置,用于将非结构化的文档转换结构化的文档,所述结构转换装置包括:
查找模块,用于查找所述非结构化的文档,以及与所述非结构化的文档匹配的初始结构化文档,其中,所述初始结构化文档预设有数据存储区域;
解析模块,用于解析所述非结构化的文档,获取非结构化数据;
获取模块,用于根据预设对应关系列表,将所述非结构化数据存储至所述初始结构化文档的数据存储区域,获取所述结构化的文档。
本申请实施方式第三方面提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如前述的结构转换方法。
本申请实施方式第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如前述的结构转换方法的步骤。
本申请实施方式第五方面提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述本申请实施方式第一方面提供的结构转换方法。
本发明的实施方式与现有技术相比存在的有益效果是:预先解析所述非结构化文档,获取非结构化数据,然后查找与所述非结构化数据匹配的初始结构化文档,其中,所述初始结构化文档预设有数据存储区域,最后根据预设对应关系列表,将所述非结构化数据存储至所述初始结构化文档的数据存储区域,获取所述结构化文档。本发明提供的结构转换方法,采用自动读取非结构化文档的非结构化数据,并将所述非结构化数据自动转换成结构化文档,以代替了传统的手工录入方式,解决了由于手工录入方式带来的效率低下,容易出错等问题,提高了工作效率,降低了工作成本。
附图说明
为了更清楚地说明本申请实施方式中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供文档的结构转换方法的第一种实现过程流程示意图;
图2是本申请实施例一提供的文档的结构转换方法的第二种实现过程流程示意图;
图3是本申请实施例二提供的文档的结构转换装置的结构示意图;
图4是本申请实施例三提供的电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施方式。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施方式中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施方式的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
应当理解,本实施例中各步骤的先后撰写顺序并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
为了说明本申请所述的技术方案,下面通过具体实施方式来进行说明。
参见图1,是本申请实施例一提供文档的结构转换方法的第一种实现过程的流程图,为了便于说明,仅示出了与本申请实施例相关的部分。
所述文档的结构转换方法,用于将非结构化文档转换成结构化文档,所述非结构文档是指按照非结构化数据的形式呈现的文档,所述结构化文档与其反之。所述非结构化数据是没有规则的数据模型进行预先定义,数据不规则且不完整,且无法采用二维逻辑(结构化数据是行数据,可用二维表结构进行有逻辑的数据表现)来具体表现。本案优选实施例可为,所述非结构化文档为非结构化的规章制度文档,所述结构化文档为结构化的规章制度文档;下述实施例,均参照该优选实施例进行说明阐述。
所述结构转换方法包括:
S101:解析所述非结构化文档,获取非结构化数据;
在本实施例中,所述非结构化文档可为非结构化的规章制度文档,则所述非结构化的规章制度文档是以文档内容(文字、图片等形式)进行呈现,系统需要对所述非结构化的规章制度文档进行进一步解析,以获取所述非结构化的规章制度文档中的非结构化数据,以进行结构的转换。
举个例子,若所述非结构化的规章制度文档为WORD格式的规章制度文档,市面上则有多种解析方式对所述WORD格式的规章制度文档进行解析,以进一步获取非结构化数据,比如通过Apache开源的POI技术对Word文档进行解析。
在其他实施例中,若所述非结构化的规章制度文档出现解析错误或等无法进行解析的情况,系统将该错误解析的结果发送至前端,以提示文档解析失败,优选地,将对应的非结构化的规章制度文档名称进行对应上报与显示。
S102:查找与所述非结构化数据匹配的初始结构化文档,其中,所述初始结构化文档预设有数据存储区域;
在本实施例中,所述初始结构化文档,是指待数据存储的结构化文档,所述初始结构文档内预设的数据存储区域,是预先根据所述非结构化的规章制度文档内容配置的。所述非结构化数据与初始结构化文档存在预先设置的对应关系,在系统解析出所述非结构化数据之后,所述非结构化数据根据预先设置的对应关系自动查找初始结构化文档,以实现数据与模板的配对。
在一些实施例中,所述初始结构化文档可为通用结构化文档,也可为根据用户需求自行定义的结构化文档,当所述结构化文档为自行定义的结构化文档时,对应配对过程是根据双方预先定义的标识进行,以实现准确配对过程。
在其他一些实施例中,所述匹配也可根据预先对所述初始文档以及非结构文档设置的标识。所述非结构化文档匹配初始结构化文档是根据预先设置的标识进行互相识别的,目的是自动管理文档之间的相互匹配过程,代替手动匹配,其中,所述非结构化的规章制度文档与对应的初始结构化文档之间的标识设置具备多种方式,例如,所述标识即为文档名称,在系统查找时,只要查找到与所述非结构化的规章制度文档名称相同的初始结构化文档,即认为这两文档匹配。
需要说明的是,所述非结构化的规章制度文档与初始结构化文档是需要预先存入系统的数据库中,举个例子,假设所述非结构化的规章制度文档为WORD文档,所述结构化的规章制度文档为EXCEL文档,其中,条款内容是通过对Word文档执行智能解析后进行展示。所以,首先需要将记录条款内容的Word文档(即非结构化数据)原封不动的保存到数据库中。系统将记录条款内容的Word文档存储到数据库的基本步骤为:用户需要在Excel文档,按字段名称填写规章制度信息和记录条款内容的Word文档附件“名称”;编辑完Excel文档后,便可以将Excel文档和关联的Word附件一起批量上传;系统会自动匹配制度和附件的关系,最终和单条信息录入并上传附件的效果一致。并且,在系统无法查找到对应的非结构化的规章制度文档或者初始结构化文档时,提示用户对应文件查找失败,需要预先上传相应文件。
S103:根据预设对应关系列表,将所述非结构化数据存储至所述初始结构化文档的数据存储区域,获取所述结构化文档。
在本实例中,所述对应关系列表是指系统预先设置的所述非结构化数据与所述数据存储区域的一一对应关系,举个例子,所述非结构化数据包括第一非结构化数据、第二非结构化数据以及第三非结构化数据,所述数据存储区域包括第一数据存储区域、第二数据存储区域以及第三数据存储区域,所述对应关系列表则可以是第一非结构化数据对应第一数据存储区域、第二非结构化数据对应第二数据存储区域以及第三非结构化数据对应第三数据存储区域。
作为另一种可能实施例,所述非结构化数据包括第一级别标题、第二级别标题以及正文;所述数据存储区域包括规章制度章节、规章制度条款以及规章制度内容。对应地,所述对应关系列表是指所述第一级别标题对应规章制度章节、所述第二级别标题对应规章制度条款以及所述正文对应规章制度内容。则,转换过程则可为将所述非结构化数据的第一级别标题存储至所述初始结构化文档的数据存储区域的规章制度章节,将所述非结构化数据的第二级别标题存储至所述初始结构化文档的数据存储区域的规章制度条款,将所述非结构化数据的正文存储至初始结构化文档的数据存储区域的规章制度内容,最后获取所述结构化的规章制度文档。
进一步地,设置所述对应关系列表的目的是为了将所述非结构化数据中的非结构化数据插入初始结构化文档中对应的数据存储区域,是实现正确的文档内容交换的规则。其中,所述将所述非结构化数据存储至所述初始结构化文档的数据存储区域的过程是个数据插入的过程,预设对应关系列表则是数据插入的规则,将所有的非结构化数据均按照预设对应关系列表插入至所述数据存储区域之后,得到的初始结构化文档,即为所述结构化的规章制度文档,即本次结构转换完成。
本申请的实施方式与现有技术相比存在的有益效果是:预先解析所述非结构化文档,获取非结构化数据,然后查找与所述非结构化数据匹配的初始结构化文档,其中,所述初始结构化文档预设有数据存储区域,最后根据预设对应关系列表,将所述非结构化数据存储至所述初始结构化文档的数据存储区域,获取所述结构化文档。本发明提供的结构转换方法,采用自动读取非结构化文档的非结构化数据,并将所述非结构化数据自动转换成结构化文档,以代替了传统的手工录入方式,解决了由于手工录入方式带来的效率低下,容易出错等问题,提高了工作效率,降低了工作成本。
为了说明本申请所述的技术方案,下面通过具体实施方式来进行说明。
参见图2,是本申请实施例一提供的文档的结构转换方法的第二种实现过程的流程图,为了便于说明,仅示出了与本申请实施例相关的部分。
本实施例引用上述实施例中“所述非结构化文档为非结构化的规章制度文档,所述结构化文档为结构化的规章制度文档;对应的,所述非结构化数据包括第一级别标题、第二级别标题以及正文;所述数据存储区域包括规章制度章节、规章制度条款以及规章制度内容”进一步解释所述非结构化的规章制度的解析过程。
具体地,所述解析所述非结构化的规章制度文档,获取非结构化数据,包括:
S201:从前端至后端的顺序依次读取所述非结构化的规章制度文档;
在本实施例中,所述前端是指所述非结构化的规章制度文档的文档内容的阅读前端,所述后端是指所述非结构化的规章制度文档的文档内容的阅读末端,比如,常见的WORD文档的阅读规则是从上到下,则文档阅读起始端即为前端,阅读末端则为后端。进一步地,系统的读取方式也是采用常见的阅读规则顺序进行的,以保证获取的非结构化的规章制度文档的数据准确度。
S202:定义位于所述非结构化的规章制度文档最前端的标题作为解析起始端,往后端依次读取文档内容并识别文档内容的样式,并根据所述文档内容样式,分类存储对应文档内容,当所述文档内容空置时,解析结束,并获取所述非结构化数据。
在本实施例中,系统从前端往后端依次读取文档内容,在读取到所述文章内容的第一个标题时,作为解析起始端,也即是说,前面只是读取,没有做进一步解析,避免解析不必要的内容而导致解析错误或者失败。举个例子,当所述非结构化的规章制度文档的第一个标题之前存在一段误写入的其他字段,则系统可能会将该段识别为其他内容或者提示解错误败,导致解析失败。
在识别到第一个标题之后,往后端依次读取文档内容并识别文档内容的样式,所述文档内容的样式是指当前读取的所述文档内容类型,比如,标题或者正文。并根据获取到的样式,将对应的文档内容分类存储,比如,标题的存储在预设位置,正文存储在另一预设位置,以便后续的结构转换。当系统读取到文档内容处于空置状态时,则说明文档内容已全部读取完成,此时系统自动结束本次解析,同时存储本次解析获取的非结构化数据。
在其他优选实施例中,所述文档内容的样式包括标题样式与正文样式;相应地,所述根据所述文档内容样式,分类存储对应文档内容,具体为:当识别的所述文档内容的样式为标题样式时,判断所述标题级别,并将对应文档内容分类存储为非结构化数据的第一级别标题或者第二级别标题,并继续往后端依次读取文档内容。所述第一级别标题可为“一”,第二级别标题可为“(一)”,在识别了标题类型之后,将对应文档内容存储为对应的非结构化数据。
当识别的所述文档内容的样式为正文样式时,将所述文档内容存储为非结构化数据的正文,并继续往后端依次读取文档内容,若下一次识别的所述文档内容的样式为正文时,将识别的所述文档内容叠加至上一次读取的文档内容,以组合成一个正文进行存储。也即是说,本次识别到文档内容为正文样式时,那么往下进行迭代分析,判断下一次识别的文档内容是否还是正文,若是,则将识别的所述文档内容叠加至上一次读取的文档内容,作为同一正文信息存储至非结构化数据的正文,直至下次文档内容不为正文样式为止。
优选地,所述非结构化的规章制度文档为word格式文档,所述转换结构化的规章制度文档为excel格式文档。
以所述非结构化的规章制度文档为word格式文档,所述转换结构化的规章制度文档为excel格式文档为例,则该系统结构转换过程大致可为:
先读取word文档格式的规章制度文档,并识别所述word文档格式中的第一个的标题(通常第一个标题即为第一级别标题),该第一个标题则存储为excel格式规章制度文档中的规章制度章节位置,往后端继续读取word文档格式的规章制度文档内容,若下文是正文样式,则进行迭代分析,直至判断所有正文的文档内容,并将该文档内容存储至excel格式规章制度文档中的规章制度内容。若下文还是标题样式,则判断该标题样式是第一级别标题还是第二级别标题,若为第二级别标题,则将该第二级别标题存储至excel格式规章制度文档中的规章制度条款,若还是第一级别标题,则依然存储至excel格式规章制度文档中的规章制度章节,存储完成后往后端继续读取,直至轮空,则结束本次解析。
进一步地,所述结构化数据存储的表结构如下表1:
序号 | 字段 | 字段说明 |
1 | GID | 主键 |
2 | SYSTEM_SOURCE | 制度来源枚举 |
3 | PUBLISH_COMP | 发文单位 |
4 | SYSTEM_NAME | 规章制度名称 |
5 | SYSTEM_RULE | 规章制度文号 |
6 | SYSTEM_NO | 规章制度编码 |
7 | FILE_PRO | 文件属性枚举 |
8 | PROFESSION | 专业分类 |
9 | STATES | 状态枚举 |
10 | KEYWORD1 | 关键字1 |
11 | KEYWORD2 | 关键字2 |
12 | KEYWORD3 | 关键字3 |
13 | KEYWORD4 | 关键字4 |
14 | KEYWORD5 | 关键字5 |
15 | EFFECT_DATE | 生效日期 |
16 | NOEFFECT_DATE | 失效日期 |
17 | CREATE_DATE | 创建时间 |
18 | PUBLISH_DATE | 发布时间 |
19 | UPDATE_DATE | 更新时间 |
20 | FILEID | 附件资料 |
21 | CLICK_NUM | 点击次数 |
表1
规章制度的条款内容可为下表2:
序号 | 字段 | 字段名称 |
1 | GID | 主键 |
2 | SYSTEM_ID | 规则制度主键 |
3 | DETAIL_ITEM | 规章制度条款 |
4 | DETAIL_CONTEXT | 规章制度内容 |
5 | CREATE_DATE | 创建时间 |
6 | IS_BLOB | 0:否;1:是 |
7 | DETAIL_CHAPTER | 规章制度章节 |
8 | ORDER_NO | 排序号 |
表2
具体存储方式可参照本领域的存储方式,本专利不做限制。
本实施方式与现有技术相比存在的有益效果是:将所述非结构化的规章制度文档进一步解析,自动获取非结构化数据,然后再根据预设对应关系列表,将所述非结构化数据存储至所述初始结构化文档的数据存储区域,获取所述结构化的规章制度文档。采用自动读取非结构化的规章制度文档的非结构化数据,并将所述非结构化数据自动转换成结构化的规章制度文档,以代替了传统的手工录入方式,解决了由于手工录入方式带来的效率低下,容易出错等问题,提高了工作效率,降低了工作成本。
对应于上文中的结构转换方法实施例中所述的结构转换方法,图3示出了本申请实施例一提供的规章制度文档的结构转换装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图3,一种文档的结构转换装置300,用于将非结构化的文档转换结构化文档,所述结构转换装置300包括:
解析模块301,用于解析所述非结构化的文档,获取非结构化数据;
查找模块302,用于查找与所述非结构化数据匹配的初始结构化文档,其中,所述初始结构化文档预设有数据存储区域;
获取模块303,用于根据预设对应关系列表,将所述非结构化数据存储至所述初始结构化文档的数据存储区域,获取所述结构化的文档。
其中,所述非结构化文档为非结构化的规章制度文档,所述结构化文档为结构化的规章制度文档。
可选地,所述解析模块301还用于从前端至后端的顺序依次读取所述非结构化的规章制度文档;定义位于所述非结构化的规章制度文档最前端的标题作为解析起始端,往后端依次读取文档内容并识别文档内容的样式,并根据所述文档内容样式,分类存储对应文档内容,当所述文档内容空置时,解析结束,并获取所述非结构化数据。
可选地,所述文档内容的样式包括标题样式与正文样式;相应的,所述根据所述文档内容样式,分类存储对应文档内容,包括:
当识别的所述文档内容的样式为标题样式时,判断所述标题级别,并将对应文档内容分类存储为非结构化数据的第一级别标题或者第二级别标题,并继续往后端依次读取文档内容;
当识别的所述文档内容的样式为正文样式时,将所述文档内容存储为非结构化数据的正文,并继续往后端依次读取文档内容,若下一次识别的所述文档内容的样式为正文时,将识别的所述文档内容叠加至上一次读取的文档内容,以组合成一个正文进行存储。
可选的,所述结构转换装置300还包括上传模块,所述上传模块用于预先上传文档名称或数据结构相同或相近似的所述非结构化的规章制度文档与初始结构化文档。
可选地,所述对应关系列表是指所述第一级别标题对应规章制度章节、所述第二级别标题对应规章制度条款以及所述正文对应规章制度内容;相应的,所述获取模块303还用于:将所述非结构化数据的第一级别标题存储至所述初始结构化文档的数据存储区域的规章制度章节;将所述非结构化数据的第二级别标题存储至所述初始结构化文档的数据存储区域的规章制度条款;将所述非结构化数据的正文存储至初始结构化文档的数据存储区域的规章制度内容;获取所述结构化的规章制度文档。
可选地,所述解析模块301还用于当所述非结构化的规章制度文档无法进行解析时,将所述的非结构化的规章制度文档进行上报,结束本次结构转换。
需要说明的是,上述装置/模块之间的信息交互、执行过程等内容,由于与本申请结构转换方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见结构转换方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将所述结构装置300的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述中各功能模块的具体工作过程,可以参考前述结构转换方法实施例中的对应过程,在此不再赘述。
图4是本申请实施例三提供的电子设备400的结构示意图。如图4所示,电子设备400包括:处理器402、存储器401以及存储在存储器401中并可在处理器402上运行的计算机程序403。处理器402的个数是至少一个,图4以一个为例。处理器402执行计算机程序403时实现上述结构转换方法的实现步骤,即图1或者图2所示的步骤。
电子设备400的具体实现过程可以参见上文中的结构转换方法实施例。
示例性的,计算机程序403可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在存储器401中,并由处理器402执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序403在终端设备400中的执行过程。
电子设备400可以是桌上型计算机、笔记本、掌上电脑、主控等计算设备,也可以是相机、手机等具有图像采集功能和数据处理功能的设备,还可以是触控显示设备。电子设备400可包括,但不仅限于,处理器以及存储器。本领域技术人员可以理解,图4仅是电子设备400的示例,并不构成对电子设备400的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如电子设备400还可以包括输入输出设备、网络接入设备、总线等。
处理器402可以是CPU(Central Processing Unit,中央处理单元),还可以是其他通用处理器、DSP(Digital Signal Processor,数字信号处理器)、ASIC(ApplicationSpecific Integrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现成可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器401可以是电子设备400的内部存储单元,例如硬盘或内存。存储器401也可以是终端设备400的外部存储设备,例如电子设备400上配备的插接式硬盘、SMC(SmartMedia Card,智能存储卡)、SD卡(Secure Digital,安全数字卡)、Flash Card(闪存卡)等。进一步地,存储器401还可以既包括电子设备400的内部存储单元也包括外部存储设备。存储器401用于存储操作系统、应用程序、引导装载程序、数据以及其他程序等,例如所述计算机程序403的程序代码等。存储器401还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上文中的结构转换方法实施例中的步骤。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述结构转换方法实施例中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述结构转换方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、ROM(Read-Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (11)
1.一种文档的结构转换方法,用于将非结构化文档转换结构化文档,其特征在于,所述结构转换方法包括:
解析所述非结构化文档,获取非结构化数据;
查找与所述非结构化数据匹配的初始结构化文档,其中,所述初始结构化文档预设有数据存储区域;
根据预设对应关系列表,将所述非结构化数据存储至所述初始结构化文档的数据存储区域,获取所述结构化文档。
2.根据权利要求1所述的结构转换方法,其特征在于,所述非结构化数据包括第一级别标题、第二级别标题以及正文;所述数据存储区域包括章节、条款以及内容。
3.根据权利要求1所述的结构转换方法,其特征在于,所述解析所述非结构化的文档,获取非结构化数据,包括:
从前端至后端的顺序依次读取所述非结构化的文档;
定义位于所述非结构化的文档最前端的标题作为解析起始端,往后端依次读取文档内容并识别文档内容的样式,并根据所述文档内容样式,分类存储对应文档内容,当所述文档内容空置时,解析结束,并获取所述非结构化数据。
4.根据权利要求3所述的结构转换方法,其特征在于,所述文档内容的样式包括标题样式与正文样式;
相应的,所述根据所述文档内容样式,分类存储对应文档内容,包括:
当识别的所述文档内容的样式为标题样式时,判断所述标题级别,并将对应文档内容分类存储为非结构化数据的第一级别标题或者第二级别标题,并继续往后端依次读取文档内容;
当识别的所述文档内容的样式为正文样式时,将所述文档内容存储为非结构化数据的正文,并继续往后端依次读取文档内容,若下一次识别的所述文档内容的样式为正文时,将识别的所述文档内容叠加至上一次读取的文档内容,以组合成一个正文进行存储。
5.根据权利要求1所述的结构转换方法,其特征在于,在所述查找与所述非结构化数据匹配的初始结构化文档,其中,所述初始结构化文档预设有数据存储区域之前,所述结构转换方法还包括:
预先上传文档名称或者数据结构相同或相近似的所述非结构化文档与初始结构化文档。
6.如权利要求2所述的结构转换方法,其特征在于,所述对应关系列表是指所述第一级别标题对应所述数据存储区域的章节、所述第二级别标题对应所述数据存储区域的条款以及所述正文对应所述数据存储区域的内容;
相应的,所述根据预设对应关系列表,将所述非结构化数据存储至所述初始结构化文档的数据存储区域,获取所述结构化文档,包括:
将所述非结构化数据的第一级别标题存储至所述初始结构化文档的数据存储区域的章节;
将所述非结构化数据的第二级别标题存储至所述初始结构化文档的数据存储区域的条款;
将所述非结构化数据的正文存储至初始结构化文档的数据存储区域的内容;
获取所述结构化的文档。
7.根据权利要求1-6任一项所述的结构转换方法,其特征在于,所述非结构化文档为非结构化的规章制度文档,所述结构化文档为结构化的规章制度文档。
8.根据权利要求7所述的结构转换方法,其特征在于,所述非结构化的规章制度文档为word格式文档,所述转换结构化的规章制度文档为excel格式文档。
9.一种文档的结构转换装置,用于将非结构化文档转换成结构化文档,其特征在于,所述结构转换装置包括:
解析模块,用于解析所述非结构化文档,获取非结构化数据;
查找模块,用于查找与所述非结构化数据匹配的初始结构化文档,其中,所述初始结构化文档预设有数据存储区域;
获取模块,用于根据预设对应关系列表,将所述非结构化数据存储至所述初始结构化文档的数据存储区域,获取所述结构化文档。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的结构转换方法。
11.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1~8任一项所述的文档的结构转换方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010492442.8A CN111859863A (zh) | 2020-06-03 | 2020-06-03 | 一种文档的结构转换方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010492442.8A CN111859863A (zh) | 2020-06-03 | 2020-06-03 | 一种文档的结构转换方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111859863A true CN111859863A (zh) | 2020-10-30 |
Family
ID=72985417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010492442.8A Pending CN111859863A (zh) | 2020-06-03 | 2020-06-03 | 一种文档的结构转换方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111859863A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115545671A (zh) * | 2022-11-02 | 2022-12-30 | 广州明动软件股份有限公司 | 一种法律法规结构化处理的方法、系统 |
CN116468021A (zh) * | 2023-03-07 | 2023-07-21 | 天津市滨海新区司法局 | 一种基于编码化的执法依据数据处理和使用方法及系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105630916A (zh) * | 2015-12-21 | 2016-06-01 | 浙江工业大学 | 一种大数据环境下非结构化表格文档数据抽取与组织方法 |
CN105786921A (zh) * | 2014-12-26 | 2016-07-20 | 北京航天测控技术有限公司 | 一种非结构化文档的数据模块转化方法和装置 |
CN108153717A (zh) * | 2017-12-29 | 2018-06-12 | 北京仁和汇智信息技术有限公司 | 一种科技期刊论文word文档的结构化处理方法及装置 |
CN109117479A (zh) * | 2018-08-13 | 2019-01-01 | 数据地平线(广州)科技有限公司 | 一种金融文档智能核查方法、装置及存储介质 |
CN109344298A (zh) * | 2018-10-31 | 2019-02-15 | 南方电网科学研究院有限责任公司 | 一种将非结构化数据转化为结构化数据的方法及装置 |
CN109783787A (zh) * | 2018-12-29 | 2019-05-21 | 远光软件股份有限公司 | 一种结构化文档的生成方法、装置及存储介质 |
US20190243841A1 (en) * | 2018-02-06 | 2019-08-08 | Thomson Reuters (Professional) UK Ltd. | Systems and method for generating a structured report from unstructured data |
CN110175322A (zh) * | 2019-05-22 | 2019-08-27 | 北京神州泰岳软件股份有限公司 | 一种文档的结构化方法及装置 |
CN110543621A (zh) * | 2019-07-29 | 2019-12-06 | 国营芜湖机械厂 | 一种航空检测设备多格式结果文档解析系统及其使用方法 |
CN110955714A (zh) * | 2019-12-03 | 2020-04-03 | 中国银行股份有限公司 | 一种将非结构化文本转化为结构化文本的方法及装置 |
CN111144210A (zh) * | 2019-11-26 | 2020-05-12 | 泰康保险集团股份有限公司 | 图像的结构化处理方法及装置、存储介质及电子设备 |
-
2020
- 2020-06-03 CN CN202010492442.8A patent/CN111859863A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105786921A (zh) * | 2014-12-26 | 2016-07-20 | 北京航天测控技术有限公司 | 一种非结构化文档的数据模块转化方法和装置 |
CN105630916A (zh) * | 2015-12-21 | 2016-06-01 | 浙江工业大学 | 一种大数据环境下非结构化表格文档数据抽取与组织方法 |
CN108153717A (zh) * | 2017-12-29 | 2018-06-12 | 北京仁和汇智信息技术有限公司 | 一种科技期刊论文word文档的结构化处理方法及装置 |
US20190243841A1 (en) * | 2018-02-06 | 2019-08-08 | Thomson Reuters (Professional) UK Ltd. | Systems and method for generating a structured report from unstructured data |
CN109117479A (zh) * | 2018-08-13 | 2019-01-01 | 数据地平线(广州)科技有限公司 | 一种金融文档智能核查方法、装置及存储介质 |
CN109344298A (zh) * | 2018-10-31 | 2019-02-15 | 南方电网科学研究院有限责任公司 | 一种将非结构化数据转化为结构化数据的方法及装置 |
CN109783787A (zh) * | 2018-12-29 | 2019-05-21 | 远光软件股份有限公司 | 一种结构化文档的生成方法、装置及存储介质 |
CN110175322A (zh) * | 2019-05-22 | 2019-08-27 | 北京神州泰岳软件股份有限公司 | 一种文档的结构化方法及装置 |
CN110543621A (zh) * | 2019-07-29 | 2019-12-06 | 国营芜湖机械厂 | 一种航空检测设备多格式结果文档解析系统及其使用方法 |
CN111144210A (zh) * | 2019-11-26 | 2020-05-12 | 泰康保险集团股份有限公司 | 图像的结构化处理方法及装置、存储介质及电子设备 |
CN110955714A (zh) * | 2019-12-03 | 2020-04-03 | 中国银行股份有限公司 | 一种将非结构化文本转化为结构化文本的方法及装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115545671A (zh) * | 2022-11-02 | 2022-12-30 | 广州明动软件股份有限公司 | 一种法律法规结构化处理的方法、系统 |
CN115545671B (zh) * | 2022-11-02 | 2023-10-03 | 广州明动软件股份有限公司 | 一种法律法规结构化处理的方法、系统 |
CN116468021A (zh) * | 2023-03-07 | 2023-07-21 | 天津市滨海新区司法局 | 一种基于编码化的执法依据数据处理和使用方法及系统 |
CN116468021B (zh) * | 2023-03-07 | 2024-07-12 | 天津市滨海新区司法局 | 一种基于编码化的执法依据数据处理和使用方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108334609B (zh) | Oracle中实现JSON格式数据存取的方法、装置、设备及存储介质 | |
CN109284323B (zh) | 检测数据的管理方法及装置 | |
CN111400387B (zh) | 导入导出数据的转换方法、装置、终端设备及存储介质 | |
CN109582831B (zh) | 一种支持非结构化数据存储与查询的图数据库管理系统 | |
CN110737689B (zh) | 数据标准符合性检测方法、装置、系统及存储介质 | |
CN109241095B (zh) | 一种快速查询方法、终端和可存储介质 | |
WO2022134583A1 (zh) | 一种保险数据信息的生成方法、装置、服务器及存储介质 | |
CN111061733B (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
CN110109981B (zh) | 工作队列的信息展示方法、装置、计算机设备和存储介质 | |
CN111859863A (zh) | 一种文档的结构转换方法、装置、存储介质及电子设备 | |
CN113407536A (zh) | 表数据的关联方法、装置、终端设备及介质 | |
CN113111227A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN103020225B (zh) | 一种cpu型号识别方法和硬件检测系统 | |
CN112181924A (zh) | 文件转换方法、装置、设备及介质 | |
CN111858581B (zh) | 一种分页查询的方法、装置、存储介质和电子设备 | |
CN113609128A (zh) | 生成数据库实体类的方法、装置、终端设备及存储介质 | |
CN110704635B (zh) | 一种知识图谱中三元组数据的转换方法及装置 | |
CN114564938A (zh) | 文档的解析方法及装置、存储介质和处理器 | |
CN109460318B (zh) | 一种可回滚档案采集数据的导入方法、计算机装置及计算机可读存储介质 | |
CN115617748A (zh) | 物料清单信息解析方法、装置、设备及存储介质 | |
CN115357625A (zh) | 结构化数据比对方法、装置、电子设备及存储介质 | |
CN112612817B (zh) | 数据处理方法、装置、终端设备及计算机可读存储介质 | |
CN114880523A (zh) | 字符串处理方法、装置、电子设备及存储介质 | |
CN110378795B (zh) | 一种条款文件的生成方法、装置、存储介质和服务器 | |
CN113741864A (zh) | 基于自然语言处理的语义化服务接口自动设计方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |