CN105653732A - 一种基于元数据自动建立表方法及系统 - Google Patents

Abstract

本发明公开了一种基于元数据自动建立表方法及系统，方法包括：从网站中提取得到信息数据；根据所述信息数据建立定义的业务表结构，并按照业务表结构得到业务表；根据所述的业务表生成元数据信息；将所述元数据信息生成结构模型，根据所述结构模型对所述信息数据进行整理得到业务分类；按照所述业务分类进行元数据标识，得到所述元数据标识后储存至数据库。系统包括：获取装置，处理装置，分类装置，储存装置。采用本发明的方法能够对非结构化和结构化的数据表模型进行统一创建、修改、维护管理，从数据库读取元信息存储到数据库并且从元信息自动建表生成物理表结构，从而降底由于结构和元信息不一致的情况。

Description

一种基于元数据自动建立表方法及系统

技术领域

本发明涉及非结构化的数据方法，特别涉及基于元数据自动建立表方法及系统。

背景技术

目前80％的信息是以非传统结构化的数据资料的形式出现，包括网页、文件、纸质等。

结构化数据，即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据。结合到典型场景中更容易理解，比如企业ERP、财务系统、医疗HIS数据库、教育一卡通等。相对于结构化数据而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、标准通用标记语言下的子集XML、HTML、各类报表、图像和音频/视频信息等。

现今各行各业都会产生大量不同类型的文件和档案，如果不利用信息技术进行有效有序的管理，那么就不会发挥数据最大的价值，甚至信息的安全性得不到保障，资料的损毁。所以，如何实现信息的真实性、可用性，实现数据的存储、复制、检索、共享以及查询数据的关联信息，实现信息共享，成了迫切需要解决的问题。

通过对元数据(MetaData)定义，将元数据信息根据数据库配置关系直接生成目标库表结构进行维护和管理。元数据，是关于数据的数据，是用来描述数据的数据。元数据描述数据的结构和意义。元数据的概念是抽象的，当人们描述现实世界的事物时，就会产生抽象信息，这些描述事物的抽象信息便可以看作是元数据。比如，一个文件的名称、文件类型、大小、创建时间、创建人都是对文件进行描述的元数据。元数据具有上下文相关性，元数据是相对的。从定义可知，描述数据的数据是元数据，那么元数据本身也是数据，就还存在可以描述元数据的数据，这样不断重复，理论上是无穷尽的。通常把数据和元数据的区别称为类型和实例区别，只要确定了数据就可以得到描述该数据的元数据。

发明内容

本发明要解决的技术问题是，对非结构化和结构化的数据表模型进行统一创建、修改、维护管理，从数据库读取元信息存储到数据库并且从元信息自动建表生成物理表结构，从而降底由于结构和元信息不一致的情况。

解决上述技术问题，本发明提供了一种基于元数据自动建立表方法，包括，

从网站中提取得到信息数据；

根据所述信息数据建立定义的业务表结构，并按照业务表结构得到业务表；

根据所述的业务表生成元数据信息；

将所述元数据信息生成结构模型，根据所述结构模型对所述信息数据进行整理得到业务分类；

按照所述业务分类进行元数据标识，得到所述元数据标识后储存至数据库。

更进一步，将所述业务表结构定义为多字段：

{序号、中文名称、字段物理名、类型、长度、单元、是否为空值、默认值、关联参数系、关联字段}。

更进一步，根据所述业务表生成的元数据信息包括：表属性和字段属性；

所述表属性包括，必填单元、唯一单元、多选单元；

所述字段属性包括：字段唯一ID、字段中文名称、字段物理名称、字段序号、空值以及非空值。

更进一步，在所述表属性中的必填单元设置为：表中文名、表物理名、建表时间、表最近修改时间、表排列序号、产品化时间、停止维护时间以及停止通讯时间；

所述唯一单元设置为：表唯一ID、创建时间、归属属类；

所述多选单元设置为：更新频率、表建设状态、表维护状态、表重要性。

更进一步，所述网站包括门户网站，新浪、网易、腾讯、搜狐、凤凰网、MSN中国、中国政府网、中国金融网。

更进一步，使用网络爬虫从门户网站中提取得到信息数据，所述网络爬虫包括，Larbin、Nutch、Heritrix、WebSPHINX、Mercator、PolyBot。

更进一步，对所述信息数据进行整理得到业务分类具体为：

资讯类业务单元、量化类数据业务单元、行情服务业务单元，

所述资讯类业务单元用以记录行业资讯/法规和作为公告库；

所述量化类数据业务单元用以按照证券类、盈利预测、经济数据、衍生统计进行分类；

所述行情服务业务单元用以对动态行情和资金流向进行分类；

更进一步，所述结构模型的修改规则为：主键约束、唯一约束或者字段不能为空。

基于上述本发明还提供了一种基于元数据自动建立表系统，包括：

获取装置，所述获取装置用以从网站中提取得到信息数据；

处理装置，所述处理装置用以根据信息数据建立定义的业务表，并按照业务表得到业务表结构，以及根据业务表结构生成元数据信息；

分类装置，所述分类装置用以将所述元数据信息生成结构模型，根据所述结构模型对所述信息数据进行整理得到业务分类；

储存装置，所述储存装置用以按照所述业务分类进行元数据标识，以及储存元数据标识。

更进一步，所述储存装置的储存方式为：数据库系统储存或者分布式的文件系统存储。

本发明的有益效果：

1)本发明能够对数据库创建表时需要先建表再维护的流程进行减化。

2)本发明是针对传统非结构化和结构化的数据表进行统一管理。元数据通常被定义为“关于数据的数据”，它的功能有很多：如对信息资源的内容、属性、关系等描述。

3)本发明能够提高用户发现信息资源的能力，支持用户在不浏览信息本身的情况下就能够对信息资源有基本的了解和认识。从而实现数据的存储、复制、检索、共享以及查询数据的关联信息，实现信息共享。

4)在本发明中首先从网站获取数据；根据数据建立一个结构模型，再基于结构模型生成元数据；通过自动生成元数据，能够减少建立表的过程，直接将元数据建立生成物理表结构。由于在“互联网+”时代很多数据都是非结构化和结构化的数据(比如从网站获取的数据、Excel、Word数据等)采用本发明的基于元数据自动建立表方法可以将需要的金融数据根据结构模型生成元数据然后再建立物理表结构。在日常工作中用于管理数据库表结构，权限管理方便而非数据库操作表结构，管理上方便直观。同时弥补现在系统中元数据信息的维护，从业务底层规范业务流程。

附图说明

图1是本发明一实施例中的基于元数据自动建立表方法的操作流程示意图。

图2是图1中的业务表结构包括的字段结构示意图。

图3是图1中的元数据信息结构示意图。

图4是图3中的必填单元结构示意图。

图5是图3中的唯一单元结构示意图。

图6是图3中的多选单元结构示意图。

图7是图1中的业务分类关系示意图。

图8本发明一实施例中的基于元数据自动建立表系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

请参考图1，是本发明一实施例中的基于元数据自动建立表方法的操作流程示意图。

具体地，步骤包括：

步骤S101从网站中提取得到信息数据，以金融类型的数据为例，由于包括了大量数字、机构、股票、期货等信息数据，为了保证每天的更新，可以通过网络爬虫，从指定的网站中不断获取数据。比如，首先选取一部分指定对象的种子URL；然后将这些URL放入待抓取URL队列；接着从待抓取URL队列中取出待抓取在URL，解析DNS，并且得到主机的IP，并将URL对应的网页下载下来，存储进已下载网页的数据库中。分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环。作为本实施例中的优选，所述网站中包括但不限如下的类型：1)已下载未过期网页。2)已下载已过期网页：抓取到的网页实际上是互联网内容的一个镜像与备份，互联网是动态变化的，一部分互联网上的内容已经发生了变化，这时，这部分抓取到的网页就已经过期了。3)待下载网页：也就是待抓取URL队列中的指令页面。4)可知网页：还没有抓取下来，也没有在待抓取URL队列中，但是可以通过对已抓取页面或者待抓取URL对应页面进行分析获取到的URL，认为是可知网页。5)还有一部分网页，爬虫是无法直接抓取下载的。称为不可知网页。作为本实施例中的优选，对所述信息数据的抓取方式包括但不限于：深度优先遍历策略、宽度优先遍历策略；反向链接数策略；PartialPageRank策略；OPIC策略策略；大站优先策略。所述深度优先遍历策略指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。所述宽度优先遍历策略的基本思路是，将新下载网页中发现的链接直接插入待抓取URL队列的末尾。也就是指网络爬虫会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。所述反向链接数是指一个网页被其他网页链接指向的数量。反向链接数表示的是一个网页的内容受到其他人的推荐的程度。因此，很多时候搜索引擎的抓取系统会使用这个指标来评价网页的重要程度，从而决定不同网页的抓取先后顺序。在真实的网络环境中，由于广告链接、作弊链接的存在，反向链接数不能完全等他我那个也的重要程度。因此，搜索引擎往往考虑一些可靠的反向链接数。所述PartialPageRank策略通过借鉴PageRank算法的思想：对于已经下载的网页，连同待抓取URL队列中的URL，形成网页集合，计算每个页面的PageRank值，计算完之后，将待抓取URL队列中的URL按照PageRank值的大小排列，并按照该顺序抓取页面。如果每次抓取一个页面，就重新计算PageRank值，一种折中方案是：每抓取K个页面后，重新计算一次PageRank值。但是这种情况还会有一个问题：对于已经下载下来的页面中分析出的链接，也就是我们之前提到的未知网页那一部分，暂时是没有PageRank值的。为了解决这个问题，会给这些页面一个临时的PageRank值：将这个网页所有入链传递进来的PageRank值进行汇总，这样就形成了该未知页面的PageRank值，从而参与排序。所述大站优先策略对于待抓取URL队列中的所有网页，根据所属的网站进行分类。对于待下载页面数多的网站，优先下载。作为本实施例中的优选，所述网站包括门户网站，新浪、网易、腾讯、搜狐、凤凰网、MSN中国、中国政府网。作为本实施例中的优选，使用网络爬虫从门户网站中提取得到信息数据，所述网络爬虫包括，Larbin、Nutch、Heritrix、WebSPHINX、Mercator、PolyBot。

步骤S102根据所述信息数据建立定义的业务表结构，并按照业务表结构得到业务表，所述业务表包括但不限于.xlsx类型的文件，在所述业务表结构中按照需求以及金融数据的行业特点，增加对应的字段，用户对数据信息进行分类。比如，以金融研报为例，其中包括了研究机构、研究员以及研报发布日期等，可以按照如下的方式建立业务表，研报基本信息表、研报公司盈利预测表、研报证券投资评级表、研报行业投资评级表、研报披露行业标准化表、研报预测评级标准化表、研报作者关联中间表、研报作者关联表、研报分析师信息表、研报评奖榜单主表、研报评奖榜单子表、公司机构调研信息表、机构调研来访对象表等。

步骤S103根据所述的业务表生成元数据信息，所述元数据信息，是关于数据的数据，是用来描述数据的数据。更进一步，在本实施例中可以将从指定网站中提取得到的非结构化信息数据，转化成结构化数据，并按照定义的不同字段信息自动建立对应的元数据信息。

步骤S104将所述元数据信息生成结构模型，根据所述结构模型对所述信息数据进行整理得到业务分类；在所述步骤S104中的结构模型可以包括字段物理名称、字段的中文名称、类型、精度以及相关联的字段等等。所述结构模型的修改规则为：主键约束、唯一约束或者字段不能为空。

步骤S105按照所述业务分类储存至数据库。

本实施例中的有益效果在于：提供了在日常工作中用于管理数据库表结构，以及权限管理方便而非数据库操作表结构，管理上方便直观。同时也是针对传统非结构化和结构化的数据表进行统一管理，弥补了现在系统中元数据信息的维护，从业务底层规范业务流程。

请参考图2是图1中的业务表结构包括的字段结构示意图。

在本实施例中，基于元数据的自动建立表的方法为：从网站中提取得到信息数据；根据所述信息数据建立定义的业务表结构，并按照业务表结构得到业务表；根据所述的业务表生成元数据信息；将所述元数据信息生成结构模型，根据所述结构模型对所述信息数据进行整理得到业务分类；按照所述业务分类进行元数据标识，得到所述元数据标识后储存至数据库。作为本实施例中的优选，将所述业务表结构定义为多字段：

{序号201、中文名称202、字段物理名203、类型204、长度205、单位206、是否为空值207、默认值208、关联参数系209、关联字段210}。

所述序号201为数据的统一编号；所述中文名称202为提取得到的关键词或者关键信息；所述字段物理名203按照统一格式进行表示，比如：机构统一编码对应的字段物理名为：ORG_UNI_CODE，获奖人姓名为：INDIV_NAME。所述类型204包括但不限于：数字、中文字符或者英文字符。

所述长度205按照字符的长短进行确定。所述单位206包括但不限于研报发表的所属单位。所述是否为空值207，为按照数据的类型对字段是否为空进行的判断，即空值或者非空值。所述默认值208为用户设定的默认值。所述关联参数系209为与其它的表相关联的参数。所述关联字段210，比如，研报评奖榜单主表与研报评奖榜单子表中就有关联字段。

图3是图1中的元数据信息结构示意图。

基于元数据的自动建立表的方法中，作为本实施例中的优选，元数据信息30包括：

表属性302和字段属性303；

所述表属性302包括，必填单元3021、唯一单元3023、多选单元3022；在所述表属性302中的必填单元3021、唯一单元3023、多选单元3022定义了表的结构，以及数据对应的归属。

所述字段属性303包括：字段唯一ID3031、字段中文名称3032、字段物理名称3033、字段序号3035、空值以及非空值3034。所述字段属性303中的字段唯一ID3031、字段中文名称3032、字段物理名称3033、字段序号3035、空值以及非空值3034与物理表即业务表中相匹配，形成一一对应的关系。

请参考图4，作为本实施例中的优选，在所述表属性中的必填单元设置为：表中文名、表物理名、建表时间、表最近修改时间、表排列序号、产品化时间、停止维护时间以及停止通讯时间。

通过上述表属性必填单元的设置，生成结构模型，本发明中的有益效果在于：通过自动建表系统生成的表结构可以由各系统使用，方便日常修改和维护的目的，提高了沟通和管理的作用。

请参考图5，作为本实施例中的优选，所述唯一单元设置为：表唯一ID、创建时间、归属属类。

请参考图6，作为本实施例中的优选，所述多选单元设置为：更新频率、表建设状态、表维护状态、表重要性。所述多选单元用以增加结构模型的多样性，通过设置更新频率，能够使得数据得到同步地更新，通过设置表建设状态、表维护状态、表重要性便于技术人员对表进行维护。

在本实施例中的有益效果为：通过设置元数据信息的表属性和字段属性，能够从数据库读取元信息后存储到数据库，并且从元信息自动建表生成物理表结构，从而降底由于结构和元信息不一致的情况。

图7是图1中的业务分类关系示意图。

在本实施例中基于元数据自动建立表方法，从网站中提取得到信息数据；根据所述信息数据建立定义的业务表结构，并按照业务表结构得到业务表；根据所述的业务表生成元数据信息；将所述元数据信息生成结构模型，根据所述结构模型对所述信息数据进行整理得到业务分类；按照所述业务分类进行元数据标识，得到所述元数据标识后储存至数据库。作为本实施例中的优选，所述信息数据进行整理得到业务分类具体为：

资讯类业务单元701、量化类数据业务单元702、行情服务业务单元703，

所述资讯类业务单元用以记录行业资讯/法规7011和作为公告库7012；即将行业中的资讯、法规，相关机构的公告进行储存。所述资讯类业务单元对网络爬虫获取得到的信息数据进行直接储存。

所述量化类数据业务单元用以按照证券类7021、盈利预测7022、经济数据7023、衍生统计7024进行分类；其中所述盈利预测7022，为金融机构发布的盈利预测报告。所述证券类7021和经济数据7023，根据用户进行自定义。衍生统计7024，是按照金融衍生品进行的统计，包括但不限于远期、期货、掉期(互换)和期权。

所述行情服务业务单元703用以对动态行情7031和资金流向7032进行分类。所述动态行情7031为金融市场中的股票、期货、外汇等的行情动态，通过网络爬虫主要从所述的待下载网页或者可知网页中进行抓取。

图8本发明一实施例中的基于元数据自动建立表系统的结构示意图。

在本实施例中的基于元数据自动建立表系统包括：

获取装置801，所述获取装置801用以从网站中提取得到信息数据，具体地，用户在客户端通过获取装置801，实现数据的存储、复制、检索、共享以及查询数据的关联信息。所述客户端包括但不限于，智能手机、平板电脑、台式电脑等终端。作为本实施例中的优选，用网络爬虫从门户网站中提取得到信息数据，所述网络爬虫包括，Larbin、Nutch、Heritrix、WebSPHINX、Mercator、PolyBot。

处理装置802，所述处理装置802用以根据信息数据建立定义的业务表，并按照业务表得到业务表结构，以及根据业务表结构生成元数据信息；在所述处理装置802按照业务表得到业务表结构，再根据业务表结构构成元数据信息；所述元数据信息包括但不限于：表属性和字段属性；所述表属性包括，必填单元、唯一单元、多选单元；所述字段属性包括：字段唯一ID、字段中文名称、字段物理名称、字段序号、空值以及非空值。更进一步，在所述表属性中的必填单元设置为：表中文名、表物理名、建表时间、表最近修改时间、表排列序号、产品化时间、停止维护时间以及停止通讯时间；所述唯一单元设置为：表唯一ID、创建时间、归属属类；所述多选单元设置为：更新频率、表建设状态、表维护状态、表重要性。更进一步，元数据的信息与业务表结构定义的多字段为一一对应的结构：比如：按照{序号、中文名称、字段物理名、类型、长度、单位、是否为空值、默认值、关联参数系、关联字段}的结构，基于元数据得到数据库中物理表。

分类装置803，所述分类装置803用以将所述元数据信息生成结构模型，根据所述结构模型对所述信息数据进行整理得到业务分类；信息数据进行整理得到业务分类具体为：资讯类业务单元、量化类数据业务单元、行情服务业务单元，所述资讯类业务单元用以记录行业资讯/法规和作为公告库；所述量化类数据业务单元用以按照证券类、盈利预测、经济数据、衍生统计进行分类；所述行情服务业务单元用以对动态行情和资金流向进行分类。

储存装置804，按照所述业务分类储存至数据库，作为与本实施例中的优选，所述储存装置的储存方式为：数据库系统储存或者分布式的文件系统存储。

所属领域的普通技术人员应当理解：以上，所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于元数据自动建立表方法，其特征在于，包括，

从网站中提取得到信息数据；

根据所述信息数据建立定义的业务表结构，并按照业务表结构得到业务表；

根据所述的业务表生成元数据信息；

将所述元数据信息生成结构模型，根据所述结构模型对所述信息数据进行整理得到业务分类；

按照所述业务分类储存至数据库。

2.根据权利要求1所述的基于元数据自动建立表方法，其特征在于，将所述业务表结构定义为多字段：

{序号、中文名称、字段物理名、类型、长度、单位、是否为空值、默认值、关联参数系、关联字段}。

3.根据权利要求1所述的基于元数据自动建立表方法，其特征在于，根据所述业务表生成的元数据信息包括：表属性和字段属性；

所述表属性包括，必填单元、唯一单元、多选单元；

所述字段属性包括：字段唯一ID、字段中文名称、字段物理名称、字段序号、空值以及非空值。

4.根据权利要求3所述的基于元数据自动建立表方法，其特征在于，在所述表属性中的必填单元设置为：表中文名、表物理名、建表时间、表最近修改时间、表排列序号、产品化时间、停止维护时间以及停止通讯时间；

所述唯一单元设置为：表唯一ID、创建时间、归属属类；

所述多选单元设置为：更新频率、表建设状态、表维护状态、表重要性。

5.根据权利要求1所述的基于元数据自动建立表方法，其特征在于，所述网站包括门户网站，新浪、网易、腾讯、搜狐、凤凰网、MSN中国、中国政府网。

6.根据权利要求5所述的基于元数据自动建立表方法，其特征在于，使用网络爬虫从门户网站中提取得到信息数据，所述网络爬虫包括，Larbin、Nutch、Heritrix、WebSPHINX、Mercator、PolyBot。

7.根据权利要求1所述的基于元数据自动建立表方法，其特征在于，对所述信息数据进行整理得到业务分类具体为：

资讯类业务单元、量化类数据业务单元、行情服务业务单元，

所述资讯类业务单元用以记录行业资讯/法规和作为公告库；

所述量化类数据业务单元用以按照证券类、盈利预测、经济数据、衍生统计进行分类；

所述行情服务业务单元用以对动态行情和资金流向进行分类。

8.根据权利要求1所述的基于元数据自动建立表方法，其特征在于，所述结构模型的修改规则为：主键约束、唯一约束或者字段不能为空。

9.一种基于元数据自动建立表系统，其特征在于，包括：

获取装置，所述获取装置用以从网站中提取得到信息数据；

处理装置，所述处理装置用以根据信息数据建立定义的业务表，并按照业务表得到业务表结构，以及根据业务表结构生成元数据信息；

分类装置，所述分类装置用以将所述元数据信息生成结构模型，根据所述结构模型对所述信息数据进行整理得到业务分类；

储存装置，按照所述业务分类储存至数据库。

10.根据权利要求9所述的基于元数据自动建立表系统，其特征在于，所述储存装置的储存方式为：数据库系统储存或者分布式的文件系统存储。