CN112069238A - 知识产权数据采集和治理方法与系统 - Google Patents

Abstract

本发明提供的一种知识产权数据采集和治理方法与系统，能够对原始的多形式的数据源进行加工处理，得到标准化、可靠的数据，同时每条信息都具有相关的标引，为后续的检索、分析提供源数据支持，本发明从多个知识产权数据源获取知识产权数据，根据知识产权数据的类型进行数据解析和清洗处理，并将处理后的知识产权数据转存入知识产权数据资源库，并根据系统预设规则对知识产权数据添加标签，所述标签用以定义知识产权数据，所述多个知识产权数据通过标签建立关联，以形成知识产权数据的聚类。

Description

知识产权数据采集和治理方法与系统

技术领域

本发明涉及数据采集技术领域，具体涉及一种知识产权数据采集和治理方 法与系统。

背景技术

目前专利、商标、版权等多源数据存在结构化与非结构化数据等多种格式， 且各类知识产权数据相对独立缺乏不同类型数据之间的联系，对基于多源异构 数据的采集提出了更高的技术要求。

发明内容

本发明的目的是提供一种知识产权数据采集和治理方法与系统，其目的在 于采集各类知识产权数据、工商主体数据，并做加工整理形成标准化数据。

为了达到上述目的，本发明一方面提供知识产权数据采集和治理方法，包 括：

从多个知识产权数据源获取知识产权数据，根据知识产权数据的类型进行 数据解析和清洗处理，并将处理后的知识产权数据转存入知识产权数据资源库；

根据系统预设规则对知识产权数据添加标签，所述标签用以定义知识产权 数据，所述多个知识产权数据通过标签建立关联，以形成知识产权数据的聚类。

进一步的，在数据采集过程中，还包括：

根据知识产权数据源判断知识产权数据类型，所述知识产权数据类型包括 以文件导出形式从知识产权数据源获取的第一类型，以数据接口调用形式从知 识产权数据源获取的第二类型，以结构化数据形式从知识产权数据源获取的第 三类型。

进一步的，所述第一类型知识产权数据处理过程中，包括以下步骤：

采用ETL工具解析原始知识产权数据，清洗重复数据和无效数据；

对XML文件进行解析，生成结构化的专利数据文本，并将专利文本数据分 类匹配导入的图片或第三方文件；

根据数据库类型对解析后的数据进行分类存储，所述数据库类型包括Oracle 和Mysql。

进一步的，在所述第二类型知识产权数据处理过程中，包括以下步骤：

通过数据接口调用原始知识产权数据，对原始知识产权数据进行解析，生 成结构化的知识产权文本；

遍历数据库中的知识产权数据，根据遍历结果将解析后的数据就那些存储。

进一步的，在所述第三类型知识产权数据处理过程中，包括以下步骤：

复制原始知识产权数据至前置处理机，判断知识产权数据是否为需要解析 的XML文件；

如需要解析，根据不同的知识产权的类型对XML文件进行解析，生成结构 化的知识产权文本存储入数据库；

如无需解析，根据知识产权的类型对XML文件进行分类标记，导入数据库。

进一步的，在所述知识产权数据标签的添加过程中，还包括：

根据系统预设规则自动生成标签，所述标签至少包括主体、领域、技术、 人才等分类中的一种或多种；

根据标签生成一个或多个知识产权数据之间的关联，基于关联完成一个或 多个标签的知识产权数据间的聚类；

审核系统生成的数据关联，对无法匹配知识产权数据的标签进行二次标引。

另一方面，本发明还提供一种知识产权数据采集和治理系统，包括：

数据采集模块，所述数据采集模块从多个知识产权数据源获取知识产权数 据，根据知识产权数据的类型进行数据解析和清洗处理，并将处理后的知识产 权数据转存入知识产权数据资源库；

数据标引模块，所述数据标引模块根据系统预设规则对知识产权数据添加 标签，所述标签用以定义知识产权数据，所述多个知识产权数据通过标签建立 关联，以形成知识产权数据的聚类。

进一步的，所述数据采集模块包括：

第一采集装置，所述第一采集装置用以获取以文件导出形式从知识产权数 据源获取的第一类型知识产权数据；

第二采集装置，所述第二采集装置用以数据接口调用形式导从知识产权数 据源获取的第二类型知识产权数据；

第三采集装置，所述第三采集装置用以结构化文件形式从知识产权数据源 获取的第三类型知识产权数据。

进一步的，所述数据标引模块包括：

标签生成装置，根据系统预设规则自动生成标签，所述标签至少包括主体、 领域、技术、人才等分类中的一种或多种；

数据关联装置，根据标签生成一个或多个知识产权数据之间的关联，基于 关联完成一个或多个标签的知识产权数据间的聚类；

审核装置，审核系统生成的数据关联，对无法匹配知识产权数据的标签进 行二次标引。

本发明提供的一种知识产权数据采集和治理方法与系统，能够对原始的多 形式的数据源进行加工处理，得到标准化、可靠的数据，同时每条信息都具有 相关的标引，为后续的检索、分析提供源数据支持，本发明从多个知识产权数 据源获取知识产权数据，根据知识产权数据的类型进行数据解析和清洗处理， 并将处理后的知识产权数据转存入知识产权数据资源库，并根据系统预设规则 对知识产权数据添加标签，所述标签用以定义知识产权数据，所述多个知识产 权数据通过标签建立关联，以形成知识产权数据的聚类。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的知识产权数据采集和治理方法的方法流程图。

图2为本实施例所述第一类型知识产权数据处理的流程图。

图3为本实施例所述第二类型知识产权数据处理的流程图。

图4为本实施例所述第三类型知识产权数据处理的流程图。

图5是本发明一个实施例的知识产权数据采集和治理系统的系统框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。、

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子 集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同 子集，并且可以在不冲突的情况下相互结合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术 领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申 请实施例的目的，不是旨在限制本申请。

图1为本发明一个实施例的知识产权数据采集和治理方法的方法流程图， 如图1所示，本发明的知识产权数据采集和治理方法包括以下步骤：

S1，从多个知识产权数据源获取知识产权数据，根据知识产权数据的类型 进行数据解析和清洗处理，并将处理后的知识产权数据转存入知识产权数据资 源库。

具体的，知识产权数据源包括已公开的专利、商标、版权、地理标志、集 成电路、行业标准、案例、企业工商信息。本实施例主要通过主动和被动两种 方式获取数据，主动方式是通过数据推送方式从数据源获取，例如从国家知识 产权局下发的XML源数据文件，被动方式通过数据接口定期接收知识产权数 据，例如国家知识产权局提供的专利数据接口，或通过设置前置数据机直接从 知识产权数据源复制知识产权数据。

其中，知识产权数据包括三种类型，第一种类型为从知识产权数据源导出 的文件型数据，如商标数据是以.dmp格式文件形式从oracle数据库导出，文件 型数据也可以是xml文本，json等需要解析导出的结构化数据文件，及图片、 pdf文档等非解构化数据文件，或是以上三种类型文件的压缩包。第二种类型为 接口型数据，例如从http接口或api接口调用的结构化数据文件。第三种类型为 从各类常规数据库导出的数据库文件，如oracle，mysql等。

图2为本实施例所述第一类型知识产权数据处理的流程图。如图2所示在 第一类型知识产权数据处理过程中，包括以下步骤：

S111,采用ETL工具解析原始知识产权数据，清洗重复数据和无效数据；

S112，对XML文件进行解析，生成结构化的专利数据文本，并将专利文本 数据分类匹配导入的图片或第三方文件；

S113，根据数据库类型对解析后的数据进行分类存储，所述数据库类型包 括Oracle和Mysql。

具体的，对于oracle的dmp文件，可以采用imp或impdp工具导入相关的 oracal数据库，mysql数据库文件导入到相关mysql数据库，再用ETL工具进行 数据的解析归集处理。

在本实施例中，xml文本由于通常以压缩包形式批量存在，所以采用脚本进 行批量解压，在解压完成后按不同的xml文件类型进行分类处理，使用xml工 具对不同命名空间，通过代码进行解析。

此外，图片，文件等非解构化数据文件在解析xml文本时进行分类匹配， 一部分转入结构化存储，例如，商标系统中的图片使用程序导入到oracle的相 关表中；另一部分转入分布式存储，例如用S3API导入到对象存储中。。

图3为本实施例所述第二类型知识产权数据处理的流程图。如图2所示在 第二类型知识产权数据处理过程中，包括以下步骤：

S121，通过数据接口调用原始知识产权数据，对原始知识产权数据进行解 析，生成结构化的知识产权文本。

S122，遍历数据库中的知识产权数据，根据遍历结果将解析后的数据进行 存储。

图4为本实施例所述第三类型知识产权数据处理的流程图。如图2所示在 第三类型知识产权数据处理过程中，包括以下步骤：

S131，复制原始知识产权数据至前置处理机，判断知识产权数据是否为需 要解析的XML文件；

S132，如需要解析，根据不同的知识产权的类型对XML文件进行解析，生 成结构化的知识产权文本存储入数据库；

S133，如无需解析，根据知识产权的类型对XML文件进行分类标记，导入 数据库。

S2，根据系统预设规则对知识产权数据添加标签，所述标签用以定义知识 产权数据，所述多个知识产权数据通过标签建立关联，以形成知识产权数据的 聚类。

具体的，每条知识产权数据均可通过算法或人工的方式进行分类以赋予该 条知识产权信息相对应的一个或多个标签。标签用以定义知识产权数据，所述 多个知识产权信息资源通过标签建立关联，以形成知识产权数据的组合。每一 个标签可以对应一条或多条知识产权数据，每个知识产权数据也可对应一个或 多个标签。由此，多个知识产权数据通过多个标签形成多重索引的关系。

在一个实施例中，标签可包括主体、领域、技术、人才等分类。

具体的，主体为该知识产权信息的主体类型，包括专利(专利权人)、商 标(申请人)、版权(著作权人)、标准(发布单位)、地理标志(申请人)、 集成电路布图设计(布图设计权利人)、期刊(作者单位)、企业(企业名称)。

具体的，领域为该知识产权信息的技术领域，其标签的关联关系包括专利 (IPC分类号)、商标(尼斯分类)、版权(软件分类)、标准(CCS/ICS分类)、 地理标志(国民经济分类)、集成电路布图设计(布图设计分类)、期刊(学 科分类/中国分类/JCR分类)、企业(行业代码)和其他(产业名称)。

具体的，技术为该知识产权信息的技术分类，其标签的关联关系包括专利 (专利名称/摘要/说明书等)、商标(商标名称)、版权(软件简称/作品名称)、 标准(标准简称)、地理标志(产品名称)、集成电路布图设计(布图设计名 称)、期刊(标题/摘要/关键词)、企业(主营业务)和其他(技术成果/技术需 求)。

具体的人才为该知识产权信息的权利所有人或著作权人，其标签的关联关 系包括：专利(发明人)、版权(作者)、标准(起草人)、地理标志(核准 法人代表)、集成电路布图设计(布图设计创作人)、期刊(作者)、企业(主 要人员)和其他(人才团队)。

在一个实施例中，知识产权数据在最终入库前进行批量的格式矫正，其标 签的关联关系包括：统一格式规范，统一字段名称。使得各类型的知识产权数 据均享有统一的字段和统一的格式规范。这样各数据源的知识产权数据在获得 统一的数据格式后进行数据存储，使得商标、版权、专利、工商信息等数据能 够通过统一的检索接口进行数据检索，该数据接口能提供统一的字段和格式规 范的格式化检索。

图5是本发明一个实施例的知识产权数据采集和治理系统的系统框架图。 如图5所示，本发明的知识产权数据采集和治理系统包括数据采集模块100和 数据标引模块200。

具体的，数据采集模块100从多个知识产权数据源获取知识产权数据，根 据知识产权数据的类型进行数据解析和清洗处理，并将处理后的知识产权数据 转存入知识产权数据资源库。

其中，数据采集模块100包括，第一采集装置101，第二采集装置102和第 三采集装置103。

第一采集装置101用以获取以文件导出形式从知识产权数据源获取的第一类型知识产权数据。第二采集装置102用以数据接口调用形式导从知识产权数据源 获取的第二类型知识产权数据。第三采集装置103用以结构化文件形式从知识 产权数据源获取的第三类型知识产权数据。

具体的，数据标引模块200根据系统预设规则对知识产权数据添加标签， 所述标签用以定义知识产权数据，所述多个知识产权数据通过标签建立关联， 以形成知识产权数据的聚类。

其中，数据标引模块200包括标签生成装置201、数据关联装置202和审核 装置203。标签生成装置根据系统预设规则自动生成标签，标签至少包括主体、 领域、技术、人才等分类中的一种或多种。数据关联装置根据标签生成一个或 多个知识产权数据之间的关联，基于关联完成一个或多个标签的知识产权数据 间的聚类。审核装置审核系统生成的数据关联，对无法匹配知识产权数据的标 签进行二次标引。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例 是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的 范围内可以对上述实施例进行变化、修改、替换和变型。凡在本发明的精神和 原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范 围之内。

Claims (9)

1.一种知识产权数据采集和治理方法，其特征在于，包括：

从多个知识产权数据源获取知识产权数据，根据知识产权数据的类型进行数据解析和清洗处理，并将处理后的知识产权数据转存入知识产权数据资源库；

根据系统预设规则对知识产权数据添加标签，所述标签用以定义知识产权数据，所述多个知识产权数据通过标签建立关联，以形成知识产权数据的聚类。

2.如权利要求1所述的一种知识产权数据采集和治理方法，其特征在于，在数据采集过程中，还包括：

根据知识产权数据源判断知识产权数据类型，所述知识产权数据类型包括以文件导出形式从知识产权数据源获取的第一类型，以数据接口调用形式从知识产权数据源获取的第二类型，以结构化数据形式从知识产权数据源获取的第三类型。

3.如权利要求2所述的一种知识产权数据采集和治理方法，其特征在于，所述第一类型知识产权数据处理过程中，包括以下步骤：

采用ETL工具解析原始知识产权数据，清洗重复数据和无效数据；

对XML文件进行解析，生成结构化的专利数据文本，并将专利文本数据分类匹配导入的图片或第三方文件；

根据数据库类型对解析后的数据进行分类存储，所述数据库类型包括Oracle和Mysql。

4.如权利要求2所述的一种知识产权数据采集和治理方法，其特征在于，在所述第二类型知识产权数据处理过程中，包括以下步骤：

通过数据接口调用原始知识产权数据，对原始知识产权数据进行解析，生成结构化的知识产权文本；

遍历数据库中的知识产权数据，根据遍历结果将解析后的数据就那些存储。

5.如权利要求2所述的一种知识产权数据采集和治理方法，其特征在于，在所述第三类型知识产权数据处理过程中，包括以下步骤：

复制原始知识产权数据至前置处理机，判断知识产权数据是否为需要解析的XML文件；

如需要解析，根据不同的知识产权的类型对XML文件进行解析，生成结构化的知识产权文本存储入数据库；

如无需解析，根据知识产权的类型对XML文件进行分类标记，导入数据库。

6.如权利要求1所述的一种知识产权数据采集和治理方法，其特征在于，在所述知识产权数据标签的添加过程中，还包括：

根据系统预设规则自动生成标签，所述标签至少包括主体、领域、技术、人才等分类中的一种或多种；

根据标签生成一个或多个知识产权数据之间的关联，基于关联完成一个或多个标签的知识产权数据间的聚类；

审核系统生成的数据关联，对无法匹配知识产权数据的标签进行二次标引。

7.一种知识产权数据采集和治理系统，其特征在于，包括：

数据采集模块，所述数据采集模块从多个知识产权数据源获取知识产权数据，根据知识产权数据的类型进行数据解析和清洗处理，并将处理后的知识产权数据转存入知识产权数据资源库；

数据标引模块，所述数据标引模块根据系统预设规则对知识产权数据添加标签，所述标签用以定义知识产权数据，所述多个知识产权数据通过标签建立关联，以形成知识产权数据的聚类。

8.如权利要求7所述的一种知识产权数据采集和治理系统，其特征在于，所述数据采集模块包括：

第一采集装置，所述第一采集装置用以获取以文件导出形式从知识产权数据源获取的第一类型知识产权数据；

第二采集装置，所述第二采集装置用以数据接口调用形式导从知识产权数据源获取的第二类型知识产权数据；

第三采集装置，所述第三采集装置用以结构化文件形式从知识产权数据源获取的第三类型知识产权数据。

9.如权利要求7所述的一种知识产权数据采集和治理系统，其特征在于，所述数据标引模块包括：

标签生成装置，根据系统预设规则自动生成标签，所述标签至少包括主体、领域、技术、人才等分类中的一种或多种；

数据关联装置，根据标签生成一个或多个知识产权数据之间的关联，基于关联完成一个或多个标签的知识产权数据间的聚类；

审核装置，审核系统生成的数据关联，对无法匹配知识产权数据的标签进行二次标引。

Images