CN111400369A - 一种基于大数据分析的政策信息服务系统及方法 - Google Patents

一种基于大数据分析的政策信息服务系统及方法 Download PDF

Info

Publication number
CN111400369A
CN111400369A CN202010152980.2A CN202010152980A CN111400369A CN 111400369 A CN111400369 A CN 111400369A CN 202010152980 A CN202010152980 A CN 202010152980A CN 111400369 A CN111400369 A CN 111400369A
Authority
CN
China
Prior art keywords
policy
data
file
module
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010152980.2A
Other languages
English (en)
Inventor
刘合安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongfujin Precision Industry Shenzhen Co Ltd
Hunan City University
Original Assignee
Hongfujin Precision Industry Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Industry Shenzhen Co Ltd filed Critical Hongfujin Precision Industry Shenzhen Co Ltd
Priority to CN202010152980.2A priority Critical patent/CN111400369A/zh
Publication of CN111400369A publication Critical patent/CN111400369A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于管理技术领域，公开了一种基于大数据分析的政策信息服务系统及方法，数据挖掘模块用于获取最新政策文件以及相关信息；数据处理模块用于进行数据预处理；数据提取模块用于对数据进行多维度分析；数据分类模块用于进行政策的分类汇总；存储模块用于存储获取到的相关政策文件；数据更新模块用于进行政策信息的实时更新；查询模块用于进行相关政策的查询；反馈模块进行政策反馈；统计模块用于生成统计报表；定制提醒模块用于进行相关政策的定制提醒。本发明通过对获取到的原数据进行预处理分析，提高了数据的准确度以及可靠度，实现了政策的精准分析，提高了政策信息的价值利用率。

Description

一种基于大数据分析的政策信息服务系统及方法
技术领域
本发明属于管理技术领域，尤其涉及一种基于大数据分析的政策信息服务系统及方法。
背景技术
目前，政策宣讲是政策落地实施的重要前提，也是推进社会发展的重要手段之一。近年来，中小企业对政策信息及相关咨询服务的需求越来越迫切，全面快捷地获取政策类资讯信息，为企业发展提供决策依据。然而政策在贯彻宣传过程中存在层级过多、渠道单一、缺乏反馈等问题，从而导致科技政策实施过程中出现理解不全、执行偏差等情况。
通过上述分析，现有技术存在的问题及缺陷为：现有政策宣传以及公开主要通过政务网实现，层级过多，渠道单一且并无反馈渠道。
发明内容
针对现有技术存在的问题，本发明提供了一种基于大数据分析的政策信息服务系统及方法。
本发明是这样实现的，一种基于大数据分析的政策信息服务方法，包括：
步骤一，利用大数据挖掘技术从各个政务公开网站获取最新政策文件以及相关信息；利用大数据分析处理技术对获取到的各个政策文件、相关信息进行预处理并获取从各个政务公开网站获取最新政策文件以及相关数据信息；
步骤二，对获取到的相关文件、数据信息进行数据来源验证，验证通过则转向步骤三，验证未通过则删除相关数据；
步骤三，对验证来源通过的数据进行去重、过滤、归一化处理；首先由数据处理模块计算需要存储文件的文件特征和每个数据块的指纹，然后将文件特征指纹与每个数据块指纹发送给主节点单元；所述数据指纹是通过哈希函数生成的散列值，能唯一标识生成该数据指纹的数据块，具有全局唯一性；
步骤四，由主节点单元根据该文件特征指纹去主索引中检索；所述的主索引为key-value键值对的数据结构，key为文档特征指纹，代表某一类文件，value为该指向类文件的相似性集合的指针，指向某一特定文件的相似性集合，即指向从索引；
步骤五，如果未检索到与该文件特征指纹相同的记录，则表明该文件为一新文件；若检索到已存在与该文件特征指纹相同的记录，则表明存在同类型的文件数据存在，则将此文件进行删除；
步骤六，基于步骤三至步骤五提取到的文件标签以及自定义分类属性进行政策的分类汇总；基于大数据分析技术对预处理后的政策文件以及相关信息内容进行多维度分析；
步骤七，利用数据库存储获取到的相关政策文件，并建立政策文件关键词和政策文档之间的索引映射关系表；进行政策信息的实时更新；所述建立政策文件关键词和政策文档之间的索引映射关系表包括：获取各个政策文件以及相关数据信息的标签；基于大数据分析技术计算各个政策文件以及相关数据信息中某个标签出现的次数，将标签出现次数与文档编号建立索引关系；
基于建立的索引关系通过行列运算计算相对于标签的文档相关性排序；基于建立的索引关系按照相关性排序结果构建索引映射关系表；
步骤八，通过自定义查询条件或输入查询关键词查询相关政策文件，并输出查询报表；针对查询过或正在查询的政策文件提供数据反馈通道，收集针对查看的政策的相关意见或建议信息，并进行信息反馈。
进一步，所述步骤三中的哈希函数采用的为SHA-1算法。
进一步，所述步骤八中，根据定义统计条件进行政策信息及相关数据文件的统计，并生成统计报表；同时阅阅览相关政策信息，基于自定义的政策订阅条件进行相关政策的定制提醒；同时针对感兴趣或正在查看的政策文件提供相应政策解读文件或相关数据链接。
进一步，所述基于自定义的政策订阅条件进行相关政策的定制提醒方法包括：
步骤1，自定义的政策订阅条件；
步骤2，提取订阅条件中有关政策的相关关键词；
步骤3，根据提取到的关键词在政策文件关键词和政策文档之间的索引映射关系表中进行检索；
步4，输出与订阅关键词相匹配的政策文件或相关信息。
本发明的另一目的在于提供一种基于大数据分析的政策信息服务系统，包括：
数据挖掘模块，用于基于大数据挖掘技术从各个政务公开网站获取最新政策文件以及相关信息；
数据处理模块，用于利用大数据分析处理技术对获取到的各个政策文件、相关信息进行预处理，
数据提取模块，用于基于大数据分析技术对预处理后的政策文件以及相关信息内容进行多维度分析，所述多维度分析包括：对预处理后的政策文件以及相关信息内容按照发布机构、发布时间、政策有效时间、行业领域、区域层级、企业性质、扶持关键字、扶持强度金额以及其他维度进行分析；
数据分类模块，用于提取到的文件标签以及自定义分类属性进行政策的分类汇总。
存储模块，用于利用数据库存储获取到的相关政策文件，并建立政策文件关键词和政策文档之间的索引映射关系表；
数据更新模块，用于通过存储的政策文件及建立的索引映射关系表进行政策信息的实时更新。
查询模块，用于通过自定义查询条件或输入查询关键词进行相关政策的查询；
反馈模块，用于收集用户针对查看的政策的相关意见或建议，并进行信息反馈。
统计模块，用于基于自定义统计条件进行政策信息及相关数据文件的统计，并生成统计报表；
定制提醒模块，用于基于用户自定义的政策订阅条件进行相关政策的定制提醒；
服务模块，用于针对用户感兴趣或正在查看的政策文件提供相应政策解读文件或相关数据链接。
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述基于大数据分析的政策信息服务方法，包括下列步骤：
步骤I，利用大数据挖掘技术从各个政务公开网站获取最新政策文件以及相关信息；利用大数据分析处理技术对获取到的各个政策文件、相关信息进行预处理；
步骤II，基于提取到的文件标签以及自定义分类属性进行政策的分类汇总；基于大数据分析技术对预处理后的政策文件以及相关信息内容进行多维度分析；
步骤III，利用数据库存储获取到的相关政策文件，并建立政策文件关键词和政策文档之间的索引映射关系表；进行政策信息的实时更新；
步骤IV，通过自定义查询条件或输入查询关键词查询相关政策文件，并输出查询报表；针对用户查询过或正在查询的政策文件提供数据反馈通道，收集用户针对查看的政策的相关意见或建议，并反馈。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述基于大数据分析的政策信息服务方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
(1)本发明提供了一种基于大数据分析的政策信息服务系统，能够全面准确的提供各种政策信息以及政策解读等服务；本发明通过对获取到的原数据进行预处理分析，提高了数据的准确度以及可靠度，实现了政策的精准分析，提高了政策信息的价值利用率；
(2)本发明提供的基于大数据分析的政策信息服务系统得方法，可以通过自定义查询条件或输入查询关键词查询相关政策文件，并输出查询报表；并可将反馈信息反馈至相关负责人或联系人处；
(3)本发明提供的信息预处理方法，可将采集的信息进行去重、过滤和归一，方便用户进行检索查询；
(4)本发明提供的对验证来源通过的数据进行去重方法可以提高文件数据去重的准确率，去重速度快；
(5)本发明提供的数据指纹具有唯一性，可以提高文件数据去重的准确率；
(6)本发明提供的主索引结构可以提高检索数据指纹索引的效率；
(7)本发明提供的SHA-1算法可以降低生成的数据指纹发生碰撞的概率；
(8)本发明提供的索引映射关系表可以提高用户进行文件数据检索的效率及准确度；
(9)本发明提供的信息服务方法可以多方面满足用户的检索需求；
(10)本发明提供自定义的政策定制提醒服务，能够解决现有企业获取政策信息存在不及时和遗落的问题，能提高企业获取政策信息的便捷性和实时性。
附图说明
图1是本发明实施例提供的基于大数据分析的政策信息服务系统结构示意图；
图2是本发明实施例提供的基于大数据分析的政策信息服务方法流程图；
图3是本发明实施例提供的预处理方法流程图；
图4是本发明实施例提供的对验证来源通过的数据进行去重的方法流程图；
图5是本发明实施例提供的索引关系表构建方法流程图；
图6是本发明实施例提供的定制提醒方法流程图；
图中：1、数据挖掘模块；2、数据处理模块；3、数据提取模块；4、数据分类模块；5、存储模块；6、数据更新模块；7、查询模块；8、反馈模块；9、统计模块；10、定制提醒模块；11、服务模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于大数据分析的政策信息服务系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于大数据分析的政策信息服务系统包括：
数据挖掘模块1，用于基于大数据挖掘技术从各个政务公开网站获取最新政策文件以及相关信息。
数据处理模块2，用于利用大数据分析处理技术对获取到的各个政策文件、相关信息进行预处理。
数据提取模块3，用于基于大数据分析技术对预处理后的政策文件以及相关信息内容进行多维度分析，所述多维度分析包括：对预处理后的政策文件以及相关信息内容按照发布机构、发布时间、政策有效时间、行业领域、区域层级、企业性质、扶持关键字、扶持强度金额以及其他维度进行分析。
数据分类模块4，用于提取到的文件标签以及自定义分类属性进行政策的分类汇总。
存储模块5，用于利用数据库存储获取到的相关政策文件，并建立政策文件关键词和政策文档之间的索引映射关系表。
数据更新模块6，用于通过存储的政策文件及建立的索引映射关系表进行政策信息的实时更新。
查询模块7，用于通过自定义查询条件或输入查询关键词进行相关政策的查询。
反馈模块8，用于收集用户针对查看的政策的相关意见或建议，并反馈至相关负责人或联系人处。
统计模块9，用于基于自定义统计条件进行政策信息及相关数据文件的统计，并生成统计报表。
定制提醒模块10，用于基于用户自定义的政策订阅条件进行相关政策的定制提醒。
服务模块11，用于针对用户感兴趣或正在查看的政策文件提供相应政策解读文件或相关数据链接。
如图2所示，本发明实施例提供的基于大数据分析的政策信息服务方法包括：
S101，利用大数据挖掘技术从各个政务公开网站获取最新政策文件以及相关信息；利用大数据分析处理技术对获取到的各个政策文件、相关信息进行预处理。
S102，基于提取到的文件标签以及自定义分类属性进行政策的分类汇总；基于大数据分析技术对预处理后的政策文件以及相关信息内容进行多维度分析。
S103，利用数据库存储获取到的相关政策文件，并建立政策文件关键词和政策文档之间的索引映射关系表；进行政策信息的实时更新。
S104，通过自定义查询条件或输入查询关键词查询相关政策文件，并输出查询报表；针对用户查询过或正在查询的政策文件提供数据反馈通道，收集用户针对查看的政策的相关意见或建议，并反馈至相关负责人或联系人处。
如图3所示，步骤S101中，本发明实施例提供的利用大数据分析处理技术对获取到的各个政策文件、相关信息进行预处理包括：
S201，获取从各个政务公开网站获取最新政策文件以及相关数据信息。
S202，对获取到的相关文件、数据信息进行数据来源验证，验证通过则转向步骤S203，验证未通过则删除相关数据。
S203，对验证来源通过的数据进行去重、过滤、归一化处理。
S204，基于词频-逆向文件频率模型抽取预处理的文件或数据信息的关键词；并将获取到的关键词作为政策文件的标签。
如图4所示，在步骤S203中，本发明实施例提供的对验证来源通过的数据进行去重方法包括：
S301，首先由数据处理模块计算需要存储文件的文件特征和每个数据块的指纹，然后将文件特征指纹与每个数据块指纹发送给主节点单元；
S302，由主节点单元根据该文件特征指纹去主索引中检索；
S303，如果未检索到与该文件特征指纹相同的记录，则表明该文件为一新文件；若检索到已存在与该文件特征指纹相同的记录，则表明存在同类型的文件数据存在，则将此文件进行删除。
本发明提供的数据指纹是通过哈希函数生成的散列值，能唯一标识生成该数据指纹的数据块，具有全局唯一性。
本发明提供的主索引为key-value键值对的数据结构，key为文档特征指纹，代表某一类文件，value为该指向类文件的相似性集合的指针，指向某一特定文件的相似性集合，即指向从索引。
本发明提供的哈希函数采用的为SHA-1算法。
如图5所示，步骤S103中，本发明实施例提供的建立政策文件关键词和政策文档之间的索引映射关系表包括：
S401，获取各个政策文件以及相关数据信息的标签。
S402，基于大数据分析技术计算各个政策文件以及相关数据信息中某个标签出现的次数，将标签出现次数与文档编号建立索引关系。
S403，基于建立的索引关系通过行列运算计算相对于标签的文档相关性排序。
S404，基于建立的索引关系按照相关性排序结果构建索引映射关系表。
本发明实施例提供的基于大数据分析的政策信息服务方法还包括：
用户可自定义统计条件进行政策信息及相关数据文件的统计，并生成统计报表；同时用户可订阅相关政策，基于用户自定义的政策订阅条件进行相关政策的定制提醒；同时针对用户感兴趣或正在查看的政策文件提供相应政策解读文件或相关数据链接。
如图6所示，本发明实施例提供的基于用户自定义的政策订阅条件进行相关政策的定制提醒包括：
S501，用户自定义的政策订阅条件；
S502，提取订阅条件中有关政策的相关关键词；
S503，根据提取到的关键词在政策文件关键词和政策文档之间的索引映射关系表中进行检索；
S504，输出与订阅关键词相匹配的政策文件或相关信息。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于大数据分析的政策信息服务方法，其特征在于，所述基于大数据分析的政策信息服务方法包括：
步骤一，利用大数据挖掘技术从各个政务公开网站获取最新政策文件以及相关信息；利用大数据分析处理技术对获取到的各个政策文件、相关信息进行预处理并获取从各个政务公开网站获取最新政策文件以及相关数据信息；
步骤二，对获取到的相关文件、数据信息进行数据来源验证，验证通过则转向步骤三，验证未通过则删除相关数据；
步骤三，对验证来源通过的数据进行去重、过滤、归一化处理；首先由数据处理模块计算需要存储文件的文件特征和每个数据块的指纹，然后将文件特征指纹与每个数据块指纹发送给主节点单元；所述数据指纹是通过哈希函数生成的散列值，能唯一标识生成该数据指纹的数据块，具有全局唯一性；
步骤四，由主节点单元根据该文件特征指纹去主索引中检索；所述的主索引为key-value键值对的数据结构，key为文档特征指纹，代表某一类文件，value为该指向类文件的相似性集合的指针，指向某一特定文件的相似性集合，即指向从索引；
步骤五，如果未检索到与该文件特征指纹相同的记录，则表明该文件为一新文件；若检索到已存在与该文件特征指纹相同的记录，则表明存在同类型的文件数据存在，则将此文件进行删除；
步骤六，基于步骤三至步骤五提取到的文件标签以及自定义分类属性进行政策的分类汇总；基于大数据分析技术对预处理后的政策文件以及相关信息内容进行多维度分析；
步骤七，利用数据库存储获取到的相关政策文件，并建立政策文件关键词和政策文档之间的索引映射关系表；进行政策信息的实时更新；所述建立政策文件关键词和政策文档之间的索引映射关系表包括：获取各个政策文件以及相关数据信息的标签；基于大数据分析技术计算各个政策文件以及相关数据信息中某个标签出现的次数，将标签出现次数与文档编号建立索引关系；
基于建立的索引关系通过行列运算计算相对于标签的文档相关性排序；基于建立的索引关系按照相关性排序结果构建索引映射关系表；
步骤八，通过自定义查询条件或输入查询关键词查询相关政策文件，并输出查询报表；针对查询过或正在查询的政策文件提供数据反馈通道，收集针对查看的政策的相关意见或建议信息，并进行信息反馈。
2.如权利要求1所述基于大数据分析的政策信息服务方法，其特征在于，所述步骤三中的哈希函数采用的为SHA-1算法。
3.如权利要求1所述基于大数据分析的政策信息服务方法，其特征在于，所述步骤八中，根据定义统计条件进行政策信息及相关数据文件的统计，并生成统计报表；同时阅阅览相关政策信息，基于自定义的政策订阅条件进行相关政策的定制提醒；同时针对感兴趣或正在查看的政策文件提供相应政策解读文件或相关数据链接。
4.如权利要求3所述基于大数据分析的政策信息服务方法，其特征在于，所述基于自定义的政策订阅条件进行相关政策的定制提醒方法包括：
步骤1，自定义的政策订阅条件；
步骤2，提取订阅条件中有关政策的相关关键词；
步骤3，根据提取到的关键词在政策文件关键词和政策文档之间的索引映射关系表中进行检索；
步4，输出与订阅关键词相匹配的政策文件或相关信息。
5.一种基于大数据分析的政策信息服务系统，其特征在于，所述基于大数据分析的政策信息服务系统包括：
数据挖掘模块，用于基于大数据挖掘技术从各个政务公开网站获取最新政策文件以及相关信息；
数据处理模块，用于利用大数据分析处理技术对获取到的各个政策文件、相关信息进行预处理，
数据提取模块，用于基于大数据分析技术对预处理后的政策文件以及相关信息内容进行多维度分析，所述多维度分析包括：对预处理后的政策文件以及相关信息内容按照发布机构、发布时间、政策有效时间、行业领域、区域层级、企业性质、扶持关键字、扶持强度金额以及其他维度进行分析；
数据分类模块，用于提取到的文件标签以及自定义分类属性进行政策的分类汇总。
6.如权利要求5所述的基于大数据分析的政策信息服务系统，其特征在于，所述基于大数据分析的政策信息服务系统进一步包括：
存储模块，用于利用数据库存储获取到的相关政策文件，并建立政策文件关键词和政策文档之间的索引映射关系表；
数据更新模块，用于通过存储的政策文件及建立的索引映射关系表进行政策信息的实时更新。
7.如权利要求5所述的基于大数据分析的政策信息服务系统，其特征在于，所述基于大数据分析的政策信息服务系统进一步包括：查询模块，用于通过自定义查询条件或输入查询关键词进行相关政策的查询；
反馈模块，用于收集用户针对查看的政策的相关意见或建议，并进行信息反馈。
8.如权利要求5所述的基于大数据分析的政策信息服务系统，其特征在于，所述基于大数据分析的政策信息服务系统进一步包括：统计模块，用于基于自定义统计条件进行政策信息及相关数据文件的统计，并生成统计报表；
定制提醒模块，用于基于用户自定义的政策订阅条件进行相关政策的定制提醒；
服务模块，用于针对用户感兴趣或正在查看的政策文件提供相应政策解读文件或相关数据链接。
9.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求1～4任意一项所述基于大数据分析的政策信息服务方法，包括下列步骤：
步骤I，利用大数据挖掘技术从各个政务公开网站获取最新政策文件以及相关信息；利用大数据分析处理技术对获取到的各个政策文件、相关信息进行预处理；
步骤II，基于提取到的文件标签以及自定义分类属性进行政策的分类汇总；基于大数据分析技术对预处理后的政策文件以及相关信息内容进行多维度分析；
步骤III，利用数据库存储获取到的相关政策文件，并建立政策文件关键词和政策文档之间的索引映射关系表；进行政策信息的实时更新；
步骤IV，通过自定义查询条件或输入查询关键词查询相关政策文件，并输出查询报表；针对用户查询过或正在查询的政策文件提供数据反馈通道，收集用户针对查看的政策的相关意见或建议，并反馈。
10.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～4任意一项所述基于大数据分析的政策信息服务方法。
CN202010152980.2A 2020-03-06 2020-03-06 一种基于大数据分析的政策信息服务系统及方法 Pending CN111400369A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010152980.2A CN111400369A (zh) 2020-03-06 2020-03-06 一种基于大数据分析的政策信息服务系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010152980.2A CN111400369A (zh) 2020-03-06 2020-03-06 一种基于大数据分析的政策信息服务系统及方法

Publications (1)

Publication Number Publication Date
CN111400369A true CN111400369A (zh) 2020-07-10

Family

ID=71428679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010152980.2A Pending CN111400369A (zh) 2020-03-06 2020-03-06 一种基于大数据分析的政策信息服务系统及方法

Country Status (1)

Country Link
CN (1) CN111400369A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149031A (zh) * 2020-08-24 2020-12-29 广州市标准化研究院 一种基于云服务的文化产业创意综合公共服务平台及方法
WO2023137700A1 (zh) * 2022-01-21 2023-07-27 中国科学院深圳先进技术研究院 一种面向城市决策和评估的多尺度信息目录构建系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336143B1 (en) * 2013-09-26 2016-05-10 Emc Corporation Indexing a deduplicated cache system by integrating fingerprints of underlying deduplicated storage system
CN106599041A (zh) * 2016-11-07 2017-04-26 中国电子科技集团公司第三十二研究所 基于大数据平台的文本处理及检索系统
CN108491438A (zh) * 2018-02-12 2018-09-04 陆夏根 一种科技政策检索分析方法
US20190087420A1 (en) * 2017-09-16 2019-03-21 Damien John Dunnington Methods, apparatus and data structures for searching and sorting documents
CN109902225A (zh) * 2019-01-22 2019-06-18 广州高企云信息科技有限公司 一种基于大数据的政策信息查询推送系统及方法
CN110275935A (zh) * 2019-05-10 2019-09-24 平安科技（深圳）有限公司 政策信息的处理方法、装置、及存储介质、电子装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336143B1 (en) * 2013-09-26 2016-05-10 Emc Corporation Indexing a deduplicated cache system by integrating fingerprints of underlying deduplicated storage system
CN106599041A (zh) * 2016-11-07 2017-04-26 中国电子科技集团公司第三十二研究所 基于大数据平台的文本处理及检索系统
US20190087420A1 (en) * 2017-09-16 2019-03-21 Damien John Dunnington Methods, apparatus and data structures for searching and sorting documents
CN108491438A (zh) * 2018-02-12 2018-09-04 陆夏根 一种科技政策检索分析方法
CN109902225A (zh) * 2019-01-22 2019-06-18 广州高企云信息科技有限公司 一种基于大数据的政策信息查询推送系统及方法
CN110275935A (zh) * 2019-05-10 2019-09-24 平安科技（深圳）有限公司 政策信息的处理方法、装置、及存储介质、电子装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐兵等: ""科技政策宣讲信息服务平台设计与实现"" *
李志科: ""云存储中数据完整性验证及去重技术研究"" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149031A (zh) * 2020-08-24 2020-12-29 广州市标准化研究院 一种基于云服务的文化产业创意综合公共服务平台及方法
CN112149031B (zh) * 2020-08-24 2024-04-26 广州市标准化研究院 一种基于云服务的文化产业创意综合公共服务平台及方法
WO2023137700A1 (zh) * 2022-01-21 2023-07-27 中国科学院深圳先进技术研究院 一种面向城市决策和评估的多尺度信息目录构建系统

Similar Documents

Publication Publication Date Title
US9852144B2 (en) System and method for investigating large amounts of data
Shivaji et al. Reducing features to improve code change-based bug prediction
US9323794B2 (en) Method and system for high performance pattern indexing
US20240070177A1 (en) Systems and methods for generating and using aggregated search indices and non-aggregated value storage
US8244767B2 (en) Composite locality sensitive hash based processing of documents
CN111258966A (zh) 一种数据去重方法、装置、设备及存储介质
WO2008063973A2 (en) Method and system for high performance data metatagging and data indexing using coprocessors
CN110659282B (zh) 数据路由的构建方法、装置、计算机设备和存储介质
CN114722137A (zh) 基于敏感数据识别的安全策略配置方法、装置及电子设备
CN111913860B (zh) 一种操作行为分析方法及装置
CN111400369A (zh) 一种基于大数据分析的政策信息服务系统及方法
US20080222063A1 (en) Extensible mechanism for detecting duplicate search items
CN112765966B (zh) 联想词去重方法及装置、计算机可读存储介质和电子设备
Joshi et al. Auto-grouping emails for faster e-discovery
CN107430633B (zh) 用于数据存储的系统及方法和计算机可读介质
US10614102B2 (en) Method and system for creating entity records using existing data sources
US20220270008A1 (en) Systems and methods for enhanced risk identification based on textual analysis
CN111680072A (zh) 基于社交信息数据的划分系统及方法
CN114254081B (zh) 企业大数据搜索系统、方法及电子设备
CN104951869A (zh) 一种基于工作流的舆情监控方法及装置
CN114996364B (zh) 一种PaaS云数据库审计日志的分类分级方法、装置及存储介质
Muthmann et al. Detecting near-duplicate relations in user generated forum content
US11893008B1 (en) System and method for automated data harmonization
CN117112846B (zh) 一种多信息源证照信息管理方法、系统及介质
CN116629816A (zh) 基于大数据的人力资源管理和辅助决策系统、方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination