CN114356967A - 一种专业情报搜集分析应用平台 - Google Patents
一种专业情报搜集分析应用平台 Download PDFInfo
- Publication number
- CN114356967A CN114356967A CN202210024827.0A CN202210024827A CN114356967A CN 114356967 A CN114356967 A CN 114356967A CN 202210024827 A CN202210024827 A CN 202210024827A CN 114356967 A CN114356967 A CN 114356967A
- Authority
- CN
- China
- Prior art keywords
- module
- information
- professional
- analysis
- subsystem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种专业情报搜集分析应用平台，包括：情报信息采集系统，其包括用于采集目标网站数据的采集子系统和用于存储目标网站数据的存储子系统；情报信息服务系统，其包括用于分析存储子系统中数据的分析子系统和用于展示所述分析子系统分析结果的浏览子系统。本申请通过采集子系统自动化收集相关专业情报资料，将情报资料按照标准格式化，经过去重处理后存入存储子系统中，既全面的收集了相关专业情报资料，又减少了数据的冗余，使得数据具有较高的分析价值；再经过分析子系统进行全面的分析，如分类、聚类、热点跟踪、自然语言分析等，最后将结果通过浏览子系统展示；大大提高专业情报搜集的效率及准确性，提高专业情报的利用价值。
Description
【技术领域】
本申请涉及专业情报技术领域，尤其涉及一种专业情报搜集分析应用平台。
【背景技术】
随着时代与技术的发展,在报刊、图书、地图、声像资料等众多公开情报来源当中,互联网已经成了进行公开情报收集的一个重要渠道。计算机互联网络已经遍布全球,因特网已经广泛应用于政治、经济、军事等各个领域,已经形成超越传统地理空间的“计算机网络空间”,其时效性、方便性及内容的丰富性都十分突出。
但是随着互联网，信息越来越庞杂，同时各种资料的获取难度也越来越高。信息的冗余越来越高，依靠人工来进行专业情报收集和分析已不能满足需要。
【发明内容】
本发明的目的在于提供一种专业情报搜集分析应用平台，自动收集专业情报信息，并整理分析形成知识库和分析结果，便于使用。
本发明提供了一种专业情报搜集分析应用平台，包括：
情报信息采集系统，其包括用于采集目标网站数据的采集子系统和用于存储目标网站数据的存储子系统；
情报信息服务系统，其包括用于分析存储子系统中数据的分析子系统和用于展示所述分析子系统分析结果的浏览子系统。
进一步地，所述采集子系统包括：
任务计划编辑模块，用于形成任务计划；
任务计划调度模块，用于调度和执行任务计划；
采集配置模块，用于配置各网站的采集配置；
采集模块，用于按照采集配置进行数据采集；
情报标准化模块，用于将采集到的数据进行标准格式化，形成待入库数据；
存储模块，用于存储待入库数据。
进一步地，所述存储子系统包括：
数据库模块，用于存储二维表结构数据；
索引引擎模块，用于索引数据，便于查询；
查询引擎模块，用于提供查询结构；
文本分析引擎，用于实现自然语言分析；
磁盘索引文件模块，用于索引文件，方便查看及下载、更新及版本控制。
进一步地，所述分析子系统包括：
自动翻译模块，用于调用翻译工具，实现不同语言之间的字词、句子和网页翻译；
自动过滤模块，用于多次采集时进行URL自动排重；
自动去重模块，用于对设定时间内标题相似或者内容相似的专业情报信息进行去重，仅显示最先发布的内容；
关键词识别模块，用于自动识别出专业情报信息中包含用户自定义的关键词与标签词，可在前台表现为标签词和自动分类；
自动分类模块，用于依据用户给每个类别设定的关键词进行自动分类；
自动聚类模块，用于对专业情报信息进行自动聚类；
内容分析模块，用于对专业情报信息进行分析以供参考；
智能打分模块，通过多个维度对专业情报信息进行智能打分，最后汇总后转化为不同的相关度；
多人协同工作模块，平台进一步地，所述内容分析模块包括：
热点分析子模块，用于分析一定时间内的热点关键词；
主题分析子模块，用于分析专业情报信息的主题方向；
地域分析子模块，用于分析专业情报信息的地域分布情况；
核心词分析子模块，用于分析专业情报信息的核心词；
来源分析子模块，用于分析专业情报信息的所有者情况；
相关性分析子模块，用于分析用于分析专业情报信息间的相关性。
进一步地，所述浏览子系统包括供用户查看使用的前台展示和供管理员查看使用的后台管理。
进一步地，所述前台展示包括：
文章列表展示模块，用于按照自动分类展示信息列表，页面包含标题、摘要，发布时间，来源网站，自动标签，可以切换排序展示；
分类模块，用于按照自动分类模块的分类结果进行分类展示；
文章要素显示模块，用于文章信息的展示，包含采集标题，正文，作者，发布时间及来源；
交流操作模块，用于信息进行收藏、点赞、评价留言、重要性设置及转发；
订阅模块，用于订阅网站、网站组、关键词组合，当有相关资源更新可自动发送消息给用户；
搜索模块，包括精确搜索、模糊搜索及智能搜索，所述智能搜索可以通过输入中文词汇，检索到中文和外文内容；
系统报告模块，用于自动生成日报、周报、月报、专报，便于查看；
信息推荐模块，用于进一步地，所述后台管理包括：
系统监测模块，用于查看每个用户状态，数据整体状态，服务器状态、调度状态；
系统监测大屏模块，用于全面展示系统运行情况；
业务系统管理模块，用于将系统分为多个独立的子系统，每个子系统的用户独立查看相关的内容；
用户权限管理模块，用于给用于设置角色、职位、部门及权限；
文章管理模块，用于对文章进行增删改查操作；
网站管理模块，用于管理采集目标网站，进行分组和配置；
新网站发现模块，用于汇总采集信息中的新网站，根据出现频率确认是否转为监测目标网站，也可人工确认添加；
任务调度管理模块，进行任务调度设置和运行管理；
采集监测模块，用于对目标网站的数据量情况进行监测，及时发现异常目标网站，对于每条采集的数据都有日志记录；
导出管理模块，用于自动生产导出文件；
文章导入模块，用于批量导入按照模板格式的文章；
词典管理模块，包括专业词库，并能定期更新；
参数管理模块，用于管理个性化定制参数；
日志管理模块，用于记录用户的操作；
上传管理模块，用于进行文件上传；
系统升级管理模块，用于系统升级；
服务器管理模块，用于查看系统硬件运行情况。
与现有技术相比，本申请有如下优点：
专业情报搜集分析应用平台通过采集子系统自动化收集相关专业情报资料，将情报资料按照标准格式化，经过去重处理后存入存储子系统中，既全面的收集了相关专业情报资料，又减少了数据的冗余，使得数据具有较高的分析价值；再经过分析子系统进行全面的分析，如分类、聚类、热点跟踪、自然语言分析等，最后将结果通过浏览子系统展示；大大提高专业情报搜集的效率及准确性，提高专业情报的利用价值。
【附图说明】
图1为本申请一种专业情报搜集分析应用平台的示意图。
【具体实施方式】
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图，作详细说明如下，但本发明并不限于此。
如图1所示，一种专业情报搜集分析应用平台，包括：
情报信息采集系统11，其包括用于采集目标网站数据的采集子系统111和用于存储目标网站数据的存储子系统112；
情报信息服务系统12，其包括用于分析存储子系统112中数据的分析子系统121和用于展示所述分析子系统121分析结果的浏览子系统122。
所述采集子系统111包括：
任务计划编辑模块，用于形成任务计划；
任务计划调度模块，用于调度和执行任务计划；
采集配置模块，用于配置各网站的采集配置；
采集模块，用于按照采集配置进行数据采集；
情报标准化模块，用于将采集到的数据进行标准格式化，形成待入库数据；
存储模块，用于存储待入库数据。
所述存储子系统112包括：
数据库模块，用于存储二维表结构数据；
索引引擎模块，用于索引数据，便于查询；
查询引擎模块，用于提供查询结构；
文本分析引擎，用于实现自然语言分析；
磁盘索引文件模块，用于索引文件，方便查看及下载、更新及版本控制。
所述分析子系统121包括：
自动翻译模块，用于调用翻译工具，实现不同语言之间的字词、句子和网页翻译；
自动过滤模块，用于多次采集时进行URL自动排重；
自动去重模块，用于对设定时间内标题相似或者内容相似的专业情报信息进行去重，仅显示最先发布的内容；
关键词识别模块，用于自动识别出专业情报信息中包含用户自定义的关键词与标签词，可在前台表现为标签词和自动分类；
自动分类模块，用于依据用户给每个类别设定的关键词进行自动分类；
自动聚类模块，用于对专业情报信息进行自动聚类；
内容分析模块，用于对专业情报信息进行分析以供参考；
智能打分模块，通过多个维度对专业情报信息进行智能打分，最后汇总后转化为不同的相关度；
多人协同工作模块，平台所述内容分析模块包括：
热点分析子模块，用于分析一定时间内的热点关键词；
主题分析子模块，用于分析专业情报信息的主题方向；
地域分析子模块，用于分析专业情报信息的地域分布情况；
核心词分析子模块，用于分析专业情报信息的核心词；
来源分析子模块，用于分析专业情报信息的所有者情况；
相关性分析子模块，用于分析用于分析专业情报信息间的相关性。
所述浏览子系统122包括供用户查看使用的前台展示和供管理员查看使用的后台管理。
所述前台展示包括：
文章列表展示模块，用于按照自动分类展示信息列表，页面包含标题、摘要，发布时间，来源网站，自动标签，可以切换排序展示；
分类模块，用于按照自动分类模块的分类结果进行分类展示；
文章要素显示模块，用于文章信息的展示，包含采集标题，正文，作者，发布时间及来源；
交流操作模块，用于信息进行收藏、点赞、评价留言、重要性设置及转发；
订阅模块，用于订阅网站、网站组、关键词组合，当有相关资源更新可自动发送消息给用户；
搜索模块，包括精确搜索、模糊搜索及智能搜索，所述智能搜索可以通过输入中文词汇，检索到中文和外文内容；
系统报告模块，用于自动生成日报、周报、月报、专报，便于查看；
信息推荐模块，用于所述后台管理包括：
系统监测模块，用于查看每个用户状态，数据整体状态，服务器状态、调度状态；
系统监测大屏模块，用于全面展示系统运行情况；
业务系统管理模块，用于将系统分为多个独立的子系统，每个子系统的用户独立查看相关的内容；
用户权限管理模块，用于给用于设置角色、职位、部门及权限；
文章管理模块，用于对文章进行增删改查操作；
网站管理模块，用于管理采集目标网站，进行分组和配置；
新网站发现模块，用于汇总采集信息中的新网站，根据出现频率确认是否转为监测目标网站，也可人工确认添加；
任务调度管理模块，进行任务调度设置和运行管理；可以指定机器运行，还可以设置运行时间段，最小可以精确到分钟；
采集监测模块，用于对目标网站的数据量情况进行监测，及时发现异常目标网站，对于每条采集的数据都有日志记录；
导出管理模块，用于自动生产导出文件；格式一般为压缩文件；对每次导出的情况进行记录，记录是否成功，还可以人工设置导出条件，导出指定内容的信息；对于每条采集的数据都有日志记录；
文章导入模块，用于批量导入按照模板格式的文章；
词典管理模块，包括专业词库，并能定期更新；如军事、航天、科技类的专业词库；
参数管理模块，用于管理个性化定制参数；如api管理、翻译引擎管理；
日志管理模块，用于记录用户的操作；如登陆、收藏、点赞等；
上传管理模块，用于进行文件上传；
系统升级管理模块，用于系统升级；
服务器管理模块，用于查看系统硬件运行情况。
专业情报搜集分析应用平台，通过采集子系统111采集目标网站数据，将数据进行标准格式化后存储到存储子系统112；通过分析子系统121对存储的数据进行分类、聚类、热点跟踪、自然语言分析等技术方法进行全方位分析，再通过浏览子系统122将分析结果展示出来，供用户查看、使用、分析，以提高专业情报信息的利用效果。
Claims (8)
1.一种专业情报搜集分析应用平台，其特征在于，包括：
情报信息采集系统，其包括用于采集目标网站数据的采集子系统和用于存储目标网站数据的存储子系统；
情报信息服务系统，其包括用于分析存储子系统中数据的分析子系统和用于展示所述分析子系统分析结果的浏览子系统。
2.根据权利要求1所述的专业情报搜集分析应用平台，其特征在于，所述采集子系统包括：
任务计划编辑模块，用于形成任务计划；
任务计划调度模块，用于调度和执行任务计划；
采集配置模块，用于配置各网站的采集配置；
采集模块，用于按照采集配置进行数据采集；
情报标准化模块，用于将采集到的数据进行标准格式化，形成待入库数据；
存储模块，用于存储待入库数据。
3.根据权利要求1所述的专业情报搜集分析应用平台，其特征在于，所述存储子系统包括：
数据库模块，用于存储二维表结构数据；
索引引擎模块，用于索引数据，便于查询；
查询引擎模块，用于提供查询结构；
文本分析引擎，用于实现自然语言分析；
磁盘索引文件模块，用于索引文件，方便查看及下载、更新及版本控制。
4.根据权利要求1所述的专业情报搜集分析应用平台，其特征在于，所述分析子系统包括：
自动翻译模块，用于调用翻译工具，实现不同语言之间的字词、句子和网页翻译；
自动过滤模块，用于多次采集时进行URL自动排重；
自动去重模块，用于对设定时间内标题相似或者内容相似的专业情报信息进行去重，仅显示最先发布的内容；
关键词识别模块，用于自动识别出专业情报信息中包含用户自定义的关键词与标签词，可在前台表现为标签词和自动分类；
自动分类模块，用于依据用户给每个类别设定的关键词进行自动分类；
自动聚类模块，用于对专业情报信息进行自动聚类；
内容分析模块，用于对专业情报信息进行分析以供参考；
智能打分模块，通过多个维度对专业情报信息进行智能打分，最后汇总后转化为不同的相关度；
多人协同工作模块，平台根据用户所属部门和职位提供相应的户浏览内容、操作。
5.根据权利要求4所述的专业情报搜集分析应用平台，其特征在于，所述内容分析模块包括：
热点分析子模块，用于分析一定时间内的热点关键词；
主题分析子模块，用于分析专业情报信息的主题方向；
地域分析子模块，用于分析专业情报信息的地域分布情况；
核心词分析子模块，用于分析专业情报信息的核心词；
来源分析子模块，用于分析专业情报信息的所有者情况；
相关性分析子模块，用于分析用于分析专业情报信息间的相关性。
6.根据权利要求1所述的专业情报搜集分析应用平台，其特征在于，所述浏览子系统包括供用户查看使用的前台展示和供管理员查看使用的后台管理。
7.根据权利要求6所述的专业情报搜集分析应用平台，其特征在于，所述前台展示包括：
文章列表展示模块，用于按照自动分类展示信息列表，页面包含标题、摘要，发布时间，来源网站，自动标签，可以切换排序展示；
分类模块，用于按照自动分类模块的分类结果进行分类展示；
文章要素显示模块，用于文章信息的展示，包含采集标题，正文，作者，发布时间及来源；
交流操作模块，用于信息进行收藏、点赞、评价留言、重要性设置及转发；
订阅模块，用于订阅网站、网站组、关键词组合，当有相关资源更新可自动发送消息给用户；
搜索模块，包括精确搜索、模糊搜索及智能搜索，所述智能搜索可以通过输入中文词汇，检索到中文和外文内容；
系统报告模块，用于自动生成日报、周报、月报、专报，便于查看；
信息推荐模块，用于根据文章的内容推荐相似的信息和网站信息；
文章编辑模块，用于对文章进行编辑；
热词云图模块，用于对文章生成热词云图；
操作结果统计模块，用于对个人和部门的收藏、点赞、重要性、发邮件信息进行汇总统计；
统计分析展示模块，用于展示内容分析模块的结果；
知识图谱模块，用于展示相关专题的知识图谱；
传播分析模块，用于对文章的传播情况进行追踪，找到传播的时间轴线和源头；
作者相关文章追溯模块，用于追溯作者的全部文章；
个人图书馆模块，用于形成定制化的个人图书馆。
8.根据权利要求6所述的专业情报搜集分析应用平台，其特征在于，所述后台管理包括：
系统监测模块，用于查看每个用户状态，数据整体状态，服务器状态、调度状态；
系统监测大屏模块，用于全面展示系统运行情况；
业务系统管理模块，用于将系统分为多个独立的子系统，每个子系统的用户独立查看相关的内容；
用户权限管理模块，用于给用于设置角色、职位、部门及权限；
文章管理模块，用于对文章进行增删改查操作；
网站管理模块，用于管理采集目标网站，进行分组和配置；
新网站发现模块，用于汇总采集信息中的新网站，根据出现频率确认是否转为监测目标网站，也可人工确认添加；
任务调度管理模块，进行任务调度设置和运行管理；
采集监测模块，用于对目标网站的数据量情况进行监测，及时发现异常目标网站，对于每条采集的数据都有日志记录；
导出管理模块，用于自动生产导出文件；
文章导入模块，用于批量导入按照模板格式的文章；
词典管理模块，包括专业词库，并能定期更新；
参数管理模块，用于管理个性化定制参数；
日志管理模块，用于记录用户的操作；
上传管理模块，用于进行文件上传；
系统升级管理模块，用于系统升级；
服务器管理模块，用于查看系统硬件运行情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210024827.0A CN114356967A (zh) | 2022-01-11 | 2022-01-11 | 一种专业情报搜集分析应用平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210024827.0A CN114356967A (zh) | 2022-01-11 | 2022-01-11 | 一种专业情报搜集分析应用平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114356967A true CN114356967A (zh) | 2022-04-15 |
Family
ID=81108601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210024827.0A Pending CN114356967A (zh) | 2022-01-11 | 2022-01-11 | 一种专业情报搜集分析应用平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114356967A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114692057A (zh) * | 2022-05-31 | 2022-07-01 | 深圳市房帮帮互联网科技有限公司 | 基于用户浏览量进行潜在用户跟踪的线上服务平台 |
| CN114970553A (zh) * | 2022-07-29 | 2022-08-30 | 北京道达天际科技股份有限公司 | 基于大规模无标注语料的情报分析方法、装置及电子设备 |
| CN116757734A (zh) * | 2023-06-16 | 2023-09-15 | 烟台中索软件科技有限公司 | 基于云计算的大数据信息分析方法及系统 |
-
2022
- 2022-01-11 CN CN202210024827.0A patent/CN114356967A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114692057A (zh) * | 2022-05-31 | 2022-07-01 | 深圳市房帮帮互联网科技有限公司 | 基于用户浏览量进行潜在用户跟踪的线上服务平台 |
| CN114970553A (zh) * | 2022-07-29 | 2022-08-30 | 北京道达天际科技股份有限公司 | 基于大规模无标注语料的情报分析方法、装置及电子设备 |
| CN114970553B (zh) * | 2022-07-29 | 2022-11-08 | 北京道达天际科技股份有限公司 | 基于大规模无标注语料的情报分析方法、装置及电子设备 |
| CN116757734A (zh) * | 2023-06-16 | 2023-09-15 | 烟台中索软件科技有限公司 | 基于云计算的大数据信息分析方法及系统 |
| CN116757734B (zh) * | 2023-06-16 | 2024-01-26 | 烟台中索软件科技有限公司 | 基于云计算的大数据信息分析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109992645B (zh) | 一种基于文本数据的资料管理系统及方法 | |
| CN109446344B (zh) | 一种基于大数据的智能分析报告自动生成系统 | |
| CN114356967A (zh) | 一种专业情报搜集分析应用平台 | |
| CN1288583C (zh) | 汇总与聚合以将文件就概念分类 | |
| US20080097985A1 (en) | Information Access With Usage-Driven Metadata Feedback | |
| US20040015514A1 (en) | Method and system for managing data objects | |
| CN111192176B (zh) | 一种支持教育信息化评估的在线数据采集方法及装置 | |
| CN110765233A (zh) | 基于深度挖掘和知识管理技术的智能信息检索服务系统 | |
| Lee et al. | An integrated approach to metadata interoperability | |
| CN116561295A (zh) | 一种互联网数据提取系统 | |
| US20140297659A1 (en) | Unsupervised Detection and Categorization of Word Clusters in Text Data | |
| CN111859108A (zh) | 一种舆情系统搜索词推荐系统 | |
| Wang et al. | Hierarchical structuring of cultural heritage objects within large aggregations | |
| CN113407678B (zh) | 知识图谱构建方法、装置和设备 | |
| CN112395292B (zh) | 一种数据特征提取、匹配方法及装置 | |
| CN113177150A (zh) | 出版物资源整合方法与出版物资源整合系统 | |
| CN113987146B (zh) | 一种电力内网专用的智能问答系统 | |
| Bakar et al. | A survey: Framework to develop retrieval algorithms of indexing techniques on learning material | |
| CN115098581B (zh) | 一种数值型异构数据存储的方法、装置、设备及存储介质 | |
| JP7488207B2 (ja) | 将来事象推定システム、および将来事象推定方法 | |
| US11860914B1 (en) | Natural language database generation and query system | |
| JP2002312389A (ja) | 情報検索装置および情報検索方法 | |
| US20240168998A1 (en) | Information processing apparatus, information processing system, information processing method, and non-transitory recording medium | |
| KR101653668B1 (ko) | 이슈 큐레이션 시스템 및 그 제어방법 | |
| Luzon et al. | Web-Based File Clustering and Indexing for Mindoro State University |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |