CN111369133A - 一种大数据风险监测系统 - Google Patents

一种大数据风险监测系统 Download PDF

Info

Publication number
CN111369133A
CN111369133A CN202010137451.5A CN202010137451A CN111369133A CN 111369133 A CN111369133 A CN 111369133A CN 202010137451 A CN202010137451 A CN 202010137451A CN 111369133 A CN111369133 A CN 111369133A
Authority
CN
China
Prior art keywords
data
module
risk
format
realizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010137451.5A
Other languages
English (en)
Inventor
赵良军
陈光建
张弘
黎远松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University of Science and Engineering
Original Assignee
Sichuan University of Science and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University of Science and Engineering filed Critical Sichuan University of Science and Engineering
Priority to CN202010137451.5A priority Critical patent/CN111369133A/zh
Publication of CN111369133A publication Critical patent/CN111369133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种大数据风险监测系统，包括目标数据采集模块、数据格式标准化模块、数据风险评估模块、数据可视化分析模块和数据报表制作模块，目标数据采集模块用于通过多端口进行目标数据的采集，并根据数据的格式实现目标数据的预分类，并将完成预分类的数据经其对应的数据处理通道输送至对应的数据格式标准化模块数据格式标准化模块用于实现目标数据的格式标准化，所有完成格式标准化处理后的数据上均携带锁定模式的源数据超链接；数据可视化分析模块基于Tableau Desktop实现目标数据以及风险评估结果的可视化分析。本发明实现了大规模数据的自动关联分析，从而可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据。

Description

一种大数据风险监测系统
技术领域
本发明涉及大数据领域，具体涉及一种大数据风险监测系统。
背景技术
风险的监控是降低风险最有效的方式，企业风险的发生大多不是爆发性的，是阶段性的和可预判性的。
在大数据条件下，企业的每个系统都会产生成千上万的数据，虽然现在有很多传统的日志或者其他专业工具能够帮助企业分析这些数据，但传统的产品工具对数据的处理目前仅仅停留在各自割裂、简易的图表与简单列示查询的方式，这些数据并没有很好的呈现为可视化的关联，关键数据的提取以及数据关联关系的建立等均需依靠人工进行，费时费力的同时，容易出错，遗漏。
发明内容
为解决上述问题，本发明提供了一种大数据风险监测系统，实现了大规模数据的自动关联分析，从而可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据。
为实现上述目的，本发明采取的技术方案为：
一种大数据风险监测系统，包括：
目标数据采集模块，用于通过多端口进行目标数据的采集，并根据数据的格式实现目标数据的预分类，并将完成预分类的数据经其对应的数据处理通道输送至对应的数据格式标准化模块；
数据格式标准化模块，用于实现目标数据的格式标准化，所有完成格式标准化处理后的数据上均携带锁定模式的源数据超链接；
数据风险评估模块，用于实现数据风险的评估；
数据可视化分析模块，基于Tableau Desktop实现目标数据以及风险评估结果的可视化分析；
数据报表制作模块，用于将完成格式标准化的数据、对应的数据风险评估结果以及数据可视化分析模块输出的对应的图表填制在预设的模板内，并实现源数据超链接的解锁操作，用户点击该源数据超链接即可实现源目标数据的查看。
进一步地，每一个预分类类别分别对应一条数据处理通道，并分别对应一数据格式标准化模块。
进一步地，所述数据格式标准化模块包括：
文本数据标准化模块，用于按照既定的文本格式模板完成文本数据的处理；
音频数据标准化模块，用于将音频数据转换为文本数据，并按照既定的文本格式模板完成文本数据的处理；
视频数据标准化模块，用于调用视频取帧脚本，每隔一定帧数获取一张图像，并实现各图像的预处理；
图像数据标准化模块，用于实现图像的预处理；
每个数据格式标准化模块内均设有一超链接标记模块，用于为完成数据格式标准化处理后的目标数据生成对应的目标数据源数据超链接，并锁定该超链接。
进一步地，针对文本数据，所述数据风险评估模块基于Word2vec算法实现数据特征的提取，采用LSTM-Attention模型实现数据风险的评估。
进一步地，针对图像数据，所述数据风险评估模块基于
DSOD_Inception_V2_coco模型实现数据风险的评估。
进一步地，还包括：
数据定位模块，用于根据数据风险评估的结果为目标数据找到相似数据点，建立其与相似数据点之间的关系，并为其在数据储存模块内找到合适的位置。
进一步地，还包括：
预警模块，根据数据风险评估模块的评估结果启闭，通过短信自动编辑发送的方式实现预警，所发送的短信至少包括目前的数据风险评估模块的评估结果以及对应的防御决策推荐。
进一步地，还包括：异常数据剔除模块，用于根据预设的算法实现异常数据的剔除，并为剔除的异常数据配置一异常数据库。
本发明具有以下有益效果：
实现了大规模数据的自动关联分析，从而可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据。
不同的数据采用不同的数据处理通道和数据格式标准化模块，实现了数据的分开加载，从而大大提高了系统的运行效率。
针对文本数据，采用Word2vec算法实现数据特征的提取，采用LSTM-Attention模型实现数据风险的评估；针对图像数据，采用DSOD_Inception_V2_coco模型实现数据风险的评估；从而可以实现大数据的全面分析，提高了系统的监测范围，尽可能的避免了风险信息的遗漏。
为每一批数据制作一数据分析报表，从而便于工作人员对数据的查看和调用。
附图说明
图1为本发明实施例一种大数据风险监测系统的系统框图。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种大数据风险监测系统，包括：
目标数据采集模块，用于通过多端口进行目标数据的采集，并根据数据的格式(至少包括文本格式、音频格式、视频格式、图片格式等)实现目标数据的预分类，并将完成预分类的数据经其对应的数据处理通道输送至对应的数据格式标准化模块；
数据格式标准化模块，用于实现目标数据的格式标准化，所有完成格式标准化处理后的数据上均携带锁定模式的源数据超链接；
数据风险评估模块，用于实现数据风险的评估；
数据可视化分析模块，基于Tableau Desktop实现目标数据以及风险评估结果的可视化分析；
数据报表制作模块，用于将完成格式标准化的数据、对应的数据风险评估结果以及数据可视化分析模块输出的对应的图表填制在预设的模板内，并实现源数据超链接的解锁操作，用户点击该源数据超链接即可实现源目标数据的查看；
数据定位模块，用于根据数据风险评估的结果为目标数据找到相似数据点，建立其与相似数据点之间的关系，并为其在数据储存模块内找到合适的位置。
预警模块，根据数据风险评估模块的评估结果启闭，通过短信自动编辑发送的方式实现预警，所发送的短信至少包括目前的数据风险评估模块的评估结果以及对应的防御决策推荐；
异常数据剔除模块，用于根据预设的算法实现异常数据(格式不在预设的格式分类类比内)的剔除，并为剔除的异常数据配置一异常数据库；在异常数据库接收到数据时，预警模块启动，提醒人们及时查看异常数据库中的数据；
中央处理器模块，用于协调上述模块工作。
本实施例中，每一个预分类类别分别对应一条数据处理通道，并分别对应一数据格式标准化模块，从而可以实现数据的分开加载、分开处理，提高系统运行效率。
本实施例中，所述数据格式标准化模块包括：
文本数据标准化模块，用于按照既定的文本格式模板完成文本数据的处理；
音频数据标准化模块，用于将音频数据转换为文本数据，并按照既定的文本格式模板完成文本数据的处理；
视频数据标准化模块，用于调用视频取帧脚本，每隔一定帧数获取一张图像，并实现各图像的预处理；
图像数据标准化模块，用于实现图像的预处理；
每个数据格式标准化模块内均设有一超链接标记模块，用于为完成数据格式标准化处理后的目标数据生成对应的目标数据源数据超链接，并锁定该超链接。
本实施例中，针对文本数据，所述数据风险评估模块基于Word2vec算法实现数据特征的提取，采用LSTM-Attention模型实现数据风险的评估。
本实施例中，针对图像数据，所述数据风险评估模块基于
DSOD_Inception_V2_coco模型实现数据风险的评估。该模型采用DSOD目标检测算法，用coco数据集预训练Inception_V2_深度神经网络，然后用先前准备好的数据集训练该模型，微调深度神经网络中的各项参数，最后得到合适的用于检测数据风险的目标检测模型。
本实施例中，所述数据定位模块基于刻面技术来实现数据定位，通过计算不同数据术语间的刻面距离来准确定位数据；在定位数据时，在已知刻面的约束下选择相应的术语，以此来完成对所需数据的描述，如果选择成功，则返回相应的数据；如果选择不成功，则系统将根据同义词词典和概念距离图计算术语的相似性，形成新的定位信息。
本实施例中，图像的预处理方式包括但不限于：采用双边滤波和分段线性变换算法分别进行图像去噪和图像增强预处理；采用迭代自适应阈值分割法进行图像二值化处理，基于连通分量的形态学区域特征去除小面积杂点噪声。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种大数据风险监测系统，其特征在于：包括：
目标数据采集模块，用于通过多端口进行目标数据的采集，并根据数据的格式实现目标数据的预分类，并将完成预分类的数据经其对应的数据处理通道输送至对应的数据格式标准化模块；
数据格式标准化模块，用于实现目标数据的格式标准化，所有完成格式标准化处理后的数据上均携带锁定模式的源数据超链接；
数据风险评估模块，用于实现数据风险的评估；
数据可视化分析模块，基于Tableau Desktop实现目标数据以及风险评估结果的可视化分析；
数据报表制作模块，用于将完成格式标准化的数据、对应的数据风险评估结果以及数据可视化分析模块输出的对应的图表填制在预设的模板内，并实现源数据超链接的解锁操作，用户点击该源数据超链接即可实现源目标数据的查看。
2.如权利要求1所述的一种大数据风险监测系统，其特征在于：每一个预分类类别分别对应一条数据处理通道，并分别对应一数据格式标准化模块。
3.如权利要求1所述的一种大数据风险监测系统，其特征在于：所述数据格式标准化模块包括：
文本数据标准化模块，用于按照既定的文本格式模板完成文本数据的处理；
音频数据标准化模块，用于将音频数据转换为文本数据，并按照既定的文本格式模板完成文本数据的处理；
视频数据标准化模块，用于调用视频取帧脚本，每隔一定帧数获取一张图像，并实现各图像的预处理；
图像数据标准化模块，用于实现图像的预处理；
每个数据格式标准化模块内均设有一超链接标记模块，用于为完成数据格式标准化处理后的目标数据生成对应的目标数据源数据超链接，并锁定该超链接。
4.如权利要求1所述的一种大数据风险监测系统，其特征在于：针对文本数据，所述数据风险评估模块基于Word2vec算法实现数据特征的提取，采用LSTM-Attention模型实现数据风险的评估。
5.如权利要求1所述的一种大数据风险监测系统，其特征在于：针对图像数据，所述数据风险评估模块基于DSOD_Inception_V2_coco模型实现数据风险的评估。
6.如权利要求1所述的一种大数据风险监测系统，其特征在于：还包括：
数据定位模块，用于根据数据风险评估的结果为目标数据找到相似数据点，建立其与相似数据点之间的关系，并为其在数据储存模块内找到合适的位置。
7.如权利要求1所述的一种大数据风险监测系统，其特征在于：还包括：
预警模块，根据数据风险评估模块的评估结果启闭，通过短信自动编辑发送的方式实现预警，所发送的短信至少包括目前的数据风险评估模块的评估结果以及对应的防御决策推荐。
8.如权利要求1所述的一种大数据风险监测系统，其特征在于：还包括：
异常数据剔除模块，用于根据预设的算法实现异常数据的剔除，并为剔除的异常数据配置一异常数据库。
CN202010137451.5A 2020-03-02 2020-03-02 一种大数据风险监测系统 Pending CN111369133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010137451.5A CN111369133A (zh) 2020-03-02 2020-03-02 一种大数据风险监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010137451.5A CN111369133A (zh) 2020-03-02 2020-03-02 一种大数据风险监测系统

Publications (1)

Publication Number Publication Date
CN111369133A true CN111369133A (zh) 2020-07-03

Family

ID=71212665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010137451.5A Pending CN111369133A (zh) 2020-03-02 2020-03-02 一种大数据风险监测系统

Country Status (1)

Country Link
CN (1) CN111369133A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085476A (zh) * 2020-09-15 2020-12-15 江西现代职业技术学院 一种企业管理综合评价系统
CN112256937A (zh) * 2020-11-28 2021-01-22 河南工业职业技术学院 一种基于计算机的信息分析系统
CN112765439A (zh) * 2021-02-25 2021-05-07 重庆三峡学院 一种基于大数据平台的数据处理方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085476A (zh) * 2020-09-15 2020-12-15 江西现代职业技术学院 一种企业管理综合评价系统
CN112256937A (zh) * 2020-11-28 2021-01-22 河南工业职业技术学院 一种基于计算机的信息分析系统
CN112765439A (zh) * 2021-02-25 2021-05-07 重庆三峡学院 一种基于大数据平台的数据处理方法及装置

Similar Documents

Publication Publication Date Title
CN111369133A (zh) 一种大数据风险监测系统
US6243501B1 (en) Adaptive recognition of documents using layout attributes
CN108256591B (zh) 用于输出信息的方法和装置
CN107872454B (zh) 超大型互联网平台威胁信息监测与分析系统及方法
CN105678612A (zh) 移动端原始凭证电子化智能填单系统及方法
CN109857784A (zh) 一种大数据统计分析系统
CN111522947A (zh) 一种处理投诉工单的方法和系统
CN113221711A (zh) 一种信息提取方法及装置
CN108038441B (zh) 一种基于图像识别的系统与方法
CN113867263A (zh) 一种基于云边协同及机器学习的智能刀具管理系统
CN116383742B (zh) 基于特征分类的规则链设置处理方法、系统及介质
CN111159411B (zh) 一种融合知识图谱的文本立场分析方法、系统及存储介质
CN111061779A (zh) 一种基于大数据平台的数据处理方法及装置
CN115391567A (zh) 风机标准作业知识图谱构建方法、装置及作业机械
CN116136897A (zh) 信息处理方法以及装置
CN110955754A (zh) 一种用于重复来电分析识别的模型构建方法
CN110956022A (zh) 一种单据文档的处理方法及其系统
CN117112846B (zh) 一种多信息源证照信息管理方法、系统及介质
CN113569019B (zh) 基于聊天对话进行知识提取的方法、系统、设备及存储介质
CN116017518A (zh) 一种多云告警的故障智能推荐方法及系统
CN116957310A (zh) 一种基于云计算技术的智能制造数据管理系统及方法
CN115063114A (zh) 一种合同补录自动化方法、电子设备和存储介质
CN104866822B (zh) 一种基于sivv特征的文档图像粗分类方法
Li et al. A Design of Automatic Inspection Solution for Electric Power Marketing Documents
CN115907629A (zh) 基于rpa财务机器人自动化办公文档内容提取及处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200703

WD01 Invention patent application deemed withdrawn after publication