CN111090884A - 一种网络数据的结构化处理方法 - Google Patents
一种网络数据的结构化处理方法 Download PDFInfo
- Publication number
- CN111090884A CN111090884A CN201911334553.XA CN201911334553A CN111090884A CN 111090884 A CN111090884 A CN 111090884A CN 201911334553 A CN201911334553 A CN 201911334553A CN 111090884 A CN111090884 A CN 111090884A
- Authority
- CN
- China
- Prior art keywords
- data
- structured
- network data
- information
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000012216 screening Methods 0.000 claims abstract description 9
- 230000002159 abnormal effect Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000012423 maintenance Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/106—Enforcing content protection by specific content processing
- G06F21/1066—Hiding content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Technology Law (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种网络数据的结构化处理方法，包括以下步骤：访问目标服务器，采集数据，获取访问的数据，将获取的数据与数据库内部预留的参考数据进行对比操作，将对比结果使用物理模型的数据功能图表进行显示，将对比完成的数据进行筛选操作，剔除非正常类数据，使筛选后的网络数据为半结构化或非结构化网络数据。该网络数据的结构化处理方法，能够通过使结合自动化识别和人工操作来将采集的数据进行结构化处理，提高识别准确率以及工作效率的技术效果，减少由于人工手动操作发生的失误，通过将数据信息嵌入数字化宿主信息、设置密码术，能够有效的提高结构化数据的存储安全性。
Description
技术领域
本发明属于数据处理技术领域，具体涉及一种网络数据的结构化处理方法。
背景技术
结构化数据，简单来说就是数据库。结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；教育一卡通；政府行政审批；其他核心数据库等。基本包括高速存储应用需求、数据备份需求、数据共享需求以及数据容灾需求。
现有的网络数据的结构化处理方法大都是通过人工手动操作，这种处理方法不仅存在无法对敏感和重要数据进行保护，及极易导致数据资源泄露，且常需要耗费大量的人力物力进行维护，同时人工操作时极易发生输入错误等情况，为此我们提出一种网络数据的结构化处理方法。
发明内容
本发明的目的在于提供一种网络数据的结构化处理方法，以解决上述背景技术中提出的现有网络数据结构化处理方法大多依赖于人力的使用，维护成本较高，且无法对敏感和重要数据进行保护，极易导致数据资源泄露的问题。
为实现上述目的，本发明提供如下技术方案：一种网络数据的结构化处理方法，其特征在于：包括如下步骤：
S1：获取网络数据：通过使用端口访问目标服务器，采集需要访问的网络数据；
S2：对比数据及数据显示：将获取访问网络数据与数据库内部预留的参考数据进行对比操作，将对比结果使用物理模型的数据功能图表进行显示；
S3：筛选对比数据：将上述步骤中对比完成后的网络数据进行筛选操作，其中非半结构化或结构化的网络数据，视为非正常类数据，进行筛分，且将筛分后满足半结构化或非结构化网络数据将进行保存；
S4：执行处理指令：将筛选后网络数据执行处理指令，其中处理指令包括对筛选后的数据的删除、编辑和整理，并通过处理指令建立结构化数据的模型，表达完成操作指令的筛选数据；
S5：构建数据文件或数据库：构建数据文件或数据库，将源数据存储到构建的数据文件或者数据库内，使数据信息块相互关联和联通；
S6：故障诊断：将原始数据发送至日志数据库，在存储数据库出现异常后，通过调取日志数据库内的原始数据，对存储数据库内的故障进行判断；
S7：信息隐藏：将完成存储的数据信息嵌入数字化宿主信息中，避免隐藏的信息引起数据监控部分的检测。
进一步的，其中步骤一中所述的获取网络数据还可为通过电子化模块将待处理纸质文档转化为电子文档数据。
进一步的，其中步骤四中所述的建立结构化数据的模型包括逻辑模型数据流图或数据流程图。
进一步的，步骤七中所述的数据信息包括但不限于文本、数字化的声音、图像和视频信号。
进一步的，所述数据信息嵌入数字化宿主信息的基础上，可使用密码术来加强隐藏信息的安全性。
与现有技术相比，本发明的有益效果是：
该网络数据的结构化处理方法，能够通过使结合自动化识别和人工操作来将采集的数据进行结构化处理，提高识别准确率以及工作效率的技术效果，减少由于人工手动操作发生的失误，通过将数据信息嵌入数字化宿主信息、设置密码术，能够有效的提高结构化数据的存储安全性，避免数据在录入过程中发生泄漏的情况，解决了现有网络数据结构化处理方法安全性能较低，且维护成本较高的问题
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明的步骤流程结构示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种网络数据的结构化处理方法，其特征在于：包括如下步骤：通过使用端口访问目标服务器，采集需要访问的网络数据，将获取访问网络数据与数据库内部预留的参考数据进行对比操作，将对比结果使用物理模型的数据功能图表进行显示，将上述步骤中对比完成后的网络数据进行筛选操作，其中非半结构化或结构化的网络数据，视为非正常类数据，进行筛分，且将筛分后满足半结构化或非结构化网络数据将进行保存，将筛选后网络数据执行处理指令，其中处理指令包括对筛选后的数据的删除、编辑和整理，并通过处理指令建立结构化数据的模型，表达完成操作指令的筛选数据，构建数据文件或数据库，将源数据存储到构建的数据文件或者数据库内，使数据信息块相互关联和联通，将原始数据发送至日志数据库，在存储数据库出现异常后，通过调取日志数据库内的原始数据，对存储数据库内的故障进行判断，将完成存储的数据信息嵌入数字化宿主信息中，避免隐藏的信息引起数据监控部分的检测，该网络数据的结构化处理方法，能够通过使结合自动化识别和人工操作来将采集的数据进行结构化处理，提高识别准确率以及工作效率的技术效果，减少由于人工手动操作发生的失误，通过将数据信息嵌入数字化宿主信息、设置密码术，能够有效的提高结构化数据的存储安全性，避免数据在录入过程中发生泄漏的情况。
本实施例中，优选的，获取网络数据的方式除去直接获取的网络数据，还可为通过电子化模块将待处理纸质文档转化为电子文档数据。
本实施例中，优选的，其中步骤四中的建立结构化数据的模型包括逻辑模型数据流图或数据流程图。
本实施例中，优选的，步骤七中的数据信息包括但不限于文本、数字化的声音、图像和视频信号。
本实施例中，优选的，数据信息嵌入数字化宿主信息的基础上，可使用密码术来加强隐藏信息的安全性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种网络数据的结构化处理方法，其特征在于：包括如下步骤：
S1：获取网络数据：通过使用端口访问目标服务器，采集需要访问的网络数据；
S2：对比数据及数据显示：将获取访问网络数据与数据库内部预留的参考数据进行对比操作，将对比结果使用物理模型的数据功能图表进行显示；
S3：筛选对比数据：将上述步骤中对比完成后的网络数据进行筛选操作，其中非半结构化或结构化的网络数据，视为非正常类数据，进行筛分，且将筛分后满足半结构化或非结构化网络数据将进行保存；
S4：执行处理指令：将筛选后网络数据执行处理指令，其中处理指令包括对筛选后的数据的删除、编辑和整理，并通过处理指令建立结构化数据的模型，表达完成操作指令的筛选数据；
S5：构建数据文件或数据库：构建数据文件或数据库，将源数据存储到构建的数据文件或者数据库内，使数据信息块相互关联和联通；
S6：故障诊断：将原始数据发送至日志数据库，在存储数据库出现异常后，通过调取日志数据库内的原始数据，对存储数据库内的故障进行判断；
S7：信息隐藏：将完成存储的数据信息嵌入数字化宿主信息中，避免隐藏的信息引起数据监控部分的检测。
2.根据权利要求1所述的一种网络数据的结构化处理方法，其特征在于：其中步骤一中所述的获取网络数据还可为通过电子化模块将待处理纸质文档转化为电子文档数据。
3.根据权利要求1所述的一种网络数据的结构化处理方法，其特征在于：其中步骤四中所述的建立结构化数据的模型包括逻辑模型数据流图或数据流程图。
4.根据权利要求1所述的一种网络数据的结构化处理方法，其特征在于：步骤七中所述的数据信息包括但不限于文本、数字化的声音、图像和视频信号。
5.根据权利要求1或4所述的一种网络数据的结构化处理方法，其特征在于：所述数据信息嵌入数字化宿主信息的基础上，可使用密码术来加强隐藏信息的安全性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911334553.XA CN111090884A (zh) | 2019-12-20 | 2019-12-20 | 一种网络数据的结构化处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911334553.XA CN111090884A (zh) | 2019-12-20 | 2019-12-20 | 一种网络数据的结构化处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111090884A true CN111090884A (zh) | 2020-05-01 |
Family
ID=70395251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911334553.XA Pending CN111090884A (zh) | 2019-12-20 | 2019-12-20 | 一种网络数据的结构化处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111090884A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077402A (zh) * | 2014-07-04 | 2014-10-01 | 用友软件股份有限公司 | 数据处理方法和数据处理系统 |
| CN106055618A (zh) * | 2016-05-26 | 2016-10-26 | 优品财富管理有限公司 | 一种基于网络爬虫与结构化存储的数据处理方法 |
| CN107273409A (zh) * | 2017-05-03 | 2017-10-20 | 广州赫炎大数据科技有限公司 | 一种网络数据采集、存储及处理方法及系统 |
| CN108363818A (zh) * | 2018-03-22 | 2018-08-03 | 安徽八六物联科技有限公司 | 一种大数据结构化处理方法 |
| CN108446571A (zh) * | 2018-03-22 | 2018-08-24 | 安徽八六物联科技有限公司 | 一种大数据脱敏方法 |
| CN109446256A (zh) * | 2018-10-08 | 2019-03-08 | 杭州快忆科技有限公司 | 网络数据的结构化处理方法和装置 |
-
2019
- 2019-12-20 CN CN201911334553.XA patent/CN111090884A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077402A (zh) * | 2014-07-04 | 2014-10-01 | 用友软件股份有限公司 | 数据处理方法和数据处理系统 |
| CN106055618A (zh) * | 2016-05-26 | 2016-10-26 | 优品财富管理有限公司 | 一种基于网络爬虫与结构化存储的数据处理方法 |
| CN107273409A (zh) * | 2017-05-03 | 2017-10-20 | 广州赫炎大数据科技有限公司 | 一种网络数据采集、存储及处理方法及系统 |
| CN108363818A (zh) * | 2018-03-22 | 2018-08-03 | 安徽八六物联科技有限公司 | 一种大数据结构化处理方法 |
| CN108446571A (zh) * | 2018-03-22 | 2018-08-24 | 安徽八六物联科技有限公司 | 一种大数据脱敏方法 |
| CN109446256A (zh) * | 2018-10-08 | 2019-03-08 | 杭州快忆科技有限公司 | 网络数据的结构化处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102043719B (zh) | 一种对iec61850配置描述文件进行测试的方法 | |
| CN106055618B (zh) | 一种基于网络爬虫与结构化存储的数据处理方法 | |
| US11968162B1 (en) | Message content cleansing | |
| CN110088744A (zh) | 一种数据库维护方法及其系统 | |
| CN109992476B (zh) | 一种日志的分析方法、服务器及存储介质 | |
| CN105930226B (zh) | 一种数据处理方法及装置 | |
| CN109284331B (zh) | 基于业务数据资源的制证信息获取方法、终端设备及介质 | |
| CN114840519A (zh) | 一种数据打标签的方法、设备及存储介质 | |
| CN116719799A (zh) | 环保数据治理方法、装置、计算机设备和存储介质 | |
| CN113688418B (zh) | 基于区块链数据存储的工程订单结算方法及系统 | |
| CN108984757A (zh) | 一种数据导入方法及设备 | |
| CN113642975A (zh) | 基于区块链的氢能监管方法和系统 | |
| CN111090884A (zh) | 一种网络数据的结构化处理方法 | |
| CN116599881A (zh) | 云平台租户建模测试的方法、装置、设备及存储介质 | |
| CN113726779B (zh) | 规则误报测试方法、装置、电子设备及计算机存储介质 | |
| CN114936249A (zh) | 一种文件解析、转换方法、装置、设备及可读存储介质 | |
| CN115033574A (zh) | 信息生成方法、信息生成装置、电子设备及存储介质 | |
| CN106570754A (zh) | 一种业务数据的转移方法和装置 | |
| US11941625B2 (en) | Systems and methods for real-time classification and verification of data using hierarchal state machines | |
| CN118349991B (zh) | 一种App个人信息收集行为自动检测方法、系统及装置 | |
| CN114862401B (zh) | 一种支付异常的处理方法、装置、设备及介质 | |
| CN106201842A (zh) | 一种通用举报方法及系统 | |
| CN113052546A (zh) | 一种政务系统设计方法及政务系统 | |
| CN115495366A (zh) | 故障演练模板装置、模板导入方法及实验创建方法 | |
| CN117033522A (zh) | 一种基于数据湖的数据处理方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200501 |
|
| RJ01 | Rejection of invention patent application after publication |