CN111143342A - 一种非结构化数据的处理方法及防复制加密传输系统 - Google Patents

一种非结构化数据的处理方法及防复制加密传输系统 Download PDF

Info

Publication number
CN111143342A
CN111143342A CN201911363831.4A CN201911363831A CN111143342A CN 111143342 A CN111143342 A CN 111143342A CN 201911363831 A CN201911363831 A CN 201911363831A CN 111143342 A CN111143342 A CN 111143342A
Authority
CN
China
Prior art keywords
data
unstructured
unstructured data
user
login
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911363831.4A
Other languages
English (en)
Inventor
范利辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Coptic Information Technology Co Ltd
Original Assignee
Nantong Coptic Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Coptic Information Technology Co Ltd filed Critical Nantong Coptic Information Technology Co Ltd
Priority to CN201911363831.4A priority Critical patent/CN111143342A/zh
Publication of CN111143342A publication Critical patent/CN111143342A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2291User-Defined Types; Storage management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication

Abstract

本发明公开了一种非结构化数据的处理方法及防复制加密传输系统,包括以下步骤:获取非结构化数据;确定非结构化数据的解析方式;将非结构化数据转化为结构化数据;将结构化数据进行分类,并将结构化数据分为有用数据和无用数据;将有用的数据进行存储,将无用的数据进行删除;将存储的数据进行备份,并进行加密处理;检验储存数据是否有误;如果数据正确,则用户后期可调取数据进行统计、分析;如果数据错误,则重复步骤d至步骤g,直到数据正确。本发明,在收集数据并实现结构化之后,消除无用的数据可以进一步减少混淆,避免浪费时间,且减少存储空间的占用;通过备份数据,可避免数据丢失。

Description

一种非结构化数据的处理方法及防复制加密传输系统
技术领域
本发明涉及非结构化数据处理技术领域,具体是一种非结构化数据的处理方法及防复制加密传输系统。
背景技术
在信息技术飞速发展的今天,人们在各种社会和经济活动中产生大量的数字信息,企业信息技术基础设施建设规模不断扩大,IT监控、运维系统也得到广泛运用,同时各种传感器、智能家电产生的数据,以及各种交易系统(证券交易系统、电子商务交易系统)产生的数据数量巨大,格式也不尽相同,很难得到利用。
非结构化数据是计算机或人生成的文本信息,其中的数据并不一定遵循标准的数据结构(如模式定义规范的行和列),不容易被计算机程序直接理解和利用。将非结构化数据转化为结构化数据后,可存入搜索引擎、SQL(Structured Query Language,结构化查询语言)、NoSQL(Not Only SQL,非关系型数据)等系统,做进一步分析。大部分商业智能(Business Intelligence)软件只能分析基于数据库的结构化数据。例如Oracle数据库通过运算符合并智能数据类型和优化数据结构,以分析和操作XML(Exteile Marku Laguage,扩展性标识语言)文档、多媒体内容、文本和地理空间信息等非结构化数据。
当今的非结构化数据的处理方式主要是模板匹配法,将现有的非结构化数据与已经完成处理的模板进行对比,从而找到最相似的模板,从中提取出相应有用的信息,但这种方法在处理大量非结构化数据时耗时长,并且没有那么大的模板库与之相应匹配。
发明内容
本发明的目的在于提供一种非结构化数据的处理方法及防复制加密传输系统,以解决现有技术中的问题。
为实现上述目的,本发明提供如下技术方案:一种非结构化数据的处理方法,包括以下步骤:
步骤a:获取非结构化数据;
步骤b:确定非结构化数据的解析方式;
步骤c:将非结构化数据转化为结构化数据;
步骤d:将结构化数据进行分类,并将结构化数据分为有用数据和无用数据;
步骤e:将有用的数据进行存储,将无用的数据进行删除;
步骤f:将存储的数据进行备份,并进行加密处理;
步骤g:检验储存数据是否有误;
步骤h:如果数据正确,则用户后期可调取数据进行统计、分析;如果数据错误,则重复步骤d至步骤g,直到数据正确。
优选的,步骤a中所述非结构化数据为图像、音频、视频、文档、自定义对象、XML或HTML。
优选的,还包括处理器和存储模块,处理器用于编辑解析方式,存储模块用于存储数据。
优选的,所述解析方式是将非结构化数据进行序列化处理,从而得到结构化数据。
优选的,一种非结构化数据的处理方法的防复制加密传输系统,包括数据库、用户登录模块、权限管理模块,还包括以下步骤:
步骤i:用户登录;
步骤j:用户身份识别;
步骤k:用户识别登录成功以后,可查看数据,如果需要备份和复制数据,则还需输入解密密码,方可进行备份和复制。
优选的,步骤i中所述用户登录包括用户名、登录密码、登录验证码。
优选的,所述数据库中存储有用户信息以及密钥信息。
优选的,步骤K中所述解密密码输入错误达到3次时,即可将数据损毁。
优选的,还包括报警模块,解密密码输入错误1次,则向终端的报警模块报警。
与现有技术相比,本发明的有益效果是:
1.在收集数据并实现结构化之后,消除无用的数据可以进一步减少混淆,避免浪费时间,且减少存储空间的占用;
2.通过备份数据,可避免数据丢失;
3.所述解密密码输入错误达到3次时,即可将数据损毁,进一步保证数据的安全性。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明非结构化数据的处理方法的流程图。
图2为本发明第一实施例防复制加密传输系统的流程图。
图3为本发明第二实施例防复制加密传输系统的流程图。
图4为本发明第三实施例防复制加密传输系统的流程图。
图5为本发明第四实施例防复制加密传输系统的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
请参阅图1和图2,本发明实施例中,一种非结构化数据的处理方法,包括以下步骤:
步骤a:获取非结构化数据;
步骤b:确定非结构化数据的解析方式;
步骤c:将非结构化数据转化为结构化数据;
步骤d:将结构化数据进行分类,并将结构化数据分为有用数据和无用数据;
步骤e:将有用的数据进行存储,将无用的数据进行删除;
步骤f:将存储的数据进行备份,并进行加密处理;
步骤g:检验储存数据是否有误;
步骤h:如果数据正确,则用户后期可调取数据进行统计、分析;如果数据错误,则重复步骤d至步骤g,直到数据正确。
优选的,步骤a中所述非结构化数据为图像、音频、视频、文档、自定义对象、XML或HTML。
优选的,还包括处理器和存储模块,处理器用于编辑解析方式,存储模块用于存储数据。
优选的,所述解析方式是将非结构化数据进行序列化处理,从而得到结构化数据。
优选的,一种非结构化数据的处理方法的防复制加密传输系统,包括数据库、用户登录模块、权限管理模块,还包括以下步骤:
步骤i:用户登录;
步骤j:用户身份识别;
步骤k:用户识别登录成功以后,可查看数据,如果需要备份和复制数据,则还需输入解密密码,方可进行备份和复制。
优选的,步骤i中所述用户登录包括用户名、登录密码、登录验证码。
优选的,所述数据库中存储有用户信息以及密钥信息。
优选的,步骤K中所述解密密码输入错误达到3次时,即可将数据损毁。
优选的,还包括报警模块,解密密码输入错误1次,则向终端的报警模块报警。
本实施例的工作原理是:在收集数据并实现结构化之后,消除无用的数据可以进一步减少混淆,避免浪费时间,且减少存储空间的占用;通过备份数据,可避免数据丢失;所述解密密码输入错误达到3次时,即可将数据损毁,进一步保证数据的安全性。
实施例二
请参阅图1和图3,本发明实施例中,一种非结构化数据的处理方法,包括以下步骤:
步骤a:获取非结构化数据;
步骤b:确定非结构化数据的解析方式;
步骤c:将非结构化数据转化为结构化数据;
步骤d:将结构化数据进行分类,并将结构化数据分为有用数据和无用数据;
步骤e:将有用的数据进行存储,将无用的数据进行删除;
步骤f:将存储的数据进行备份,并进行加密处理;
步骤g:检验储存数据是否有误;
步骤h:如果数据正确,则用户后期可调取数据进行统计、分析;如果数据错误,则重复步骤d至步骤g,直到数据正确。
优选的,步骤a中所述非结构化数据为图像、音频、视频、文档、自定义对象、XML或HTML。
优选的,还包括处理器和存储模块,处理器用于编辑解析方式,存储模块用于存储数据。
优选的,所述解析方式是将非结构化数据进行序列化处理,从而得到结构化数据。
优选的,一种非结构化数据的处理方法的防复制加密传输系统,包括数据库、用户登录模块、权限管理模块,还包括以下步骤:
步骤i:用户登录;
步骤j:用户身份识别;
步骤k:用户识别登录成功以后,可查看数据,如果需要备份和复制数据,则还需输入解密密码,方可进行备份和复制。
优选的,步骤i中所述用户登录包括用户名、登录密码、登录验证码。
优选的,所述数据库中存储有用户信息以及密钥信息。
优选的,步骤K中所述解密密码输入错误达到3次时,即可将数据损毁。
本实施例的工作原理:在收集数据并实现结构化之后,消除无用的数据可以进一步减少混淆,避免浪费时间,且减少存储空间的占用;通过备份数据,可避免数据丢失;所述解密密码输入错误达到3次时,即可将数据损毁,进一步保证数据的安全性。
实施例三
请参阅图1和图4,本发明实施例中,一种非结构化数据的处理方法,包括以下步骤:
步骤a:获取非结构化数据;
步骤b:确定非结构化数据的解析方式;
步骤c:将非结构化数据转化为结构化数据;
步骤d:将结构化数据进行分类,并将结构化数据分为有用数据和无用数据;
步骤e:将有用的数据进行存储,将无用的数据进行删除;
步骤f:将存储的数据进行备份,并进行加密处理;
步骤g:检验储存数据是否有误;
步骤h:如果数据正确,则用户后期可调取数据进行统计、分析;如果数据错误,则重复步骤d至步骤g,直到数据正确。
优选的,步骤a中所述非结构化数据为图像、音频、视频、文档、自定义对象、XML或HTML。
优选的,还包括处理器和存储模块,处理器用于编辑解析方式,存储模块用于存储数据。
优选的,所述解析方式是将非结构化数据进行序列化处理,从而得到结构化数据。
优选的,一种非结构化数据的处理方法的防复制加密传输系统,包括数据库、用户登录模块、权限管理模块,还包括以下步骤:
步骤i:用户登录;
步骤j:用户身份识别;
步骤k:用户识别登录成功以后,可查看数据,如果需要备份和复制数据,则还需输入解密密码,方可进行备份和复制。
优选的,步骤i中所述用户登录包括用户名、登录密码、登录验证码。
优选的,所述数据库中存储有用户信息以及密钥信息。
优选的,还包括报警模块,解密密码输入错误1次,则向终端的报警模块报警。
本实施例的工作原理:在收集数据并实现结构化之后,消除无用的数据可以进一步减少混淆,避免浪费时间,且减少存储空间的占用;通过备份数据,可避免数据丢失;解密密码输入错误1次,则向终端的报警模块报警。
实施例四
请参阅图1和图5,本发明实施例中,一种非结构化数据的处理方法,包括以下步骤:
步骤a:获取非结构化数据;
步骤b:确定非结构化数据的解析方式;
步骤c:将非结构化数据转化为结构化数据;
步骤d:将结构化数据进行分类,并将结构化数据分为有用数据和无用数据;
步骤e:将有用的数据进行存储,将无用的数据进行删除;
步骤f:将存储的数据进行备份,并进行加密处理;
步骤g:检验储存数据是否有误;
步骤h:如果数据正确,则用户后期可调取数据进行统计、分析;如果数据错误,则重复步骤d至步骤g,直到数据正确。
优选的,步骤a中所述非结构化数据为图像、音频、视频、文档、自定义对象、XML或HTML。
优选的,还包括处理器和存储模块,处理器用于编辑解析方式,存储模块用于存储数据。
优选的,所述解析方式是将非结构化数据进行序列化处理,从而得到结构化数据。
优选的,一种非结构化数据的处理方法的防复制加密传输系统,包括数据库、用户登录模块、权限管理模块,还包括以下步骤:
步骤i:用户登录;
步骤j:用户身份识别;
步骤k:用户识别登录成功以后,可查看数据,如果需要备份和复制数据,则还需输入解密密码,方可进行备份和复制。
优选的,步骤i中所述用户登录包括用户名、登录密码、登录验证码。
优选的,所述数据库中存储有用户信息以及密钥信息。
本实施例的工作原理:在收集数据并实现结构化之后,消除无用的数据可以进一步减少混淆,避免浪费时间,且减少存储空间的占用;通过备份数据,可避免数据丢失。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种非结构化数据的处理方法,其特征在于:包括以下步骤:
步骤a:获取非结构化数据;
步骤b:确定非结构化数据的解析方式;
步骤c:将非结构化数据转化为结构化数据;
步骤d:将结构化数据进行分类,并将结构化数据分为有用数据和无用数据;
步骤e:将有用的数据进行存储,将无用的数据进行删除;
步骤f:将存储的数据进行备份,并进行加密处理;
步骤g:检验储存数据是否有误;
步骤h:如果数据正确,则用户后期可调取数据进行统计、分析;如果数据错误,则重复步骤d至步骤g,直到数据正确。
2.根据权利要求1所述的一种非结构化数据的处理方法,其特征在于:步骤a中所述非结构化数据为图像、音频、视频、文档、自定义对象、XML或HTML。
3.根据权利要求1所述的一种非结构化数据的处理方法,其特征在于:还包括处理器和存储模块,处理器用于编辑解析方式,存储模块用于存储数据。
4.根据权利要求1或3所述的一种非结构化数据的处理方法,其特征在于:所述解析方式是将非结构化数据进行序列化处理,从而得到结构化数据。
5.根据权利要求1所述的一种非结构化数据的处理方法的防复制加密传输系统,其特征在于:包括数据库、用户登录模块、权限管理模块,还包括以下步骤:
步骤i:用户登录;
步骤j:用户身份识别;
步骤k:用户识别登录成功以后,可查看数据,如果需要备份和复制数据,则还需输入解密密码,方可进行备份和复制。
6.根据权利要求5所述的一种非结构化数据的处理方法的防复制加密传输系统,其特征在于:步骤i中所述用户登录包括用户名、登录密码、登录验证码。
7.根据权利要求5所述的一种非结构化数据的处理方法的防复制加密传输系统,其特征在于:所述数据库中存储有用户信息以及密钥信息。
8.根据权利要求5所述的一种非结构化数据的处理方法的防复制加密传输系统,其特征在于:步骤K中所述解密密码输入错误达到3次时,即可将数据损毁。
9.根据权利要求5或8所述的一种非结构化数据的处理方法的防复制加密传输系统,其特征在于:还包括报警模块,解密密码输入错误1次,则向终端的报警模块报警。
CN201911363831.4A 2019-12-26 2019-12-26 一种非结构化数据的处理方法及防复制加密传输系统 Pending CN111143342A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911363831.4A CN111143342A (zh) 2019-12-26 2019-12-26 一种非结构化数据的处理方法及防复制加密传输系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911363831.4A CN111143342A (zh) 2019-12-26 2019-12-26 一种非结构化数据的处理方法及防复制加密传输系统

Publications (1)

Publication Number Publication Date
CN111143342A true CN111143342A (zh) 2020-05-12

Family

ID=70520274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911363831.4A Pending CN111143342A (zh) 2019-12-26 2019-12-26 一种非结构化数据的处理方法及防复制加密传输系统

Country Status (1)

Country Link
CN (1) CN111143342A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140011542A (ko) * 2012-07-03 2014-01-29 한국과학기술원 로그인 시스템 및 방법
CN105183916A (zh) * 2015-10-16 2015-12-23 辽宁工程技术大学 一种管理非结构化数据的装置和方法
CN106649863A (zh) * 2016-12-30 2017-05-10 天津市测绘院 一种非结构化数据管理方法及装置
CN108846003A (zh) * 2018-04-20 2018-11-20 广东电网有限责任公司 一种非结构化机器数据处理方法及装置
CN109286628A (zh) * 2018-10-10 2019-01-29 全球能源互联网研究院有限公司 数据安全传输方法、系统、电子设备及存储介质
CN109492002A (zh) * 2018-10-19 2019-03-19 浙江大学华南工业技术研究院 一种智能电网大数据存储与分析系统及处理方法
CN110232136A (zh) * 2019-06-19 2019-09-13 浙江中普科技咨询有限公司 一种基于云计算的大数据处理系统
CN110309673A (zh) * 2019-07-04 2019-10-08 华盾技术(深圳)有限责任公司 一种自适应可定制的加密云数据库系统及加密方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140011542A (ko) * 2012-07-03 2014-01-29 한국과학기술원 로그인 시스템 및 방법
CN105183916A (zh) * 2015-10-16 2015-12-23 辽宁工程技术大学 一种管理非结构化数据的装置和方法
CN106649863A (zh) * 2016-12-30 2017-05-10 天津市测绘院 一种非结构化数据管理方法及装置
CN108846003A (zh) * 2018-04-20 2018-11-20 广东电网有限责任公司 一种非结构化机器数据处理方法及装置
CN109286628A (zh) * 2018-10-10 2019-01-29 全球能源互联网研究院有限公司 数据安全传输方法、系统、电子设备及存储介质
CN109492002A (zh) * 2018-10-19 2019-03-19 浙江大学华南工业技术研究院 一种智能电网大数据存储与分析系统及处理方法
CN110232136A (zh) * 2019-06-19 2019-09-13 浙江中普科技咨询有限公司 一种基于云计算的大数据处理系统
CN110309673A (zh) * 2019-07-04 2019-10-08 华盾技术(深圳)有限责任公司 一种自适应可定制的加密云数据库系统及加密方法

Similar Documents

Publication Publication Date Title
CN108428141B (zh) 一种基于erp系统与区块链的食品溯源信息管理系统
US11716349B2 (en) Machine learning detection of database injection attacks
CN111859451B (zh) 多源多模态数据的处理系统及应用该系统的方法
CN111274227B (zh) 一种基于聚类分析和关联规则的数据库审计系统及方法
CN111177785B (zh) 一种基于企业的业务系统的隐私数据的脱敏处理方法
US9154506B1 (en) System and method for secure data generation and transmission
CN112084474A (zh) 一种企业档案管理方法、系统、存储介质和电子设备
CN114925391A (zh) 隐私信息的流转监管方法、装置、电子设备和存储介质
CN110826094A (zh) 一种信息泄露监控方法以及装置
CN110399485B (zh) 基于词向量和机器学习的数据溯源方法和系统
CN102821110B (zh) 一种用于音视频存储设备的密码找回方法
CN111143342A (zh) 一种非结构化数据的处理方法及防复制加密传输系统
CN106156904B (zh) 一种基于eID的跨平台虚拟资产溯源方法
CN114598556B (zh) It基础设施配置完整性保护方法及保护系统
CN107491530B (zh) 一种基于文件自动标记信息的社会关系挖掘分析方法
CN116260627A (zh) 一种基于数据溯源图标签的apt检测系统
CN112131570B (zh) 一种基于pca的密码硬编码检测方法、装置及介质
CN114186278A (zh) 数据库异常操作识别方法、装置与电子设备
JP6501159B2 (ja) コンピュータ装置の動作記録の解析、翻訳を行い、監査に対する情報の出力及びシステムの傾向分析装置。
CN114840519A (zh) 一种数据打标签的方法、设备及存储介质
CN113378239A (zh) 一种数据内容确权方法及系统
CN117493466B (zh) 财务数据同步方法及系统
CN116562826B (zh) 一种基于用户需求的客户erp系统管理方法、系统及介质
CN117390679B (zh) 涉密信息载体智能监控方法
KR102178049B1 (ko) 개인정보 자산과 사용현황 파악 기반의 데이터 모니터링 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination