CN114896235A - 一种大数据环境下的数据管理方法 - Google Patents

一种大数据环境下的数据管理方法 Download PDF

Info

Publication number
CN114896235A
CN114896235A CN202210549190.7A CN202210549190A CN114896235A CN 114896235 A CN114896235 A CN 114896235A CN 202210549190 A CN202210549190 A CN 202210549190A CN 114896235 A CN114896235 A CN 114896235A
Authority
CN
China
Prior art keywords
data
unit
database
backup
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210549190.7A
Other languages
English (en)
Inventor
白音宝力稿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bai Yinbaoligao
Original Assignee
Bai Yinbaoligao
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bai Yinbaoligao filed Critical Bai Yinbaoligao
Priority to CN202210549190.7A priority Critical patent/CN114896235A/zh
Publication of CN114896235A publication Critical patent/CN114896235A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种大数据环境下的数据管理方法，涉及数据管理技术领域，包括以下步骤：S1：启动系统，获取大数据；S2：对获取的数据进行分类；S3：对三类数据中为零或者空数据清除；S4：对数据是否重复性进行筛选；S5：对数据加密传输到数据库分类存储。本发明通过数据分类单元对数据分类单元对获取的数据分类为文字、语音和图像三大类，数据库的三个数据单元分别对三类数据单独储存，减少数据的不同数据之间的相互干扰，提高数据传输和管理效率，备份模块的三个备份单元分别对不同类别的数据进行单独备份，减少数据的不同数据之间的相互干扰，便于数据库损坏时，单独恢复相应分类的数据资料，提高备份安全性。

Description

一种大数据环境下的数据管理方法
技术领域
本发明涉及数据管理技术领域，具体为一种大数据环境下的数据管理方法。
背景技术
大数据来源于英文big data，直译为巨量资料，后来经过改进才译为大数据，它指的是其所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理的资讯，“大数据”海量、高增长率和多样化的信息资产，它需要全新的处理模式具备更强的决策力、洞察发现力和流程优化能力才能适应，大数据的规模大到在获取、存储、管理、分析方面远远超出了传统数据库软件工具能力范围的数据集合，海量的数据规模、快速的数据流转、多样的数据类型和价值密度低是其具备的四大显著特征，而数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程，在大数据背景下，数据有效管理可以更加充分有效地发挥数据的作用。
现有做法中，对于数据的管理中，统将一种项目相关的数据归属于同一类目下，这样该类目的数据较为繁杂，不同类型的数据相互影响，数据库备份时也是整体备份，数据库中数据出现损坏时，需要整体性恢复，数据恢复时间较长。
发明内容
本发明的目的在于提供一种大数据环境下的数据管理方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种大数据环境下的数据管理方法，包括以下步骤：
S1：启动系统，获取大数据；
S2：对获取的数据进行分类；
S3：对三类数据中为零或者空数据清除；
S4：对数据是否重复性进行筛选；
S5：对数据加密传输到数据库分类存储；
S6：对数据库中一周内变化的数据分类备份。
进一步地，在所述步骤S2中，对获取的数据进行分类步骤如下：
S21：数据分类单元对获取的数据分类为文字、语音和图像三大类，设E为文字数据集，E＝{A1,A2,A3...An}，设F为文字数据集，F＝{B1,B2,B3...Bn}，设G为文字数据集，G＝{Cb,C2,C3...Cn}。
进一步地，在所述步骤S3中，对每类数据中为零或者空数据清除步骤如下：
S31：无效数据清除单元分别对三类数据中为空或者为零数据信息筛选，将其标记为无效数据，并进行删除，减少数据库中无效数据占用存储空间，避免无效数据的干扰，提高数据管理效率。
进一步地，在所述步骤S4中，对数据是否重复性进行筛选步骤如下：
S41：设Ai为获取的文字数据，
Figure BDA0003653871380000021
若Ai属于集合E中任一项，则表示数据重复，若Ai不属于集合E中任一项，则表示数据不重复；
设Bi为获取的文字数据，
Figure BDA0003653871380000022
若Bi属于集合F中任一项，则表示数据重复，若Bi不属于集合F中任一项，则表示数据不重复；
设Ci为获取的文字数据，
Figure BDA0003653871380000023
若Ci属于集合G中任一项，则表示数据重复，若Ci不属于集合G中任一项，则表示数据不重复；
对于重复的数据，删除获取的数据，保留数据库中原有数据，但是将原有数据的时间更新为最新时间；
对于不重复的数据，保留获取的数据以及原有数据库中48h内部的数据，并将48h前的数据进行删除，便于在48h核对数据，出现意外错误数据是便于找回原有数据，防止错误数据意外收集影响数据精确性；
对数据进行筛选处理，减少数据不必要的存储和替换消耗资源，降低数据管理成本，提高数据管理效率。
进一步地，在所述步骤S5中，对分析整合处理好的数据经过加密模块进行传输到数据库的步骤如下
S51：数据收发单元将数据经过加密模块传输到数据库中，数据库对分类的数据分别保存到文字数据单元、语音数据单元和图像数据单元三个中，对数据进行分类数据存储，减少数据的不同数据之间的相互干扰，提高数据传输和管理效率；
在步骤S6中，对数据库中一周内变化的数据分类备份步骤如下：
S61：数据库中变化的数据直接备份到备份模块中，备份模块的三个单元分别对三类数据进行备份，文字备份单元备份文字数据单元中一周内变化的文字数据，语音备份单元备份语音数据单元中一周内变化的语音数据，图像备份单元备份图像数据单元中一周内变化的图像数据，对不同类别的数据进行单独备份，减少数据的不同数据之间的相互干扰，便于数据库损坏时，单独恢复相应分类的数据资料，提高备份安全性。
进一步地，所述系统包括：云计算平台、数据采集模块、数据处理模块、加密模块、数据库、备份模块和智能终端，所述云计算平台用于对系统进行云端式管理，所述数据采集模块用于对大数据进行采集获取，所述数据处理模块对数据进行分析整合处理，所述加密模块对数据库与云计算平台之间传输的数据进行加密，所述数据库分类储存数据和为云计算平台以及智能终端提供系统数据，所述备份模块对数据库进行备份，所述智能终端可查看系统数据，所述云计算平台的输入端分别与数据采集模块、数据处理模块、加密模块和智能终端的输出端连接，所述云计算平台的输出端分别与数据采集模块、数据处理模块、加密模块和智能终端的输入端连接，所述数据库的输入端分别与加密模块和备份模块的输出端连接，所述数据库的输出端分别与加密模块和备份模块的输入端连接。
进一步地，所述云计算平台包括数据收发单元、中心处理单元和存储单元，所述数据收发单元用于收发数据，所述中心处理单元用于对数据整合分析处理，所述存储单元用于对数据的临时存储。
进一步地，所述数据处理模块包括数据分类单元、无效数据清除单元和重复数据筛选单元，所述数据分类单元用于将数据分为文字数据、语音数据和图像数据三类，所述无效数据清除单元用于清除空数据和为零数据，所述重复数据筛选单元用于数据的重复性筛选。
进一步地，所述数据库包括文字数据单元、语音数据单元和图像数据单元，所述文字数据单元用于存储和提供文字数据，所述语音数据单元用于存储和提供语音数据，所述图像数据单元用于存储和提供图像数据。
进一步地，所述备份模块包括文字备份单元、语音备份单元和图像备份单元，所述文字备份单元用于备份一周内变化的文字数据，所述语音备份单元用于备份一周内变化的语音数据，所述图像备份单元用于备份一周内变化的图像数据。
与现有技术相比，本发明所达到的有益效果是：
1、该大数据环境下的数据管理方法，通过数据分类单元对数据分类单元对获取的数据分类为文字、语音和图像三大类，数据库的三个数据单元分别对三类数据单独储存，减少数据的不同数据之间的相互干扰，提高数据传输和管理效率，备份模块的三个备份单元分别对不同类别的数据进行单独备份，减少数据的不同数据之间的相互干扰，便于数据库损坏时，单独恢复相应分类的数据资料，提高备份安全性。
2、该大数据环境下的数据管理方法，利用无效数据清除单元分别对三类数据中为空或者为零数据信息筛选，将其标记为无效数据，并进行删除，减少数据库中无效数据占用存储空间，避免无效数据的干扰，提高数据管理效率，利用重复数据筛选单元对数据是否重复性进行筛选，对于重复的数据，删除获取的数据，保留数据库中原有数据，但是将原有数据的时间更新为最新时间，对于不重复的数据，保留获取的数据以及原有数据库中h内部的数据，并将h前的数据进行删除，便于在h核对数据，出现意外错误数据是便于找回原有数据，防止错误数据意外收集影响数据精确性，对数据进行筛选处理，减少数据不必要的存储和替换消耗资源，降低数据管理成本，提高数据管理效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明大数据环境下的数据管理方法的步骤示意图；
图2是本发明大数据环境下的数据管理方法的系统模块示意图。
图中：1、云计算平台；11、数据收发单元；12、中心处理单元；13、存储单元；2、数据采集模块；3、数据处理模块；31、数据分类单元；32、无效数据清除单元；33、重复数据筛选单元；4、加密模块；5、数据库；51、文字数据单元；52、语音数据单元；53、图像数据单元；6、备份模块；61、文字备份单元；62、语音备份单元；63、图像备份单元；7、智能终端；71、输入端元；72、显示单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-图2所示的一种大数据环境下的数据管理方法，包括以下步骤：
S1：启动系统，获取大数据；
S2：对获取的数据进行分类；
S3：对三类数据中为零或者空数据清除；
S4：对数据是否重复性进行筛选；
S5：对数据加密传输到数据库5分类存储；
S6：对数据库5中一周内变化的数据分类备份；
在所述步骤S2中，对获取的数据进行分类步骤如下：
S21：数据分类单元31对获取的数据分类为文字、语音和图像三大类，设E为文字数据集，E＝{A1,A2,A3...An}，设F为文字数据集，F＝{B1,B2,B3...Bn}，设G为文字数据集，G＝{Cb,C2,C3...Cn}；
在所述步骤S3中，对每类数据中为零或者空数据清除步骤如下：
S31：无效数据清除单元32分别对三类数据中为空或者为零数据信息筛选，将其标记为无效数据，并进行删除，减少数据库5中无效数据占用存储空间，避免无效数据的干扰，提高数据管理效率；
在所述步骤S4中，对数据是否重复性进行筛选步骤如下：
S41：设Ai为获取的文字数据，
Figure BDA0003653871380000061
若Ai属于集合E中任一项，则表示数据重复，若Ai不属于集合E中任一项，则表示数据不重复；
设Bi为获取的文字数据，
Figure BDA0003653871380000062
若Bi属于集合F中任一项，则表示数据重复，若Bi不属于集合F中任一项，则表示数据不重复；
设Ci为获取的文字数据，
Figure BDA0003653871380000063
若Ci属于集合G中任一项，则表示数据重复，若Ci不属于集合G中任一项，则表示数据不重复；
对于重复的数据，删除获取的数据，保留数据库5中原有数据，但是将原有数据的时间更新为最新时间；
对于不重复的数据，保留获取的数据以及原有数据库5中48h内部的数据，并将48h前的数据进行删除，便于在48h核对数据，出现意外错误数据是便于找回原有数据，防止错误数据意外收集影响数据精确性；
对数据进行筛选处理，减少数据不必要的存储和替换消耗资源，降低数据管理成本，提高数据管理效率；
在所述步骤S5中，对分析整合处理好的数据经过加密模块进行传输到数据库5的步骤如下
S51：数据收发单元11将数据经过加密模块4传输到数据库5中，数据库5对分类的数据分别保存到文字数据单元51、语音数据单元52和图像数据单元53三个中，对数据进行分类数据存储，减少数据的不同数据之间的相互干扰，提高数据传输和管理效率；
在步骤S6中，对数据库中一周内变化的数据分类备份步骤如下：
S61：数据库5中变化的数据直接备份到备份模块6中，备份模块6的三个单元分别对三类数据进行备份，文字备份单元61备份文字数据单元51中一周内变化的文字数据，语音备份单元62备份语音数据单元52中一周内变化的语音数据，图像备份单元63备份图像数据单元53中一周内变化的图像数据，对不同类别的数据进行单独备份，减少数据的不同数据之间的相互干扰，便于数据库5损坏时，单独恢复相应分类的数据资料，提高备份安全性。
所述系统包括：云计算平台1、数据采集模块2、数据处理模块3、加密模块4、数据库5、备份模块6和智能终端7，所述云计算平台1用于对系统进行云端式管理，所述数据采集模块2用于对大数据进行采集获取，所述数据处理模块3对数据进行分析整合处理，所述加密模块4对数据库与云计算平台1之间传输的数据进行加密，所述数据库5分类储存数据和为云计算平台1以及智能终端7提供系统数据，所述备份模块6对数据库5进行备份，所述智能终端7可查看系统数据，所述云计算平台1的输入端分别与数据采集模块2、数据处理模块3、加密模块4和智能终端7的输出端连接，所述云计算平台1的输出端分别与数据采集模块2、数据处理模块3、加密模块4和智能终端7的输入端连接，所述数据库5的输入端分别与加密模块4和备份模块6的输出端连接，所述数据库5的输出端分别与加密模块4和备份模块6的输入端连接，所述云计算平台1包括数据收发单元11、中心处理单元12和存储单元13，所述数据收发单元11用于收发数据，所述中心处理单元12用于对数据整合分析处理，所述存储单元13用于对数据的临时存储，所述数据处理模块3包括数据分类单元31、无效数据清除单元32和重复数据筛选单元33，所述数据分类单元31用于将数据分为文字数据、语音数据和图像数据三类，所述无效数据清除单元32用于清除空数据和为零数据，所述重复数据筛选单元33用于数据的重复性筛选，所述数据库5包括文字数据单元51、语音数据单元51和图像数据单元53，所述文字数据单元51用于存储和提供文字数据，所述语音数据单元52用于存储和提供语音数据，所述图像数据单元53用于存储和提供图像数据，所述备份模块6包括文字备份单元61、语音备份单元62和图像备份单元63，所述文字备份单元61用于备份一周内变化的文字数据，所述语音备份单元62用于备份一周内变化的语音数据，所述图像备份单元63用于备份一周内变化的图像数据。
本发明的工作原理：
参照说明书附图1-图2，通过数据分类单元31对数据分类单元31对获取的数据分类为文字、语音和图像三大类，数据库5的三个数据单元分别对三类数据单独储存，减少数据的不同数据之间的相互干扰，提高数据传输和管理效率，备份模块6的三个备份单元分别对不同类别的数据进行单独备份，减少数据的不同数据之间的相互干扰，便于数据库5损坏时，单独恢复相应分类的数据资料，提高备份安全性，利用无效数据清除单元32分别对三类数据中为空或者为零数据信息筛选，将其标记为无效数据，并进行删除，减少数据库5中无效数据占用存储空间，避免无效数据的干扰，提高数据管理效率，利用重复数据筛选单元33对数据是否重复性进行筛选，对于重复的数据，删除获取的数据，保留数据库5中原有数据，但是将原有数据的时间更新为最新时间，对于不重复的数据，保留获取的数据以及原有数据库5中48h内部的数据，并将48h前的数据进行删除，便于在48h核对数据，出现意外错误数据是便于找回原有数据，防止错误数据意外收集影响数据精确性，对数据进行筛选处理，减少数据不必要的存储和替换消耗资源，降低数据管理成本，提高数据管理效率。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种大数据环境下的数据管理方法，其特征在于：包括以下步骤：
S1：启动系统，获取大数据；
S2：对获取的数据进行分类；
S3：对三类数据中为零或者空数据清除；
S4：对数据是否重复性进行筛选；
S5：对数据加密传输到数据库(5)分类存储；
S6：对数据库(5)中一周内变化的数据分类备份。
2.根据权利要求1所述的一种大数据环境下的数据管理方法，其特征在于：在所述步骤S2中，对获取的数据进行分类步骤如下：
S21：数据分类单元(31)对获取的数据分类为文字、语音和图像三大类，设E为文字数据集，E＝{A1,A2,A3...An}，设F为文字数据集，F＝{B1,B2,B3...Bn}，设G为文字数据集，G＝{Cb,C2,C3...Cn}。
3.根据权利要求2所述的一种大数据环境下的数据管理方法，其特征在于：在所述步骤S3中，对每类数据中为零或者空数据清除步骤如下：
S31：无效数据清除单元(32)分别对三类数据中为空或者为零数据信息筛选，将其标记为无效数据，并进行删除，减少数据库(5)中无效数据占用存储空间，避免无效数据的干扰，提高数据管理效率。
4.根据权利要求3所述的一种大数据环境下的数据管理方法，其特征在于：在所述步骤S4中，对数据是否重复性进行筛选步骤如下：
S41：设Ai为获取的文字数据，
Figure FDA0003653871370000011
若Ai属于集合E中任一项，则表示数据重复，若Ai不属于集合E中任一项，则表示数据不重复；
设Bi为获取的文字数据，
Figure FDA0003653871370000021
若Bi属于集合F中任一项，则表示数据重复，若Bi不属于集合F中任一项，则表示数据不重复；
设Ci为获取的文字数据，
Figure FDA0003653871370000022
若Ci属于集合G中任一项，则表示数据重复，若Ci不属于集合G中任一项，则表示数据不重复；
对于重复的数据，删除获取的数据，保留数据库(5)中原有数据，但是将原有数据的时间更新为最新时间；
对于不重复的数据，保留获取的数据以及原有数据库(5)中48h内部的数据，并将48h前的数据进行删除，便于在48h核对数据，出现意外错误数据是便于找回原有数据，防止错误数据意外收集影响数据精确性；
对数据进行筛选处理，减少数据不必要的存储和替换消耗资源，降低数据管理成本，提高数据管理效率。
5.根据权利要求4所述的一种大数据环境下的数据管理方法，其特征在于：在所述步骤S5中，对分析整合处理好的数据经过加密模块进行传输到数据库(5)的步骤如下
S51：数据收发单元(11)将数据经过加密模块(4)传输到数据库(5)中，数据库(5)对分类的数据分别保存到文字数据单元(51)、语音数据单元(52)和图像数据单元(53)三个中，对数据进行分类数据存储，减少数据的不同数据之间的相互干扰，提高数据传输和管理效率；
在步骤S6中，对数据库中一周内变化的数据分类备份步骤如下：
S61：数据库(5)中变化的数据直接备份到备份模块(6)中，备份模块(6)的三个单元分别对三类数据进行备份，文字备份单元(61)备份文字数据单元(51)中一周内变化的文字数据，语音备份单元(62)备份语音数据单元(52)中一周内变化的语音数据，图像备份单元(63)备份图像数据单元(53)中一周内变化的图像数据，对不同类别的数据进行单独备份，减少数据的不同数据之间的相互干扰，便于数据库(5)损坏时，单独恢复相应分类的数据资料，提高备份安全性。
6.根据权利要求1所述的一种大数据环境下的数据管理方法，其特征在于：所述系统包括：云计算平台(1)、数据采集模块(2)、数据处理模块(3)、加密模块(4)、数据库(5)、备份模块(6)和智能终端(7)，所述云计算平台(1)用于对系统进行云端式管理，所述数据采集模块(2)用于对大数据进行采集获取，所述数据处理模块(3)对数据进行分析整合处理，所述加密模块(4)对数据库与云计算平台(1)之间传输的数据进行加密，所述数据库(5)分类储存数据和为云计算平台(1)以及智能终端(7)提供系统数据，所述备份模块(6)对数据库(5)进行备份，所述智能终端(7)可查看系统数据，所述云计算平台(1)的输入端分别与数据采集模块(2)、数据处理模块(3)、加密模块(4)和智能终端(7)的输出端连接，所述云计算平台(1)的输出端分别与数据采集模块(2)、数据处理模块(3)、加密模块(4)和智能终端(7)的输入端连接，所述数据库(5)的输入端分别与加密模块(4)和备份模块(6)的输出端连接，所述数据库(5)的输出端分别与加密模块(4)和备份模块(6)的输入端连接。
7.根据权利要求6所述的一种大数据环境下的数据管理方法，其特征在于：所述云计算平台(1)包括数据收发单元(11)、中心处理单元(12)和存储单元(13)，所述数据收发单元(11)用于收发数据，所述中心处理单元(12)用于对数据整合分析处理，所述存储单元(13)用于对数据的临时存储。
8.根据权利要求6所述的一种大数据环境下的数据管理方法，其特征在于：所述数据处理模块(3)包括数据分类单元(31)、无效数据清除单元(32)和重复数据筛选单元(33)，所述数据分类单元(31)用于将数据分为文字数据、语音数据和图像数据三类，所述无效数据清除单元(32)用于清除空数据和为零数据，所述重复数据筛选单元(33)用于数据的重复性筛选。
9.根据权利要求6所述的一种大数据环境下的数据管理方法，其特征在于：所述数据库(5)包括文字数据单元(51)、语音数据单元(51)和图像数据单元(53)，所述文字数据单元(51)用于存储和提供文字数据，所述语音数据单元(52)用于存储和提供语音数据，所述图像数据单元(53)用于存储和提供图像数据。
10.根据权利要求6所述的一种大数据环境下的数据管理方法，其特征在于：所述备份模块(6)包括文字备份单元(61)、语音备份单元(62)和图像备份单元(63)，所述文字备份单元(61)用于备份一周内变化的文字数据，所述语音备份单元(62)用于备份一周内变化的语音数据，所述图像备份单元(63)用于备份一周内变化的图像数据。
CN202210549190.7A 2022-05-20 2022-05-20 一种大数据环境下的数据管理方法 Withdrawn CN114896235A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210549190.7A CN114896235A (zh) 2022-05-20 2022-05-20 一种大数据环境下的数据管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210549190.7A CN114896235A (zh) 2022-05-20 2022-05-20 一种大数据环境下的数据管理方法

Publications (1)

Publication Number Publication Date
CN114896235A true CN114896235A (zh) 2022-08-12

Family

ID=82723876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210549190.7A Withdrawn CN114896235A (zh) 2022-05-20 2022-05-20 一种大数据环境下的数据管理方法

Country Status (1)

Country Link
CN (1) CN114896235A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117729252A (zh) * 2024-02-01 2024-03-19 深圳承典电子有限公司 一种整合多算法模型的边缘计算系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117729252A (zh) * 2024-02-01 2024-03-19 深圳承典电子有限公司 一种整合多算法模型的边缘计算系统
CN117729252B (zh) * 2024-02-01 2024-04-12 深圳承典电子有限公司 一种整合多算法模型的边缘计算系统

Similar Documents

Publication Publication Date Title
CN108647311B (zh) 一种用于工程施工管理过程文件电子化处理系统及方法
US10430480B2 (en) Enterprise data processing
CN108667725A (zh) 一种基于多种接入及边缘计算的工业软网关以及实现方法
CN100504858C (zh) 关联的共享计算机对象
US7680998B1 (en) Journaled data backup during server quiescence or unavailability
US20100057870A1 (en) Method and system for leveraging identified changes to a mail server
JP2004530216A (ja) 異なるブロックサイズのテーブルスペースの統合
US20120005172A1 (en) Information searching apparatus, information managing apparatus, information searching method, information managing method, and computer product
CN110727643B (zh) 一种基于机器学习的文件分类管理方法及系统
JP2008538627A (ja) ローカル・サムネイル・キャッシュ
CN104067281A (zh) 按多个时间维度的聚类事件数据
EP1265155A2 (en) File tree comparator
CN107341220A (zh) 一种多源数据融合方法和装置
CN101178709A (zh) 日志记录系统和方法
JP2002032773A (ja) 地図データの処理装置及び方法
CN104584524A (zh) 聚合中介系统中的数据
CN108268656A (zh) 一种大数据智能云审计方法及系统
CN116910815A (zh) 一种基于大数据的信息数据管理方法
CN104486116A (zh) 多维度查询流量数据的方法及系统
CN114896235A (zh) 一种大数据环境下的数据管理方法
CN110222039A (zh) 数据存储及垃圾数据清理方法、装置、设备及存储介质
CN109189759A (zh) Kv存储系统中的数据读取方法、数据查询方法、装置及设备
AL-Msie'deen et al. Detecting commonality and variability in use-case diagram variants
CN107577809A (zh) 离线小文件处理方法及装置
CN103778231A (zh) 一种数据银行管理操作记录信息的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220812