CN111625582A - 数据仓储系统 - Google Patents

数据仓储系统 Download PDF

Info

Publication number
CN111625582A
CN111625582A CN202010420929.5A CN202010420929A CN111625582A CN 111625582 A CN111625582 A CN 111625582A CN 202010420929 A CN202010420929 A CN 202010420929A CN 111625582 A CN111625582 A CN 111625582A
Authority
CN
China
Prior art keywords
data
module
classification
storage
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010420929.5A
Other languages
English (en)
Other versions
CN111625582B (zh
Inventor
王国仕
郑声俊
刘瑛
颜清
隋海滨
王岩
郭威
马超
王诚
曾智翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan Power Grid Co Ltd
Information Communication Branch of Hainan Power Grid Co Ltd
Original Assignee
Hainan Power Grid Co Ltd
Information Communication Branch of Hainan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan Power Grid Co Ltd, Information Communication Branch of Hainan Power Grid Co Ltd filed Critical Hainan Power Grid Co Ltd
Priority to CN202010420929.5A priority Critical patent/CN111625582B/zh
Publication of CN111625582A publication Critical patent/CN111625582A/zh
Application granted granted Critical
Publication of CN111625582B publication Critical patent/CN111625582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及数据仓储系统，包括中央处理器、数据录入模块、数据处理模块、数据存储单元及显示模块；数据录入模块用于输入数据；数据处理模块还与数据存储单元连接；数据处理模块包括数据信息提取模块、数据智能分类模块、数据智能分类存储模块、生成模块及数据智能筛选模块。在数据录入阶段即已进行数据仓储管控，根据所输入的数据提取数据信息且按预设分类条件进行数据分类，一方面有利于数据的关联查询及准确获取，另一方面有利于生成二次数据以便数据存储及后续检索，再一方面有利于按需筛选目标数据，避免在需要查找对应的文件时，进行逐个文件夹查看，缩短了使用者查找文件的时间，提高了查找文件的效率，给使用者的工作带来了极大的方便。

Description

数据仓储系统
技术领域
本申请涉及数据存储领域，特别是涉及数据仓储系统。
背景技术
仓储是指通过仓库对物资进行存储、保管以及仓库相关存储活动的总称。它随着物资存储的产生而产生，又随着生产力的发展而发展。仓储是商品流通的重要环节之一，也是物流活动的重要支柱。而数据仓储则是仓储在数据方面的意义引申，是指对数据进行存储和保管。
在使用计算机进行下载文件或者保存文件时，大多数情况下会将文件保存在不同的数据盘中，但是后期需要查找的时候，找到对应的文件夹，如果忘记文件夹的名字时，则需要对需要查找文件的名字进行搜索，如果忘记了或者不知道具体需要查找的文件的名字，则需要对文件夹进行逐个的搜索，严重影响对文件查找的效率，使用十分不方便。
并且，数据仓储是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合，它是单个数据存储，出于分析性报告和决策支持目的而创建，为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。传统的互联网领域早先存在设备、系统、数据库不统一的现状，导致当前监测设备存在各种环境监测资源数据难以共享、数据格式不统一、数据缺乏真实性和可靠性等问题，同时庞大的数据存储和读取存耗费时间，不仅对数据读取较慢，耽搁了工作的进展，同时很难将这些数据进行具体化使用，浪费了资源。而且传统企业的数据仓库有不少是采用数据集市技术，它是一种小型的部门级的数据仓库，主要面向部门级业务，并且只面向某个特定的主题，是为满足特定用户的需求而建立的一种分析型环境。数据集市通常只关心自己需要的数据，不会全盘考虑企业整体的数据架构和应用，每个应用都有自己的数据管理方式。
因此，通常会出现设备、系统、数据库不统一等现状，导致当前监测设备存在各种环境监测资源数据难以共享、数据格式不统一、数据缺乏真实性和可靠性等问题；同时，也存在庞大的数据存储和读取耗费时间等缺陷。
发明内容
基于此，有必要提供一种数据仓储系统。
一种数据仓储系统，其包括中央处理器、数据录入模块、数据处理模块、数据存储单元及显示模块；
所述中央处理器分别与所述数据录入模块、所述数据处理模块及所述显示模块连接；
所述数据录入模块用于输入数据；
所述数据处理模块还与所述数据存储单元连接；
所述数据处理模块包括数据信息提取模块、数据智能分类模块、数据智能分类存储模块、生成模块及数据智能筛选模块；
所述数据信息提取模块用于根据所输入的数据提取数据信息；
所述数据智能分类模块用于对被提取的所述数据信息按预设分类条件进行数据分类；
所述数据智能分类存储模块用于对被提取的所述数据信息进行存储分析及数据导入；
所述生成模块用于根据所述数据分类及所述存储分析，为所述数据信息生成日期信息、文件名称信息及文件夹信息；
所述数据智能筛选模块用于根据需求从所述数据存储单元筛选目标数据。
上述数据仓储系统，在数据录入阶段即已进行数据仓储管控，根据所输入的数据提取数据信息且按预设分类条件进行数据分类，一方面有利于数据的关联查询及准确获取，另一方面有利于生成二次数据以便数据存储及后续检索，再一方面有利于按需筛选目标数据，避免在需要查找对应的文件时，进行逐个文件夹查看，缩短了使用者查找文件的时间，提高了查找文件的效率，给使用者的工作带来了极大的方便。
进一步地，在其中一个实施例中，所述数据智能筛选模块包括文件名关键词筛选模块、格式筛选模块、时间筛选模块、时间段筛选模块及内容关键词筛选模块中的至少一项；所述文件名关键词筛选模块用于根据需求采用文件名关键词从所述数据存储单元筛选目标数据；所述格式筛选模块用于根据需求采用文件格式或数据格式从所述数据存储单元筛选目标数据；所述时间筛选模块用于根据需求按时间要素从所述数据存储单元筛选目标数据，所述时间要素包括至少一个时间点；所述时间段筛选模块用于根据需求采用时间段从所述数据存储单元筛选目标数据；所述内容关键词筛选模块用于根据需求采用内容关键词从所述数据存储单元筛选目标数据。
进一步地，在其中一个实施例中，所述时间要素为文件建立时间及/或文件修改时间。
在其中一个实施例中，所述数据信息提取模块包括文件数据关键词提取模块、文件后缀名提取模块及识别错误提醒模块；
所述文件数据关键词提取模块用于根据所输入的数据采用关键词提取数据信息；
所述文件后缀名提取模块用于根据所输入的数据采用后缀名提取数据信息；
所述识别错误提醒模块用于对所输入的数据识别错误，且在发生识别错误时触发提醒操作。
在其中一个实施例中，所述文件后缀名提取模块设有文件数据格式提取模块，所述文件数据格式提取模块用于根据所输入的数据采用文件数据格式提取数据信息。
在其中一个实施例中，所述生成模块包括日期生成模块、文件名称生成模块及文件夹生成模块；
所述日期生成模块用于根据所述数据分类及所述存储分析，为所述数据信息生成日期信息；
所述文件名称生成模块用于根据所述数据分类及所述存储分析，为所述数据信息生成文件名称信息；
所述文件夹生成模块用于根据所述数据分类及所述存储分析，为所述数据信息生成文件夹信息。
在其中一个实施例中，所述数据智能分类存储模块包括存储分析模块及数据导入模块；
所述存储分析模块用于对被提取的所述数据信息进行存储分析；
所述数据导入模块用于对被提取的所述数据信息进行数据导入。
在其中一个实施例中，所述存储分析模块用于分析所述数据存储单元的存储分类以及存储量，且根据所述数据存储单元的存储分类以及存储量对被提取的所述数据信息进行存储分析。
在其中一个实施例中，所述数据智能分类模块设有数据类型分类模块，所述数据类型分类模块用于对被提取的所述数据信息按预设数据类型进行数据分类。
在其中一个实施例中，所述数据录入模块包括语音输入模块及键盘输入模块中的至少一项；
所述语音输入模块用于采用声音接收识别方式输入数据；
所述键盘输入模块用于采用手工录入方式输入数据。
在其中一个实施例中，所述数据录入模块还包括数据接收模块，所述数据接收模块用于采用接收端口输入数据。
在其中一个实施例中，所述数据存储单元包括至少二数据存储模块，各所述数据存储模块用于存储相异类型的数据信息。
附图说明
图1为本申请数据仓储系统一实施例的模块示意图。
图2为本申请数据仓储系统另一实施例中的数据处理模块的模块示意图。
图3为本申请数据仓储系统另一实施例中的数据信息提取模块的模块示意图。
图4为本申请数据仓储系统另一实施例中的生成模块的模块示意图。
图5为本申请数据仓储系统另一实施例中的数据智能分类存储模块的模块示意图。
图6为本申请数据仓储系统另一实施例中的数据智能筛选模块的模块示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似改进，因此本申请不受下面公开的具体实施例的限制。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本申请的说明书所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
除非另有定义，本申请的说明书所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。本申请的说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
在本申请一个实施例中，一种数据仓储系统，其包括中央处理器、数据录入模块、数据处理模块、数据存储单元及显示模块；所述中央处理器分别与所述数据录入模块、所述数据处理模块及所述显示模块连接；所述数据录入模块用于输入数据；所述数据处理模块还与所述数据存储单元连接；所述数据处理模块包括数据信息提取模块、数据智能分类模块、数据智能分类存储模块、生成模块及数据智能筛选模块；所述数据信息提取模块用于根据所输入的数据提取数据信息；所述数据智能分类模块用于对被提取的所述数据信息按预设分类条件进行数据分类；所述数据智能分类存储模块用于对被提取的所述数据信息进行存储分析及数据导入；所述生成模块用于根据所述数据分类及所述存储分析，为所述数据信息生成日期信息、文件名称信息及文件夹信息；所述数据智能筛选模块用于根据需求从所述数据存储单元筛选目标数据。上述数据仓储系统，在数据录入阶段即已进行数据仓储管控，根据所输入的数据提取数据信息且按预设分类条件进行数据分类，一方面有利于数据的关联查询及准确获取，另一方面有利于生成二次数据以便数据存储及后续检索，再一方面有利于按需筛选目标数据，避免在需要查找对应的文件时，进行逐个文件夹查看，缩短了使用者查找文件的时间，提高了查找文件的效率，给使用者的工作带来了极大的方便。
在其中一个实施例中，一种数据仓储系统，其包括以下实施例的部分结构或全部结构；即，所述数据仓储系统包括以下的部分技术特征或全部技术特征。在其中一个实施例中，如图1所示，一种数据仓储系统，其包括中央处理器、数据录入模块、数据处理模块、数据存储单元及显示模块；所述中央处理器分别与所述数据录入模块、所述数据处理模块及所述显示模块连接；所述数据处理模块还与所述数据存储单元连接；所述中央处理器用于将所述数据录入模块所输入的数据传输到所述数据处理模块，所述数据处理模块用于将所输入的数据进行处理后传输到所述数据存储单元中进行存储；所述显示模块用于显示数据或反馈信息等。所述数据存储单元作为所述数据仓储系统的数据仓，亦可称为数据仓库。在其中一个实施例中，所述显示模块还用于显示操作内容。这样的设计，有利于确保数据能够准确高效地存储，就像在仓库之中，且有利于在需要时便利地查找得到。
在其中一个实施例中，所述数据录入模块用于输入数据；在其中一个实施例中，所述数据录入模块包括语音输入模块及键盘输入模块中的至少一项；所述语音输入模块用于采用声音接收识别方式输入数据；所述键盘输入模块用于采用手工录入方式输入数据。在其中一个实施例中，一种数据仓储系统，其包括中央处理器、数据录入模块、数据处理模块、数据存储单元及显示模块；所述中央处理器分别与所述数据录入模块、所述数据处理模块及所述显示模块连接；所述数据录入模块用于输入数据；所述数据处理模块还与所述数据存储单元连接；所述数据处理模块包括数据信息提取模块、数据智能分类模块、数据智能分类存储模块、生成模块及数据智能筛选模块；所述数据信息提取模块用于根据所输入的数据提取数据信息；所述数据智能分类模块用于对被提取的所述数据信息按预设分类条件进行数据分类；所述数据智能分类存储模块用于对被提取的所述数据信息进行存储分析及数据导入；所述生成模块用于根据所述数据分类及所述存储分析，为所述数据信息生成日期信息、文件名称信息及文件夹信息；所述数据智能筛选模块用于根据需求从所述数据存储单元筛选目标数据；其中，所述数据录入模块包括语音输入模块及键盘输入模块中的至少一项；所述语音输入模块用于采用声音接收识别方式输入数据；所述键盘输入模块用于采用手工录入方式输入数据。其余实施例以此类推，不做赘述。在其中一个实施例中，所述数据录入模块包括语音输入模块及键盘输入模块。在其中一个实施例中，所述数据录入模块包括语音输入模块或键盘输入模块。在其中一个实施例中，所述数据录入模块还包括数据接收模块，所述数据接收模块用于采用接收端口输入数据。在其中一个实施例中，所述接收端口包括USB端口、无线端口或线路接口等。在实际应用中，还可以采用网络传输或者存储器接入等方式输入数据。对于大部分企业来说，由于历史和现有客观条件等原因，存在设备、系统和数据库不统一情况，采用传统技术，难以做到数据格式的统一，因此数据共享成为难题；而这样的设计，有利于准确且便利地录入数据即输入数据到所述数据存储单元中，实现准确且高效的数据管理，解决了因设备、应用等不同导致的数据难以共享问题。
在其中一个实施例中，如图2所示，所述数据处理模块包括数据信息提取模块、数据智能分类模块、数据智能分类存储模块、生成模块及数据智能筛选模块；所述数据信息提取模块用于根据所输入的数据提取数据信息；所述数据智能分类模块用于对被提取的所述数据信息按预设分类条件进行数据分类；所述数据智能分类存储模块用于对被提取的所述数据信息进行存储分析及数据导入；所述生成模块用于根据所述数据分类及所述存储分析，为所述数据信息生成日期信息、文件名称信息及文件夹信息；所述数据智能筛选模块用于根据需求从所述数据存储单元筛选目标数据。
在其中一个实施例中，如图3所示，所述数据信息提取模块包括文件数据关键词提取模块、文件后缀名提取模块及识别错误提醒模块；所述文件数据关键词提取模块用于根据所输入的数据采用关键词提取数据信息；所述文件后缀名提取模块用于根据所输入的数据采用后缀名提取数据信息；所述识别错误提醒模块用于对所输入的数据识别错误，且在发生识别错误时触发提醒操作。在其中一个实施例中，所述文件后缀名提取模块设有文件数据格式提取模块，所述文件数据格式提取模块用于根据所输入的数据采用文件数据格式提取数据信息。在其中一个实施例中，所述识别错误提醒模块用于对所输入的数据进行识别，判断是否存在错误，是则触发提醒操作。进一步地，在其中一个实施例中，所述识别错误提醒模块还用于提取数据信息的过程中，无法识别时进行提醒。
在其中一个实施例中，如图4所示，所述生成模块包括日期生成模块、文件名称生成模块及文件夹生成模块；所述日期生成模块用于根据所述数据分类及所述存储分析，为所述数据信息生成日期信息；所述文件名称生成模块用于根据所述数据分类及所述存储分析，为所述数据信息生成文件名称信息；所述文件夹生成模块用于根据所述数据分类及所述存储分析，为所述数据信息生成文件夹信息。进一步地，在其中一个实施例中，所述数据存储单元还用于根据所述日期信息、所述文件名称信息及所述文件夹信息中的至少一项生成对应的检索信息；在其中一个实施例中，所述数据存储单元还用于根据所述文件夹信息生成对应文件夹。进一步地，在其中一个实施例中，所述文件数据关键词提取模块还用于提取文件的关键词，便于将所述文件关键词提供给所述文件名称生成模块，由所述文件名称生成模块在所述数据存储单元中生成对应的文件名称，且所述文件数据关键词提取模块还用于将所述文件关键词提供给所述文件夹生成模块或所述文件名称生成模块还用于将所述文件名称提供给所述文件夹生成模块；所述文件夹生成模块还用于根据所述文件关键词或所述文件名称在所述数据存储单元中生成对应的文件夹。或者，在其中一个实施例中，所述文件数据关键词提取模块还用于提取文件的关键词，便于将所述文件关键词提供给所述文件名称生成模块，由所述文件名称生成模块生成对应的文件名称信息，且所述文件数据关键词提取模块还用于将所述文件关键词提供给所述文件夹生成模块或所述文件名称生成模块还用于将所述文件名称信息提供给所述文件夹生成模块；所述文件夹生成模块还用于根据所述文件关键词或所述文件名称信息生成对应的文件夹信息。
在其中一个实施例中，如图5所示，所述数据智能分类存储模块包括存储分析模块及数据导入模块；所述存储分析模块用于对被提取的所述数据信息进行存储分析；所述数据导入模块用于对被提取的所述数据信息进行数据导入。在其中一个实施例中，所述存储分析模块用于分析所述数据存储单元的存储分类以及存储量，且根据所述数据存储单元的存储分类以及存储量对被提取的所述数据信息进行存储分析。在其中一个实施例中，所述数据智能分类模块设有数据类型分类模块，所述数据类型分类模块用于对被提取的所述数据信息按预设数据类型进行数据分类。进一步地，在其中一个实施例中，所述数据类型分类模块还用于对提取的所述数据信息的类型进行智能分类，判断文件类型属于系统文件、办公文件还是娱乐文件，亦即对数据类型进行智能分类，判断文件类型属于系统文件、办公文件还是娱乐文件。其余实施例以此类推，不做赘述。
进一步地，在其中一个实施例中，如图6所示，所述数据智能筛选模块包括文件名关键词筛选模块、格式筛选模块、时间筛选模块、时间段筛选模块及内容关键词筛选模块中的至少一项；所述文件名关键词筛选模块用于根据需求采用文件名关键词从所述数据存储单元筛选目标数据；所述格式筛选模块用于根据需求采用文件格式或数据格式从所述数据存储单元筛选目标数据；所述时间筛选模块用于根据需求按时间要素从所述数据存储单元筛选目标数据，所述时间要素包括至少一个时间点；所述时间段筛选模块用于根据需求采用时间段从所述数据存储单元筛选目标数据；所述内容关键词筛选模块用于根据需求采用内容关键词从所述数据存储单元筛选目标数据。进一步地，在其中一个实施例中，所述时间要素为文件建立时间及/或文件修改时间。在其中一个实施例中，所述时间筛选模块的筛选方式分为文件建立时间筛选和文件修改时间筛选。进一步地，在其中一个实施例中，所述需求根据用户设置而定；在其中一个实施例中，所述数据仓储系统还包括需求接收模块，所述需求接收模块用于接收需求。或者，在其中一个实施例中，所述数据录入模块还用于输入需求。这样的设计，一方面有利于准确地从庞大的数据仓库中筛选目标数据，找到自己需要的文件；另一方面有利于按用户需求以多种方式中的至少一种快速地获取目标数据，提升了数据仓库的响应效率，避免在需要查找对应的文件时，进行逐个文件夹查看，缩短了使用者查找文件的时间，提高了查找文件的效率。
在其中一个实施例中，所述数据存储单元包括至少二数据存储模块，各所述数据存储模块用于存储相异类型的数据信息。在其中一个实施例中，所述数据存储单元包括磁盘阵列。进一步地，在其中一个实施例中，所述存储分析模块用于分析数据存储单元的存储分类以及存储量，存储分类即存储的文件类型；且所述数据存储单元中的每个所述数据存储模块对应存储的文件类型不同，通过所述存储分析模块判断对应的所述数据存储模块所存储的文件类型，将需要存储的文件或其数据传输到对应的数据存储模块中；进一步地，在其中一个实施例中，所述数据存储模块还包括多个子存储模块。进一步地，在其中一个实施例中，所述存储分析模块还用于根据所述数据存储模块中的各所述子存储模块的存储量进行筛选，对于同一文件类型的所述数据存储模块的多个子存储模块，优先选择存储量较大的子存储模块。进一步地，在其中一个实施例中，所述数据处理模块还包括数据关联模块，所述数据关联模块用于根据所输入的数据，为强关联的数据建立关联存储，传输到所述数据存储单元中；在其中一个实施例中，传输到所述数据存储单元的所述数据存储模块的存储量较大的所述子存储模块中。进一步地，在其中一个实施例中，所述数据关联模块采用以下方式为强关联的数据建立关联存储：
输入：事物数据D，存储数据D的最小关联阈值，其中，最小关联阈值记为minsup。
输出：事物数据D中频繁读取项目集，即强关联数据。
产生频繁读取项目集L1，其中，L1＝{large1-itemsets}；
循环产生频繁读取项目集L2直到某个r，使Lr为空。For(k＝2；Lk-1≠；k++)Do
每当从事物数据D中读取某一数据时，就将该数据放置在项目集L2中，累计读取次数，当读取次数达到一定阈值时，就将该数据调置项目集L1中。
依此类推产生k-项候选集，{Ck＝apriori_gen(Lk-1)}；
查询每一个项目集中的数据关联程度，动态调整其数据存储在哪一个项目集中：
Figure BDA0002496940400000131
在其中一个实施例中，产生候选集的方式是调用apriori_gen(Lk-1)。通过(k-1)-项频繁项目集产生k-项候选集，具体如下：
输入：(k-1)-项频繁项目集Lk-1
输出：k-项候选集Ck
Figure BDA0002496940400000132
Figure BDA0002496940400000141
其中，算法中调用has_infrequent_subst(c,Lk-1)
Figure BDA0002496940400000142
判断是否事物数据D中所有项目集均已划分。
由以上过程可以得到关于事物数据D读取次数关联强度的频繁项目集L1、L2。这样的设计，在数据存储或读取时存储模块中可以关联各个存储单元，使得数据的使用更智能、便捷，一方面有利于数据的关联查询及准确获取，另一方面有利于生成二次数据以便数据存储及后续检索，再一方面有利于按需筛选目标数据，避免在需要查找对应的文件时，进行逐个文件夹查看，缩短了使用者查找文件的时间，提高了查找文件的效率，尤其适合关联度高的数据或者文件。
在其中一个实施例中，一种数据仓储系统，包括中央处理器、数据录入模块、数据处理模块、数据存储单元及显示模块；所述数据处理模块包括数据信息提取模块、数据智能分类模块、数据智能分类存储模块、生成模块及数据智能筛选模块；所述数据信息提取模块包括文件数据关键词提取模块、文件后缀名提取模块及识别错误提醒模块；所述生成模块包括日期生成模块、文件名称生成模块及文件夹生成模块；所述数据智能分类存储模块包括存储分析模块及数据导入模块。这样的设计，所述数据仓储系统可以通过数据关联程度对计算机下载的文件或者保存的文件进行分类保存到不同的数据存储模块中，且在导入对应的数据存储模块的过程中，预先根据关联规则，制定关联数据的存储位置，再对相应的文件夹进行保存，方便关联查询，此外，该系统还设置数据智能筛选模块，可以通过文件名关键词进行筛选、文件格式筛选、文件夹建立时间筛选和文件内容关键词进行筛选，避免在需要查找对应的文件时，进行逐个文件夹查看，缩短了使用者查找文件的时间，提高了查找文件的效率，给使用者的工作带来了极大的方便。
下面再给出一些具体应用的实施例。目的：存储一个财务文件。场景：计算机中有一个系统数据存储模块、四个娱乐数据存储模块和三个办公数据存储模块。数据仓储系统的具体实现如下：
1、将财务文件通过数据录入模块导入到计算机中，选择智能引导数据保存的方式，数据智能分类模块判断该财务文件为办公文件；
2、存储分析模块接收到数据智能分类模块的判断结果后推荐三个办公数据存储模块，三个办公数据存储模块并按照剩余存储量大小的进行排列；
3、选取对应的办公数据存储模块，通过数据导入模块将财务文件导入到对应的办公数据存储模块中，数据信息提取模块根据办公文件的数据信息提取关键词，并将生成的关键词发送给生成模块，生成模块对数据信息提取模块提取的信息进行处理，生成对应的文件夹，文件夹的格式为关键词+文件夹生成日期+文件格式。
4、根据关联强度计算，判断财务文件中的数据中所有项目集是否均已划分。由以上过程可以得到关于财务数据读取次数关联强度的频繁项目集L1、L2。当再次读取该财务数据是，可优先调出强关联项目集，节省数据查询的时间。且每次调出或存储后，都将再次更新关联强度，更新频繁项目集L1、L2。
其中，文件格式可以分为表格、文档、PDF或者其他办公文件格式。
进一步地，在其中一个实施例中，所述数据录入模块开设有多个一级端口，所述一级端口用于基础数据的上传和积累，所述基础数据为音频、图片、视屏、软件、程序代码及文档数据中的至少一项，所述一级端口包括云端账号、数据线、U盘、移动终端、蓝牙及WiFi中的至少一项，在其中一个实施例中，所述数据录入模块通过所述一级端口接收所述基础数据；即所述基础数据通过所述一级端口进行数据上传，例如所述基础数据通过云端账号、数据线、U盘、移动终端、蓝牙及WiFi中的至少一项进行数据上传，用于丰富数据存储单元内部数据的完整性，使得所述数据存储单元内部数据处于信息齐全的状态；进一步地，所述基础数据输入至所述数据存储单元后，按所述数据存储单元内部数据格式进行命名。进一步地，在其中一个实施例中，所述一级端口的数量大于六个，所述各个一级端口又设有多个二级端口，所述二级端口输入的数据全部汇集至一级端口内，所述一级端口将数据输入至数据存储单元内。这样的设计，解决了当下因设备不同数据难以共享的情况，通过所述数据录入模块的一级端口和二级端口，可将互联网当下的数据进行输入进所述数据存储单元中，且保证了数据格式统一、数据较为真实，减少了因监测设备不一资源数据难以共享的情况，同时确保数据的上传、统一和汇集更加便捷，操作简单便捷，同时数据源输入数据用时较小，节省了时间。
进一步地，在其中一个实施例中，所述数据仓储系统还包括数据管理端口；所述数据存储单元与所述数据管理端口相连接；在其中一个实施例中，所述数据存储单元设有至少一服务端口，所述服务端口连接所述数据处理模块；在其中一个实施例中，所述服务端口分别连接所述数据信息提取模块、所述数据智能分类模块、所述数据智能分类存储模块、所述生成模块及所述数据智能筛选模块中的至少一项或至少二项。在其中一个实施例中，所述数据存储单元设有至少一服务端口，所述服务端口连接所述中央处理器或所述数据录入模块。这样的设计，数据的上传、统一和汇集更加便捷，操作简单便捷，同时数据录入模块输入数据用时较少，节省了时间；通过服务端口使得数据的读取速度更快，效率更高，因此数据调用更加迅速，提高了使用人员的工作效率。
在其中一个实施例中，所述数据管理端口设有数据监测端口及数据维护端口；进一步地，在其中一个实施例中，所述数据监测端口用于确保数据存储单元各个端口处于安全状态。在其中一个实施例中，所述数据监测端口用于对所述数据存储单元进行监测，当所述数据存储单元内部数据处于异常状态时，所述数据监测端口关闭所述数据存储单元的所有服务端口，确保所述数据存储单元内部数据的完整性和安全性；进一步地，在其中一个实施例中，所述数据维护端口用于确保数据存储单元各个端口处于正常使用状态。在其中一个实施例中，所述数据维护端口用于定期对所述数据存储单元各所述服务端口进行检测，当检测出所述数据存储单元的任一所述服务端口处于风险状态时，发出维护通知；在其中一个实施例中，通过所述中央处理器或服务器发出维护通知；例如会通过服务器提示操作人员，使得操作人员可即时对数据存储单元端口进行维护，确保数据存储单元处于正常使用状态。在其中一个实施例中，所述数据监测端口通过所述中央处理器或服务器发出指令，关闭所述数据存储单元的所有服务端口。进一步地，在其中一个实施例中，所述异常状态为数据存储单元暗号代码与输入指令暗号代码不一致，此时所述数据存储单元各个端口会处于停止数据输入、输出。这样的设计，对于数据服务或管理接口来说，数据的输入输出都会根据输入输出指令进行操作，当操作人员根据需求和代码暗号输入指令后，数据存储单元首先判断代码暗号，当输入代码暗号与数据存储单元代码暗号一致时，数据存储单元打开相应端口，接着根据输入输出指令将指定数据进行输入输出，当数据存储单元暗号代码与输入输出指令暗号代码不一致时，数据存储单元各个端口会处于停止服务状态，有利于提升仓内数据的稳定性、安全性和完整性。
进一步地，在其中一个实施例中，所述服务端口设有数据输出端口、数据分析端口、数据挖掘端口；在其中一个实施例中，所述数据输出端口用于根据输入指令输出数据指令，在其中一个实施例中，当操作人员根据需求和代码暗号输入指令后，所述数据存储单元首先判断代码暗号，当输入代码暗号与数据存储单元代码暗号一致时，所述数据存储单元打开所述服务端口中的所述数据输出端口，接着根据输入指令将指定数据进行输出，所述指定数据可通过云端账号、数据线、U盘、移动终端、蓝牙、WiFi方式进行数据输出。这样的设计，数据输出可满足使用人员、使用企业的正常使用。
在其中一个实施例中，所述数据分析端口用于根据输入指令进行数据分析，在其中一个实施例中，所述操作人员输入需求数据指令和暗号代码，所述数据存储单元判断代码暗号，当输入代码暗号与数据存储单元代码暗号一致时，所述数据存储单元打开所述服务端口中的所述数据分析端口，根据指令将所述数据存储单元内部需求数据全部调取，调取后根据指令进行筛选，将需求数据通过指令筛选、分析后得到数据分析，这样的设计，数据分析更加准确和稳定，进一步简化了操作人员工作内容。进一步地，在其中一个实施例中，所述数据分析端口不仅可以对数据存储单元内部数据进行分析，同时可即时向数据存储单元输入数据进行数据分析。
在其中一个实施例中，所述数据挖掘端口用于根据输入指令进行数据挖掘，在其中一个实施例中，所述操作人员输入需求数据指令和暗号代码，所述数据存储单元判断代码暗号，当输入代码暗号与数据存储单元代码暗号一致时，所述数据存储单元打开所述服务端口中的所述数据挖掘端口，所述数据存储单元数据通过数据分析后，将残缺数据进行分析，使得数据存储单元内部数据进行自行补充和判断，从而挖掘出新的数据内容，并通过服务器将数据挖掘内容自行存储至数据存储单元内；所述服务端口用于使用人员和使用企业，使得人员和企业通过服务端口调取数据时更加迅速便捷。
需要说明的是，本申请的其它实施例还包括，上述各实施例中的技术特征相互组合所形成的、能够实施的数据仓储系统。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的专利保护范围应以所附权利要求为准。

Claims (10)

1.一种数据仓储系统，其特征在于，包括中央处理器、数据录入模块、数据处理模块、数据存储单元及显示模块；
所述中央处理器分别与所述数据录入模块、所述数据处理模块及所述显示模块连接；
所述数据录入模块用于输入数据；
所述数据处理模块还与所述数据存储单元连接；
所述数据处理模块包括数据信息提取模块、数据智能分类模块、数据智能分类存储模块、生成模块及数据智能筛选模块；
所述数据信息提取模块用于根据所输入的数据提取数据信息；
所述数据智能分类模块用于对被提取的所述数据信息按预设分类条件进行数据分类；
所述数据智能分类存储模块用于对被提取的所述数据信息进行存储分析及数据导入；
所述生成模块用于根据所述数据分类及所述存储分析，为所述数据信息生成日期信息、文件名称信息及文件夹信息；
所述数据智能筛选模块用于根据需求从所述数据存储单元筛选目标数据。
2.根据权利要求1所述数据仓储系统，其特征在于，所述数据信息提取模块包括文件数据关键词提取模块、文件后缀名提取模块及识别错误提醒模块；
所述文件数据关键词提取模块用于根据所输入的数据采用关键词提取数据信息；
所述文件后缀名提取模块用于根据所输入的数据采用后缀名提取数据信息；
所述识别错误提醒模块用于对所输入的数据识别错误，且在发生识别错误时触发提醒操作。
3.根据权利要求2所述数据仓储系统，其特征在于，所述文件后缀名提取模块设有文件数据格式提取模块，所述文件数据格式提取模块用于根据所输入的数据采用文件数据格式提取数据信息。
4.根据权利要求1所述数据仓储系统，其特征在于，所述生成模块包括日期生成模块、文件名称生成模块及文件夹生成模块；
所述日期生成模块用于根据所述数据分类及所述存储分析，为所述数据信息生成日期信息；
所述文件名称生成模块用于根据所述数据分类及所述存储分析，为所述数据信息生成文件名称信息；
所述文件夹生成模块用于根据所述数据分类及所述存储分析，为所述数据信息生成文件夹信息。
5.根据权利要求1所述数据仓储系统，其特征在于，所述数据智能分类存储模块包括存储分析模块及数据导入模块；
所述存储分析模块用于对被提取的所述数据信息进行存储分析；
所述数据导入模块用于对被提取的所述数据信息进行数据导入。
6.根据权利要求5所述数据仓储系统，其特征在于，所述存储分析模块用于分析所述数据存储单元的存储分类以及存储量，且根据所述数据存储单元的存储分类以及存储量对被提取的所述数据信息进行存储分析。
7.根据权利要求1所述数据仓储系统，其特征在于，所述数据智能分类模块设有数据类型分类模块，所述数据类型分类模块用于对被提取的所述数据信息按预设数据类型进行数据分类。
8.根据权利要求1所述数据仓储系统，其特征在于，所述数据录入模块包括语音输入模块及键盘输入模块中的至少一项；
所述语音输入模块用于采用声音接收识别方式输入数据；
所述键盘输入模块用于采用手工录入方式输入数据。
9.根据权利要求8所述数据仓储系统，其特征在于，所述数据录入模块还包括数据接收模块，所述数据接收模块用于采用接收端口输入数据。
10.根据权利要求1至9中任一项所述数据仓储系统，其特征在于，所述数据存储单元包括至少二数据存储模块，各所述数据存储模块用于存储相异类型的数据信息。
CN202010420929.5A 2020-05-18 2020-05-18 数据仓储系统 Active CN111625582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010420929.5A CN111625582B (zh) 2020-05-18 2020-05-18 数据仓储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010420929.5A CN111625582B (zh) 2020-05-18 2020-05-18 数据仓储系统

Publications (2)

Publication Number Publication Date
CN111625582A true CN111625582A (zh) 2020-09-04
CN111625582B CN111625582B (zh) 2023-11-10

Family

ID=72269859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010420929.5A Active CN111625582B (zh) 2020-05-18 2020-05-18 数据仓储系统

Country Status (1)

Country Link
CN (1) CN111625582B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259173A (ja) * 2001-02-27 2002-09-13 Minolta Co Ltd ファイル管理プログラム、ファイル管理プログラムを記録したコンピュータ読取可能な記録媒体、ファイル管理装置およびファイル管理方法
JP2006120001A (ja) * 2004-10-22 2006-05-11 Konica Minolta Business Technologies Inc ファイル検索プログラムおよびファイル検索装置
US20100106681A1 (en) * 2008-10-29 2010-04-29 Povzner Anna Identifying Files Associated With A Workflow
CN101842772A (zh) * 2007-09-07 2010-09-22 朴琇民 文件管理系统及其计算机可读存储介质
CN104573124A (zh) * 2015-02-09 2015-04-29 山东大学 一种基于并行化关联规则算法的教育云应用统计方法
US20150186452A1 (en) * 2013-12-31 2015-07-02 International Business Machines Corporation Adaptive data fetching from network storage
CN107733880A (zh) * 2017-09-30 2018-02-23 海南电网有限责任公司定安供电局 调度规范化管理信息系统
CN109144968A (zh) * 2018-08-15 2019-01-04 深圳市诺信连接科技有限责任公司 一种数据分布管理系统
CN109284262A (zh) * 2018-08-30 2019-01-29 四川曜诚鑫科技有限公司 一种企业电子文档管理服务端及系统
CN109299040A (zh) * 2018-09-21 2019-02-01 重庆满集网络科技有限公司 一种基于大数据的文件存储空间智能分配方法
CN109359176A (zh) * 2018-09-10 2019-02-19 平安科技（深圳）有限公司 数据提取方法、装置、计算机设备和存储介质
CN109871468A (zh) * 2019-02-01 2019-06-11 国网四川省电力公司广元供电公司 非结构化文档管理与规章制度条目化管理一体化系统
CN109960681A (zh) * 2019-03-25 2019-07-02 大夏数据服务有限公司 一种计算机数据的归纳整理分类存储方法
CN110177284A (zh) * 2019-05-23 2019-08-27 北京达佳互联信息技术有限公司 信息展示方法、装置、电子设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259173A (ja) * 2001-02-27 2002-09-13 Minolta Co Ltd ファイル管理プログラム、ファイル管理プログラムを記録したコンピュータ読取可能な記録媒体、ファイル管理装置およびファイル管理方法
JP2006120001A (ja) * 2004-10-22 2006-05-11 Konica Minolta Business Technologies Inc ファイル検索プログラムおよびファイル検索装置
CN101842772A (zh) * 2007-09-07 2010-09-22 朴琇民 文件管理系统及其计算机可读存储介质
US20100106681A1 (en) * 2008-10-29 2010-04-29 Povzner Anna Identifying Files Associated With A Workflow
US20150186452A1 (en) * 2013-12-31 2015-07-02 International Business Machines Corporation Adaptive data fetching from network storage
CN104573124A (zh) * 2015-02-09 2015-04-29 山东大学 一种基于并行化关联规则算法的教育云应用统计方法
CN107733880A (zh) * 2017-09-30 2018-02-23 海南电网有限责任公司定安供电局 调度规范化管理信息系统
CN109144968A (zh) * 2018-08-15 2019-01-04 深圳市诺信连接科技有限责任公司 一种数据分布管理系统
CN109284262A (zh) * 2018-08-30 2019-01-29 四川曜诚鑫科技有限公司 一种企业电子文档管理服务端及系统
CN109359176A (zh) * 2018-09-10 2019-02-19 平安科技（深圳）有限公司 数据提取方法、装置、计算机设备和存储介质
CN109299040A (zh) * 2018-09-21 2019-02-01 重庆满集网络科技有限公司 一种基于大数据的文件存储空间智能分配方法
CN109871468A (zh) * 2019-02-01 2019-06-11 国网四川省电力公司广元供电公司 非结构化文档管理与规章制度条目化管理一体化系统
CN109960681A (zh) * 2019-03-25 2019-07-02 大夏数据服务有限公司 一种计算机数据的归纳整理分类存储方法
CN110177284A (zh) * 2019-05-23 2019-08-27 北京达佳互联信息技术有限公司 信息展示方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BOBY SISWANTO等: "dimensionality reduction for association rule mining with IST-EFP algorithm", ICOICT *
李昌盛等: "关联规则推荐的高效分布式计算框架", 计算机学报, vol. 42, no. 6 *
王永贵等: "基于存储改进的分区并行关联规则挖掘算法", 计算机应用研究, vol. 37, no. 1 *

Also Published As

Publication number Publication date
CN111625582B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
US20230041672A1 (en) Enterprise data processing
US9459950B2 (en) Leveraging user-to-tool interactions to automatically analyze defects in IT services delivery
CN106407278B (zh) 一种大数据平台的架构设计系统
CN110727643B (zh) 一种基于机器学习的文件分类管理方法及系统
US20190138555A1 (en) Verification and export of federated areas and job flow objects within federated areas
CN111125042A (zh) 一种确定风险操作事件的方法和装置
CN111383130A (zh) 一种全生命周期管控平台、移动运维客户端及终端
CN109542737A (zh) 平台告警处理方法、装置、电子装置及存储介质
CN111582341A (zh) 用户异常操作预测方法及装置
CN115237857A (zh) 日志处理方法、装置、计算机设备及存储介质
CN113221535B (zh) 情报处理方法、装置、计算机设备和存储介质
CN110928864A (zh) 一种科研项目管理方法及系统
CN114138977A (zh) 日志处理方法、装置、计算机设备和存储介质
CN111858560A (zh) 基于数据仓库的金融数据自动化测试与监控系统
CN111625582A (zh) 数据仓储系统
CN114330720A (zh) 用于云计算的知识图谱构建方法、设备及存储介质
CN113360313B (zh) 一种基于海量系统日志的行为分析方法
CN115408236A (zh) 一种日志数据审计系统、方法、设备及介质
US11765022B2 (en) Information distribution system, monitoring device, sharing device and information distribution method
CN113205442A (zh) 基于区块链的电子政务数据反馈管理方法及装置
CN112487262A (zh) 一种数据处理的方法和装置
Kotti Industrial Automation with Safety Aspects using Machine Learning Techniques
CN116707834B (zh) 一种基于云存储的分布式大数据取证与分析平台
Malik et al. Big Data: Risk Management & Software Testing
CN212061238U (zh) 一种管控信息通信终端信息的平台系统和移动客户端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant