CN106844709B - 多层级数据存储系统及存储方法 - Google Patents

多层级数据存储系统及存储方法 Download PDF

Info

Publication number
CN106844709B
CN106844709B CN201710066370.9A CN201710066370A CN106844709B CN 106844709 B CN106844709 B CN 106844709B CN 201710066370 A CN201710066370 A CN 201710066370A CN 106844709 B CN106844709 B CN 106844709B
Authority
CN
China
Prior art keywords
data
formatted
classified
subdata
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710066370.9A
Other languages
English (en)
Other versions
CN106844709A (zh
Inventor
高建强
顾永立
高念高
须秋梦
陈光勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Triman Information & Technology Co ltd
Original Assignee
Shanghai Triman Information & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Triman Information & Technology Co ltd filed Critical Shanghai Triman Information & Technology Co ltd
Priority to CN201710066370.9A priority Critical patent/CN106844709B/zh
Publication of CN106844709A publication Critical patent/CN106844709A/zh
Application granted granted Critical
Publication of CN106844709B publication Critical patent/CN106844709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了多层级数据存储系统及存储方法，该系统包括数据接口、数据检索层、数据整理层、数据关联层、数据分配层。其中，数据接口从外部接收格式化数据；数据检索层在数据存储系统中检索格式化数据与已存储数据的匹配性；数据整理层判断格式化数据的类型，并将格式化数据分类，形成至少一个分类子数据；数据关联层将分类子数据进行内部关联以及外部关联；数据分配层分别对分类子数据写入匹配信息，并分别进行存储。本发明的多层级数据存储系统及存储方法建立了多个层级的数据处理，在存储之前可以对数据进行分类处理，不仅提高了存储能力，还对数据进行了关联，改善了数据结构。

Description

多层级数据存储系统及存储方法
技术领域
本发明涉及数据存储系统及其方法，更具体地说，涉及一种多层级数据存储系统及存储方法。
背景技术
近年来，随着公共服务的不断升级，各个公共服务机构均建立了各自的服务器，这些系统内部大量数据信息的堆积，对现有系统的性能和功能产生了更新、更高的需求。原有的基于基层应用的信息系统由于分头立项，分头建设等原因导致各业务系统应用出现一系列问题，主要表现在以下几方面：
1、系统开放性较差，数据共享不充分。
2、系统基础信息采集缺乏统一标准，系统通用性差。
3、当前派出所综合信息管理系统运行效率较差民警工作效率有待提高。
4、系统使用智能化有待提高
5、系统建设缺乏可持续性，扩展性差。
在上述问题中，数据存储的问题是关键，尤其是对于公共服务部门而言，其数据量大、信息复杂、数据凌乱是一个通病。因此，对现有的业务数据信息进行梳理整合，进一步改善和提升公共服务部门的行政管理和服务公众的能力已成迫切需求。
发明内容
针对现有技术中存在的多个问题，本发明的目的是提供一种多层级数据存储系统及存储方法。
为实现上述目的，本发明采用如下技术方案：
一种多层级数据存储系统，包括数据接口、数据检索层、数据整理层、数据关联层、数据分配层。其中，数据接口从外部接收格式化数据；数据检索层在数据存储系统中检索格式化数据与已存储数据的匹配性；数据整理层判断格式化数据的类型，并将格式化数据分类，形成至少一个分类子数据；数据关联层将分类子数据进行内部关联以及外部关联；数据分配层分别对分类子数据写入匹配信息，并分别进行存储。
进一步地，还包括格式化单元。格式化单元将输入数据进行转码，转换成数据接口支持的数据类型，并将格式化后的数据传输至数据接口。
进一步地，数据检索层将格式化数据与已存储数据的匹配信息进行比较。若格式化数据与已存储数据具备匹配性，则数据整理层按照已存储数据的分类方式对格式化数据进行分类；若格式化数据与已存储数据不具备匹配性，则数据整理层按照数据类型对格式化数据进行分类。
进一步地，内部关联为在属于同一格式化数据的多个分类子数据建立匹配信息。外部关联为根据数据检索层的检索结果，将每一个分类子数据与同类型的已存储数据建立匹配信息。
为实现上述目的，本发明还采用如下技术方案：
一种多层级数据存储方法，包括以下步骤：步骤一，从外部接收格式化数据；步骤二，在数据存储系统中检索格式化数据与已存储数据的匹配性；步骤三，判断格式化数据的类型，并将格式化数据分类，形成至少一个分类子数据；步骤四，将分类子数据进行内部关联以及外部关联；步骤五，对分类子数据写入匹配信息，并分别进行存储。
进一步地，步骤一之前，先将输入数据进行转码，转换成特定格式的数据。
进一步地，步骤二将格式化数据与已存储数据的匹配信息进行比较。若格式化数据与已存储数据具备匹配性，则步骤三按照已存储数据的分类方式对格式化数据进行分类。若格式化数据与已存储数据不具备匹配性，则步骤三按照数据类型对格式化数据进行分类。
进一步地，内部关联为在属于同一格式化数据的多个分类子数据建立匹配信息。外部关联为根据数据检索层的检索结果，将每一个分类子数据与同类型的已存储数据建立匹配信息。
在上述技术方案中，本发明的多层级数据存储系统及存储方法建立了多个层级的数据处理，在存储之前可以对数据进行分类处理，不仅提高了存储能力，还对数据进行了关联，改善了数据结构。
附图说明
图1是本发明多层级数据存储系统的结构示意图；
图2是本发明多层级数据存储方法的流程图。
具体实施方式
下面结合附图和实施例进一步说明本发明的技术方案。
参照图1，本发明首先公开一种多层级数据存储系统，该系统包括格式化单元1、数据接口2、数据检索层3、数据整理层4、数据关联层5、数据分配层6。上述各层按照特定步骤进行数据处理及存储，如图2所示：
S1：格式化单元1将输入数据进行转码，转换成数据接口2支持的数据类型，并将格式化后的数据传输至数据接口2。输入数据的格式是多样的，并且可能的输入包括文本、页面、图像、视频等。这些文件各有各的格式，因此格式化单元1首先根据文件格式判断文件类型。此外，格式化单元1预设每一种输入的标准格式，并将其他的同类型格式转化为标准格式。
S2：数据接口2从外部接收格式化数据。
S3：数据检索层3在数据存储系统中检索格式化数据与已存储数据的匹配性，并将格式化数据与已存储数据的匹配信息进行比较。
每一个已存储的数据均带有匹配信息字段。在格式化数据进入到数据检索层3时，数据检索层3根据格式化数据中的标签信息判断该格式化数据是否与已存储的数据相匹配。换句话说，信息的匹配度决定了新输入的格式化数据是否是原有业务事件的关联数据。
S4：数据整理层4判断格式化数据的类型，并将格式化数据分类，形成至少一个分类子数据。若格式化数据与已存储数据具备匹配性，则数据整理层4按照已存储数据的分类方式对格式化数据进行分类。若格式化数据与已存储数据不具备匹配性，则数据整理层4按照数据类型对格式化数据进行分类。
S5：数据关联层5将分类子数据进行内部关联以及外部关联。
内部关联为在属于同一格式化数据的多个分类子数据建立匹配信息。例如对于同一个业务事件，数据整理层4将该业务事件分割成2个文本、1个视频，则该业务事件具有了3个分类子数据。此时，数据关联层5首先将这3个分类子数据进行关联，表明其属于同一个业务事件的属性。
外部关联为根据数据检索层3的检索结果，将每一个分类子数据与同类型的已存储数据建立匹配信息。在内部关联之后，数据关联层5首先将上述的2个文本与数据分配层6中的文本数据进行关联，表明其属于同一类文件。此外，根据该业务事件的属性，该2个文本文件还可以有选择性地与数据分配层6中的部分文本文件进行进一步的关联，表明该业务事件与以往的业务事件具有相同的属性。同理，将视频数据与数据分配层6中的视频数据进行关联。
S6：数据分配层6分别对分类子数据写入匹配信息，并分别进行存储。
数据分配层6是由多个传统的数据库构成，其作用是按照分类分别存储分类子数据，并且在存储时对每一个分类子数据写入匹配信息字段，从而后续不断有数据从数据接口2进入时，数据检索层3能够利用这些匹配信息字段进行数据匹配。
本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (4)

1.一种多层级数据存储系统，其特征在于，包括：
数据接口、数据检索层、数据整理层、数据关联层、数据分配层；
所述数据接口从外部接收格式化数据；
所述数据检索层在数据存储系统中检索所述格式化数据与已存储数据的匹配性；
所述数据整理层判断所述格式化数据的类型，并将所述格式化数据分类，形成至少一个分类子数据；
所述数据关联层将分类子数据进行内部关联以及外部关联；
所述数据分配层分别对分类子数据写入匹配信息，并分别进行存储，
其中，所述多层级数据存储系统还包括：
格式化单元，所述格式化单元将输入数据进行转码，转换成数据接口支持的数据类型，并将格式化后的数据传输至所述数据接口；所述输入数据包括文本、页面、图像、视频，
数据检索层将格式化数据与已存储数据的匹配信息进行比较，
若所述格式化数据与已存储数据具备匹配性，则数据整理层按照已存储数据的分类方式对格式化数据进行分类；
若所述格式化数据与已存储数据不具备匹配性，则数据整理层按照数据类型对格式化数据进行分类。
2.如权利要求1所述的多层级数据存储系统，其特征在于：
所述内部关联为在属于同一格式化数据的多个分类子数据建立匹配信息；
所述外部关联为根据数据检索层的检索结果，将每一个分类子数据与同类型的已存储数据建立匹配信息。
3.一种多层级数据存储方法，其特征在于，包括以下步骤：
步骤一，从外部接收格式化数据；
步骤二，在数据存储系统中检索所述格式化数据与已存储数据的匹配性；
步骤三，判断所述格式化数据的类型，并将所述格式化数据分类，形成至少一个分类子数据；
步骤四，将分类子数据进行内部关联以及外部关联；
步骤五，对分类子数据写入匹配信息，并分别进行存储
其中，步骤一之前，先将输入数据进行转码，转换成特定格式的数据，所述输入数据包括文本、页面、图像、视频，
步骤二将格式化数据与已存储数据的匹配信息进行比较，
若所述格式化数据与已存储数据具备匹配性，则步骤三按照已存储数据的分类方式对格式化数据进行分类；
若所述格式化数据与已存储数据不具备匹配性，则步骤三按照数据类型对格式化数据进行分类。
4.如权利要求3所述的多层级数据存储方法，其特征在于：
所述内部关联为在属于同一格式化数据的多个分类子数据建立匹配信息；
所述外部关联为根据数据检索层的检索结果，将每一个分类子数据与同类型的已存储数据建立匹配信息。
CN201710066370.9A 2017-02-07 2017-02-07 多层级数据存储系统及存储方法 Active CN106844709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710066370.9A CN106844709B (zh) 2017-02-07 2017-02-07 多层级数据存储系统及存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710066370.9A CN106844709B (zh) 2017-02-07 2017-02-07 多层级数据存储系统及存储方法

Publications (2)

Publication Number Publication Date
CN106844709A CN106844709A (zh) 2017-06-13
CN106844709B true CN106844709B (zh) 2020-11-03

Family

ID=59121611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710066370.9A Active CN106844709B (zh) 2017-02-07 2017-02-07 多层级数据存储系统及存储方法

Country Status (1)

Country Link
CN (1) CN106844709B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109823346B (zh) * 2019-01-23 2020-10-30 广州德晟人工智能科技有限公司 基于大数据主动安全预警系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111983A (zh) * 2014-06-30 2014-10-22 中国科学院信息工程研究所 一种开放式的多源数据采集系统及方法
CN106156021A (zh) * 2015-02-27 2016-11-23 珀斯特传媒有限公司 时空关联信息生成方法和执行其的服务器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9747372B2 (en) * 2012-04-17 2017-08-29 Proofpoint, Inc. Systems and methods for discovering social accounts
CN105787112A (zh) * 2016-03-24 2016-07-20 浪潮通信信息系统有限公司 一种数据呈现方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111983A (zh) * 2014-06-30 2014-10-22 中国科学院信息工程研究所 一种开放式的多源数据采集系统及方法
CN106156021A (zh) * 2015-02-27 2016-11-23 珀斯特传媒有限公司 时空关联信息生成方法和执行其的服务器

Also Published As

Publication number Publication date
CN106844709A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
US9405790B2 (en) System, method and data structure for fast loading, storing and access to huge data sets in real time
CN109446344B (zh) 一种基于大数据的智能分析报告自动生成系统
CN102648468B (zh) 表检索装置、表检索方法以及表检索系统
CN111460024B (zh) 基于Elasticsearch的实时业务系统
CN103399924A (zh) 一种水文水资源数据目录生成系统及方法
CN109254957A (zh) 一种基于大数据的档案管理系统
CN107766480A (zh) 一种综合档案信息系统
CN104252570A (zh) 一种海量医学影像数据挖掘系统及其实现方法
CN102541925A (zh) 一种实现详细话单的快速存储和检索的方法及装置
CN106844709B (zh) 多层级数据存储系统及存储方法
CN106484789A (zh) 图片信息的储存管理系统及其方法
CN101650718A (zh) 字符串匹配方法和装置
CN113655968A (zh) 非结构化数据存储方法
CN110826845B (zh) 一种多维组合成本分摊装置及方法
CN103544275A (zh) 一种处理数据的方法及装置
CN113407749B (zh) 图片索引构建方法、装置、电子设备以及存储介质
CN101650732A (zh) 一种对象管理系统中的对象分组方法及装置
CN104133907A (zh) 一种云计算数据自动分类统计的方法和系统
CN108833724B (zh) 一种cdr合成方法及装置
CN111581420A (zh) 一种基于Flink的医学图像实时检索方法
US8559765B2 (en) System and method for image storage and analysis
CN101827175A (zh) 一种话单分拣分目录存储的方法及系统
CN112559758A (zh) 构建知识图谱的方法、装置、设备和计算机可读存储介质
KR20130007244A (ko) 전자메일 요약본 생성 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN117131257B (zh) 一种基于aigc的资讯文档收集系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant