CN112231526A - 一种用于数据存储和读取的系统及方法 - Google Patents

一种用于数据存储和读取的系统及方法 Download PDF

Info

Publication number
CN112231526A
CN112231526A CN202011205528.4A CN202011205528A CN112231526A CN 112231526 A CN112231526 A CN 112231526A CN 202011205528 A CN202011205528 A CN 202011205528A CN 112231526 A CN112231526 A CN 112231526A
Authority
CN
China
Prior art keywords
data
reading
storage
transmission rate
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011205528.4A
Other languages
English (en)
Inventor
陈钢
徐杭
蒙婕
殷韧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Honeycomb Technology Co ltd
Original Assignee
Beijing Honeycomb Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Honeycomb Technology Co ltd filed Critical Beijing Honeycomb Technology Co ltd
Priority to CN202011205528.4A priority Critical patent/CN112231526A/zh
Publication of CN112231526A publication Critical patent/CN112231526A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种用于数据存储和读取的系统及方法，包括：读取单元，用以读取本地客户端的数据信息，并对数据信息进行分类处理；存储单元，对读取单元接收处理后的数据信息进行存储，所述存储单元包括本地存储端和/或远程存储端；查询单元，用以获取用户提交的数据读取请求，并根据所述数据读取请求在所述远程存储端中查询与所述数据读取请求相匹配的数据信息；判断单元，用以获取所述存储单元与本地客户端之间的实际传输速率，判断所述实际传输速率与预先设定的标准传输速率是否匹配。本发明实施例提供一种用于数据存储和读取的系统及方法，以解决现有技术中由于需要处理的数据量大而导致的存储和读取效率低的问题。

Description

一种用于数据存储和读取的系统及方法
技术领域
本发明实施例涉及数据存储技术领域，具体涉及一种用于数据存储和读取的系统及方法。
背景技术
数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理，数据经过解释并赋予一定的意义之后，便成为信息，数据处理是对数据的采集、存储、检索、加工、变换和传输，数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据，数据处理是系统工程和自动控制的基本环节，数据处理贯穿于社会生产和社会生活的各个领域，数据处理技术的发展及其应用的广度和深度，极大地影响了人类社会发展的进程，数据处理对数据(包括数值的和非数值的)进行分析和加工的技术过程，包括对各种原始数据的分析、整理、计算、编辑等的加工和处理，比数据分析含义广随着计算机的日益普及，在计算机应用领域中，数值计算所占比重很小，通过计算机数据处理进行信息管理已成为主要的应用，如测绘制图管理、仓库管理、财会管理、交通运输管理，技术情报管理、办公室自动化等，在地理数据方面既有大量自然环境数据(土地、水、气候、生物等各类资源数据)，也有大量社会经济数据(人口、交通、工农业等)，常要求进行综合性数据处理。
随着数字化的快速发展，数据存储和读取在各个领域应用的越来越多，但是现在数据的存储和读取效率较低，且不能方便的供用户查询相关历史记录。
现有技术中数据的存储方式只是简单的对数据进行记录，当查询的时候需要根据用户的数据特征对所有的数据进行比对逐一查询。但是随着数据量的增多，便会造成查询时工作量比较大、效率较低的问题。
发明内容
根据本发明实施例公开的一种用于数据存储和读取的系统，包括：
读取单元，用以读取本地客户端的数据信息，并对数据信息进行分类处理；
存储单元，对读取单元接收处理后的数据信息进行存储，所述存储单元包括本地存储端和/或远程存储端；
查询单元，用以获取用户提交的数据读取请求，并根据所述数据读取请求在所述远程存储端中查询与所述数据读取请求相匹配的数据信息；
判断单元，用以获取所述存储单元与本地客户端之间的实际传输速率，判断所述实际传输速率与预先设定的标准传输速率是否匹配；
切换单元，在所述实际传输速率与所述标准传输速率不匹配的情况下，在所述本地存储端中获取与所述数据读取请求相匹配的数据信息。
进一步地，所述读取单元包括处理器，所述本地存储端选用存储器，所述远程存储端选用云存储器。
进一步地，所述判断单元包括：统计模块、计算模块和远程下载模块，所述统计模块用于记录所述存储单元与本地客户端之间的每一次数据传输量；所述计算模块用于读取当前时间段的数据传输量和上一时间段的数据传输量，并结合当前的时间段的数据传输量和上一时间段的数据传输量计算当前的实际传输速率；远程下载模块用于实际传输速率与标准传输速率匹配的情况下，所述远程下载模块将存储单元中与数据读取请求相匹配的数据信息发送至本地客户端。
进一步地，所述查询单元包括映射模块和更新模块，所述映射模块用于建立远程存储端与本地存储端之间的映射关系；所述更新模块可以根据映射关系更新本地存储端中的本地存储的数据信息。
进一步地，还包括删除单元，通过所述删除单元可以在本地存储端中删除与数据读取请求相匹配的部分数据信息，并形成数据变更信息发送至远程存储端。
一种用于数据存储和读取的方法，包括以下步骤：
S101、读取本地客户端中的数据信息，并对信息进行分类处理；
S102、对读取处理后的数据信息进行存储，存储方式包括通过本地存储端进行存储和/或通过远程存储端进行存储；
S103、获取用户提交的数据读取请求，并根据所述数据读取请求在所述远程存储端中查询与所述数据读取请求相匹配的数据信息；
S104、获取所述存储单元与本地客户端之间的实际传输速率，判断所述实际传输速率与预先设定的标准传输速率是否匹配；
S105、所述实际传输速率与所述标准传输速率不匹配的情况下，在所述本地存储端中获取与所述数据读取请求相匹配的数据信息。
进一步地，在步骤S104中包括，记录所述存储单元与本地客户端之间的每一次数据传输量，读取当前时间段的数据传输量和上一时间段的数据传输量，并结合当前的时间段的数据传输量和上一时间段的数据传输量计算当前的实际传输速率；实际传输速率与标准传输速率匹配的情况下，将远程存储端中与数据读取请求相匹配的数据信息发送至本地客户端。
进一步地，在步骤S103中包括，建立远程存储端与本地存储端之间的映射关系，根据映射关系更新本地存储端中的本地存储的数据信息。
进一步地，在本地存储端中删除与数据读取请求相匹配的部分数据信息，并形成数据变更信息发送至远程存储端。
本发明实施例具有如下优点：
本发明通过设置本地存储端和远程存储端，且本地存储端与本地客户端处于同一局域网内，在本地客户端与远程存储端之间的实际传输速率低于标准传输速率，终止本地客户端与远程存储端之间数据传输，切换为本地客户端与本地存储端之间的数据传输，保证数据的实际传输速率不低于标准传输速率，保证数据的存储和读取效率。
附图说明
图1为本发明实施例提供的一种用于数据存储和读取的系统的结构示意图；
图2为本发明实施例提供的一种用于数据存储和读取的方法的流程示意图。
具体实施方式
下面将结合本发明中的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种用于数据存储和读取的系统，包括：读取单元，用以读取本地客户端的数据信息，并对数据信息进行分类处理；存储单元，对读取单元接收处理后的数据信息进行存储，所述存储单元包括本地存储端和/或远程存储端；查询单元，用以获取用户提交的数据读取请求，并根据所述数据读取请求在所述远程存储端中查询与所述数据读取请求相匹配的数据信息；判断单元，用以获取所述存储单元与本地客户端之间的实际传输速率，判断所述实际传输速率与预先设定的标准传输速率是否匹配；切换单元，在所述实际传输速率与所述标准传输速率不匹配的情况下，在所述本地存储端中获取与所述数据读取请求相匹配的数据信息。本发明通过设置本地存储端和远程存储端，且本地存储端与本地客户端处于同一局域网内，在本地客户端与远程存储端之间的实际传输速率低于标准传输速率，终止本地客户端与远程存储端之间数据传输，切换为本地客户端与本地存储端之间的数据传输，保证数据的实际传输速率不低于标准传输速率，保证数据的存储和读取效率。
读取单元包括处理器，所述本地存储端选用存储器，所述远程存储端选用云存储器。
判断单元包括：统计模块、计算模块和远程下载模块，所述统计模块用于记录所述存储单元与本地客户端之间的每一次数据传输量；所述计算模块用于读取当前时间段的数据传输量和上一时间段的数据传输量，并结合当前的时间段的数据传输量和上一时间段的数据传输量计算当前的实际传输速率；远程下载模块用于实际传输速率与标准传输速率匹配的情况下，所述远程下载模块将存储单元中与数据读取请求相匹配的数据信息发送至本地客户端。
查询单元包括映射模块和更新模块，所述映射模块用于建立远程存储端与本地存储端之间的映射关系；所述更新模块可以根据映射关系更新本地存储端中的本地存储的数据信息。
还包括删除单元，通过所述删除单元可以在本地存储端中删除与数据读取请求相匹配的部分数据信息，并形成数据变更信息发送至远程存储端。
如图2所示，本发明实施例还公开了一种用于数据存储和读取的方法，包括以下步骤：
S101、读取本地客户端中的数据信息，并对信息进行分类处理；
S102、对读取处理后的数据信息进行存储，存储方式包括通过本地存储端进行存储和/或通过远程存储端进行存储；
S103、获取用户提交的数据读取请求，并根据所述数据读取请求在所述远程存储端中查询与所述数据读取请求相匹配的数据信息；
S104、获取所述存储单元与本地客户端之间的实际传输速率，判断所述实际传输速率与预先设定的标准传输速率是否匹配；
S105、所述实际传输速率与所述标准传输速率不匹配的情况下，在所述本地存储端中获取与所述数据读取请求相匹配的数据信息。
在步骤S104中包括，记录所述存储单元与本地客户端之间的每一次数据传输量，读取当前时间段的数据传输量和上一时间段的数据传输量，并结合当前的时间段的数据传输量和上一时间段的数据传输量计算当前的实际传输速率；实际传输速率与标准传输速率匹配的情况下，将远程存储端中与数据读取请求相匹配的数据信息发送至本地客户端。
在步骤S103中包括，建立远程存储端与本地存储端之间的映射关系，根据映射关系更新本地存储端中的本地存储的数据信息。
在本地存储端中删除与数据读取请求相匹配的部分数据信息，并形成数据变更信息发送至远程存储端。
本发明通过设置本地存储端和远程存储端，且本地存储端与本地客户端处于同一局域网内，在本地客户端与远程存储端之间的实际传输速率低于标准传输速率，终止本地客户端与远程存储端之间数据传输，切换为本地客户端与本地存储端之间的数据传输，保证数据的实际传输速率不低于标准传输速率，保证数据的存储和读取效率。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种用于数据存储和读取的系统，其特征在于，包括：
读取单元，用以读取本地客户端的数据信息，并对数据信息进行分类处理；
存储单元，对读取单元接收处理后的数据信息进行存储，所述存储单元包括本地存储端和/或远程存储端；
查询单元，用以获取用户提交的数据读取请求，并根据所述数据读取请求在所述远程存储端中查询与所述数据读取请求相匹配的数据信息；
判断单元，用以获取所述存储单元与本地客户端之间的实际传输速率，判断所述实际传输速率与预先设定的标准传输速率是否匹配；
切换单元，在所述实际传输速率与所述标准传输速率不匹配的情况下，在所述本地存储端中获取与所述数据读取请求相匹配的数据信息。
2.根据权利要求1所述的一种用于数据存储和读取的系统，其特征在于：所述读取单元包括处理器，所述本地存储端选用存储器，所述远程存储端选用云存储器。
3.根据权利要求1所述的一种用于数据存储和读取的系统，其特征在于：所述判断单元包括：统计模块、计算模块和远程下载模块，所述统计模块用于记录所述存储单元与本地客户端之间的每一次数据传输量；所述计算模块用于读取当前时间段的数据传输量和上一时间段的数据传输量，并结合当前的时间段的数据传输量和上一时间段的数据传输量计算当前的实际传输速率；远程下载模块用于实际传输速率与标准传输速率匹配的情况下，所述远程下载模块将存储单元中与数据读取请求相匹配的数据信息发送至本地客户端。
4.根据权利要求1所述的一种用于数据存储和读取的系统，其特征在于：所述查询单元包括映射模块和更新模块，所述映射模块用于建立远程存储端与本地存储端之间的映射关系；所述更新模块可以根据映射关系更新本地存储端中的本地存储的数据信息。
5.根据权利要求1所述的一种用于数据存储和读取的系统，其特征在于：还包括删除单元，通过所述删除单元可以在本地存储端中删除与数据读取请求相匹配的部分数据信息，并形成数据变更信息发送至远程存储端。
6.一种用于数据存储和读取的方法，其特征在于，包括以下步骤：
S101、读取本地客户端中的数据信息，并对信息进行分类处理；
S102、对读取处理后的数据信息进行存储，存储方式包括通过本地存储端进行存储和/或通过远程存储端进行存储；
S103、获取用户提交的数据读取请求，并根据所述数据读取请求在所述远程存储端中查询与所述数据读取请求相匹配的数据信息；
S104、获取所述存储单元与本地客户端之间的实际传输速率，判断所述实际传输速率与预先设定的标准传输速率是否匹配；
S105、所述实际传输速率与所述标准传输速率不匹配的情况下，在所述本地存储端中获取与所述数据读取请求相匹配的数据信息。
7.根据权利要求6所述的一种用于数据存储和读取的方法，其特征在于：在步骤S104中包括，记录所述存储单元与本地客户端之间的每一次数据传输量，读取当前时间段的数据传输量和上一时间段的数据传输量，并结合当前的时间段的数据传输量和上一时间段的数据传输量计算当前的实际传输速率；实际传输速率与标准传输速率匹配的情况下，将远程存储端中与数据读取请求相匹配的数据信息发送至本地客户端。
8.根据权利要求6所述的一种用于数据存储和读取的方法，其特征在于：在步骤S103中包括，建立远程存储端与本地存储端之间的映射关系，根据映射关系更新本地存储端中的本地存储的数据信息。
9.根据权利要求6所述的一种用于数据存储和读取的方法，其特征在于：在本地存储端中删除与数据读取请求相匹配的部分数据信息，并形成数据变更信息发送至远程存储端。
CN202011205528.4A 2020-11-02 2020-11-02 一种用于数据存储和读取的系统及方法 Pending CN112231526A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011205528.4A CN112231526A (zh) 2020-11-02 2020-11-02 一种用于数据存储和读取的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011205528.4A CN112231526A (zh) 2020-11-02 2020-11-02 一种用于数据存储和读取的系统及方法

Publications (1)

Publication Number Publication Date
CN112231526A true CN112231526A (zh) 2021-01-15

Family

ID=74122000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011205528.4A Pending CN112231526A (zh) 2020-11-02 2020-11-02 一种用于数据存储和读取的系统及方法

Country Status (1)

Country Link
CN (1) CN112231526A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110010417A1 (en) * 2009-07-08 2011-01-13 Shinichiro Yoshida Data transfer system and data transfer method
CN108076116A (zh) * 2016-11-18 2018-05-25 上海新微技术研发中心有限公司 一种基于云存储数据的智能读取方法及系统
CN111399756A (zh) * 2019-09-29 2020-07-10 杭州海康威视系统技术有限公司 一种数据存储方法、数据下载方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110010417A1 (en) * 2009-07-08 2011-01-13 Shinichiro Yoshida Data transfer system and data transfer method
CN108076116A (zh) * 2016-11-18 2018-05-25 上海新微技术研发中心有限公司 一种基于云存储数据的智能读取方法及系统
CN111399756A (zh) * 2019-09-29 2020-07-10 杭州海康威视系统技术有限公司 一种数据存储方法、数据下载方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张震伟等: "基于超元数据缓存的高速数据访问系统", 《广东通信技术》 *

Similar Documents

Publication Publication Date Title
CN108009979B (zh) 基于时空数据融合的三维点云压缩存储方法及系统
CN111552687A (zh) 时序数据的存储方法、查询方法、装置、设备及存储介质
CN112084270A (zh) 一种数据血缘处理方法、装置、存储介质及设备
CN111597259A (zh) 数据存储系统、方法、装置、电子设备及存储介质
CN109189724B (zh) 提高视频监控系统音视频数据存储效率的方法及装置
CN104184782B (zh) 一种实现第三方应用社交化的方法及装置、系统
CN108280215B (zh) 一种基于Solr的电商索引文件的混合式更新方法
CN113190517A (zh) 数据集成方法、装置、电子设备和计算机可读介质
CN111221820A (zh) 一种设备联网数据的存储及实时读取的方法
CN112685115A (zh) 国际提示语生成方法、系统、计算机设备及存储介质
CN112486985A (zh) 一种锅炉数据的查询方法、装置、设备及存储介质
CN112231526A (zh) 一种用于数据存储和读取的系统及方法
CN105095224A (zh) 一种在移动通信网络中进行olap分析的方法、装置和系统
CN117009357A (zh) 智慧城市的物联网数据治理方法、装置、系统及介质
CN116680295A (zh) 多数据库处理数据的方法、系统及装置
CN115878864A (zh) 一种数据检索方法、装置、设备及可读存储介质
CN112685557A (zh) 可视化信息资源管理方法及装置
CN106599121B (zh) 一种用于物联网的数据处理方法及系统
CN111782588A (zh) 一种文件读取方法、装置、设备和介质
CN110688390A (zh) 一种电站地图导航系统、方法、设备及存储介质
CN115328878B (zh) 日志数据存储系统、方法、设备及介质
CN115718571B (zh) 一种基于多维度特征的数据管理方法和装置
CN116010677B (zh) 空间索引方法、装置及其电子设备
CN113364636B (zh) 一种物联网数据可视化配置对接的方法
CN114254049A (zh) 结合区块链及分布式数据库的空间数据存储方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210115

RJ01 Rejection of invention patent application after publication