CN114168083B - 一种数据存储系统、方法及电子设备 - Google Patents

一种数据存储系统、方法及电子设备 Download PDF

Info

Publication number
CN114168083B
CN114168083B CN202111507615.XA CN202111507615A CN114168083B CN 114168083 B CN114168083 B CN 114168083B CN 202111507615 A CN202111507615 A CN 202111507615A CN 114168083 B CN114168083 B CN 114168083B
Authority
CN
China
Prior art keywords
data
storage
module
target
data storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111507615.XA
Other languages
English (en)
Other versions
CN114168083A (zh
Inventor
于文广
段海生
韩超
刘涛
刘瑞雄
张丹
杨航
王璐
田秋实
刘锦
刘佳
姚健琛
金霍
张航
冯岳恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Ailian Technology Co ltd
Original Assignee
Sichuan Ailian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Ailian Technology Co ltd filed Critical Sichuan Ailian Technology Co ltd
Priority to CN202111507615.XA priority Critical patent/CN114168083B/zh
Publication of CN114168083A publication Critical patent/CN114168083A/zh
Application granted granted Critical
Publication of CN114168083B publication Critical patent/CN114168083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种数据存储系统、方法及电子设备，涉及通信技术领域。所述数据存储系统包括云端、边缘运算模块和至少一组分布式存储单元；所述主控模组被配置为，获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系；在接收所述边缘运算模块发送的数据读写请求后，基于所述数据块存储单元和存储数据的对应关系确定目标存储位置，将所述数据读写请求对应的目标数据写入或读出所述目标存储位置，将所述目标存储位置和所述目标数据保存在所述对应关系中。本发明提供的数据存储系统用于实现对数据的快速存储，降低最终上传云端服务器的数据量。

Description

一种数据存储系统、方法及电子设备
技术领域
本发明涉及通信技术领域，尤其涉及一种数据存储系统、方法及电子设备。
背景技术
随着云计算、边缘计算和物联网技术的发展，基于物联网终端的终端数据量不断增加，在存储和运算方面所需要的资源不断增加，导致云端存储和计算负荷较大，特别是对于数据存储部分，由于数据量的指数级增加，其中，包括部分临时数据，导致云端存储的数据负荷较大，增加了数据存储和管理成本。
目前，对于云端数据存储的技术处理方式包括：对数据边缘计算完成后，将边缘运算的各种数据全部发送至云端，云端将数据进行保存。最终数据存储可以使用以磁盘阵列为存储设备的集中存储，还可以使用以HDFS等为代表的分布式存储等技术方式。
其中，以磁盘阵列为存储设备的集中存储方式的具体架构为：磁盘阵列端将分区挂载到云端的各个服务器，然后云端的各个服务器将数据按照指定的格式存储到挂载的设置中。但是，该模式对数据进行集中管理，安全风险较大，并且，磁盘阵列设备的成本较高，同时，在云计算场景下，磁盘阵列存储不够灵活，部署成本较高。
对于以HDFS等为代表的分布式存储技术，是通过将大量低端廉价服务器进行集群管理，将数据分散的存储在服务器集群的各个子服务器磁盘中，同时为了可靠性，会将同一份数据保存在多个设备的多个分区中，将最终的数据检索表管理在相对集中存储在主服务器中，为了安全同时也会对主服务器进行多机热备。但是，该模式在服务器集群管理的情况下，为了数据安全会导致存储性能受到限制，并且，由于终端客户对于数据可靠性要求较高，因此服务器端为了保证数据的可靠性，会需要较多的成本进行维护，同时，由于集群管理，且集群中的子服务器可能在不同的地方，因此对于集群中设备之间的网络连接速度要求较高。
综上所述，当前的云端服务器在大数据场景下，需要较多资源和成本用于保存各类数据，降低了存储数据的稳定性和可靠性，提高了使用成本。
发明内容
本发明的目的在于提供一种边缘端的数据存储系统、方法及电子设备，用于解决当前的云端服务器在大数据场景下，需要较多资源和成本用于保存各类数据，降低了存储数据特别是边缘端的临时数据存储的稳定性和可靠性的问题。
第一方面，本发明提供一种数据存储系统，所述数据存储系统包括：云端、边缘运算模块和至少一组分布式存储单元；所述边缘运算模块一端和所述云端连接，另一端和所述分布式存储单元连接；
一组所述分布式存储单元包括两两相互连接的至少一个主控模组、至少一个主控备份模组、和至少两个数据存储模组；
所述主控模组被配置为，获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系；
所述主控模组还被配置为，在接收所述边缘运算模块发送的数据读写请求后，基于所述数据块存储单元和存储数据的对应关系确定目标存储位置，将所述数据读写请求对应的目标数据写入或读出所述目标存储位置，将所述目标存储位置和所述目标数据保存在所述对应关系中；
所述主控模组还被配置为：将所述写入或读出的目标存储位置和所述目标数据发送至所述边缘运算模块，用以在所述边缘运算模块处理后，传输至所述云端或者再次存储到所述分布式存储单元。
与现有技术相比，本申请实施例提供的数据存储系统，通过主控模组获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系；在接收所述边缘运算模块发送的数据读写请求后，基于所述数据块存储单元和存储数据的对应关系确定目标存储位置，将所述数据读写请求对应的目标数据写入或读出所述目标存储位置，将所述目标存储位置和所述目标数据保存在所述对应关系中；将所述写入或读出的目标存储位置和所述目标数据发送至所述边缘运算模块，用以在所述边缘运算模块处理后，传输至所述云端或者再次存储到所述分布式存储单元，也即是在分布式存储单元中实现数据的运算和存储过程，只将最终的数据传输至云端，可以降低边缘运算模块和物联网场景下的云端对应的服务器的数据存储成本，提高云端的服务器的存储数据的有效性。
在一种可能的实现方式中，一组所述分布式存储单元中的所述数据存储模组的个数大于或者等于2，且小于或者等于64。
在一种可能的实现方式中，一组所述分布式存储单元中的至少一个所述主控模组、至少一个所述主控备份模组、和至少两个所述数据存储模组，两两通过PC5通路相互连接。
在一种可能的实现方式中，所述主控模组被配置为，获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系，包括：
所述主控模组被配置为，获取所述数据存储模组的存储空间，基于所述存储空间信息按照预设数据块大小对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系。
在一种可能的实现方式中，所述目标存储位置包括写入操作时对应的空位置或读出操作时读出数据所在位置。
第二方面，本发明还提供一种数据存储方法，应用于第一方面任一所述的数据存储系统，所述数据存储系统包括：云端、边缘运算模块和至少一组分布式存储单元；所述边缘运算模块一端和所述云端连接，另一端和所述分布式存储单元连接；一组所述分布式存储单元包括两两相互连接的至少一个主控模组、至少一个主控备份模组、和至少两个数据存储模组；所述数据存储方法包括：
所述主控模组获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系；
所述主控模组在接收所述边缘运算模块发送的数据读写请求后，基于所述数据块存储单元和存储数据的对应关系确定目标存储位置，将所述数据读写请求对应的目标数据写入或读出所述目标存储位置，将所述目标存储位置和所述目标数据保存在所述对应关系中；
所述主控模组将所述写入或读出的目标存储位置和所述目标数据发送至所述边缘运算模块，用以在所述边缘运算模块处理后，传输至所述云端或者再次存储到所述分布式存储单元。
在一种可能的实现方式中，所述主控模组获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系，包括：
所述主控模组获取所述数据存储模组的存储空间，基于所述存储空间信息按照预设数据块大小对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系。
第三方面，本发明还提供一种电子设备，包括：一个或多个支持PC5通讯的5G通讯模组；当由多个所述支持PC5通讯的所述5G通讯模组时，使得可以执行第二方面任一所述的数据存储方法。
所述支持PC5通讯的5G通讯模组，被配置为支持3GPP通信协议的PC5通讯相关功能，所述5G通讯模组包含处理器和存储空间。
与现有技术相比，本发明提供的数据存储方法及电子设备的有益效果与上述技术方案所述数据存储系统的有益效果相同，此处不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了本发明实施例提供的一种数据存储系统的结构框图；
图2示出了本申请实施例提供的一种数据存储方法的流程示意图；
图3示出了本申请实施例提供的另一种数据存储方法的流程示意图；
图4为本发明实施例中电子设备的结构示意图；
图5为本发明实施例中芯片的结构示意图。
具体实施方式
为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是，本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。
图1示出了本申请实施例提供的一种数据存储系统的结构示意图，如图1所示，所述数据存储系统包括：云端101、边缘运算模块102和至少一组分布式存储单元103，所述边缘运算模块102一端和所述云端101连接，另一端和所述分布式存储单元103连接；
一组所述分布式存储单元103包括两两相互连接的至少一个主控模组1031、至少一个主控备份模组1032、和至少两个数据存储模组1033；
所述主控模组1031被配置为，获取所述数据存储模组1033的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系；
所述主控模组1031还被配置为，在接收所述边缘运算模块102发送的数据读写请求后，基于所述数据块存储单元和存储数据的对应关系确定目标存储位置，将所述数据读写请求对应的目标数据写入或读出所述目标存储位置，将所述目标存储位置和所述目标数据保存在所述对应关系中；
所述主控模组1031还被配置为：将所述写入或读出的目标存储位置和所述目标数据发送至所述边缘运算模块，用以在所述边缘运算模块处理后，传输至所述云端或者再次存储到所述分布式存储单元。
其中，所述主控备份模组被配置为对数据进行备份。
综上所述，本申请实施例提供的数据存储系统，通过主控模组获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系；在接收所述边缘运算模块发送的数据读写请求后，基于所述数据块存储单元和存储数据的对应关系确定目标存储位置，将所述数据读写请求对应的目标数据写入或读出所述目标存储位置，将所述目标存储位置和所述目标数据保存在所述对应关系中；将所述写入或读出的目标存储位置和所述目标数据发送至所述边缘运算模块，用以在所述边缘运算模块处理后，传输至所述云端或者再次存储到所述分布式存储单元，也即是在分布式存储单元中实现数据的运算和存储过程，只将最终的数据传输至云端，可以降低边缘运算模块和物联网场景下的云端对应的服务器的数据存储成本，提高云端的服务器的存储数据的有效性。
可选的，边缘运算模块102和至少一组分布式存储单元103，所述边缘运算模块102一端和所述云端101连接，另一端和所述分布式存储单元103中的主控模组连接，主控模组和边缘运算模块可以通过USB端口连接模式连接，以进行数据传输。
在本申请中，所述分布式存储单元可以是符合5G V2X协议的模组。
可选的，主控模组和边缘运算模块还可以通过5G网络连接，以进行数据传输。
又可选的，主控模组和边缘运算模块还可以通过PC5连接，以进行数据传输。
在本申请中，主控模组可以包括依次连接的设备总控模块和主管理模块，主控备份模组包括依次连接的设备总控模块和主管理备份模组，其中，设备总控模块通过心跳检测当前各个模组的情况，并根据情况启动备份管理节点。主管理模块，还可以根据上位机的具体要求，提供具体的数据存储和读取。将数据的分区表和归属记录在本地，同时同步到至少一个主管理模块备份模组。
在本申请中。所有数据存储模组内存储的数据，可以以4k为单位的数据块进行分割存储，同时保存时需要同时保存至少1份。
可选的，一组所述分布式存储单元中的所述数据存储模组的个数大于或者等于2，且小于或者等于64，本申请实施例对数据存储模组的个数不作具体限定，可以根据实际应用场景做标记调整。
可选的，一组所述分布式存储单元中的至少一个所述主控模组、至少一个所述主控备份模组、和至少两个所述数据存储模组，两两可以通过PC5通路相互连接，在本申请中，分布式存储单元中的所有模组间可以均为PC5通讯，PC5端口通讯的情况下，在此模式下，通讯覆盖范围最大为500M，适用于所有设备在较小范围内分布的情况。
可选的，分布式存储单元中的所有模组间可以均为5G网络通讯，在该模式下数据处理基本不受距离限制。
可选的，分布式存储单元中的所有模组件可以通过PC5和5G网络混合通讯，在该场景下，需要主控模组和主控备份模组能够连接到5G网络。
示例的，当前每个分布式存储单元中用来存储外部数据的分区有87MB，考虑到数据备份需要两倍的空间，因此最小系统下的可用存储空间就是87MB，可以根据具体的需求，进行数据存储模组的扩展，从而达到更大的数据存储量，目前，最大支持的数据存储模组的个数为64个，也即是最大数据量为：单个模组的存储量*模组个数/备份份数/MB转GB除数，示例的也即是最大数据量为：87×64/2/1024＝2.71(GB)。
可选的，所述主控模组被配置为，获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系，包括：
所述主控模组被配置为，获取所述数据存储模组的存储空间，基于所述存储空间信息按照预设数据块大小对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系。
其中，预设数据块大小可以是4KB，还可以是其他数值，本申请实施例对此不作具体限定，可以根据实际应用场景做标记调整。
在本申请中，预设数据块的基本原则可以是，每个数据块大小为预设大小，每个数据块均有备份数据块，且两个关系数据块需要存储在不同的数据存储模组中。
可选的，所述目标存储位置包括写入操作时对应的空位置或读出操作时读出数据所在位置。
在本申请中，所述数据块存储单元和存储数据的对应关系可以是以表格的形式存在，也即是可以以文件分布表的形式存在，主控模组可以接收边缘运算模块发来的数据读请求，并基于数据读请求在文件分布表中查询空位置，然后将数据写入对应位置，并记录到文件分布表中和文件读写日志中，最终将写入结果返回给边缘运算模块。
在本申请中，主控模组可以接收边缘运算模块发来的数据写请求，并基于数据写请求在文件分布表中查询数据所在位置，然后将数据读出对应位置，并记录到文件分布表中和文件读写日志中，最终将读出结果返回给边缘运算模块，还可以增加边缘运算模块计算的算力，将数据在边缘进行更多的处理，降低最终上传至云端的服务器的数据量，可以将边缘运算模块进行分布式计算，降低最终上传至云端的服务器的数据量，可以提升边缘运算模块关联的传感器的第一次数据处理能力，降低边缘运算模块的数据量，从而降低最终上传至云端的服务器的数据量，并且可以优化变化计算算法，降低运算和数据传输量，也可以实现更好的压缩算法，降低最终上传至云端的服务器的数据量。
综上所述，本申请实施例提供的数据存储系统，通过主控模组获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系；在接收所述边缘运算模块发送的数据读写请求后，基于所述数据块存储单元和存储数据的对应关系确定目标存储位置，将所述数据读写请求对应的目标数据写入或读出所述目标存储位置，将所述目标存储位置和所述目标数据保存在所述对应关系中；将所述写入或读出的目标存储位置和所述目标数据发送至所述边缘运算模块，用以在所述边缘运算模块处理后，传输至所述云端或者再次存储到所述分布式存储单元，也即是在分布式存储单元中实现数据的运算和存储过程，只将最终的数据传输至云端，可以降低边缘运算模块和物联网场景下的云端对应的服务器的数据存储成本，提高云端的服务器的存储数据的有效性。
图3示出了本申请实施例提供的一种数据存储方法的流程示意图，应用于上述数据存储系统，所述数据存储系统包括：云端、边缘运算模块和至少一组分布式存储单元；所述边缘运算模块一端和所述云端连接，另一端和所述分布式存储单元连接；一组所述分布式存储单元包括两两相互连接的至少一个主控模组、至少一个主控备份模组、和至少两个数据存储模组，如图3所示，所述数据存储方法包括：
步骤201：所述主控模组获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系。
步骤202：所述主控模组在接收所述边缘运算模块发送的数据读写请求后，基于所述数据块存储单元和存储数据的对应关系确定目标存储位置，将所述数据读写请求对应的目标数据写入或读出所述目标存储位置，将所述目标存储位置和所述目标数据保存在所述对应关系中。
步骤203：所述主控模组将所述写入或读出的目标存储位置和所述目标数据发送至所述边缘运算模块，用以在所述边缘运算模块处理后，传输至所述云端或者再次存储到所述分布式存储单元。
综上所述，本申请实施例提供的数据存储方法，通过主控模组获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系；在接收所述边缘运算模块发送的数据读写请求后，基于所述数据块存储单元和存储数据的对应关系确定目标存储位置，将所述数据读写请求对应的目标数据写入或读出所述目标存储位置，将所述目标存储位置和所述目标数据保存在所述对应关系中；将所述写入或读出的目标存储位置和所述目标数据发送至所述边缘运算模块，用以在所述边缘运算模块处理后，传输至所述云端或者再次存储到所述分布式存储单元，也即是在分布式存储单元中实现数据的运算和存储过程，只将最终的数据传输至云端，可以降低边缘运算模块和物联网场景下的云端对应的服务器的数据存储成本，提高云端的服务器的存储数据的有效性。
图3示出了本申请实施例提供的另一种数据存储方法的流程示意图，应用于上述数据存储系统，所述数据存储系统包括：云端、边缘运算模块和至少一组分布式存储单元；所述边缘运算模块一端和所述云端连接，另一端和所述分布式存储单元连接；一组所述分布式存储单元包括两两相互连接的至少一个主控模组、至少一个主控备份模组、和至少两个数据存储模组，如图4所示，所述数据存储方法包括：
步骤301：所述主控模组获取所述数据存储模组的存储空间，基于所述存储空间信息按照预设数据块大小对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系。
步骤302：所述主控模组在接收所述边缘运算模块发送的数据读写请求后，基于所述数据块存储单元和存储数据的对应关系确定目标存储位置，将所述数据读写请求对应的目标数据写入或读出所述目标存储位置，将所述目标存储位置和所述目标数据保存在所述对应关系中。
步骤303：所述主控模组将所述写入或读出的目标存储位置和所述目标数据发送至所述边缘运算模块，用以在所述边缘运算模块处理后，传输至所述云端或者再次存储到所述分布式存储单元。
本申请实施例提供的数据存储方法，通过主控模组获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系；在接收所述边缘运算模块发送的数据读写请求后，基于所述数据块存储单元和存储数据的对应关系确定目标存储位置，将所述数据读写请求对应的目标数据写入或读出所述目标存储位置，将所述目标存储位置和所述目标数据保存在所述对应关系中；将所述写入或读出的目标存储位置和所述目标数据发送至所述边缘运算模块，用以在所述边缘运算模块处理后，传输至所述云端或者再次存储到所述分布式存储单元，也即是在分布式存储单元中实现数据的运算和存储过程，只将最终的数据传输至云端，可以降低边缘运算模块和物联网场景下的云端对应的服务器的数据存储成本，提高云端的服务器的存储数据的有效性。
上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
本申请实施例提供一种电子设备，包括：一个或多个支持PC5通讯的5G通讯模组；当由多个所述支持PC5通讯的所述5G通讯模组时，使得可以执行本申请任一所述的数据存储方法。
所述支持PC5通讯的5G通讯模组，被配置为支持3GPP通信协议的PC5通讯相关功能，所述5G通讯模组包含处理器和存储空间。
其中，所述5G通讯模组可以是包括了处理器，以及存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得可以执行本申请所述的数据存储方法。
本发明实施例中的电子设备可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本发明实施例不作具体限定。
本发明实施例中的电子设备可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本发明实施例不作具体限定。
图4示出了本发明实施例提供的一种电子设备的硬件结构示意图。如图4所示，该电子设备400包括处理器410。
如图4所示，上述处理器410可以是一个通用中央处理器(central processingunit，CPU)，微处理器，专用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。
如图4所示，上述电子设备400还可以包括通信线路440。通信线路440可包括一通路，在上述组件之间传送信息。
可选的，如图4所示，上述电子设备还可以包括通信接口420。通信接口420可以为一个或多个。通信接口420可使用任何收发器一类的装置，用于与其他设备或通信网络通信。
可选的，如图4所示，该电子设备还可以包括存储器430。存储器430用于存储执行本发明方案的计算机执行指令，并由处理器来控制执行。处理器用于执行存储器中存储的计算机执行指令，从而实现本发明实施例提供的方法。
如图4所示，存储器430可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器430可以是独立存在，通过通信线路440与处理器410相连接。存储器430也可以和处理器410集成在一起。
可选的，本发明实施例中的计算机执行指令也可以称之为应用程序代码，本发明实施例对此不作具体限定。
在具体实现中，作为一种实施例，如图4所示，处理器410可以包括一个或多个CPU，如图4中的CPU0和CPU1。
在具体实现中，作为一种实施例，如图4所示，终端设备可以包括多个处理器，如图4中的处理器410。这些处理器中的每一个可以是一个单核处理器，也可以是一个多核处理器。
图5是本发明实施例提供的芯片的结构示意图。如图5所示，该芯片500包括一个或两个以上(包括两个)处理器510。
可选的，如图5所示，该芯片还包括通信接口520和存储器530，存储器530可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。
在一些实施方式中，如图5所示，存储器530存储了如下的元素，执行模块或者数据结构，或者他们的子集，或者他们的扩展集。
在本发明实施例中，如图5所示，通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。
如图5所示，处理器510控制终端设备中任一个的处理操作，处理器510还可以称为中央处理单元(central processing unit，CPU)。
如图5所示，存储器530可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器530的一部分还可以包括NVRAM。例如应用中存储器、通信接口以及存储器通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图5中将各种总线都标为总线系统540。
如图5所示，上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processing，DSP)、ASIC、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
一方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令被运行时，实现上述实施例中由终端设备执行的功能。
一方面，提供一种芯片，该芯片应用于终端设备中，芯片包括至少一个处理器和通信接口，通信接口和至少一个处理器耦合，处理器用于运行指令，以实现上述实施例中由包含有硬件加速单元的片上系统以及与所述片上系统通信的片外存储器的电子设备执行的功能。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (8)

1.一种数据存储系统，其特征在于，所述数据存储系统包括：云端、边缘运算模块和至少一组分布式存储单元；所述边缘运算模块一端和所述云端连接，另一端和所述分布式存储单元连接；
一组所述分布式存储单元包括两两相互连接的至少一个主控模组、至少一个主控备份模组、和至少两个数据存储模组；
所述主控模组被配置为，获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系；
所述主控模组还被配置为，在接收所述边缘运算模块发送的数据读写请求后，基于所述数据块存储单元和存储数据的对应关系确定目标存储位置，将所述数据读写请求对应的目标数据写入或读出所述目标存储位置，将所述目标存储位置和所述目标数据保存在所述对应关系中；
所述主控模组还被配置为：将所述写入或读出的目标存储位置和所述目标数据发送至所述边缘运算模块，用以在所述边缘运算模块处理后，传输至所述云端或者再次存储到所述分布式存储单元。
2.根据权利要求1所述的数据存储系统，其特征在于，一组所述分布式存储单元中的所述数据存储模组的个数大于或者等于2，且小于或者等于64。
3.根据权利要求1所述的数据存储系统，其特征在于，一组所述分布式存储单元中的至少一个所述主控模组、至少一个所述主控备份模组、和至少两个所述数据存储模组，两两通过PC5通路相互连接。
4.根据权利要求1所述的数据存储系统，其特征在于，所述主控模组被配置为，获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系，包括：
所述主控模组被配置为，获取所述数据存储模组的存储空间，基于所述存储空间信息按照预设数据块大小对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系。
5.根据权利要求1所述的数据存储系统，其特征在于，所述目标存储位置包括写入操作时对应的空位置或读出操作时读出数据所在位置。
6.一种数据存储方法，其特征在于，应用于权利要求1-5任一所述的数据存储系统，所述数据存储系统包括：云端、边缘运算模块和至少一组分布式存储单元；所述边缘运算模块一端和所述云端连接，另一端和所述分布式存储单元连接；一组所述分布式存储单元包括两两相互连接的至少一个主控模组、至少一个主控备份模组、和至少两个数据存储模组；所述数据存储方法包括：
所述主控模组获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系；
所述主控模组在接收所述边缘运算模块发送的数据读写请求后，基于所述数据块存储单元和存储数据的对应关系确定目标存储位置，将所述数据读写请求对应的目标数据写入或读出所述目标存储位置，将所述目标存储位置和所述目标数据保存在所述对应关系中；
所述主控模组将所述写入或读出的目标存储位置和所述目标数据发送至所述边缘运算模块，用以在所述边缘运算模块处理后，传输至所述云端或者再次存储到所述分布式存储单元。
7.根据权利要求6所述的数据存储方法，其特征在于，所述主控模组获取所述数据存储模组的存储空间，基于所述存储空间信息对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系，包括：
所述主控模组获取所述数据存储模组的存储空间，基于所述存储空间信息按照预设数据块大小对所述数据存储模组进行数据块存储单元划分，确定所述数据块存储单元和存储数据的对应关系。
8.一种电子设备，其特征在于，包括：一个或多个支持PC5通讯的5G通讯模组；当由多个所述支持PC5通讯的所述5G通讯模组时，使得可以执行权利要求6至7任一所述的数据存储方法；
所述支持PC5通讯的5G通讯模组，被配置为支持3GPP通信协议的PC5通讯相关功能，所述5G通讯模组包含处理器和存储空间。
CN202111507615.XA 2021-12-10 2021-12-10 一种数据存储系统、方法及电子设备 Active CN114168083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111507615.XA CN114168083B (zh) 2021-12-10 2021-12-10 一种数据存储系统、方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111507615.XA CN114168083B (zh) 2021-12-10 2021-12-10 一种数据存储系统、方法及电子设备

Publications (2)

Publication Number Publication Date
CN114168083A CN114168083A (zh) 2022-03-11
CN114168083B true CN114168083B (zh) 2023-08-08

Family

ID=80485757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111507615.XA Active CN114168083B (zh) 2021-12-10 2021-12-10 一种数据存储系统、方法及电子设备

Country Status (1)

Country Link
CN (1) CN114168083B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108121511A (zh) * 2017-12-21 2018-06-05 北京黑螺技术有限公司 一种分布式边缘存储系统中的数据处理方法、装置及设备
CN109976669A (zh) * 2019-03-15 2019-07-05 百度在线网络技术（北京）有限公司 一种边缘存储方法、装置和存储介质
CN112783419A (zh) * 2019-11-06 2021-05-11 阿里巴巴集团控股有限公司 分布式存储方法及装置、电子设备和存储介质
CN113568783A (zh) * 2021-08-03 2021-10-29 上海提喀科技有限公司 分布式数据存储系统、管理方法、装置及存储介质
CN113590020A (zh) * 2020-04-30 2021-11-02 伊姆西Ip控股有限责任公司 用于数据管理的方法、设备和计算机程序产品

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569136B2 (en) * 2015-04-29 2017-02-14 International Business Machines Corporation Smart load balancing replication when adding or removing storage disks in a distributed storage system
US11487665B2 (en) * 2019-06-05 2022-11-01 Pure Storage, Inc. Tiered caching of data in a storage system
US11403043B2 (en) * 2019-10-15 2022-08-02 Pure Storage, Inc. Efficient data compression by grouping similar data within a data segment
CN114327239A (zh) * 2020-09-27 2022-04-12 伊姆西Ip控股有限责任公司 存储和访问数据的方法、电子设备和计算机程序产品
US20210117134A1 (en) * 2020-12-23 2021-04-22 Intel Corporation Technologies for storage and processing for distributed file systems
CN114296638B (zh) * 2021-12-10 2024-02-20 深圳大普微电子科技有限公司 存算一体化固态硬盘控制器及相关装置、方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108121511A (zh) * 2017-12-21 2018-06-05 北京黑螺技术有限公司 一种分布式边缘存储系统中的数据处理方法、装置及设备
CN109976669A (zh) * 2019-03-15 2019-07-05 百度在线网络技术（北京）有限公司 一种边缘存储方法、装置和存储介质
CN112783419A (zh) * 2019-11-06 2021-05-11 阿里巴巴集团控股有限公司 分布式存储方法及装置、电子设备和存储介质
CN113590020A (zh) * 2020-04-30 2021-11-02 伊姆西Ip控股有限责任公司 用于数据管理的方法、设备和计算机程序产品
CN113568783A (zh) * 2021-08-03 2021-10-29 上海提喀科技有限公司 分布式数据存储系统、管理方法、装置及存储介质

Also Published As

Publication number Publication date
CN114168083A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
US11249647B2 (en) Suspend, restart and resume to update storage virtualization at a peripheral device
WO2019127191A1 (zh) 一种多操作系统共享文件系统的方法、装置和电子设备
CN106534308B (zh) 一种分布式存储系统中解决数据块访问热点的方法及装置
CN107861691B (zh) 一种多控存储系统的负载均衡方法和装置
CN113204407B (zh) 一种内存超配管理方法及装置
CN107391033B (zh) 数据迁移方法及装置、计算设备、计算机存储介质
US20170153909A1 (en) Methods and Devices for Acquiring Data Using Virtual Machine and Host Machine
CN111124299A (zh) 数据存储管理方法、装置、设备、系统及存储介质
CN109857545B (zh) 一种数据传输方法及装置
US11347413B2 (en) Opportunistic storage service
CN111984557A (zh) 数据处理方法、装置和系统
US8612674B2 (en) Systems and methods for concurrently accessing a virtual tape library by multiple computing devices
US20230137668A1 (en) storage device and storage system
CN111209260A (zh) 基于分布式存储的nfs集群及其提供nfs服务的方法
CN114422537B (zh) 多云存储系统、多云数据读写方法及电子设备
CN110502187B (zh) 一种快照回滚方法及装置
US20070150590A1 (en) Computer system and storage virtualizer
CN112783684A (zh) 一种校验数据计算方法及装置
CN116069493A (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN103500108A (zh) 系统内存访问方法、节点控制器和多处理器系统
CN114168083B (zh) 一种数据存储系统、方法及电子设备
CN116489177A (zh) 一种基于块存储的io访问方法、装置、电子设备及介质
CN106790521B (zh) 采用基于ftp的节点设备进行分布式组网的系统及方法
CN116594551A (zh) 一种数据存储方法及装置
CN115544489A (zh) 一种认证方法、装置和存储系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant