CN112860191B - 一种基于多通道的同步分道存储方法 - Google Patents

一种基于多通道的同步分道存储方法 Download PDF

Info

Publication number
CN112860191B
CN112860191B CN202110231936.5A CN202110231936A CN112860191B CN 112860191 B CN112860191 B CN 112860191B CN 202110231936 A CN202110231936 A CN 202110231936A CN 112860191 B CN112860191 B CN 112860191B
Authority
CN
China
Prior art keywords
data
storage
determining
channel
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110231936.5A
Other languages
English (en)
Other versions
CN112860191A (zh
Inventor
林梓梁
周雄伟
方智武
李红生
廖慧容
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Eastic Technology Co ltd
Original Assignee
Shenzhen Eastic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Eastic Technology Co ltd filed Critical Shenzhen Eastic Technology Co ltd
Priority to CN202110231936.5A priority Critical patent/CN112860191B/zh
Publication of CN112860191A publication Critical patent/CN112860191A/zh
Application granted granted Critical
Publication of CN112860191B publication Critical patent/CN112860191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Communication Control (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种基于多通道的同步分道存储方法，包括预先在存储设备中设置数据传输通道和数据分析驱动程序；当接收到存储请求时，通过所述数据分析驱动确定待存储数据的数据源；根据所述数据源，确定所述待存储数据的总容量，并获取所述待存储数据的采集时间；根据所述采集时间，依次确定每一时刻的数据，并将每一时刻的数据打包为一个存储文件，确定每个存储文件的存储容量；根据所述总容量和数据传输通道的数量，确定每个数据传输通道的可传输容量；根据所述可传输容量和每个存储文件的存储容量，将所述存储文件与数据传输通道相对应，并同步传输至所述存储设备。

Description

一种基于多通道的同步分道存储方法
技术领域
本发明涉及内存存储技术领域，特别涉及一种基于多通道的同步分道存储方法。
背景技术
目前，随着人工智能技术的发展，现有的存储设备为了适应具象化的场景，需要满足多数据同时传输的要求，会设计一些多数据接口的存储设备。多数据同时传输的时候，例如：在加油场景中，会通过监控设备获取加油的场景数据，通过加油箱的控制器获取加油的加油数据，通过支付软件获取用户的支付数据，这些数据都存在需要同步存储的情况，但是现有技术中，数据的存储无法做到时刻相同的同步存储。
发明内容
本发明提供一种基于多通道的同步分道存储方法，用以解决的情况。
一种基于多通道的同步分道存储方法，包括：
预先在存储设备中设置数据传输通道和数据分析驱动程序；
当接收到存储请求时，通过所述数据分析驱动确定待存储数据的数据源；
根据所述数据源，确定所述待存储数据的总容量，并获取所述待存储数据的采集时间；
根据所述采集时间，依次确定每一时刻的数据，并将每一时刻的数据打包为一个存储文件，确定每个存储文件的存储容量；
根据所述总容量和数据传输通道的数量，确定每个数据传输通道的可传输容量；
根据所述可传输容量和每个存储文件的存储容量，将所述存储文件与数据传输通道相对应，并同步传输至所述存储设备。
作为本发明的一种实施例：所述预先在存储设备中设置数据传输通道和数据分析驱动，包括：
根据所述存储设备，确定所述存储设备的数据接口的接口信息；其中，
所述接口信息包括：接口数量和接口协议；
将所述存储设备划分为通道层和存储层；
根据所述接口数量，在通道层设置对应数量的数据传输通道；
根据所述数据传输通道，将所述存储层和数据接口连通；
根据所述接口协议，在所述数据接口上设置数据分析驱动程序。
作为本发明的一种实施例：所述通过所述数据分析驱动程序确定待存储数据的数据源，包括：
根据所述存储请求，确定所述存储请求的请求内容；
根据所述请求内容，确定待传输数据的传输路径；
将所述数据分析驱动程序通过所述传输路径传输至所述待传输数据的数据源，并获取数据源信息；其中，
所述数据源信息包括数据源地址、数据源数量和数据源内的待传输数据的数据容量。
作为本发明的一种实施例：所述通过所述数据分析驱动程序确定待存储数据的数据源，还包括：
根据所述数据分析驱动程序，在所述待存储数据的传输路径上设置逻辑地址；其中，
所述逻辑地址为所述待存储数据在传输过程中的迁移节点地址；
根据所述逻辑地址在所述存储设备中设置对应的物理地址；
将所述逻辑地址和物理地址进行绑定，确定绑定关系；
在所述绑定关系确定后，将数据源与所述逻辑地址进行绑定。
作为本发明的一种实施例：所述根据所述数据源，确定所述待存储数据的总容量，并获取所述待存储数据的采集时间，包括：
获取所述数据源的数据采集方式，确定所述数据源的待存储数据的采集日志；
根据所述采集日志，判断所述数据源的待存储数据是否采集完成；
当所述数据源的待存储数据采集完成时，确定所述待存储数据的占用空间，将所述占用空间作为所述待存储数据的数据容量。并根据所述采集日志记录所述待存储数据的数据采集时间；
当所述数据源的待存储数据没有采集完成时，监控所述数据源的数据采集状态，直至数据采集完成。
作为本发明的一种实施例：所述根据所述采集时间，依次确定每一时刻的数据，并将每一时刻的数据打包为一个存储文件，确定每个存储文件的存储容量，包括：
将所述数据采集时间按照时刻进行划分，确定时刻划分信息；
根据所述时刻划分信息，确定每一时刻采集的待存储数据；
根据预设的数据打包功能，将所述待存储数据按照时刻进行打包，并将打包后的待存储数据作为一个存储文件；
根据所述存储文件，确定所述存储文件的文件字节数；
根据所述文件字节数，确定所述待存储文件的存储容量。
作为本发明的一种实施例：所述根据所述总容量和数据传输通道的数量，确定每个数据传输通道的可传输容量，包括：
获取每个数据传输通道的通道信息，并确定带宽；
根据所述带宽，确定所有数据传输通道的带宽总和；
根据所述带宽总和带宽，确定每个数据传输通道的带宽占比；
根据所述带宽占比和总容量，确定每个数据传输通道的必要传输容量，并将所述必要传输容量作为可传输容量。
作为本发明的一种实施例：所述根据所述可传输容量和每个存储文件的存储容量，将所述存储文件与数据传输通道相对应，并同步传输至所述存储设备，包括：
获取所述数据传输通道、逻辑地址和可传输容量，确定传输通道的通道传输规则；
获取所述存储文件的存储容量和数据源地址，确定存储文件的传输规则；
根据所述存储设备的存储接口，将所述通道传输规则和传输规则相匹配，对应所述存储文件和数据传输通道；
在所述存储文件和数据传输通道匹配后，通过所述数据传输通道将所述待存储文件传输至存储设备。
作为本发明的一种实施例：所述将所述通道传输规则和传输规则相匹配，包括以下步骤：
步骤1：检测所述通道传输规则，构建通道传输规则内容筛选函数
Figure 810929DEST_PATH_IMAGE001
：
Figure 745387DEST_PATH_IMAGE002
其中，
Figure 145275DEST_PATH_IMAGE003
表示数据传输通道的数量；
Figure 430763DEST_PATH_IMAGE004
表示第
Figure 322102DEST_PATH_IMAGE005
个数据传输通道的权重；
Figure 376646DEST_PATH_IMAGE006
表示数据 传输通道的能力参数；
Figure 9753DEST_PATH_IMAGE007
表示数据传输通道对应数据接口的协议参数；
Figure 641591DEST_PATH_IMAGE008
表示数据传输通道 对应的数据接口的接口类型的类型参数；
Figure 713452DEST_PATH_IMAGE009
表示第
Figure 497869DEST_PATH_IMAGE005
个数据传输通道的带宽；
Figure 364194DEST_PATH_IMAGE010
表示高斯 混合模型中第
Figure 250372DEST_PATH_IMAGE005
个数据传输通道的数据接口的数据筛选规则函数；
Figure 860345DEST_PATH_IMAGE011
；
步骤2：检测所述存储文件的传输规则，构建数据源的数据传输函数
Figure 561585DEST_PATH_IMAGE012
：
Figure 723445DEST_PATH_IMAGE013
其中，
Figure 205242DEST_PATH_IMAGE014
表示数据源中存储文件的数量；
Figure 494272DEST_PATH_IMAGE015
表示第
Figure 797821DEST_PATH_IMAGE016
个存储文件的内容特征；
Figure 271527DEST_PATH_IMAGE017
表示 第
Figure 115987DEST_PATH_IMAGE016
个存储文件的文件类型；
Figure 802183DEST_PATH_IMAGE018
表示存储文件打包为数据包时的压缩函数；
Figure 930545DEST_PATH_IMAGE019
表示第
Figure 309574DEST_PATH_IMAGE016
个存储文件的的数据容量；
Figure 798586DEST_PATH_IMAGE020
表示打包第
Figure 209845DEST_PATH_IMAGE016
个存储文件的压缩比例系数；
Figure 474604DEST_PATH_IMAGE021
为数据源中所有 存储文件的总容量；
Figure 913282DEST_PATH_IMAGE022
；
步骤3：根据所述通道传输规则内容筛选函数和数据源的数据传输函数，进行匹 配，确定匹配参数
Figure 529071DEST_PATH_IMAGE023
：
Figure 822649DEST_PATH_IMAGE024
当所述匹配参数
Figure 394445DEST_PATH_IMAGE025
时，表示匹配失败，表示第
Figure 52959DEST_PATH_IMAGE016
个存储文件不能 够从第
Figure 172356DEST_PATH_IMAGE005
个数据传输通道进行传输；
当所述匹配参数
Figure 144991DEST_PATH_IMAGE026
时，表示匹配成功，表示第
Figure 446660DEST_PATH_IMAGE016
个存储文件能够 从第
Figure 728605DEST_PATH_IMAGE005
个数据传输通道进行传输。
本发明的有益效果在于：本发明符合在场景具象化时进行数据存储的要求，而在进行多设备进行数据传输的时候，也开始实现多设备不同通道的同步数据传输方便了多个数采集装置的高校数据存储需求。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于多通道的同步分道存储方法的方法流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如附图1所示，本发明为一种基于多通道的同步分道存储方法，包括：
预先在存储设备中设置数据传输通道（数据传输通道用于进行数据传输，现有技术中，因为存储设备需要存储的数据的类型越来越多，在虚拟现实中现有技术中多是通过网络构建网络链路传输不同的数据，但是，通过硬件进行数据传输相对于网络传输其不受网速的影响，因此，会设计一些具有多个数据接收接口的存储设备，当然还有一些存储设备需要同时存储多个设备的也会设计多个数据传输接口，其相当于固定在硬盘上的扩展坞，本发明的数据传输通道是在存储硬盘上电后，会自动根据预设的程序构建数据传输通道，属于一种基于程序通过协议进行划分的数据传输通道）和数据分析驱动程序；本发明中数据传输通道根据接口数量进行设置，有多少接口，就有多少数据传输通道，数据分析驱动程序在接口连接到设备时，自动将数据分析驱动程序传输至待存储数据的数据源处。
当接收到存储请求时，通过所述数据分析驱动确定待存储数据的数据源；由数据分析驱动程序的反馈信息确定数据源，就是通过数据分析驱动程序对数据源进行追踪，确定需要进行数据传输的数据地址。
根据所述数据源，确定所述待存储数据的总容量，并获取所述待存储数据的采集时间（存在一些数据源的数据一直在进行数据采集，因此通过存储的数据的采集时间可以确定数据源的数据是否存储完全，而通过采集时间，可以将同一时间段获取的数据进行同步传输，也便于数据进行分析）；待存储数据的总容量是一定的，获取采集时间是为了实现同步传输。
根据所述采集时间，依次确定每一时刻的数据，并将每一时刻的数据打包为一个存储文件，确定每个存储文件的存储容量；将每个时刻的数据打包成一个存储文件（数据包）的时候，便于按照时间划分数据。因为同一时刻的数据方便进行划分，在传输之后也能够通过时间便于进行数据整合。
根据所述总容量和数据传输通道的数量，确定每个数据传输通道的可传输容量；可传输容量是每个数据传输通道需要进行数据传输的数据容量。
根据所述可传输容量和每个存储文件的存储容量，将所述存储文件与数据传输通道相对应（即可以根据每个数据传输通道的数据传输容量大小和存储文件的大小，两个相对应，其也和数据传输通道的带宽是相关的带宽限制了传输速率。硬盘的带宽靠硬盘的控制器进行分配，数据传输通道在存储设备中和硬盘的数据传输总线相关。），并同步传输至所述存储设备。时间确定、数据通道确定、数据在传输是每个通道的容量确定，就可以按照时间实现同步传输。
本发明的有益效果在于：本发明符合在场景具象化时进行数据存储的要求，而在进行多设备进行数据传输的时候，也开始实现多设备不同通道的同步数据传输方便了多个数采集装置的高校数据存储需求。
作为本发明的一种实施例：所述预先在存储设备中设置数据传输通道和数据分析驱动，包括：
根据所述存储设备，确定所述存储设备的数据接口的接口信息；其中，
所述接口信息包括：接口数量和接口协议；
将所述存储设备划分为通道层和存储层；通道层属于存储设备内部的数据中转层，用于划分数据传输通道，而存储层属于存储设备内部进行实际存储的区域。
根据所述接口数量（存储硬盘自带的数据接口），在通道层设置对应数量的数据传输通道；接口数量和数据传输通道数量相同，因此，通道层设置的数据传输通道的数量就是接口数量。数据通道的设置是为了实现多通道的同步存储。
根据所述数据传输通道，将所述存储层和数据接口连通，就是将数据传输通道和存储层对接，数据传输通道和数据接口对接，实现同步数据传输；存储层和数据接口连通，实现了存储和传输的高效结合。
根据所述接口协议，在所述数据接口上设置数据分析驱动程序，数据分析驱动程序设置与数据接口，便于数据在连接外界数据存储设备时，可以第一时间启动数据分析驱动程序。接口协议确定了数据接口上的规则，因此，数据分析驱动程序也需要符合这些数据协议规则，将数据源的数据传输值存储设备中。
作为本发明的一种实施例：所述通过所述数据分析驱动程序确定待存储数据的数据源，包括：
根据所述存储请求，确定所述存储请求的请求内容；请求内容就是请求存储的待存储数据的信息，属于用户下发的存储指令。
根据所述请求内容，确定待传输数据的传输路径；即数据源的数据传输路径，请求内容中附带着数据源的数据存储地址，进而确定数据源，实现和数据源连通。
将所述数据分析驱动程序通过所述传输路径传输至所述待传输数据的数据源，并获取数据源信息；其中，
所述数据源信息包括数据源地址、数据源数量和数据源内的待传输数据的数据容量。数据源信息的目的是为了更高效，更精确的获得数据。
作为本发明的一种实施例：所述通过所述数据分析驱动程序确定待存储数据的数据源，还包括：
根据所述数据分析驱动程序，在所述待存储数据的传输路径上设置逻辑地址；其中，
所述逻辑地址为所述待存储数据在传输过程中的迁移节点地址；逻辑地址是中转过程中的地址，及数据传输通道的地址。逻辑地址的作用是在数据分析驱动程序将数据源的数据打包后，增高直接通过已经确定的数据传输通道进行数据传输。
根据所述逻辑地址在所述存储设备中设置对应的物理地址；物理地址就是存储设备中，存储层内的地址，就是最终存储地点的地址。其作用是建立多条能够直接进行数据传输的数据传输通道，进而四号线数据的同步传输。
将所述逻辑地址和物理地址进行绑定，确定绑定关系，绑定关系就是将数据传输通道和存储层的存储区域绑定，便于数据分析驱动程序分析后的数据能够快速传输，如果需要进行数据调取的时候也是可以根据分析分类后的数据进行快速调取。
在所述绑定关系确定后，将数据源与所述逻辑地址进行绑定。建立的绑定关系是为了实现更加精确的通过数据传输通道将数据传输至存储区域。
作为本发明的一种实施例：所述根据所述数据源，确定所述待存储数据的总容量，并获取所述待存储数据的采集时间，包括：
获取所述数据源的数据采集方式（采集方式很多，例如摄像采集、传感器采集，这些主要是为了便于确定数据源数据的获取时间、数据的大小、数据的类型，进而便于在进行数据传输的时候，更方便的进行数据打包），确定所述数据源的待存储数据的采集日志；采集日志中包括待存储数据的数据容量、采集时间和具体的采集方式。
根据所述采集日志（采集日志中如果日志不是一直存在数据进入，那就说明数据已经采集完成，而一直有数据更新，就表示数据没有采集完成，进而防止数据在传输的时候具有缺失或者数据传输顺序絮乱），判断所述数据源的待存储数据是否采集完成；因为本发明需要提前计算数据存储容量，因此需要判断采集日志是否完成。
当所述数据源的待存储数据采集完成时，确定所述待存储数据的占用空间，将所述占用空间作为所述待存储数据的数据容量。并根据所述采集日志记录所述待存储数据的数据采集时间；
当所述数据源的待存储数据没有采集完成时，监控所述数据源的数据采集状态，直至数据采集完成。监控数据源的数据采集状态，就是为了确定待存储数据的数据已经确定了带存储数据的全部数据信息。
作为本发明的一种实施例：所述根据所述采集时间，依次确定每一时刻的数据，并将每一时刻的数据打包为一个存储文件，确定每个存储文件的存储容量，包括：
将所述数据采集时间按照时刻进行划分，确定时刻划分信息；时刻可以实用户设定的时刻，也可以是每一瞬间的数据传输采集量。便于通过时间确定不同的数据包中包含什么数据。
根据所述时刻划分信息，确定每一时刻采集的待存储数据；就是确定每一时刻采集待存储数据的数据容量。
根据预设的数据打包功能，将所述待存储数据按照时刻进行打包，并将打包后的待存储数据作为一个存储文件；数据打包功能是为了实现更高效的数据传输，还能够实现数据的防丢包功能。
根据所述存储文件，确定所述存储文件的文件字节数；
根据所述文件字节数，确定所述待存储文件的存储容量。确定存储文件的数据容量是为了实现数据能够合理的划分给不同的数据传输通道。
作为本发明的一种实施例：所述根据所述总容量和数据传输通道的数量，确定每个数据传输通道的可传输容量，包括：
获取每个数据传输通道的通道信息，并确定带宽；带宽确定了每个数据传输通道的数据传输能力，因此通过每个数据传输通道的带宽，可以判断总的数据传输能力。
根据所述带宽，确定所有数据传输通道的带宽总和；即同一时间内所有数据传输通道同步进行数据传输时的数据传输量。
根据所述带宽总和带宽，确定每个数据传输通道的带宽占比；
根据所述带宽占比和总容量，确定每个数据传输通道的必要传输容量，并将所述必要传输容量作为可传输容量。带宽占比是为了确定每个数据传输通道的数据传输能力，是在总的数据传输能力中的占比，用于对每个数据传输通道划分合理的数据传输量，防止数据传输时存在因为通道的数据传输量无法传输或者提高漏包率。
作为本发明的一种实施例：所述根据所述可传输容量和每个存储文件的存储容量，将所述存储文件与数据传输通道相对应，并同步传输至所述存储设备，包括：
获取所述数据传输通道、逻辑地址和可传输容量，确定传输通道的通道传输规则；通道传输规则即数据传输通道的逻辑地址确定专属的中转规则和可传输容量确定，数据传输的能力规则。
获取所述存储文件的存储容量和数据源地址，确定存储文件的传输规则；传输规则确定的是存储文件的原始地点和在进行传输是的总的容量。
根据所述存储设备的存储接口，将所述通道传输规则和传输规则相匹配，对应所述存储文件和数据传输通道；匹配是为了实现数据的精准和高效的传输。
在所述存储文件和数据传输通道匹配后，通过所述数据传输通道将所述待存储文件传输至存储设备。
作为本发明的一种实施例：所述将所述通道传输规则和传输规则相匹配，包括以下步骤：
步骤1：检测所述通道传输规则，构建通道传输规则内容筛选函数
Figure 646883DEST_PATH_IMAGE001
：
Figure 157630DEST_PATH_IMAGE002
其中，
Figure 844963DEST_PATH_IMAGE003
表示数据传输通道的数量；
Figure 593083DEST_PATH_IMAGE004
表示第
Figure 608443DEST_PATH_IMAGE005
个数据传输通道的权重；
Figure 313094DEST_PATH_IMAGE006
表示数据 传输通道的能力参数；
Figure 713988DEST_PATH_IMAGE007
表示数据传输通道对应数据接口的协议参数；
Figure 213103DEST_PATH_IMAGE008
表示数据传输通道 对应的数据接口的接口类型的类型参数；
Figure 715760DEST_PATH_IMAGE009
表示第
Figure 692943DEST_PATH_IMAGE005
个数据传输通道的带宽；
Figure 980967DEST_PATH_IMAGE010
表示高斯 混合模型中第
Figure 323087DEST_PATH_IMAGE005
个数据传输通道的数据接口的数据筛选规则函数；
Figure 437673DEST_PATH_IMAGE011
；
数据传输通道的数据传输规则确定这每时每刻数据的传输容量和能够传输那些 数据，不能传输哪些数据，以及传输数据的时速，本发明在计算每个通道的数据传输筛选函 数的时候，因为其是为了判断哪些数据可以传输，哪些数据不能传输，防止损坏硬盘，本发 明基于数据传输通道的数量、数据传输通道的权重（确定不同数据传输通道的重要性，也决 定着数据传输的能力），数据传输通道的能力参数决定这不同数据传输通道的每时每刻的 数据传输能力，可以作为数据大小的筛选规则，接口的协议参数确定这数据在筛选的时候 数据的类型和数据要遵守那些协议进行数据筛选。数据传输通道的带宽决定了进行数据传 输的速率，高斯混合模型中第
Figure 343181DEST_PATH_IMAGE005
个数据传输通道的数据接口的数据筛选规则函数，确定了数 据在进行传输的时候不仅要符合高斯混合模型中数据进行筛选的模型规则，还要符合其它 必要的其它数据筛选规则。
步骤2：检测所述存储文件的传输规则，构建数据源的数据传输函数
Figure 859613DEST_PATH_IMAGE012
：
Figure 575896DEST_PATH_IMAGE027
其中，
Figure 177779DEST_PATH_IMAGE014
表示数据源中存储文件的数量；
Figure 119934DEST_PATH_IMAGE015
表示第
Figure 162976DEST_PATH_IMAGE016
个存储文件的内容特征；
Figure 174795DEST_PATH_IMAGE017
表示 第
Figure 123028DEST_PATH_IMAGE016
个存储文件的文件类型；
Figure 511284DEST_PATH_IMAGE018
表示存储文件打包为数据包时的压缩函数；
Figure 346516DEST_PATH_IMAGE019
表示第
Figure 529235DEST_PATH_IMAGE016
个存储文件的的数据容量；
Figure 731809DEST_PATH_IMAGE020
表示打包第
Figure 658177DEST_PATH_IMAGE016
个存储文件的压缩比例系数；
Figure 410232DEST_PATH_IMAGE021
为数据源中所有 存储文件的总容量；
Figure 154066DEST_PATH_IMAGE022
；
步骤2计算的是单一的一个存储文件的数据传输函数，因为其要符合内容特征、文件的文件类型特征、文件压缩时的压缩函数，以及压缩的时候的压缩系数，进而可以判断在传输的时候，每个存储文件的数据量，因为其要符合不同通道的数据筛选规则，因此，内容特征和文件类型是为了符合不同通道的内容，即通道协议，而打包压缩由数据容量决定。
步骤3：根据所述通道传输规则内容筛选函数和数据源的数据传输函数，进行匹 配，确定匹配参数
Figure 952258DEST_PATH_IMAGE023
：
Figure 26524DEST_PATH_IMAGE024
当所述匹配参数
Figure 669905DEST_PATH_IMAGE025
时，表示匹配失败，表示第
Figure 194428DEST_PATH_IMAGE016
个存储文件不能 够从第
Figure 89702DEST_PATH_IMAGE005
个数据传输通道进行传输；
当所述匹配参数
Figure 544823DEST_PATH_IMAGE026
时，表示匹配成功，表示第
Figure 599367DEST_PATH_IMAGE016
个存储文件能够 从第
Figure 904578DEST_PATH_IMAGE005
个数据传输通道进行传输。
在步骤3中，本发明基于通道传输规则内容筛选函数和数据源的数据传输函数，通过基于指数的匹配函数，判断是否能够进行数据传输，根据上述公式，本发明最终是将存储文件一个一个的和筛选函数进行匹配，确定是否能够匹配，因此能够京确定的确定每个个通道可以进行传输的待存储数据，如果，有一个数据不符合所有的数据传输通道，也就表明了数据是存在问题的，也能对数据是否异常进行判断。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于多通道的同步分道存储方法，其特征在于，包括：
预先在存储设备中设置数据传输通道和数据分析驱动程序；
当接收到存储请求时，通过所述数据分析驱动程序确定待存储数据的数据源；
根据所述数据源，确定所述待存储数据的总容量，并获取所述待存储数据的采集时间；
根据所述采集时间，依次确定每一时刻的数据，并将每一时刻的数据打包为一个存储文件，确定每个存储文件的存储容量；
根据所述总容量和数据传输通道的数量，确定每个数据传输通道的可传输容量；
根据所述可传输容量和每个存储文件的存储容量，将所述存储文件与数据传输通道相对应，并同步传输至所述存储设备；
所述根据所述采集时间，依次确定每一时刻的数据，并将每一时刻的数据打包为一个存储文件，确定每个存储文件的存储容量，包括：
将所述数据采集时间按照时刻进行划分，确定时刻划分信息；
根据所述时刻划分信息，确定每一时刻采集的待存储数据；
根据预设的数据打包功能，将所述待存储数据按照时刻进行打包，并将打包后的待存储数据作为一个存储文件；
根据所述存储文件，确定所述存储文件的文件字节数；
根据所述文件字节数，确定所述待存储文件的存储容量；
所述根据所述可传输容量和每个存储文件的存储容量，将所述存储文件与数据传输通道相对应，并同步传输至所述存储设备，包括：
获取所述数据传输通道、逻辑地址和可传输容量，确定传输通道的通道传输规则；
获取所述存储文件的存储容量和数据源地址，确定存储文件的传输规则；
根据所述存储设备的存储接口，将所述通道传输规则和存储文件的传输规则相匹配，对应所述存储文件和数据传输通道；
在所述存储文件和数据传输通道匹配后，通过所述数据传输通道将所述待存储文件传输至存储设备；
所述将所述通道传输规则和存储文件的传输规则相匹配，包括以下步骤：
步骤1：检测所述通道传输规则，构建通道传输规则内容筛选函数
Figure DEST_PATH_IMAGE002
：
Figure DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE006
表示数据传输通道的数量；
Figure DEST_PATH_IMAGE008
表示第
Figure DEST_PATH_IMAGE010
个数据传输通道的权重；
Figure DEST_PATH_IMAGE012
表示数据传输通道的能力参数；
Figure DEST_PATH_IMAGE014
表示数据传输通道对应数据接口的协议参数；
Figure DEST_PATH_IMAGE016
表示数据传输通道对应的数据接口的接口类型的类型参数；
Figure DEST_PATH_IMAGE018
表示第
Figure 72247DEST_PATH_IMAGE010
个数据传输通道的带宽；
Figure DEST_PATH_IMAGE020
表示高斯混合模型中第
Figure 317283DEST_PATH_IMAGE010
个数据传输通道的数据接口的数据筛选规则函数；
Figure DEST_PATH_IMAGE022
；
步骤2：检测所述存储文件的传输规则，构建数据源的数据传输函数
Figure DEST_PATH_IMAGE024
：
Figure DEST_PATH_IMAGE026
其中，
Figure DEST_PATH_IMAGE028
表示数据源中存储文件的数量；
Figure DEST_PATH_IMAGE030
表示第
Figure DEST_PATH_IMAGE032
个存储文件的内容特征；
Figure DEST_PATH_IMAGE034
表示第
Figure 143026DEST_PATH_IMAGE032
个存储文件的文件类型；
Figure DEST_PATH_IMAGE036
表示存储文件打包为数据包时的压缩函数；
Figure DEST_PATH_IMAGE038
表示第
Figure 459606DEST_PATH_IMAGE032
个存储文件的数据容量；
Figure DEST_PATH_IMAGE040
表示打包第
Figure 336296DEST_PATH_IMAGE032
个存储文件的压缩比例系数；
Figure DEST_PATH_IMAGE042
为数据源中所有存储文件的总容量；
Figure DEST_PATH_IMAGE044
；
步骤3：根据所述通道传输规则内容筛选函数和数据源的数据传输函数，进行匹配，确定匹配参数
Figure DEST_PATH_IMAGE046
：
Figure DEST_PATH_IMAGE048
当所述匹配参数
Figure DEST_PATH_IMAGE050
时，表示匹配失败，表示第
Figure 611288DEST_PATH_IMAGE032
个存储文件不能够从第
Figure 737376DEST_PATH_IMAGE010
个数据传输通道进行传输；
当所述匹配参数
Figure DEST_PATH_IMAGE052
时，表示匹配成功，表示第
Figure 998593DEST_PATH_IMAGE032
个存储文件能够从第
Figure 136313DEST_PATH_IMAGE010
个数据传输通道进行传输。
2.如权利要求1所述的一种基于多通道的同步分道存储方法，其特征在于，所述预先在存储设备中设置数据传输通道和数据分析驱动程序，包括：
根据所述存储设备，确定所述存储设备的数据接口的接口信息；其中，
所述接口信息包括：接口数量和接口协议；
将所述存储设备划分为通道层和存储层；
根据所述接口数量，在通道层设置对应数量的数据传输通道；
根据所述数据传输通道，将所述存储层和数据接口连通；
根据所述接口协议，在所述数据接口上设置数据分析驱动程序。
3.如权利要求1所述的一种基于多通道的同步分道存储方法，其特征在于，所述通过所述数据分析驱动程序确定待存储数据的数据源，包括：
根据所述存储请求，确定所述存储请求的请求内容；
根据所述请求内容，确定待传输数据的传输路径；
将所述数据分析驱动程序通过所述传输路径传输至所述待传输数据的数据源，并获取数据源信息；其中，
所述数据源信息包括数据源地址、数据源数量和数据源内的待传输数据的数据容量。
4.如权利要求1所述的一种基于多通道的同步分道存储方法，其特征在于，所述通过所述数据分析驱动程序确定待存储数据的数据源，还包括：
根据所述数据分析驱动程序，在所述待存储数据的传输路径上设置逻辑地址；其中，
所述逻辑地址为所述待存储数据在传输过程中的迁移节点地址；
根据所述逻辑地址在所述存储设备中设置对应的物理地址；
将所述逻辑地址和物理地址进行绑定，确定绑定关系；
在所述绑定关系确定后，将数据源与所述逻辑地址进行绑定。
5.如权利要求1所述的一种基于多通道的同步分道存储方法，其特征在于，所述根据所述数据源，确定所述待存储数据的总容量，并获取所述待存储数据的采集时间，包括：
获取所述数据源的数据采集方式，确定所述数据源的待存储数据的采集日志；
根据所述采集日志，判断所述数据源的待存储数据是否采集完成；
当所述数据源的待存储数据采集完成时，确定所述待存储数据的占用空间，将所述占用空间作为所述待存储数据的数据容量，并根据所述采集日志记录所述待存储数据的数据采集时间；
当所述数据源的待存储数据没有采集完成时，监控所述数据源的数据采集状态，直至数据采集完成。
6.如权利要求1所述的一种基于多通道的同步分道存储方法，其特征在于，所述根据所述总容量和数据传输通道的数量，确定每个数据传输通道的可传输容量，包括：
获取每个数据传输通道的通道信息，并确定带宽；
根据所述带宽，确定所有数据传输通道的带宽总和；
根据所述带宽总和和带宽，确定每个数据传输通道的带宽占比；
根据所述带宽占比和总容量，确定每个数据传输通道的必要传输容量，并将所述必要传输容量作为可传输容量。
CN202110231936.5A 2021-03-02 2021-03-02 一种基于多通道的同步分道存储方法 Active CN112860191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110231936.5A CN112860191B (zh) 2021-03-02 2021-03-02 一种基于多通道的同步分道存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110231936.5A CN112860191B (zh) 2021-03-02 2021-03-02 一种基于多通道的同步分道存储方法

Publications (2)

Publication Number Publication Date
CN112860191A CN112860191A (zh) 2021-05-28
CN112860191B true CN112860191B (zh) 2021-10-29

Family

ID=75991068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110231936.5A Active CN112860191B (zh) 2021-03-02 2021-03-02 一种基于多通道的同步分道存储方法

Country Status (1)

Country Link
CN (1) CN112860191B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688132A (zh) * 2021-08-20 2021-11-23 广东电网有限责任公司 数据存储方法、装置、电子设备及存储介质
CN116610268B (zh) * 2023-07-20 2023-11-14 江苏华存电子科技有限公司 一种提高存取速度的数据处理方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199315A (ja) * 2008-02-21 2009-09-03 Toshiba Corp データ収集装置
CN101957800A (zh) * 2010-06-12 2011-01-26 福建星网锐捷网络有限公司 多通道缓存分配方法及装置
CN105407307B (zh) * 2014-09-04 2019-02-05 杭州海康威视数字技术股份有限公司 多通道视频录像数据的处理方法、系统及装置
EP3244325B1 (de) * 2016-05-10 2021-07-07 dSPACE digital signal processing and control engineering GmbH Verfahren zur zeitlich synchronisierten ausgabe und/oder zeitlich synchronisierten verarbeitung von signalen
CN110708377A (zh) * 2019-09-30 2020-01-17 联想(北京)有限公司 一种数据传输方法、装置和存储介质
CN111274315B (zh) * 2020-01-15 2022-09-30 深圳平安医疗健康科技服务有限公司 同步数据通道构建方法、装置、计算机设备和存储介质
CN111679993B (zh) * 2020-05-29 2021-08-17 湖南苍树航天科技有限公司 一种多通道并行同步总线控制器
CN111953782A (zh) * 2020-08-14 2020-11-17 上海曼恒数字技术股份有限公司 一种多通道数据的同步方法、装置、介质及设备
CN112000628B (zh) * 2020-08-21 2024-02-02 西安理工大学 多通道激光雷达数据存储方法、装置及电子设备

Also Published As

Publication number Publication date
CN112860191A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112860191B (zh) 一种基于多通道的同步分道存储方法
CN106850188B (zh) 一种基于多路异构单向传输通道的数据传输系统
CN103248452B (zh) 数据发送装置、数据接收装置、终端和数据传输方法
US10813005B2 (en) Split bearer packet data converge protocol protocol data unit routing
KR101286415B1 (ko) 통신 시스템에서의 패킷 분할 및 연결 시그널링 방법 및장치
CN104410692B (zh) 一种用于重复文件上传的方法和系统
CN104602114A (zh) 传输及接收升级文件的方法、系统、智能电视和遥控器
RU2010117351A (ru) Формат заголовка управления доступом к среде
US20100121910A1 (en) Method and System for Transmitting Data Using Traffic Distribution for Each Line Between Server and Client Connected by Virtual Interface
TWI323586B (en) Device and method for controlling packet flow
CN104967502A (zh) 数据发送方法和装置、数据接收方法和装置
CN112822051B (zh) 基于业务感知的业务加速方法
CN111817977A (zh) 一种网络拥塞控制方法和装置
CN103795564A (zh) 终端以及利用所述终端的网络监控方法
CN110536263A (zh) 一种数据传输方法、装置、第一通信节点及第二通信节点
CN106656679A (zh) 可用带宽测量方法和装置
US20090232123A1 (en) Extended Range Wireless Packetized Data Communication System
CN114363320A (zh) 一种跨网数据回传方法、存储介质和系统
CN107359972B (zh) 一种数据接收方法及装置
CN101404659B (zh) 一种协议数据单元构造和解析的方法及装置
CN115604052A (zh) 车辆通讯交互方法、系统及电子设备
JP2001053619A (ja) 画像データ通信装置
CN101212379A (zh) 无线传输方法、装置及系统
KR101382393B1 (ko) 서버 및 그의 동시접속 제어 방법
CN107360594A (zh) 一种信息处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant