CN110109622A - 一种基于中间件的数据处理方法和相关装置 - Google Patents

一种基于中间件的数据处理方法和相关装置 Download PDF

Info

Publication number
CN110109622A
CN110109622A CN201910350817.4A CN201910350817A CN110109622A CN 110109622 A CN110109622 A CN 110109622A CN 201910350817 A CN201910350817 A CN 201910350817A CN 110109622 A CN110109622 A CN 110109622A
Authority
CN
China
Prior art keywords
data
storage
storage equipment
equipment
memory space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910350817.4A
Other languages
English (en)
Inventor
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910350817.4A priority Critical patent/CN110109622A/zh
Publication of CN110109622A publication Critical patent/CN110109622A/zh
Priority to PCT/CN2019/102727 priority patent/WO2020220534A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及数据存储，公开了一种基于中间件的数据处理方法和相关装置，包括：通过所述中间件从客户端获取第一数据存储指令，其中，所述第一数据存储指令携带第一数据；确定所述第一数据占用的存储空间大小，以得到第一存储空间；将所述第一存储空间与所述第一存储设备的剩余存储空间进行对比；若所述第一存储空间超过所述剩余存储空间，通过所述中间件向第二存储设备发送第二数据存储指令，其中，所述第二数据存储指令携带所述第一数据，所述第二数据存储指令用于指示所述第二存储设备存储所述第一数据。实施本发明实施例，有利于解决不同设备存在的无法兼容的问题，从而实现将超出存储设备存储空间的数据存储到架构不同的其他存储设备中。

Description

一种基于中间件的数据处理方法和相关装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于中间件的数据处理方法和相关装置。
背景技术
随着计算机技术和网络技术的迅猛发展，网络中的各种资源急剧增大。无论是企业还是个人，对存储空间的需求都呈现几何级数增长。小容量的存储设备或单个磁盘的存储容量与存取速度都无法满足人们和企业的存储需求。因此，针对这个问题，人们提出了存储设备。
然而，在这个信息化、数字化的时代，面对现代化企业海量数据的存储需求，一个存储设备的存储空间无法满足现在的存储需求。然而，不同存储设备之间的架构不同，因此，不同设备存在无法兼容的问题，从而导致超出存储设备存储空间的数据不能存储到架构不同的其他存储设备中。
发明内容
本发明实施例提供了一种基于中间件的数据处理方法和相关装置，实施本发明实施例，有利于解决不同设备存在的无法兼容的问题，从而实现将超出存储设备存储空间的数据存储到架构不同的其他存储设备中。
本发明实施例第一方面公开了一种基于中间件的数据处理方法，包括：
第一存储设备通过所述中间件从客户端获取第一数据存储指令，其中，所述第一数据存储指令携带第一数据；
所述第一存储设备确定所述第一数据占用的存储空间大小，以得到第一存储空间；
所述第一存储设备将所述第一存储空间与所述第一存储设备的剩余存储空间进行对比；
若所述第一存储空间超过所述剩余存储空间，所述第一存储设备通过所述中间件向第二存储设备发送第二数据存储指令，其中，所述第二数据存储指令携带所述第一数据，所述第二数据存储指令用于指示所述第二存储设备存储所述第一数据。
本发明实施例第二方面公开了一种基于中间件的数据处理装置，包括：
获取模块，用于通过所述中间件从客户端获取第一数据存储指令，其中，所述第一数据存储指令携带第一数据；
确定模块，用于确定所述第一数据占用的存储空间大小，以得到第一存储空间；
对比模块，用于将所述第一存储空间与所述第一存储设备的剩余存储空间进行对比；
发送模块，用于若所述第一存储空间超过所述剩余存储空间，通过所述中间件向第二存储设备发送第二数据存储指令，其中，所述第二数据存储指令携带所述第一数据，所述第二数据存储指令用于指示所述第二存储设备存储所述第一数据。
可以看出，上述技术方案中，第一存储设备通过中间件从客户端获取第一数据存储指令携带的第一数据，然后，第一存储设备确定第一数据占用的存储空间大小，并得到第一存储空间，紧接着，第一存储设备将所述第一存储空间与第一存储设备的剩余存储空间进行对比，若第一存储空间超过剩余存储空间，第一存储设备通过中间件向第二存储设备发送第二数据存储指令，最后，第二存储设备通过中间件接收第二数据存储指令携带的第一数据，并存储第一数据，从而通过中间件解决了不同设备存在的无法兼容的问题，实现将超出存储设备存储空间的数据存储到架构不同的其他存储设备中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本发明实施例提供的一种基于中间件的数据处理方法的流程示意图；
图2为本发明实施例提供的又一种基于中间件的数据处理方法的流程示意图；
图3为本发明实施例提供的又一种基于中间件的数据处理方法的流程示意图；
图4为本发明实施例提供的一种基于中间件的数据处理装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下分别进行详细说明。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，参见图1，图1为本发明的一个实施例提供的一种基于中间件的数据处理方法的流程示意图。其中，如图1所示，本发明的一个实施例提供的一种基于中间件的数据处理方法可以包括：
101、第一存储设备通过所述中间件从客户端获取第一数据存储指令。
其中，所述第一数据存储指令携带第一数据。
其中，中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。
其中，第一存储设备是用于储存信息的设备。
102、第一存储设备确定所述第一数据占用的存储空间大小，以得到第一存储空间。
103、第一存储设备将所述第一存储空间与所述第一存储设备的剩余存储空间进行对比。
104、若所述第一存储空间超过所述剩余存储空间，第一存储设备通过所述中间件向第二存储设备发送第二数据存储指令。
其中，所述第二数据存储指令携带所述第一数据，所述第二数据存储指令用于指示所述第二存储设备存储所述第一数据。
其中，第二存储设备是用于储存信息的设备。
可选的，第一存储设备的存储架构不同于第二存储设备的存储架构。
举例来说，在第一存储设备的存储架构不同于第二存储设备的存储架构时，第一存储设备调用中间件的接口获取客户端的第一数据存储指令，在第一存储空间超过第一存储设备的剩余存储空间时，第一存储设备调用中间件的接口实现将第二数据存储指令发送至第二存储设备，从而将第一数据存储在第二存储设备。
参见图2，图2为本发明的一个实施例提供的一种基于中间件的数据处理方法的流程示意图。其中，如图2所示，本发明的一个实施例提供的一种基于中间件的数据处理方法可以包括：
201、第一存储设备通过所述中间件从客户端获取第一数据存储指令。
其中，所述第一数据存储指令携带第一数据。
其中，中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。
其中，第一存储设备是用于储存信息的设备。
202、第一存储设备确定所述第一数据占用的存储空间大小，以得到第一存储空间。
可选的，第一方面，在本发明的一种可能的实施方式中，所述第一数据存储指令携带第一校验码和第一数据标识，在所述第一存储设备确定所述第一数据占用的存储空间大小，以得到第一存储空间之前，包括：
所述第一存储设备对所述第一数据调用校验接口以生成第二校验码；
所述第一存储设备将所述第一校验码与所述第二校验码进行对比；
在所述第一校验码与所述第二校验码相同时，所述第一存储设备则确定与所述第一数据标识匹配的数据处理优先级；
所述第一存储设备将所述数据处理优先级与预设数据处理优先级进行对比；
在所述数据处理优先级低于所述预设数据处理优先级时，所述第一存储设备监测数据处理进程是否处于忙碌状态；
若所述数据处理进程处于忙碌状态，所述第一存储设备则将所述第一数据放入排队队列。
其中，数据处理优先级可以由用户事先设定。或者数据处理优先级也可由所述第一存储设备根据预设策略来确定，例如，客户端包括系统软件、游戏软件、通讯软件等，那么系统软件产生的数据对应的数据处理优先级最高，游戏软件产生的数据对应的数据处理优先级最低，其他软件产生的数据对应的数据处理优先级居中。当然，本发明的实施例中不限定数据处理优先级的确定方式。
例如，数据处理优先级可记录在配置文件中，可通过查询配置文件来确定与所述第一数据标识匹配的数据处理优先级。
可以看出，上述技术方案中，通过比较第一校验码与第二校验码，来确定第一数据是否完整，从而判定第一数据对应的数据处理优先级，当数据处理优先级低于预设数据处理优先级时，第一存储设备监测数据处理进程是否处于忙碌状态，若忙碌，第一存储设备则将第一数据放入排队队列，实现了数据的校验，在校验通过时，判定第一数据对应的数据处理优先级，并监测数据处理进程是否处于忙碌状态，从而实现第一存储设备快速的处理数据。
可选的，基于第一方面的第一种可能的实施方式中，还包括：
在所述第一校验码与所述第二校验码不同时，所述第一存储设备则通过所述中间件向所述客户端发送第一数据请求指令，所述第一数据请求指令用于指示所述客户端通过所述中间件发送所述第一数据。
可选的，基于第一方面或第一方面的第一种可能的实施方式，第一方面的第二种可能的实施方式中，所述第一存储设备确定所述第一数据占用的存储空间大小，以得到第一存储空间，包括：
在所述数据处理优先级超过所述预设数据处理优先级时，所述第一存储设备计算所述第一数据占用的字节数，以得到第一字节；
所述第一存储设备确定与所述第一字节匹配的第一存储空间。
可选的，基于第一方面或第一方面的第一种或第二种可能的实施方式，第一方面的第三种可能的实施方式中，所述第一数据包括视频数据，在所述数据处理优先级超过所述预设数据处理优先级时，所述第一存储设备计算所述第一数据占用的字节数，以得到第一字节，包括：
S1：在所述数据处理优先级超过所述预设数据处理优先级时，所述第一存储设备解析所述视频数据，以得到K个图像帧，其中，K为正整数；
S2：所述第一存储设备将i设置为初始值为1的整数；
S3：所述第一存储设备检测i是否小于或等于K，若是，则执行步骤S4，若否，则执行步骤S7；
S4：所述第一存储设备统计所述K个图像帧中的第i个图像帧的长度Xi和宽度Yi，其中，Xi和Yi均大于零，长度和宽度的单位为像素；
S5：所述第一存储设备按照Xi*Yi*单位像素占用的字节数计算第i个图像帧占用的字节数，以得到所述第一字节中的第i个字节，其中，所述单位像素占用的字节数由所述第一存储设备按照预设策略配置得到；
S6：所述第一存储设备将(i+1)赋值给i，返回执行步骤S3；
S7：所述第一存储设备结束计算图像帧占用的字节数。
其中，K例如可等于1、2、3、5、6、11、13、20或其他值。
其中，i例如可等于1、2、3、5、6、11、13、20或其他值。
其中，Xi例如可等于1、2.1、3、5、6.6、11、13、20或其他值。
其中，Yi例如可等于1、2.1、3、5、6、11.5、13、20或其他值。
可选的，基于第一方面或第一方面的第一种或第二种或第三种可能的实施方式，第一方面的第四种可能的实施方式中，还包括：
若所述第一存储空间低于所述剩余存储空间，所述第一存储设备确定与所述第一数据标识匹配的访问频率；
所述第一存储设备将所述访问频率与预设访问频率进行对比；
在所述访问频率超过所述预设访问频率时，所述第一存储设备则选取与所述访问频率匹配的高访问频率存储区域存储所述第一数据。
可选的，基于第一方面或第一方面的第一种或第二种或第三种或第四种可能的实施方式，第一方面的第五种可能的实施方式中，还包括：
在所述访问频率低于所述预设访问频率时，所述第一存储设备则设置存储期限，其中，所述存储期限为所述第一数据存储在所述第一存储设备的时间；
在所述存储期限落入预设存储期限范围时，所述第一存储设备选取与所述访问频率匹配的低访问频率存储区域存储所述第一数据。
其中，访问频率越高，存储所述第一数据的存储区域对应的访问频率也越高。
可选的，基于第一方面或第一方面的第一种或第二种或第三种或第四种或第五种可能的实施方式，第一方面的第六种可能的实施方式中，还包括：
所述第一存储设备确定与所述第一数据标识匹配的重要等级；
所述第一存储设备将所述重要等级与预设重要等级进行对比；
在所述重要等级超过所述预设重要等级时，所述第一存储设备通过所述中间件向第三存储设备发送第三数据存储指令，其中，所述第三数据存储指令携带所述第一数据，所述第三数据存储指令用于指示所述第三存储设备存储所述第一数据。
其中，第三存储设备是用于储存信息的设备。
可以看出，上述技术方案中，第一存储设备确定与第一数据标识匹配的重要等级，在重要等级超过预设重要等级时，第一存储设备通过中间件向第三存储设备发送第三数据存储指令，以便于第三存储设备存储第一数据，从而实现对重要数据的备份。
203、第一存储设备将所述第一存储空间与所述第一存储设备的剩余存储空间进行对比。
204、若所述第一存储空间超过所述剩余存储空间，第一存储设备通过所述中间件向第二存储设备发送第二数据存储指令。
其中，所述第二数据存储指令携带所述第一数据，所述第二数据存储指令用于指示所述第二存储设备存储所述第一数据。
其中，第二存储设备是用于储存信息的设备。
可选的，第一存储设备的存储架构不同于第二存储设备的存储架构。
举例来说，在第一存储设备的存储架构不同于第二存储设备的存储架构时，第一存储设备调用中间件的接口获取客户端的第一数据存储指令，在第一存储空间超过第一存储设备的剩余存储空间时，第一存储设备调用中间件的接口实现将第二数据存储指令发送至第二存储设备，从而将第一数据存储在第二存储设备。
参见图3，图3为本发明的一个实施例提供的一种基于中间件的数据处理方法的流程示意图。其中，如图3所示，本发明的一个实施例提供的一种基于中间件的数据处理方法可以包括：
301、第一存储设备通过所述中间件从客户端获取第一数据存储指令。
其中，所述第一数据存储指令携带第一数据。
其中，中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。
其中，第一存储设备是用于储存信息的设备。
302、第一存储设备确定所述第一数据占用的存储空间大小，以得到第一存储空间。
可选的，第一方面，在本发明的一种可能的实施方式中，所述第一数据存储指令携带第一校验码和第一数据标识，在所述第一存储设备确定所述第一数据占用的存储空间大小，以得到第一存储空间之前，包括：
所述第一存储设备对所述第一数据调用校验接口以生成第二校验码；
所述第一存储设备将所述第一校验码与所述第二校验码进行对比；
在所述第一校验码与所述第二校验码相同时，所述第一存储设备则确定与所述第一数据标识匹配的数据处理优先级；
所述第一存储设备将所述数据处理优先级与预设数据处理优先级进行对比；
在所述数据处理优先级低于所述预设数据处理优先级时，所述第一存储设备监测数据处理进程是否处于忙碌状态；
若所述数据处理进程处于忙碌状态，所述第一存储设备则将所述第一数据放入排队队列。
其中，数据处理优先级可以由用户事先设定。或者数据处理优先级也可由所述第一存储设备根据预设策略来确定，例如，客户端包括系统软件、游戏软件、通讯软件等，那么系统软件产生的数据对应的数据处理优先级最高，游戏软件产生的数据对应的数据处理优先级最低，其他软件产生的数据对应的数据处理优先级居中。当然，本发明的实施例中不限定数据处理优先级的确定方式。
例如，数据处理优先级可记录在配置文件中，可通过查询配置文件来确定与所述第一数据标识匹配的数据处理优先级。
可以看出，上述技术方案中，通过比较第一校验码与第二校验码，来确定第一数据是否完整，从而判定第一数据对应的数据处理优先级，当数据处理优先级低于预设数据处理优先级时，第一存储设备监测数据处理进程是否处于忙碌状态，若忙碌，第一存储设备则将第一数据放入排队队列，实现了数据的校验，在校验通过时，判定第一数据对应的数据处理优先级，并监测数据处理进程是否处于忙碌状态，从而实现第一存储设备快速的处理数据。
可选的，基于第一方面的第一种可能的实施方式中，还包括：
在所述第一校验码与所述第二校验码不同时，所述第一存储设备则通过所述中间件向所述客户端发送第一数据请求指令，所述第一数据请求指令用于指示所述客户端通过所述中间件发送所述第一数据。
可选的，基于第一方面或第一方面的第一种可能的实施方式，第一方面的第二种可能的实施方式中，所述第一存储设备确定所述第一数据占用的存储空间大小，以得到第一存储空间，包括：
在所述数据处理优先级超过所述预设数据处理优先级时，所述第一存储设备计算所述第一数据占用的字节数，以得到第一字节；所述第一存储设备确定与所述第一字节匹配的第一存储空间；
或者，若所述数据处理进程未处于忙碌状态，所述第一存储设备计算所述第一数据占用的字节数，以得到第一字节；所述第一存储设备确定与所述第一字节匹配的第一存储空间。
可选的，基于第一方面或第一方面的第一种或第二种可能的实施方式，第一方面的第三种可能的实施方式中，所述第一数据包括视频数据，在所述数据处理优先级超过所述预设数据处理优先级时，所述第一存储设备计算所述第一数据占用的字节数，以得到第一字节，包括：
S1：在所述数据处理优先级超过所述预设数据处理优先级时，所述第一存储设备解析所述视频数据，以得到K个图像帧，其中，K为正整数；
S2：所述第一存储设备将i设置为初始值为1的整数；
S3：所述第一存储设备检测i是否小于或等于K，若是，则执行步骤S4，若否，则执行步骤S7；
S4：所述第一存储设备统计所述K个图像帧中的第i个图像帧的长度Xi和宽度Yi，其中，Xi和Yi均大于零，长度和宽度的单位为像素；
S5：所述第一存储设备按照Xi*Yi*单位像素占用的字节数计算第i个图像帧占用的字节数，以得到所述第一字节中的第i个字节，其中，所述单位像素占用的字节数由所述第一存储设备按照预设策略配置得到；
S6：所述第一存储设备将(i+1)赋值给i，返回执行步骤S3；
S7：所述第一存储设备结束计算图像帧占用的字节数。
其中，K例如可等于1、2、3、5、6、11、13、20或其他值。
其中，i例如可等于1、2、3、5、6、11、13、20或其他值。
其中，Xi例如可等于1、2.1、3、5、6.6、11、13、20或其他值。
其中，Yi例如可等于1、2.1、3、5、6、11.5、13、20或其他值。
可选的，基于第一方面或第一方面的第一种或第二种可能的实施方式，第一方面的第三种可能的实施方式中，所述第一数据包括日志，在所述数据处理优先级超过所述预设数据处理优先级时，所述第一存储设备计算所述第一数据占用的字节数，以得到第一字节，包括：
所述第一存储设备解析所述日志，以得到所述日志中的无效文本；
所述第一存储设备删除所述无效文本，以得到所述日志中的有效文本；
所述第一存储设备确定所述有效文本占用的字节数，以得到所述第一字节；
所述第一存储设备确定与所述第一字节匹配的第一存储空间。
其中，日志中的无效文本例如可以包括空格、注释或者特殊的标识符号。
可选的，基于第一方面或第一方面的第一种或第二种或第三种或第四种可能的实施方式，第一方面的第五种可能的实施方式中，还包括：
所述第一存储设备确定与所述第一数据标识匹配的重要等级；
所述第一存储设备将所述重要等级与预设重要等级进行对比；
在所述重要等级超过所述预设重要等级时，所述第一存储设备通过所述中间件向第三存储设备发送第三数据存储指令，其中，所述第三数据存储指令携带所述第一数据，所述第三数据存储指令用于指示所述第三存储设备存储所述第一数据。
其中，第三存储设备是用于储存信息的设备。
可以看出，上述技术方案中，第一存储设备确定与第一数据标识匹配的重要等级，在重要等级超过预设重要等级时，第一存储设备通过中间件向第三存储设备发送第三数据存储指令，以便于第三存储设备存储第一数据，从而实现对重要数据的备份。
303、第一存储设备将所述第一存储空间与所述第一存储设备的剩余存储空间进行对比。
304、若所述第一存储空间超过所述剩余存储空间，第一存储设备通过所述中间件向第二存储设备发送第二数据存储指令。
其中，所述第二数据存储指令携带所述第一数据，所述第二数据存储指令用于指示所述第二存储设备存储所述第一数据。
其中，第二存储设备是用于储存信息的设备。
可选的，第一存储设备的存储架构不同于第二存储设备的存储架构。
举例来说，在第一存储设备的存储架构不同于第二存储设备的存储架构时，第一存储设备调用中间件的接口获取客户端的第一数据存储指令，在第一存储空间超过第一存储设备的剩余存储空间时，第一存储设备调用中间件的接口实现将第二数据存储指令发送至第二存储设备，从而将第一数据存储在第二存储设备。
305、若所述第一存储空间低于所述剩余存储空间，第一存储设备确定与所述第一数据标识匹配的访问频率。
306、第一存储设备将所述访问频率与预设访问频率进行对比。
307、在所述访问频率超过所述预设访问频率时，第一存储设备则选取与所述访问频率匹配的高访问频率存储区域存储所述第一数据。
其中，访问频率越高，存储所述第一数据的存储区域对应的访问频率也越高。
308、在所述访问频率低于所述预设访问频率时，所述第一存储设备则设置存储期限。
其中，所述存储期限为所述第一数据存储在所述第一存储设备的时间。
309、在所述存储期限落入预设存储期限范围时，所述第一存储设备选取与所述访问频率匹配的低访问频率存储区域存储所述第一数据。
可选的，在本发明一种可能的实施方式中，还包括：
在所述存储期限超出所述预设存储期限范围时，所述第一存储设备通过所述中间件向所述客户端发送数据删除请求指令，其中，所述数据删除请求指令携带所述第一数据标识，所述数据删除请求指令用于指示所述客户端通过所述第一数据标识生成确认删除指令；
在通过所述中间件获取所述客户端发送的所述确认删除指令时，所述第一存储设备删除所述第一数据。
可以看出，上述技术方案中，通过设置存储期限，在存储期限超出预设存储期限范围时，第一存储设备通过中间件向客户端发送数据删除请求指令，在第一存储设备在接收到确认删除指令，删除第一数据，从而实现对访问频率较低的数据进行实时删除，节省存储空间。
参见图4，图4为本发明的一个实施例提供的一种基于中间件的数据处理装置的示意图。其中，如图4所示，本发明的一个实施例提供的一种基于中间件的数据处理装置400可以包括：
获取模块401，用于通过所述中间件从客户端获取第一数据存储指令。
其中，所述第一数据存储指令携带第一数据。
其中，中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。
其中，第一存储设备是用于储存信息的设备。
确定模块402，用于确定所述第一数据占用的存储空间大小，以得到第一存储空间。
对比模块403，用于将所述第一存储空间与所述第一存储设备的剩余存储空间进行对比。
发送模块404，用于若所述第一存储空间超过所述剩余存储空间，通过所述中间件向第二存储设备发送第二数据存储指令。
其中，所述第二数据存储指令携带所述第一数据，所述第二数据存储指令用于指示所述第二存储设备存储所述第一数据。
其中，第二存储设备是用于储存信息的设备。
可选的，第一存储设备的存储架构不同于第二存储设备的存储架构。
举例来说，在第一存储设备的存储架构不同于第二存储设备的存储架构时，第一存储设备调用中间件的接口获取客户端的第一数据存储指令，在第一存储空间超过第一存储设备的剩余存储空间时，第一存储设备调用中间件的接口实现将第二数据存储指令发送至第二存储设备，从而将第一数据存储在第二存储设备。
本发明实施例还提供一种基于中间件的数据处理的电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，以执行上述方法实施例中任何一种基于中间件的数据处理方法中的步骤的指令。
本发明实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质用于存储计算机程序，所述存储计算机程序被所述处理器执行，所述程序执行时包括上述方法实施例中记载的任何一种基于中间件的数据处理方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应所述知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应所述知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应所述理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性或者其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的全部或部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于中间件的数据处理方法，其特征在于，包括：
第一存储设备通过所述中间件从客户端获取第一数据存储指令，其中，所述第一数据存储指令携带第一数据；
所述第一存储设备确定所述第一数据占用的存储空间大小，以得到第一存储空间；
所述第一存储设备将所述第一存储空间与所述第一存储设备的剩余存储空间进行对比；
若所述第一存储空间超过所述剩余存储空间，所述第一存储设备通过所述中间件向第二存储设备发送第二数据存储指令，其中，所述第二数据存储指令携带所述第一数据，所述第二数据存储指令用于指示所述第二存储设备存储所述第一数据。
2.根据权利要求1所述的方法，其特征在于，所述第一数据存储指令携带第一校验码和第一数据标识，在所述第一存储设备确定所述第一数据占用的存储空间大小，以得到第一存储空间之前，包括：
所述第一存储设备对所述第一数据调用校验接口以生成第二校验码；
所述第一存储设备将所述第一校验码与所述第二校验码进行对比；
在所述第一校验码与所述第二校验码相同时，所述第一存储设备则确定与所述第一数据标识匹配的数据处理优先级；
所述第一存储设备将所述数据处理优先级与预设数据处理优先级进行对比；
在所述数据处理优先级低于所述预设数据处理优先级时，所述第一存储设备监测数据处理进程是否处于忙碌状态；
若所述数据处理进程处于忙碌状态，所述第一存储设备则将所述第一数据放入排队队列。
3.根据权利要求1或2所述的方法，其特征在于，所述第一存储设备确定所述第一数据占用的存储空间大小，以得到第一存储空间，包括：
在所述数据处理优先级超过所述预设数据处理优先级时，所述第一存储设备计算所述第一数据占用的字节数，以得到第一字节；所述第一存储设备确定与所述第一字节匹配的第一存储空间；
或者，若所述数据处理进程未处于忙碌状态，所述第一存储设备计算所述第一数据占用的字节数，以得到第一字节；所述第一存储设备确定与所述第一字节匹配的第一存储空间。
4.根据权利要求3所述的方法，其特征在于，所述第一数据包括视频数据，在所述数据处理优先级超过所述预设数据处理优先级时，所述第一存储设备计算所述第一数据占用的字节数，以得到第一字节，包括：
S1：在所述数据处理优先级超过所述预设数据处理优先级时，所述第一存储设备解析所述视频数据，以得到K个图像帧，其中，K为正整数；
S2：所述第一存储设备将i设置为初始值为1的整数；
S3：所述第一存储设备检测i是否小于或等于K，若是，则执行步骤S4，若否，则执行步骤S7；
S4：所述第一存储设备统计所述K个图像帧中的第i个图像帧的长度Xi和宽度Yi，其中，Xi和Yi均大于零，长度和宽度的单位为像素；
S5：所述第一存储设备按照Xi*Yi*单位像素占用的字节数计算第i个图像帧占用的字节数，以得到所述第一字节中的第i个字节，其中，所述单位像素占用的字节数由所述第一存储设备按照预设策略配置得到；
S6：所述第一存储设备将(i+1)赋值给i，返回执行步骤S3；
S7：所述第一存储设备结束计算图像帧占用的字节数。
5.根据权利要求4所述的方法，其特征在于，还包括：
若所述第一存储空间低于所述剩余存储空间，所述第一存储设备确定与所述第一数据标识匹配的访问频率；
所述第一存储设备将所述访问频率与预设访问频率进行对比；
在所述访问频率超过所述预设访问频率时，所述第一存储设备则选取与所述访问频率匹配的高访问频率存储区域存储所述第一数据。
6.根据权利5所述的方法，其特征在于，还包括：
在所述访问频率低于所述预设访问频率时，所述第一存储设备则设置存储期限，其中，所述存储期限为所述第一数据存储在所述第一存储设备的时间；
在所述存储期限落入预设存储期限范围时，所述第一存储设备选取与所述访问频率匹配的低访问频率存储区域存储所述第一数据。
7.根据权利6所述的方法，其特征在于，还包括：
在所述存储期限超出所述预设存储期限范围时，所述第一存储设备通过所述中间件向所述客户端发送数据删除请求指令，其中，所述数据删除请求指令携带所述第一数据标识，所述数据删除请求指令用于指示所述客户端通过所述第一数据标识生成确认删除指令；
在通过所述中间件获取所述客户端发送的所述确认删除指令时，所述第一存储设备删除所述第一数据。
8.一种基于中间件的数据处理装置，其特征在于，包括：
获取模块，用于通过所述中间件从客户端获取第一数据存储指令，其中，所述第一数据存储指令携带第一数据；
确定模块，用于确定所述第一数据占用的存储空间大小，以得到第一存储空间；
对比模块，用于将所述第一存储空间与所述第一存储设备的剩余存储空间进行对比；
发送模块，用于若所述第一存储空间超过所述剩余存储空间，通过所述中间件向第二存储设备发送第二数据存储指令，其中，所述第二数据存储指令携带所述第一数据，所述第二数据存储指令用于指示所述第二存储设备存储所述第一数据。
9.一种基于中间件的数据处理的电子设备，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，以执行权利要求1-7任一项方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述存储计算机程序被所述处理器执行，以实现权利要求1-7任一项所述的方法。
CN201910350817.4A 2019-04-28 2019-04-28 一种基于中间件的数据处理方法和相关装置 Pending CN110109622A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910350817.4A CN110109622A (zh) 2019-04-28 2019-04-28 一种基于中间件的数据处理方法和相关装置
PCT/CN2019/102727 WO2020220534A1 (zh) 2019-04-28 2019-08-27 一种基于中间件的数据处理方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910350817.4A CN110109622A (zh) 2019-04-28 2019-04-28 一种基于中间件的数据处理方法和相关装置

Publications (1)

Publication Number Publication Date
CN110109622A true CN110109622A (zh) 2019-08-09

Family

ID=67487110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910350817.4A Pending CN110109622A (zh) 2019-04-28 2019-04-28 一种基于中间件的数据处理方法和相关装置

Country Status (2)

Country Link
CN (1) CN110109622A (zh)
WO (1) WO2020220534A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020220534A1 (zh) * 2019-04-28 2020-11-05 平安科技（深圳）有限公司 一种基于中间件的数据处理方法和相关装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1192555A (zh) * 1996-12-06 1998-09-09 三洋电机株式会社 信息存储控制方法和装置及有该控制功能的信息存储装置
CN102508789A (zh) * 2011-10-14 2012-06-20 浪潮电子信息产业股份有限公司 一种系统分级存储的方法
CN102917005A (zh) * 2012-08-28 2013-02-06 大唐软件技术股份有限公司 一种支持事务的海量存储访问方法及装置
CN103023963A (zh) * 2012-10-31 2013-04-03 浪潮集团有限公司 一种用于云存储资源优化分配的方法
CN103092927A (zh) * 2012-12-29 2013-05-08 华中科技大学 一种分布式环境下的文件快速读写方法
US20140047119A1 (en) * 2007-03-30 2014-02-13 International Business Machines Corporation Method and system for modeling and analyzing computing resource requirements of software applications in a shared and distributed computing environment
CN104205780A (zh) * 2014-01-23 2014-12-10 华为技术有限公司 一种存储数据的方法和装置
CN105956035A (zh) * 2016-04-25 2016-09-21 乐视控股（北京）有限公司 一种文件存储方法及装置
CN106598495A (zh) * 2016-12-07 2017-04-26 深圳市深信服电子科技有限公司 一种混合存储服务质量的控制方法及控制装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295268B (zh) * 2007-04-27 2011-03-02 国际商业机器公司 面向软件系统的分区存储器转储方法和装置
WO2017100288A1 (en) * 2015-12-08 2017-06-15 Ultrata, Llc. Memory fabric operations and coherency using fault tolerant objects
CN110109622A (zh) * 2019-04-28 2019-08-09 平安科技（深圳）有限公司 一种基于中间件的数据处理方法和相关装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1192555A (zh) * 1996-12-06 1998-09-09 三洋电机株式会社 信息存储控制方法和装置及有该控制功能的信息存储装置
US20140047119A1 (en) * 2007-03-30 2014-02-13 International Business Machines Corporation Method and system for modeling and analyzing computing resource requirements of software applications in a shared and distributed computing environment
CN102508789A (zh) * 2011-10-14 2012-06-20 浪潮电子信息产业股份有限公司 一种系统分级存储的方法
CN102917005A (zh) * 2012-08-28 2013-02-06 大唐软件技术股份有限公司 一种支持事务的海量存储访问方法及装置
CN103023963A (zh) * 2012-10-31 2013-04-03 浪潮集团有限公司 一种用于云存储资源优化分配的方法
CN103092927A (zh) * 2012-12-29 2013-05-08 华中科技大学 一种分布式环境下的文件快速读写方法
CN104205780A (zh) * 2014-01-23 2014-12-10 华为技术有限公司 一种存储数据的方法和装置
CN105956035A (zh) * 2016-04-25 2016-09-21 乐视控股（北京）有限公司 一种文件存储方法及装置
CN106598495A (zh) * 2016-12-07 2017-04-26 深圳市深信服电子科技有限公司 一种混合存储服务质量的控制方法及控制装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020220534A1 (zh) * 2019-04-28 2020-11-05 平安科技（深圳）有限公司 一种基于中间件的数据处理方法和相关装置

Also Published As

Publication number Publication date
WO2020220534A1 (zh) 2020-11-05

Similar Documents

Publication Publication Date Title
CN110276182B (zh) Api分布式限流的实现方法
CN104601696B (zh) 服务处理方法、服务调用系统、装置和系统
CN104424229B (zh) 一种多维度拆分的计算方法及系统
CN109743358A (zh) 异步消息接口熔断控制方法、装置、计算机设备及存储介质
CN103607424B (zh) 一种服务器连接方法及服务器系统
CN108133031A (zh) 一种过滤推荐视频候选结果的方法及装置
CN110110006A (zh) 数据管理方法及相关产品
CN107040578A (zh) 数据同步方法、装置和系统
CN108959505A (zh) 一种管理缓存图片的方法及终端设备
CN107301091A (zh) 资源分配方法和装置
CN108600300A (zh) 日志数据处理方法及装置
CN108667719A (zh) 一种实时消息传递方法及系统
CN108418874A (zh) 跨广域网数据回导方法、装置、计算机设备及存储介质
CN104579765A (zh) 一种集群系统的容灾方法和装置
CN109062697A (zh) 一种提供空间分析服务的方法和装置
CN109685336A (zh) 催收任务分配方法、装置、计算机设备及存储介质
CN114070791B (zh) 数据流量的限速处理方法及装置
CN108683528A (zh) 一种数据传输方法、中心服务器、服务器及数据传输系统
CN111314747B (zh) 一种资源停播控制方法、装置、设备及存储介质
CN106991070A (zh) 实时计算方法及装置
CN110109622A (zh) 一种基于中间件的数据处理方法和相关装置
CN110519782A (zh) 一种通信网多通道选择方法及装置
CN106506647A (zh) 一种客户端具有数据备份装置的智慧社区云存储系统
CN107800999A (zh) 一种混合接入摄像机和视频平台的方法和系统
CN114390015B (zh) 一种基于物模型的数据推送系统、方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190809