CN110825314B - 一种数据调度方法及装置 - Google Patents
一种数据调度方法及装置 Download PDFInfo
- Publication number
- CN110825314B CN110825314B CN201810911802.6A CN201810911802A CN110825314B CN 110825314 B CN110825314 B CN 110825314B CN 201810911802 A CN201810911802 A CN 201810911802A CN 110825314 B CN110825314 B CN 110825314B
- Authority
- CN
- China
- Prior art keywords
- solid state
- data
- state disk
- disk
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000007787 solid Substances 0.000 claims abstract description 258
- 238000012544 monitoring process Methods 0.000 claims abstract description 28
- 238000004140 cleaning Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 238000012806 monitoring device Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
- G06F3/0676—Magnetic disk device
Abstract
本申请实施例提供的数据调度方法及装置,涉及监控系统领域,所述方法将读取数据的请求发送到所述固态硬盘;检测所述数据的存储位置;若检测到所述数据存储在所述固态硬盘,对所述固态硬盘的工作状态进行检测;根据所述固态硬盘的工作状态,将所述数据从所述固态硬盘中读取到所述内存中;若检测到所述数据存储在所述机械硬盘,将所述数据从所述机械硬盘中读取到所述内存中。在上述方法中,采用机械硬盘和固态硬盘混合储存的方式,在读取用户所需的数据(比如,音视频数据)到内存时,既可以利用机械硬盘的大存储空间,又可以利用固态硬盘的快速读写数据的优点,提高了数据传输的效率。
Description
技术领域
本发明涉及监控系统领域,具体而言,涉及一种数据调度方法及装置。
背景技术
在监控系统高速发展的今天,对监控设备的储存要求也是越来越高。在商场、学校、办公楼等地方都需要设置监控设备,而监控设备存储音视频数据的能力,以及读写音视频数据的能力都会影响到整个监控系统的性能。
目前监控系统中的存储设备,以采用机械硬盘为主。机械硬盘即传统普通硬盘,主要由:盘片,磁头,盘片转轴及控制电机,磁头控制器,数据转换器,接口,缓存等几个部分组成。磁头可沿盘片的半径方向运动,盘片每分钟几千转高速旋转,磁头通过定位在盘片的指定位置上进行数据的读写操作。
在监控系统中,音视频数据存储量大、且音视频数据写入或读取操作频繁。随着音视频数据存储路数的增加,音视频数据的写入量也随之加大,在写入速度超过机械硬盘写入速度临界值时,会达到机械硬盘的写性能瓶颈。而在监控的录像备份过程中,音视频数据高速下载等业务场合,在读取速度超过机械硬盘的读取速度临界值时,会达到机械硬盘的读性能瓶颈。
近年来,随着固态硬盘的迅速发展,固态硬盘容量也不断增大,同时价格也逐步下降,在一些不需要长时间录像存储的应用场合,固态硬盘的容量已基本可以满足监控业务的需求。因此,基于固态硬盘的存储设备在监控业务中开始得到应用。
监控业务中,如果需要长时间多路数的音视频数据存储,仅用固态硬盘是不能满足需求,同时存储成本也非常高。对于监控业务,音视频数据的写入是持续进行的,同时音视频数据在存储设备中也是循环复写的。因此,不加约束的数据擦写,将缩短固态硬盘的使用寿命,导致存储设备不可用。必须结合监控业务的音视频数据特点,对擦除和写入数据的方式进行优化。
有鉴于此,如何实现大容量、高速传输、低成本的存储音视频数据成为本领域技术人员急需要解决的技术问题。
发明内容
本发明的目的在于提供一种数据调度方法及装置。
第一方面,本申请实施例描述一种数据调度方法,应用于监控设备,所述监控设备包括固态硬盘、机械硬盘和内存,所述方法包括:
将读取数据的请求发送到所述固态硬盘;
检测所述数据的存储位置;
若检测到所述数据存储在所述固态硬盘,对所述固态硬盘的工作状态进行检测;
根据所述固态硬盘的工作状态,将所述数据从所述固态硬盘中读取到所述内存中;
若检测到所述数据存储在所述机械硬盘,将所述数据从所述机械硬盘中读取到所述内存中。
可选地,在本实施例中,所述方法还包括:
将写入数据的请求发送到所述内存;
检测所述固态硬盘的存储空间是否充足;
在所述固态硬盘的存储空间充足时,检测所述固态硬盘的工作状态,或在所述固态硬盘的存储空间不充足时,清理所述固态硬盘后,检测所述固态硬盘的工作状态;
若所述固态硬盘的工作状态为空闲,将所述数据从所述内存写入所述固态硬盘,若所述固态硬盘的工作状态为非空闲,则等待述固态硬盘的工作状态为空闲时,将所述数据从所述内存写入所述固态硬盘。
可选地,在本实施例中,所述根据所述固态硬盘的工作状态,将所述数据从所述固态硬盘中读取到所述内存中,包括:
若固态硬盘的工作状态为空闲,将所述数据从所述固态硬盘中读取到所述内存中;若固态硬盘的工作状态为非空闲,则等待所述固态硬盘的工作状态为空闲时,将所述数据从所述固态硬盘中读取到所述内存中。
可选地,在本实施例中,若检测到所述数据存储在所述机械硬盘,将所述数据从所述机械硬盘中读取到所述内存中,包括:
若所述固态硬盘的存储空间充足,将所述数据从所述机械硬盘读取到所述固态硬盘,并将所述数据从所述固态硬盘读取到所述内存;若所述固态硬盘的存储空间不充足,清理所述固态硬盘,将所述数据从所述机械硬盘读取到所述内存。
可选地,在本实施例中,所述清理所述固态硬盘的步骤,包括:
根据数据在固态硬盘中存储的周期、数据被访问的频次或数据被修改后的状态计算数据优先级;
基于计算的数据优先级顺序清理所述固态硬盘中数据。
第二方面,本申请实施例还提供一种数据调度装置,应用于监控设备,所述监控设备包括固态硬盘、机械硬盘和内存;
所述数据调度装置包括:
发送模块,用于将读取数据的请求发送到所述固态硬盘;
检测模块,用于检测所述数据的存储位置;若检测到所述数据存储在所述固态硬盘,对所述固态硬盘的工作状态进行检测;
读取模块,用于根据所述固态硬盘的工作状态,将所述数据从所述固态硬盘中读取到所述内存中;
所述读取模块,还用于若检测到所述数据存储在所述机械硬盘,将所述数据从所述机械硬盘中读取到所述内存中。
可选地,在本实施例中,所述数据调度装置还包括:写入模块;
所述发送模块,用于将写入数据的请求发送到所述内存;
所述检测模块,还用于检测所述固态硬盘的存储空间是否充足;
所述检测模块,还用于在所述固态硬盘的储存空间充足时,检测所述固态硬盘的工作状态是否空闲;所述固态硬盘的储存空间不充足时,清理固态硬盘,然后再检测所述固态硬盘工作状态是否空闲;
所述检测模块,还用于检测所述固态硬盘的工作状态;
所述写入模块,用于所述固态硬盘工作状态空闲时,将所述内存中储存的数据写入所述固态硬盘;
所述写入模块,还用于若所述固态硬盘工作状态非空闲,则等待述固态硬盘的工作状态为空闲时,将所述数据从所述内存写入所述固态硬盘。
可选地,在本实施例中,所述读取模块具体用于:
若固态硬盘的工作状态为空闲,将所述数据从所述固态硬盘中读取到所述内存中;若固态硬盘的工作状态为非空闲,则等待所述固态硬盘的工作状态为空闲时,将则将所述数据从所述固态硬盘中读取到所述内存中。
可选地,在本实施例中,所述读取模块具体用于:
若所述固态硬盘的存储空间充足,将所述数据从所述机械硬盘读取到所述固态硬盘,并将所述数据从所述固态硬盘读取到所述内存;若所述固态硬盘的存储空间不充足,清理所述固态硬盘,将所述数据从所述机械硬盘读取到所述内存。
可选地,在本实施例中,所述读取模块清理所述固态硬盘的方式包括:
根据数据在固态硬盘中存储的周期、数据被访问的频次或数据被修改后的状态计算数据优先级;
基于计算的数据优先级顺序清理所述固态硬盘中数据。
相比现有技术,本发明提供的的有益效果是:
本申请实施例提供的数据调度方法及装置,涉及监控系统领域,所述方法将读取数据的请求发送到所述固态硬盘;检测所述数据的存储位置;若检测到所述数据存储在所述固态硬盘,对所述固态硬盘的工作状态进行检测;根据所述固态硬盘的工作状态,将所述数据从所述固态硬盘中读取到所述内存中;若检测到所述数据存储在所述机械硬盘,将所述数据从所述机械硬盘中读取到所述内存中。在上述方法中,采用机械硬盘和固态硬盘混合储存的方式,在读取用户所需的数据(比如,音视频数据)到内存时,既可以利用机械硬盘的大存储空间,又可以利用固态硬盘的快速读写数据速度,提高了数据传输的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍。应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的监控系统的结构方框图;
图2为本申请实施例提供的监控设备的结构示意图;
图3为本申请实施例提供的一种数据调度方法的流程示意图;
图4为本申请实施例提供的图3中步骤S440的子步骤流程图;
图5为本申请实施例提供的图3中步骤S450的子步骤流程图;
图6为本申请实施例提供的另一种数据调度方法的流程示意图;
图7为本申请实施例提供的清理固态硬盘方法的流程示意图;
图8为本申请实施例提供的数据调度装置的一种功能模块框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中,还需要说明的是,除非另有明确的规定和限定,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以根据具体情况理解术语在本申请中的具体含义。
在现有技术中,监控系统中的存储设备的主要功能是通过网络接收前端编码设备(如网络摄像机)传输的音视频数据并进行存储、管理。存储功能是监控业务的核心业务之一,存储设备的读写性能也是监控系统的重要指标之一。如何实现存储设备大容量及高速传输是本领域技术人员急需要解决的技术问题。
为解决上述问题,现有技术提供如下两种方案来实现音频数据的储存与读写。
第一种方案,采用机械硬盘作为储存设备,机械硬盘的特质:存储容量较大,主流硬盘容量不断提升,包括4TB、6TB、8TB、10TB,可以保存更多的数据。价格相对较低,性价比高。由于机械硬盘靠盘片高速旋转寻址和磁头的读写,其读写性能存在上限。目前,万转机械硬盘的读写速度大概为220MB/S左右;而普通机械硬盘读写速度为190MB/S左右。
第二种方案,采用固态硬盘作为储存设备,相对机械硬盘,目前成熟的商用固态硬盘的容量较少,主流为256GB,512GB,1TB等,且相同容量的固态硬盘价格远高于机械硬盘。固态硬盘的读写速度高且不用磁头,寻道时间几乎为0,持续读写速度超过500MB/S。可擦写次数有限制,如果存在非常频繁的擦写,将缩短固态硬盘的使用寿命。
申请人发现,在第一种方案中,当采用机械硬盘储存数据时,比如,录制音视频时,需要将大量音视频数据同时存储;而在音视频的回放时,又需要将音视频数据进行读取。随着视频存储路数的增加,音视频数据的写入量也随之加大,在超过机械硬盘地写入速度临界值后,达到机械硬盘的写性能瓶颈。在监控的录像备份,录像高速下载等业务场合,当机械硬盘读取速度达到临界值后,出现机械硬盘的读性能瓶颈。
在第二种方案中,当采用固态硬盘储存数据时,如果需要长时间多路数的音视频数据存储,仅用固态硬盘是不能满足需求或者成本非常高。在监控业务中,需要长期持续的写入监控的音视频数据,若不加约束的进行数据擦写,会缩短固态硬盘的使用寿命,最终导致存储设备不可用。
为了克服上述现有技术中存在的缺陷,申请人经过研究通过下面的实施例给出解决方案。
请参照图1,图1为本申请实施例提供的监控系统的结构方框图。监控系统包括终端1与监控设备3,终端1通过网络2与监控设备通信。
请参照图2,图2为本申请实施例提供的监控设备3的结构示意图。监控设备3包括内存31、机械硬盘33、固态硬盘32。
应当理解的是,在硬件接口上,机械硬盘33一般采用SATA接口,也有支持SATA接口的固态硬盘32,物理型态上组成机械硬盘33与固态硬盘32的混合式架构不存在技术障碍。
值得说明的是,对于固态硬盘32,数据存储的最小单位是页面(page),一个页面的大小一般是4KB,若干个页面被组合成数据块(block),一个块的大小一般是512KB。由于硬件的限制,固态硬盘32单独对某个页面进行读/写的操作,但擦除操作却只能对整个数据块进行,也就是说,一旦擦除就必须一次性擦除整个数据块。因此,减少固态硬盘32的擦除操作是调度方法的关键之一。
所述内存31、机械硬盘33和固态硬盘32相互之间可以直接或间接地电性连接,以实现数据的输出或交互。
应当理解监控设备3还可以包括比图2所示更多或更少的组件,也可以具有与图2所示完全不同的配置,本实施例对此不做限制。图2所示的组件可以通过软件、硬件或其组合实现。
请参照图3,图3为本申请实施例提供的应用于图1中监控系统的数据调度方法。下面对本实施例提供的数据调度方法的各个步骤进行详尽的阐述。
步骤S410,将读取数据的请求发送到固态硬盘32。
其中,所述读取数据的请求由中央处理器(CPU)发出。
步骤S420,检测所述数据的存储位置。
其中,所述数据的存储位置可以是所述固态硬盘32或者所述机械硬盘33。
步骤S430,若检测到所述数据存储在所述固态硬盘32,对所述固态硬盘32的工作状态进行检测。
其中,所述固态硬盘32的工作状态包括空闲和非空闲。当所固态硬盘的读取速度或者写入速度达到临界值时以及当所述固态硬盘正在进行清理固态硬盘的操作时,所述固态硬盘的工作状态非空闲。反之,则所述固态硬盘工作状态空闲。
步骤S440,根据所述固态硬盘32的工作状态,将所述数据从所述固态硬盘32中读取到所述内存31中。
请参照图4,在本实施例中,步骤S440可以包括子步骤S441和子步骤S442。
子步骤S441,若固态硬盘32的工作状态为空闲,将所述数据从所述固态硬盘32中读取到所述内存31中。
子步骤S442,若固态硬盘32的工作状态为非空闲,则等待所述固态硬盘32的工作状态为空闲时,将所述数据从所述固态硬盘32中读取到所述内存31中。
应当理解的是,在步骤S440中,当所述固态硬盘32的工作状态为空闲时,所述数据直接从固态硬盘32中读取到所述内存31中;当所述固态硬盘32的工作状态不为空闲时,所述数据则需要进入等待队列中,直至所述固态硬盘32工作状态空闲,才能将所述数据从所述固态硬盘32中读取到所述内存31中。
步骤S450,若检测到所述数据存储在所述机械硬盘33,将所述数据从所述机械硬盘33中读取到所述内存31中。
请参照图5,在本实施例中,步骤S450可以包括子步骤S451和子步骤S452。
子步骤S451,若所述固态硬盘32的存储空间充足,将所述数据从所述机械硬盘33读取到所述固态硬盘32,并将所述数据从所述固态硬盘32读取到所述内存31。
子步骤S452,若所述固态硬盘32的存储空间不充足,清理所述固态硬盘32,将所述数据从所述机械硬盘33读取到所述内存31。
应当理解的是,在所述子步骤S452中进行清理固态硬盘32时,有以下流程:在所述读取数据的请求发送给所述固态硬盘32后,所述数据存储在所述机械硬盘33中。此时检测所述固态硬盘32空间是否充足。在所述固态硬盘32不充足时,所述固态硬盘32根据前述的清理固态硬盘32的方法进行清理。而所述数据直接从机械硬盘33中读取到所述内存31。
在固态硬盘32进行清理时需要占用工作状态,此时将所述数据直接从机械硬盘33读取到内存31中更快。而清理好的固态硬盘32后,当下次想要读取到内存31中的数据储存在机械硬盘33中时,固态硬盘32的空间已经充足。此时所述数据先由机械硬盘33写入到固态硬盘32,而后再从固态硬盘32中读取到所述内存31中。
请参照图6,图6为本申请实施例提供的另一种调度方法。在本实施例中,所述的数据调度方法还包括以下步骤:
步骤S510,将写入数据的请求发送到所述内存31。
其中,所述写入数据请求由中央处理器(CPU)发出。
步骤S520,检测所述固态硬盘32的存储空间是否充足。
步骤S530,在所述固态硬盘32的存储空间充足时,检测所述固态硬盘32的工作状态,或在所述固态硬盘32的存储空间不充足时,清理所述固态硬盘32后,检测所述固态硬盘32的工作状态。
应当理解的是,在步骤S530中,当所述固态硬盘32的工作状态为空闲时,所述数据直接从内存31中写入到所述固态硬盘32中;当所述固态硬盘32的工作状态不为空闲时,所述数据则需要进入等待队列中,直至所述固态硬盘32工作状态空闲,才能将所述数据从所述内存31中写入到所述固态硬盘32中。
步骤S540,若所述固态硬盘32的工作状态为空闲,将所述数据从所述内存31写入所述固态硬盘32,若所述固态硬盘32的工作状态为非空闲,则等待述固态硬盘32的工作状态为空闲时,将所述数据从所述内存31写入所述固态硬盘32。
值得说明的是,在本申请实施例中,子步骤S452与步骤S530中所述的清理固态硬盘32的方法包含子步骤S610和子步骤S620。请参照图7,图7为本申请实施例提供的清理固态硬盘方法的流程示意图。
子步骤S610,根据数据在固态硬盘32中存储的周期、数据被访问的频次或数据被修改后的状态计算数据优先级。
值得说明的是,在清理固态用盘32的子步骤S610中被修改数据状态可以是判断一个数据是否是“脏”数据。“脏数据”是指当一个终端正在访问数据并对数据进行了修改,而这种修改还没有提交,同时另一个终端也访问这个数据,然后使用了这个数据。因为这个数据是还没有提交,那么另一个终端读到的数据就是脏数据。例如,数据库记录某些配置参数,当终端A更新了某个参数项,但由于某种原因,终端A出现了问题需要进行回滚。但在回滚前,另一个终端B读取了该参数项的值(A更新后),A回滚后参数项恢复了原值。终端B读取的就是该参数项的一个临时值,就是脏数据。
“脏”数据从固态硬盘32被写入到机械硬盘33时,需要先将其中的一个个“脏”数据页面写入机械硬盘33,再将固态硬盘32中对应的页面置为无效,待此页面所在的块擦除完成后再释放整个块的固态硬盘32空间。“脏”数据从固态硬盘32中移出时操作比较复杂,性能消耗大,需要尽量减少此类操作。因此,“脏”数据块在固态硬盘32中的优先级需要提高,避免轻易被移出,从而减少固态硬盘的擦写次数,提高使用寿命。
子步骤S620,基于计算的数据优先级顺序清理所述固态硬盘32中数据。
进一步地,在所述步骤S530中进行清理固态硬盘32时,有以下流程:
在所述写入数据的请求发送给固态硬盘32后,检测所述固态硬盘32的存储空间是否充足,当存储空间不充足时,根据前述清理固态硬盘32的方法进行清理。在固态硬盘32清理完成后,再根据固态硬盘32的工作状态,将所述数据从内存31中写入到所述固态硬盘32。
进一步地,在本申请提供的实施例中,清理固态硬盘32可以包括以下具体步骤:
判断是否达到设定的优先级计算周期,所述优先级计算周期可以根据录像留存期的长短来设置。
当系统时间达到优先级计算周期时,判断数据是否为“脏数据”。
若数据为“脏”数据,则该数据的优先级为其被访问次数与脏数据权重系数相乘得到。其中,脏数据权重系数可根据固态硬盘容量大小来设置,容量越小权重越大。
若数据不为“脏”数据,则该数据的优先级为其被访问次数与被访问次数调整系数相乘得到。其中,访问次数调整系数可根据访问频度来设置,如热点区域的视频录像,被访问的频繁度高,调整系数的值可以设置得小些;而一些事后取证性质的视频录像,仅在有事发生时才会被访问,调整系数的值可以设置得大些。应当理解的是,被访问次数调整系数小于1。
最后,根据数据优先级的大小来进行清理,优先级相对大的数据被保留,优先级相对小的数据被清理,释放出固态硬盘32的存储空间。
本申请实施例还提供一数据调度装置100,与上面实施例不同的是,本数据调度装置100是以监控设备3为执行主体,从虚拟装置的角度对数据调度过程进行描述的。可以理解的是,接下来要描述的数据调度装置100中涉及的各功能模块执行的具体功能在上面实施例的具体步骤中已经描述过,具体各个功能模块的详尽内容可参照上面的实施例描述,下面仅对数据调度装置100进行简要说明。请参照图8,图8为本申请实施例提供的数据调度装置100的一种功能模块框图。所述数据调度装置100具体包括:
发送模块110,用于将读取数据的请求或者写入数据的请求发送到所述固态硬盘32。
检测模块120,用于检测所述数据的存储位置;若检测到所述数据存储在所述固态硬盘32,对所述固态硬盘32的工作状态进行检测。还用于检测所述固态硬盘32的存储空间是否充足。还用于在所述固态硬盘32的储存空间充足时,检测所述固态硬盘32的工作状态是否空闲;所述固态硬盘32的储存空间不充足时,清理固态硬盘32,然后再检测所述固态硬盘32工作状态是否空闲。还用于检测所述固态硬盘32的工作状态。
读取模块130,用于根据所述固态硬盘32的工作状态,将所述数据从所述固态硬盘32中读取到所述内存31中。还用于若检测到所述数据存储在所述机械硬盘33,将所述数据从所述机械硬盘33中读取到所述内存31中。
写入模块140,用于所述固态硬盘32工作状态空闲时,将所述内存31中储存的数据写入所述固态硬盘32。
综上所述,本申请实施例提供的数据调度方法及装置,涉及监控系统领域,所述方法将读取数据的请求发送到所述固态硬盘;检测所述数据的存储位置;若检测到所述数据存储在所述固态硬盘,对所述固态硬盘的工作状态进行检测;根据所述固态硬盘的工作状态,将所述数据从所述固态硬盘中读取到所述内存中;若检测到所述数据存储在所述机械硬盘,将所述数据从所述机械硬盘中读取到所述内存中。在上述方法中,采用机械硬盘和固态硬盘混合储存的方式,在读取用户所需的数据(比如,音视频数据)到内存时,既可以利用机械硬盘的大存储空间,又可以利用固态硬盘的快速读写数据速度,提高了数据传输的效率。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种数据调度方法,其特征在于,应用于监控设备,所述监控设备包括固态硬盘、机械硬盘和内存,所述方法包括:
将读取数据的请求发送到所述固态硬盘;
检测所述数据的存储位置;
若检测到所述数据存储在所述固态硬盘,对所述固态硬盘的工作状态进行检测;
根据所述固态硬盘的工作状态,将所述数据从所述固态硬盘中读取到所述内存中;
若检测到所述数据存储在所述机械硬盘且所述固态硬盘的存储空间充足,将所述数据从所述机械硬盘读取到所述固态硬盘,并将所述数据从所述固态硬盘读取到所述内存;
若检测到所述数据存储在所述机械硬盘且所述固态硬盘的存储空间不充足,清理所述固态硬盘,将所述数据从所述机械硬盘读取到所述内存。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
将写入数据的请求发送到所述内存;
检测所述固态硬盘的存储空间是否充足;
在所述固态硬盘的存储空间充足时,检测所述固态硬盘的工作状态,或在所述固态硬盘的存储空间不充足时,清理所述固态硬盘后,检测所述固态硬盘的工作状态;
若所述固态硬盘的工作状态为空闲,将所述数据从所述内存写入所述固态硬盘,若所述固态硬盘的工作状态为非空闲,则等待所述固态硬盘的工作状态为空闲时,将所述数据从所述内存写入所述固态硬盘。
3.如权利要求1所述的方法,其特征在于,所述根据所述固态硬盘的工作状态,将所述数据从所述固态硬盘中读取到所述内存中,包括:
若固态硬盘的工作状态为空闲,将所述数据从所述固态硬盘中读取到所述内存中;若固态硬盘的工作状态为非空闲,则等待所述固态硬盘的工作状态为空闲时,将所述数据从所述固态硬盘中读取到所述内存中。
4.如权利要求1或2中所述的方法,其特征在于,所述清理所述固态硬盘的步骤,包括:
根据数据在固态硬盘中存储的周期、数据被访问的频次或数据被修改后的状态计算数据优先级;
基于计算的数据优先级顺序清理所述固态硬盘中数据。
5.一种数据调度装置,其特征在于,应用于监控设备,所述监控设备包括固态硬盘、机械硬盘和内存;
所述数据调度装置包括:
发送模块,用于将读取数据的请求发送到所述固态硬盘;
检测模块,用于检测所述数据的存储位置;若检测到所述数据存储在所述固态硬盘,对所述固态硬盘的工作状态进行检测;
读取模块,用于根据所述固态硬盘的工作状态,将所述数据从所述固态硬盘中读取到所述内存中;
所述读取模块,还用于:若检测到所述数据存储在所述机械硬盘且所述固态硬盘的存储空间充足,将所述数据从所述机械硬盘读取到所述固态硬盘,并将所述数据从所述固态硬盘读取到所述内存;若检测到所述数据存储在所述机械硬盘且所述固态硬盘的存储空间不充足,清理所述固态硬盘,将所述数据从所述机械硬盘读取到所述内存。
6.如权利要求5所述的装置,其特征在于,所述数据调度装置还包括:写入模块;
所述发送模块,用于将写入数据的请求发送到所述内存;
所述检测模块,还用于检测所述固态硬盘的存储空间是否充足;
所述检测模块,还用于在所述固态硬盘的储存空间充足时,检测所述固态硬盘的工作状态是否空闲;所述固态硬盘的储存空间不充足时,清理固态硬盘,然后再检测所述固态硬盘工作状态是否空闲;
所述检测模块,还用于检测所述固态硬盘的工作状态;
所述写入模块,用于所述固态硬盘工作状态空闲时,将所述内存中储存的数据写入所述固态硬盘;
所述写入模块,还用于若所述固态硬盘工作状态非空闲,则等待述固态硬盘的工作状态为空闲时,将所述数据从所述内存写入所述固态硬盘。
7.如权利要求5所述的装置,其特征在于,所述读取模块具体用于:
若固态硬盘的工作状态为空闲,将所述数据从所述固态硬盘中读取到所述内存中;若固态硬盘的工作状态为非空闲,则等待所述固态硬盘的工作状态为空闲时,将则将所述数据从所述固态硬盘中读取到所述内存中。
8.如权利要求5所述的装置,其特征在于,所述读取模块清理所述固态硬盘的方式包括:
根据数据在固态硬盘中存储的周期、数据被访问的频次或数据被修改后的状态计算数据优先级;
基于计算的数据优先级顺序清理所述固态硬盘中数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810911802.6A CN110825314B (zh) | 2018-08-10 | 2018-08-10 | 一种数据调度方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810911802.6A CN110825314B (zh) | 2018-08-10 | 2018-08-10 | 一种数据调度方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110825314A CN110825314A (zh) | 2020-02-21 |
CN110825314B true CN110825314B (zh) | 2024-02-02 |
Family
ID=69541441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810911802.6A Active CN110825314B (zh) | 2018-08-10 | 2018-08-10 | 一种数据调度方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110825314B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116301644B (zh) * | 2023-03-24 | 2023-10-13 | 四川水利职业技术学院 | 基于多硬盘协调的数据存储方法、系统、终端及介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218173A (zh) * | 2013-03-27 | 2013-07-24 | 华为技术有限公司 | 存储控制方法及装置 |
CN103399713A (zh) * | 2013-08-02 | 2013-11-20 | 浙江大学 | 平衡多级存储性能与固态硬盘寿命的数据缓冲方法 |
CN103744611A (zh) * | 2013-12-17 | 2014-04-23 | 记忆科技(深圳)有限公司 | 基于固态硬盘为缓存的计算机系统及缓存加速方法 |
CN104778018A (zh) * | 2015-04-23 | 2015-07-15 | 南京道熵信息技术有限公司 | 基于非对称混合型磁盘镜像的宽条带磁盘阵列及存储方法 |
CN105204784A (zh) * | 2015-10-16 | 2015-12-30 | 联想(北京)有限公司 | 一种监控方法及电子设备 |
CN105224891A (zh) * | 2015-09-22 | 2016-01-06 | 苏州互盟信息存储技术有限公司 | 磁盘光盘融合数据安全存储方法、系统及装置 |
CN105739920A (zh) * | 2016-01-22 | 2016-07-06 | 深圳市瑞驰信息技术有限公司 | 一种自动化分层存储方法及服务器 |
CN107632779A (zh) * | 2017-08-24 | 2018-01-26 | 阿里巴巴集团控股有限公司 | 数据处理方法和装置、服务器 |
CN107861891A (zh) * | 2017-11-14 | 2018-03-30 | 郑州天迈科技股份有限公司 | 用于公交车载硬盘的音视频数据存取方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102541466A (zh) * | 2011-10-27 | 2012-07-04 | 忆正存储技术(武汉)有限公司 | 一种混合存储控制系统和方法 |
US9830092B2 (en) * | 2015-02-20 | 2017-11-28 | Netapp, Inc. | Solid state device parity caching in a hybrid storage array |
-
2018
- 2018-08-10 CN CN201810911802.6A patent/CN110825314B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218173A (zh) * | 2013-03-27 | 2013-07-24 | 华为技术有限公司 | 存储控制方法及装置 |
CN103399713A (zh) * | 2013-08-02 | 2013-11-20 | 浙江大学 | 平衡多级存储性能与固态硬盘寿命的数据缓冲方法 |
CN103744611A (zh) * | 2013-12-17 | 2014-04-23 | 记忆科技(深圳)有限公司 | 基于固态硬盘为缓存的计算机系统及缓存加速方法 |
CN104778018A (zh) * | 2015-04-23 | 2015-07-15 | 南京道熵信息技术有限公司 | 基于非对称混合型磁盘镜像的宽条带磁盘阵列及存储方法 |
CN105224891A (zh) * | 2015-09-22 | 2016-01-06 | 苏州互盟信息存储技术有限公司 | 磁盘光盘融合数据安全存储方法、系统及装置 |
CN105204784A (zh) * | 2015-10-16 | 2015-12-30 | 联想(北京)有限公司 | 一种监控方法及电子设备 |
CN105739920A (zh) * | 2016-01-22 | 2016-07-06 | 深圳市瑞驰信息技术有限公司 | 一种自动化分层存储方法及服务器 |
CN107632779A (zh) * | 2017-08-24 | 2018-01-26 | 阿里巴巴集团控股有限公司 | 数据处理方法和装置、服务器 |
CN107861891A (zh) * | 2017-11-14 | 2018-03-30 | 郑州天迈科技股份有限公司 | 用于公交车载硬盘的音视频数据存取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110825314A (zh) | 2020-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7076605B1 (en) | Method and apparatus for writing data to a storage device | |
KR101702201B1 (ko) | 솔리드 스테이트 드라이브(ssd)에 대한 최적화된 컨텍스트 드롭 | |
CN100541410C (zh) | 磁盘驱动器系统 | |
CN100422967C (zh) | 具有动态随机存取存储器和闪存的硬盘驱动器 | |
US7783830B2 (en) | Solid state device pattern for non-solid state storage media | |
CN100470508C (zh) | 用于非易失性存储器高速缓存性能改进的系统和方法 | |
US20080005480A1 (en) | Predicting accesses to non-requested data | |
US8291190B2 (en) | Disk drive including a host interface supporting different sizes of data sectors and method for writing data thereto | |
CN101488354A (zh) | 稳定的数据存储系统和方法 | |
US10346051B2 (en) | Storage media performance management | |
US8037332B2 (en) | Quad-state power-saving virtual storage controller | |
CN100454426C (zh) | 记录装置 | |
CN104063184B (zh) | 磁盘记录方法及其非易失性存储媒体与电子装置 | |
JP2737562B2 (ja) | 高密度磁気ディスク装置のパトロールシーク方式 | |
US20090204760A1 (en) | Storage apparatus, relay device, and method of controlling operating state | |
US8117491B2 (en) | Disk-drive device and method for error recovery thereof | |
CN110825314B (zh) | 一种数据调度方法及装置 | |
CN100578650C (zh) | 新型智能磁带机的数据处理方法 | |
KR102152724B1 (ko) | 감시 시스템의 영상 관리 장치 및 방법 | |
US20050235105A1 (en) | Disk recording device, monitoring method for disk recording medium, and monitoring program for disk recording medium | |
US9588898B1 (en) | Fullness control for media-based cache operating in a steady state | |
JPH04259048A (ja) | 統計情報による先読みデータ制御方式 | |
WO2006100760A1 (ja) | 記憶装置、記憶装置管理システムおよび記憶装置管理方法 | |
US7657704B2 (en) | Method and related apparatus for verifying array of disks | |
JP4667312B2 (ja) | 外部記憶装置のアクセス制御方式、及び、アクセス制御方式を行うコントローラ、ホストシステム又は外部記憶装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |