CN104408064A - 一种数据存储方法及装置 - Google Patents

一种数据存储方法及装置 Download PDF

Info

Publication number
CN104408064A
CN104408064A CN201410594434.9A CN201410594434A CN104408064A CN 104408064 A CN104408064 A CN 104408064A CN 201410594434 A CN201410594434 A CN 201410594434A CN 104408064 A CN104408064 A CN 104408064A
Authority
CN
China
Prior art keywords
data
user terminal
unloading
thread
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410594434.9A
Other languages
English (en)
Inventor
黄丹青
郑邦东
肖响
刘杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN201410594434.9A priority Critical patent/CN104408064A/zh
Publication of CN104408064A publication Critical patent/CN104408064A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying

Abstract

本发明实施例公开一种数据存储方法及装置,其中方法包括:当检测到用户终端对多媒体数据的处理请求时,将存储于第一存储端的所述多媒体数据发送至所述用户终端,以使所述用户终端对所述多媒体数据进行业务处理;当接收到所述用户终端对所述多媒体数据处理完成的反馈信息时,将所述多媒体数据标记为待转存数据;当检测到所述第一存储端的存储空间达到预设值时,将所述待转存数据转换为归档数据;将所述归档数据存储至第二存储端,并在第一存储端中将所述待转存数据进行删除。可加快数据查询速度,提高业务处理效率。

Description

一种数据存储方法及装置
技术领域
本发明涉及互联网技术领域,尤其涉及一种数据存储方法及装置。
背景技术
信息化是当今时代发展的最大特点,因此存储数据也是相当必要的,可便于信息的再次查看、使用等。对于图片、音频、视频、会计影像等多媒体数据的存储,需要根据其重要性、存储器的容量大小、存储器的读写速度等因素权衡信息存储格式和存储方式。
现有的存储过程为多媒体数据在一定时间期限内以固定格式存储于在线存储的设备,例如:光纤磁盘阵列、小型计算机系统接口(Small Computer SystemInterface,SCSI)的磁盘阵列等磁盘设备,而过了该时间期限则将多媒体数据以同样的格式存储于光盘、磁带库等离线存储设备。采用此方式容易导致超过一定时限的多媒体数据被保存于离线存储设备的情况,当对该多媒体数据进行业务查询时,需要人工配合在相应的离线设备中查找到该多媒体数据,并将其接入到在线设备中才能获取数据。因此,这种存储方式增加了查询过程复杂度,导致查询速度较慢,人工成本增加。
发明内容
本发明实施例提供一种数据存储方法及装置,可加快数据查询速度,同时提高业务处理效率。
为了解决上述技术问题,本发明实施例第一方面提供了一种数据存储方法,可包括:
当检测到用户终端对多媒体数据的处理请求时,将存储于第一存储端的所述多媒体数据发送至所述用户终端,以使所述用户终端对所述多媒体数据进行业务处理;
当接收到所述用户终端对所述多媒体数据处理完成的反馈信息时,将所述多媒体数据标记为待转存数据;
当检测到所述第一存储端的存储空间达到预设值时,将所述待转存数据转换为归档数据;
将所述归档数据存储至第二存储端,并在第一存储端中将所述待转存数据进行删除。
本发明实施例第二方面还提供了一种数据存储装置,可包括:
数据发送单元,用于当检测到用户终端对多媒体数据的处理请求时,将存储于第一存储端的所述多媒体数据发送至所述用户终端,以使所述用户终端对所述多媒体数据进行业务处理;
标记单元,用于当接收到所述用户终端对所述多媒体数据处理完成的反馈信息时,将所述多媒体数据标记为待转存数据;
转换单元,用于当检测到所述第一存储端的存储空间达到预设值时,将所述待转存数据转换为归档数据;
存储单元,用于将所述归档数据存储至第二存储端,并在第一存储端中将所述待转存数据进行删除。
在本发明实施例中,在检测到用户终端对多媒体数据的处理请求时,将存储于第一存储端的多媒体数据发送至用户终端,以使用户终端对多媒体数据进行业务处理,当接收到用户终端对多媒体数据处理完成的反馈信息时,将多媒体数据标记为待转存数据;当检测到第一存储端的存储空间达到预设值时,将待转存数据转换为归档数据;将归档数据存储至第二存储端,并在第一存储端中将待转存数据进行删除。通过将未经业务处理的多媒体数据和经过业务处理的待转存数据分别存储于第一存储端和第二存储端中,可以避免当需要对归档数据进行业务查询时,结合人工配合在相应的离线设备中查找到该数据,并将其接入到在线设备中的情况,降低了对多媒体数据进行查找的复杂度,提升了对多媒体数据的查找效率,进而提高了业务处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据存储方法的流程示意图;
图2是本发明实施例提供的另一种数据存储方法的流程示意图;
图3是本发明实施例提供的一种数据存储装置的结构示意图;
图4是本发明实施例提供的另一种数据存储装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的数据存储方法可以应用于银行数据中会计影像存储的场景,例如:数据存储装置在检测到用户终端对会计影像的处理请求时,将存储于第一存储端的会计影像发送至用户终端,以使用户终端对会计影像进行业务处理,当接收到用户终端对会计影像处理完成的反馈信息时,所述数据存储装置将会计影像标记为待转存影像,当检测到所述第一存储端的存储空间达到预设值时,将所述待转存影像转换为归档影像;所述数据存储装置将归档影像存储至第二存储端,并在第一存储端中将待转存影像进行删除。通过将未经业务处理的会计影像和经过业务处理的待转存影像分别存储于第一存储端和第二存储端中,可以避免当需要对归档影像进行业务处理时,结合人工配合在相应的离线设备中查找到该影像,并将其接入到在线设备中才能获得影像,降低了对会计影像进行查找的复杂度,提升了对会计影像的查找效率,进而提高了业务处理效率。
本发明实施例涉及的数据存储装置可以为后台的业务服务器设备;所述用户终端可以包括个人电脑、智能手机、平板电脑、掌上电脑等互联网设备;所述会计影像可以是通过扫描纸质文件所上传的影像。
下面将结合附图1-附图2,对本发明实施例提供的数据存储方法进行详细介绍。
请参见图1,为本发明实施例提供了一种数据存储方法的流程示意图。如图1所示,本发明实施例的所述方法可以包括以下步骤S101-步骤S104。
S101,当检测到用户终端对多媒体数据的处理请求时,将存储于第一存储端的所述多媒体数据发送至所述用户终端,以使所述用户终端对所述多媒体数据进行业务处理;
具体的,当检测到用户终端对多媒体数据的处理请求时,数据存储装置将存储于第一存储端的所述多媒体数据发送至所述用户终端,以使所述用户终端对所述多媒体数据进行业务处理。所述多媒体数据可包括但不限定于图片、音频、视频、会计影像等。所述第一存储端可包括但不限定于光纤磁盘阵列、SCSI磁盘阵列等磁盘设备。例如,在银行行业中,用户终端有可能需要对会计影像进行光学字符识别(Optical Character Recognition,OCR)、二维码扫描、印鉴验印等业务处理,数据存储装置在检测到用户终端对会计影像的处理请求时,将相应的存储于第一存储端的会计影像发送至用户终端,以使用户终端进行以上所述银行业务处理。
需要说明的是,所述数据存储装置在所述当检测到用户终端对多媒体数据的处理请求之前,可接收所上传的多媒体数据,将所述多媒体数据以第一格式存储于第一存储端。所述第一格式是相对于所述多媒体数据而言的压缩失真较小、存储/传输消耗相对较大的格式,例如,图片的存储格式包括位图(Bitmap,BMP)、联合图像专家小组(Joint Photographic Experts Group,JPEG)、WebP、图元文件(Window Metafile,WMF)等,音频的存储格式包括光盘(Compact Disc,CD)、WAVE(由微软和IBM联合开发的用户音频数字存储的标准格式)、动态影像专家压缩标准音频层面3(Moving Picture Experts Group Audio Layer III,MP3)等,视频的存储格式有动态图像专家组(Moving Pictures Experts Group,MPEG)、音频视频交错格式(Audio Video Interleaved,AVI)、Flash视频(FlashVideo,FLV)等。在银行行业中,数据存储装置可接收由用户终端通过扫描纸质文件所上传的会计影像,由于OCR识别、二维码扫描、印鉴验印等业务处理对会计影像质量要求较高,则需要将所述会计影像以质量较高的JPEG格式进行保存,进一步需要保存到读写速度较快的存储器,可提高数据的传输速率。
S102,当接收到所述用户终端对所述多媒体数据处理完成的反馈信息时,将所述多媒体数据标记为待转存数据;
具体的,所述数据存储装置在接收到所述用户终端对所述多媒体数据处理完成的反馈信息之后,将所述多媒体数据标记为待转存数据。例如,在银行行业中,数据存储装置在接收到所述用户终端对会计影像处理完成的反馈信息之后,将会计影像标记为待转存影像。
S103,当检测到所述第一存储端的存储空间达到预设值时,将所述待转存数据转换为归档数据;
具体的,所述数据存储装置在检测到所述第一存储端的存储空间达到预设值时,判断线程池中是否存在处于空闲状态的线程,若所述线程池中存在处于空闲状态的线程,则根据所述线程将所述待转存数据转换为归档数据,所述转换是指所述线程按照预设第二格式对所述多媒体数据进行压缩处理,并在压缩处理后生成归档数据。所述第二格式是相对于所述多媒体数据而言压缩率较高、存储/传输消耗相对较小的格式,例如,由谷歌推出的新一代图片格式WebP。在银行行业中,随着会计影像的日积月累,所需存储空间只会越来越多,而大容量、读写速度快的存储器成本较高,而实际上银行在不同环境中对会计影像的质量要求是不同的,在OCR识别、印鉴验印等业务处理环节需要高质量的会计影像,而在查询环节时对会计影像的质量要求并不高,因此数据存储装置可根据会计影像所处环节进行分类保存,在用户终端对会计影像完成业务处理之后,当检测到存储会计影像的存储空间达到预设值时,将待转存影像进行压缩处理生成第二格式WebP的归档影像。
S104,将所述归档数据存储至第二存储端,并在第一存储端中将所述待转存数据进行删除。
具体的,所述数据存储装置将归档数据存储至第二存储端,并在第一存储端中将所述待转存数据进行删除。例如,在银行行业中,数据存储装置将由待转存影像压缩得到的归档影像存储至第二存储器,在归档影像存储于第二存储器之后,删除第一存储器的待转存影像。
在本发明实施例中,在检测到用户终端对多媒体数据的处理请求时,将存储于第一存储端的多媒体数据发送至用户终端,以使用户终端对多媒体数据进行业务处理,当接收到用户终端对多媒体数据处理完成的反馈信息时,将多媒体数据标记为待转存数据,当检测到第一存储端的存储空间达到预设值时,将待转存数据转换为归档数据;将归档数据存储至第二存储端,并在第一存储端中将待转存数据进行删除。通过将未经业务处理的多媒体数据和经过业务处理的待转存数据分别存储于第一存储端和第二存储端中,可以避免当需要对归档数据进行业务查询时,结合人工配合在相应的离线设备中查找到该数据,并将其接入到在线设备中的情况,降低了对多媒体数据进行查找的复杂度,提升了对多媒体数据的查找效率,进而提高了业务处理效率。
请参见图2,为本发明实施例提供了另一种数据存储方法的流程示意图。如图2所示,本发明实施例的所述方法可包括以下步骤S201-步骤S210。
S201,接收所上传的多媒体数据,将所述多媒体数据以第一格式存储于第一存储端;
具体的,所述数据存储装置在所述当检测到用户终端对多媒体数据的处理请求之前,可接收所上传的多媒体数据,将所述多媒体数据以第一格式存储于第一存储端。所述第一格式是相对于所述多媒体数据而言的压缩失真较小、存储/传输消耗相对较大的格式,例如,图片的存储格式包括BMP、JPEG、WMF等,音频的存储格式包括CD、WAVE、MP3等,视频的存储格式有MPEG、AVI、FLV等。在银行行业中,数据存储装置可接收由用户终端通过扫描纸质文件所上传的会计影像,由于OCR识别、二维码扫描、印鉴验印等业务处理对会计影像质量要求较高,则需要将所述会计影像以质量较高的JPEG格式进行保存,进一步需要保存到读写速度较快的存储器,可提高数据的传输速率。
S202,当检测到用户终端对多媒体数据的处理请求时,将存储于第一存储端的所述多媒体数据发送至所述用户终端,以使所述用户终端对所述多媒体数据进行业务处理;
具体的,当检测到用户终端对多媒体数据的处理请求时,数据存储装置将存储于第一存储端的所述多媒体数据发送至所述用户终端,以使所述用户终端对所述多媒体数据进行业务处理。所述多媒体数据可包括但不限定于图片、音频、视频、会计影像等。所述第一存储端可包括但不限定于光纤磁盘阵列、SCSI磁盘阵列等磁盘设备。例如,在银行行业中,用户终端有可能需要对会计影像进行OCR识别、二维码扫描、印鉴验印等业务处理,数据存储装置在检测到用户终端对会计影像的处理请求时,将相应的存储于第一存储端的会计影像发送至用户终端,以使用户终端进行以上所述银行业务处理。
S203,当接收所述用户终端对所述多媒体数据处理完成的反馈信息时,将所述多媒体数据标记为待转存数据;
具体的,所述数据存储装置在接收到所述用户终端对所述多媒体数据处理完成的反馈信息之后,将所述多媒体数据标记为待转存数据。例如,在银行行业中,数据存储装置在接收到所述用户终端对会计影像处理完成的反馈信息之后,将会计影像标记为待转存影像。
S204,当检测到所述第一存储端的存储空间达到预设值时,判断线程池中是否存在处于空闲状态的线程;
具体的,当检测到所述第一存储端的存储空间达到预设值时,判断线程池中是否存在处于空闲状态的线程。若否,则转入执行步骤S205;若是,则转入执行步骤S206。例如,在银行行业中,当数据存储装置检测到会计影像所在的存储空间达到预设值时,判断线程池中是否存在处于空闲状态的线程。
需要说明的是,所述线程池中包含多个线程,所述数据存储装置可利用线程池控制线程执行任务。具体而言,若在数据存储高峰期,可触发线程池中的多个线程并行进行对待转存数据进行转换以及传输等,当某个线程正在对待转存数据进行数据格式转换以及数据传输时,同时检测到第一存储端的存储空间达到预设值,此时就需要触发线程池中另一个处于空闲状态的线程进行处理,对于这种多线程并发的情况,所述数据存储装置可根据线程池中是否有空闲状态的线程进行控制,并在线程完成任务之后,休眠所述线程,以备下次使用。
S205,输出提示信息;
具体的,若所述线程池中不存在处于空闲状态的线程,则所述数据存储装置输出提示消息,即提示线程忙或发出警告等。
S206,根据所述线程将所述待转存数据转换为归档数据;
具体的,若所述线程池中存在处于空闲状态的线程,则所述数据存储装置根据所述线程将所述待转存数据转换为归档数据,所述转换是指所述线程按照预设第二格式对所述待转存数据进行压缩处理,并在压缩处理后生成归档数据。所述第二格式是相对于所述多媒体数据而言压缩率较高、存储/传输消耗相对较小的格式,例如,由谷歌推出的新一代图片格式WebP。在银行行业中,随着会计影像的日积月累,所需存储空间只会越来越多,而大容量、读写速度快的存储器成本较高,而实际上银行在不同环境中对会计影像的质量要求是不同的,在OCR识别、印鉴验印等业务处理环节需要高质量的会计影像,而在查询环节时对会计影像的质量要求并不高,因此数据存储装置可根据会计影像所处环节进行分类保存,在用户终端对会计影像完成业务处理之后,当检测到存储会计影像的存储空间达到预设值时,将待转存影像进行压缩处理生成第二格式WebP的归档影像等。
S207,将所述归档数据存储至第二存储端,并在第一存储端中将所述待转存数据进行删除;
具体的,所述数据存储装置将归档数据存储至第二存储端,优选的,所述数据存储装置可以通过调用所述线程将所述归档数据从所述第一存储端中转移至所述第二存储端中,使所述第二存储端对所述归档数据进行存储,并在第一存储端中将所述待转存数据进行删除。例如,在银行行业中,数据存储装置将由会计影像压缩得到的归档影像转移至第二存储器,在归档影像存储于第二存储器之后,删除第一存储器的待转存影像。
S208,当检测到所述用户终端对所述多媒体数据的查询请求时,判断所述第一存储端是否存储所述多媒体数据所对应的待转存数据;
具体的,当检测到所述用户终端对所述多媒体数据的查询请求时,所述数据存储装置判断所述第一存储端是否存储所述多媒体数据所对应的待转存数据,若是,则转入执行步骤S209;若否,则转入执行S210。例如,数据存储装置在检测到用户终端对会计影像的查询请求时,判断所述第一存储器是否存储所述会计影像所对应的待转存影像。
S209,将所述待转存数据发送至所述用户终端;
具体的,若所述第一存储端存储所述多媒体数据所对应的待转存数据,则所述数据存储装置将所述待转存数据发送至所述用户终端
S210,将存储于所述第二存储端的所述多媒体所对应的所述归档数据发送至所述用户终端;
具体的,若所述第一存储端未存储所述多媒体数据所对应的待转存数据,则所述数据存储装置将存储于所述第二存储端的所述多媒体所对应的所述归档数据发送至所述用户终端。
需要说明的是,所述用户终端可以在任意时间向所述数据存储装置发送对所述多媒体数据的查询请求,因此所述多媒体数据此时有可能以标记为待转存数据的方式存储于所述第一存储端中,或者通过以转换为归档数据的方式存储于所述第二存储端中,因此当所述数据存储装置接收到所述用户终端发送的对所述多媒体数据的查询请求时,可以优先在所述第一存储端中查找是否存在所述多媒体数据对应的被标记的待转存数据,若存在,可以直接将所述待转存数据发送至所述用户终端以响应所述查询请求;若不存在,则可以在所述第二存储端中查找所述多媒体数据被标记为待转存数据并进行对应转换的归档数据,将所述归档数据发送至所述用户终端以响应所述查询请求。
在本发明实施例中,所述用户终端可上传所述多媒体数据,或者发送对所述多媒体数据的处理请求并进行业务处理,或者发送对所述多媒体数据的查询请求。可以理解的是,所述用户终端可以是同一用户终端,也可是不同用户终端。例如,在银行行业中,前台用户终端可上传会计影像至数据存储装置;后台用户终端可向数据存储装置发送对会计影像的处理请求,后台用户终端在接收到数据存储装置发送的会计影像后进行业务处理;前台用户终端、后台用户终端均可发送查询请求,如前台用户终端可查询业务处理结果、前后台用户终端可稽查已处理业务的合规情况等。此外,所述第一存储端和第二存储端均属于在线存储,可便于数据存储装置读写、查找、转存等,而二者的区别在于:所述第一存储端读写速度较快,对于质量要求较高的所述多媒体数据可加快其传输速度以提高业务处理效率,但其存储空间较小、成本也相对较高;所述第二存储端是用来存储经过压缩处理的所述归档数据,其存储空间较大、价格便宜,可用来存储大量待转存数据的同时也可保证所述用户终端的业务处理效率。
在本发明实施例中,通过接收所上传的多媒体数据,将所述多媒体数据以第一格式存储于第一存储端,在检测到用户终端对多媒体数据的处理请求时,将存储于第一存储端的多媒体数据发送至用户终端,以使用户终端对多媒体数据进行业务处理,在接收到用户终端对多媒体数据处理完成的反馈信息之后,将多媒体数据标记为待转存数据,当检测到所述第一存储端的存储空间达到预设值时,判断线程池中是否存在处于空间状态的线程,若不存在,则输出提示信息;若存在,则将待转存数据进行压缩处理生成归档数据,将归档数据存储至第二存储端,并在第一存储端中将待转存数据进行删除,当检测到用户终端对多媒体数据的查询请求时,判断所述第一存储端是否存储所述多媒体数据所对应的待转存数据,若是,则将所述待转存数据发送至所述用户终端;若否,则将存储于所述第二存储端的所述多媒体所对应的所述归档数据发送至所述用户终端。通过将未经业务处理的多媒体数据和经过业务处理的待转存数据分别存储于第一存储端和第二存储端中,可以避免当需要对归档数据进行查询时,结合人工配合在相应的离线设备中查找到该数据,并将其接入到在线设备中进行业务处理的情况,降低了对多媒体数据进行查找的复杂度,提升了对多媒体数据的查找效率,进而提高了业务处理效率。
下面将结合附图3-附图4,对本发明实施例提供的数据存储装置进行详细介绍。需要说明的是,附图3-附图4所示的数据存储装置,用于执行本发明图1-图2所示实施例的方法,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明图1-图2所示的实施例。
请参见图3,为本发明实施例提供了一种数据存储装置的结构示意图。如图3所示,本发明实施例的所述数据存储装置可以包括:数据发送单元11、标记单元12、转换单元13和存储单元14。
数据发送单元11,用于当检测到用户终端对多媒体数据的处理请求时,将存储于第一存储端的所述多媒体数据发送至所述用户终端,以使所述用户终端对所述多媒体数据进行业务处理;
具体实现中,当检测到用户终端对多媒体数据的处理请求时,所述数据发送单元11将存储于第一存储端的所述多媒体数据发送至所述用户终端,以使所述用户终端对所述多媒体数据进行业务处理。所述多媒体数据可包括但不限定于图片、音频、视频、会计影像等。所述第一存储端可包括但不限定于光纤磁盘阵列、SCSI磁盘阵列等磁盘设备。例如,在银行行业中,用户终端有可能需要对会计影像进行OCR识别、二维码扫描、印鉴验印等业务处理,数据存储装置在检测到用户终端对会计影像的处理请求时,将相应的存储于第一存储端的会计影像发送至用户终端,以使用户终端进行以上所述银行业务处理。
标记单元12,用于当接收到所述用户终端对所述多媒体数据处理完成的反馈信息时,将所述多媒体数据标记为待转存数据;
具体的,所述数据存储装置在接收到所述用户终端对所述多媒体数据处理完成的反馈信息之后,将所述多媒体数据标记为待转存数据。例如,在银行行业中,数据存储装置在接收到所述用户终端对会计影像处理完成的反馈信息之后,将会计影像标记为待转存影像。
转换单元13,用于当检测到所述第一存储端的存储空间达到预设值时,将所述待转存数据转换为归档数据;
具体的,所述转换单元13当检测到所述第一存储端的存储空间达到预设值时,判断线程池中是否存在处于空闲状态的线程,若所述线程池中存在处于空闲状态的线程,则根据所述线程将所述待转存数据转换为归档数据,所述转换是指所述线程按照预设第二格式对所述多媒体数据进行压缩处理,并在压缩处理后生成归档数据。所述第二格式是相对于所述多媒体数据而言压缩率较高、存储/传输消耗相对较小的格式,例如,由谷歌推出的新一代图片格式WebP。在银行行业中,随着会计影像的日积月累,所需存储空间只会越来越多,而大容量、读写速度快的存储器成本较高,而实际上银行在不同环境中对会计影像的质量要求是不同的,在OCR识别、印鉴验印等业务处理环节需要高质量的会计影像,而在查询环节时对会计影像的质量要求并不高,因此数据存储装置可根据会计影像所处环节进行分类保存,在用户终端对会计影像完成业务处理之后,当检测到存储会计影像的存储空间达到预设值时,将待转存影像进行压缩处理生成第二格式WebP的归档影像。
存储单元14,用于将所述归档数据存储至第二存储端,并在第一存储端中将所述待转存数据进行删除。
具体实现中,所述存储单元14将归档数据存储至第二存储端,并在第一存储端中将所述待转存数据进行删除。例如,在银行行业中,数据存储装置将由待转存影像压缩得到的归档影像存储至第二存储器,在归档影像存储于第二存储器之后,删除第一存储器的待转存影像。
在本发明实施例中,在检测到用户终端对多媒体数据的处理请求时,将存储于第一存储端的多媒体数据发送至用户终端,以使用户终端对多媒体数据进行业务处理,当接收到用户终端对多媒体数据处理完成的反馈信息时,将多媒体数据标记为待转存数据,当检测到第一存储端的存储空间达到预设值时,将待转存数据转换为归档数据;将归档数据存储至第二存储端,并在第一存储端中将待转存数据进行删除。通过将未经业务处理的多媒体数据和经过业务处理的待转存数据分别存储于第一存储端和第二存储端中,可以避免当需要对归档数据进行业务查询时,结合人工配合在相应的离线设备中查找到该数据,并将其接入到在线设备中的情况,降低了对多媒体数据进行查找的复杂度,提升了对多媒体数据的查找效率,进而提高了业务处理效率。
请参见图4,为本发明实施例提供了另一种数据存储装置的结构示意图。如图4所示,本发明实施例的所述数据存储装置可以包括:数据发送单元11、标记单元12、转换单元13、存储单元14、接收单元15、第一判断单元16、输出单元17、第二判断单元18;其中,数据发送单元11、标记单元12的结构可以参见图3所示实施例的具体描述,在此不进行赘述。
接收单元15,用于接收所上传的多媒体数据,将所述多媒体数据以第一格式存储于第一存储端;
具体实现中,在所述当检测到用户终端对多媒体数据的处理请求之前,所述接收单元15可接收所上传的多媒体数据,将所述多媒体数据以第一格式存储于第一存储端。所述第一格式是相对于所述多媒体数据而言的压缩失真较小、存储/传输消耗相对较大的格式,例如,图片的存储格式包括BMP、JPEG、WMF等,音频的存储格式包括CD、WAVE、MP3等,视频的存储格式有MPEG、AVI、FLV等。在银行行业中,数据存储装置可接收由用户终端通过扫描纸质文件所上传的会计影像,由于OCR识别、二维码扫描、印鉴验印等业务处理对会计影像质量要求较高,则需要将所述会计影像以质量较高的JPEG格式进行保存,进一步需要保存到读写速度较快的存储器,可提高数据的传输速率。
第一判断单元16,用于当检测到所述第一存储端的存储空间达到预设值时,判断线程池中是否存在处于空闲状态的线程;
具体实现中,当检测到所述第一存储端的存储空间达到预设值时,所述第一判断单元16用于判断线程池中是否存在处于空闲状态的线程。例如,在银行行业中,当数据存储装置检测到会计影像所在的存储空间达到预设值时,判断线程池中是否存在处于空闲状态的线程,若存在处于空闲状态的线程,则将待转存影像转换为归档影像;若不存在处于空闲状态的线程,则输出提示消息,即提示线程忙或发出警告等。
需要说明的是,所述线程池中包含多个线程,所述数据存储装置可利用线程池控制线程执行任务。具体而言,若在数据存储高峰期,可触发线程池中的多个线程并行进行对待转存数据进行转换以及传输等,当某个线程正在对待转存数据进行数据格式转换以及数据传输时,同时检测到第一存储端的存储空间达到预设值,此时就需要触发线程池中另一个处于空闲状态的线程进行处理,对于这种多线程并发的情况,所述数据存储装置可根据线程池中是否有空闲状态的线程进行控制,并在线程完成任务之后,休眠所述线程,以备下次使用。
输出单元17,用于若所述第一判断单元16判断所述线程池中不存在处于空闲状态的线程,则输出提示信息。
转换单元13,用于若所述第一判断单元16判断所述线程池中存在处于空闲状态的线程,则所述转换单元13根据所述线程将所述待转存数据转换为归档数据;
具体实现中,若所述第一判断单元16判断所述线程池中存在处于空闲状态的线程,则所述转换单元13根据所述线程将所述待转存数据转换为归档数据,所述转换是指所述线程按照预设第二格式对所述待转存数据进行压缩处理,并在压缩处理后生成归档数据。所述第二格式是相对于所述多媒体数据而言压缩率较高、存储/传输消耗相对较小的格式,例如,由谷歌推出的新一代图片格式WebP。在银行行业中,随着会计影像的日积月累,所需存储空间只会越来越多,而大容量、读写速度快的存储器成本较高,而实际上银行在不同环境中对会计影像的质量要求是不同的,在OCR识别、印鉴验印等业务处理环节需要高质量的会计影像,而在查询环节时对会计影像的质量要求并不高,因此数据存储装置可根据会计影像所处环节进行分类保存,在用户终端对会计影像完成业务处理之后,当检测到存储会计影像的存储空间达到预设值时,将待转存影像进行压缩处理生成第二格式WebP的归档影像等。
存储单元14,用于将所述归档数据存储至第二存储端,并在第一存储端中将所述待转存数据进行删除。
具体实现中,所述存储单元14将归档数据存储至第二存储端,优选的,所述存储单元14可以通过调用所述线程将所述归档数据从所述第一存储端中转移至所述第二存储端中,使所述第二存储端对所述归档数据进行存储,并在第一存储端中将所述待转存数据进行删除。例如,在银行行业中,数据存储装置将由待转存影像压缩得到的归档影像存储至第二存储器,在归档影像存储于第二存储器之后,删除第一存储器的待转存影像。
第二判断单元18,用于当检测到所述用户终端对所述多媒体数据的查询请求时,判断所述第一存储端是否存储所述多媒体数据所对应的待转存数据;
具体实现中,当检测到所述用户终端对所述多媒体数据的查询请求时,所述第二判断单元18用于判断所述第一存储端是否存储所述多媒体数据所对应的待转存数据,若所述第二判断单元18判断所述第一存储端存储所述多媒体数据所对应的待转存数据,则所述数据发送单元11将所述待转存数据发送至所述用户终端;若所述第二判断单元18判断所述第一存储端未存储所述多媒体数据所对应的待转存数据,则所述数据发送单元11将存储于所述第二存储端的所述多媒体所对应的所述归档数据发送至所述用户终端。
需要说明的是,所述用户终端可以在任意时间向所述数据存储装置发送对所述多媒体数据的查询请求,因此所述多媒体数据此时有可能以标记为待转存数据的方式存储于所述第一存储端中,或者通过以转换为归档数据的方式存储于所述第二存储端中,因此当所述数据存储装置接收到所述用户终端发送的对所述多媒体数据的查询请求时,可以优先在所述第一存储端中查找是否存在所述多媒体数据对应的被标记的待转存数据,若存在,可以直接将所述待转存数据发送至所述用户终端以响应所述查询请求;若不存在,则可以在所述第二存储端中查找所述多媒体数据被标记为待转存数据并进行对应转换的归档数据,将所述归档数据发送至所述用户终端以响应所述查询请求。
在本发明实施例中,所述用户终端可上传所述多媒体数据,或者发送对所述多媒体数据的处理请求并进行业务处理,或者发送对所述多媒体数据的查询请求。可以理解的是,所述用户终端可以是同一用户终端,也可是不同用户终端。例如,在银行行业中,前台用户终端可上传会计影像至数据存储装置;后台用户终端可向数据存储装置发送对会计影像的处理请求,后台用户终端在接收到数据存储装置发送的会计影像后进行业务处理;前台用户终端、后台用户终端均可发送查询请求,如前台用户终端可查询业务处理结果、前后台用户终端可稽查已处理业务的合规情况等。此外,所述第一存储端和第二存储端均属于在线存储,可便于数据存储装置读写、查找、转存等,而二者的区别在于:所述第一存储端读写速度较快,对于质量要求较高的所述多媒体数据可加快其传输速度以提高业务处理效率,但其存储空间较小、成本也相对较高;所述第二存储端是用来存储经过压缩处理的所述归档数据,其存储空间较大、价格便宜,可用来存储大量待转存数据的同时也可保证所述用户终端的业务处理效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (12)

1.一种数据存储方法,其特征在于,包括:
当检测到用户终端对多媒体数据的处理请求时,将存储于第一存储端的所述多媒体数据发送至所述用户终端,以使所述用户终端对所述多媒体数据进行业务处理;
当接收到所述用户终端对所述多媒体数据处理完成的反馈信息时,将所述多媒体数据标记为待转存数据;
当检测到所述第一存储端的存储空间达到预设值时,将所述待转存数据转换为归档数据;
将所述归档数据存储至第二存储端,并在第一存储端中将所述待转存数据进行删除。
2.根据权利要求1所述的方法,其特征在于,所述当检测到用户终端对多媒体数据的处理请求之前,还包括:
接收所上传的多媒体数据,将所述多媒体数据以第一格式存储于第一存储端。
3.根据权利要求1所述的方法,其特征在于,所述当检测到所述第一存储端的存储空间达到预设值之后,还包括:
判断线程池中是否存在处于空闲状态的线程;
所述将所述待转存数据转换为归档数据,包括:
若所述线程池中存在处于空闲状态的线程,则根据所述线程将所述待转存数据转换为归档数据。
4.根据权利要求3所述的方法,其特征在于,还包括:
若所述线程池中不存在处于空闲状态的线程,则输出提示信息。
5.根据权利要求3所述的方法,其特征在于,所述根据所述线程将所述待转存数据转换为归档数据,包括:
调用所述线程按照预设第二格式对所述待转存数据进行压缩处理,并在压缩处理后生成归档数据。
6.根据权利要求1所述的方法,其特征在于,还包括:
当检测到所述用户终端对所述多媒体数据的查询请求时,判断所述第一存储端是否存储所述多媒体数据所对应的待转存数据,
若是,则将所述待转存数据发送至所述用户终端。
若否,则将存储于所述第二存储端的所述多媒体所对应的所述归档数据发送至所述用户终端。
7.一种数据存储装置,其特征在于,包括:
数据发送单元,用于当检测到用户终端对多媒体数据的处理请求时,将存储于第一存储端的所述多媒体数据发送至所述用户终端,以使所述用户终端对所述多媒体数据进行业务处理;
标记单元,用于当接收到所述用户终端对所述多媒体数据处理完成的反馈信息时,将所述多媒体数据标记为待转存数据;
转换单元,用于当检测到所述第一存储端的存储空间达到预设值时,将所述待转存数据转换为归档数据;
存储单元,用于将所述归档数据存储至第二存储端,并在第一存储端中将所述待转存数据进行删除。
8.根据权利要求7所述的装置,其特征在于,还包括:
接收单元,用于接收所上传的多媒体数据,将所述多媒体数据以第一格式存储于第一存储端。
9.根据权利要求7所述的装置,其特征在于,还包括:
第一判断单元,用于当检测到所述第一存储端的存储空间达到预设值时,判断线程池中是否存在处于空闲状态的线程;
所述转换单元具体用于若所述第一判断单元判断所述线程池中存在处于空闲状态的线程,则根据所述线程将所述待转存数据转换为归档数据。
10.根据权利要求9所述的装置,其特征在于,还包括:
输出单元,用于若所述第一判断单元判断所述线程池中不存在处于空闲状态的线程,则输出提示信息。
11.根据权利要求9所述的装置,其特征在于,所述转换单元具体用于若所述第一判断单元判断所述线程池中存在处于空闲状态的线程,则调用所述线程按照预设第二格式对所述待转存数据进行压缩处理,并在压缩处理后生成归档数据。
12.根据权利要求7所述的装置,其特征在于,还包括:
第二判断单元,用于当检测到所述用户终端对所述多媒体数据的查询请求时,判断所述第一存储端是否存储所述多媒体数据所对应的待转存数据。
所述数据发送单元,还用于若所述第二判断单元判断所述第一存储端存储所述多媒体数据所对应的待转存数据,则将所述待转存数据发送至所述用户终端。
所述数据发送单元,还用于若所述第二判断单元判断所述第一存储端未存储所述多媒体数据所对应的待转存数据,则将存储于所述第二存储端的所述多媒体所对应的所述归档数据发送至所述用户终端。
CN201410594434.9A 2014-10-29 2014-10-29 一种数据存储方法及装置 Pending CN104408064A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410594434.9A CN104408064A (zh) 2014-10-29 2014-10-29 一种数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410594434.9A CN104408064A (zh) 2014-10-29 2014-10-29 一种数据存储方法及装置

Publications (1)

Publication Number Publication Date
CN104408064A true CN104408064A (zh) 2015-03-11

Family

ID=52645696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410594434.9A Pending CN104408064A (zh) 2014-10-29 2014-10-29 一种数据存储方法及装置

Country Status (1)

Country Link
CN (1) CN104408064A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105786975A (zh) * 2016-02-04 2016-07-20 北京中盛益华科技有限公司 用于快速检索的海量视频存储方法
CN106528650A (zh) * 2016-10-14 2017-03-22 努比亚技术有限公司 一种资源查询方法及终端
CN106815283A (zh) * 2016-12-02 2017-06-09 乐视控股(北京)有限公司 数据处理方法、装置及电子设备
CN107124615A (zh) * 2017-05-15 2017-09-01 郑州云海信息技术有限公司 一种WebP有损压缩的方法及装置
CN108235027A (zh) * 2016-12-21 2018-06-29 英业达科技有限公司 影像传输管理系统及其方法
CN110417838A (zh) * 2018-04-28 2019-11-05 华为技术有限公司 一种数据同步方法及同步服务设备
CN111143280A (zh) * 2019-12-31 2020-05-12 广州广电运通信息科技有限公司 一种数据调度方法、系统、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060061579A1 (en) * 2004-09-22 2006-03-23 Yoshinori Washizu Information processing apparatus for efficient image processing
CN101483695A (zh) * 2009-01-15 2009-07-15 中兴通讯股份有限公司 实现短信转移的终端及方法
CN102611454A (zh) * 2012-01-29 2012-07-25 上海锅炉厂有限公司 一种实时历史数据动态无损压缩方法
CN103593420A (zh) * 2013-11-01 2014-02-19 浪潮电子信息产业股份有限公司 一种利用共享在线日志实现异构同平台的数据库集群搭建方法
CN103795756A (zh) * 2012-10-31 2014-05-14 中国电信股份有限公司 分层存储方法和系统、对象访问控制器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060061579A1 (en) * 2004-09-22 2006-03-23 Yoshinori Washizu Information processing apparatus for efficient image processing
CN101483695A (zh) * 2009-01-15 2009-07-15 中兴通讯股份有限公司 实现短信转移的终端及方法
CN102611454A (zh) * 2012-01-29 2012-07-25 上海锅炉厂有限公司 一种实时历史数据动态无损压缩方法
CN103795756A (zh) * 2012-10-31 2014-05-14 中国电信股份有限公司 分层存储方法和系统、对象访问控制器
CN103593420A (zh) * 2013-11-01 2014-02-19 浪潮电子信息产业股份有限公司 一种利用共享在线日志实现异构同平台的数据库集群搭建方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105786975A (zh) * 2016-02-04 2016-07-20 北京中盛益华科技有限公司 用于快速检索的海量视频存储方法
CN105786975B (zh) * 2016-02-04 2018-12-28 北京中盛益华科技有限公司 用于快速检索的海量视频存储方法
CN106528650A (zh) * 2016-10-14 2017-03-22 努比亚技术有限公司 一种资源查询方法及终端
CN106528650B (zh) * 2016-10-14 2019-06-21 努比亚技术有限公司 一种资源查询方法及终端
CN106815283A (zh) * 2016-12-02 2017-06-09 乐视控股(北京)有限公司 数据处理方法、装置及电子设备
CN108235027A (zh) * 2016-12-21 2018-06-29 英业达科技有限公司 影像传输管理系统及其方法
CN107124615A (zh) * 2017-05-15 2017-09-01 郑州云海信息技术有限公司 一种WebP有损压缩的方法及装置
CN110417838A (zh) * 2018-04-28 2019-11-05 华为技术有限公司 一种数据同步方法及同步服务设备
US11019145B2 (en) 2018-04-28 2021-05-25 Huawei Technologies Co., Ltd. Data synchronization method and synchronization service device
CN111143280A (zh) * 2019-12-31 2020-05-12 广州广电运通信息科技有限公司 一种数据调度方法、系统、装置及存储介质
CN111143280B (zh) * 2019-12-31 2023-10-10 广州广电运通信息科技有限公司 一种数据调度方法、系统、装置及存储介质

Similar Documents

Publication Publication Date Title
CN104408064A (zh) 一种数据存储方法及装置
WO2021057619A1 (zh) 内存回收方法、装置、电子设备及存储介质
CN106874348B (zh) 文件存储和索引方法、装置及读取文件的方法
WO2016048599A1 (en) Caching technologies employing data compression
CN111382123B (zh) 文件存储方法、装置、设备及存储介质
WO2021057622A1 (zh) 内存回收方法、装置、电子设备及存储介质
WO2021057623A1 (zh) 内存回收方法、装置、电子设备及存储介质
WO2017101126A1 (zh) 一种监控系统的数据存储方法及系统
CN111615692A (zh) 数据搬运方法、计算处理装置、设备及存储介质
WO2017132797A1 (zh) 数据整理方法、存储设备、存储控制器以及存储阵列
CN109766422A (zh) 信息处理方法、装置及系统、存储介质、终端
CN105045846A (zh) 一种图像的存储方法及终端
CN103955440A (zh) 一种非易失存储设备及其进行数据操作的方法
CN105630923A (zh) 一种实现档案管理信息化的方法
CN116049109A (zh) 一种基于过滤器的文件校验方法、系统、设备和介质
CN103425539B (zh) 信息处理方法及装置
CN109144403B (zh) 一种用于云盘模式切换的方法与设备
CN109993286B (zh) 稀疏神经网络的计算方法及相关产品
CN105338097A (zh) 基于终端屏幕大小的流量控制方法、终端及业务服务器
CN112714163B (zh) 数据传输方法、装置、电子设备和介质
CN113992493A (zh) 视频处理方法、系统、设备及存储介质
CN111274176B (zh) 一种信息处理方法、电子设备、系统及存储介质
CN110751003B (zh) 一种获取二维码的目标数据信息的方法与设备
CN110874416B (zh) 一种图像特征值存储方法、装置和电子设备
CN101907979A (zh) 图像形成装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150311