CN108111557B - 一种获取云存储系统中数据的方法及装置 - Google Patents
一种获取云存储系统中数据的方法及装置 Download PDFInfo
- Publication number
- CN108111557B CN108111557B CN201611053415.0A CN201611053415A CN108111557B CN 108111557 B CN108111557 B CN 108111557B CN 201611053415 A CN201611053415 A CN 201611053415A CN 108111557 B CN108111557 B CN 108111557B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- storage system
- cloud storage
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000007405 data analysis Methods 0.000 claims abstract description 136
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012517 data analytics Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供了一种获取云存储系统中数据的方法及装置,该方法包括:接收大数据分析服务器发送的待分析目标数据的条件信息;在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据。应用本发明实施例,预先将存储到云存储系统中的目标数据进行分析处理,在大数据分析服务器分析目标数据时,不需要提取云存储系统中所有可能的目标数据,降低了对大数据分析服务器的硬件要求,提高了大数据分析服务器处理数据的效率。
Description
技术领域
本发明涉及云存储技术领域,特别是涉及一种获取云存储系统中数据的方法及装置。
背景技术
大数据分析常和云计算联系到一起,通过实时的数据分析,完成对海量数据的过滤。大数据分析在社会各个行业所凸显出的作用和价值越来越重要,越来越明显。
云存储系统是将不同类型的存储设备相互连接起来,实现对海量数据的统一管理的分布式存储系统。目前,云存储与大数据处理结合的系统如图1所示,包括:云存储系统110和大数据分析服务器120。其中,云存储系统110包括:管理服务器111、存储服务器112。具体的,管理服务器111负责管理多个存储服务器112,存储服务器112用于对外提供数据存储和业务访问,大数据分析服务器120,用于从云存储系统110获得数据并对所获得的数据进行分析处理。
现有技术中,云存储系统将海量数据存储于存储服务器中,当大数据分析服务器分析目标数据(图片数据、文档数据等)时,需要从云存储系统的存储服务器中读取所有可能的数据,然后对该所有可能的数据进行分析,获得用户所需要的数据。特别是应用在视频监控领域中,从视频监控前端的图像采集设备获得的海量的图片数据被存储到存储服务器中;当用户需要获得目标图片数据时,大数据分析服务器从存储服务器中读取所有可能的图片数据进行分析,最终得到用户所需要的目标图片数据。
可见,现有技术的大数据分析服务器在获取用户所需要的数据时,需要从存储服务器中,读取所有可能数据,并对该所有可能数据进行分析,从而获得用户所需的数据。这种获取数据的方式,消耗了大量的时间,处理效率极低。
发明内容
本发明实施例的目的在于提供一种获取云存储系统中数据的方法及装置,以实现从云存储系统中,快速、准确的获取用户所需要的数据。具体技术方案如下:
第一方面,本发明实施例公开了一种获取云存储系统中数据的方法,应用于云存储系统中,包括:
接收大数据分析服务器发送的待分析目标数据的条件信息;
在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;其中,每个数据对应一个模型数据,每一模型数据中包含相应数据的统一资源定位符URL和模型信息,每一模型信息为云存储系统在存储相应数据时,根据该数据的关键信息所确定的;
发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据。
可选的,所述目标数据为图片数据;所述条件信息包括:采集时间、采集地点以及对象属性中的至少一类;
所述模型信息包括:采集时间、采集地点和对象属性。
可选的,所述目标数据为文本数据;所述条件信息包括:存储时间、文本数据类型以及所占存储空间大小中的至少一类;
所述模型信息包括:存储时间、文本数据类型以及所占存储空间大小。
可选的,所述在接收大数据分析服务器发送的待分析目标数据的条件信息之前,所述方法还包括:
存储目标数据,根据所述存储目标数据的存储位置,生成所述目标数据的URL;
从所述目标数据中解码出关键信息;
根据所述关键信息,通过预设算法,得到所述目标数据的目标模型信息;构建所述目标数据对应的模型数据,其中,所述目标数据对应的模型数据包括所述目标数据的URL和所述目标模型信息。
可选的,所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据,包括:
确定所述大数据分析服务器当前的数据分析速率;
根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据。
可选的,所述根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据,包括:
判断所确定出的当前的数据分析速率是否小于第一阈值;
如果判断结果为是,暂停从所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,向所述云存储系统中请求获得所述目标URL对应的数据。
可选的,所述根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据,包括:
判断所确定出的当前的数据分析速率是否小于第二阈值;
如果判断结果为是,以第一速率向所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,以第二速率向所述云存储系统中请求获得所述目标URL对应的数据;
其中,所述第一速率小于所述第二速率。
第二方面,本发明实施例公开了一种获取云存储系统中数据的装置,应用于云存储系统中,包括:
接收单元,用于接收大数据分析服务器发送的待分析目标数据的条件信息;
获取单元,用于在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;其中,每个数据对应一个模型数据,每一模型数据中包含相应数据的统一资源定位符URL和模型信息,每一模型信息为云存储系统在存储相应数据时,根据该数据的关键信息所确定的;
发送单元,用于发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器中的获取单元从云存储系统中获取所述目标URL对应的数据。
可选的,所述目标数据为图片数据;所述条件信息包括:采集时间、采集地点以及对象属性中的至少一类;
所述模型信息包括:采集时间、采集地点和对象属性。
可选的,所述目标数据为文本数据;所述条件信息包括:存储时间、文本数据类型以及所占存储空间大小中的至少一类;
所述模型信息包括:存储时间、文本数据类型以及所占存储空间大小。
可选的,所述装置还包括:
生成单元,用于存储目标数据,根据所述存储目标数据的存储位置,生成所述目标数据的目标URL;
解码单元,用于从所述目标数据中解码出关键信息;
处理单元,用于根据所述关键信息,通过预设算法,得到所述目标数据的目标模型信息;构建所述目标数据对应的模型数据,其中,所述目标数据对应的模型数据包括所述目标数据的URL和所述目标模型信息。
可选的,所述大数据分析服务器中的获取单元,包括:
确定子单元,用于确定所述大数据分析服务器当前的数据分析速率;
查找子单元,根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据。
可选的,所述查找子单元具体用于,
判断所确定出的当前的数据分析速率是否小于第一阈值;
如果判断结果为是,暂停从所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,向所述云存储系统中请求获得所述目标URL对应的数据。
可选的,所述查找子单元具体用于,
判断所确定出的当前的数据分析速率是否小于第二阈值;
如果判断结果为是,以第一速率向所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,以第二速率向所述云存储系统中请求获得所述目标URL对应的数据;
其中,所述第一速率小于所述第二速率。
本发明实施例提供的一种获取云存储系统中数据的方法及装置,该方法包括:接收大数据分析服务器发送的待分析目标数据的条件信息;在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据。可见,应用本发明实施例,预先将存储到云存储系统中的所有数据进行分析处理,在大数据分析服务器获取用户所需的目标数据时,不需要提取云存储系统中所有可能的数据,只需要根据用户输入的条件信息,提取与条件信息相匹配的目标模型信息对应的目标数据。这种获取云存储系统中数据的方法,快速、准确的获取用户所需要的数据,降低了对大数据分析服务器的硬件要求,提高了大数据分析服务器处理数据的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术提供的云存储与大数据处理结合的系统结构示意图;
图2为本发明实施例提供的获取云存储系统中图片数据的系统结构图;
图3为本发明实施例提供的获取云存储系统中数据的方法的流程示意图;
图4为本发明实施例提供的获取云存储系统中数据的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种获取云存储系统中数据的方法及装置,以实现快速、准确的从云存储系统中获取用户所需的数据。
下面首先对本发明实施例所提供的一种获取云存储系统中数据的方法进行介绍。
需要说明的是,本发明实施例所提供的一种获取云存储系统中的数据的方法的执行主体可以为一种获取云存储系统中的数据的装置。具体的,该获取云存储系统中的数据的装置可以为云存储系统中用于处理大数据分析服务器请求的设备中的功能软件,其中,用于处理大数据分析服务器请求的设备如该云存储系统中的管理服务器或存储服务器。
可以理解的是,在云存储系统中存储了各种类型的数据,包括:图片数据或者,文本数据,当然并不局限于此。图片数据通常是前端摄像机或者抓拍机生成的、或者由用户通过电子设备(例如,电脑、手机、具有存储功能的设备等)上传到云存储系统的;文本数据可以是用户通过电子设备上传到云存储系统的。举例而言,图2为本发明实施例提供的获取云存储系统中图片数据的系统结构示意图,如图2所示,该系统可以包括:前端摄像机(或抓拍机)210、云存储系统220及大数据分析服务器230;具体的,前端摄像机210用于生成图片数据,云存储系统220用于处理、存储图片数据,大数据分析服务器230用于从云存储系统220中获得图片数据并对所获的图片数据进行分析处理。
参见图3,本发明实施例提供的获取云存储系统中数据的方法,可以包括以下步骤:
S301,接收大数据分析服务器发送的待分析目标数据的条件信息;
其中,目标数据可以为图片数据或者文本数据,当然并不局限于此。通常,用户根据其所需要的目标数据,设定条件信息,并向大数据分析服务器上传所设定的条件信息,以使大数据分析服务器根据设定的条件信息,从云存储系统中,得到所需的目标数据。当用户设定的条件信息不同时,从云存储系统中,得到的目标数据也不同。
需要强调的是,大数据分析服务器发送的待分析目标数据的条件信息与现有技术中大数据分析服务器发送的条件信息相同,举例而言:对于目标数据为图片数据时,条件信息可以为采集时间、采集地点以及对象属性中的至少一类,当然并不局限于此;对于目标数据为文本数据时,条件信息可以为存储时间、文本数据类型以及所占存储空间大小中的至少一类,当然并不局限于此。
S302,在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;其中,每个数据对应一个模型数据,每一模型数据中包含相应数据的统一资源定位符URL和模型信息,每一模型信息为云存储系统在存储相应数据时,根据该数据的关键信息所确定的;
该获取云存储系统中数据的装置在接收到大数据分析服务器发送的待分析目标数据的条件信息后,并不是直接向该大数据分析服务器反馈所有可能的大量的数据,而是在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息,进而基于该目标模型信息向该大数据分析服务器反馈少量的精准的数据。
需要说明的是,在接收大数据分析服务器发送的条件信息之前,云存储系统中预先存储了所有数据的模型数据。这里,云存储系统中存储的每个数据对应一个模型数据,具体的,在一种具体实现方式中,在云存储系统中,生成每个数据对应的模型数据的过程可以包括:云存储系统将存储的每个数据的关键信息,通过预设算法,得到每个数据的模型信息,通过该模型信息构建对应的模型数据。这里,每个数据的模型数据中包含该数据的统一资源定位符URL和模型信息,其中,数据的统一资源定位符URL表示了该数据在云存储系统中的存储位置,模型信息是存储数据时,将该数据的关键信息所确定的。
例如,当目标数据为图片数据时,在云存储系统中,解码该图片数据的图片关键信息,将该图片关键信息,通过预设算法,得到该图片数据的图片模型信息,由图片模型信息和URL构建得到该图片数据对应的图片模型数据。其中,图片关键信息为前端设备(前端摄像机、抓拍机等具有编码功能的设备)在生成图片数据时的主要信息,可以通过筛选算法,对图片关键信息进行筛选,将筛选得到的信息作为图片模型信息,例如,前端设备在生成图片数据时,将采集时间、采集地点以及对象属性及其他相关图片信息编码到图片数据中,云存储系统从图片数据中解码出图片关键信息,对图片关键信息进行筛选,可以得到采集时间、采集地点以及对象属性等图片模型信息。需要注意的是,采集时间是指前端设备采集图片数据的时间,采集地点是指前端设备所采集图片数据的地点,对应属性是指图片数据的格式、大小、分辨率、总像素等。
需要强调的是,关键信息为该数据的各类属性信息,而模型信息为基于关键信息确定的、方便后续查询(即能够与条件信息进行匹配分析)的信息,因此,在确定模型信息时,可以根据能够获得的条件信息进行确定。
S303,发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据。
当获得与所述条件信息相匹配的目标模型信息时,在包含该目标模型信息的目标模型数据中查找目标URL,将所获得的目标URL发送给大数据分析服务器,这样,大数据分析服务器根据该目标URL,从云存储系统中提取所述目标URL对应的数据。例如,当目标数据为图片数据时,具体的,当云存储系统向大数据分析服务器发送图片数据的图片URL后,大数据分析服务器可以根据该图片URL,从云存储系统中提取该图片URL对应的图片数据。
需要注意的是,本发明实施例中的目标数据可以为图片数据或者文本数据。当用户需要获得云存储系统中的图片数据时,所述目标数据即为图片数据;当用户需要获得云存储系统中文本数据时,所述目标数据即为文本数据。应用上述实施例,在接收大数据分析服务器发送的待分析目标数据的条件信息,通过在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息,发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据。可见,本发明实施例,预先将存储到云存储系统中的所有数据进行分析处理,在大数据分析服务器获取用户所需的目标数据时,不需要提取云存储系统中所有可能的数据,本发明实施例降低了对大数据分析服务器的硬件要求,提高了大数据分析服务器处理数据的效率,实现从云存储系统中,快速、准确的获取用户所需要的数据。
在本发明实施例的一种可能的实现方式中,在目标数据为图片数据时,所述条件信息包括:采集时间、采集地点以及对象属性中的至少一类,也就是,条件信息可以为采集时间、采集地点及对象属性中的一类或者条件信息可以同时包括采集时间、采集地点及对象属性至少两类。大数据分析服务器可以向云存储系统上传条件信息中的一类或者至少两类。这里的采集时间为前端摄像机或者抓拍机生成图片数据的时间,或者采集时间为用户在云存储系统上传图片数据的时间。这里,采集地点可以理解为前端摄像机所在的地点,也就是生成图片数据的地点,或者用户在云存储系统上传图片数据时,用户所在的地点。对象属性包括:车辆类型、车辆颜色、车牌号码、运动速度、车辆数量等。另外,在目标数据为图片数据时,每个图片数据对应一个图片模型数据,每个图片模型数据中包含该图片数据的统一资源定位符和图片模型信息,这里的图片数据的图片模型信息包括采集时间、采集地点和对象属性的等。
在本发明实施例的一种可能的实现方式中,在目标数据为文本数据时;所述条件信息包括:存储时间、文本数据类型以及所占存储空间大小中的至少一类。也就是,条件信息可以为存储时间、文本数据类型以及所占存储空间的大小中的一类,或者条件信息可以同时包括存储时间、文本数据类型以及所占存储空间的大小中的至少两类。大数据分析服务器可以向云存储系统上传存储时间、文本数据类型以及所占存储空间大小中的一类或者至少两类。这里,存储时间是在云存储系统中存储数据文本的时间,文本数据类型包括:txt、doc、docx、wps等。另外,在目标数据为文本数据时,每个文本数据对应一个文本模型数据,每个文本模型数据中包含该文本数据的统一资源定位符和文本数据的文本模型信息,这里的文本数据的文本模型信息包括:存储时间、文本数据类型以及所占存储空间大小。需要注意的是,文本数据的模型信息包括条件信息。
在本发明实施例的一种可能的实现方式中,在接收大数据分析服务器发送的待分析目标数据的条件信息之前,所述方法还包括:存储目标数据,根据所述存储目标数据的存储位置,生成所述目标数据的URL;从所述目标数据中解码出关键信息;根据所述关键信息,通过预设算法,得到所述目标数据的目标模型信息;构建所述目标数据对应的模型数据,其中,所述目标数据对应的模型数据包括所述目标数据的URL和所述目标模型信息。
具体的,云存储系统将前端摄像机等设备生成的,或者用户上传的目标数据存储到云存储系统的预设存储位置,根据该目标数据的存储位置,生成目标数据的URL。例如,云存储系统将前端摄像机等设备生成的,或者用户上传图片数据存储到预设存储位置,根据该图片数据的存储位置,生成该图片数据的URL。
需要注意的是,在目标数据中包含该目标数据的关键信息,在对目标数据进行处理时,将目标数据的关键信息解码出来。该关键信息是生成目标数据时,前端设备将目标数据的关键信息编码到目标数据中,例如,当前端设备生成图片数据时,将图片数据中的汽车数量、汽车型号、车牌等图片关键信息编码到图片数据中。
将目标数据存储到云存储系统后,将目标数据中的关键信息解码出来;然后,对这些关键信息,通过预设算法,得到目标模型信息,由目标模型信息构建目标数据对应的目标模型数据,同时目标模型数据包括目标数据的URL和目标模型信息。也就是,通过目标模型信息构建目标模型数据,在目标模型数据中添加目标数据的URL,得到最终的目标模型数据。当获得条件信息时,可以在目标模型数据中查找与该条件信息相匹配的目标模型信息,当模型数据中存在与目标模型信息相匹配的目标模型信息时,获得该模型数据中的目标URL,将该目标URL发送给大数据分析服务器,大数据分析服务器根据接收的目标URL,从云存储系统中提取该目标URL对应的数据。例如,在图片数据存储到云存储系统后,将图片数据中的关键信息解码出来,采用预设算法对图片数据的关键信息进行分析处理,得到图片数据的图片模型信息,由图片模型信息构建图片数据对应的模型数据,并将图片数据的URL添加到图片模型数据中,这样,图片模型数据包括图片模型信息和图片数据的URL。
在本发明实施例的一种可能的实现方式中,所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据,包括:确定所述大数据分析服务器当前的数据分析速率;根据所确定出的当前的数据分析速率,从所述云存储系统中提取所述目标URL对应的数据。
具体的,大数据分析服务器从云存储系统中获得目标URL对应的数据时,要考虑该大数据分析服务器的自身的数据分析速率。例如,在大数据分析服务器的当前数据分析速率的较快时,从云存储系统中获得目标URL对应的数据,在大数据分析服务器的当前数据分析速率的较慢时,停止从云存储系统中获得目标URL对应的数据。这样,降低了大数据分析服务器的分析数据的压力,有效均衡大数据分析服务器的负载。
具体的,所述根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据,包括:判断所确定出的当前的数据分析速率是否小于第一阈值;如果判断结果为是,暂停从所述云存储系统中提取所述目标URL对应的数据;如果判断结果为否,向所述云存储系统中请求获得所述目标URL对应的数据。
具体的,通过对大数据分析服务器的当前数据分析速率与第一阈值的比较,根据比较结果,来确定从云存储系统中提取数据,或者暂停从云存储系统中提取数据。优选的,当大数据分析服务器的当前数据分析速率小于第一阈值时,暂停从云存储系统中提取目标URL对应的数据,当检测到大数据分析服务器当前的数据分析速率大于第一阈值时,向云存储系统中请求获得所述目标URL对应的数据。这里,大数据分析服务器在预设周期,检测该大数据分析服务器的数据分析速率,根据检测的大数据分析服务器的当前数据分析速率,确定从云存储系统提取目标URL对应的数据,或者暂停从云存储系统中提取目标URL对应的数据。
可选地,所述根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据,包括:判断所确定出的当前的数据分析速率是否小于第二阈值;如果判断结果为是,以第一速率向所述云存储系统中提取所述目标URL对应的数据;如果判断结果为否,以第二速率向所述云存储系统中请求获得所述目标URL对应的数据;其中,所述第一速率小于所述第二速率。
例如,在大数据分析服务器的当前数据分析速率小于第二阈值时,以预设第一速率,缓慢的从云存储系统中提取目标URL对应的数据,或者大数据分析服务器的当前数据分析速率大于第二阈值时,以预设第二速率,向云存储系统中请求获得所述目标URL对应的数据,也就是快速从云存储系统中提取目标URL对应的数据。
相应于上述方法实施例,本发明实施例还提供了一种获取云存储系统中数据的装置。如图4所示,本发明实施例所提供的一种获取云存储系统中数据的装置,可以包括:
接收单元410,用于接收大数据分析服务器发送的待分析目标数据的条件信息;
获取单元420,用于在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;其中,每个数据对应一个模型数据,每一模型数据中包含相应数据的统一资源定位符URL和模型信息,每一模型信息为云存储系统在存储相应数据时,根据该数据的关键信息所确定的;
发送单元430,用于发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器中的获取单元从云存储系统中获取所述目标URL对应的数据。
本发明实施例中,在接收大数据分析服务器发送的待分析目标数据的条件信息,通过在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息,发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据。可见,本发明实施例,预先将存储到云存储系统中的所有数据进行分析处理,在大数据分析服务器获取用户所需的目标数据时,不需要提取云存储系统中所有可能的数据,本发明实施例降低了对大数据分析服务器的硬件要求,提高了大数据分析服务器处理数据的效率,实现从云存储系统中,快速、准确的获取用户所需要的数据。
具体的,在一种实现方式中,所述目标数据为图片数据;所述条件信息包括:采集时间、采集地点以及对象属性中的至少一类;
所述模型信息包括:采集时间、采集地点和对象属性。
具体的,在另一种实现方式中,所述目标数据为文本数据;所述条件信息包括:存储时间、文本数据类型以及所占存储空间大小中的至少一类;
所述模型信息包括:存储时间、文本数据类型以及所占存储空间大小。在本发明实施例的一种可能的实现方式中,所述装置还包括:
生成单元,用于存储目标数据,根据所述存储目标数据的存储位置,生成所述目标数据的目标URL;
解码单元,用于从所述目标数据中解码出关键信息;
处理单元,用于根据所述关键信息,通过预设算法,得到所述目标数据的目标模型信息;构建所述目标数据对应的模型数据,其中,所述目标数据对应的模型数据包括所述目标数据的URL和所述目标模型信息。
为了降低了大数据分析服务器的分析数据的压力,有效均衡大数据分析服务器的负载。可选地,在一种实现方式中,所述大数据分析服务器中的获取单元,可以包括:
确定子单元,用于确定所述大数据分析服务器当前的数据分析速率;
查找子单元,根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据。
可选的,所述查找子单元具体用于,
判断所确定出的当前的数据分析速率是否小于第一阈值;
如果判断结果为是,暂停从所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,向所述云存储系统中请求获得所述目标URL对应的数据。
可选的,所述查找子单元具体用于,
判断所确定出的当前的数据分析速率是否小于第二阈值;
如果判断结果为是,以第一速率向所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,以第二速率向所述云存储系统中请求获得所述目标URL对应的数据;
其中,所述第一速率小于所述第二速率。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (6)
1.一种获取云存储系统中数据的方法,其特征在于,应用于云存储系统中,包括:
接收大数据分析服务器发送的待分析目标数据的条件信息,所述条件信息为用户根据所需的目标数据设定并上传到所述大数据分析服务器的;
在所述云存储系统预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;其中,每个数据对应一个模型数据,每一模型数据中包含相应数据的统一资源定位符URL和模型信息,每一模型信息为云存储系统在存储相应数据时,根据所述数据的关键信息所确定的,所述关键信息为前端设备在生成所述数据时的主要信息;
发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器确定所述大数据分析服务器当前的数据分析速率,根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据;
在接收大数据分析服务器发送的待分析目标数据的条件信息之前,所述方法还包括:
存储目标数据,根据所述存储目标数据的存储位置,生成所述目标数据的URL;从所述目标数据中解码出关键信息;根据所述关键信息,通过预设算法,得到所述目标数据的目标模型信息;构建所述目标数据对应的模型数据,其中,所述目标数据对应的模型数据包括所述目标数据的URL和所述目标模型信息;
所述根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据,包括:
判断所确定出的当前的数据分析速率是否小于第一阈值;如果判断结果为是,暂停从所述云存储系统中提取所述目标URL对应的数据;如果判断结果为否,向所述云存储系统中请求获得所述目标URL对应的数据;或者,
判断所确定出的当前的数据分析速率是否小于第二阈值;如果判断结果为是,以第一速率向所述云存储系统中提取所述目标URL对应的数据;如果判断结果为否,以第二速率向所述云存储系统中请求获得所述目标URL对应的数据;其中,所述第一速率小于所述第二速率。
2.根据权利要求1所述的方法,其特征在于,所述目标数据为图片数据;所述条件信息包括:采集时间、采集地点以及对象属性中的至少一类;
所述模型信息包括:采集时间、采集地点和对象属性。
3.根据权利要求1所述的方法,其特征在于,所述目标数据为文本数据;所述条件信息包括:存储时间、文本数据类型以及所占存储空间大小中的至少一类;
所述模型信息包括:存储时间、文本数据类型以及所占存储空间大小。
4.一种获取云存储系统中数据的装置,其特征在于,应用于云存储系统中,包括:
接收单元,用于接收大数据分析服务器发送的待分析目标数据的条件信息,所述条件信息为用户根据所需的目标数据设定并上传到所述大数据分析服务器的;
获取单元,用于在所述云存储系统预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;其中,每个数据对应一个模型数据,每一模型数据中包含相应数据的统一资源定位符URL和模型信息,每一模型信息为云存储系统在存储相应数据时,根据所述数据的关键信息所确定的,所述关键信息为前端设备在生成所述数据时的主要信息;
发送单元,用于发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器中的获取单元从云存储系统中获取所述目标URL对应的数据;
所述装置还包括:
生成单元,用于存储目标数据,根据所述存储目标数据的存储位置,生成所述目标数据的目标URL;
解码单元,用于从所述目标数据中解码出关键信息;
处理单元,用于根据所述关键信息,通过预设算法,得到所述目标数据的目标模型信息;构建所述目标数据对应的模型数据,其中,所述目标数据对应的模型数据包括所述目标数据的URL和所述目标模型信息;
所述大数据分析服务器中的获取单元,包括:
确定子单元,用于确定所述大数据分析服务器当前的数据分析速率;
查找子单元,根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据;
所述查找子单元具体用于:
判断所确定出的当前的数据分析速率是否小于第一阈值;如果判断结果为是,暂停从所述云存储系统中提取所述目标URL对应的数据;如果判断结果为否,向所述云存储系统中请求获得所述目标URL对应的数据;或者,
判断所确定出的当前的数据分析速率是否小于第二阈值;如果判断结果为是,以第一速率向所述云存储系统中提取所述目标URL对应的数据;如果判断结果为否,以第二速率向所述云存储系统中请求获得所述目标URL对应的数据;其中,所述第一速率小于所述第二速率。
5.根据权利要求4所述的装置,其特征在于,所述目标数据为图片数据;所述条件信息包括:采集时间、采集地点以及对象属性中的至少一类;
所述模型信息包括:采集时间、采集地点和对象属性。
6.根据权利要求4所述的装置,其特征在于,所述目标数据为文本数据;所述条件信息包括:存储时间、文本数据类型以及所占存储空间大小中的至少一类;
所述模型信息包括:存储时间、文本数据类型以及所占存储空间大小。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611053415.0A CN108111557B (zh) | 2016-11-24 | 2016-11-24 | 一种获取云存储系统中数据的方法及装置 |
PCT/CN2017/091480 WO2018095037A1 (zh) | 2016-11-24 | 2017-07-03 | 一种获取云存储系统中数据的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611053415.0A CN108111557B (zh) | 2016-11-24 | 2016-11-24 | 一种获取云存储系统中数据的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108111557A CN108111557A (zh) | 2018-06-01 |
CN108111557B true CN108111557B (zh) | 2021-06-11 |
Family
ID=62195402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611053415.0A Active CN108111557B (zh) | 2016-11-24 | 2016-11-24 | 一种获取云存储系统中数据的方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108111557B (zh) |
WO (1) | WO2018095037A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112258690B (zh) * | 2020-10-23 | 2022-09-06 | 中车青岛四方机车车辆股份有限公司 | 数据存取方法及装置、数据存储方法及装置 |
CN113298949A (zh) * | 2021-05-11 | 2021-08-24 | 武汉工程大学 | D类焊缝信息获取方法、装置及计算机存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1756387A (zh) * | 2004-09-29 | 2006-04-05 | 华为技术有限公司 | 通信系统中实现移动数据业务统一路由的方法 |
CN103020173A (zh) * | 2012-11-27 | 2013-04-03 | 北京百度网讯科技有限公司 | 用于移动终端的视频图像信息搜索方法、系统及移动终端 |
CN103488638A (zh) * | 2012-06-11 | 2014-01-01 | 北京大学 | 一种结果缓存替换的优化方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7840540B2 (en) * | 2006-04-20 | 2010-11-23 | Datascout, Inc. | Surrogate hashing |
CN101021857A (zh) * | 2006-10-20 | 2007-08-22 | 鲍东山 | 基于内容分析的视频搜索系统 |
CN101183382A (zh) * | 2007-12-14 | 2008-05-21 | 北京康拓科技开发总公司 | 一种航天测试系统专用的实时海量的存储设备 |
CN101325520B (zh) * | 2008-06-17 | 2010-08-18 | 南京邮电大学 | 基于日志的智能自适应网络故障定位和分析方法 |
US8195689B2 (en) * | 2009-06-10 | 2012-06-05 | Zeitera, Llc | Media fingerprinting and identification system |
CN102495848B (zh) * | 2011-11-17 | 2013-06-19 | 深圳市赛格导航科技股份有限公司 | 一种海量gps数据处理方法及系统 |
US8972376B1 (en) * | 2013-01-02 | 2015-03-03 | Palo Alto Networks, Inc. | Optimized web domains classification based on progressive crawling with clustering |
CN103514296A (zh) * | 2013-10-16 | 2014-01-15 | 上海合合信息科技发展有限公司 | 数据存储方法及装置,数据查询方法及装置 |
CN104331500A (zh) * | 2014-11-19 | 2015-02-04 | 中安消技术有限公司 | 一种监控录像分析方法及装置 |
CN104394222A (zh) * | 2014-11-26 | 2015-03-04 | 盐城师范学院 | 一种云存储系统及方法 |
CN105320746A (zh) * | 2015-09-25 | 2016-02-10 | 北京北信源软件股份有限公司 | 一种基于大数据的索引获取方法及系统 |
-
2016
- 2016-11-24 CN CN201611053415.0A patent/CN108111557B/zh active Active
-
2017
- 2017-07-03 WO PCT/CN2017/091480 patent/WO2018095037A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1756387A (zh) * | 2004-09-29 | 2006-04-05 | 华为技术有限公司 | 通信系统中实现移动数据业务统一路由的方法 |
CN103488638A (zh) * | 2012-06-11 | 2014-01-01 | 北京大学 | 一种结果缓存替换的优化方法 |
CN103020173A (zh) * | 2012-11-27 | 2013-04-03 | 北京百度网讯科技有限公司 | 用于移动终端的视频图像信息搜索方法、系统及移动终端 |
Also Published As
Publication number | Publication date |
---|---|
WO2018095037A1 (zh) | 2018-05-31 |
CN108111557A (zh) | 2018-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107665233B (zh) | 数据库数据处理方法、装置、计算机设备和存储介质 | |
US9894169B2 (en) | System and method for displaying contextual activity streams | |
US20150156332A1 (en) | Methods and apparatus to monitor usage of mobile devices | |
US20190188478A1 (en) | Method and apparatus for obtaining video public opinions, computer device and storage medium | |
US9342396B2 (en) | Self-stabilizing network nodes in mobile discovery system | |
CN108415748B (zh) | 信息显示方法和系统、计算机存储介质及设备 | |
US20190188224A1 (en) | Method and apparatus for obtaining picture public opinions, computer device and storage medium | |
CN106951270B (zh) | 一种代码处理方法、系统及服务器 | |
US20160026728A1 (en) | Interaction Method And Device Between Browsers And Browser | |
CN106203229A (zh) | 不同权限的终端设备识读二维码以显示不同信息的方法 | |
CN105991722B (zh) | 一种下载器推荐方法、应用服务器、终端及系统 | |
CN103414765A (zh) | 图形码中信息的分流方法、装置及系统 | |
CN102752371A (zh) | 在客户端上实现闪屏的方法和客户端 | |
CN108111557B (zh) | 一种获取云存储系统中数据的方法及装置 | |
CN113473166A (zh) | 一种数据存储系统及方法 | |
KR101595882B1 (ko) | 영상 분석 장치 및 방법 | |
CN109697155B (zh) | It系统性能评估方法、装置、设备及可读存储介质 | |
CN110261554A (zh) | 一种食品安全检测系统及方法 | |
CN104270474A (zh) | 一种在网络中分享信息的装置和方法 | |
US20130230248A1 (en) | Ensuring validity of the bookmark reference in a collaborative bookmarking system | |
CN107070987B (zh) | 用于分布式对象存储系统的数据获取方法及系统 | |
CN109918222B (zh) | 应用程序的dump分析方法及系统 | |
US20170039273A1 (en) | System and method for generating a customized singular activity stream | |
US9323857B2 (en) | System and method for providing content-related information based on digital watermark and fingerprint | |
CN103246701A (zh) | 快速搜索方法、系统和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |