CN108111557A - 一种获取云存储系统中数据的方法及装置 - Google Patents

一种获取云存储系统中数据的方法及装置 Download PDF

Info

Publication number
CN108111557A
CN108111557A CN201611053415.0A CN201611053415A CN108111557A CN 108111557 A CN108111557 A CN 108111557A CN 201611053415 A CN201611053415 A CN 201611053415A CN 108111557 A CN108111557 A CN 108111557A
Authority
CN
China
Prior art keywords
data
target
storage system
cloud storage
url
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611053415.0A
Other languages
English (en)
Other versions
CN108111557B (zh
Inventor
浦世亮
刘锋
许爱秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201611053415.0A priority Critical patent/CN108111557B/zh
Priority to PCT/CN2017/091480 priority patent/WO2018095037A1/zh
Publication of CN108111557A publication Critical patent/CN108111557A/zh
Application granted granted Critical
Publication of CN108111557B publication Critical patent/CN108111557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]

Abstract

本发明实施例提供了一种获取云存储系统中数据的方法及装置,该方法包括:接收大数据分析服务器发送的待分析目标数据的条件信息;在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据。应用本发明实施例,预先将存储到云存储系统中的目标数据进行分析处理,在大数据分析服务器分析目标数据时,不需要提取云存储系统中所有可能的目标数据,降低了对大数据分析服务器的硬件要求,提高了大数据分析服务器处理数据的效率。

Description

一种获取云存储系统中数据的方法及装置
技术领域
本发明涉及云存储技术领域,特别是涉及一种获取云存储系统中数据的方法及装置。
背景技术
大数据分析常和云计算联系到一起,通过实时的数据分析,完成对海量数据的过滤。大数据分析在社会各个行业所凸显出的作用和价值越来越重要,越来越明显。
云存储系统是将不同类型的存储设备相互连接起来,实现对海量数据的统一管理的分布式存储系统。目前,云存储与大数据处理结合的系统如图1所示,包括:云存储系统110和大数据分析服务器120。其中,云存储系统110包括:管理服务器111、存储服务器112。具体的,管理服务器111负责管理多个存储服务器112,存储服务器112用于对外提供数据存储和业务访问,大数据分析服务器120,用于从云存储系统110获得数据并对所获得的数据进行分析处理。
现有技术中,云存储系统将海量数据存储于存储服务器中,当大数据分析服务器分析目标数据(图片数据、文档数据等)时,需要从云存储系统的存储服务器中读取所有可能的数据,然后对该所有可能的数据进行分析,获得用户所需要的数据。特别是应用在视频监控领域中,从视频监控前端的图像采集设备获得的海量的图片数据被存储到存储服务器中;当用户需要获得目标图片数据时,大数据分析服务器从存储服务器中读取所有可能的图片数据进行分析,最终得到用户所需要的目标图片数据。
可见,现有技术的大数据分析服务器在获取用户所需要的数据时,需要从存储服务器中,读取所有可能数据,并对该所有可能数据进行分析,从而获得用户所需的数据。这种获取数据的方式,消耗了大量的时间,处理效率极低。
发明内容
本发明实施例的目的在于提供一种获取云存储系统中数据的方法及装置,以实现从云存储系统中,快速、准确的获取用户所需要的数据。具体技术方案如下:
第一方面,本发明实施例公开了一种获取云存储系统中数据的方法,应用于云存储系统中,包括:
接收大数据分析服务器发送的待分析目标数据的条件信息;
在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;其中,每个数据对应一个模型数据,每一模型数据中包含相应数据的统一资源定位符URL和模型信息,每一模型信息为云存储系统在存储相应数据时,根据该数据的关键信息所确定的;
发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据。
可选的,所述目标数据为图片数据;所述条件信息包括:采集时间、采集地点以及对象属性中的至少一类;
所述模型信息包括:采集时间、采集地点和对象属性。
可选的,所述目标数据为文本数据;所述条件信息包括:存储时间、文本数据类型以及所占存储空间大小中的至少一类;
所述模型信息包括:存储时间、文本数据类型以及所占存储空间大小。
可选的,所述在接收大数据分析服务器发送的待分析目标数据的条件信息之前,所述方法还包括:
存储目标数据,根据所述存储目标数据的存储位置,生成所述目标数据的URL;
从所述目标数据中解码出关键信息;
根据所述关键信息,通过预设算法,得到所述目标数据的目标模型信息;构建所述目标数据对应的模型数据,其中,所述目标数据对应的模型数据包括所述目标数据的URL和所述目标模型信息。
可选的,所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据,包括:
确定所述大数据分析服务器当前的数据分析速率;
根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据。
可选的,所述根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据,包括:
判断所确定出的当前的数据分析速率是否小于第一阈值;
如果判断结果为是,暂停从所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,向所述云存储系统中请求获得所述目标URL对应的数据。
可选的,所述根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据,包括:
判断所确定出的当前的数据分析速率是否小于第二阈值;
如果判断结果为是,以第一速率向所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,以第二速率向所述云存储系统中请求获得所述目标URL对应的数据;
其中,所述第一速率小于所述第二速率。
第二方面,本发明实施例公开了一种获取云存储系统中数据的装置,应用于云存储系统中,包括:
接收单元,用于接收大数据分析服务器发送的待分析目标数据的条件信息;
获取单元,用于在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;其中,每个数据对应一个模型数据,每一模型数据中包含相应数据的统一资源定位符URL和模型信息,每一模型信息为云存储系统在存储相应数据时,根据该数据的关键信息所确定的;
发送单元,用于发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器中的获取单元从云存储系统中获取所述目标URL对应的数据。
可选的,所述目标数据为图片数据;所述条件信息包括:采集时间、采集地点以及对象属性中的至少一类;
所述模型信息包括:采集时间、采集地点和对象属性。
可选的,所述目标数据为文本数据;所述条件信息包括:存储时间、文本数据类型以及所占存储空间大小中的至少一类;
所述模型信息包括:存储时间、文本数据类型以及所占存储空间大小。
可选的,所述装置还包括:
生成单元,用于存储目标数据,根据所述存储目标数据的存储位置,生成所述目标数据的目标URL;
解码单元,用于从所述目标数据中解码出关键信息;
处理单元,用于根据所述关键信息,通过预设算法,得到所述目标数据的目标模型信息;构建所述目标数据对应的模型数据,其中,所述目标数据对应的模型数据包括所述目标数据的URL和所述目标模型信息。
可选的,所述大数据分析服务器中的获取单元,包括:
确定子单元,用于确定所述大数据分析服务器当前的数据分析速率;
查找子单元,根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据。
可选的,所述查找子单元具体用于,
判断所确定出的当前的数据分析速率是否小于第一阈值;
如果判断结果为是,暂停从所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,向所述云存储系统中请求获得所述目标URL对应的数据。
可选的,所述查找子单元具体用于,
判断所确定出的当前的数据分析速率是否小于第二阈值;
如果判断结果为是,以第一速率向所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,以第二速率向所述云存储系统中请求获得所述目标URL对应的数据;
其中,所述第一速率小于所述第二速率。
本发明实施例提供的一种获取云存储系统中数据的方法及装置,该方法包括:接收大数据分析服务器发送的待分析目标数据的条件信息;在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据。可见,应用本发明实施例,预先将存储到云存储系统中的所有数据进行分析处理,在大数据分析服务器获取用户所需的目标数据时,不需要提取云存储系统中所有可能的数据,只需要根据用户输入的条件信息,提取与条件信息相匹配的目标模型信息对应的目标数据。这种获取云存储系统中数据的方法,快速、准确的获取用户所需要的数据,降低了对大数据分析服务器的硬件要求,提高了大数据分析服务器处理数据的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术提供的云存储与大数据处理结合的系统结构示意图;
图2为本发明实施例提供的获取云存储系统中图片数据的系统结构图;
图3为本发明实施例提供的获取云存储系统中数据的方法的流程示意图;
图4为本发明实施例提供的获取云存储系统中数据的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种获取云存储系统中数据的方法及装置,以实现快速、准确的从云存储系统中获取用户所需的数据。
下面首先对本发明实施例所提供的一种获取云存储系统中数据的方法进行介绍。
需要说明的是,本发明实施例所提供的一种获取云存储系统中的数据的方法的执行主体可以为一种获取云存储系统中的数据的装置。具体的,该获取云存储系统中的数据的装置可以为云存储系统中用于处理大数据分析服务器请求的设备中的功能软件,其中,用于处理大数据分析服务器请求的设备如该云存储系统中的管理服务器或存储服务器。
可以理解的是,在云存储系统中存储了各种类型的数据,包括:图片数据或者,文本数据,当然并不局限于此。图片数据通常是前端摄像机或者抓拍机生成的、或者由用户通过电子设备(例如,电脑、手机、具有存储功能的设备等)上传到云存储系统的;文本数据可以是用户通过电子设备上传到云存储系统的。举例而言,图2为本发明实施例提供的获取云存储系统中图片数据的系统结构示意图,如图2所示,该系统可以包括:前端摄像机(或抓拍机)210、云存储系统220及大数据分析服务器230;具体的,前端摄像机210用于生成图片数据,云存储系统220用于处理、存储图片数据,大数据分析服务器230用于从云存储系统220中获得图片数据并对所获的图片数据进行分析处理。
参见图3,本发明实施例提供的获取云存储系统中数据的方法,可以包括以下步骤:
S301,接收大数据分析服务器发送的待分析目标数据的条件信息;
其中,目标数据可以为图片数据或者文本数据,当然并不局限于此。通常,用户根据其所需要的目标数据,设定条件信息,并向大数据分析服务器上传所设定的条件信息,以使大数据分析服务器根据设定的条件信息,从云存储系统中,得到所需的目标数据。当用户设定的条件信息不同时,从云存储系统中,得到的目标数据也不同。
需要强调的是,大数据分析服务器发送的待分析目标数据的条件信息与现有技术中大数据分析服务器发送的条件信息相同,举例而言:对于目标数据为图片数据时,条件信息可以为采集时间、采集地点以及对象属性中的至少一类,当然并不局限于此;对于目标数据为文本数据时,条件信息可以为存储时间、文本数据类型以及所占存储空间大小中的至少一类,当然并不局限于此。
S302,在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;其中,每个数据对应一个模型数据,每一模型数据中包含相应数据的统一资源定位符URL和模型信息,每一模型信息为云存储系统在存储相应数据时,根据该数据的关键信息所确定的;
该获取云存储系统中数据的装置在接收到大数据分析服务器发送的待分析目标数据的条件信息后,并不是直接向该大数据分析服务器反馈所有可能的大量的数据,而是在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息,进而基于该目标模型信息向该大数据分析服务器反馈少量的精准的数据。
需要说明的是,在接收大数据分析服务器发送的条件信息之前,云存储系统中预先存储了所有数据的模型数据。这里,云存储系统中存储的每个数据对应一个模型数据,具体的,在一种具体实现方式中,在云存储系统中,生成每个数据对应的模型数据的过程可以包括:云存储系统将存储的每个数据的关键信息,通过预设算法,得到每个数据的模型信息,通过该模型信息构建对应的模型数据。这里,每个数据的模型数据中包含该数据的统一资源定位符URL和模型信息,其中,数据的统一资源定位符URL表示了该数据在云存储系统中的存储位置,模型信息是存储数据时,将该数据的关键信息所确定的。
例如,当目标数据为图片数据时,在云存储系统中,解码该图片数据的图片关键信息,将该图片关键信息,通过预设算法,得到该图片数据的图片模型信息,由图片模型信息和URL构建得到该图片数据对应的图片模型数据。其中,图片关键信息为前端设备(前端摄像机、抓拍机等具有编码功能的设备)在生成图片数据时的主要信息,可以通过筛选算法,对图片关键信息进行筛选,将筛选得到的信息作为图片模型信息,例如,前端设备在生成图片数据时,将采集时间、采集地点以及对象属性及其他相关图片信息编码到图片数据中,云存储系统从图片数据中解码出图片关键信息,对图片关键信息进行筛选,可以得到采集时间、采集地点以及对象属性等图片模型信息。需要注意的是,采集时间是指前端设备采集图片数据的时间,采集地点是指前端设备所采集图片数据的地点,对应属性是指图片数据的格式、大小、分辨率、总像素等。
需要强调的是,关键信息为该数据的各类属性信息,而模型信息为基于关键信息确定的、方便后续查询(即能够与条件信息进行匹配分析)的信息,因此,在确定模型信息时,可以根据能够获得的条件信息进行确定。
S303,发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据。
当获得与所述条件信息相匹配的目标模型信息时,在包含该目标模型信息的目标模型数据中查找目标URL,将所获得的目标URL发送给大数据分析服务器,这样,大数据分析服务器根据该目标URL,从云存储系统中提取所述目标URL对应的数据。例如,当目标数据为图片数据时,具体的,当云存储系统向大数据分析服务器发送图片数据的图片URL后,大数据分析服务器可以根据该图片URL,从云存储系统中提取该图片URL对应的图片数据。
需要注意的是,本发明实施例中的目标数据可以为图片数据或者文本数据。当用户需要获得云存储系统中的图片数据时,所述目标数据即为图片数据;当用户需要获得云存储系统中文本数据时,所述目标数据即为文本数据。应用上述实施例,在接收大数据分析服务器发送的待分析目标数据的条件信息,通过在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息,发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据。可见,本发明实施例,预先将存储到云存储系统中的所有数据进行分析处理,在大数据分析服务器获取用户所需的目标数据时,不需要提取云存储系统中所有可能的数据,本发明实施例降低了对大数据分析服务器的硬件要求,提高了大数据分析服务器处理数据的效率,实现从云存储系统中,快速、准确的获取用户所需要的数据。
在本发明实施例的一种可能的实现方式中,在目标数据为图片数据时,所述条件信息包括:采集时间、采集地点以及对象属性中的至少一类,也就是,条件信息可以为采集时间、采集地点及对象属性中的一类或者条件信息可以同时包括采集时间、采集地点及对象属性至少两类。大数据分析服务器可以向云存储系统上传条件信息中的一类或者至少两类。这里的采集时间为前端摄像机或者抓拍机生成图片数据的时间,或者采集时间为用户在云存储系统上传图片数据的时间。这里,采集地点可以理解为前端摄像机所在的地点,也就是生成图片数据的地点,或者用户在云存储系统上传图片数据时,用户所在的地点。对象属性包括:车辆类型、车辆颜色、车牌号码、运动速度、车辆数量等。另外,在目标数据为图片数据时,每个图片数据对应一个图片模型数据,每个图片模型数据中包含该图片数据的统一资源定位符和图片模型信息,这里的图片数据的图片模型信息包括采集时间、采集地点和对象属性的等。
在本发明实施例的一种可能的实现方式中,在目标数据为文本数据时;所述条件信息包括:存储时间、文本数据类型以及所占存储空间大小中的至少一类。也就是,条件信息可以为存储时间、文本数据类型以及所占存储空间的大小中的一类,或者条件信息可以同时包括存储时间、文本数据类型以及所占存储空间的大小中的至少两类。大数据分析服务器可以向云存储系统上传存储时间、文本数据类型以及所占存储空间大小中的一类或者至少两类。这里,存储时间是在云存储系统中存储数据文本的时间,文本数据类型包括:txt、doc、docx、wps等。另外,在目标数据为文本数据时,每个文本数据对应一个文本模型数据,每个文本模型数据中包含该文本数据的统一资源定位符和文本数据的文本模型信息,这里的文本数据的文本模型信息包括:存储时间、文本数据类型以及所占存储空间大小。需要注意的是,文本数据的模型信息包括条件信息。
在本发明实施例的一种可能的实现方式中,在接收大数据分析服务器发送的待分析目标数据的条件信息之前,所述方法还包括:存储目标数据,根据所述存储目标数据的存储位置,生成所述目标数据的URL;从所述目标数据中解码出关键信息;根据所述关键信息,通过预设算法,得到所述目标数据的目标模型信息;构建所述目标数据对应的模型数据,其中,所述目标数据对应的模型数据包括所述目标数据的URL和所述目标模型信息。
具体的,云存储系统将前端摄像机等设备生成的,或者用户上传的目标数据存储到云存储系统的预设存储位置,根据该目标数据的存储位置,生成目标数据的URL。例如,云存储系统将前端摄像机等设备生成的,或者用户上传图片数据存储到预设存储位置,根据该图片数据的存储位置,生成该图片数据的URL。
需要注意的是,在目标数据中包含该目标数据的关键信息,在对目标数据进行处理时,将目标数据的关键信息解码出来。该关键信息是生成目标数据时,前端设备将目标数据的关键信息编码到目标数据中,例如,当前端设备生成图片数据时,将图片数据中的汽车数量、汽车型号、车牌等图片关键信息编码到图片数据中。
将目标数据存储到云存储系统后,将目标数据中的关键信息解码出来;然后,对这些关键信息,通过预设算法,得到目标模型信息,由目标模型信息构建目标数据对应的目标模型数据,同时目标模型数据包括目标数据的URL和目标模型信息。也就是,通过目标模型信息构建目标模型数据,在目标模型数据中添加目标数据的URL,得到最终的目标模型数据。当获得条件信息时,可以在目标模型数据中查找与该条件信息相匹配的目标模型信息,当模型数据中存在与目标模型信息相匹配的目标模型信息时,获得该模型数据中的目标URL,将该目标URL发送给大数据分析服务器,大数据分析服务器根据接收的目标URL,从云存储系统中提取该目标URL对应的数据。例如,在图片数据存储到云存储系统后,将图片数据中的关键信息解码出来,采用预设算法对图片数据的关键信息进行分析处理,得到图片数据的图片模型信息,由图片模型信息构建图片数据对应的模型数据,并将图片数据的URL添加到图片模型数据中,这样,图片模型数据包括图片模型信息和图片数据的URL。
在本发明实施例的一种可能的实现方式中,所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据,包括:确定所述大数据分析服务器当前的数据分析速率;根据所确定出的当前的数据分析速率,从所述云存储系统中提取所述目标URL对应的数据。
具体的,大数据分析服务器从云存储系统中获得目标URL对应的数据时,要考虑该大数据分析服务器的自身的数据分析速率。例如,在大数据分析服务器的当前数据分析速率的较快时,从云存储系统中获得目标URL对应的数据,在大数据分析服务器的当前数据分析速率的较慢时,停止从云存储系统中获得目标URL对应的数据。这样,降低了大数据分析服务器的分析数据的压力,有效均衡大数据分析服务器的负载。
具体的,所述根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据,包括:判断所确定出的当前的数据分析速率是否小于第一阈值;如果判断结果为是,暂停从所述云存储系统中提取所述目标URL对应的数据;如果判断结果为否,向所述云存储系统中请求获得所述目标URL对应的数据。
具体的,通过对大数据分析服务器的当前数据分析速率与第一阈值的比较,根据比较结果,来确定从云存储系统中提取数据,或者暂停从云存储系统中提取数据。优选的,当大数据分析服务器的当前数据分析速率小于第一阈值时,暂停从云存储系统中提取目标URL对应的数据,当检测到大数据分析服务器当前的数据分析速率大于第一阈值时,向云存储系统中请求获得所述目标URL对应的数据。这里,大数据分析服务器在预设周期,检测该大数据分析服务器的数据分析速率,根据检测的大数据分析服务器的当前数据分析速率,确定从云存储系统提取目标URL对应的数据,或者暂停从云存储系统中提取目标URL对应的数据。
可选地,所述根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据,包括:判断所确定出的当前的数据分析速率是否小于第二阈值;如果判断结果为是,以第一速率向所述云存储系统中提取所述目标URL对应的数据;如果判断结果为否,以第二速率向所述云存储系统中请求获得所述目标URL对应的数据;其中,所述第一速率小于所述第二速率。
例如,在大数据分析服务器的当前数据分析速率小于第二阈值时,以预设第一速率,缓慢的从云存储系统中提取目标URL对应的数据,或者大数据分析服务器的当前数据分析速率大于第二阈值时,以预设第二速率,向云存储系统中请求获得所述目标URL对应的数据,也就是快速从云存储系统中提取目标URL对应的数据。
相应于上述方法实施例,本发明实施例还提供了一种获取云存储系统中数据的装置。如图4所示,本发明实施例所提供的一种获取云存储系统中数据的装置,可以包括:
接收单元410,用于接收大数据分析服务器发送的待分析目标数据的条件信息;
获取单元420,用于在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;其中,每个数据对应一个模型数据,每一模型数据中包含相应数据的统一资源定位符URL和模型信息,每一模型信息为云存储系统在存储相应数据时,根据该数据的关键信息所确定的;
发送单元430,用于发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器中的获取单元从云存储系统中获取所述目标URL对应的数据。
本发明实施例中,在接收大数据分析服务器发送的待分析目标数据的条件信息,通过在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息,发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据。可见,本发明实施例,预先将存储到云存储系统中的所有数据进行分析处理,在大数据分析服务器获取用户所需的目标数据时,不需要提取云存储系统中所有可能的数据,本发明实施例降低了对大数据分析服务器的硬件要求,提高了大数据分析服务器处理数据的效率,实现从云存储系统中,快速、准确的获取用户所需要的数据。
具体的,在一种实现方式中,所述目标数据为图片数据;所述条件信息包括:采集时间、采集地点以及对象属性中的至少一类;
所述模型信息包括:采集时间、采集地点和对象属性。
具体的,在另一种实现方式中,所述目标数据为文本数据;所述条件信息包括:存储时间、文本数据类型以及所占存储空间大小中的至少一类;
所述模型信息包括:存储时间、文本数据类型以及所占存储空间大小。在本发明实施例的一种可能的实现方式中,所述装置还包括:
生成单元,用于存储目标数据,根据所述存储目标数据的存储位置,生成所述目标数据的目标URL;
解码单元,用于从所述目标数据中解码出关键信息;
处理单元,用于根据所述关键信息,通过预设算法,得到所述目标数据的目标模型信息;构建所述目标数据对应的模型数据,其中,所述目标数据对应的模型数据包括所述目标数据的URL和所述目标模型信息。
为了降低了大数据分析服务器的分析数据的压力,有效均衡大数据分析服务器的负载。可选地,在一种实现方式中,所述大数据分析服务器中的获取单元,可以包括:
确定子单元,用于确定所述大数据分析服务器当前的数据分析速率;
查找子单元,根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据。
可选的,所述查找子单元具体用于,
判断所确定出的当前的数据分析速率是否小于第一阈值;
如果判断结果为是,暂停从所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,向所述云存储系统中请求获得所述目标URL对应的数据。
可选的,所述查找子单元具体用于,
判断所确定出的当前的数据分析速率是否小于第二阈值;
如果判断结果为是,以第一速率向所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,以第二速率向所述云存储系统中请求获得所述目标URL对应的数据;
其中,所述第一速率小于所述第二速率。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (14)

1.一种获取云存储系统中数据的方法,其特征在于,应用于云存储系统中,包括:
接收大数据分析服务器发送的待分析目标数据的条件信息;
在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;其中,每个数据对应一个模型数据,每一模型数据中包含相应数据的统一资源定位符URL和模型信息,每一模型信息为云存储系统在存储相应数据时,根据该数据的关键信息所确定的;
发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据。
2.根据权利要求1所述的方法,其特征在于,所述目标数据为图片数据;所述条件信息包括:采集时间、采集地点以及对象属性中的至少一类;
所述模型信息包括:采集时间、采集地点和对象属性。
3.根据权利要求1所述的方法,其特征在于,所述目标数据为文本数据;所述条件信息包括:存储时间、文本数据类型以及所占存储空间大小中的至少一类;
所述模型信息包括:存储时间、文本数据类型以及所占存储空间大小。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述在接收大数据分析服务器发送的待分析目标数据的条件信息之前,所述方法还包括:
存储目标数据,根据所述存储目标数据的存储位置,生成所述目标数据的URL;
从所述目标数据中解码出关键信息;
根据所述关键信息,通过预设算法,得到所述目标数据的目标模型信息;构建所述目标数据对应的模型数据,其中,所述目标数据对应的模型数据包括所述目标数据的URL和所述目标模型信息。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述大数据分析服务器从云存储系统中获取所述目标URL对应的数据,包括:
确定所述大数据分析服务器当前的数据分析速率;
根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据。
6.根据权利要求5所述的方法,其特征在于,所述根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据,包括:
判断所确定出的当前的数据分析速率是否小于第一阈值;
如果判断结果为是,暂停从所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,向所述云存储系统中请求获得所述目标URL对应的数据。
7.根据权利要求5所述的方法,其特征在于,所述根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据,包括:
判断所确定出的当前的数据分析速率是否小于第二阈值;
如果判断结果为是,以第一速率向所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,以第二速率向所述云存储系统中请求获得所述目标URL对应的数据;
其中,所述第一速率小于所述第二速率。
8.一种获取云存储系统中数据的装置,其特征在于,应用于云存储系统中,包括:
接收单元,用于接收大数据分析服务器发送的待分析目标数据的条件信息;
获取单元,用于在预存的所有数据的模型数据中,获得与所述条件信息相匹配的目标模型信息;其中,每个数据对应一个模型数据,每一模型数据中包含相应数据的统一资源定位符URL和模型信息,每一模型信息为云存储系统在存储相应数据时,根据该数据的关键信息所确定的;
发送单元,用于发送包含所述目标模型信息的目标模型数据中的目标URL给所述大数据分析服务器,以使所述大数据分析服务器中的获取单元从云存储系统中获取所述目标URL对应的数据。
9.根据权利要求8所述的装置,其特征在于,所述目标数据为图片数据;所述条件信息包括:采集时间、采集地点以及对象属性中的至少一类;
所述模型信息包括:采集时间、采集地点和对象属性。
10.根据权利要求8所述的装置,其特征在于,所述目标数据为文本数据;所述条件信息包括:存储时间、文本数据类型以及所占存储空间大小中的至少一类;
所述模型信息包括:存储时间、文本数据类型以及所占存储空间大小。
11.根据权利要求8-10任一项所述的装置,其特征在于,所述装置还包括:
生成单元,用于存储目标数据,根据所述存储目标数据的存储位置,生成所述目标数据的目标URL;
解码单元,用于从所述目标数据中解码出关键信息;
处理单元,用于根据所述关键信息,通过预设算法,得到所述目标数据的目标模型信息;构建所述目标数据对应的模型数据,其中,所述目标数据对应的模型数据包括所述目标数据的URL和所述目标模型信息。
12.根据权利要求8所述的装置,其特征在于,所述大数据分析服务器中的获取单元,包括:
确定子单元,用于确定所述大数据分析服务器当前的数据分析速率;
查找子单元,根据所确定出的当前的数据分析速率,从所述云存储系统中获取所述目标URL对应的数据。
13.根据权利要求12所述装置,其特征在于,所述查找子单元具体用于,
判断所确定出的当前的数据分析速率是否小于第一阈值;
如果判断结果为是,暂停从所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,向所述云存储系统中请求获得所述目标URL对应的数据。
14.根据权利要求12所述装置,其特征在于,所述查找子单元具体用于,
判断所确定出的当前的数据分析速率是否小于第二阈值;
如果判断结果为是,以第一速率向所述云存储系统中提取所述目标URL对应的数据;
如果判断结果为否,以第二速率向所述云存储系统中请求获得所述目标URL对应的数据;
其中,所述第一速率小于所述第二速率。
CN201611053415.0A 2016-11-24 2016-11-24 一种获取云存储系统中数据的方法及装置 Active CN108111557B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611053415.0A CN108111557B (zh) 2016-11-24 2016-11-24 一种获取云存储系统中数据的方法及装置
PCT/CN2017/091480 WO2018095037A1 (zh) 2016-11-24 2017-07-03 一种获取云存储系统中数据的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611053415.0A CN108111557B (zh) 2016-11-24 2016-11-24 一种获取云存储系统中数据的方法及装置

Publications (2)

Publication Number Publication Date
CN108111557A true CN108111557A (zh) 2018-06-01
CN108111557B CN108111557B (zh) 2021-06-11

Family

ID=62195402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611053415.0A Active CN108111557B (zh) 2016-11-24 2016-11-24 一种获取云存储系统中数据的方法及装置

Country Status (2)

Country Link
CN (1) CN108111557B (zh)
WO (1) WO2018095037A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258690B (zh) * 2020-10-23 2022-09-06 中车青岛四方机车车辆股份有限公司 数据存取方法及装置、数据存储方法及装置
CN113298949A (zh) * 2021-05-11 2021-08-24 武汉工程大学 D类焊缝信息获取方法、装置及计算机存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021857A (zh) * 2006-10-20 2007-08-22 鲍东山 基于内容分析的视频搜索系统
US20070250521A1 (en) * 2006-04-20 2007-10-25 Kaminski Charles F Jr Surrogate hashing
CN101183382A (zh) * 2007-12-14 2008-05-21 北京康拓科技开发总公司 一种航天测试系统专用的实时海量的存储设备
CN101325520A (zh) * 2008-06-17 2008-12-17 南京邮电大学 基于日志的智能自适应网络故障定位和分析方法
US8195689B2 (en) * 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
CN102495848A (zh) * 2011-11-17 2012-06-13 深圳市赛格导航科技股份有限公司 一种海量gps数据处理方法及系统
CN103514296A (zh) * 2013-10-16 2014-01-15 上海合合信息科技发展有限公司 数据存储方法及装置,数据查询方法及装置
CN104394222A (zh) * 2014-11-26 2015-03-04 盐城师范学院 一种云存储系统及方法
US20150199432A1 (en) * 2013-01-02 2015-07-16 Palo Alto Networks, Inc. Optimized web domains classification based on progressive crawling with clustering
CN105320746A (zh) * 2015-09-25 2016-02-10 北京北信源软件股份有限公司 一种基于大数据的索引获取方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100396112C (zh) * 2004-09-29 2008-06-18 华为技术有限公司 通信系统中实现移动数据业务统一路由的方法
CN103488638B (zh) * 2012-06-11 2016-12-07 北京大学 一种结果缓存替换的优化方法
CN103020173B (zh) * 2012-11-27 2017-02-08 北京百度网讯科技有限公司 用于移动终端的视频图像信息搜索方法、系统及移动终端
CN104331500A (zh) * 2014-11-19 2015-02-04 中安消技术有限公司 一种监控录像分析方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070250521A1 (en) * 2006-04-20 2007-10-25 Kaminski Charles F Jr Surrogate hashing
CN101021857A (zh) * 2006-10-20 2007-08-22 鲍东山 基于内容分析的视频搜索系统
CN101183382A (zh) * 2007-12-14 2008-05-21 北京康拓科技开发总公司 一种航天测试系统专用的实时海量的存储设备
CN101325520A (zh) * 2008-06-17 2008-12-17 南京邮电大学 基于日志的智能自适应网络故障定位和分析方法
US8195689B2 (en) * 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
CN102495848A (zh) * 2011-11-17 2012-06-13 深圳市赛格导航科技股份有限公司 一种海量gps数据处理方法及系统
US20150199432A1 (en) * 2013-01-02 2015-07-16 Palo Alto Networks, Inc. Optimized web domains classification based on progressive crawling with clustering
CN103514296A (zh) * 2013-10-16 2014-01-15 上海合合信息科技发展有限公司 数据存储方法及装置,数据查询方法及装置
CN104394222A (zh) * 2014-11-26 2015-03-04 盐城师范学院 一种云存储系统及方法
CN105320746A (zh) * 2015-09-25 2016-02-10 北京北信源软件股份有限公司 一种基于大数据的索引获取方法及系统

Also Published As

Publication number Publication date
WO2018095037A1 (zh) 2018-05-31
CN108111557B (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
US10360257B2 (en) System and method for image annotation
US8682879B2 (en) Marker search system for augmented reality service
JP6986187B2 (ja) 人物識別方法、装置、電子デバイス、記憶媒体、及びプログラム
KR20110096500A (ko) 위치 기반의 통신 방법 및 시스템
US20190188478A1 (en) Method and apparatus for obtaining video public opinions, computer device and storage medium
CN106470110B (zh) 向用户列表中的多个用户群发消息的方法及装置
CN111901896A (zh) 信息分享方法、信息分享装置、电子设备及存储介质
CN103823858A (zh) 信息处理方法及信息处理装置
CN110768875A (zh) 一种基于dns学习的应用识别方法及系统
CN109698798B (zh) 一种应用的识别方法、装置、服务器和存储介质
US20190188224A1 (en) Method and apparatus for obtaining picture public opinions, computer device and storage medium
CN111882625B (zh) 生成动态图的方法、装置、电子设备及存储介质
KR102104397B1 (ko) 유해물 관리 방법, 이를 실행하는 컴퓨팅 장치 및 컴퓨터 프로그램
CN112733057A (zh) 网络内容安全检测方法、电子装置和存储介质
CN113626624B (zh) 一种资源识别方法和相关装置
CN108111557A (zh) 一种获取云存储系统中数据的方法及装置
CN110261554A (zh) 一种食品安全检测系统及方法
CN111368128B (zh) 目标图片的识别方法、装置和计算机可读存储介质
CN108595957A (zh) 浏览器主页篡改检测方法、装置及存储介质
CN102870111B (zh) 用于确定分析历史记录的方法和装置
US20160044187A1 (en) Device control system and device control method
CN114969333A (zh) 基于数据挖掘的网络信息安全管理方法及装置
US20170039273A1 (en) System and method for generating a customized singular activity stream
US10922349B1 (en) Filtering remote access monitoring data
CN107078940A (zh) 基于接近度的消息传递

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant