CN108737477A - 云存储系统、媒体数据均衡存储方法及系统 - Google Patents
云存储系统、媒体数据均衡存储方法及系统 Download PDFInfo
- Publication number
- CN108737477A CN108737477A CN201710267042.5A CN201710267042A CN108737477A CN 108737477 A CN108737477 A CN 108737477A CN 201710267042 A CN201710267042 A CN 201710267042A CN 108737477 A CN108737477 A CN 108737477A
- Authority
- CN
- China
- Prior art keywords
- token
- target
- media data
- node
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供了云存储系统、媒体数据均衡存储方法及系统。一种媒体数据均衡存储方法应用于图像采集设备,该方法包括:检测本地是否存储有未过期的会话令牌token;该token用于记录与该图像采集设备建立租约的存储节点以及租期信息,与图像采集设备建立租约的存储节点为:基于负载均衡策略所确定出的;当检测结果为是时,基于目标token,将待存储的目标媒体数据上传至云存储系统;该目标token为本地存储的未过期的token,目标媒体数据存储于目标存储节点,目标存储节点为该目标token所对应的存储节点;当检测结果为否时,基于第一网络地址,向云存储系统申请新的token。通过本方案,可以在保证负载均衡的同时,降低网络带宽资源的消耗以及提高媒体数据上传效率。
Description
技术领域
本发明涉及云存储技术领域,特别是涉及云存储系统、媒体数据均衡存储方法及系统。
背景技术
随着时代和科技的发展,视频监控系统作用凸显。而图像采集设备作为视频监控系统的重要组成部分,已经遍布大街小巷。对于视频监控领域而言,图像采集设备本身质量的好坏起到相当重要的作用;同样的,对于图像采集设备所采集的媒体数据的存储也是视频监控中至关重要的环节,其中,图像采集设备所采集的媒体数据包括但不局限于图片。
现有技术中,具体的媒体数据存储过程为:图像采集设备向负责管理图像采集设备的平台服务器注册完成后,该平台服务器主动收集图像采集设备所采集的媒体数据,然后,该平台服务器向云存储系统请求存储资源,并在请求得到存储资源后,将从图像采集设备处所收集的媒体数据写入云存储系统中,进而完成媒体数据的存储。
但是,由于媒体数据存储过程需要平台服务器进行中转,因此,媒体数据存储过程两个阶段(即平台服务器从图像采集设备中收集媒体数据,以及平台服务器将所收集的媒体数据写入云存储系统)均需要占用网络带宽资源,这样导致网络带宽资源消耗较多;同时,对于图像采集设备中海量的媒体数据而言,无疑上传效率不高。另外,云存储系统中的存储节点的数量较多,在存储媒体数据时,保证各个存储节点的负载均衡,对于视频监控而言也是极为重要的。
因此,如何在保证负载均衡的同时,降低网络带宽资源的消耗以及提高媒体数据上传效率,是一个亟待解决的问题。
发明内容
本发明实施例的目的在于提供云存储系统、媒体数据均衡存储方法及系统,以在保证负载均衡的同时,降低网络带宽资源的消耗以及提高媒体数据上传效率。具体技术方案如下:
第一方面,本发明实施例提供了一种媒体数据均衡存储方法,应用于图像采集设备,所述图像采集设备中预先存储有第一网络地址,所述第一网络地址为云存储系统的对外访问地址;所述方法包括:
检测本地是否存储有未过期的会话令牌token;其中,所述token用于记录与所述图像采集设备建立租约的存储节点以及租期信息,所述与所述图像采集设备建立租约的存储节点为:所述云存储系统基于负载均衡策略所确定出的;
当检测结果为是时,基于目标token,对待存储的目标媒体数据进行云存储处理作;其中,所述目标token为本地存储的所述未过期的token,所述目标媒体数据存储于目标存储节点,所述目标存储节点为所述目标token所对应的存储节点;
当检测结果为否时,基于所述第一网络地址,向所述云存储系统申请新的token,并基于所申请得到的新的token存储所述待存储的目标媒体数据。
第二方面,本发明实施例提供了一种媒体数据均衡存储方法,应用于云存储系统;所述方法包括:
当接收到图像采集设备发送的token请求,向所述图像采集设备反馈token,其中,所述token用于记录与所述图像采集设备建立租约的存储节点以及租期信息,所述与所述图像采集设备建立租约的存储节点为所述云存储系统基于负载均衡策略所确定出的,所述token请求为所述图像采集设备在检测到本地未存储有未过期的token时,基于存储于自身的第一网络地址所发送的,所述第一网络地址为所述云存储系统的对外访问地址;
当接收到所述图像采集设备基于目标token所上传的目标媒体数据时,存储所述目标媒体数据;其中,所述目标token为所述图像采集设备本地存储的未过期的token,所述目标媒体数据存储于目标存储节点,所述目标存储节点为所述目标token所对应的存储节点。
第三方面,本发明实施例提供了一种媒体数据均衡存储系统,包括:图像采集设备和云存储系统,所述图像采集设备中预先存储有第一网络地址,所述第一网络地址为云存储系统的对外访问地址;
所述图像采集设备用于:检测本地是否存储有未过期的会话令牌token;当检测结果为是时,基于目标token,对待存储的目标媒体数据进行云存储处理;当检测结果为否时,基于所述第一网络地址,向所述云存储系统申请新的token,并基于所申请得到的新的token存储所述待存储的目标媒体数据;其中,所述token用于记录与所述图像采集设备建立租约的存储节点以及租期信息,所述与所述图像采集设备建立租约的存储节点为:所述云存储系统基于负载均衡策略所确定出的;其中,所述目标token为本地存储的所述未过期的token,所述目标媒体数据存储于目标存储节点,所述目标存储节点为所述目标token所对应的存储节点;
所述云存储系统用于:当接收到所述图像采集设备发送的token请求,向所述图像采集设备反馈token;当接收到所述图像采集设备基于目标token所上传的目标媒体数据时,存储所述目标媒体数据;其中,所述token请求为所述图像采集设备在检测到本地未存储有未过期的token时,基于存储于自身的第一网络地址所发送的。
第四方面,本发明实施例提供了一种图像采集设备,包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过运行存储器中存储的可执行程序代码,以执行媒体数据均衡存储方法;其中,该媒体数据均衡存储方法包括:
检测本地是否存储有未过期的会话令牌token;其中,所述token用于记录与所述图像采集设备建立租约的存储节点以及租期信息,所述与所述图像采集设备建立租约的存储节点为:所述云存储系统基于负载均衡策略所确定出的;
当检测结果为是时,基于目标token,对待存储的目标媒体数据进行云存储处理作;其中,所述目标token为本地存储的所述未过期的token,所述目标媒体数据存储于目标存储节点,所述目标存储节点为所述目标token所对应的存储节点;
当检测结果为否时,基于预先存储的第一网络地址,向所述云存储系统申请新的token,并基于所申请得到的新的token存储所述待存储的目标媒体数据,其中,所述第一网络地址为所述云存储系统的对外访问地址。
第五方面,本发明实施例提供了一种云存储系统,包括:管理节点和存储节点;
所述管理节点,用于当接收到图像采集设备发送的token请求,向所述图像采集设备反馈token,其中,所述token用于记录与所述图像采集设备建立租约的存储节点以及租期信息,所述与所述图像采集设备建立租约的存储节点为基于负载均衡策略所确定出的,所述token请求为所述图像采集设备在检测到本地未存储有未过期的token时,基于存储于自身的第一网络地址所发送的,所述第一网络地址为所述管理节点的对外访问地址;
目标存储节点,用于当接收到图像采集设备基于目标token所上传的目标媒体数据时,存储所述目标媒体数据;其中,所述目标token为所述图像采集设备本地存储的未过期的token,所述目标存储节点为所述目标token所对应的存储节点。
本发明实施例所提供方案中,图像采集设备在存储有未过期的token时,可以基于该未过期的token,对待存储的目标媒体数据进行云存储处理;另外,图像采集设备未存储有未过期的token时,需要向云存储系统请求新的token,即向云存储系统请求新的用于存储媒体数据的存储节点。可见,本方案通过直存方式及token机制相结合的方式来存储媒体数据,不但避免了由平台服务器转存至云存储系统,而且避免了长期向某一存储节点存储媒体数据,因此,可以在保证负载均衡的同时,降低网络带宽资源的消耗以及提高媒体数据上传效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例第一方面提供的一种媒体数据均衡存储方法的流程图;
图2为本发明实施例第一方面提供的一种媒体数据均衡存储方法的另一流程图;
图3为本发明实施例第二方面提供的一种媒体数据均衡存储方法的流程图;
图4为本发明实施例第二方面提供的一种媒体数据均衡存储方法的另一流程图;
图5为本发明实施例所提供的媒体数据均衡存储方法的时序图;
图6为本发明实施例所提供的一种媒体数据均衡存储系统的结构示意图;
图7为本发明实施例所提供的一种媒体数据均衡存储系统的应用实例的结构示意图;
图8为本发明实施例所提供的一种图像采集设备的结构示意图;
图9为本发明实施例所提供的一种云存储系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
第一方面,为了解决现有技术问题,从图像采集设备的角度,本发明实施例提供了一种媒体数据均衡存储方法。
其中,所谓图像采集设备具体指具有图像采集功能的设备。其中,在具体应用中,可选地,该图像采集设备可以为抓拍机,也可以为网络摄像机,当然并不限于此。可以理解的是,抓拍机具体指可以在瞬间启动,完成摄影参数设定并进行高速拍摄的摄影器材,其镜头多为定焦镜头或变焦范围较小的中焦段镜头。并且,图像采集设备所采集的媒体数据可以包括但不局限于图片。
需要强调的是,为了解决现有技术问题,本发明实施例中,在存储过程中,图像采集设备将媒体数据直存至云端中,即在媒体数据存储过程中不通过任何中转设备来中转媒体数据。基于该种处理思想,为了实现图像采集设备与云存储系统的通信,该图像采集设备中预先存储有第一网络地址,该第一网络地址为云存储系统的对外访问地址。可以理解的是,云存储系统可以包括至少一个管理节点和至少一个存储节点,其中,管理节点用于对存储节点进行管理,而存储节点用于存储数据,其中,存储节点的具体物理形态可以为服务器形态。
具体的,该第一网络地址可以为IP地址和端口。而由于云存储系统可以具有若干节点,为了对外提供服务,可选地,该第一网络地址可以为虚拟网络地址,也可以为云存储系统中提供对外访问的节点的实际的网络地址。在具体应用中,可以通过图像采集设备的WEB配置将第一网络地址保存在图像采集设备的配置文件中;当然,也可以直接后台登录到该图像采集设备,手动修改图像采集设备的配置文件以记录该第一网络地址。
需要强调的是,在具体应用中,云存储系统内部通常由多个节点通过集群的方式对外提供服务,此时,第一网络地址为虚拟网络地址,并且,虚拟网络地址可以通过集群技术来提供。举例而言:由3台服务器A、B、C组建的集群;假设服务器A的实际IP是192.168.1.10,服务器B的实际IP是192.168.1.11,服务器C的实际IP是10.192.1.12,那么,通过集群技术,提供一个虚拟IP和端口对外提供服务,如虚拟IP是10.192.1.100,端口是6021;这样,图像采集设备只需要将该虚拟IP和端口通过图像采集设备的WEB配置,配置到图像采集设备中保存即可,而图像采集设备在需要使用该虚拟IP和端口时就从配置文件读取;当然,也可以不通过图像采集设备WEB设置来配置虚拟IP和端口,而是可以直接后台登录到图像采集设备,手动修改图像采集设备的配置文件以记录该虚拟IP和端口。
并且,需要说明的是,为了避免由于长期向某一存储节点存储媒体数据而导致的多个存储节点间负载不均衡的问题,本发明实施例加入会话令牌token机制,该token机制表示图像采集设备与存储节点建立租约关系,其中,与该图像采集设备建立租约关系的存储节点负责存储该图像采集设备上传的媒体数据,且租约关系中的存储节点为基于负载均衡策略所确定出的;而该租约关系为具有时效性的关系,一旦租约到期,图像采集设备需要建立新的租约关系,一次保证存储节点的负载均衡。
如图1所示,本发明实施例所提供的一种媒体数据均衡存储方法,应用于图像采集设备,该方法可以包括如下步骤:
S101,图像采集设备检测本地是否存储有未过期的会话令牌token,如果是,执行S102,否则,执行S103;
其中,该token用于记录与该图像采集设备建立租约的存储节点以及租期信息,与该图像采集设备建立租约的存储节点为:该云存储系统基于负载均衡策略所确定出的。其中,该负载均衡策略所参考的标准包括但不局限于:存储节点的存储空间占用率,或者,存储节点的当前负载量,等等。
并且,该租期信息可以为租期起始时间,也可以由租期起始时间与预定位数的随机数组建而成,其中,该预定位数可以为两位、三位、四位、五位等等,且随机数的生成方式在此不做限定;另外,可选地,由于该云存储系统为图像采集设备发放token,该租期起始时间可以为云端为图像采集设备产生token时的系统时间,当然并不局限于此。可以理解的是,当租期信息为租期起始时间时,图像采集设备可以直接将token所记录的租期信息确定为租期起始时间;而当租期信息由租期起始时间和预定位数的随机数组成时,图像采集设备需要从token所记录的租期信息中解析得到租期起始时间,解析方式与组成方式相对应,其中,租期起始时间和预定位数的随机数的组成方式可以例如:租期起始时间+随机数,或者,随机数+租期起始时间,等等。
需要说明的是,图像采集设备可以在上传媒体数据之前,检测本地是否存储有未过期的token,也就是,当图像采集设备需要上传媒体数据时,才去检测本地是否存储有未过期的token。当然,图像采集设备也可以定时检测检测本地是否存储有未过期的token,这也是合理的。另外,在具体应用中,该图像采集设备可以实时或定时地将自身的媒体数据存储至云端;具体的,所谓实时存储,具体指该图像采集设备在采集到媒体数据后,立即执行存储;而所谓定时存储,具体指该图像采集设备在采集到媒体数据后,并非立即执行存储,而是达到预定时间点或满足预定上传时间时,将当前未存储的所有媒体数据进行存储。
并且,对于检测到本地未存储有未过期的会话令牌token的情况而言,存在两种具体检测结果:一是,本地未存储有token,二是,本地存储有token但是所存储的token已过期。
可选地,检测本地是否存储有未过期的会话令牌token的步骤,可以包括:
检测本地是否存储有符合预定条件的会话令牌token,如果是,表明本地存储有未过期的token,如果否,表明本地未存储有未过期的token;其中,该预定条件为:所对应租期起始时间与该图像采集设备的当前系统时间的时间差值小于预定时长,其中,任一token所对应的租期起始时间为基于该token所记录的租期信息所确定的。
其中,该云存储系统可以预先设定token的过期时间,例如:20分钟,30分钟,1小时、2小时等等。具体的,该预定时长可以为该过期时间,也可以小于该过期时间;需要强调的是,在具体应用时,该预定时长通常设定为小于该过期时间的时长,这样,图像采集设备可以提前主动更换新的token,以在该云存储系统存在token检测机制的情况下,避免图像采集设备上传媒体数据时,云存储系统检测到token过期而导致媒体数据上传失败。
S102,图像采集设备基于目标token,对待存储的目标媒体数据进行云存储处理;其中,该目标token为本地存储的该未过期的token,该目标媒体数据存储于目标存储节点,该目标存储节点为该目标token所对应的存储节点;
其中,本发明实施例中所述的目标媒体数据为图像采集设备所采集的且待存储的媒体数据。
如果该图像采集设备检测到本地存储有未过期的token,可以在满足上传媒体数据时机时,基于目标token,即所检测到的该未过期的token,对待存储的目标媒体数据进行云存储处理。具体的,对于该图像采集设备在上传媒体数据之前检测本地是否存储有未过期的token的情况而言,在检测到本地存储有未过期的token时,该图像采集设备便可以执行基于目标token,对待存储的目标媒体数据进行云存储处理的步骤;而对于图像采集设备定时检测本地是否存储有未过期的token的情况而言,在检测到本地存储有未过期的token时,如果在下一次检测本地是否存储有未过期的token之前,存在媒体数据上传需求或满足媒体数据上传时机,则可以基于该目标token,对待存储的目标媒体数据进行云存储处理。
可以理解的是,在具体应用时,当图像采集设备定时或实时地对待存储的目标媒体数据进行云存储处理时,均可以在上传目标媒体数据之前,检测是否存储有未过期的token,并在检测到存储有时,利用所检测到的未过期的token,存储该目标媒体数据,在检测到未存储有时,基于该第一网络地址,向该云存储系统申请新的token,进而在请求到新的token时,利用该新的token,存储该目标媒体数据。当然,当图像采集设备定时或实时地对待存储的目标媒体数据进行云存储处理时,也均可以采用定时检测是否存储有未过期的token的方式,本发明实施例对此不作限定。
S103,图像采集设备基于该第一网络地址,向该云存储系统申请新的token,并基于所申请得到的新的token存储该待存储的目标媒体数据。
其中,图像采集设备检测本地未存储有未过期的会话令牌token时,无论检测本地是否存储有未过期的token的时机是哪种,为了保证媒体数据的有效上传,该图像采集设备可以基于该第一网络地址,向该云存储系统申请新的token。
为了向该云存储系统申请新的token,该图像采集设备可以基于该第一网络地址与该云存储系统建立通信连接后,向该云存储系统发送token请求;进而,该云存储系统可以根据负载均衡策略确定出新的存储节点,并向该图像采集设备反馈新的token,该新的token携带有该新的存储节点的网络地址以及租期信息,其中,该新的存储节点的网络地址包括IP地址和端口。需要说明的是,该图像采集设备基于该第一网络地址,向该云存储系统申请新的token后,可以基于所申请得到的新的token存储该待存储的目标媒体数据;具体的,对于上传媒体数据之前,检测本地是否存储有未过期的token时,在获得新的token后,可以直接基于该新的token,将待存储的目标媒体数据存储至云存储系统,该目标媒体数据存储在该新的token所对应的新的存储节点;而对于定时检测本地是否存储有未过期的token时,在获得新的token后,如果在下一次检测本地是否存储有未过期的token之前,存在媒体数据上传需求或满足媒体数据上传时机,则可以基于该新的token,将待存储的目标媒体数据上传至该云存储系统。
本发明实施例所提供方案中,图像采集设备在存储有未过期的token时,可以基于该未过期的token,对待存储的目标媒体数据进行云存储处理;另外,图像采集设备未存储有未过期的token时,需要向云存储系统请求新的token,即向云存储系统请求新的用于存储媒体数据的存储节点。可见,本方案通过直存方式及token机制相结合的方式来存储媒体数据,不但避免了由平台服务器转存至云存储系统,而且避免了长期向某一存储节点存储媒体数据,因此,可以在保证负载均衡的同时,降低网络带宽资源的消耗以及提高媒体数据上传效率。
可选地,所述基于目标token,对待存储的目标媒体数据进行云存储处理之后,本发明实施例第一方面所提供的一种媒体数据均衡存储方法,还可以包括如下步骤:
获得目标存储信息;其中,该目标存储信息为基于该目标媒体数据对应的存储位置所确定的信息;
将该目标媒体数据对应的目标URL(Uniform Resource Locator,统一资源定位符)保存至所述图像采集设备对应的平台服务器;其中,该目标URL为基于该目标存储信息所确定的信息。
其中,目标媒体数据被存储后,为了用户通过平台服务器或浏览器后续访问该目标媒体数据,该云存储系统可以基于该目标媒体数据对应的存储位置来确定目标存储信息,进而将该目标存储信息反馈至该图像采集设备,以使得该图像采集设备将该目标媒体数据对应的目标URL保存至该图像采集设备对应的平台服务器,这样,后续平台服务器或浏览器可以通过该目标URL访问该目标媒体数据,其中,访问方式可以包括:下载、删除或锁定等方式。
具体的,该目标媒体数据对应的存储位置可以为该目标媒体数据所在磁盘的磁盘标识和磁盘偏移,以及该目标媒体数据的标识等;而该目标存储信息可以为该目标URL,或者,该目标媒体数据对应的存储位置。其中,当该目标存储信息为该目标媒体数据对应的存储位置时,该图像采集设备可以直接将该存储位置发送至该平台服务器,进而由该平台服务器基于该存储位置生成该目标媒体数据对应的目标URL并保存;当然,该图像采集设备也可以基于该存储位置生成该目标媒体数据对应的目标URL,进而该图像采集设备将该目标URL发送至该平台服务器,以使得该平台服务器直接存储该目标URL。另外,当该目标存储信息为该目标URL,也就是,云存储系统自行基于该目标媒体数据对应的存储位置生成该目标媒体数据对应的目标URL,这样,图像采集设备在收到该目标URL后,可以将该目标URL转发至该平台服务器,进而由该平台服务器存储该目标URL。
举例而言:抓拍机向云存储系统中的目标存储节点上传图片后,该目标存储节点向该抓拍机反馈该图片所在的磁盘位置信息,如所在磁盘UUID、磁盘逻辑数据块ID和图片ID,该抓拍机在获取到该磁盘位置信息后,可以追加该云存储系统对外访问的IP地址和端口、图片时间戳、图片size等属性后,通知给平台服务器,而平台服务器可以基于抓拍机所通知的信息生成该图片对应的URL并将该URL记录在数据库中,后续通过该URL向云存储系统进行下载图片。其中,UUID是指在一台机器上生成的数字,它保证对在同一时空中的所有机器都是唯一的。
需要说明的是,将目标媒体数据对应的存储位置组装成目标URL的具体实现方式,在此不做限定,而为了有效访问,该目标URL中还包括该第一网络地址。并且,通过该平台服务器所存储的该目标URL,作为访问端的浏览器或该平台服务器可以访问该目标媒体数据,关于具体的访问过程,后续在云存储系统角度所提供的一种媒体数据均衡存储方法的实施例中进行介绍。
下面结合具体的实施例,对本发明实施例第一方面所提供的一种媒体数据均衡存储方法进行介绍。
其中,该云存储系统包括至少一个管理节点和至少一个存储节点,其中,该管理节点用于管理各个存储节点,各个存储节点用于存储数据。并且,该图像采集设备中预先配置有第一网络地址,该第一网络地址具体为该云存储系统中管理节点的对外访问地址,其中,关于第一网络地址的具体形式以及具体配置方式,参见上述实施例,在此不做赘述。并且,任一token携带有与图像采集设备建立租约的存储节点的网络地址和租期信息,对于目标token而言,其携带有该目标存储节点的第二网络地址。
可选地,该图像采集设备可以为抓拍机,也可以为网络摄像机,当然并不限于此。并且,该图像采集设备所采集的媒体数据可以包括但不局限于图片。
如图2所示,本发明实施例在第一方面所提供的一种媒体数据均衡存储方法,应用于图像采集设备,该方法可以包括如下步骤:
S201,图像采集设备检测本地是否存储有未过期的会话令牌token,如果是,执行S204,否则,执行S202;
其中,该token用于记录与所述图像采集设备建立租约的存储节点以及租期信息,该与所述图像采集设备建立租约的存储节点为:该云存储系统基于负载均衡策略所确定出的;
可选地,检测本地是否存储有未过期的会话令牌token的步骤,可以包括:
检测本地是否存储有符合预定条件的会话令牌token,如果是,表明本地存储有未过期的token,如果否,表明本地未存储有未过期的token;
其中,该预定条件为:所对应租期起始时间与该图像采集设备的当前系统时间的时间差值小于预定时长,其中,任一token所对应的租期起始时间为基于该token所记录的租期信息所确定的。
本实施例中,S201与上述实施例的S101相同,在此不做赘述。
S202,图像采集设备在基于该第一网络地址与该管理节点建立传输控制协议tcp连接后,向该管理节点发送用于请求token的第一http请求消息,以使得:该管理节点根据该负载均衡策略,确定与该图像采集设备建立租约的存储节点,生成携带有所确定出的存储节点的第二网络地址和租期信息的token,向该图像采集设备反馈携带有所生成的token的第一http回复消息。
需要说明的是,当该图像采集设备向该管理节点申请新的token时,该图像采集设备可以首先检测当前是否与该管理节点建立了tcp连接,并在检测到当前未与该管理节点建立tcp连接时,基于该第一网络地址,与该管理节点建立tcp连接,进而在tcp连接建立后,向管理节点发送请求报文。可以理解的是,由于在TCP/IP协议中,TCP协议提供可靠的连接服务,采用三次握手建立一个连接,因此,图像采集设备与该管理节点所建立的tcp连接为采用三次握手建立的连接,其中,采用三次握手建立一个tcp连接的具体实现过程,在此不做赘述。其中,TCP/IP协议为Transmission Control Protocol/Internet Protocol的简写,中文译名为传输控制协议/网际协议。
进而,在该图像采集设备与该管理节点建立tcp连接后,该图像采集设备可以向该管理节点发起http请求,也就是,向管理节点发送用于请求token的第一http请求消息;进而,该管理节点在接收到该第一http请求消息后,根据负载均衡策略,确定与该图像采集设备建立租约的存储节点,生成携带有所确定出的存储节点的第二网络地址和租期信息的token,向该图像采集设备反馈携带有所生成的token的第一http回复消息。
其中,该负载均衡策略所参考的标准包括但不局限于:存储节点的存储空间占用率,或者,存储节点的当前负载量,等等。并且,第一http请求消息中可以携带有图像采集设备的编码器ID、图像采集设备的系统时间等信息。可以理解的是,图像采集设备的系统时间能够体现第一http请求消息的时效性,当该管理节点接收到第一http请求消息后,可以通过该第一http请求消息中的系统时间检测该第一http请求消息是否已超时,如果超时,则可以不对该第一http请求消息进行响应。
可选地,由于云存储系统中的存储节点可以有若干个,且云存储系统不仅仅用于存储各个图像采集设备的媒体数据,因此,可以构建多个虚拟资源池,每个虚拟资源池用于存储特定类型的数据内容。基于该处理思想,本发明实施例中,该云存储系统中的存储节点属于至少一个虚拟资源池,该图像采集设备中还预先存储有目标虚拟资源池的目标ID信息,该目标虚拟资源池为用于存储该图像采集设备的媒体数据的虚拟资源池;
该第一http请求消息携带该目标ID信息;
相应的,所述管理节点根据负载均衡策略,确定与该图像采集设备建立租约的存储节点,可以包括:
该管理节点从该第一http请求消息中提取该目标ID信息;
根据负载均衡策略,从具有该目标ID信息的所述目标虚拟资源池对应的存储节点中,选取与该图像采集设备建立租约的存储节点。
需要说明的是,虚拟资源池的ID信息在云存储系统中具有唯一性。并且,在一种具体实现方式中,虚拟资源池和存储节点之间可以属于多对多关系,即一个虚拟资源池可以属于多个存储节点,而一个存储节点的不同存储空间可以属于不同的虚拟资源池。而在另一种具体实现方式中,虚拟资源池和存储节点可以属于一一对应关系,也就是,一个存储节点可以唯一对应一个虚拟资源池。
其中,对于虚拟资源池和存储节点之间可以属于多对多关系的情况,举例而言:假设云存储系统包括3个存储节点,且每个存储节点所具有存储空间的大小为500G,其中,各个存储节点的存储看空间均被划分至虚拟资源池,具体的,虚拟资源池A包括存储节点1中的500G的存储空间、存储节点2中的100G的存储空间和存储节点3中的100G的存储空间,虚拟资源池B包括存储节点2中的400G的存储空间和存储节点3中的200G的存储空间,虚拟资源池C包括存储节点3中的200G的存储空间;并且,所设定的数据存储关系为:虚拟资源池A与图像采集设备1-100对应,虚拟资源池B与图像采集设备101-200对应,虚拟资源池C与图像采集设备201-300对应。基于这样的对应关系,对于图像采集设备100而言,其预先配置有云存储系统的对外访问地址,即第一网络地址,并且,预先配置有该虚拟资源池A的ID信息,进而,当图像采集设备100向管理节点请求token时,向该管理节点发送的第一http请求消息中携带有虚拟资源池A的ID信息,而该管理节点在接收到该第一http请求消息后,根据负载均衡策略,从该虚拟资源池A所包括的存储节点1-3中,选择该图像采集设备100对应的存储节点,并基于所选择的存储节点的网络地址和租期信息生成token,进而将所生成的token反馈给该图像采集设备。
其中,对于虚拟资源池和存储节点可以属于一一对应关系的情况,举例而言:假设云存储系统包括10个存储节点,其中,存储节点1-3被划分至一个虚拟资源池中,该虚拟资源池被命名为虚拟资源池A;存储节点4-6被划分至一个虚拟资源池中,该虚拟资源池被命名为虚拟资源池B;存储节点7-10被划分至一个虚拟资源池中,该虚拟资源池被命名为虚拟资源池C;并且,所设定的数据存储关系为:虚拟资源池A与图像采集设备1-100对应,虚拟资源池B与图像采集设备101-200对应,虚拟资源池C与图像采集设备201-300对应。基于这样的对应关系,对于图像采集设备100而言,其预先配置有云存储系统的对外访问地址,即第一网络地址,并且,预先配置有该虚拟资源池A的ID信息,进而,当图像采集设备100向管理节点请求新的token时,向该管理节点发送的第一http请求消息中携带有虚拟资源池A的ID信息,而该管理节点在接收到该第一http请求消息后,根据负载均衡策略,从该虚拟资源池A所包括的存储节点中,选择该图像采集设备100对应的存储节点,并基于所选择的存储节点的网络地址和租期信息生成token,进而将所生成的token反馈给该图像采集设备。
S203,图像采集设备接收该管理节点反馈的该第一http回复消息,并从该第一http回复消息中提取所携带的token,基于所申请得到的新的token存储待存储的目标媒体数据;
其中,该第一http回复消息还可以携带有该管理节点的系统时间,该管理节点的系统时间能够体现第一http响应消息的时效性,当该图像采集设备接收到第一http回复消息后,可以通过该第一http回复消息中的系统时间检测该第一http回复消息是否已超时,如果超时,则可以丢弃该第一http回复消息,并重新执行向该管理节点发送用于请求存储节点的第一http请求消息的步骤。并且,所述的基于所申请得到的新的token存储该待存储的目标媒体数据,具体可以为:对于上传媒体数据之前,检测本地是否存储有未过期的token时,在获得新的token后,可以直接基于该新的token,将待存储的目标媒体数据存储至云存储系统,该目标媒体数据存储在该新的token所对应的新的存储节点;而对于定时检测本地是否存储有未过期的token时,在获得新的token后,如果在下一次检测本地是否存储有未过期的token之前,存在媒体数据上传需求或满足媒体数据上传时机,则可以基于该新的token,将待存储的目标媒体数据上传至该云存储系统。
S204,图像采集设备在基于该目标token所携带的第二网络地址与该目标存储节点建立tcp连接后,将携带有待存储的目标媒体数据的第二http请求消息发送至该目标存储节点,以使得:该目标存储节点从该第二http请求消息中提取该目标媒体数据,并存储该目标媒体数据。
需要说明的是,当该图像采集设备向该目标存储节点上传媒体数据时,该图像采集设备可以首先检测当前是否与该目标存储节点建立了tcp连接,并在检测到当前未与该目标存储节点建立tcp连接时,基于该第二网络地址,与该目标存储节点建立tcp连接,进而在tcp连接建立后,向该目标存储节点上传媒体数据。
其中,第二http请求消息中不但可以携带目标媒体数据,还可以携带图像采集设备的编码器ID、目标虚拟资源池的目标ID信息、目标媒体数据的时间戳、图像采集设备的系统时间等等。具体的,该图像采集设备的编码器ID用于标识图像采集设备;而对于目标资源池的目标ID信息而言,在虚拟资源池和存储节点之间属于多对多关系的情况下,该目标存储节点可以基于目标虚拟资源池的目标ID信息来确定目标媒体数据需要写入哪个存储空间;该目标媒体数据的时间戳可以用于标识该目标媒体数据,而该图像采集设备的系统时间可以校验该第二http请求消息是否超时。
其中,由于在TCP/IP协议中,TCP协议提供可靠的连接服务,采用三次握手建立一个连接,因此,该图像采集设备与该目标存储节点所建立的tcp连接为采用三次握手建立的连接,其中,采用三次握手建立一个tcp连接的具体实现过程,在此不做赘述。
可选地,该第二http请求消息还携带有所述目标token;
该目标存储节点在存储所述目标媒体数据之前,从该第二http请求消息中提取该目标token,并在判断出所述目标token未过期时,存储该目标媒体数据。进一步的,当该目标存储节点在判断出该目标token过期时,向该图像采集设备反馈用于指示令牌失效的http回复消息。
可选地,所述方法还可以包括:当接收到该用于指示令牌失效的http回复消息时,基于该第一网络地址,向该云存储系统申请新的token。这样,在获得新的token后,可以重传该目标媒体数据,也就是向该新的token对应的存储节点发送该目标媒体数据。
另外,需要说明的是,该目标存储节点在存储该目标媒体数据后,可以基于该目标媒体数据的存储位置确定目标存储信息,进而构建携带有该目标存储信息的第二http回复消息,并发送给图像采集设备;相应的,该图像采集设备接收该目标存储节点反馈的第二http回复消息后,可以从该第二http回复消息中提取该目标存储信息,将该目标媒体数据对应的目标URL保存至该图像采集设备对应的平台服务器。其中,关于目标存储信息与该目标媒体数据对应的存储位置的具体内容及关系可以参照上述实施例的内容,在此不做赘述。其中,该第二http回复消息还可以包括:目标媒体数据的时间戳信息,进而,该图像采集设备可以将该目标媒体数据的时间戳信息发送该平台服务器,该平台服务器存储该目标媒体数据的时间戳信息与目标URL的对应关系。
可选地,为了提高媒体数据上传效率,该第二http请求消息可以为长连接类型,即设置HTTP协议中connection:keep-alive,这样,上传完成目标媒体数据后,图像采集设备不需要关闭tcp连接,下一次媒体数据的上传直接复用该tcp连接。可见,HTTP的长连接和短连接本质上是TCP长连接和短连接。也就是,对于向目标token对应的存储节点持续上传媒体数据时,在第一次上传待存储的目标媒体数据时,需要首先基于该第二网络地址,与该目标存储节点建立tcp连接,进而,在tcp连接建立后,向该目标存储节点上传数据;而第二上传待存储的目标媒体数据时,由于上一次上传过程结束后未断开tcp连接,因此,可以直接向该目标存储节点上传数据。
可见,本具体实施例所提供的方案通过直存方式及token机制相结合的方式来存储媒体数据,不但避免了由平台服务器转存至云存储系统,而且避免了长期向某一存储节点存储媒体数据,因此,可以在保证负载均衡的同时,降低网络带宽资源的消耗以及提高媒体数据上传效率。
第二方面,为了解决现有技术问题,从云存储系统的角度,本发明实施例提供了一种媒体数据均衡存储方法。
需要说明的是,云存储系统可以包括至少一个管理节点和至少一个存储节点,其中,管理节点用于对存储节点进行管理,而存储节点用于存储数据,其中,存储节点的具体物理形态可以为服务器形态。并且,该云存储系统可以对应一个对外访问地址,即第一网络地址,该第一网络地址预先存储在图像采集设备中。其中,该第一网络地址可以为IP地址和端口号,关于第一网络地址的配置方式和具体形式参照上述实施例,在此不做赘述。
如图3所示,本发明实施例所提供的一种媒体数据均衡存储方法,应用于云存储系统,该方法可以包括如下步骤:
S301,云存储系统当接收到图像采集设备发送的token请求,向该图像采集设备反馈token;
其中,该token用于记录与该图像采集设备建立租约的存储节点以及租期信息,与该图像采集设备建立租约的存储节点为基于负载均衡策略所确定出的,该token请求为该图像采集设备在检测到本地未存储有未过期的token时,基于存储于自身的第一网络地址所发送的,该第一网络地址为所述云存储系统的对外访问地址。
为了请求云存储系统为该图像采集设备分配新的token,该图像采集设备可以基于该第一网络地址与该云存储系统建立通信连接后,向该云存储系统发送token请求;而该云存储系统可以接收到该token请求后,向该图像采集设备反馈token。可以理解的是,该图像采集设备可以在接收到该云存储系统反馈的token后,基于所申请得到的新的token存储该待存储的目标媒体数据,具体的存储过程可以参照上述从图像采集设备的角度所提供的方案,在此不做赘述。
S302,云存储系统当接收到图像采集设备基于目标token所上传的目标媒体数据时,存储该目标媒体数据;其中,该目标token为该图像采集设备本地存储的未过期的token,该目标媒体数据存储于目标存储节点,该目标存储节点为该目标token所对应的存储节点。
其中,该目标存储节点存储图像采集设备上传的媒体数据的具体存储形式,本发明实施例不做限定。
可见,本方案通过直存方式及token机制相结合的方式来存储媒体数据,不但避免了由平台服务器转存至云存储系统,而且避免了长期向某一存储节点存储媒体数据,因此,可以在保证负载均衡的同时,降低网络带宽资源的消耗以及提高媒体数据上传效率。
可选地,在一种具体实现方式中,所述存储该目标媒体数据之后,本发明实施例从云存储系统的角度所提供的一种媒体数据均衡存储方法还可以包括:
向该图像采集设备反馈目标存储信息,以使得:该图像采集设备接收到该目标存储信息后,将该目标媒体数据对应的目标统一资源定位符URL保存至该图像采集设备对应的平台服务器;
其中,该目标存储信息为基于该目标媒体数据对应的存储位置所确定的信息,该目标URL为基于所述目标存储信息所确定的信息。
其中,该云存储系统存储目标媒体数据后,为了用户通过平台服务器或浏览器后续访问该目标媒体数据,该云存储系统可以基于该目标媒体数据对应的存储位置来确定目标存储信息,进而将该目标存储信息反馈至该图像采集设备,以使得该图像采集设备将该目标媒体数据对应的目标URL保存至该图像采集设备对应的平台服务器,这样,后续平台服务器或浏览器可以通过该目标URL访问该目标媒体数据,其中,访问方式可以包括:下载、删除或锁定等方式。
具体的,该目标媒体数据对应的存储位置可以为该目标媒体数据所在磁盘的磁盘标识和磁盘偏移,以及媒体数据的标识等;而该目标存储信息可以为该目标URL,或者,该目标媒体数据对应的存储位置。其中,关于该目标媒体数据的存储位置、目标存储信息、目标URL的转换关系,参见上述实施例,在此不做赘述。
可选地,在另一种具体实现方式中,所述存储该目标媒体数据之后,本发明实施例从云存储系统的角度所提供的一种媒体数据均衡存储方法还可以包括:
将该目标媒体数据对应的目标存储信息发送至该图像采集设备对应的平台服务器,以使得该平台服务器在接收到该目标存储信息后,保存该目标媒体数据对应的目标URL;其中,该目标存储信息为基于该目标媒体数据对应的存储位置所确定的信息,该目标URL为基于该目标存储信息所确定的信息。
可以理解的是,该云存储系统存储目标媒体数据后,为了用户通过平台服务器或浏览器后续访问该目标媒体数据,该云存储系统可以基于该目标媒体数据对应的存储位置来确定目标存储信息,进而直接将该目标存储信息反馈至该图像采集设备对应的平台服务器。其中,关于该目标媒体数据的存储位置、目标存储信息、目标URL的转换关系,参见上述实施例,在此不做赘述。
下面结合具体的实施例,对本发明实施例第二方面所提供的一种媒体数据均衡存储方法进行介绍。
其中,该云存储系统包括至少一个管理节点和至少一个存储节点,其中,该管理节点用于管理各个存储节点,且该管理节点可以为独立于存储节点的节点,也可以是若干存储节点中的一个节点,也就是,一个存储节点既作为存储节点,也作为管理节点。并且,图像采集设备中预先配置有第一网络地址,该第一网络地址具体为该云存储系统中管理节点的对外访问地址,其中,关于第一网络地址的具体形式以及具体配置方式,参见上述实施例,在此不做赘述。
如图4所示,本发明实施例在第二方面所提供的一种媒体数据均衡存储方法,应用于云存储系统,该方法可以包括如下步骤:
S401,管理节点在与图像采集设备建立传输控制协议tcp连接后,当接收到该图像采集设备发送的用于请求token的第一http请求消息时,根据该负载均衡策略,确定与该图像采集设备建立租约的存储节点;
其中,该管理节点与该图像采集设备间的tcp连接为:该图像采集设备基于该第一网络地址向该管理节点请求建立的。
其中,该图像采集设备在检测到未存储有过期的token时,可以基于第一网络地址与该管理节点建立tcp连接,进而在tcp连接建立后,向该管理节点发送token请求。
可以理解的是,第一http请求消息中可以携带有图像采集设备的编码器ID、图像采集设备的系统时间等信息。可以理解的是,图像采集设备的系统时间能够体现第一http请求消息的时效性,当该管理节点接收到第一http请求消息后,可以通过该第一http请求消息中的系统时间检测该第一http请求消息是否已超时,如果超时,则可以不对该第一http请求消息进行响应。另外,需要说明的是,该负载均衡策略所参考的标准包括但不局限于:存储节点的存储空间占用率,或者,存储节点的当前负载量,等等。
可选地,由于云存储系统中的存储节点可以有若干个,且云存储系统不仅仅用于存储各个图像采集设备的媒体数据,因此,可以构建多个虚拟资源池,每个虚拟资源池用于存储特定类型的数据内容。基于该处理思想,本发明实施例中,该云存储系统中的存储节点属于至少一个虚拟资源池,该图像采集设备中还预先存储有目标虚拟资源池的目标ID信息,该目标虚拟资源池为用于存储该图像采集设备的媒体数据的虚拟资源池;
该第一http请求消息携带该目标ID信息;
所述管理节点据该负载均衡策略,确定与该图像采集设备建立租约的存储节点的步骤,包括:
该管理节点从该第一http请求消息中提取该目标ID信息;
根据该负载均衡策略,从具有该目标ID信息的该目标虚拟资源池对应的存储节点中,选取与该图像采集设备建立租约的存储节点。
需要说明的是,虚拟资源池的ID信息在云存储系统中具有唯一性。并且,在一种具体实现方式中,虚拟资源池和存储节点之间可以属于多对多关系,即一个虚拟资源池可以属于多个存储节点,而一个存储节点的不同存储空间可以属于不同的虚拟资源池。而在另一种具体实现方式中,虚拟资源池和存储节点可以属于一一对应关系,也就是,一个存储节点可以唯一对应一个虚拟资源池。
S402,管理节点生成携带有所确定出的存储节点的第二网络地址和租期信息的token;
S403,管理节点向该图像采集设备反馈携带有所生成的token的第一http回复消息;
其中,该管理节点在确定出与该图像采集设备建立租约的存储节点后,可以生成携带有所确定出的存储节点的第二网络地址和租期信息的token,并将携带有所生成的token的第一http回复消息反馈至该图像采集设备,进而该图像采集设备在接收到该第一http回复消息后,可以提取出该第一http回复消息所携带的token,进而基于所提取到的该token,对待存储的目标媒体数据进行云存储处理。
并且,该租期信息可以为租期起始时间,也可以由租期起始时间与预定位数的随机数组建而成,其中,该预定位数可以为两位、三位、四位、五位等等,且随机数的生成方式在此不做限定;另外,可选地,由于该云存储系统为图像采集设备发放token,该租期起始时间可以为该云存储系统为图像采集设备产生token时的系统时间,当然并不局限于此。可以理解的是,当租期信息为租期起始时间时,该图像采集设备可以直接将token所记录的租期信息确定为租期起始时间;而当租期信息由租期起始时间和预定位数的随机数组成时,图像采集设备需要从token所记录的租期信息中解析得到租期起始时间,解析方式与组成方式相对应,其中,租期起始时间和预定位数的随机数的组成方式可以例如:租期起始时间+随机数,或者,随机数+租期起始时间,等等。
可以理解的是,该第一http回复消息还可以携带有该管理节点的系统时间,该管理节点的系统时间能够体现第一http响应消息的时效性,当该图像采集设备接收到第一http回复消息后,可以通过该第一http回复消息中的系统时间检测该第一http回复消息是否已超时,如果超时,则可以丢弃该第一http回复消息,并重新执行向该管理节点发送用于请求存储节点的第一http请求消息的步骤。
S404,目标存储节点在与图像采集设备建立tcp连接后,当接收到该图像采集设备发送的携带有待存储的目标媒体数据的第二http请求消息时,从该第二http请求消息中提取该目标媒体数据,并存储该目标媒体数据。
其中,该目标存储节点与该图像采集设备间的tcp连接为:该图像采集设备基于该目标token所携带的第二网络地址向该目标存储节点请求建立的。
如果该图像采集设备检测到本地存储有未过期的token,且所存储的未过期的token对应的目标存储节点属于该云存储系统,那么,在满足媒体数据上传时机时,该图像采集设备可以构建携带有待存储的目标媒体数据的第二http请求消息,进而在tcp连接建立后,向目标token对应的目标存储节点发送该第二http请求消息;相应的,该目标存储节点可以从该第二http请求消息中提取该目标媒体数据,并存储该目标媒体数据。
其中,第二http请求消息中不但可以携带目标媒体数据,还可以携带图像采集设备的编码器ID、目标虚拟资源池的目标ID信息、目标媒体数据的时间戳、图像采集设备的系统时间等等。具体的,图像采集设备的编码器ID用于标识图像采集设备;而对于目标资源池的目标ID信息而言,在虚拟资源池和存储节点之间属于多对多关系的情况下,该目标存储节点可以基于目标虚拟资源池的目标ID信息来确定目标媒体数据需要写入哪个存储空间;该目标媒体数据的时间戳可以用于标识该目标媒体数据,而该图像采集设备的系统时间可以校验该第二http请求消息是否超时。
可选地,为了从云存储系统的角度,避免过期token的使用,以进一步提高负载均衡性,该第二http请求消息还可以携带有该目标token;
相应的,所述目标存储节点在存储该目标媒体数据之前,所述方法还包括:
该目标存储节点从该第二http请求消息中提取该目标token,并在判断出该目标token未过期时,执行该存储所述目标媒体数据的步骤。
其中,判断该目标token是否未过期的方式可以为:判断该目标token所对应租期起始时间与该目标存储节点的当前系统时间的时间差值是否小于预定时长,如果小于,表明未过期,如果不小于,表明过期。其中,该租期起始时间从该目标token所携带的租期信息中提取。
进一步的,所述目标存储节点在判断出该目标token过期时,所述方法还包括:
向该图像采集设备反馈用于指示令牌失效的http回复消息,以使得该图像采集设备当接收到该用于指示令牌失效的http回复消息时,基于该第一网络地址,向该云存储系统申请新的token。
可见,本具体实施例所提供的方案通过直存方式及token机制相结合的方式来存储媒体数据,不但避免了由平台服务器转存至云存储系统,而且避免了长期向某一存储节点存储媒体数据,因此,可以在保证负载均衡的同时,降低网络带宽资源的消耗以及提高媒体数据上传效率。
可选地,本发明实施例在第二方面所提供的一种媒体数据均衡存储方法,还可以包括如下步骤:
接收访问端基于第一URL发送的媒体数据处理请求;其中,该访问端为该平台服务器或浏览器,该第一URL基于该目标URL所确定,该浏览器所基于的该目标URL从该平台服务器获得;
重定向该媒体数据处理请求至该目标存储节点,以由该目标存储节点执行与该媒体数据处理请求相对应的处理操作。
由于目标媒体数据存储在该目标存储节点中,因此,云存储系统在接收到访问端基于该第一URL发送的媒体数据处理请求后,需要重定向该媒体数据处理请求至该目标存储节点,以由该目标存储节点执行与该媒体数据处理请求相对应的处理操作。
其中,当该访问端为浏览器时,用户可以将该第一URL拷贝到该浏览器的地址输入框中,从而使得该浏览器发出媒体数据处理请求。而当该访问端为平台服务器时,由于平台服务器存储有该第一URL,因此,当需要访问该目标媒体数据时,该平台服务器可以直接基于该第一URL发出媒体数据处理请求。
具体的,该第一网络地址具体为该云存储系统中管理节点的对外访问地址;该第一URL中包含该第一网络地址;
所述接收访问端基于该第一URL发送的媒体数据处理请求的步骤,包括:
所述管理节点在与该访问端建立tcp连接后,接收该访问端发送的用于处理媒体数据的第三http请求消息;其中,该第三http请求消息基于该第一URL所形成;该管理节点与该访问端间的tcp连接为:该访问端基于该第一URL中的第一网络地址向该管理节点请求建立的;
相应的,所述重定向该媒体数据处理请求至该目标存储节点,以由该目标存储节点执行与该媒体数据处理请求相对应的处理操作的步骤,包括:
所述管理节点解析该第三http请求消息,得到该第一URL;
确定该第一URL所对应的所述目标存储节点;
确定该目标存储节点所对应的该第二网络地址;
将携带有该目标存储节点对应的第二网络地址的第三http回复消息反馈至该访问端,以使得:该访问端基于该第三http回复消息中的第二网络地址与该目标存储节点建立tcp连接后,向该目标存储节点发送该第三http请求消息,进而,该目标存储节点对该目标媒体数据执行与该第三http请求消息相对应的处理操作。
需要说明的是,该管理节点中可以预先建立存储节点的节点标识与存储节点所包括磁盘的磁盘标识的对应关系,这样,当该管理节点解析得到该第一URL时,从该第一URL中确定出目标URL,可以基于该对应关系,确定出该目标URL所包括磁盘标识对应的节点标识,而所确定出的节点标识即为该目标存储节点的节点标识,从而确定出该第一URL所对应的该目标存储节点。
可选地,该第一URL为所述目标URL,或者,该第一URL由该目标URL和预设扩展字段构成,其中,该预设扩展字段包括:操作类型act字段和/或缩放字段组合,该缩放字段组合包括:缩放类型ztype字段和缩放比例zvalue字段。
具体的,以图片为例,介绍下扩展字段的具体含义:
act表示操作类型(act=get表示提取图片,act=del表示删除图片,act=lock表示锁定图片),如URL中没有这个act扩展字段,默认当做图片提取操作类型来处理;
ztype表示缩放类型,zvalue表示缩放比例(也可以命名为裁剪参数),其中,ztype=0时表示不缩放,这种情况zvalue取任何值都没有意义;举例而言:
1、ztype=1时,表示按图片尺寸比例缩放,这种情况zvalue取值范围为1~99,表示按百分比缩放,该方式会改变图片尺寸,适用于需要匹配多种不同规格的显示屏等应用场景;
2、ztype=2时,表示质量压缩图片,这种情况zvalue取值范围为1~99,表示按图片质量压缩,该方式不会改变图片尺寸,通过修改图片压缩比(zvalue越小,表示压缩更多,图片失真越严重)来改变图片大小(图片占用字节数),适用于节省网络带宽以及存储空间等应用场景;
3、ztype=3时,表示按自定义宽高缩放图片,这种情况zvalue赋值格式为W:H,W表示宽度,H表示高度,若高度为0则按照宽的缩放比重重新计算高度,该方式根据用户自定义宽高对图片进行裁剪;
4、ztype=4时,表示裁剪指定区域的图片,这种情况value格式为x:y:W:H,x和y分别表示为截图区域左上角的x坐标,y坐标,W表示裁剪区域宽度,H表示裁剪区域高度;
5、ztype=5时表示在图片指定区域打马赛克,这种情况value格式为x:y:W:H,x和y分别表示为截图区域左上角的x坐标,y坐标,W表示裁剪区域宽度,H表示裁剪区域高度。
为了方案清楚,下面举例介绍下第一URL的格式:
http://vmip:port/pic?did=xxx&bid=xxx&pid=xxx&ptime=xxx&size=xxx&act=get&ztype=xx&zvalue=xx
各字段说明:
vmip:云存储系统的对外访问的IP地址;port:云存储系统的对外访问的端口;did:磁盘UUID编号;bid:磁盘逻辑图片数据块ID号;pid:图片id;ptime:图片存储时间戳,后三位为毫秒;size:图片大小;ztype:缩放类型ztype=1取值1-99;zvalue:缩放值;其中,UUID是指在一台机器上生成的数字,它保证对在同一时空中的所有机器都是唯一的。上述第一URL中,
http://vmip:port/pic?did=xxx&bid=xxx&pid=xxx&ptime=xxx&size=xxx为目标URL,该目标URL为原始未加密格式的URL,在云存储端组建目标URL时,可以在原始URL基础上进行加密,具体加密方式,在此不做限定。
举例而言,第一URL可以如下:
http://10.192.70.62:6120/pic?3dda992d6-74eb111i91*ipd1=*ipd4=*4s8i9d6=*fb97bb17e-6060d4f-t8023m4-28=4887=8i02&act=get&ztype=1&zvalue=80
具体的,该示例URL中,
3dda992d6-74eb111i91*ipd1=*ipd4=*4s8i9d6=*fb97bb17e-6060d4f-t8023m4-28=4887=8i02为加密的字符串,加密的URL字符串后面可以接用户自定义的扩展字段,以&符号连接区分。
另外,需要说明的是,该访问端可以批量处理媒体数据,如:批量下载、批量删除、批量锁定等,此时,图像采集设备可以发出媒体数据批量处理请求,该媒体数据批量处理请求可以携带有图像采集设备的设备标识和时间段信息,这样云端可以批量处理某一图像采集设备在某一时间段内所采集的媒体数据,提高处理效率。其中,关于批量处理媒体数据的处理过程与上述的URL下载类似,区别点在于:管理节点根据图像采集设备的设备标识确定所需重定向的存储节点,所确定出的存储节点通过时间段信息确定媒体数据批量处理请求所对应的媒体数据。当然,在具体应用中,可以根据实际情况选择批量下载,或者,选择利用URL下载,这都是合理的。
为了便于理解方案,图5所示的时序图,从抓拍机、管理节点、目标存储节点三者的交互角度,给出了本发明实施例所提供的媒体数据存储方法的一种流程示意图,其中,该媒体数据为抓拍机所抓拍的图片。需要强调的是,该时序图中,该管理节点在向抓拍机反馈第一http回复消息,可以立即断开tcp连接,也可不立即断开tcp连接,是否立即断开主要取决于第一http请求消息是否属于长连接类型;类似的,该目标存储节点在向抓拍机反馈第二http回复消息后,可以立即断开tcp连接,也可不立即断开tcp连接,是否立即断开主要取决于第二http请求消息是否属于长连接类型。并且,目标存储节点可以在存储该目标图片后,可以向该抓拍机或平台服务器反馈该目标图片对应的目标存储信息,以使得该平台服务器中存储该目标图片对应的目标URL,进而后续基于该目标URL对存储于该目标存储节点中的该目标图片进行访问。
第三方面,相应于上述提供的方法实施例,本发明实施例还提供了一种媒体数据均衡存储系统,如图6所示,该媒体数据均衡存储系统包括:
图像采集设备610和云存储系统620,所述图像采集设备610中预先存储有第一网络地址,所述第一网络地址为云存储系统620的对外访问地址;
所述图像采集设备610用于:检测本地是否存储有未过期的会话令牌token;当检测结果为是时,基于目标token,对待存储的目标媒体数据进行云存储处理;当检测结果为否时,基于所述第一网络地址,向所述云存储系统620申请新的token,并基于所申请得到的新的token存储所述待存储的目标媒体数据;其中,所述token用于记录与所述图像采集设备610建立租约的存储节点以及租期信息,所述与所述图像采集设备610建立租约的存储节点为:所述云存储系统基于负载均衡策略所确定出的;其中,所述目标token为本地存储的所述未过期的token,所述目标媒体数据存储于目标存储节点,所述目标存储节点为所述目标token所对应的存储节点;
所述云存储系统620用于:当接收到所述图像采集设备610发送的token请求,向所述图像采集设备620反馈token;当接收到所示图像采集设备610基于目标token所上传的目标媒体数据时,存储所述目标媒体数据;其中,所述token请求为所述图像采集设备610在检测到本地未存储有未过期的token时,基于存储于自身的第一网络地址所发送的。
本发明实施例所提供方案中,图像采集设备610在存储有未过期的token时,可以基于该未过期的token,对待存储的目标媒体数据进行云存储处理;另外,图像采集设备未存储有未过期的token时,需要向云存储系统620请求新的token,即向云存储系统620请求新的用于存储媒体数据的存储节点。可见,本方案通过直存方式及token机制相结合的方式来存储媒体数据,不但避免了由平台服务器转存至云存储系统,而且避免了长期向某一存储节点存储媒体数据,因此,可以在保证负载均衡的同时,降低网络带宽资源的消耗以及提高媒体数据上传效率。
可选地,所述图像采集设备610检测本地是否存储有未过期的会话令牌token,具体为:
检测本地是否存储有符合预定条件的会话令牌token,如果是,表明本地存储有未过期的token,如果否,表明本地未存储有未过期的token;
其中,所述预定条件为:所对应租期起始时间与所述图像采集设备的当前系统时间的时间差值小于预定时长,其中,任一token所对应的租期起始时间为基于该token所记录的租期信息所确定的。
可选地,所述第一网络地址具体为所述云存储系统中管理节点的对外访问地址;
所述图像采集设备610基于所述第一网络地址,向所述云存储系统620申请新的token,具体为:
在基于所述第一网络地址与所述管理节点建立传输控制协议tcp连接后,向所述管理节点发送用于请求token的第一http请求消息,以使得:所述管理节点根据所述负载均衡策略,确定与所述图像采集设备610建立租约的存储节点,生成携带有所确定出的存储节点的第二网络地址和租期信息的token,向所述图像采集设备610反馈携带有所生成的token的第一http回复消息;
接收所述管理节点反馈的所述第一http回复消息,并从所述第一http回复消息中提取所携带的token;
相应的,所述云存储系统620当接收到图像采集设备发送的token请求,向所述图像采集设备反馈token,具体为:
所述管理节点在与图像采集设备610建立传输控制协议tcp连接后,当接收到所述图像采集设备610发送的用于请求token的第一http请求消息时,根据所述负载均衡策略,确定与所述图像采集设备610建立租约的存储节点;其中,所述管理节点与所述图像采集设备610间的tcp连接为:所述图像采集设备610基于所述第一网络地址向该管理节点请求建立的;
生成携带有所确定出的存储节点的第二网络地址和租期信息的token;
向所述图像采集设备反馈携带有所生成的token的第一http回复消息。
可选地,所述云存储系统620中的存储节点属于至少一个虚拟资源池,所述图像采集设备610中还预先存储有目标虚拟资源池的目标ID信息,所述目标虚拟资源池为用于存储所述图像采集设备610的媒体数据的虚拟资源池;
所述第一http请求消息携带所述目标ID信息;
相应的,所述管理节点根据负载均衡策略,确定与所述图像采集设备建立租约的存储节点,具体为:
所述管理节点从所述第一http请求消息中提取所述目标ID信息;
根据负载均衡策略,从具有所述目标ID信息的所述目标虚拟资源池对应的存储节点中,选取与所述图像采集设备建立租约的存储节点。
可选地,所述目标token携带有所述目标存储节点的第二网络地址;
所述图像采集设备基于目标token,对待存储的目标媒体数据进行云存储处理,具体为:
在基于所述目标token所携带的第二网络地址与所述目标存储节点建立tcp连接后,将携带有待存储的目标媒体数据的第二http请求消息发送至所述目标存储节点,以使得:所述目标存储节点从所述第二http请求消息中提取所述目标媒体数据,并存储所述目标媒体数据;
相应的,所述云存储系统620当接收到图像采集设备基于目标token所上传的目标媒体数据时,存储所述目标媒体数据,具体为:
所述目标存储节点在与图像采集设备建立tcp连接后,当接收到所述图像采集设备610发送的携带有待存储的目标媒体数据的第二http请求消息时,从所述第二http请求消息中提取所述目标媒体数据,并存储所述目标媒体数据;
其中,所述目标存储节点与所述图像采集设备610间的tcp连接为:所述图像采集设备610基于所述目标token所携带的第二网络地址向所述目标存储节点请求建立的。
可选地,所述第二http请求消息还携带有所述目标token;
所述目标存储节点在存储所述目标媒体数据之前,从所述第二http请求消息中提取所述目标token,并在判断出所述目标token未过期时,存储所述目标媒体数据。
可选地,所述目标存储节点在判断出所述目标token过期时,向所述图像采集设备反馈用于指示令牌失效的http回复消息;
所述图像采集设备610还用于当接收到所述用于指示令牌失效的http回复消息时,基于所述第一网络地址,向所述云存储系统620申请新的token。
可选地,所述媒体数据均衡存储系统还包括:与所述图像采集设备对应的平台服务器;所述图像采集设备610还用于对待存储的目标媒体数据进行云存储处理之后,获得目标存储信息;其中,所述目标存储信息为基于所述目标媒体数据对应的存储位置所确定的信息;
将所述目标媒体数据对应的目标统一资源定位符URL保存至所述图像采集设备对应的平台服务器;其中,所述目标URL为基于所述目标存储信息所确定的信息。
可选地,所述媒体数据均衡存储系统还包括:与所述图像采集设备对应的平台服务器;所述云存储系统620还用于存储所述目标媒体数据之后,向所述图像采集设备610反馈目标存储信息,以使得:所述图像采集设备610接收到所述目标存储信息后,将所述目标媒体数据对应的目标统一资源定位符URL保存至所述图像采集设备对应的平台服务器;
其中,所述目标存储信息为基于所述目标媒体数据对应的存储位置所确定的信息,所述目标URL为基于所述目标存储信息所确定的信息。
可选地,所述媒体数据均衡存储系统还包括:与所述图像采集设备对应的平台服务器;所述云存储系统620还用于存储所述目标媒体数据之后,将所述目标媒体数据对应的目标存储信息发送至所述图像采集设备610对应的平台服务器,以使得所述平台服务器在接收到所述目标存储信息后,保存所述目标媒体数据对应的目标URL;其中,所述目标存储信息为基于所述目标媒体数据对应的存储位置所确定的信息,所述目标URL为基于所述目标存储信息所确定的信息。
可选地,所述云存储系统620还用于:接收访问端基于第一URL发送的媒体数据处理请求;其中,所述访问端为所述平台服务器或浏览器,所述第一URL基于所述目标URL所确定,所述浏览器所基于的所述目标URL从所述平台服务器获得;
重定向所述媒体数据处理请求至所述目标存储节点,以由所述目标存储节点执行与所述媒体数据处理请求相对应的处理操作。
可选地,所述第一URL为所述目标URL,或者,所述第一URL由所述目标URL和预设扩展字段构成,其中,所述预设扩展字段包括:操作类型act字段和/或缩放字段组合,所述缩放字段组合包括:缩放类型ztype字段和缩放比例zvalue字段。
可选地,所述第一网络地址具体为所述云存储系统中管理节点的对外访问地址;所述第一URL中包含所述第一网络地址;
所述云存储系统620接收访问端基于所述第一URL发送的媒体数据处理请求,具体为:所述管理节点在与所述访问端建立tcp连接后,接收所述访问端发送的用于处理媒体数据的第三http请求消息;其中,所述第三http请求消息基于所述第一URL所形成;所述管理节点与所述访问端间的tcp连接为:所述访问端基于所述第一URL中的第一网络地址向所述管理节点请求建立的;
相应的,所述云存储系统620重定向所述媒体数据处理请求至所述目标存储节点,以由所述目标存储节点执行与所述媒体数据处理请求相对应的处理操作,具体为:
所述管理节点解析所述第三http请求消息,得到所述第一URL;
确定所述第一URL所对应的所述目标存储节点;
确定所述目标存储节点所对应的第二网络地址;
将携带有所述目标存储节点对应的第二网络地址的第三http回复消息反馈至所述访问端,以使得:所述访问端基于所述第三http回复消息中的第二网络地址与所述目标存储节点建立tcp连接后,向所述目标存储节点发送所述第三http请求消息,进而,所述目标存储节点对所述目标媒体数据执行与所述第三http请求消息相对应的处理操作。
需要说明的是,对于本发明实施例所提供的媒体数据均衡存储系统的实施例而言,由于其所涉及的方法内容基于相似于前述的方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
另外,为了便于方案理解,图7给出了本发明实施例所提供的媒体数据均衡存储系统的一种应用实例的结构示意图。如图7所示,本发明实施例所提供的媒体数据存储系统中包括平台服务器、抓拍机、云存储系统,其中,云存储系统包括若干存储节点和管理节点,该若干存储节点被划分至虚拟化资源池中;具体的,通过图7所示的媒体数据均衡存储系统存储图片的基本过程可以参见上述方法实施例中相关内容。
第四方面,相应于上述的方法实施例,本发明实施例还提供了一种图像采集设备,如图8所示,该图像采集设备可以包括:壳体810、处理器820、存储器830、电路板840和电源电路850,其中,电路板840安置在壳体810围成的空间内部,处理器820和存储器830设置在电路板840上;电源电路850,用于为各个电路或器件供电;存储器830用于存储可执行程序代码;处理器820通过运行存储器830中存储的可执行程序代码,以执行本发明实施例第一方面从图像采集设备的角度所提供的媒体数据均衡存储方法。具体的,该媒体数据均衡存储方法可以包括:
检测本地是否存储有未过期的会话令牌token;其中,所述token用于记录与所述图像采集设备建立租约的存储节点以及租期信息,所述与所述图像采集设备建立租约的存储节点为:基于负载均衡策略所确定出的;
当检测结果为是时,基于目标token,对待存储的目标媒体数据进行云存储处理作;其中,所述目标token为本地存储的所述未过期的token,所述目标媒体数据存储于目标存储节点,所述目标存储节点为所述目标token所对应的存储节点;
当检测结果为否时,基于预先存储的第一网络地址,向所述云存储系统申请新的token,并基于所申请得到的新的token存储所述待存储的目标媒体数据,其中,所述第一网络地址为所述云存储系统的对外访问地址。
其中,该图像采集设备为具有拍照功能的设备,在具体应用中,该图像采集设备可以为抓拍机或网络摄像机,当然并不局限于此。并且,该图像采集设备所采集的媒体数据包括但不局限于图片。
可见,本方案通过直存方式及token机制相结合的方式来存储媒体数据,不但避免了由平台服务器转存至云存储系统,而且避免了长期向某一存储节点存储媒体数据,因此,可以在保证负载均衡的同时,降低网络带宽资源的消耗以及提高媒体数据上传效率。
需要说明的是,对于本发明实施例所提供的图像采集设备的实施例而言,其所涉及的方法的详细内容可以参见上述第一方面从图像采集设备的角度所提供的方法实施例,在此不做赘述。
第五方面,相应于上述的方法实施例,本发明实施例还提供了一种云存储系统,如图9所示,该云存储系统可以包括:管理节点910和存储节点920;
所述管理节点910,用于当接收到图像采集设备发送的token请求,向所述图像采集设备反馈token,其中,所述token用于记录与所述图像采集设备建立租约的存储节点以及租期信息,所述与所述图像采集设备建立租约的存储节点为管理节点基于负载均衡策略所确定出的,所述token请求为所述图像采集设备在检测到本地未存储有未过期的token时,基于存储于自身的第一网络地址所发送的,所述第一网络地址为所述管理节点的对外访问地址;
目标存储节点,用于当接收到图像采集设备基于目标token所上传的目标媒体数据时,存储所述目标媒体数据;其中,所述目标token为所述图像采集设备本地存储的未过期的token,所述目标存储节点为所述目标token所对应的存储节点。
可见,本方案通过直存方式及token机制相结合的方式来存储媒体数据,不但避免了由平台服务器转存至云存储系统,而且避免了长期向某一存储节点存储媒体数据,因此,可以在保证负载均衡的同时,降低网络带宽资源的消耗以及提高媒体数据上传效率。
可选地,所述管理节点910当接收到图像采集设备发送的token请求,向所述图像采集设备反馈token,具体为:
所述管理节点910在与图像采集设备建立传输控制协议tcp连接后,当接收到所述图像采集设备发送的用于请求token的第一http请求消息时,根据所述负载均衡策略,确定与所述图像采集设备建立租约的存储节点;其中,所述管理节点与所述图像采集设备间的tcp连接为:所述图像采集设备基于所述第一网络地址向该管理节点请求建立的;
生成携带有所确定出的存储节点的第二网络地址和租期信息的token;
向所述图像采集设备反馈携带有所生成的token的第一http回复消息。
可选地,所述云存储系统中的存储节点属于至少一个虚拟资源池,所述图像采集设备中还预先存储有目标虚拟资源池的目标ID信息,所述目标虚拟资源池为用于存储所述图像采集设备的媒体数据的虚拟资源池;
所述第一http请求消息携带所述目标ID信息;
所述管理节点910据所述负载均衡策略,确定与所述图像采集设备建立租约的存储节点,具体为:
从所述第一http请求消息中提取所述目标ID信息;
根据所述负载均衡策略,从具有所述目标ID信息的所述目标虚拟资源池对应的存储节点中,选取与所述图像采集设备建立租约的存储节点。
可选地,所述目标token携带有所述目标存储节点的第二网络地址;
所述目标存储节点当接收到图像采集设备基于目标token所上传的目标媒体数据时,存储所述目标媒体数据,具体为:
所述目标存储节点在与图像采集设备建立tcp连接后,当接收到所述图像采集设备发送的携带有待存储的目标媒体数据的第二http请求消息时,从所述第二http请求消息中提取所述目标媒体数据,并存储所述目标媒体数据;
其中,所述目标存储节点与所述图像采集设备间的tcp连接为:所述图像采集设备基于所述目标token所携带的第二网络地址向所述目标存储节点请求建立的。
可选地,所述第二http请求消息还携带有所述目标token;
所述目标存储节点还用于在存储所述目标媒体数据之前,从所述第二http请求消息中提取所述目标token,并在判断出所述目标token未过期时,执行所述存储所述目标媒体数据的步骤。
可选地,所述目标存储节点还用于在判断出所述目标token过期时,向所述图像采集设备反馈用于指示令牌失效的http回复消息,以使得所述图像采集设备当接收到所述用于指示令牌失效的http回复消息时,基于所述第一网络地址,向所述云存储系统申请新的token。
可选地,所述目标存储节点还用于存储所述目标媒体数据之后,向所述图像采集设备反馈目标存储信息,以使得:所述图像采集设备接收到所述目标存储信息后,将所述目标媒体数据对应的目标统一资源定位符URL保存至所述图像采集设备对应的平台服务器;
其中,所述目标存储信息为基于所述目标媒体数据对应的存储位置所确定的信息,所述目标URL为基于所述目标存储信息所确定的信息。
可选地,所述目标存储节点还用于存储所述目标媒体数据之后,将所述目标媒体数据对应的目标存储信息发送至所述图像采集设备对应的平台服务器,以使得所述平台服务器在接收到所述目标存储信息后,保存所述目标媒体数据对应的目标URL;其中,所述目标存储信息为基于所述目标媒体数据对应的存储位置所确定的信息,所述目标URL为基于所述目标存储信息所确定的信息。
可选地,所述管理节点910还用于接收访问端基于第一URL发送的媒体数据处理请求;其中,所述访问端为所述平台服务器或浏览器,所述第一URL基于所述目标URL所确定,所述浏览器所基于的所述目标URL从所述平台服务器获得;
重定向所述媒体数据处理请求至所述目标存储节点,以由所述目标存储节点执行与所述媒体数据处理请求相对应的处理操作。
可选地,所述第一URL为所述目标URL,或者,所述第一URL由所述目标URL和预设扩展字段构成,其中,所述预设扩展字段包括:操作类型act字段和/或缩放字段组合,所述缩放字段组合包括:缩放类型ztype字段和缩放比例zvalue字段。
可选地,所述第一网络地址具体为所述云存储系统中管理节点的对外访问地址;所述第一URL中包含所述第一网络地址;
所述管理节点910接收访问端基于所述第一URL发送的媒体数据处理请求,具体为:所述管理节点910在与所述访问端建立tcp连接后,接收所述访问端发送的用于处理媒体数据的第三http请求消息;其中,所述第三http请求消息基于所述第一URL所形成;所述管理节点与所述访问端间的tcp连接为:所述访问端基于所述第一URL中的第一网络地址向所述管理节点请求建立的;
相应的,所述管理节点910重定向所述媒体数据处理请求至所述目标存储节点,以由所述目标存储节点执行与所述媒体数据处理请求相对应的处理操作,具体为:所述管理节点910解析所述第三http请求消息,得到所述第一URL;确定所述第一URL所对应的所述目标存储节点;确定所述目标存储节点所对应的第二网络地址;
将携带有所述目标存储节点对应的第二网络地址的第三http回复消息反馈至所述访问端,以使得:所述访问端基于所述第三http回复消息中的第二网络地址与所述目标存储节点建立tcp连接后,向所述目标存储节点发送所述第三http请求消息,进而,所述目标存储节点对所述目标媒体数据执行与所述第三http请求消息相对应的处理操作。
需要说明的是,对于本发明实施例所提供的云存储系统的实施例而言,由于其所涉及的方法内容基于相似于前述的方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (21)
1.一种媒体数据均衡存储方法,其特征在于,应用于图像采集设备,所述图像采集设备中预先存储有第一网络地址,所述第一网络地址为云存储系统的对外访问地址;所述方法包括:
检测本地是否存储有未过期的会话令牌token;其中,所述token用于记录与所述图像采集设备建立租约的存储节点以及租期信息,所述与所述图像采集设备建立租约的存储节点为:所述云存储系统基于负载均衡策略所确定出的;
当检测结果为是时,基于目标token,对待存储的目标媒体数据进行云存储处理作;其中,所述目标token为本地存储的所述未过期的token,所述目标媒体数据存储于目标存储节点,所述目标存储节点为所述目标token所对应的存储节点;
当检测结果为否时,基于所述第一网络地址,向所述云存储系统申请新的token,并基于所申请得到的新的token存储所述待存储的目标媒体数据。
2.根据权利要求1所述的方法,其特征在于,所述检测本地是否存储有未过期的会话令牌token的步骤,包括:
检测本地是否存储有符合预定条件的会话令牌token,如果是,表明本地存储有未过期的token,如果否,表明本地未存储有未过期的token;
其中,所述预定条件为:所对应租期起始时间与所述图像采集设备的当前系统时间的时间差值小于预定时长,其中,任一token所对应的租期起始时间为基于该token所记录的租期信息所确定的。
3.根据权利要求1或2所述的方法,其特征在于,所述第一网络地址具体为所述云存储系统中管理节点的对外访问地址;
所述基于所述第一网络地址,向所述云存储系统申请新的token的步骤,包括:
在基于所述第一网络地址与所述管理节点建立传输控制协议tcp连接后,向所述管理节点发送用于请求token的第一http请求消息,以使得:所述管理节点根据所述负载均衡策略,确定与所述图像采集设备建立租约的存储节点,生成携带有所确定出的存储节点的第二网络地址和租期信息的token,向所述图像采集设备反馈携带有所生成的token的第一http回复消息;
接收所述管理节点反馈的所述第一http回复消息,并从所述第一http回复消息中提取所携带的token。
4.根据权利要求3所述的方法,其特征在于,所述云存储系统中的存储节点属于至少一个虚拟资源池,所述图像采集设备中还预先存储有目标虚拟资源池的目标ID信息,所述目标虚拟资源池为用于存储所述图像采集设备的媒体数据的虚拟资源池;
所述第一http请求消息携带所述目标ID信息;
相应的,所述管理节点根据负载均衡策略,确定与所述图像采集设备建立租约的存储节点,包括:
所述管理节点从所述第一http请求消息中提取所述目标ID信息;
根据负载均衡策略,从具有所述目标ID信息的所述目标虚拟资源池对应的存储节点中,选取与所述图像采集设备建立租约的存储节点。
5.根据权利要求1或2所述的方法,其特征在于,所述目标token携带有所述目标存储节点的第二网络地址;
所述基于目标token,对待存储的目标媒体数据进行云存储处理的步骤,包括:
在基于所述目标token所携带的第二网络地址与所述目标存储节点建立tcp连接后,将携带有待存储的目标媒体数据的第二http请求消息发送至所述目标存储节点,以使得:所述目标存储节点从所述第二http请求消息中提取所述目标媒体数据,并存储所述目标媒体数据。
6.根据权利要求5所述的方法,其特征在于,所述第二http请求消息还携带有所述目标token;
所述目标存储节点在存储所述目标媒体数据之前,从所述第二http请求消息中提取所述目标token,并在判断出所述目标token未过期时,存储所述目标媒体数据。
7.根据权利要求6所述的方法,其特征在于,所述目标存储节点在判断出所述目标token过期时,向所述图像采集设备反馈用于指示令牌失效的http回复消息;所述方法还包括:
当接收到所述用于指示令牌失效的http回复消息时,基于所述第一网络地址,向所述云存储系统申请新的token。
8.根据权利要求1或2所述的方法,其特征在于,所述基于目标token,对待存储的目标媒体数据进行云存储处理之后,所述方法还包括:
获得目标存储信息;其中,所述目标存储信息为基于所述目标媒体数据对应的存储位置所确定的信息;
将所述目标媒体数据对应的目标统一资源定位符URL保存至所述图像采集设备对应的平台服务器;其中,所述目标URL为基于所述目标存储信息所确定的信息。
9.一种媒体数据均衡存储方法,其特征在于,应用于云存储系统;所述方法包括:
当接收到图像采集设备发送的token请求,向所述图像采集设备反馈token,其中,所述token用于记录与所述图像采集设备建立租约的存储节点以及租期信息,所述与所述图像采集设备建立租约的存储节点为所述云存储系统基于负载均衡策略所确定出的,所述token请求为所述图像采集设备在检测到本地未存储有未过期的token时,基于存储于自身的第一网络地址所发送的,所述第一网络地址为所述云存储系统的对外访问地址;
当接收到所述图像采集设备基于目标token所上传的目标媒体数据时,存储所述目标媒体数据;其中,所述目标token为所述图像采集设备本地存储的未过期的token,所述目标媒体数据存储于目标存储节点,所述目标存储节点为所述目标token所对应的存储节点。
10.根据权利要求9所述的方法,其特征在于,所述第一网络地址具体为所述云存储系统中管理节点的对外访问地址;
当接收到图像采集设备发送的token请求,向所述图像采集设备反馈token的步骤,包括:
所述管理节点在与图像采集设备建立传输控制协议tcp连接后,当接收到所述图像采集设备发送的用于请求token的第一http请求消息时,根据所述负载均衡策略,确定与所述图像采集设备建立租约的存储节点;其中,所述管理节点与所述图像采集设备间的tcp连接为:所述图像采集设备基于所述第一网络地址向该管理节点请求建立的;
生成携带有所确定出的存储节点的第二网络地址和租期信息的token;
向所述图像采集设备反馈携带有所生成的token的第一http回复消息。
11.根据权利要求10所述的方法,其特征在于,所述云存储系统中的存储节点属于至少一个虚拟资源池,所述图像采集设备中还预先存储有目标虚拟资源池的目标ID信息,所述目标虚拟资源池为用于存储所述图像采集设备的媒体数据的虚拟资源池;
所述第一http请求消息携带所述目标ID信息;
所述管理节点据所述负载均衡策略,确定与所述图像采集设备建立租约的存储节点的步骤,包括:
所述管理节点从所述第一http请求消息中提取所述目标ID信息;
根据所述负载均衡策略,从具有所述目标ID信息的所述目标虚拟资源池对应的存储节点中,选取与所述图像采集设备建立租约的存储节点。
12.根据权利要求9所述的方法,其特征在于,所述目标token携带有所述目标存储节点的第二网络地址;
当接收到图像采集设备基于目标token所上传的目标媒体数据时,存储所述目标媒体数据的步骤,包括:
所述目标存储节点在与图像采集设备建立tcp连接后,当接收到所述图像采集设备发送的携带有待存储的目标媒体数据的第二http请求消息时,从所述第二http请求消息中提取所述目标媒体数据,并存储所述目标媒体数据;
其中,所述目标存储节点与所述图像采集设备间的tcp连接为:所述图像采集设备基于所述目标token所携带的第二网络地址向所述目标存储节点请求建立的。
13.根据权利要求12所述的方法,其特征在于,所述第二http请求消息还携带有所述目标token;
所述目标存储节点在存储所述目标媒体数据之前,所述方法还包括:
所述目标存储节点从所述第二http请求消息中提取所述目标token,并在判断出所述目标token未过期时,执行所述存储所述目标媒体数据的步骤。
14.根据权利要求13所述的方法,其特征在于,所述目标存储节点在判断出所述目标token过期时,所述方法还包括:
向所述图像采集设备反馈用于指示令牌失效的http回复消息,以使得所述图像采集设备当接收到所述用于指示令牌失效的http回复消息时,基于所述第一网络地址,向所述云存储系统申请新的token。
15.根据权利要求9所述的方法,其特征在于,所述存储所述目标媒体数据之后,所述方法还包括:
向所述图像采集设备反馈目标存储信息,以使得:所述图像采集设备接收到所述目标存储信息后,将所述目标媒体数据对应的目标统一资源定位符URL保存至所述图像采集设备对应的平台服务器;
其中,所述目标存储信息为基于所述目标媒体数据对应的存储位置所确定的信息,所述目标URL为基于所述目标存储信息所确定的信息。
16.根据权利要求9所述的方法,其特征在于,所述存储所述目标媒体数据之后,所述方法还包括:
将所述目标媒体数据对应的目标存储信息发送至所述图像采集设备对应的平台服务器,以使得所述平台服务器在接收到所述目标存储信息后,保存所述目标媒体数据对应的目标URL;其中,所述目标存储信息为基于所述目标媒体数据对应的存储位置所确定的信息,所述目标URL为基于所述目标存储信息所确定的信息。
17.根据权利要求15或16所述的方法,其特征在于,还包括:
接收访问端基于第一URL发送的媒体数据处理请求;其中,所述访问端为所述平台服务器或浏览器,所述第一URL基于所述目标URL所确定,所述浏览器所基于的所述目标URL从所述平台服务器获得;
重定向所述媒体数据处理请求至所述目标存储节点,以由所述目标存储节点执行与所述媒体数据处理请求相对应的处理操作。
18.根据权利要求17所述的方法,其特征在于,所述第一URL为所述目标URL,或者,所述第一URL由所述目标URL和预设扩展字段构成,其中,所述预设扩展字段包括:操作类型act字段和/或缩放字段组合,所述缩放字段组合包括:缩放类型ztype字段和缩放比例zvalue字段。
19.根据权利要求17所述的方法,其特征在于,所述第一网络地址具体为所述云存储系统中管理节点的对外访问地址;所述第一URL中包含所述第一网络地址;
所述接收访问端基于所述第一URL发送的媒体数据处理请求的步骤,包括:
所述管理节点在与所述访问端建立tcp连接后,接收所述访问端发送的用于处理媒体数据的第三http请求消息;其中,所述第三http请求消息基于所述第一URL所形成;所述管理节点与所述访问端间的tcp连接为:所述访问端基于所述第一URL中的第一网络地址向所述管理节点请求建立的;
相应的,所述重定向所述媒体数据处理请求至所述目标存储节点,以由所述目标存储节点执行与所述媒体数据处理请求相对应的处理操作的步骤,包括:
所述管理节点解析所述第三http请求消息,得到所述第一URL;
确定所述第一URL所对应的所述目标存储节点;
确定所述目标存储节点所对应的第二网络地址;
将携带有所述目标存储节点对应的第二网络地址的第三http回复消息反馈至所述访问端,以使得:所述访问端基于所述第三http回复消息中的第二网络地址与所述目标存储节点建立tcp连接后,向所述目标存储节点发送所述第三http请求消息,进而,所述目标存储节点对所述目标媒体数据执行与所述第三http请求消息相对应的处理操作。
20.一种媒体数据均衡存储系统,其特征在于,包括:图像采集设备和云存储系统,所述图像采集设备中预先存储有第一网络地址,所述第一网络地址为云存储系统的对外访问地址;
所述图像采集设备用于:检测本地是否存储有未过期的会话令牌token;当检测结果为是时,基于目标token,对待存储的目标媒体数据进行云存储处理;当检测结果为否时,基于所述第一网络地址,向所述云存储系统申请新的token,并基于所申请得到的新的token存储所述待存储的目标媒体数据;其中,所述token用于记录与所述图像采集设备建立租约的存储节点以及租期信息,所述与所述图像采集设备建立租约的存储节点为:所述云存储系统基于负载均衡策略所确定出的;其中,所述目标token为本地存储的所述未过期的token,所述目标媒体数据存储于目标存储节点,所述目标存储节点为所述目标token所对应的存储节点;
所述云存储系统用于:当接收到所述图像采集设备发送的token请求,向所述图像采集设备反馈token;当接收到所述图像采集设备基于目标token所上传的目标媒体数据时,存储所述目标媒体数据;其中,所述token请求为所述图像采集设备在检测到本地未存储有未过期的token时,基于存储于自身的第一网络地址所发送的。
21.一种云存储系统,其特征在于,包括:管理节点和存储节点;
所述管理节点,用于当接收到图像采集设备发送的token请求,向所述图像采集设备反馈token,其中,所述token用于记录与所述图像采集设备建立租约的存储节点以及租期信息,所述与所述图像采集设备建立租约的存储节点为所述管理节点基于负载均衡策略所确定出的,所述token请求为所述图像采集设备在检测到本地未存储有未过期的token时,基于存储于自身的第一网络地址所发送的,所述第一网络地址为所述管理节点的对外访问地址;
目标存储节点,用于当接收到图像采集设备基于目标token所上传的目标媒体数据时,存储所述目标媒体数据;其中,所述目标token为所述图像采集设备本地存储的未过期的token,所述目标存储节点为所述目标token所对应的存储节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710267042.5A CN108737477B (zh) | 2017-04-21 | 2017-04-21 | 云存储系统、媒体数据均衡存储方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710267042.5A CN108737477B (zh) | 2017-04-21 | 2017-04-21 | 云存储系统、媒体数据均衡存储方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108737477A true CN108737477A (zh) | 2018-11-02 |
CN108737477B CN108737477B (zh) | 2021-11-12 |
Family
ID=63933595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710267042.5A Active CN108737477B (zh) | 2017-04-21 | 2017-04-21 | 云存储系统、媒体数据均衡存储方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108737477B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102984282A (zh) * | 2012-12-20 | 2013-03-20 | 青岛海信传媒网络技术有限公司 | 智能终端获取云存储文件的媒体数据的方法和装置 |
US20130332575A1 (en) * | 2012-06-11 | 2013-12-12 | Zerodesktop, Inc. | Efficient data transfer for cloud storage by centralized management of access tokens |
CN103856509A (zh) * | 2012-11-30 | 2014-06-11 | 北京智慧风云科技有限公司 | 一种利用云存储卡传输图像信息的方法及装置 |
US20140366155A1 (en) * | 2013-06-11 | 2014-12-11 | Cisco Technology, Inc. | Method and system of providing storage services in multiple public clouds |
CN104572344A (zh) * | 2013-10-29 | 2015-04-29 | 杭州海康威视系统技术有限公司 | 一种多云间数据备份的方法和系统 |
CN105141589A (zh) * | 2015-08-05 | 2015-12-09 | 北京思特奇信息技术股份有限公司 | 一种多实例的token共享与维护的方法及系统 |
CN106127368A (zh) * | 2016-06-14 | 2016-11-16 | 成都镜杰科技有限责任公司 | 用于企业资源管理系统的数据存储方法 |
CN106170012A (zh) * | 2016-06-29 | 2016-11-30 | 上海上大海润信息系统有限公司 | 一种面向云渲染的分布式文件系统及构建和访问方法 |
US9602424B1 (en) * | 2014-03-31 | 2017-03-21 | Amazon Technologies, Inc. | Connection balancing using attempt counts at distributed storage systems |
-
2017
- 2017-04-21 CN CN201710267042.5A patent/CN108737477B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130332575A1 (en) * | 2012-06-11 | 2013-12-12 | Zerodesktop, Inc. | Efficient data transfer for cloud storage by centralized management of access tokens |
CN103856509A (zh) * | 2012-11-30 | 2014-06-11 | 北京智慧风云科技有限公司 | 一种利用云存储卡传输图像信息的方法及装置 |
CN102984282A (zh) * | 2012-12-20 | 2013-03-20 | 青岛海信传媒网络技术有限公司 | 智能终端获取云存储文件的媒体数据的方法和装置 |
US20140366155A1 (en) * | 2013-06-11 | 2014-12-11 | Cisco Technology, Inc. | Method and system of providing storage services in multiple public clouds |
CN104572344A (zh) * | 2013-10-29 | 2015-04-29 | 杭州海康威视系统技术有限公司 | 一种多云间数据备份的方法和系统 |
US9602424B1 (en) * | 2014-03-31 | 2017-03-21 | Amazon Technologies, Inc. | Connection balancing using attempt counts at distributed storage systems |
CN105141589A (zh) * | 2015-08-05 | 2015-12-09 | 北京思特奇信息技术股份有限公司 | 一种多实例的token共享与维护的方法及系统 |
CN106127368A (zh) * | 2016-06-14 | 2016-11-16 | 成都镜杰科技有限责任公司 | 用于企业资源管理系统的数据存储方法 |
CN106170012A (zh) * | 2016-06-29 | 2016-11-30 | 上海上大海润信息系统有限公司 | 一种面向云渲染的分布式文件系统及构建和访问方法 |
Non-Patent Citations (1)
Title |
---|
黄伟: ""基于HDFS的云存储访问控制安全策略的研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN108737477B (zh) | 2021-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108737476B (zh) | 云存储系统、媒体数据存储方法及系统 | |
CN108737484A (zh) | 媒体数据存储方法及系统 | |
CN111132120B (zh) | 识别房间局域网中的摄像装置的方法、系统及设备 | |
CN108632305B (zh) | 云存储系统、媒体数据存储方法及系统 | |
US20010032335A1 (en) | Picture communications system and associated network services | |
CN108600281B (zh) | 一种云存储系统、媒体数据存储方法及系统 | |
JP2004304602A (ja) | ネットワーク接続カメラ及び画像表示方法 | |
CN108881158A (zh) | 数据交互系统和方法 | |
TWI540890B (zh) | 用以處理動作視訊之方法及裝置 | |
CN106791889A (zh) | 一种视频处理方法及系统、分布式对象存储系统 | |
CN109600410A (zh) | 数据存储系统以及方法 | |
CN107426007A (zh) | 用于跟踪网络交换机中的网络装置信息的方法及系统 | |
CN106331115A (zh) | 一种支持多台设备连接的分布式可扩展服务器系统 | |
CN109818905A (zh) | 一种传输层协议适配的方法、网元设备及系统 | |
CN107196983A (zh) | 一种资源分发方法及装置 | |
CN105915662B (zh) | 一种数据传输方法及装置 | |
CN108737477A (zh) | 云存储系统、媒体数据均衡存储方法及系统 | |
CN109996031B (zh) | 监控系统及监控方法 | |
CN106789889B (zh) | 一种基于网状结构的网络监控方法及装置 | |
CN106534046A (zh) | 一种拟态数据传输服务器及数据传输方法 | |
CN109299048A (zh) | 处理数据以及发布数据的方法 | |
JP5045094B2 (ja) | 異常検出システム、その異常検出サーバ及び異常検出サーバプログラム | |
JPH104407A (ja) | ネットワーク管理装置および方法 | |
KR101423866B1 (ko) | Http를 이용한 ip카메라 간편 등록방법 | |
CN111143607B (zh) | 一种信息获取方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |