CN109271113A - 一种基于云存储的数据管理系统及方法 - Google Patents

Abstract

本发明提供了一种基于云存储的数据管理系统及方法，系统包括前端卡口，用于将所采集的过车信息发送给过车信息服务器；过车信息服务器，用于接收并解析过车信息，得到过车时间和过车图像数据，选择过车时间所属时间段所对应的目标Bucket标识；若接收到Bucket可用消息，选择目标Bucket标识对应的目标打包写对象，将目标打包写对象作为当前打包写对象，将过车图像数据写入当前打包写对象所作用的文件，生成存储请求并发送存储请求至云存储中心；云存储中心，用于若目标Bucket存在且可用，则向过车信息服务器返回Bucket可用消息；缓存存储请求中的文件，若当前缓存总容量达到预设缓存值，将缓存的所有文件写入目标Bucket。应用本发明实施例，提高了数据存储效率。

Description

一种基于云存储的数据管理系统及方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于云存储的数据管理系统及方法。

背景技术

随着数据的爆发式增长，为了更好的满足用户需求，需要对各类数据进行管理，例如对数据进行存储、查询、搜索等等。

目前，数据管理方法在对数据进行存储时，采用通用文件系统进行图片文件存储，并且需要手动划定图片存储位置。发明人在实现本发明的过程中发现，采用现有的方式，存储位置需要手动分配，存储空间容易循环覆盖，导致管理复杂且存储效率不高。

发明内容

本发明的目的在于克服现有技术之缺陷，提供了一种基于云存储的数据管理系统及方法，以实现提高存储效率。

本发明是这样实现的：

第一方面，本发明提供一种基于云存储的数据管理系统，所述系统包括前端卡口、过车信息服务器和云存储中心，其中，

所述前端卡口，用于采集过车信息，并将所采集的过车信息发送给过车信息服务器；

所述过车信息服务器，用于接收并解析所述过车信息，得到过车时间和过车图像数据，从所有的预设Bucket标识中选择所述过车时间所属时间段所对应的目标Bucket标识；向所述云存储中心发送查询请求，若接收到Bucket可用消息，则选择所述目标Bucket标识对应的目标打包写对象，将目标打包写对象作为当前打包写对象，将所述过车图像数据写入所述当前打包写对象所作用的文件，并基于写入图像数据后的文件生成存储请求，将所述存储请求发送给云存储中心；其中，一个预设Bucket标识对应一个预设时间段；一个预设Bucket标识对应一个打包写对象；

所述云存储中心，用于按照所述查询请求，判断具有所述目标Bucket标识的目标Bucket是否存在且可用，若目标Bucket存在且可用，则向过车信息服务器返回Bucket可用消息；在接收到存储请求后，缓存所述存储请求中的文件，并判断当前缓存总容量是否达到预设缓存值，若达到，则将缓存的所有文件写入所述目标Bucket。

可选的，所述系统还包括大数据中心和客户端，

所述过车信息服务器，还用于对所述过车信息进行结构化处理，得到结构化的车辆数据，将所述车辆数据发送给大数据中心；

所述大数据中心，用于对所接收的车辆数据进行存储，在接收到客户端发送的数据搜索请求后，按照所述数据搜索请求中的数据碰撞条件，对所存储的车辆数据进行数据碰撞，得到满足所述数据碰撞条件的数据碰撞结果，并将所述数据碰撞结果返回给客户端；

所述客户端，用于向大数据中心发送数据搜索请求；接收并显示所述数据碰撞结果。

可选的，所述云存储中心，还用于接收客户端发送的图像访问请求，按照所述图像访问请求中的访问条件，查找满足所述访问条件的目标图像数据，将所述目标图像数据返回给客户端；

所述客户端，还用于向所述云存储中心发送图像访问请求；接收并显示所述目标图像数据。

可选的，所述过车信息服务器，还用于获得配置文件；将所述配置文件发送给所述云存储中心；所述配置文件包括待配置Bucket的保留时间；

所述云存储中心，还用于按照所接收的配置文件，设置所述待配置Bucket的生命周期为所述保留时间。

可选的，所述云存储中心，还用于在成功将缓存的所有文件写入目标Bucket后，将被写入目标Bucket的各文件的文件名及存储位置发送给所述过车信息服务器；

所述过车信息服务器，还用于将所述过车信息中图像数据的存储位置加入来自于该过车信息的车辆数据，其中，图像数据的存储位置为该图像数据被写入的文件的存储位置。

可选的，所述文件为小文件，过车信息服务器将所述过车图像数据写入所述当前打包写对象所作用的文件，具体为：

采用原子操作方式，打开所述当前打包写对象所作用的小文件，并将所述过车图像数据写入所打开的小文件；

在写入完成后，关闭小文件并生成文件名。

可选的，所述过车信息服务器，还用于若接收到Bucket不可用消息，则向所述云存储中心发送创建Bucket请求，所述创建Bucket请求包括初始Bucket标识；获得所述初始Bucket标识对应的时间段以及所述初始Bucket标识对应的初始打包写对象；其中，所述初始Bucket标识对应的时间段包括所述过车时间；将初始打包写对象作为当前打包写对象，返回执行将所述过车图像数据写入所述当前打包写对象所作用的文件；

所述云存储中心，还用于若目标Bucket不存在或不可用，则向过车信息服务器返回Bucket不可用消息；在接收到创建Bucket请求后，创建具有所述初始Bucket标识的初始Bucket。

第二方面，本发明提供一种基于云存储的数据管理方法，应用于上述任一所述的系统，所述方法应用于所述过车信息服务器，具体包括：

接收过车信息，对所述过车信息进行解析，得到过车时间和过车图像数据；

从所有的预设Bucket标识中选择所述过车时间所属时间段所对应的目标Bucket标识；其中，一个预设Bucket标识对应一个预设时间段；一个预设Bucket标识对应一个打包写对象；

向所述云存储中心发送查询请求；以使所述云存储中心按照所述查询请求，判断目标Bucket是否存在且可用，若目标Bucket存在且可用，则向所述过车信息服务器返回Bucket可用消息；

若接收到Bucket可用消息，则选择所述目标Bucket标识对应的目标打包写对象，将目标打包写对象作为当前打包写对象，将所述过车图像数据写入所述当前打包写对象所作用的文件，并基于写入图像数据后的文件生成存储请求，将所述存储请求发送给云存储中心；以使所述云存储中心缓存所述存储请求中的文件，并判断当前缓存总容量是否达到预设缓存值，若达到，则将缓存的所有文件写入所述目标Bucket。

可选的，所述方法还包括：

对所述过车信息进行结构化处理，得到结构化的车辆数据，将所述车辆数据发送给大数据中心；以使所述大数据中心对所接收的车辆数据进行存储。

可选的，所述方法还包括：

若接收到Bucket不可用消息，则向所述云存储中心发送创建Bucket请求，所述创建Bucket请求包括初始Bucket标识；以使所述云存储中心在接收到创建Bucket请求后，创建具有所述初始Bucket标识的初始Bucket；

获得所述初始Bucket标识对应的时间段以及所述初始Bucket标识对应的初始打包写对象；其中，所述初始Bucket标识对应的时间段包括所述过车时间；将初始打包写对象作为当前打包写对象，返回执行将所述过车图像数据写入所述当前打包写对象所作用的文件。

本发明具有以下有益效果：应用本发明实施例，不同时间段的过车图像数据可以被存储至云存储中心的不同Bucket，故无需用户手动分配存储空间，从而，提高了数据存储效率，简化了数据管理过程。并且时间段和Bucket的关系可以预先设置，从而可以更合理的满足不同业务的存储需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的基于云存储的数据管理系统的一种结构示意图；

图2为本发明实施例提供的基于云存储的数据管理系统的另一种结构示意图；

图3为本发明实施例提供的基于云存储的数据管理方法的一种流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

为解决现有技术问题，本发明实施例提供了一种基于云存储的数据管理系统及方法。下面首先对本发明所提供的一种基于云存储的数据管理系统进行说明。

参见图1，图1为本发明实施例提供的一种基于云存储的数据管理系统的结构示意图，所述系统包括前端卡口、过车信息服务器和云存储中心，其中，

所述前端卡口，用于采集过车信息，并将所采集的过车信息发送给过车信息服务器；

所述过车信息服务器，用于接收并解析所述过车信息，得到过车时间和过车图像数据，从所有的预设Bucket标识中选择所述过车时间所属时间段所对应的目标Bucket标识；向所述云存储中心发送查询请求，若接收到Bucket可用消息，则选择所述目标Bucket标识对应的目标打包写对象，将目标打包写对象作为当前打包写对象，将过车图像数据写入所述当前打包写对象所作用的文件，并基于写入图像数据后的文件生成存储请求，将所述存储请求发送给云存储中心；其中，一个预设Bucket标识对应一个预设时间段；一个预设Bucket标识对应一个打包写对象；

所述云存储中心，用于按照所述查询请求，判断具有所述目标Bucket标识的目标Bucket是否存在且可用，若目标Bucket存在且可用，则向过车信息服务器返回Bucket可用消息；在接收到存储请求后，缓存所述存储请求中的文件，并判断当前缓存总容量是否达到预设缓存值，若达到，则将缓存的所有文件写入目标Bucket。

前端卡口包括检测线圈、车辆检测器、摄像机、终端服务器等设备。车辆检测器在检测到车辆通过检测线圈时，输出触发信号给摄像机，并将车辆通过检测线圈的时间作为该车辆的过车时间。将检测线圈所处的位置作为过车地点，将过车时间和过车地点发送给终端服务器；摄像机在收到触发信号后，可以开始抓拍车辆，得到过车图像数据，并将过车图像数据发送给终端服务器，从而终端服务器可以将所得的过车时间、过车地点和过车图像数据作为过车信息，并将过车信息发送给过车信息服务器。另外，在其他实施方式中，过车信息中也可以不包括过车地点。

车辆检测器还可以检测车辆通过检测线圈的车辆速度，并将速度发送给终端服务器，终端服务器还可以对所得的过车图像数据进行图像识别，得到车辆车牌号、车身颜色、车辆类型、车牌颜色等，从而过车信息还可以包括车辆速度、车辆牌照、车身颜色、车辆类型、车牌颜色等信息。

Bucket标识用于唯一标记Bucket，可以将Bucket的名称或编号等作为Bucket标识。Bucket是指存储空间，是分布式文件系统内用于存储文件的容器，系统内的每个文件都包含在一个Bucket中。用户可以创建或删除Bucket，具体创建方式可以预先按照时间段划分Bucket，并可以为Bucket分配具体的存储空间配额，或者也可以不分配具体的存储空间配额，而是采用自适应方式，对于采集的过车信息较多的时段，可以获得更大的存储空间配额，对于采集的过车信息较少的时段，相应的存储空间配额较少，从而实现按需分配存储空间配额。

示例性的，一天24小时，按照0点-5点、6点-9点、10点-16点、17点-20点、21点-23点时间段划分5个Bucket，并且每个Bucket均不分配具体的存储空间配额。

过车信息服务器可以获得用户输入的Bucket标识以及该Bucket标识对应的时间段，从而过车信息服务器可以建立该Bucket标识与该时间段的对应关系，并可以为该Bucket标识生成一个打包写对象，进而建立该Bucket标识与该打包写对象的对应关系。具体生成打包写对象的过程可以为：将Bucket标识填充至预设的代码模型，得到打包写对象。代码模型是预先设计的一段代码，用于生成打包写对象。

每获得一个Bucket标识后，都可以基于该Bucket标识生成一个创建Bucket请求，并向云存储中心发送该创建Bucket请求，使得云存储中心创建具有该Bucket标识的Bucket。另外，若用户输入多个Bucket标识，也可以基于多个Bucket标识生成一个创建Bucket请求，并向云存储中心发送该创建Bucket请求，使得云存储中心针对每个Bucket标识创建一个具有该Bucket标识的Bucket，实现了批量创建Bucket。

打包写对象可以作用于一个或多个文件，文件可以为大文件，也可以为小文件，通常认为大小在1MB以内的文件为小文件。待存储的二进制图像数据即为一个文件的存储内容。例如，时间段6点-9点对应的预设Bucket标识所对应的打包写对象可以将每天6点-9点所有过车图像数据写入该打包写对象所作用的文件。在选择打包写对象后，还可以对打包写对象进行初始化，通过初始化可以实现对存储冗余模式的配置，存储冗余模式可以包括3+1模式和7+2模式，即3个数据分片+1个冗余分片，7个数据分片+2个冗余分片。

应用本发明实施例，相比于现有技术按照前端卡口设备ID进行图像资源管理的方式，采用按照忙闲时间段划分存储池的方式，增加了过车信息服务器能够接入的前端卡口的数量，同时节省了所需过车信息服务器的数量，节约了系统成本。并且不同时间段的过车图像数据可以被存储至云存储中心的不同Bucket，故无需用户手动分配存储空间，从而，提高了数据存储效率，简化了数据管理过程。并且时间段和Bucket的关系可以预先设置，从而可以更合理的满足不同业务的存储需求。

优选地，文件可以为小文件，过车信息服务器将过车图像数据写入当前打包写对象所作用的文件，具体为：

采用原子操作方式，打开当前打包写对象所作用的小文件，并将过车图像数据写入所打开的小文件；在写入完成后，关闭小文件并生成文件名。

原子操作方式是指所有步骤会作为独立进程而一次性执行，执行期间不会为其它进程或线程所中断，从而保证了打开、写入、关闭文件的过程不会被中断，提高了可靠性。

为了提高文件名的可读性，过车信息服务器可以基于Region(分区)名、Bucket标识、打包文件的名字、小文件在打包文件中的位置偏移以及小文件的名字生成文件名。打包文件的名字可以为打包写对象的名字。每个Bucket标识均对应一个Region名，表示具有Bucket标识的Bucket所在的分区。

示例性的，Region名为Region2，Bucket标识为10_16，文件名可以为Region2:10_16/archivefile-2018-03-13-154404-005E996A000000030670020A:639040/196608.jpg，表示以Region2开始，冒号分隔后10_16为Bucket标识，archivefile-2018-03-13-154404-005E996A000000030670020A为打包文件的名字，639040表示小文件在打包文件中的位置偏移，196608.jpg为该小文件的名字。

应用本发明实施例，相比于现有技术以单个图像文件为存取对象的方式，采用将小文件打包成大文件的方式进行管理，提高了存储空间利用率。

过车信息服务器将目标打包写对象作为当前打包写对象，具体为：通过打包管理对象获取当前打包对象所对应的Bucket标识，判断所获取的Bucket标识与目标Bucket标识是否相同，若不同，则将当前打包对象切换为目标打包写对象；若相同，则直接确定目标打包写对象为当前打包写对象。

另外，为了节约系统资源，过车信息服务器在关闭用于接收过车信息的服务前可以释放打包写对象、打包管理对象以及关闭文件系统。

云存储中心是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备集合起来协同工作，共同对外提供数据存储和业务访问功能的服务器集群。

云存储中心将物理存储虚拟化成统一的存储空间，以唯一IP地址(InternetProtocol Address，网际协议地址)对过车信息服务器和客户端提供数据存取服务，包括元数据服务器和数据节点服务器，元数据服务器可以有一个或多个，可以以集群的形式存在，数据节点服务器可以有多个，也可以以集群的形式存在。

元数据服务器主要负责接收过车信息服务器的查询请求和存储请求，并在接收到存储请求后，可以选择网络负担最轻、磁盘使用少的数据节点服务器对外提供存储服务，从而有效的支持数据集中存储，实现了动态负载均衡，并且数据节点服务器的数量可以线性动态扩容，解决了传统的SAN(Storage Area Network，存储区域网络)或NAS(NetworkAttached Storage：网络附属存储)在容量和性能的扩展上存在的瓶颈问题，能够很好的满足海量存储需求以及大数据应用需求。

云存储中心存储数据的过程具体可以为：元数据服务器在接收到存储请求后，将所选定的数据节点服务器的地址发送给过车信息服务器；进而过车信息服务器可以向该数据节点服务器发送存储请求，该数据节点服务器可以缓存该存储请求中的文件，并判断当前缓存总容量是否达到预设缓存值，若达到，则将缓存的所有文件写入所述目标Bucket。

或者，该过程还可以为：元数据服务器将所接收的存储请求转发给所选定的数据节点服务器，从而数据节点服务器可以缓存该存储请求中的文件，并判断当前缓存总容量是否达到预设缓存值，若达到，则将缓存的所有文件写入所述目标Bucket。

预设缓存值可以预先根据设置存储冗余模式和数据节点服务器的性能预先设置，存储冗余模式中的数据分片越多，预设缓存值越大；数据节点服务器的性能越高，预设缓存值越大；例如，根据不同情况，预设缓存值可以为200M(兆)、300M、400M等等。

应用本发明实施例，云存储中心可以先缓存文件，当缓存总容量达到大块写入的条件时，再执行写入目标Bucket的步骤，避免了频繁的执行写入步骤，提高了处理效率。

为了提高存储空间利用率，过车信息服务器还用于获得配置文件；将所述配置文件发送给所述云存储中心；所述配置文件包括待配置Bucket的保留时间；云存储中心，还用于按照所接收的配置文件，设置所述待配置Bucket的生命周期为所述保留时间。

用户可以通过过车信息服务器提高的人机交互界面输入配置信息，从而过车信息服务器可以用配置信息生成配置文件。配置信息包括待配置Bucket的标识以及保留时间。

待配置Bucket的标识可以为前缀标识，待配置Bucket即匹配该前缀标识的所有Bucket，待配置Bucket的标识也可以为某个或某些Bucket的名称，待配置Bucket即为具有该名称的各Bucket。

保留时间可以为具体的某个日期，则到该日期后，Bucket中存储的文件不再保留，即可以认为Bucket达到生命周期；保留时间还可以为具体天数，则以该文件最后修改时间为起始计算，达到该具体天数后，Bucket达到生命周期。如具体天数为30天，最后修改日期为2016-1-1，在2016年1月31号后，Bucket达到生命周期。

当Bucket达到生命周期后，该Bucket中存储的文件均为过期文件，云存储中心可以自动淘汰过期文件，并且不需要建立专门线程按照空间进行磁盘循环覆盖，从而节省了存储空间，提高了存储空间利用率。

一种实现方式中，所述系统还可以包括大数据中心和客户端，

所述过车信息服务器，还用于对所述过车信息进行结构化处理，得到结构化的车辆数据，将所述车辆数据发送给大数据中心；

所述大数据中心，用于对所接收的车辆数据进行存储，在接收到客户端发送的数据搜索请求后，按照所述数据搜索请求中的数据碰撞条件，对所存储的车辆数据进行数据碰撞，得到满足所述数据碰撞条件的数据碰撞结果，并将所述数据碰撞结果返回给客户端；

所述客户端，用于向大数据中心发送数据搜索请求；接收并显示所述数据碰撞结果。

结构化处理是指通过对过车信息进行智能分析，提取出关键信息，并进行文本的语义描述。例如识别出图像数据中车辆的车牌号、车身颜色等等。一种实现方式中，当过车信息包括过车时间、过车地点、车辆车牌号、车身颜色、车辆类型和车牌颜色时，过车信息服务器对过车信息进行结构化处理，得到结构化的车辆数据，具体可以为：

获得过车信息中的过车时间、过车地点、车辆车牌号、车身颜色、车辆类型和车牌颜色；

将车身颜色的数据格式转换为预设颜色格式、将车辆类型的数据格式转换为预设车辆类型格式、车牌颜色的数据格式转换为预设颜色格式，得到转换数据格式后的车身颜色值、车辆类型值和车牌颜色值；

将过车时间、过车地点、车辆车牌号、车身颜色值、车辆类型值和车牌颜色值组合成结构化的车辆数据。

或者，过车信息也可以仅包括过车时间、过车地点和过车图像数据，过车信息服务器对过车信息进行结构化处理，得到结构化的车辆数据，具体可以为：

对过车图像数据进行图像识别，得到车辆车牌号、车身颜色、车辆类型、车牌颜色。

将车身颜色的数据格式转换为预设颜色格式、将车辆类型的数据格式转换为预设车辆类型格式、车牌颜色的数据格式转换为预设颜色格式，得到转换数据格式后的车身颜色值、车辆类型值和车牌颜色值；

将过车时间、过车地点、过车车辆车牌号、车身颜色值、车辆类型值和车牌颜色值组合成结构化的车辆数据。

预设颜色格式和预设车辆类型格式可以根据需求事先设定，例如：预设颜色格式可以为RGB模式、CMYK模式、HSB模式、位图模式等中的一种。RGB三个字母分别是指红(Red)、绿(Green)、蓝(Blue)；CMYK四个字母分别是指青(Cyan)、洋红(Magenta)、黄(Yellow)、黑(Black)；HSB三个字母分别是指色泽(Hue)、饱和度(Saturation)和亮度(Brightness)。车辆类型格式尚未有国标可以遵循，可以参照GA 802-2014或GA 802-2008编写的《机动车类型术语和定义》中的分类标准预先给每种车辆类型分配编号，作为车辆类型格式。

另外，云存储中心还可以在成功将缓存的所有文件写入目标Bucket后，将被写入目标Bucket的各文件的文件名及存储位置发送给过车信息服务器；

过车信息服务器，还用于将所述过车信息中图像数据的存储位置加入来自于该过车信息的车辆数据，其中，图像数据的存储位置为该图像数据被写入的文件的存储位置。

过车信息服务器可以记录文件名和文件存储位置之间的映射关系，

过车信息服务器在得到结构化的车辆数据后，可以将车辆数据发送给大数据中心。大数据中心可以对结构化的车辆数据进行统一存储，并在接收到客户端发送的数据搜索请求后，按照数据搜索请求中的数据碰撞条件，对所存储的车辆数据进行数据碰撞，得到满足所述数据碰撞条件的数据碰撞结果。

示例性的，客户端发起的数据搜索请求为特征搜车请求，数据碰撞条件包括起始时间、车辆车牌号和车身颜色，大数据中心在海量数据中根据时间，车辆车牌号和车身颜色进行数据碰撞，得到所有满足条件的结构化的车辆数据，并返回给客户端，供客户端进行展示，其中车辆数据中的图像存储位置可以是URL(Uniform Resource Locator，统一资源定位符)地址。

应用本发明实施例，将结构化的车辆数据进行统一存储于大数据中心，相比于将其保存在数据库的方式而言，可以便于直接对客户端提供数据搜索、数据碰撞等服务，更好的满足对多样化的客户端应用需求。

参见图2，图2为本发明实施例提供的另一结构示意图，为了提供数据访问服务，云存储中心，还用于接收客户端发送的图像访问请求，按照所述图像访问请求中的访问条件，查找满足所述访问条件的目标图像数据，将所述目标图像数据返回给客户端；

所述客户端，还用于向所述云存储中心发送图像访问请求；接收并显示所述目标图像数据。

访问条件可以包括过车时间、过车地点等，元数据服务器可以接收图像访问请求，查找满足所述访问条件的目标图像数据所在目标数据节点服务器，从所有目标数据节点服务器中的选择网络负担最轻、磁盘使用少的目标数据节点服务器对外提供访问服务，将查找请求转发给所选定的目标数据节点服务器，从而目标数据节点服务器可以查找到目标图像数据，将目标图像数据返回给客户端。

由于数据节点服务器有多个，可以实现高速并发访问。

为了在接收到Bucket不可用消息的情况下，仍能完成过车图像数据的存储，过车信息服务器还用于若接收到Bucket不可用消息，则向所述云存储中心发送创建Bucket请求，所述创建Bucket请求包括初始Bucket标识；获得所述初始Bucket标识对应的时间段以及所述初始Bucket标识对应的初始打包写对象；其中，所述初始Bucket标识对应的时间段包括所述过车时间；将初始打包写对象作为当前打包写对象，返回执行将所述过车图像数据写入所述当前打包写对象所作用的文件；

所述云存储中心，还用于若目标Bucket不存在或不可用，则向过车信息服务器返回Bucket不可用消息；在接收到创建Bucket请求后，创建具有所述初始Bucket标识的初始Bucket。

当目标Bucket未被创建时，目标Bucket不存在或不可用。获得初始Bucket标识对应的时间段的方式可以为：获得用户通过人机交互界面输入的时间段，或者获得随机生成的时间段；初始Bucket标识对应的时间段包括过车时间，是指初始Bucket标识对应的时间段中含有前端卡口所采集过车信息的过车时间，例如，过车时间为8:00，则初始Bucket标识对应的时间段为包含8:00的任一时间段，如7:00～9:00，6:00～9:00等等。

获得初始打包写对象的方式可以为：将初始Bucket标识填充至预设的代码模型，得到初始打包写对象。

相应于上述基于云存储的数据管理系统实施例，本发明实施例提供了一种基于云存储的数据管理方法，参见图3所示，与图1所示结构相对应，该方法应用于上述基于云存储的数据管理系统，具体的，所述方法应用于所述过车信息服务器，具体包括：

S101、接收过车信息，对所述过车信息进行解析，得到过车时间和过车图像数据；

S102、从所有的预设Bucket标识中选择所述过车时间所属时间段所对应的目标Bucket；其中，一个预设Bucket标识对应一个预设时间段；一个预设Bucket标识对应一个打包写对象；

S103、向所述云存储中心发送查询请求，以使所述云存储中心按照所述查询请求，判断具有所述目标Bucket标识的目标Bucket是否存在且可用，若目标Bucket存在且可用，则向所述过车信息服务器返回Bucket可用消息；

S104、若接收到Bucket可用消息，则选择所述目标Bucket对应的目标打包写对象，将目标打包写对象作为当前打包写对象，将过车图像数据写入所述当前打包写对象所作用的文件，并基于写入图像数据后的文件生成存储请求，将所述存储请求发送给云存储中心；以使所述云存储中心缓存所述存储请求中的文件，并判断当前缓存总容量是否达到预设缓存值，若达到，则将缓存的所有文件写入目标Bucket的存储空间。

可见，应用本发明实施例，不同时间段的过车图像数据可以被存储至云存储中心的不同Bucket，故无需用户手动分配存储空间，从而，提高了数据存储效率，简化了数据管理过程。并且时间段和Bucket的关系可以预先设置，从而可以更合理的满足不同业务的存储需求。

可选的，所述方法还包括：

对所述过车信息进行结构化处理，得到结构化的车辆数据，将所述车辆数据发送给大数据中心；以使所述大数据中心对所接收的车辆数据进行存储。

可选的，所述方法还包括：

若接收到Bucket不可用消息，则向所述云存储中心发送创建Bucket请求，所述创建Bucket请求包括初始Bucket标识；以使所述云存储中心在接收到创建Bucket请求后，创建具有所述初始Bucket标识的初始Bucket；

获得所述初始Bucket标识对应的时间段以及所述初始Bucket标识对应的初始打包写对象；其中，所述初始Bucket标识对应的时间段包括所述过车时间；将初始打包写对象作为当前打包写对象，返回执行将所述过车图像数据写入所述当前打包写对象所作用的文件。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于云存储的数据管理系统，其特征在于，所述系统包括前端卡口、过车信息服务器和云存储中心，其中，

所述前端卡口，用于采集过车信息，并将所采集的过车信息发送给过车信息服务器；

所述过车信息服务器，用于接收并解析所述过车信息，得到过车时间和过车图像数据，从所有的预设Bucket标识中选择所述过车时间所属时间段所对应的目标Bucket标识；向所述云存储中心发送查询请求，若接收到Bucket可用消息，则选择所述目标Bucket标识对应的目标打包写对象，将目标打包写对象作为当前打包写对象，将所述过车图像数据写入所述当前打包写对象所作用的文件，并基于写入图像数据后的文件生成存储请求，将所述存储请求发送给云存储中心；其中，一个预设Bucket标识对应一个预设时间段；一个预设Bucket标识对应一个打包写对象；

所述云存储中心，用于按照所述查询请求，判断具有所述目标Bucket标识的目标Bucket是否存在且可用，若目标Bucket存在且可用，则向过车信息服务器返回Bucket可用消息；在接收到存储请求后，缓存所述存储请求中的文件，并判断当前缓存总容量是否达到预设缓存值，若达到，则将缓存的所有文件写入所述目标Bucket。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括大数据中心和客户端，

所述过车信息服务器，还用于对所述过车信息进行结构化处理，得到结构化的车辆数据，将所述车辆数据发送给大数据中心；

所述大数据中心，用于对所接收的车辆数据进行存储，在接收到客户端发送的数据搜索请求后，按照所述数据搜索请求中的数据碰撞条件，对所存储的车辆数据进行数据碰撞，得到满足所述数据碰撞条件的数据碰撞结果，并将所述数据碰撞结果返回给客户端；

所述客户端，用于向大数据中心发送数据搜索请求；接收并显示所述数据碰撞结果。

3.根据权利要求2所述的系统，其特征在于，

所述云存储中心，还用于接收客户端发送的图像访问请求，按照所述图像访问请求中的访问条件，查找满足所述访问条件的目标图像数据，将所述目标图像数据返回给客户端；

所述客户端，还用于向所述云存储中心发送图像访问请求；接收并显示所述目标图像数据。

4.根据权利要求3所述的系统，其特征在于，

所述过车信息服务器，还用于获得配置文件；将所述配置文件发送给所述云存储中心；所述配置文件包括待配置Bucket的保留时间；

所述云存储中心，还用于按照所接收的配置文件，设置所述待配置Bucket的生命周期为所述保留时间。

5.根据权利要求2所述的系统，其特征在于，

所述云存储中心，还用于在成功将缓存的所有文件写入目标Bucket后，将被写入目标Bucket的各文件的文件名及存储位置发送给所述过车信息服务器；

所述过车信息服务器，还用于将所述过车信息中图像数据的存储位置加入来自于该过车信息的车辆数据，其中，图像数据的存储位置为该图像数据被写入的文件的存储位置。

6.根据权利要求1所述的系统，其特征在于，所述文件为小文件，过车信息服务器将所述过车图像数据写入所述当前打包写对象所作用的文件，具体为：

采用原子操作方式，打开所述当前打包写对象所作用的小文件，并将所述过车图像数据写入所打开的小文件；

在写入完成后，关闭小文件并生成文件名。

7.根据权利要求1所述的系统，其特征在于，

所述过车信息服务器，还用于若接收到Bucket不可用消息，则向所述云存储中心发送创建Bucket请求，所述创建Bucket请求包括初始Bucket标识；获得所述初始Bucket标识对应的时间段以及所述初始Bucket标识对应的初始打包写对象；其中，所述初始Bucket标识对应的时间段包括所述过车时间；将初始打包写对象作为当前打包写对象，返回执行将所述过车图像数据写入所述当前打包写对象所作用的文件；

所述云存储中心，还用于若目标Bucket不存在或不可用，则向过车信息服务器返回Bucket不可用消息；在接收到创建Bucket请求后，创建具有所述初始Bucket标识的初始Bucket。

8.一种基于云存储的数据管理方法，其特征在于，应用于权利要求1所述的系统，所述方法应用于所述过车信息服务器，具体包括：

接收过车信息，对所述过车信息进行解析，得到过车时间和过车图像数据；

从所有的预设Bucket标识中选择所述过车时间所属时间段所对应的目标Bucket标识；其中，一个预设Bucket标识对应一个预设时间段；一个预设Bucket标识对应一个打包写对象；

向所述云存储中心发送查询请求；以使所述云存储中心按照所述查询请求，判断目标Bucket是否存在且可用，若目标Bucket存在且可用，则向所述过车信息服务器返回Bucket可用消息；

若接收到Bucket可用消息，则选择所述目标Bucket标识对应的目标打包写对象，将目标打包写对象作为当前打包写对象，将所述过车图像数据写入所述当前打包写对象所作用的文件，并基于写入图像数据后的文件生成存储请求，将所述存储请求发送给云存储中心；以使所述云存储中心缓存所述存储请求中的文件，并判断当前缓存总容量是否达到预设缓存值，若达到，则将缓存的所有文件写入所述目标Bucket。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

对所述过车信息进行结构化处理，得到结构化的车辆数据，将所述车辆数据发送给大数据中心；以使所述大数据中心对所接收的车辆数据进行存储。

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：

若接收到Bucket不可用消息，则向所述云存储中心发送创建Bucket请求，所述创建Bucket请求包括初始Bucket标识；以使所述云存储中心在接收到创建Bucket请求后，创建具有所述初始Bucket标识的初始Bucket；

获得所述初始Bucket标识对应的时间段以及所述初始Bucket标识对应的初始打包写对象；其中，所述初始Bucket标识对应的时间段包括所述过车时间；将初始打包写对象作为当前打包写对象，返回执行将所述过车图像数据写入所述当前打包写对象所作用的文件。