CN101969462A - 数据发布系统和数据发布方法 - Google Patents
数据发布系统和数据发布方法 Download PDFInfo
- Publication number
- CN101969462A CN101969462A CN2010102973801A CN201010297380A CN101969462A CN 101969462 A CN101969462 A CN 101969462A CN 2010102973801 A CN2010102973801 A CN 2010102973801A CN 201010297380 A CN201010297380 A CN 201010297380A CN 101969462 A CN101969462 A CN 101969462A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- information
- retrieval
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明提供一种数据发布系统,用于向数据下载客户端发布数据,该系统包括:数据存储模块和数据发布模块;其中,当一数据下载客户端为了从该数据发布系统下载数据而向该数据发布系统发送客户端认证信息和数据下载请求信息时,该数据发布模块利用该客户端认证信息对该数据下载客户端进行认证;当该认证通过时,该数据发布模块将该数据下载请求信息发送到该数据存储模块,该数据存储模块制作待发布数据,并发送到该数据发布模块;该数据发布模块将制作好的待发布数据在该数据发布模块中的存储地址发送给该数据下载客户端;以及该数据下载客户端根据该数据发布模块发送的存储地址从该数据发布模块下载所述待发布数据。本发明还提供一种数据发布方法。
Description
技术领域
本发明涉及信息处理领域,特别涉及一种通过特定的数据组织存储方式实现对数据进行发布的系统和方法。
背景技术
计算机技术和网络技术的迅速发展有效地支撑了目前各行业的数据管理工作,使用基于B/S(Browser/Server,浏览器/服务器)架构的网络交互手段来实现数据发布已成为当前数据发布方式的主流。B/S数据发布架构具备维护和升级方式简单、低成本和用户友好度高等诸项优点。
卫星数据实际上是指地面接收到的卫星搭载的各项有效载荷的下行数据,以及对所接收的数据进行处理而得到的数据产品。下行数据即原始数据,根据载荷的不同原始数据具备不同的特征,针对各载荷的原始数据进行处理的方式和程度也不相同,由此衍生出各级卫星数据产品,并且不同级别的数据产品的存储需求和发布需求存在差异。
卫星任务所产生的各种数据总量比较庞大,数据类型也比较复杂,为方便卫星数据的存储和发布,需要卫星数据管理方根据实际情况制定卫星数据的元数据标准和特定的数据组织方式。当前卫星数据管理领域并没有统一的国际元数据标准,更没有可通用的卫星数据发布平台。而通用的B/S结构数据发布平台并不具备符合卫星数据(及数据产品)特征的数据组织发布能力,因此研制适合卫星数据管理方需求的发布方法和系统以实现卫星数据的合理利用是必然需求。
发明内容
本发明的目的在于能够提供一种数据发布系统和方法,它根据客户需求对待下载的数据进行组织,在数据发布系统下属各分系统自有的数据应用模式和具备的硬件结构基础上,满足各分系统内部和各分系统之间的数据交互需求,并使其能通过对数据的存储和对外发布,解决数据处理系统内部异构环境下数据交互和外部各用户对于数据的需求问题。本发明的据发布系统和方法尤其适合于对卫星数据进行发布。
为实现上述目的,本发明提供了一种数据发布系统,其用于向数据下载客户端发布数据,该系统包括:
数据存储模块,其存储有用于发布的数据;和
数据发布模块,其用于向数据下载客户端发布数据;
其中,当一数据下载客户端为了从该数据发布系统下载数据而向该数据发布系统发送客户端认证信息和数据下载请求信息时,该数据发布模块接收到该数据下载客户端发送的客户端认证信息和数据下载请求信息,并利用该客户端认证信息对该数据下载客户端进行认证;
当该认证通过时,该数据发布模块将该数据下载请求信息发送到该数据存储模块,该数据存储模块将根据该数据下载请求信息制作待发布数据,并将制作好的待发布数据发送到该数据发布模块;
该数据发布模块将该制作好的待发布数据在该数据发布模块中的存储地址发送给该数据下载客户端;以及
该数据下载客户端根据该数据发布模块发送的存储地址从该数据发布模块下载所述待发布数据。
为实现上述目的,本发明提供了一种数据发布方法,其用于向数据下载客户端发布数据,该数据发布方法用于一数据发布系统中,该系统包括:数据存储模块,其存储有用于发布的数据;和数据发布模块,其用于向数据下载客户端发布数据;其中
所述数据发布方法包括步骤:
当一数据下载客户端为了从该数据发布系统下载数据而向该数据发布系统发送客户端认证信息和数据下载请求信息时,该数据发布模块接收到该数据下载客户端发送的客户端认证信息和数据下载请求信息,并利用该客户端认证信息对该数据下载客户端进行认证;
当该认证通过时,该数据发布模块将该数据下载请求信息发送到该数据存储模块,该数据存储模块将根据该数据下载请求信息制作待发布数据,并将制作好的待发布数据发送到该数据发布模块;
该数据发布模块将该制作好的待发布数据在该数据发布模块中的存储地址发送给该数据下载客户端;以及
该数据下载客户端根据该数据发布模块发送的存储地址从该数据发布模块下载所述待发布数据。
在本发明中,数据下载客户端提交数据下载请求,根据数据发布系统制定的数据标准对数据进行组织生成待下载数据,有效解决了数据产品存储需求和发布需求的多样性和复杂性问题。不仅数据发布系统内部各分系统节点均可以通过局域网访问所需的数据资源,外部用户也可以通过互联网客户端向本发明提交数据下载请求以获得所需数据。无论是局域网还是互联网都能基于IP网络实现数据发布,并且符合数据发布系统分工需求,对于建立更大规模的数据发布平台具有开拓意义,具有高通用性、高效率、高可扩展性、低成本等优点。本发明实现了符合数据产品特征的数据发布方式,并提高了数据发布的安全性、高效性和自动化程度。本发明的数据发布系统和方法尤其适合于卫星数据的发布,使外部科研机构也可以通过互联网客户端向本发明提交数据下载请求以获得所需数据。
附图说明
图1为本发明实施例中数据发布系统结构的示意图;
图2为本发明实施例的数据发布系统中的存储管理模块和制作模块结构示意图;
图3为本发明实施例的数据发布系统结构的硬件环境结构的一个示例的示意图;
图4为图3所示的数据发布系统进行数据发布的工作流程图。
具体实施方式
本发明提出一种实现数据发布的系统和方法。以下将结合对上述附图的描述来说明本发明。
图1描述了本发明的数据发布系统结构示意图。从图中可以看出,该系统包括数据存储模块11和数据发布模块12。下面分别对其进行描述。
所述数据发布模块12包括:客户端认证模块31、接收模块32、通知模块35和保存模块34。其中,客户端认证模块31用于接收数据下载客户端41发送的客户端认证信息和数据下载请求信息,并在对该数据下载客户端41认证通过后将该数据下载请求信息发送到接收模块32;接收模块32用于接收客户端认证模块31发送的数据下载请求信息,并将该信息发送至数据存储模块11;保存模块34用于接收数据存储模块11发送的待下载数据,并将保存待下载数据的地址信息发送至通知模块35;通知模块35接收保存模块34发送的待下载数据的地址信息,并将该信息通知数据下载客户端41以便其通过通知模块35从所述保存模块34下载待下载数据。
所述数据存储模块11包括:数据请求接收模块24、存储管理模块21、存储模块22、制作模块23和暂存模块25。其中,数据请求接收模块24接收数据发布模块12发送的数据下载请求信息,并将该信息发送至存储管理模块21;存储管理模块21接收数据请求接收模块24发送的数据下载请求信息,并根据该信息向存储模块22发送检索请求信息以检索数据下载请求信息所指示的请求下载的数据;存储模块22接收存储管理模块21发送的检索请求信息,并向其返回检索结果;所述存储管理模块21根据该检索结果生成数据制作信息并发送给制作模块23;制作模块23接收存储管理模块21发送来的数据制作信息并根据该数据制作信息从存储模块22中获取制作待下载数据所需的数据,并利用获取的数据生成待下载数据并将该待下载数据发送给暂存模块25;暂存模块25保存制作模块23生成的待下载数据,并发送至数据发布模块12。在本发明中,除了对上述存储模块22进行数据检索外,所述存储管理模块21还可对所述存储模块22进行各种操作,包括:对文件数据的读写、对元数据的读写、对日志数据的读写、对文件数据和元数据的复制与回收、对文件数据和元数据以及日志数据的备份和恢复、和对存储资源的分配与回收。
在本发明实施例中,存储管理模块21和制作模块23至关重要。这两个模块体现了数据发布系统(尤其是卫星数据发布系统)所应用的下载数据组织(制作)技术,这两个模块的详细结构如图2所示。
存储管理模块21包括请求接收模块51、数据检索模块52和制作信息模块54。其中,请求接收模块51接收数据请求接收模块24发送的数据下载请求信息,并将该信息发送至数据检索模块52。数据检索模块52根据该数据下载请求信息向存储模块22(图2中未示出)发送检索请求信息以检索请求下载的数据并接收所述存储模块22返回的检索结果。数据检索模块52将检索结果发送至制作信息模块54。制作信息模块54根据该检索结果生成数据制作信息,并将该数据制作信息发送至制作模块23以使制作模块23根据该数据制作信息制作待下载数据。根据需要,存储管理模块21还可包括一检索结果管理模块53以管理数据检索模块52的检索结果。在数据检索模块52将检索结果发送至制作信息模块54的同时,还可发送至检索结果管理模块53,检索结果的管理有利于提升系统的检索效率。例如,在数据检索模块52进行检索前先查询检索结果并根据先前的检索结果优化检索方式,因此,检索结果管理模块53所保存的检索结果能够整体上提高检索效率。
如图2所示,制作模块23包括信息接收模块61、数据访问模块62、数据组织模块64和数据输出模块65。在制作模块23中,信息接收模块61接收存储管理模块21发送来的数据制作信息并将其发送给数据组织模块64。数据组织模块64根据该数据制作信息确定组织待下载数据所需的数据并指示数据访问模块62获取所需的数据。数据访问模块62从存储模块22(图2未示出)中获取所述所需的数据,并将获取的数据返回到数据组织模块64。数据组织模块64对返回的数据进行组织以生成待下载数据,并将所述待下载数据通过数据输出模块65发送至暂存模块25,再由暂存模块25发送至数据发布模块12。
图3是本发明实施例根据图1所示的内容发布系统的结构所搭建的硬件环境的一个示例的结构图。由存储设备71和存储服务器(NAS(网络附属存储)设备)72通过(高速)以太网1连接构成了系统的数据存储模块11。需要对存储数据进行管理及其它处理工作的本地用户(本地工作站)73、74通过(高速)以太网1连接并置于统一的GPFS(通用并行文件系统)文件结构2下,即,基于GPFS文件结构2管理所存储的数据。由应用程序服务器81和Web服务器82通过(高速)以太网1连接构成了系统的数据发布模块12。数据存储模块11和数据发布模块12由(高速)以太网1连接并可以实现交互。数据发布模块12中的Web服务器82经由防火墙3连接到internet互联网9对外部用户91、92、93(图1中所示的数据下载客户端41)进行数据发布。本地用户73、74可直接访问数据存储模块11而无需通过数据发布模块12来访问数据存储模块11。
具体而言,图1中所示的数据请求接收模块24、存储管理模块21、存储模块22、制作模块23和暂存模块25都可以包括在图3中所示的存储设备71和存储服务器72中,或者由存储设备71和存储服务器72中的硬件与软件的结合而实现其功能。另外,本领域技术人员明白数据存储模块11包括一台存储设备71和一台存储服务器72是示例性的,数据存储模块11可以包括更多的存储设备和服务器,或者也可以只包括一台具备存储设备功能的服务器。同理,图1中所示的客户端认证模块31、接收模块32、通知模块35和保存模块34都可以包括在图3中所示的应用程序服务器81和web服务器82中,或者由应用程序服务器81和web服务器82中的硬件与软件的结合而实现其功能。另外,本领域技术人员明白数据发布模块12包括一台应用程序服务器81和一台web服务器82是示例性的,数据发布模块12可以包括更多的应用程序服务器和web服务器,或者也可以只包括一台具备web服务器功能的应用程序服务器。
应该理解,GPFS文件结构2也仅仅是数据存储模块11的文件系统的一个示例,根据数据存储模块11所采用的存储设备和服务器的操作系统不同,还可采用诸如NTFS、StorNext、QFS、exFAT、Ext2、Ext3、Ext4之类的文件系统。
另外,外部用户91、92、93可以采用专用的客户端软件来访问Web服务器82,也可以在Web服务器82支持B/S结构的情况下采用浏览器(例如,微软公司的IE浏览器)作为客户端软件来访问web服务器82。
图4为图3所示的数据发布系统进行数据发布的示例性工作流程图。以下参照图4并结合图3根据步骤4.1到步骤4.9详细说明用户,即图3中的外部用户91、92、93,申请下载数据的实施流程。
首先,在步骤4.1,用户通过数据下载客户端41登录数据发布模块12的发布页面,并且向数据发布模块12发送客户端认证信息和数据下载请求信息。
在步骤4.2,此数据发布模块12中的Web服务器82(之中的客户端认证模块31)解析客户端认证信息以审核(认证)用户是否有资格申请现在数据。
在步骤4.3,当客户端认证信息未通过认证时,即当Web服务器82确定用户未通过用户资格审核时,所述Web服务器82确定拒绝用户下载数据的请求,并将拒绝服务通知页面发送到用户的数据下载客户端41(例如,在B/S结构下为客户端的浏览器)。当客户端认证信息通过认证时,即当Web服务器82确定用户通过用户资格审核时,所述Web服务器82确定接受用户的数据下载请求,并将数据订购页面发送到用户的数据下载客户端41。在本实施例中,用户希望下载的数据例如为某段时间的某种卫星数据产品。
在步骤4.4,用户接收到数据订购页面后在向Web服务器82提交数据订单,即,数据下载请求信息,该信息指定了用户希望下载的内容,例如某段时间的某种卫星数据产品。Web服务器82对提交的订单(数据下载请求信息)是否合法进行检验。如果该订单(数据下载请求信息)未通过检验,则将该订单(数据下载请求信息)返回到用户的数据下载客户端41,并向用户显示表单修改页面。如果该订单(数据下载请求信息)通过检验,则前进到步骤4.5
在步骤4.5,Web服务器82将数据下载请求信息通过应用程序服务器81发送到数据存储模块11中的存储服务器72。之后,所述存储服务器72向存储设备71提交数据检索请求,即,向其发送检索请求信息。
在步骤4.6,存储服务器72在存储设备71上进行数据检索以检索数据下载请求信息所指示的用户请求下载的数据。
在步骤4.7,所述存储服务器72判断是否存在所需的数据,即,用户请求下载的数据。如果所述存储服务器72确定不存在所需的数据,则将没有所需的数据的通知经应用服务器81发送到Web服务器82。Web服务器82生成订购失败通知并将其发送给用户的数据下载客户端41,数据下载客户端41上向用户显示订购失败页面。如果所述存储服务器72确定存在所需的数据,则前进到步骤4.8。
在步骤4.8,所述存储服务器72将存在所需的数据的通知经应用服务器81发送到Web服务器82。Web服务器82将该通知发送给用户的数据下载客户端41以告知用户。之后,所述存储服务器72组织数据以生成符合客户需求的待下载数据,即,获取订单(数据下载请求信息)指定的数据产品。
在步骤4.9,所述存储服务器72创建了待下载数据的拷贝并发送到应用服务器81。应用服务器81将该拷贝保存到下载服务程序(例如,FTP
(文件传输协议)程序),并通知Web服务器82。Web服务器82生成(FTP)下载通知,并将该通知发送给用户的数据下载客户端41,数据下载客户端41上显示订购成功页面以告知用户。
注意,图4是在以上参照图1和2进行的描述的基础之上加入了众多示例性细节而得到的。这些细节并不构成对本发明的限定。例如,在图4的示例中,内容发布系统是基于B/S结构的,但是其也可以基于C/S(客户端/服务器)结构。又例如,除了在数据下载客户端41上显示订购产品成功或失败的页面之外,还可以通过电子邮件或语音提示告知用户。除了利用FTP程序为用户提供下载之外,还可以利用其它诸如P2P之类的程序来下载。
本发明的数据发布系统根据客户需求对待下载的数据进行组织,在数据发布系统下属各分系统自有的数据应用模式和具备的硬件结构基础上,满足各分系统内部和各分系统之间的数据交互需求,并使其能通过对数据产品的存储和对外发布,解决数据发布系统内部异构环境下数据交互和外部用户对于数据的研究需求的问题。
虽然针对当今卫星数据处理技术的不足提出了本发明,但是本领域技术人员可以理解,本发明的数据发布方法和数据发布系统不仅适用于卫星数据处理领域,还适用于诸如天体数据处理领域、工程数据处理领域等各种需要数据发布服务的领域。
以上结合附图对本发明进行了详细描述,但需要指出的是,说明书中所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (14)
1.一种数据发布系统,其用于向数据下载客户端发布数据,该系统包括:
数据存储模块,其存储有用于发布的数据;和
数据发布模块,其用于向数据下载客户端发布数据;
其中,当一数据下载客户端为了从该数据发布系统下载数据而向该数据发布系统发送客户端认证信息和数据下载请求信息时,该数据发布模块接收到该数据下载客户端发送的客户端认证信息和数据下载请求信息,并利用该客户端认证信息对该数据下载客户端进行认证;
当该认证通过时,该数据发布模块将该数据下载请求信息发送到该数据存储模块,该数据存储模块将根据该数据下载请求信息制作待发布数据,并将制作好的待发布数据发送到该数据发布模块;
该数据发布模块将该制作好的待发布数据在该数据发布模块中的存储地址发送给该数据下载客户端;以及
该数据下载客户端根据该数据发布模块发送的存储地址从该数据发布模块下载所述待发布数据。
2.如权利要求1所述的数据发布系统,其中,
所述数据发布模块包括:
客户端认证模块,用于接收该数据下载客户端发送的客户端认证信息和数据下载请求信息,并在利用该客户端认证信息对该数据下载客户端的认证通过后将该数据下载请求信息发送到接收模块;
接收模块,用于接收该客户端认证模块发送的数据下载请求信息,并将该信息发送至所述数据存储模块;
保存模块,用于接收所述数据存储模块发送的待下载数据,并将保存所述待下载数据的地址信息发送至通知模块;以及
通知模块,用于接收该保存模块发送的待下载数据的地址信息,并将该信息通知该数据下载客户端以便其通过该通知模块从所述保存模块下载待下载数据,
所述数据存储模块包括:
数据请求接收模块,用于接收该数据发布模块发送的数据下载请求信息,并将该信息发送至存储管理模块;
存储管理模块,用于接收该数据请求接收模块发送的数据下载请求信息,并根据该信息向存储模块发送检索请求信息以检索数据下载请求信息所指示的请求下载的数据,之后该存储管理模块根据从存储模块返回的检索结果生成数据制作信息并发送给制作模块;
存储模块,用于接收该存储管理模块发送的该检索请求信息,并向该存储管理模块返回检索结果;
制作模块,用于接收该存储管理模块发送的数据制作信息并根据该数据制作信息从该存储模块中获取制作待下载数据所需的数据,并利用获取的数据生成待下载数据并将该待下载数据发送给暂存模块;以及
暂存模块,用于保存该制作模块生成的待下载数据,并将其发送至所述据发布模块。
3.如权利要求2所述的数据发布系统,其中,所述存储管理模块还对所述存储模块进行以下操作中的一种或多种:对文件数据的读写、对元数据的读写、对日志数据的读写、对文件数据和元数据的复制与回收、对文件数据和元数据以及日志数据的备份和恢复、和对存储资源的分配与回收。
4.如权利要求2所述的数据发布系统,其中,
所述存储管理模块包括:
请求接收模块,用于接收数据请求接收模块发送的数据下载请求信息,并将该信息发送至数据检索模块;
数据检索模块,用于根据该数据下载请求信息向所述存储模块发送所述检索请求信息以检索数据下载请求信息所指示的请求下载的数据并接收所述存储模块返回的检索结果,该数据检索模块将该检索结果发送至制作信息模块;以及
制作信息模块,用于根据该检索结果生成数据制作信息,并将该数据制作信息发送至所述制作模块以使所述制作模块根据该数据制作信息制作待下载数据,
所述制作模块包括:
信息接收模块,用于接收存储管理模块发送来的数据制作信息并将其发送给数据组织模块;
数据组织模块,用于根据该数据制作信息确定组织待下载数据所需的数据并指示数据访问模块获取所需的数据,并且对从数据访问模块返回的数据进行组织以生成待下载数据,并将该待下载数据输出到数据输出模块;
数据访问模块,用于根据该数据组织模块的指示从所述存储模块获取所述所需的数据,并将获取的数据返回到该数据组织模块;以及
数据输出模块,用于将该待下载数据发送至所述暂存模块。
5.如权利要求4所述的数据发布系统,其中,所述存储管理模块还包括检索结果管理模块,该检索结果管理模块管理所述数据检索模块的检索结果,在所述数据检索模块将检索结果发送至所述制作信息模块的同时,还发送至该检索结果管理模块。
6.如权利要求1或2所述的数据发布系统,其中,所述数据存储模块由存储设备和存储服务器通过以太网连接构成,并且所述数据发布模块由应用程序服务器和Web服务器通过所述以太网连接构成,
其中,所述Web服务器经由防火墙连接到互联网,从而连接到数据下载客户端。
7.如权利要求6所述的数据发布系统,其中,所述数据存储模块中的存储设备和存储服务器基于GPFS文件结构2管理数据。
8.一种数据发布方法,其用于向数据下载客户端发布数据,该数据发布方法用于一数据发布系统中,该系统包括:数据存储模块,其存储有用于发布的数据;和数据发布模块,其用于向数据下载客户端发布数据;其中
所述数据发布方法包括步骤:
当一数据下载客户端为了从该数据发布系统下载数据而向该数据发布系统发送客户端认证信息和数据下载请求信息时,该数据发布模块接收到该数据下载客户端发送的客户端认证信息和数据下载请求信息,并利用该客户端认证信息对该数据下载客户端进行认证;
当该认证通过时,该数据发布模块将该数据下载请求信息发送到该数据存储模块,该数据存储模块将根据该数据下载请求信息制作待发布数据,并将制作好的待发布数据发送到该数据发布模块;
该数据发布模块将该制作好的待发布数据在该数据发布模块中的存储地址发送给该数据下载客户端;以及
该数据下载客户端根据该数据发布模块发送的存储地址从该数据发布模块下载所述待发布数据。
9.如权利要求8所述的数据发布方法,其中,
所述数据发布模块包括:
客户端认证模块,用于接收该数据下载客户端发送的客户端认证信息和数据下载请求信息,并在利用该客户端认证信息对该数据下载客户端的认证通过后将该数据下载请求信息发送到接收模块;
接收模块,用于接收该客户端认证模块发送的数据下载请求信息,并将该信息发送至所述数据存储模块;
保存模块,用于接收所述数据存储模块发送的待下载数据,并将保存所述待下载数据的地址信息发送至通知模块;以及
通知模块,用于接收该保存模块发送的待下载数据的地址信息,并将该信息通知该数据下载客户端以便其通过该通知模块从所述保存模块下载待下载数据,
所述数据存储模块包括:
数据请求接收模块,用于接收该数据发布模块发送的数据下载请求信息,并将该信息发送至存储管理模块;
存储管理模块,用于接收该数据请求接收模块发送的数据下载请求信息,并根据该信息向存储模块发送检索请求信息以检索数据下载请求信息所指示的请求下载的数据,之后该存储管理模块根据从存储模块返回的检索结果生成数据制作信息并发送给制作模块;
存储模块,用于接收该存储管理模块发送的该检索请求信息,并向该存储管理模块返回检索结果;
制作模块,用于接收该存储管理模块发送的数据制作信息并根据该数据制作信息从该存储模块中获取制作待下载数据所需的数据,并利用获取的数据生成待下载数据并将该待下载数据发送给暂存模块;以及
暂存模块,用于保存该制作模块生成的待下载数据,并将其发送至所述数据发布模块。
10.如权利要求9所述的数据发布方法,其中,所述存储管理模块还对所述存储模块进行以下操作中的一种或多种:对文件数据的读写、对元数据的读写、对日志数据的读写、对文件数据和元数据的复制与回收、对文件数据和元数据以及日志数据的备份和恢复、和对存储资源的分配与回收。
11.如权利要求9所述的数据发布方法,其中,
所述存储管理模块包括:
请求接收模块,用于接收数据请求接收模块发送的数据下载请求信息,并将该信息发送至数据检索模块;
数据检索模块,用于根据该数据下载请求信息向所述存储模块发送所述检索请求信息以检索数据下载请求信息所指示的请求下载的数据并接收所述存储模块返回的检索结果,该数据检索模块将该检索结果发送至制作信息模块;以及
制作信息模块,用于根据该检索结果生成数据制作信息,并将该数据制作信息发送至所述制作模块以使所述制作模块根据该数据制作信息制作待下载数据,
所述制作模块包括:
信息接收模块,用于接收存储管理模块发送来的数据制作信息并将其发送给数据组织模块;
数据组织模块,用于根据该数据制作信息确定组织待下载数据所需的数据并指示数据访问模块获取所需的数据,并且对从数据访问模块返回的数据进行组织以生成待下载数据,并将该待下载数据输出到数据输出模块;
数据访问模块,用于根据该数据组织模块的指示从所述存储模块获取所述所需的数据,并将获取的数据返回到该数据组织模块;以及
数据输出模块,用于将该待下载数据发送至所述暂存模块。
12.如权利要求11所述的数据发布方法,其中,所述存储管理模块还包括检索结果管理模块,该检索结果管理模块管理所述数据检索模块的检索结果,在所述数据检索模块将检索结果发送至所述制作信息模块的同时,还发送至该检索结果管理模块。
13.如权利要求8或9所述的数据发布方法,其中,所述数据存储模块由存储设备和存储服务器通过以太网连接构成,并且所述数据发布模块由应用程序服务器和Web服务器通过所述以太网连接构成,
其中,所述Web服务器经由防火墙连接到互联网,从而连接到数据下载客户端。
14.如权利要求13所述的数据发布方法,其中,所述数据存储模块中的存储设备和存储服务器基于GPFS文件结构2管理数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102973801A CN101969462A (zh) | 2010-09-30 | 2010-09-30 | 数据发布系统和数据发布方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102973801A CN101969462A (zh) | 2010-09-30 | 2010-09-30 | 数据发布系统和数据发布方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101969462A true CN101969462A (zh) | 2011-02-09 |
Family
ID=43548566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010102973801A Pending CN101969462A (zh) | 2010-09-30 | 2010-09-30 | 数据发布系统和数据发布方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101969462A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012116582A1 (zh) * | 2011-02-28 | 2012-09-07 | 中兴通讯股份有限公司 | 一种p2p内容分发的方法和系统 |
CN105787091A (zh) * | 2016-03-16 | 2016-07-20 | 合网络技术(北京)有限公司 | 支持多终端的内容发布系统及方法 |
CN108877188A (zh) * | 2018-05-17 | 2018-11-23 | 济南诚博信息科技有限公司 | 一种环保数据并发采集及多网络发布方法和装置 |
CN108958900A (zh) * | 2017-05-18 | 2018-12-07 | 腾讯科技(深圳)有限公司 | 一种任务发布方法和任务发布系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060168221A1 (en) * | 2004-12-29 | 2006-07-27 | Hauke Juhls | Multi-domain access proxy for handling security issues in browser-based applications |
CN101068245A (zh) * | 2007-03-30 | 2007-11-07 | 腾讯科技(深圳)有限公司 | 共享文件的发布、下载方法及文件共享可控系统 |
EP1766936B1 (en) * | 2004-06-08 | 2007-12-19 | International Business Machines Corporation | Optimized concurrent data download within a grid computing environment |
CN101257396A (zh) * | 2007-03-02 | 2008-09-03 | 中国科学院声学研究所 | 一种基于p2p技术的多域内容分发系统及相应的方法 |
CN101415010A (zh) * | 2008-11-26 | 2009-04-22 | 涂彦晖 | Web浏览装置及其操作方法 |
CN101425899A (zh) * | 2007-10-31 | 2009-05-06 | 北大方正集团有限公司 | 实现发布、分发的方法和系统 |
-
2010
- 2010-09-30 CN CN2010102973801A patent/CN101969462A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1766936B1 (en) * | 2004-06-08 | 2007-12-19 | International Business Machines Corporation | Optimized concurrent data download within a grid computing environment |
US20060168221A1 (en) * | 2004-12-29 | 2006-07-27 | Hauke Juhls | Multi-domain access proxy for handling security issues in browser-based applications |
CN101257396A (zh) * | 2007-03-02 | 2008-09-03 | 中国科学院声学研究所 | 一种基于p2p技术的多域内容分发系统及相应的方法 |
CN101068245A (zh) * | 2007-03-30 | 2007-11-07 | 腾讯科技(深圳)有限公司 | 共享文件的发布、下载方法及文件共享可控系统 |
CN101425899A (zh) * | 2007-10-31 | 2009-05-06 | 北大方正集团有限公司 | 实现发布、分发的方法和系统 |
CN101415010A (zh) * | 2008-11-26 | 2009-04-22 | 涂彦晖 | Web浏览装置及其操作方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012116582A1 (zh) * | 2011-02-28 | 2012-09-07 | 中兴通讯股份有限公司 | 一种p2p内容分发的方法和系统 |
CN105787091A (zh) * | 2016-03-16 | 2016-07-20 | 合网络技术(北京)有限公司 | 支持多终端的内容发布系统及方法 |
CN105787091B (zh) * | 2016-03-16 | 2019-11-08 | 合一网络技术(北京)有限公司 | 支持多终端的内容发布系统及方法 |
CN108958900A (zh) * | 2017-05-18 | 2018-12-07 | 腾讯科技(深圳)有限公司 | 一种任务发布方法和任务发布系统 |
CN108877188A (zh) * | 2018-05-17 | 2018-11-23 | 济南诚博信息科技有限公司 | 一种环保数据并发采集及多网络发布方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11146567B2 (en) | Method and apparatus for information exchange over a web based environment | |
US10484455B2 (en) | Method and apparatus for information exchange over a web based environment | |
JP4671332B2 (ja) | ユーザ識別情報を変換するファイルサーバ | |
US20050108394A1 (en) | Grid-based computing to search a network | |
US20120226746A1 (en) | Method and Apparatus for Information Exchange Over a Web Based Environment | |
US10656972B2 (en) | Managing idempotent operations while interacting with a system of record | |
US20110153606A1 (en) | Apparatus and method of managing metadata in asymmetric distributed file system | |
CN107888666B (zh) | 一种跨地域数据存储系统以及数据同步方法和装置 | |
US20190245912A1 (en) | Optimizing internet data transfers using an intelligent router agent | |
EP2805257A1 (en) | Managing font distribution | |
TW201205320A (en) | Optimizing data cache when applying user-based security | |
CN102984277B (zh) | 防止恶意连接的系统和方法 | |
CN101969462A (zh) | 数据发布系统和数据发布方法 | |
US20080126361A1 (en) | Methods, apparatus and system for providing and retrieving web contents | |
CN107276914B (zh) | 基于cmdb的自助资源分配调度的方法 | |
CN104125294A (zh) | 一种大数据安全管理方法和系统 | |
CN108112268A (zh) | 管理与自动扩展组相关的负载平衡器 | |
US20240223641A1 (en) | Method and Apparatus For Information exchange Over a Web Based Environment | |
CN114124981B (zh) | 一种云存储数据直传管理方法、云传输管理平台及系统 | |
CN106940712A (zh) | 序列生成方法与设备 | |
KR101379105B1 (ko) | 클라우드 컴퓨팅 서비스 제공 시스템 및 방법 | |
US20090234858A1 (en) | Use Of A Single Service Application Instance For Multiple Data Center Subscribers | |
CN113168405A (zh) | 数据库管理服务提供系统 | |
CN103685453B (zh) | 一种云存储系统中元数据的获取方法 | |
CN102904742A (zh) | 对可执行节点的操作方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110209 |