CN1581188A - 一种大容量电子邮件的存储管理方法及其系统 - Google Patents

Abstract

本发明公开了一种大容量电子邮件的存储管理方法及系统，首先设置一个与邮件服务器模块相连的邮件管理模块，由该邮件管理模块对物理存储器信息、用户信息和邮件信息进行集中管理；用户开户时，邮件管理模块分析存储信息，按设定的分配策略为其指定邮件存放的物理存储器和存储分区；投递邮件时，先进行鉴权，鉴权通过后，邮件管理模块根据为该用户分配的物理存储器和分区，向邮件服务器返回该邮件的存储位置信息，再通过存储代理模块将该邮件存放在指定的位置。本发明通过邮件管理模块对存储器、用户和邮件信息的集中管理和分析、监控，可智能地调整邮件分布，实现整体系统的负载均衡和平滑扩容，使整体的系统资源使用率得到了提高。

Description

一种大容量电子邮件的存储管理方法及其系统

技术领域

本发明涉及一种大容量电子邮件的存储管理系统及方法。尤其涉及包括多个邮件服务器模块和多个物理存储器的电子邮件存储管理系统及相应的方法。

背景技术

自从互联网发明以来，电子邮件一直是互联网上应用最多的服务之一。人们越来越多地依赖电子邮件进行交流。在近几年来，随着多媒体邮件技术的发展，人们已经可以通过移动终端上多媒体内容的信息交互，来实现随时随地的可视、可听的互动交流，这种互动交流需要大容量的电子邮件系统的支持。

对于大容量的商用电子邮件服务(支持多媒体邮件和通用邮件)，由于邮件客户端数量非常庞大，对提供电子邮件服务的可靠性、可扩展性等性能的要求都很高。此外，为了支持大量邮件客户端的邮件存储和多邮件客户端并发访问，一般采用多台邮件服务器和多台物理存储器同时提供服务。这样，如何进行邮件处理性能和存储空间上的平滑扩容和管理就变得十分重要。

在邮件的物理存储形式中，DAS(Direct Attached Storage，直接连接存储)和SAN(Storage Area Network，存储区域网络)采用Block IO，但难以均衡地将一个磁盘分区以文件系统的方式同时提供给多个电子邮件服务器使用从而实现多点冗余的特性，而且很难达到邮件处理性能和存储容量单独增长(邮件服务器与物理存储器)。因此为保护邮件客户端投资，多采用NAS(Network Attached Storage，网络附加存储)作为主要的存储设备。

在目前较为成熟的邮件存储和组织方式中，传统Unix使用单一目录来保存所有邮件客户端的邮件，如var/spool/mail方式，所有邮件客户端的信件都被存放在/var/spool/mail或者是/var/mail的目录下，对每个邮件客户端来讲无论有多少邮件都是被存放为以邮件客户端名命名的单个文件中，然而这种方式的缺点在于邮件客户端数量较多时文件系统的性能急剧下降。

在使用多级目录时，每个目录下的文件数量有限，可以降低打开文件时的系统消耗，或者不再使用简单的文件来保存邮件，而采用某一种封装形式，如Mailbox方式。Mailbox方式是指使用～user/Mailbox方式替换UNIX默认的/var/spool或是/var/spool/mail存放方式，如果采用这种方式的话每个邮件客户端的所有邮件都存放在自己家目录下的一个名为Mailbox文件的文件中，然而使用MailBox方式时，因为所有的邮件都保存在同一个文件中，因此进行邮件操作就必须加锁，以保证没有访问冲突，这就使得它不适合NFS存储方式即文件共享方式。

Qmail提出了一种新的更加可靠的邮件存储方式MailDir，采用这种存储方式的时候，每个邮件客户端的每封邮件都是单独存放在自己的独享的邮件目录中的，在获得稳定性的同时，Maildir这种存储方式在速度上和传统的Mailbox方式不相上下，然而MailDir的方式在邮件的管理上仍显不足，如缺少邮件多服务器之间的均衡存放，邮件没有统一管理，而是存放于自己的目录中，邮件系统难以监控等。

由此可见，如何实现大容量电子邮件有效的存储管理是邮件服务系统面临的重要问题。在大容量邮件系统环境下，如何对邮件客户端帐号和邮件进行集中管理，以及如何有效地管理多个服务器、多个物理存储器，实现负载均衡和设备的充分利用，是目前的邮件系统的需要解决的一个难题。

发明内容

本发明要解决的技术问题是提供一种大容量电子邮件的存储管理方法，可以对物理存储器、用户和邮件信息进行集中管理，并根据存储信息实现对负载的智能调度。本发明还要提供一种可实现上述方法的系统。

为了解决上述技术问题，本发明提供了一种大容量电子邮件的存储管理方法，包括以下步骤：

(a)设置一个与邮件服务器模块相连的邮件管理模块，由该邮件管理模块对物理存储器信息、用户信息和邮件信息进行集中管理；

(b)用户开户时，所述邮件管理模块分析所存储的信息，按设定的分配策略为该用户指定邮件存放的物理存储器和存储分区；

(c)开户后，用户通过邮件客户端投递邮件时，所述邮件服务器发出对该客户端的鉴权请求；

(d)鉴权通过后，所述邮件管理模块根据为所述指定的存储器和存储分区，向所述邮件服务器返回该邮件的存储位置信息；

(e)所述邮件服务器通过存储代理模块将该邮件信息存放在指定位置，并向客户端返回响应。

上述方法可具有以下特点：所述步骤(b)中的分配策略是：在每个物理存储器达到指定的处理能力后，再使用其它的物理存储器；或者是按照负载均分，即根据所述邮件管理模块中存储有物理存储器邮件数量、处理能力或存储空间信息，使各物理存储器邮件服务数量基本一致，按照各物理存储器处理能力均分或者按照物理存储器存储空间均分。

上述方法可具有以下特点：所述步骤(b)中，邮件管理模块还为用户分配一个统一格式的用户标识，作为检索该用户邮件信息的索引信息。

上述方法可具有以下特点：所述步骤(d)中，邮件管理模块向所述邮件服务器返回的位置信息包含在为该邮件分配的唯一的邮件标识中，该位置信息中至少包含存储分区编号、作为目录名的用户标识和该邮件的文件名，所述步骤(e)中存储代理模块是根据该邮件标识解析出邮件存放位置。进而所述客户端发起的邮件检索、提取和删除操作都可以根据该邮件标识来进行。

上述方法可具有以下特点：所述步骤(e)中，在物理存储器上存放的邮件信息包括标题、正文和附件的信息；而在存储完成后，所述邮件管理模块还根据所述邮件服务器模块的请求，将所述邮件的属性信息存储到数据库供检索，同时更新相应的邮件数量统计。使检索和统计信息与要操作的文件单独存放，避免了邮件全部保存于数据库时的频繁文件操作。

上述方法可具有以下特点：所述步骤(d)中，对客户端的鉴权是所述邮件管理模块根据数据库的用户信息记录和客户端提供的鉴权信息来进行的。

为了解决上述技术问题，本发明提供的一种大容量电子邮件的存储管理系统包括邮件客户端，多个与邮件客户端交互的邮件服务器模块，响应所述邮件服务器请求完成文件操作的存储代理模块，以及多个存储邮件文件的物理存储器，其特征在于，还包括与所述邮件服务器模块连接的邮件管理模块，该邮件管理模块进一步包含数据库单元、数据库管理单元和调度单元，其中：

所述数据库单元，用于保存物理存储器信息、用户信息和邮件信息；

所述数据库管理单元，用于根据操作更新所述数据库单元中的存储器信息、用户信息和邮件信息；

所述调度单元，包括存储位置分配子单元，用于在用户开户时，根据所述数据库单元中的信息和分配策略(如负载均衡策略)，给该用户指定存放邮件的存储器和存储分区。

进一步地，为了方便对用户所属邮件的管理和检索，所述调度单元还可包括邮件标识分配子单元，用于在用户投递邮件时，为该邮件分配一个唯一的邮件标识，并发送到所述邮件服务器模块。

进一步地，可以将鉴权单元设置在所述邮件管理模块中，用于接收所述邮件服务器模块的鉴权请求，根据所述数据库单元中的用户信息记录进行鉴权，并返回鉴权结果。

进一步地，可以将检索单元设置在所述邮件管理模块中，用于接收所述邮件服务器模块的检索请求，检索该用户的相关邮件信息，并返回检索结果。

进一步地，可以将用户注册单元设置在所述邮件管理模块中，用于与邮件服务器配合，完成用户开户、销户、信息修改操作。

进一步地，上述系统还可包括网络负载均衡调度模块，用于根据各邮件服务器模块的忙闲程度将邮件客户端的请求均匀地发送至各邮件服务器模块。

上述系统中，物理存储器和邮件服务器模块以多对多的方式分离设置，可以单独扩容和在线升级。另外，在增加物理存储器时，只要在邮件管理模块加入该存储器的分区位置、存储空间和处理能力等属性信息，即可将新开户的用户邮件存放在新的物理存储器上，可以使用户数量在线平滑增长，并实现按需购置物理存储器而不影响原来的业务。同时，在容易实现邮件存储的平滑扩容的同时，也可根据需要作用户的数据迁移。

由上可知，本发明提出的大容量电子邮件的存储管理系统和方法，便于邮件处理能力和存储空间的单独扩展，并通过建立专用的邮件管理模块，对存储器、用户和邮件的信息进行集中地管理，并进行分析、监控，使系统可以根据邮件系统的各种因素智能地调整邮件分布，实现整体系统的负载均衡和平滑扩容，使整体的系统资源使用率得到了提高。可广泛应用于电信等领域中的多媒体邮件存储管理技术。

附图说明

图1是本发明实施例系统的结构示意图。

图2是本发明实施例邮件客户端正常投递邮件的流程示意图。

图3是本发明实施例邮件客户端正常检索邮件的流程示意图。

图4是本发明实施例邮件客户端正常提取邮件的流程示意图。

具体实施方式

如图1所示为本发明实施例系统的结构示意图。该系统包括网络负载均衡调度模块、多个邮件服务器模块和多个存储代理模块、物理存储器群组和邮件管理模块。

网络负载均衡调度模块和邮件管理模块分别和各个邮件服务器模块连接，邮件服务器模块与存储代理模块一一对应相连，存储代理模块则分别与物理存储器群组中的各个物理存储器连接。该系统中，邮件服务器模块和物理存储器群组分离设置，可以分别对存储空间和邮件服务器进行扩容，实现邮件处理性能与存储空间的分别单独扩展。另外，邮件服务器与物理存储器采用多对多的存储结构，可以单独增加邮件服务器，也可以单独增加物理存储器，而不影响原有业务的运行，因而可以实现在线升级。

上述系统中：

所述网络负载均衡调度模块，用于根据各个邮件服务器模块的忙闲程度将邮件客户端的请求均匀地发送至各邮件服务器模块。

所述邮件服务器模块，用于响应邮件客户端的请求，与邮件管理模块配合完成用户开户、鉴权、邮件检索等操作，与存储代理模块配合完成邮件存储、提取、删除等文件操作。

所述存储代理模块是一个文件服务模块，用于响应邮件服务模块的文件服务请求，解析出邮件体的存储位置，完成邮件体的存储、读取和删除等文件操作，然后向邮件服务器返回文件操作结果。

所述物理存储器群组包含有多个物理存储器，每个物理存储器包含有多个磁盘分区，每个磁盘分区对应一定的存储空间、文件处理能力，并可综合这些因素加权分配各存储器的用户邮件数量，这些都可以作为参考的服务能力指标。在本实施例中，每个用户的每封邮件的邮件体(包括标题、正文和附件等信息)都对应一个独立的邮件文件，一个用户的所有邮件都存储在指定物理存储器分区的以该用户ID命名的目录下。

所述邮件管理模块，用于在多个物理存储器间均衡地调度邮件的存储位置，保证各物理存储器的空间和处理能力的均衡，进一步包括数据库单元、数据库管理单元、用户注册单元、调度单元、鉴权单元和检索单元，其中：

所述数据库单元，用于保存物理存储器信息、用户信息和邮件信息，其中，物理存储器信息包含物理存储器的数量、分区数目、分区容量、各分区的邮件数等信息；用户信息包含各用户的用户ID、地址、联系方式、账号、用户名、密码等属性信息及统计信息，如果是移动用户，还包含手机号码和SIM卡上的ID号；邮件信息包含邮件ID、存储位置、投递日期、已读未读状态、标题、邮件大小、邮件头等属性信息，以及总邮件数、新邮件数等统计信息。

所述数据库管理单元，用于根据操作带来的物理存储器信息、用户信息和邮件信息的变化，更新数据库中的相应信息。例如，增加新的物理存储器时相应增加物理存储器数量、存储分区数据、分区容量、分区处理能力等信息；在开户、销户时增加或删除相应用户信息及附属的邮件信息，或者修改用户的属性；在投递邮件完成后在数据库中记录邮件ID及邮件标题、日期、大小等属性信息，删除邮件时则清除该邮件的信息；特别地，在用户销户、投递或删除邮件时会在数据库单元中更新相应物理存储器的邮件数量信息，作为下一用户开户时确定邮件存放位置所要考虑的加权参数；

所述用户注册单元，用于与邮件服务器配合，完成用户开户、销户、信息修改等操作；

所述调度单元进一步由存储位置分配子单元和邮件标识分配子单元构成，其中：

存储位置分配子单元，用于在用户开户时，利用数据库单元中的物理存储器信息和在该物理存储器上存储的邮件信息，给该用户分配统一格式的用户标识(用户ID)和存储器编号、存储分区编号，表明该用户的邮件存放在哪个存储器的哪个分区上，该用户ID既可作为用户排序或者组管理的标识，又可按用户的ID划分目录，作为存放该用户邮件文件的目录名；

本实施例允许管理方从下述两种分配方法中进行选择：

第一种，按每个物理存储器指定的处理能力分配，即先在一个物理存储器上存储邮件，当此物理存储器存放的邮件量达到指定处理能力后，再在另一个物理存储器上存放邮件，这样便于用户按需购置物理存储器。

第二种，按负载均分的原则分配，本实施例是按照各物理存储器邮件服务数量基本一致的方式来分配，保证多个物理存储器的处理能力和存储空间平衡，从而使各物理存储器的访问数量基本相同，达到负载均衡的效果。由于文件操作是邮件服务中较为耗时的操作，做到负载均衡可以提高现有设备的利用率，从而达到更高的性能。负载均分原则也可以采用按物理存储器处理能力或存储空间均分等其它方式，优先在较为空闲的物理存储器上存储新用户的邮件。

邮件标识分配子单元，用于在用户投递邮件时，为该邮件分配一个唯一的数字形式的邮件标识(邮件ID)，并发送到相应的邮件服务器模块；本实施例中，邮件ID中直接指明了该邮件的具体存储装置，包含物理存储器号、存储分区号、一级目录名、二级目录名和文件名，其中物理存储器号、存储分区号在该用户开户时已分配，一级目录名是在该分区存储邮件的各用户共同的上级目录，二级目录名为用户ID，文件名则由标识该邮件体的邮件体ID组成，用户检索、提取、删除邮件时，都限据该邮件的邮件ID来进行；

所述鉴权单元，用于接收邮件服务器模块发来的鉴权请求，根据数据库用户属性信息中的记录进行鉴权，判断该客户端是否有权限使用该项服务，并返回鉴权结果；

所述检索单元，用于接收邮件服务器模块发来的检索请求，根据用户ID检索该用户的邮件信息，包括总邮件数、新邮件数、邮件日期、邮件ID等，并返回检索结果。

为了进一步说明本发明对用户和邮件集中管理，可实现负载均衡和平滑扩容等的技术效果，下面将在上述系统的基础上，描述邮件客户端正常投递邮件、检索邮件以及提取的操作流程。在系统的描述中已经涉及的存储位置指定、邮件标识分配、邮件体的存储方式等的具体方法在此不再赘述。

图2是用户通过客户端投递邮件的流程图，前提是该用户已经在邮件管理模块的数据库中开户，邮件管理模块已经为其分配了用户ID和邮件的存储器编号、分区编号。如图所示，包括以下步骤：

步骤201，邮件客户端通过网络负载均衡调度模块，连接邮件服务器模块，并进行登录，提供帐号、密码或者手机号、SIM卡ID号等鉴权信息，要求进行存储操作；

步骤202，邮件服务器模块向邮件管理模块发起鉴权请求，携带所述鉴权信息；

步骤203，邮件管理模块根据所述鉴权信息和数据库的记录进行鉴权，如果数据匹配则鉴权通过，向邮件服务器模块返回鉴权成功的确认消息，同时携带为其分配的邮件ID，包含了物理存储器号、分区号、一级目录名、二级目录名和文件名等存储位置信息；

步骤204，邮件服务器模块向存储代理模块发送存储文件请求，要求按指定的邮件ID存储邮件体，包括标题、正文和附件等信息；

步骤205，存储代理模块从指定的邮件ID中拆分出其包含的存储位置信息，将其转换成邮件的物理位置进行存储，完成后向邮件服务器模块发回成功响应；

步骤206，邮件服务器模块向邮件管理模块发送存储邮件属性的请求，包括邮件标题、投递日期、大小等内容；

步骤207，邮件管理模块将所述邮件属性存储在数据库中，并更新相应的邮件数量统计，向邮件服务器发回成功响应；

步骤208，邮件服务器向邮件客户端发回成功响应，提示邮件投递完成。

图3是邮件客户端向邮件服务器正常检索邮件的流程图，如图所示，包括以下步骤：

步骤301，邮件客户端通过网络负载均衡调度模块，连接邮件服务器模块，并进行登录，提供鉴权信息，要求进行检索操作；

步骤302，邮件服务器模块向邮件管理模块发送鉴权和邮件检索请求；

步骤303，邮件管理模块对邮件服务器模块发来的请求进行鉴权，鉴权通过后，邮件管理模块根据用户ID(可通过帐号得到)找到该用户的邮件信息，包括总邮件数、新邮件数、邮件ID、邮件日期、标题等等，返回给邮件服务器模块；

步骤304，邮件服务器将该用户的邮件信息返回给邮件客户端。

图4是邮件客户端向邮件服务器正常提取邮件的流程图，前提是邮件客户端已经登录并通过鉴权，此流程可在检索后进行。如图所示，包括以下步骤：

步骤401，邮件客户端通过负载均衡调度模块向邮件服务器模块发送提取邮件请求，携带已经检索到的邮件ID；

步骤402，邮件服务器模块根据所述邮件ID向存储代理模块发送文件服务请求，要求提取对应于该邮件ID的邮件文件和信息；

步骤403，存储代理模块将邮件ID翻译成对应的物理存储分区、一级目录、二级目录、文件名，找到相应的文件，提取后将结果返回给邮件服务器；

步骤404：邮件服务器将结果返回给邮件客户端。

删除邮件的流程与此基本相同，只是在步骤403中存储代理模块执行的是删除操作。

从上述流程可以看出，本发明通过对邮件分配数字形式的邮件ID，可以更加智能地处理邮件标题和邮件正文、邮件附件的关系。在邮件管理模块的数据库单元中随邮件ID存放着邮件标题等属性信息，便于检索和统计，而邮件正文和附件只存放于物理存储器上单独的与邮件ID相对应的文件中，使邮件的大规模读写实现在操作系统的级别上，避免了邮件全部保存于数据库时的频繁文件操作，保证了系统的读写性能。

为了进一步地节省空间并减少网络带宽占用，提升电子邮件系统的整体性能，还可以在存储代理模块增加一个压缩单元，用于在存储邮件前对邮件体进行压缩。

综上所述，本发明提出的大容量电子邮件的存储管理系统和方法，便于邮件处理能力和存储空间的单独扩展，并通过建立专用的邮件管理模块，对存储器、用户和邮件的信息进行集中地管理，并进行分析、监控，使系统可以根据邮件系统的各种因素智能地调整邮件分布，实现整体系统的负载均衡和平滑扩容，使整体的系统资源使用率得到了提高。可广泛应用于电信等领域中的多媒体邮件存储管理技术。

Claims (15)

1、一种大容量电子邮件的存储管理方法，包括以下步骤：

(a)设置一个与邮件服务器模块相连的邮件管理模块，由该邮件管理模块对物理存储器信息、用户信息和邮件信息进行集中管理；

(b)用户开户时，所述邮件管理模块分析所存储的信息，按设定的分配策略为该用户指定邮件存放的物理存储器和存储分区；

(c)开户后，用户通过邮件客户端投递邮件时，所述邮件服务器发出对该客户端的鉴权请求；

(d)鉴权通过后，所述邮件管理模块根据为所述指定的存储器和存储分区，向所述邮件服务器返回该邮件的存储位置信息；

(e)所述邮件服务器通过存储代理模块将该邮件信息存放在指定位置，并向客户端返回响应。

2、如权利要求1所述的方法，其特征在于，所述步骤(b)中的分配策略是：在每个物理存储器达到指定的处理能力后，再使用其它的物理存储器；或者是按照负载均分。

3、如权利要求2所述的方法，其特征在于，所述邮件管理模块中存储有物理存储器邮件数量、处理能力或存储空间信息；所述负载均分策略是指：使各物理存储器邮件服务数量基本一致，按照各物理存储器处理能力均分或者按照物理存储器存储空间均分。

4、如权利要求1所述的方法，其特征在于，所述步骤(b)中，邮件管理模块还为用户分配一个统一格式的用户标识，作为检索该用户邮件信息的索引信息。

5、如权利要求4所述的方法，其特征在于，所述步骤(d)中，邮件管理模块向所述邮件服务器返回的位置信息包含在为该邮件分配的唯一的邮件标识中，该位置信息中至少包含存储分区编号、作为目录名的用户标识和该邮件的文件名，所述步骤(e)中存储代理模块是根据该邮件标识解析出邮件存放位置。

6、如权利要求5所述的方法，其特征在于，所述客户端发起的邮件检索、提取和删除操作都根据所述的邮件标识来进行。

7、如权利要求1所述的方法，其特征在于，所述步骤(e)中，在物理存储器上存放的邮件信息包括标题、正文和附件的信息。

8、如权利要求1所述的方法，其特征在于，所述步骤(e)中，在存储完成后，所述邮件管理模块还根据所述邮件服务器模块的请求，将所述邮件的属性信息存储到数据库供检索，同时更新相应的邮件数量统计。

9、如权利要求1所述的方法，其特征在于，所述步骤(d)中，对客户端的鉴权是所述邮件管理模块根据数据库的用户信息记录和客户端提供的鉴权信息来进行的。

10、一种大容量电子邮件的存储管理系统，包括邮件客户端，多个与邮件客户端交互的邮件服务器模块，响应所述邮件服务器请求完成文件操作的存储代理模块，以及多个存储邮件文件的物理存储器，其特征在于，还包括与所述邮件服务器模块连接的邮件管理模块，该邮件管理模块进一步包含数据库单元、数据库管理单元和调度单元，其中：

所述数据库单元，用于保存物理存储器信息、用户信息和邮件信息；

所述数据库管理单元，用于根据操作更新所述数据库单元中的存储器信息、用户信息和邮件信息；

所述调度单元，包括存储位置分配子单元，用于在用户开户时，根据所述数据库单元中的信息和分配策略，给该用户指定存放邮件的存储器和存储分区。

11、如权利要求10所述的系统，其特征在于，所述调度单元还包括邮件标识分配子单元，用于在用户投递邮件时，为该邮件分配一个唯一的邮件标识，并发送到所述邮件服务器模块。

12、如权利要求10所述的系统，其特征在于，所述邮件管理模块还包括鉴权单元，用于接收所述邮件服务器模块的鉴权请求，根据所述数据库单元中的用户信息记录进行鉴权，并返回鉴权结果。

13、如权利要求10所述的系统，其特征在于，所述邮件管理模块还包括检索单元，用于接收所述邮件服务器模块的检索请求，检索该用户的相关邮件信息，并返回检索结果。

14、如权利要求10所述的系统，其特征在于，所述邮件管理模块还包括用户注册单元，用于与邮件服务器配合，完成用户开户、销户、信息修改操作。

15、如权利要求10所述的系统，其特征在于，还包括网络负载均衡调度模块，用于根据各邮件服务器模块的忙闲程度将邮件客户端的请求均匀地发送至各邮件服务器模块。