CN106528607A - Pdm系统中属性数据与文件数据分离后一致性的保证方法 - Google Patents

Abstract

本发明涉及一种PDM系统中属性数据与文件数据分离后一致性的保证方法。文件系统的事务处理与数据库的事务处理关联起来，合并为一致性的事务，在数据库存储的客户端将数据库事务处理的接口进行封装或重载，在客户端数据库事务处理中嵌入文件系统处理事务，所有的PDM客户端业务请求都采用规定的接口；文件系统通过监控客户端对于数据库的事务的操作，将数据库事务处理与文件系统处理文件进行同步，并根据事务状态和文件请求操作的类型来控制文件的冗余度并标识文件的事务状态，将数据库事务控制的影响范围扩大到文件服务器中的文件中。本方法在保证PDM系统基本功能不受影响的前提下，需要变动的代码量较小；由于大数据从数据库中剥离，数据库的计算压力明显减小，产品的性能得到了很大程度的提升。

Description

PDM系统中属性数据与文件数据分离后一致性的保证方法

技术领域

本发明涉及离散制造业的PDM工艺管理系统，具体涉及一种PDM系统中属性数据与文件数据分离后一致性的保证方法。

背景技术

离散制造业的PDM工艺管理系统，多基于数据库系统的两层或者三层架构研发，需要管理各种文档性的技术资料，如：零部件图纸、仿真AVI、物料清单、装配清单、工装信息等。如：三维图纸，文件大小动则几百兆甚至几个G，放入数据库系统，严重占用数据库的管理空间，同时访问速度也很受影响。当文件到达一定的数量级后，企业常常采用文件柜的方式将文件从数据库里剥离出来，单独使用文件系统进行管理。这样能大量减轻数据库的压力，进而达到提升PDM工艺管理系统的性能的目的。

采用文件系统辅助存储PDM系统中的大字段数据(文件)能达到优化整体系统的性能，原数据库系统采用数据库事务来保证文件的一致性。现在文件系统中也需要建立事务机制来保证文件系统中的文件的一致性，否则处理并发业务或文件上传后再进行回滚的业务操作会引起文件丢失、版本不一致、或被错误修改、无法回滚等一系列事务相关的问题。

将文件从数据库中剥离后使用相对独立的文件系统进行管理，必然会导致了文件数据与数据库数据的分离——这两种数据分离后，如何保证这两种数据的一致性是一个亟待解决的问题，否则系统将不能正常的运行。

现有的处理问题方案：1.在文件系统中建立事务机制、封装事务处理接口供文件系统客户端调用；2.在应用系统(如PDM)中根据业务的需要在代码中嵌入事务处理接口——开启事务、提交事务、回滚事务、关闭事务。

现有解决方案的缺点：使用这种系统的一般是产品的业务比较复杂的MIS系统，事务使用频繁，并且这类系统会随着业务量的提升导致代码量也很庞大。如果引入文件系统，则需要改动大量的代码，需要极大的工作量。

例如：PDM系统中零部件对象管理的内容通常包括零部件结构属性数据和设计图纸数据两个部分。一套零部件结构进行版本变更之后其结构属性和图纸都有可能被修改，并且两个数据从业务上看是一个整体。当设计图纸数据使用文件系统进行存储管理之后，为保证图纸和结构属性数据的一致性，通常的做法是：在向数据库提交结构属性数据之后，依赖文件系统的准确性，调用文件系统上传文件的接口，将文件的处理过程在文件系统中做一个预处理，在完成的文件处理过程之后，将文件系统中预处理过的文件变更为正式文件。

虽然在处理完数据库业务之后立即处理文件系统的业务，分成两个业务顺序处理。然而从逻辑上看，应该是一个业务,文件系统的处理结果应该影响到前面数据库业务处理的情况。比如：文件系统提交文件失败，这时候前面的数据库处理业务应该回退，否则会造成数据库数据与文件系统中数据的不一致。

由于文件系统在网络中传输的文件相对较大，出现网络故障的概率高于非文件系统，一旦由于网络问题或文件系统响应不及时，可能会造成设计图纸文件未正常上传到文件系统中，导致图纸文件的丢失。针对这种情况的通用处理是：对提交上传文件之后再多次检测确认文件是否已正确处理，这种额外的处理又会影响一定的性能,而且算法较为复杂，不易于维护。

上面提到的问题已经较为复杂，当影响因素增加“多用户协作”后，复杂度将成指数上升。这导致“事后检测确认文件是否被正确处理”这个算法的逻辑很复杂。一个算法的复杂度到达一定程度之后，出现缺陷的可能性就会提高，维护的难度就会增加，对于软件工程来说是一个难题。

如果按照现有的这种技术实现方案来改造PDM系统，对于每一个业务的处理都将分成了两个部分：数据库数据处理和文件柜数据处理。影响范围大，改造难度大，开发代价大，成本高。

发明内容

本发明的目的是针对背景技术中为解决采用文件系统来提升PDM系统性能的解决方案中出现的数据一致性保证问题，提供一种PDM系统中属性数据与文件数据分离后一致性的保证方法，该方法影响范围小、并且更高效。

为实现本发明目的，本发明的技术解决方案是：PDM系统中属性数据与文件数据分离后一致性的保证方法是：文件系统的事务处理与数据库的事务处理关联起来，合并为一致性的事务，在数据库存储的客户端将数据库事务处理的接口进行封装或重载，所有的PDM客户端业务请求都采用规定的接口；文件系统通过监控客户端对于数据库的事务的操作，将数据库事务处理与文件系统处理文件进行同步，并根据事务状态和文件请求操作的类型来控制文件的冗余度并标识文件的事务状态，将数据库事务控制的影响范围扩大到文件服务器中的文件中。

所述文件系统的实现过程包括：通用文件操作的处理、多人协作过程中冲突的解决方法以及文件安全性保障机制的建立三个部分。

所述通用文件操作的处理包括文件上传、下载和删除文件请求操作，根据PDM系统业务级的操作还包括新增图纸文件、删除图纸文件、修改图纸文件、查看图纸文件操作。

所述新增图纸文件实现过程包括：

涉及到事务处理时，先将新增文件上传到文件服务器；

如果事务提交，先锁定文件，前正式文件处理为历史文件，将新增文件更新正式文件，完成之后再进行解锁；

如果事务回滚，直接将新增的文件删除，原文件保持不变；

当不涉及到事务处理时，直接将新增文件上传到文件服务器，上传完毕之后锁定文件，将前正式文件处理为历史文件，新增文件更新为正式文件；解锁。

所述删除图纸文件实现过程包括：

涉及到事务处理时，先将文件服务器上的文件备份，并将备份文件设置为待删文件；当事务提交，先锁定文件，将待删文件更新为历史文件，并删除正式文件，再进行解锁；最后记录删除文件记录；

涉及到非事务处理时，需要先锁定文件服务器上的文件，并将文件修改为历史文件，最后解锁；记录删除文件记录。

所述删除图纸文件实现过程还包括：

“删除文件”清理机制：根据删除文件记录定期的整理文件服务器中的历史文件，根据历史文件的保质期进行清理文件服务器中垃圾数据。

所述修改图纸文件实现过程包括：

涉及到事务处理时，先上传修改文件至文件服务器；

如果事务提交，先锁定文件，将正式文件处理为历史文件，并将修改文件更新为正式文件；再解锁；如果事务回滚，直接删除修改文件；

涉及的是非事务处理时，先锁定文件服务器上的文件，将正式文件处理为历史文件，最后将修改文件更新为正式文件；解锁。

所述修改图纸文件实现过程还包括：

“修改文件”清理机制：在文件服务器配置的冗余度范围内，处理预留的历史文件的数量，将垃圾文件进行清理。

所述多人协作过程中冲突的解决方法步骤是：

新增文件至文件服务器，凭借文件的唯一标识防止多人同时上传同一主键信息的文件；

获取在文件服务器上正在更新的文件，根据交互特性选择将最新备份的文件传回或者等待更新完毕之后获取最新文件；

删除文件服务器上的文件，如果被删除文件被锁定，返回被锁定状态，并根据删除命令的参数直接删除文件或等待文件被解锁再删除；

修改文件之前应将文件进行锁定，防止文件被删除或他人修改。

所述文件安全性保障机制的建立步骤包括：

建立文件找回机制：所有的文件系统上的文件操作都记录在文件服务器的自述性记录文件中，这些记录包括有具体的用户发起的事务请求过程；根据跟踪文件的记录变迁，从文件系统的备份系统中恢复出文件的历史版本。

本发明的有益效果是：本方法利用数据库事务的健壮性、稳定性,将文件系统的事务处理与数据库的事务处理关联起来，合并为一致性的事务，达到文件系统稳定、可靠、高效地管理；能够较快的辅助传统的PDM厂商完成PDM产品由数据库管理大字段数据到由文件系统进行管理大字段数据的转变。能较快的完成开发过程，提高的PDM产品的性能。

本方法适用于业务中心为数据库的MIS系统，如PDM系统，这类系统对事务的处理方式是直接交由DBMS(数据库管理系统)对事务进行接管。

本方法编码容易，工作量小，直接重载数据库事务处理的接口，在这些接口中嵌入文件系统的事务处理客户端接口调用；无需跟踪业务，避免了大量的代码；使得文件系统在pdm的性能优化解决方案中的推行更顺利，进而达到优化性能的目的。

本方法在保证PDM系统基本功能不受影响的前提下，需要变动的代码量较小。由于大数据从数据库中剥离，数据库的计算压力明显减小，产品的性能得到了很大程度的提升(提升的效果与数据库中数据的规模相关)。

附图说明

图1是分布式文件系统结构图。

具体实施方式

下面结合附图对本发明做进一步地说明。

PDM工艺管理系统，当文件到达一定的数量级后，企业常常采用文件柜的方式将文件从数据库里剥离出来，单独使用文件系统进行管理，如图1所示，PDM系统中属性数据与文件数据分离后一致性的保证方法，文件系统通过监控客户端对于数据库的事务的操作，将数据库事务处理与文件系统处理文件进行同步，并根据事务状态和文件请求操作的类型来控制文件的冗余度并标识文件的事务状态，将数据库事务控制的影响范围扩大到文件服务器中的文件中；使得分开存储在数据库和文件系统这两个不同地方数据实际上在整个解决方案中共用一个事务，逻辑上达到一致性。

对图1中的客户端进行改造：为了缩小影响范围控制代码量，需要对客户端进行改造，将数据库事务处理的接口进行封装或重载，所有的PDM客户端业务请求都采用规定的接口；这样能将需要修改的数据层代码与业务层隔开；符合三层架构的要求，代码逻辑也更清晰。

文件系统的实现过程包括通用文件操作的处理、多人协作过程中冲突的解决方法以及文件安全性保障机制的建立三个部分。

通用文件操作的处理：常见的文件请求操作有上传、下载和删除文件，是一般文件系统的基本功能。而根据PDM系统业务级的操作又分为新增图纸文件、删除图纸文件、修改图纸文件、查看图纸文件这四种；其中查看图纸文件因为不涉及到文件内容的改变，不属于影响范围。

下面分别就新增图纸文件、删除图纸文件、修改图纸文件讲述数据库事务扩大至文件系统时，文件系统针对这些业务操作所进行的联动反应，这些联动反应能在保持文件系统中必要的文件冗余度的同时，解决多人协作处理的问题。

新增图纸文件：

涉及到事务处理时，先将新增文件上传到文件服务器；

如果事务提交，先锁定文件，前正式文件处理为历史文件，将新增文件更新正式文件,完成之后再进行解锁；

如果事务回滚，直接将新增的文件删除，原文件保持不变；

当不涉及到事务处理时，直接将新增文件上传到文件服务器，上传完毕之后锁定文件，将前正式文件处理为历史文件，新增文件更新为正式文件；解锁。

删除图纸文件：

涉及到事务处理时，先将文件服务器上的文件备份，并将备份文件设置为待删文件；

当事务提交，先锁定文件，将待删文件更新为历史文件，并删除正式文件，再进行解锁；最后记录删除文件记录；

涉及到非事务处理时，需要先锁定文件服务器上的文件，并将文件修改为历史文件，最后解锁；

记录删除文件记录；

“删除文件”清理机制：根据删除文件记录定期的整理文件服务器中的历史文件，根据历史文件的保质期进行清理文件服务器中垃圾数据。

修改图纸文件：

涉及到事务处理时，先上传修改文件至文件服务器；

如果事务提交，先锁定文件，将正式文件处理为历史文件，并将修改文件更新为正式文件。再解锁；

如果事务回滚，直接删除修改文件；

涉及的是非事务处理时，先锁定文件服务器上的文件，将正式文件处理为历史文件，最后将修改文件更新为正式文件；解锁；

“修改文件”清理机制：在文件服务器配置的冗余度范围内，处理预留的历史文件的数量，将垃圾文件进行清理。

事务处理过程中出现的多人协作冲突及其解决方法：

新增文件至文件服务器，凭借文件的唯一标识防止多人同时上传同一主键信息的文件；获取在文件服务器上正在更新的文件，根据交互特性选择将最新备份的文件传回或者等待更新完毕之后获取最新文件；

删除文件服务器上的文件，如果被删除文件被锁定，返回被锁定状态，并根据删除命令的参数直接删除文件或等待文件被解锁再删除；

修改文件之前应将文件进行锁定，防止文件被删除或他人修改。

文件安全性保证机制，建立文件找回机制，文件加密与一定程度冗余度的保证。

所有的文件系统上的文件操作都记录在文件服务器的自述性记录文件中，这些记录包括有具体的用户发起的事务请求过程。根据跟踪文件的记录变迁，可从文件系统的备份系统中恢复出文件的历史版本；支撑文件系统的管理与数据的安全管理。

采用本发明的技术方案能辅助完成由数据库中文件转入文件系统管理的转变，能有效的均衡数据库的计算压力，提高产品的性能；算法清晰、便于开发复用，能减少开发周期。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.PDM系统中属性数据与文件数据分离后一致性的保证方法，其特征是文件系统的事务处理与数据库的事务处理关联起来，合并为一致性的事务，在数据库存储的客户端将数据库事务处理的接口进行封装或重载，在客户端数据库事务处理中嵌入文件系统处理事务，所有的PDM客户端业务请求都采用规定的接口；文件系统通过监控客户端对于数据库的事务的操作，将数据库事务处理与文件系统处理文件进行同步，并根据事务状态和文件请求操作的类型来控制文件的冗余度并标识文件的事务状态，将数据库事务控制的作用范围扩大到文件服务器中的文件中。

2.根据权利要求1所述的PDM系统中属性数据与文件数据分离后一致性的保证方法，其特征是所述文件系统的实现过程包括：通用文件操作的处理、多人协作过程中冲突的解决方法以及文件安全性保障机制的建立三个部分。

3.根据权利要求2所述的PDM系统中属性数据与文件数据分离后一致性的保证方法，其特征是所述通用文件操作的处理包括文件上传、下载、更新和删除文件请求操作，根据PDM系统业务级的操作还包括新增图纸文件、删除图纸文件、修改图纸文件、查看图纸文件操作。

4.根据权利要求2所述的PDM系统中属性数据与文件数据分离后一致性的保证方法，其特征是所述新增图纸文件实现过程包括：

涉及到事务处理时，先将新增文件上传到文件服务器；

如果事务提交，先锁定文件，先前正式文件处理为历史文件，将新增文件更新正式文件，完成之后再进行解锁；

如果事务回滚，直接将新增的文件删除，原文件保持不变；

当不涉及到事务处理时，直接将新增文件上传到文件服务器，上传完毕之后锁定文件，将前正式文件处理为历史文件，新增文件更新为正式文件；解锁。

5.根据权利要求2所述的PDM系统中属性数据与文件数据分离后一致性的保证方法，其特征是所述删除图纸文件实现过程包括：

涉及到事务处理时，先将文件服务器上的文件备份，并将备份文件设置为待删文件；当事务提交，先锁定文件，将待删文件更新为历史文件，并删除正式文件，再进行解锁；最后记录删除文件记录；

涉及到非事务处理时，需要先锁定文件服务器上的文件，并将文件修改为历史文件，最后解锁；记录删除文件记录。

6.根据权利要求2所述的PDM系统中属性数据与文件数据分离后一致性的保证方法，其特征是所述删除图纸文件实现过程还包括：

“删除文件”清理机制：根据删除文件记录定期的整理文件服务器中的历史文件，根据历史文件的保存期进行清理文件服务器中垃圾数据。

7.根据权利要求2所述的PDM系统中属性数据与文件数据分离后一致性的保证方法，其特征是所述修改图纸文件实现过程包括：

涉及到事务处理时，先上传修改文件至文件服务器；

如果事务提交，先锁定文件，将正式文件处理为历史文件，并将修改文件更新为正式文件；再解锁；如果事务回滚，直接删除修改文件；

涉及的是非事务处理时，先锁定文件服务器上的文件，将正式文件处理为历史文件，最后将修改文件更新为正式文件；解锁。

8.根据权利要求7所述的PDM系统中属性数据与文件数据分离后一致性的保证方法，其特征是所述修改图纸文件实现过程还包括：

“修改文件”清理机制：在文件服务器配置的冗余度范围内，处理预留的历史文件的数量，将垃圾文件进行清理。

9.根据权利要求2所述的PDM系统中属性数据与文件数据分离后一致性的保证方法，其特征是所述多人协作过程中冲突的解决方法步骤是：

新增文件至文件服务器，凭借文件的唯一标识防止多人同时上传同一主键信息的文件；

获取在文件服务器上正在更新的文件，根据交互特性选择将最新备份的文件传回或者等待更新完毕之后获取最新文件；

删除文件服务器上的文件，如果被删除文件被锁定，返回被锁定状态，并根据删除命令的参数直接删除文件或等待文件被解锁再删除；

修改文件之前应将文件进行锁定，防止文件被删除或他人修改。

10.根据权利要求2所述的PDM系统中属性数据与文件数据分离后一致性的保证方法，其特征是所述文件安全性保障机制的建立步骤包括：

建立文件找回机制：所有的文件系统上的文件操作都记录在文件服务器的自述性记录文件中，这些记录包括有具体的用户发起的事务请求过程；根据跟踪文件的记录变迁，从文件系统的备份系统中恢复出文件的历史版本。