CN110399337B

CN110399337B - 基于数据驱动的文件自动化服务方法和系统

Info

Publication number: CN110399337B
Application number: CN201910671988.7A
Authority: CN
Inventors: 台宪青; 马治杰; 阎克栋
Original assignee: Jiangsu IoT Research and Development Center
Current assignee: Jiangsu IoT Research and Development Center
Priority date: 2019-07-24
Filing date: 2019-07-24
Publication date: 2023-05-12
Anticipated expiration: 2039-07-24
Also published as: CN110399337A

Abstract

本发明提供一种基于数据驱动的文件自动化服务方法，其主要改进之处在于，通过监控并记录文件在其全生命周期中的演化，从中发现各文件之间的关系；基于所述关系，描绘出一幅完整的业务流程图，并根据业务流程图最终通过触发数据事件的方式实现文件的自动化处理。通过文件扩展属性实现对文件全生命周期的监控和记录，在文件扩展属性中，对数据文件和服务文件进行互相描述；通过文件扩展属性中记录的信息，发现各文件之间的关系。本发明可在业务流程不清楚的条件下，实现一套通用的自动化处理方法；同时该方法还支持文件价值评估、数据文件溯源、文件推荐、流程优化等多种应用。

Description

基于数据驱动的文件自动化服务方法和系统

技术领域

本发明涉及文件的自动化处理，尤其是一种基于数据驱动的文件自动化服务方法。

背景技术

现如今，随着物联网、大数据、云存储等技术的广泛应用，越来越多的数据文件、应用程序等被以文件的形式存储、部署于云平台中。这些文件根据不同的用途，大致可分为数据文件和服务文件两种。前者指用于存储具体内容信息的文件，如文本、图片等；后者指用于处理数据文件的软件工具，如应用程序、分析模型等。该些文件往往数量巨大、关系复杂，而且涉及多个学科、分属不同领域，同时用户群体众多、处理方式各异，造成文件处理的业务流程和各文件之间的关联关系不清楚，从而难以实现自动化处理。

发明内容

本发明的目的在于提供一种基于数据驱动的文件自动化服务方法和系统，可通过多种方式记录文件在其全生命周期中的演化信息，并从中发现各文件之间的关系，继而实现文件的自动化处理。本发明采用的技术方案是：

一种基于数据驱动的文件自动化服务方法，其主要改进之处在于，

通过监控并记录文件在其全生命周期中的演化，从中发现各文件之间的关系；基于所述关系，描绘出一幅完整的业务流程图，并根据业务流程图最终通过触发数据事件的方式实现文件的自动化处理。

进一步地，通过文件扩展属性实现对文件全生命周期的监控和记录，在文件扩展属性中，对数据文件和服务文件进行互相描述；通过文件扩展属性中记录的信息，发现各文件之间的关系。

进一步地，文件之间的关系包括：

串：一个数据文件依次被不同的服务文件处理之后，生成一系列新数据文件；

分：一个数据文件同时被不同的服务文件处理之后，生成不同的新数据文件；

并：数据文件经过“分”形成多个不同数据文件之后，又同时经过“串”形成一系列多个不同的新数据文件；

汇：若干数据文件经过相同或不同的服务文件处理之后，共同生成一个新数据文件；

比：若干数据文件经过相同或不同的服务文件处理之后，同时生成若干个类似但不同的新数据文件，用户可从中选择符合自己要求的数据文件。

进一步地，所述的基于数据驱动的文件自动化服务方法，具体包括以下阶段和步骤：

记录阶段，主要用于监控并记录文件的全生命周期；通过记录每个文件的使用情况，以便从中发现各文件之间的关系，包括两个步骤；

第一步，文件扩展属性初始化；当出现新加入的数据文件或服务文件时，针对不同的文件类型初始化不同的内容；

对于数据文件，在其文件扩展属性中初始化两部分内容：数据文件元数据和数据产品级别；

数据文件元数据：根据数据文件的类型，在其文件扩展属性中采用相应的元数据标准标记其元数据；

数据产品级别：数据文件根据其产品特征分为不同级别的数据产品，通过产品分级，用于定位当前数据文件在关系图中的具体位置；

对于服务文件，系统将在其文件扩展属性中初始化两部分内容：数据文件处理对象即该服务文件能够处理的数据文件类型，数据文件生成对象即经过该服务文件能够生成的数据文件类型；

第二步，通过文件扩展属性记录文件全生命周期；

一个数据文件在经过服务文件处理之后，会产生新的数据文件；针对该处理前后两个数据文件和用于进行处理的一个服务文件，分别在其文件扩展属性中自动记录不同的信息内容；

发现阶段，根据文件的文件扩展属性中记录的信息，探索发现各个文件间的关系，并根据文件间的关系绘制出完整的业务流程图，以便于指引文件的自动化服务；包括三个步骤；

第三步，文件关系发现：通过收集每个文件的文件扩展属性信息，从中发现各个文件间的生成、调用关系；

第四步，构建业务流程图：通过遍历、梳理所有文件间的关系，绘制出一副完整的业务流程图；

第五步，文件推送：在文件处理过程中，根据业务流程图为用户自动推送数据文件或服务文件；

接着，将根据用户对所推送的文件使用情况及推荐效果，对所绘制的业务流程图进行修正；

应用阶段，根据业务流程图，实现对文件的自动化服务；包括两个步骤；

第六步，数据事件构建：根据业务流程图，定义两种数据事件：独立事件和复合事件；

第七步，文件自动化处理：数据文件通过连续触发数据事件的方式，自动引导相应的服务文件对其进行处理，并连续生成新的数据文件，最终实现文件的自动化处理。

优化阶段，主要用于改进现有的业务流程，使其更契合用户的需求；包括三个步骤：

第八步，服务再造：分析当前业务流程中每个文件的价值，对相应的服务文件进行改进、合并、或删除操作，从而提高文件处理效率；

第九步，业务流程更新：根据改进后的服务文件，重新梳理各文件之间的关系，并实时更新业务流程图；

第十步，最优处理路径选择：根据用户的具体需求，为用户选择最优的文件处理路径；最后，根据选出的处理流程，转至第六步重新定义新的数据事件。

进一步地，记录阶段中，还根据每个文件的使用频率，从中发现热数据、热服务、冷数据、冷服务信息，进而量化每个文件的价值，最终实现对文件价值的评估。

进一步地，第二步中，

针对数据文件处理对象，在其文件扩展属性中记录处理其的服务文件名、处理时间信息；

针对数据文件生成对象，根据数据文件处理对象的元数据和产品级别，在数据文件生成对象的文件扩展属性中记录相应的元数据和其对应的产品级别；

针对服务文件，在其文件扩展属性中记录所处理的数据文件名、生成的数据文件名、处理时间信息。

进一步地，第五步中，文件推送包括：

数据文件推送：系统根据用户的操作需求，自动选择选择符合要求的数据文件进行推送；

服务文件推送：系统根据用户所处流程中的位置，自动为用户推送可能所需的服务文件。

进一步地，第七步中，对于独立事件，自动调用相应的服务文件对其处理；对于复合事件，自动查找该事件所需的所有数据文件，并自动启动相应的服务文件对该事件进行处理。

一种文件自动处理系统，包括：

存储介质，存储有计算机程序；

处理装置，用于执行所述计算机程序以实现上述基于数据驱动的文件自动化服务方法。

一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理装置执行时用以实现上述基于数据驱动的文件自动化服务方法。

本发明的优点在于：本发明可在业务流程不清楚的条件下，实现一套通用的自动化处理方法；同时该方法还支持文件价值评估、数据文件溯源、文件推荐、流程优化等多种应用。

附图说明

图1为本发明的数据文件、服务文件之间的关系图，亦是业务流程图。

图2为本发明的方法流程图。

图3为本发明的数据文件处理过程示意图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

本发明提供了一种可在业务流程不清楚的情况下，依然实现自动化处理的通用方法；相反，现有的自动化处理方式需要在业务流程清楚的前提下，才能实现自动化处理；而面对跨学科、业务流程不清楚的云服务环境，现有的自动化处理方式将无法使用；另外，现有的自动化处理方式不具备通用性，即在不同的业务场景下，需开发不同的自动化算法，从而浪费了大量的人力、物力。

本发明提出的一种基于数据驱动的文件自动化服务方法，该方法通过监控并记录（记录形式可通过日志文件、数据库、文件属性等多种方式）文件在其全生命周期中的演化，从中发现各文件之间的生成、调用关系；基于所述关系，可描绘出一幅完整的业务流程图，并最终通过触发数据事件的方式实现文件的自动化处理。另外，通过对文件全生命周期监控，本发明还支持文件价值评估、数据文件溯源、文件推送（推荐）等多种应用。

接下来，本发明以文件属性为例，分别介绍在文件属性和关系发现两方面的发明内容。

（一）文件扩展属性

现有的文件属性记录了文件的大小、权限、时间、所有者等多种信息，该些信息由操作系统或文件系统自动生成，所以可称为“系统属性”。然而，系统属性所提供的信息并不能用于监控和记录文件在其全生命周期中的演化。同时，用户也无法在系统属性中任意定义、添加新的属性标签，以支撑对各文件之间的关系发现。为此，本发明拟采用文件扩展属性（Extended Attributes, EA），以实现对文件全生命周期的监控。

EA是对文件系统属性的扩充，主要通过key/value（键/值）的形式为用户提供系统属性所不能提供的信息，且可随文件一起移动。因此，本发明在EA中对数据文件和服务文件进行互相描述（比如，在数据文件EA中，记录能够处理该数据文件的服务文件；在服务文件EA中，记录该服务文件能处理的数据文件类型和生成的数据文件类型），从而实现对文件全生命周期的监控和记录。

（二）关系分类

在本发明中，通过遍历所有文件扩展属性中记录的信息，可发现各文件之间的关系；本发明共定义五种关系：串、分、并、汇、比，如图1所示；

（三）具体方案

本发明提出的基于数据驱动的文件自动化服务方法，包含四个阶段共计十个步骤：记录阶段（第一、二步）、发现阶段（第三到五步）、应用阶段（第六、七步）和优化阶段（第八到十步）。流程图如图 2所示，每个阶段解释如下：

（3.1）记录阶段

该阶段主要用于监控并记录文件的全生命周期；通过记录每个文件的使用情况，以便从中发现各文件之间的关系，并支撑自动化处理方法的实现；同时，根据每个文件的使用频率，还可从中发现热数据、热服务、冷数据、冷服务等信息，进而量化每个文件的价值，最终实现对文件价值的评估；

该阶段主要包含两个步骤，具体每个步骤解释如下；

第一步，文件扩展属性初始化；当系统出现新文件，例如新加入的数据文件或服务文件时，系统将针对不同的文件类型初始化不同的内容；

对于数据文件，系统将在其文件扩展属性中初始化两部分内容：数据文件元数据和数据产品级别；

数据文件元数据：根据数据文件的类型，在其文件扩展属性中采用相应的元数据标准标记其元数据；例如，地理类数据文件可采用CSDGM标准，文献类数据文件可采用Dublin核心标准等；

数据产品级别：数据文件可根据其产品特征分为不同级别的数据产品，通过产品分级，可定位当前数据文件在关系图中的具体位置；例如遥感卫星数据一般可分为原始数据、0级、初级（1、2级）和高级（3、4、5、6级）共8个级别；在图1的关系图中，通常越往后的数据文件级别越高；

第二步，通过文件扩展属性记录文件全生命周期；

一个数据文件在经过服务文件处理之后，会产生新的数据文件（如图3中的数据文件A经过服务文件P处理之后，生成了数据文件B）；针对该处理前后两个数据文件（数据文件处理对象A和数据文件生成对象B）和用于进行处理的一个服务文件，系统将分别在其文件扩展属性中自动记录不同的信息内容；

针对数据文件处理对象，系统将在其EA中记录处理其的服务文件名、处理时间等信息；

针对数据文件生成对象，系统将根据数据文件处理对象的元数据和产品级别，在数据文件生成对象EA中记录相应的元数据和其对应的产品级别（注：一般情况下，被处理文件的元数据与新生成文件的元数据类似，但产品级别不同，如卫星数据0级产品会被处理成1级产品）；

针对服务文件，系统将在其EA中记录所处理的数据文件名、生成的数据文件名、处理时间等信息；

（3.2）发现阶段

该阶段将根据文件EA中记录的信息，探索发现各个文件间的关系，并根据文件间的关系绘制出完整的业务流程图，以便于指引文件的自动化服务。

该阶段主要包含三个步骤，具体每个步骤解释如下：

第三步，文件关系发现：通过收集每个文件的EA信息，系统可从中发现各个文件间的生成、调用关系；图1展示了本发明定义的五种文件关系；

第四步，构建业务流程图：通过遍历、梳理所有文件间的关系，系统可自动绘制出一副完整的业务流程图，如图1所示；

第五步，文件推送（也可称为文件推荐）：在文件处理过程中，系统根据业务流程图可为用户自动推送数据文件或服务文件；

数据文件推送：系统根据用户的操作需求，自动选择选择符合要求的数据文件进行推送；例如，在图1中，系统可将“汇”所需的数据文件推送给用户，使得用户可将多个数据文件顺利处理成目标数据文件；同时也可将“比”之后的数据文件推送给用户，用户可经比较，自行选择符合要求的数据文件；

服务文件推送：系统根据用户所处流程中的位置，自动为用户推送可能所需的服务文件。例如，在图1中，系统可在“分”的位置自动为用户提供多个服务文件，使得用户可自行选择，并生成不同的数据文件；

接着，系统将根据用户对所推荐的文件使用情况（比如召回率、准确率、F1值等），对所绘制的业务流程图进行修正。如果推荐效果较好（比如各性能指标较高），系统将依据当前的业务流程图实现文件的自动化服务；否则，系统将返回第三步重新梳理文件间的关系，并重新绘制业务流程图。

（3.3）应用阶段

该阶段将根据业务流程图，实现对文件的自动化服务；主要包含两个步骤，具体每个步骤解释如下：

第六步，数据事件构建：根据业务流程图，系统可定义两种数据事件：独立事件和复合事件；前者指一个数据文件可单独生成新数据文件，如图1中的“串”、“并”等；后者指一个数据文件需同其他若干个数据文件一起形成新数据文件，如图1中的“汇”、“比”等；

第七步，文件自动化处理：数据文件通过连续触发数据事件的方式，自动引导相应的服务文件对其进行处理，并连续生成新的数据文件，最终实现文件的自动化处理。在该过程中，对于独立事件，系统自动调用相应的服务文件对其处理；对于复合事件，系统将自动查找该事件所需的所有数据文件，并自动启动相应的服务文件对该事件进行处理；

（3.4）优化阶段

该阶段主要用于改进现有的业务流程，使其更契合用户的需求（比如更高效或更节省资源的处理流程）；该阶段包含三个步骤，具体每个步骤解释如下：

第八步，服务再造：系统分析当前业务流程中每个文件的价值，对相应的服务文件进行改进、合并、删除等操作，从而提高文件处理效率；

第九步，业务流程更新：系统根据改进后的服务文件，重新梳理各文件之间的关系，并实时更新业务流程图；

第十步，最优处理路径选择：系统根据用户的具体需求，为用户选择最优的文件处理路径；比如通过统计每种服务文件的处理时间，选出耗时最短、效率更高的处理路径；通过统计处理每种数据文件对系统资源（计算资源、存储资源、网络资源等）的消耗情况，选出对资源开销最低的处理路径；最后，根据选出的处理流程，转至第六步重新定义新的数据事件。

上述基于数据驱动的文件自动化服务方法，具体通过计算机程序实现；

计算机程序安装于存储介质，存储介质包括单台计算机上的存储器，或者分布式存储系统中的存储器；或者计算机的外置存储器，例如U盘、光盘等；

运行计算机程序的处理装置，可以是单台计算机的处理器或者多台计算机形成的集群中各处理器；

文件自动处理系统，包括以上的存储介质和处理装置；

最后应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种基于数据驱动的文件自动化服务方法，其特征在于，

通过监控并记录文件在其全生命周期中的演化，从中发现各文件之间的关系；基于所述关系，描绘出一幅完整的业务流程图，并根据业务流程图最终通过触发数据事件的方式实现文件的自动化处理；

通过文件扩展属性实现对文件全生命周期的监控和记录，在文件扩展属性中，对数据文件和服务文件进行互相描述；通过文件扩展属性中记录的信息，发现各文件之间的关系；

文件之间的关系包括：

比：若干数据文件经过相同或不同的服务文件处理之后，同时生成若干个类似但不同的新数据文件，用户从中选择符合自己要求的数据文件；

所述的基于数据驱动的文件自动化服务方法，具体包括以下阶段和步骤：

第二步，通过文件扩展属性记录文件全生命周期；

2.如权利要求1所述的基于数据驱动的文件自动化服务方法，其特征在于，还包括以下阶段和步骤：

3.如权利要求1所述的基于数据驱动的文件自动化服务方法，其特征在于，

记录阶段中，还根据每个文件的使用频率，从中发现热数据、热服务、冷数据、冷服务信息，进而量化每个文件的价值，最终实现对文件价值的评估。

4.如权利要求1所述的基于数据驱动的文件自动化服务方法，其特征在于，

第二步中，

5.如权利要求1所述的基于数据驱动的文件自动化服务方法，其特征在于，

第五步中，文件推送包括：

数据文件推送：系统根据用户的操作需求，自动选择符合要求的数据文件进行推送；

6.如权利要求1所述的基于数据驱动的文件自动化服务方法，其特征在于，

第七步中，对于独立事件，自动调用相应的服务文件对其处理；对于复合事件，自动查找该事件所需的所有数据文件，并自动启动相应的服务文件对该事件进行处理。

7.一种文件自动处理系统，其特征在于，包括：

存储介质，存储有计算机程序；

处理装置，用于执行所述计算机程序以实现如权利要求1～6中任一项所述的基于数据驱动的文件自动化服务方法。

8.一种计算机存储介质，其特征在于，

所述计算机存储介质中存储有计算机程序，所述计算机程序被处理装置执行时用以实现如权利要求1～6中任一项所述的基于数据驱动的文件自动化服务方法。