CN104462581B - 基于微通道内存映射和Smart‑Slice的极速文件指纹提取系统及方法 - Google Patents

Abstract

本发明公开了一种基于微通道内存映射和Smart‑Slice的极速文件指纹提取系统及方法，S1：微通道内存映射，跳过操作系统，直接操作磁盘文件，根据媒体文件的大小运用Smart‑Slice智能分割方法将媒体文件动态分割成多个大小均等的数据块；S2：多线程并行提取，使用多线程分布式任务处理DSC进程并行提取出各个数据块的文件指纹。本发明跳过操作系统，直接操作磁盘文件，同时根据文件的大小运用Smart‑Slice智能分割技术把文件动态分割成数分大小均等的数据块，最后用多线程并行提取出各个数据块的指纹，在保证媒体文件正确性和可靠性的前提下，有效提高了工作的连续性和效率；经过测试，提取一个8GB大小媒体文件的指纹，时间仅需20秒，比传统方法缩短了数倍时间。

Description

基于微通道内存映射和Smart-Slice的极速文件指纹提取系 统及方法

技术领域

本发明涉及一种基于微通道内存映射和Smart-Slice的极速文件指纹提取系统及方法。

背景技术

随着科学技术的发展，从宏观的星图描绘到微观的粒子结构的研究，从军事领域的模拟核试验到生物领域的后基因组计划的解读，再到大规模网络测量、仿真与模拟等等，这些重大挑战性计算问题均需要跨管理域利用大量分布式计算任务调度及执行资源，随着人们对信息数据日益广泛的需求，使得传统的分布式计算任务调度及执行无法满足日益膨胀的需求。

分布式计算任务调度及执行软件就是多台相连的计算机各自承担同一工作任务的不同部分，在人的控制下，同时运行，共同完成同一件工作任务。由多个自主的、相互连接的信息处理系统，在一个高级操作系统协调下共同完成同一任务的处理方式。分布式计算任务调度及执行软件必须有能力在短时间内动态地组合成面向不同服务对象的系统。对用户来说系统是透明的，用户只需指定系统干什么而不必指出哪个部件可以提供这一服务。系统各组成部分是自主的，但不是无政府状态，而是遵循某个主计划由高级操作系统进行协调工作。在一个计算机网中有多台主机不一定都是分布式处理。如果这样的系统不具备动态组合及任务再指派的能力，那么它们仍然是集中式处理。高级操作系统是分布式处理的关键。在分布式系统中不再使用完整的信息，各个组成部分提供自己的状态信息，高级操作系统根据这些状态信息进行任务协调和资源再分配，各组成部分之间没有层次关系而是自主的。

传统的分布式计算任务调度及执行系统无法将不同地点的、或具有不同功能的、或拥有不同数据的多台计算机用通信网络连接起来，无法在控制系统的统一管理控制下，协调地完成信息处理任务，无法在短时间内动态地组合成面向不同服务对象的系统，系统无法根据用户的需求为用户提供相应服务。传统的分布式任务调度及执行系统对任务的几种状态中，大多规定“刚分配”和“已完成”两种状态为零容忍状态，在DSC的连续状态汇报中，如果因为网络的瞬时故障（这在复杂的分布式环境中是允许出现的）造成零容忍状态丢失或者被覆盖，就会造成任务的分配混乱或者再次分配同一条任务，如果任务的结果信息丢失，长时间完成的成果（比如转码成果）就会成为垃圾。

传统分布式计算任务调度及执行系统媒体文件的迁移和传输过程中，无法保证文件传输的可靠性和高效性，通常对于一个8GB大小的媒体文件而言，提取其文件指纹的时间需要1分钟以上，效率极其低下，直接影响了媒体文件的迁移和传输速率。

发明内容

本发明的目的在于克服现有技术的不足，提供一种新型的基于微通道内存映射和Smart-Slice的极速文件指纹提取系统及方法，微通道内存映射是指跳过操作系统，直接操作磁盘文件，同时根据文件的大小运用Smart-Slice智能分割技术把文件动态分割成数分大小均等的数据块，最后用多线程并行提取出各个数据块的指纹，在保证媒体文件正确性和可靠性的前提下，有效提高工作的连续性和效率。

本发明的目的是通过以下技术方案来实现的：基于微通道内存映射和Smart-Slice的极速文件指纹提取系统，包括一个或多个分布式任务调度中心、媒体服务单元、WEB及应用服务器中心、消息自动处理中心和数据存储中心，各分布式任务调度中心、WEB及应用服务器中心、消息自动处理中心和数据存储中心分别与媒体服务单元通信连接；

所述的分布式任务调度中心设置有分布式任务调度TSC进程、高效集群控制HAC进程和第一进程启动代理Agent进程，分布式任务调度TSC进程获取用户提交的任务列表，实时获取并维护分布式任务处理DSC进程的状态信息，根据分布式任务处理DSC进程的状态信息和任务分配原则完成对任务的调度分配；分布式任务调度TSC部署在任意多台计算机设备上，这些计算机设备组成一个分布式任务调度集群网络环境，多个分布式任务调度TSC进程互为热备，通过心跳完成各自状态信息的交换，同一时刻只有一个分布式任务调度TSC进程实例的状态为主，其他都为备；分布式任务调度TSC进程实例的主备切换通过高效集群控制HAC进程完成，所有分布式任务调度TSC进程在运行过程中实时向高效集群控制HAC进程汇报自己的当前状态，只要发现当前为主状态的分布式任务调度TSC进程实例异常，就根据参数序号原则在剩下的为备状态的分布式任务调度TSC进程实例中选择一个序号最小的分布式任务调度TSC进程实例为主，该分布式任务调度TSC进程实例在切换后，保留预设时间间隔的时间窗；

高效集群控制HAC进程完成分布式任务调度集群网络环境和分布式任务调度TSC进程之间的心跳检测，实时监视并控制分布式任务调度TSC进程的主备状态，高效集群控制HAC进程在运行过程中实时向互为备份的高效集群控制HAC进程实例汇报自己的当前状态，并实时获取所有分布式任务调度TSC进程实例的状态信息，根据TSC状态信息发送正确的控制命令，只有状态为主的高效集群控制HAC进程实例才能控制分布式任务调度TSC进程实例间的主备状态切换；

第一进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成分布式任务调度TSC进程、高效集群控制HAC进程实例的维护。

所述的媒体服务单元设置有分布式任务处理DSC进程、DSC进程管理DSCM进程和第二进程启动代理Agent进程，分布式任务处理DSC进程完成媒体文件的处理，分布式任务处理DSC进程实例在运行过程中实时向分布式任务调度TSC进程汇报自己的当前状态；

DSC进程管理DSCM进程使DSC进程具有自我管理能力，异常退出后自动恢复，根据参数配置的DSC进程实例数量动态调整本地DSC进程实例数量；同时，DSC进程管理DSCM进程获取本地设备上所有DSC进程实例汇报的实时状态，并向TSC集群转发本地设备上DSC进程实例状态，以备分布式任务调度TSC进程完成任务的实时分配和调度；

第二进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成分布式任务处理DSC进程、DSC进程管理DSCM进程实例的维护。

所述的WEB及应用服务器中心设置有WEB负载均衡WLB进程、任务服务库和第三进程启动代理Agent进程，WEB负载均衡WLB进程完成WEB及应用服务器之间的负载均衡和容错服务控制，WEB负载均衡WLB进程实例在设定频率内完成检查IIS、DB有效性检查，同时通过心跳，综合本地计算机设备和WLB集群中其他计算机设备的CPU利用率情况，再向需要IIS服务的进程实例组播发送“有效”的服务器名称；

任务服务库以WEB SERVICE的形式提供给分布式任务调度TSC进程，完成任务信息的处理；

第三进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成WEB负载均衡WLB进程实例的维护。

所述的消息自动处理中心设置有消息自动处理DPU进程和第四进程启动代理Agent进程，消息自动处理DPU进程自动实时地获取本机上队列中的最新消息信息，对消息内容进行解析，根据消息内容完成业务的处理；

第四进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成消息自动处理DPU进程实例的维护。

所述的数据存储中心存储以下几类数据：以媒体文件为主的公共数据交换和处理区存储设备，以存储元数据为主的数据库系统，以存储消息为主的MQ系统；所有数据存储中心中：媒体文件存储设备、数据库系统DB、MQ系统都分别一一进行热备容错构建。

基于微通道内存映射和Smart-Slice的极速文件指纹提取方法，包括以下步骤：

S1：微通道内存映射，跳过操作系统，直接操作磁盘文件，根据媒体文件的大小运用Smart-Slice智能分割方法将媒体文件动态分割成多个大小均等的数据块；

S2：多线程并行提取，使用多线程分布式任务处理DSC进程并行提取出各个数据块的文件指纹；

S3：合成得到整个媒体文件的指纹信息。

所述的Smart-Slice智能分割方法包括以下步骤：

SS1：接收切片请求并响应切片请求；

SS2：根据切片请求中的内容源标识CID信息，从存储待切片媒体文件的数据存储中心获取相应的待切片媒体文件；

SS3：识别待切片媒体文件的长度，并根据欲切片的份数计算每个切片的长度；

SS4：按照步骤SS3得到的切片长度对待切片媒体文件进行分割切片，获得多个大小均等的切片片段，并生成每个切片片段的描述des信息。

所述的des信息包括切片索引信息和I帧索引信息，des信息用于为多线程分布式任务处理DSC进程的并行提取提供数据块的标识。

本发明的有益效果是：

1）跳过操作系统，直接操作磁盘文件，同时根据文件的大小运用Smart-Slice智能分割技术把文件动态分割成数分大小均等的数据块，最后用多线程并行提取出各个数据块的指纹，在保证媒体文件正确性和可靠性的前提下，有效提高了工作的连续性和效率；经过测试，提取一个8GB大小媒体文件的指纹，时间仅需20秒，比传统方法缩短了数倍时间。

2）多个 TSC进程互为热备，通过心跳完成各自状态信息的交换，同一时刻只有一个TSC进程实例的状态为主，其他都为备，可以极大地提高分布式任务调度的可靠性。

3）分布式任务调度进程实例在切换后，保留一定时间间隔的时间窗，有利于TSC集群的稳定，可避免热备进程间的颠簸。

4）所有数据存储中心中媒体文件存储设备、DB、MQ都分别一一进行了热备容错构建，可有效避免单点故障，进而提高了分布式计算任务调度大平台集群系统的可用性。

具体实施方式

下面进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

分布式计算任务调度大平台集群系统是构建分布式计算任务调度互联互通的业务支撑平台，整个分布式计算任务调度由几类不同的功能区域构成，每类功能区域以单独集群形式存在，集群的规模可根据用户的业务量进行动态构建和配置。不同功能区域之间或者功能区域内部间通过SOA、标准的IP（Socket/FTP）或者MSMQ等协议方式进行数据交换，媒体文件的存取通过FTP（文件传输协议）完成，任务结束后的消息通过MSMQ队列进行传递。

整个分布式计算任务调度大平台集群系统的所有进程实例都动态自适应运行，管理中心能够自动剔除异常进程实例（比如TSC、DSC等关键进程），在运行过程，能根据各个板块的具体业务需求动态配置DSC的对应任务类别和数量，自动融入并监控新增DSC进程实例。通过分布式计算任务调度大平台集群系统实时完成参数配置和监视。

基于微通道内存映射和Smart-Slice的极速文件指纹提取系统，包括一个或多个分布式任务调度中心、媒体服务单元、WEB及应用服务器中心、消息自动处理中心和数据存储中心，各分布式任务调度中心、WEB及应用服务器中心、消息自动处理中心和数据存储中心分别与媒体服务单元通信连接。

所述的分布式任务调度中心设置有分布式任务调度TSC进程、高效集群控制HAC进程和第一进程启动代理Agent进程，分布式任务调度TSC进程获取用户提交的任务列表，实时获取并维护分布式任务处理DSC进程的状态信息，根据分布式任务处理DSC进程的状态信息和任务分配原则完成对任务的调度分配；分布式任务调度TSC部署在任意多台计算机设备上，这些计算机设备组成一个分布式任务调度集群网络环境，多个分布式任务调度TSC进程互为热备，通过心跳完成各自状态信息的交换，同一时刻只有一个分布式任务调度TSC进程实例的状态为主，其他都为备，这样可以极大提高TSC（分布式任务调度）的可靠性。

分布式任务调度TSC进程实例的主备切换通过高效集群控制HAC进程完成，所有分布式任务调度TSC进程在运行过程中实时向高效集群控制HAC进程汇报自己的当前状态，只要发现当前为主状态的分布式任务调度TSC进程实例异常，就根据参数序号原则在剩下的为备状态的分布式任务调度TSC进程实例中选择一个序号最小的分布式任务调度TSC进程实例为主，该分布式任务调度TSC进程实例在切换后，保留预设时间间隔的时间窗，以利TSC集群的稳定，避免热备进程间的颠簸。主状态TSC（分布式任务调度）进程实例除了汇报自己的状态外，还要完成最新任务的分配，完成任务的确认，并向目标板块消息队列发送任务结束消息。

高效集群控制HAC进程完成分布式任务调度集群网络环境和分布式任务调度TSC进程之间的心跳检测，实时监视并控制分布式任务调度TSC进程的主备状态，高效集群控制HAC进程在运行过程中实时向互为备份的高效集群控制HAC进程实例汇报自己的当前状态，并实时获取所有分布式任务调度TSC进程实例的状态信息，根据TSC状态信息发送正确的控制命令，只有状态为主的高效集群控制HAC进程实例才能控制分布式任务调度TSC进程实例间的主备状态切换；

第一进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成分布式任务调度TSC进程、高效集群控制HAC进程实例的维护。

所述的媒体服务单元设置有分布式任务处理DSC进程、DSC进程管理DSCM进程和第二进程启动代理Agent进程，分布式任务处理DSC进程完成媒体文件的处理，根据任务类别分为：归档、下载、转码、迁移、回迁、合成等媒体服务类别。一台计算机设备可以启动一个DSC进程服务实例，也可以启动多个处理不同任务类别或者相同任务类别的DSC进程服务实例，也可以根据用户的要求部署在刀片集群上。分布式任务处理DSC进程实例在运行过程中实时向分布式任务调度TSC进程汇报自己的当前状态；

DSC进程管理DSCM进程使DSC进程具有自我管理能力，异常退出后自动恢复，根据参数配置的DSC进程实例数量动态调整本地DSC进程实例数量；同时，DSC进程管理DSCM进程获取本地设备上所有DSC进程实例汇报的实时状态，并向TSC集群转发本地设备上DSC进程实例状态，以备分布式任务调度TSC进程完成任务的实时分配和调度。

第二进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成分布式任务处理DSC进程、DSC进程管理DSCM进程实例的维护。

所述的WEB及应用服务器中心设置有WEB负载均衡WLB进程、任务服务库（.NET SOALIB）和第三进程启动代理Agent进程，WEB负载均衡WLB进程完成IIS（WEB及应用服务器）之间的负载均衡和容错服务控制，WEB负载均衡WLB进程实例在设定频率内完成检查IIS、DB有效性检查，同时通过心跳，综合本地计算机设备和WLB集群中其他计算机设备的CPU利用率情况，再向需要IIS服务的进程实例组播发送“有效”的服务器名称；

任务服务库以WEB SERVICE的形式提供给分布式任务调度TSC进程，完成任务信息的处理；

第三进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成WEB负载均衡WLB进程实例的维护。

所述的消息自动处理中心设置有消息自动处理DPU进程和第四进程启动代理Agent进程，消息自动处理DPU进程自动实时地获取本机上队列中的最新消息信息，对消息内容进行解析，根据消息内容完成业务的处理；

第四进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成消息自动处理DPU进程实例的维护。

所述的数据存储中心存储以下几类数据：以媒体文件为主的公共数据交换和处理区存储设备，以存储元数据为主的数据库系统，以存储消息为主的MQ系统；所有数据存储中心中：媒体文件存储设备、数据库系统DB、MQ系统都分别一一进行热备容错构建。

网管服务中心：分布式计算任务调度大平台集群系统网管中心主要功能完成板块间互联互通的业务参数配置，所有进程的部署配置及实时监控，实时获取整个系统中所有设备的资源利用等运行情况信息，包括计算机的CPU利用率、总内存、剩余内存、磁盘容量等信息；DSC进程实例处理任务的情况信息，包括当前DSC进程实例是否是忙或者空闲状态信息，或者异常状态信息，正忙DSC进程实例完成任务的百分比，正在处理的媒体文件名称，任务类型等状态信息；各个计算机设备及其对应进程的运行状态等信息，包括TSC、HAC进程的主、备和异常状态监控，也包括DSC、DSCM、DPU、WLB等进程是否正常或者异常状态信息，并可以远程完成以上进程实例的启动、结束或者结束命令动作。

基于微通道内存映射和Smart-Slice的极速文件指纹提取方法，包括以下步骤：

S1：微通道内存映射，跳过操作系统，直接操作磁盘文件，根据媒体文件的大小运用Smart-Slice智能分割方法将媒体文件动态分割成多个大小均等的数据块；

S2：多线程并行提取，使用多线程分布式任务处理DSC进程并行提取出各个数据块的文件指纹；

S3：合成得到整个媒体文件的指纹信息。

所述的Smart-Slice智能分割方法包括以下步骤：

SS1：接收切片请求并响应切片请求；

SS2：根据切片请求中的内容源标识CID信息，从存储待切片媒体文件的数据存储中心获取相应的待切片媒体文件；

SS3：首先，识别待切片媒体文件的文件格式，将不支持切片的文件格式转换为支持切片的文件格式；其次，识别待切片媒体文件的长度，并根据欲切片的份数计算每个切片的长度，每个切片的长度=待切片媒体文件长度/切片份数；

SS4：按照步骤SS3得到的切片长度对待切片媒体文件进行分割切片，获得多个大小均等的切片片段，并生成每个切片片段的描述des信息。

所述的des信息包括切片索引信息和I帧索引信息，des信息用于为多线程分布式任务处理DSC进程的并行提取提供数据块的标识，在使用多线程分布式任务处理DSC进程进行并行提取前，先根据每个切片片段的描述des信息进行筛选和对应，使每个DSC进程处理一个对应des信息的数据块，从而保证了多线程并行提取的可靠性和稳定性。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (1)

1.基于微通道内存映射和Smart-Slice的极速文件指纹提取方法，包括以下步骤：

S1：微通道内存映射，跳过操作系统，直接操作磁盘文件，根据媒体文件的大小运用Smart-Slice智能分割方法将媒体文件动态分割成多个大小均等的数据块；

S2：多线程并行提取，使用多线程分布式任务处理DSC进程并行提取出各个数据块的文件指纹；

S3：合成得到整个媒体文件的指纹信息；

所述的Smart-Slice智能分割方法包括以下步骤：

SS1：接收切片请求并响应切片请求；

SS2：根据切片请求中的内容源标识CID信息，从存储待切片媒体文件的数据存储中心获取相应的待切片媒体文件；

SS3：识别待切片媒体文件的长度，并根据欲切片的份数计算每个切片的长度；

SS4：按照步骤SS3得到的切片长度对待切片媒体文件进行分割切片，获得多个大小均等的切片片段，并生成每个切片片段的描述des信息；

所述的des信息包括切片索引信息和I帧索引信息，des信息用于为多线程分布式任务处理DSC进程的并行提取提供数据块的标识；

所述方法对应的基于微通道内存映射和Smart-Slice的极速文件指纹提取系统，所述系统包括一个或多个分布式任务调度中心、媒体服务单元、WEB及应用服务器中心、消息自动处理中心和数据存储中心，各分布式任务调度中心、WEB及应用服务器中心、消息自动处理中心和数据存储中心分别与媒体服务单元通信连接；

所述的分布式任务调度中心设置有分布式任务调度TSC进程、高效集群控制HAC进程和第一进程启动代理Agent进程，分布式任务调度TSC进程获取用户提交的任务列表，实时获取并维护分布式任务处理DSC进程的状态信息，根据分布式任务处理DSC进程的状态信息和任务分配原则完成对任务的调度分配；分布式任务调度TSC部署在任意多台计算机设备上，这些计算机设备组成一个分布式任务调度集群网络环境，多个分布式任务调度TSC进程互为热备，通过心跳完成各自状态信息的交换，同一时刻只有一个分布式任务调度TSC进程实例的状态为主，其他都为备；分布式任务调度TSC进程实例的主备切换通过高效集群控制HAC进程完成，所有分布式任务调度TSC进程在运行过程中实时向高效集群控制HAC进程汇报自己的当前状态，只要发现当前为主状态的分布式任务调度TSC进程实例异常，就根据参数序号原则在剩下的为备状态的分布式任务调度TSC进程实例中选择一个序号最小的分布式任务调度TSC进程实例为主，该分布式任务调度TSC进程实例在切换后，保留预设时间间隔的时间窗；

高效集群控制HAC进程完成分布式任务调度集群网络环境和分布式任务调度TSC进程之间的心跳检测，实时监视并控制分布式任务调度TSC进程的主备状态，高效集群控制HAC进程在运行过程中实时向互为备份的高效集群控制HAC进程实例汇报自己的当前状态，并实时获取所有分布式任务调度TSC进程实例的状态信息，根据TSC状态信息发送正确的控制命令，只有状态为主的高效集群控制HAC进程实例才能控制分布式任务调度TSC进程实例间的主备状态切换；

第一进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成分布式任务调度TSC进程、高效集群控制HAC进程实例的维护；

微通道内存映射是指跳过操作系统，直接操作磁盘文件，同时根据文件的大小运用Smart-Slice智能分割技术把文件动态分割成数分大小均等的数据块，最后用多线程并行提取出各个数据块的指纹；所述的媒体服务单元设置有分布式任务处理DSC进程、DSC进程管理DSCM进程和第二进程启动代理Agent进程，分布式任务处理DSC进程完成媒体文件的处理，分布式任务处理DSC进程实例在运行过程中实时向分布式任务调度TSC进程汇报自己的当前状态；

DSC进程管理DSCM进程使DSC进程具有自我管理能力，异常退出后自动恢复，根据参数配置的DSC进程实例数量动态调整本地DSC进程实例数量；同时，DSC进程管理DSCM进程获取本地设备上所有DSC进程实例汇报的实时状态，并向TSC集群转发本地设备上DSC进程实例状态，以备分布式任务调度TSC进程完成任务的实时分配和调度；

第二进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成分布式任务处理DSC进程、DSC进程管理DSCM进程实例的维护；

所述的WEB及应用服务器中心设置有WEB负载均衡WLB进程、任务服务库和第三进程启动代理Agent进程，WEB负载均衡WLB进程完成WEB及应用服务器之间的负载均衡和容错服务控制，WEB负载均衡WLB进程实例在设定频率内完成检查IIS、DB有效性检查，同时通过心跳，综合本地计算机设备和WLB集群中其他计算机设备的CPU利用率情况，再向需要IIS服务的进程实例组播发送“有效”的服务器名称；

任务服务库以WEB SERVICE的形式提供给分布式任务调度TSC进程，完成任务信息的处理；

第三进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成WEB负载均衡WLB进程实例的维护；

所述的消息自动处理中心设置有消息自动处理DPU进程和第四进程启动代理Agent进程，消息自动处理DPU进程自动实时地获取本机上队列中的最新消息信息，对消息内容进行解析，根据消息内容完成业务的处理；

第四进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成消息自动处理DPU进程实例的维护；所述的数据存储中心存储以下几类数据：以媒体文件为主的公共数据交换和处理区存储设备，以存储元数据为主的数据库系统，以存储消息为主的MQ系统；所有数据存储中心中：媒体文件存储设备、数据库系统DB、MQ系统都分别一一进行热备容错构建；

所述的数据库系统选择为Oracle、MySQL、SQL Server的多级串行分布式架构。