CN103491197B - 分布式自动巡检系统及其资源收集方法 - Google Patents

Abstract

本发明公开了一种分布式自动巡检系统及其资源收集方法，主要解决了现有技术中存在的分散式资源监管体系无法适应企业工作和企业信息化快速发展的需要，不能满足社会发展需求的问题。其包括数据集中处理中心，将一个以上数据收集中心收集到的数据进行资源配置，并将处理后的资源存储于云存储中心；数据收集中心，根据各网页中资源的关联性进行资源收集，并将收集后的数据传递至数据集中处理中心；巡检控制中心，根据数据集中处理中心的控制指令进行资源巡检，并在巡检到控制指令所派发的任务数据时将其同步至数据集中处理中心。通过上述方案，本发明达到了减少资源收集时的计算量，降低了响应时间的目的，具有很高的实用价值和推广价值。

Description

分布式自动巡检系统及其资源收集方法

技术领域

本发明涉及一种资源收集方法，具体地说，是涉及一种分布式自动巡检系统及其资源收集方法。

背景技术

随着IT行业的不断推进和深入，企业信息化建设初具规模，企业信息化应用范围日益扩大，企业各项工作对信息化的依赖程度越来越强，各级企业机关对IT部门服务水平和保障能力的要求越来越高，信息化已经成为提高企业整体战斗力的重要途径，原来被动应付的“救火”式、各管一摊的“分散”式工作模式已无法适应企业工作和企业信息化快速发展的需要，企业IT部门服务保障工作面临的压力与日剧增。

企业IT部门既是信息化建设的主力军，又是信息化应用的推进者，肩负着企业信息化基础建设、运行管理、信息服务、通信保障和应用推广等职责，责任十分重大，任务十分艰巨。在企业信息化日益成为全面推进企业工作重要力量的现实面前，企业IT部门要想切实发挥对企业信息化工作的支撑、服务和保障作用，就必须充分利用新型的技术手段，管理机制来加强服务管理，提高服务效率，并以此基础建立企业IT部门快速反应和联动协作的自动化的工作机制。因此，建设一套高效的资源监管机制是摆在各企业IT部门面前一个迫在眉睫的任务。

其中，信息中心已经成为企业信息通信网络和应用系统建设运行的重要基础和核心枢纽，各级企业信息中心运行着不同厂商、不同操作系统、不同数据库系统、不同体系和架构的设备和应用，在集中整合和资源共享的大背景下，企业信息网络和应用逐步形成全程全网和关联融合的格局。但是，由于仅仅依靠各个厂家提供的管理体系实现对设备，操作系统，数据库的简单监控管理，监控和诊断能力弱，各类分立的监控工具和零散的数据之间配合不足难以建立关联，故障诊断和数据分析仍然依靠经验和人工，很难准确定位问题和快速恢复业务，更不用提对各类事件进行趋势预测和规律分析，工作极易陷入被动应付的局面。

企业工作不断面临着新形势和新任务，业务工作需求也不断产生调整和变化，对IT部门工作提出了更高的要求。但是，由于网络环境和应用系统庞大而复杂，仅仅依靠有限的技术人员，采用传统和人工的“被动防御、事后补救”管理模式，没有有效的事件与流程的控制、跟踪、监督和检查机制，没有明确的重大和紧急事件的应急处理流程和服务升级预案，技术人员终日忙碌，焦头烂额，但也无法从根本上解决问题提高服务质量；没有健全完善的绩效评估考核体系和指标，导致技术人员工作忙闲不均，挫伤部分人员的工作积极性；没有建立业务部门与IT部门之间良好的沟通平台和反馈机制，造成业务部门的服务请求和故障申告无法得到及时的解决和反馈，无法提高业务部门对IT部门的满意度。

发明内容

本发明的目的在于提供一种分布式自动巡检系统及其资源收集方法，主要解决现有技术中存在的分散式资源监管体系无法适应企业工作和企业信息化快速发展的需要，不能满足社会发展需求的问题。

为了实现上述目的，本发明采用的技术方案如下：

分布式自动巡检系统，包括：

数据集中处理中心，将一个以上数据收集中心收集到的数据进行资源配置，并将处理后的资源存储于云存储中心；

数据收集中心，根据各网页中资源的关联性进行资源收集，并将收集后的数据传递至数据集中处理中心，其为一个以上；

巡检控制中心，根据数据集中处理中心的控制指令进行资源巡检，并在巡检到控制指令所派发的任务数据时将其同步至数据集中处理中心。

分布式自动巡检系统的资源收集方法，包括以下步骤：

（1）将各网页中的资源设定为P，采用幂法根据公式赋予每一个资源P一个特定的PatrolRank(p)值，其中，0<C<1，|P|为资源P链接出的资源数；

（2）将资源总数用N表示，将两两资源间有链接的值设置为1，将两两资源间无链接的值设置为0，用一个一行N列的矩阵B表示各资源间的链接关系；

（3）对矩阵B进行倒置操作，将各个列矢量除以它们各自的链接资源个数，得出PatrolRank矩阵；

（4）令每个巡检资源的初始PatrolRank值均为1，循环迭代计算PatrolRank矩阵，直至两次计算结果相同。

所述步骤（1）中，各资源的PatrolRank值计算方法如下：

将 $\mathrm{PatrolRank}\left(A\right)=(1-C)+C\underset{P\&Element;A}{\mathrm{\&Sigma;}}\frac{\mathrm{PatrolRank}\left(p\right)}{\left|P\right|}$ 转化为求解limAⁿx的值，则，A=CP+（1-C）*ee^T/m，其中，e^T为n维的全1行，m为全部网页个数。

考虑到应用时的安全性，还包括对待收集资源的加密，具体步骤如下：

（a）将网页中的资源数据进行L线性变换和循环状态控制后循环进行τ非线性变换；

（b）采用密钥生成器根据变换后的数据生成密钥；

（c）使用生成的密钥对待收集资源进行加密。

具体地说，所述步骤（a）中采用状态控制模块进行循环状态控制；采用巡检模块进行L线性变换和T非线性变换。

本发明中，所述L线性变换通过对输入数据进行循环移位操作后进行异或运算实现。

与现有技术相比，本发明具有以下有益效果：

（1）本发明摈弃了现有技术中对不同资源进行统一采集的方式，利用搜索引擎的数据模型和原理，采用仅与资源间的关联结构相关的方式进行资源收集，通过给各资源赋予PatrolRank值，有效减少资源收集时的计算量，极大降低了响应时间，更符合社会发展需求。

（2）本发明在进行资源收集过程中会进行加密，从而有效确保了资源收集的可靠性和安全性，充分考虑到了用户需求。

具体实施方式

下面结合实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。

实施例

大数据是规模非常巨大和复杂的数据集，传统数据库管理工具处理起来面临很多问题，比如说获取、存储、检索、共享、分析和可视化，数据量达到PB、EB或ZB的级别。大数据有三个V，一是数据量（Volume），数据量是持续快速增加的；二是高速度（Velocity）的数据I/0；三是多样化（Variety）数据类型和来源。大数据引发了一些问题，如对数据库高并发读写要求、对海量数据的高效率存储和访问需求、对数据库高可扩展性和高可用性的需求，传统SQL主要性能没有用武之地。支撑大数据以及云计算的底层原则是一样的，即规模化、自动化、资源配置、自愈性、因此实际上大数据和云之间存在很多合力的地方，大数据应用是在云端跑的，非常典型的应用。关系型数据库上对大规模数据进行操作会造成系统性能严重下降，当数据集和索引变大时，传统关系型数据库如Oracle、Sybase在对大规模数据进行操作会造成系统性能严重下降，因为在处理数据时SQL请求会占用大量的CPU周期，并且会导致大量的磁盘读写，性能会变得让人无法忍受。基于上述问题，本发明设计的架构中的核心分为三个部分，第一部分是根据各网页中资源的关联性进行资源收集，并将收集后的数据传递至数据集中处理中心的一个以上数据收集中心；第二部分是将一个以上数据收集中心收集到的数据进行资源配置，并将处理后的资源存储于云存储中心的数据集中处理中心；第三部分是根据数据集中处理中心的控制指令进行资源巡检，并在巡检到控制指令所派发的任务数据时将其同步至数据集中处理中心的巡检控制中心。

为了解决现有技术中存在的分散式资源收集的工作模式无法适应企业工作和企业信息化快速发展的需要，不能满足社会发展需求的问题，本发明公开了一种分布式自动巡检系统及其资源收集方法，与现有技术中在面对用户全部上千资源时往往忽略了不同用户所关心的不同资源，导致分布式分发后结果的相关性和主体性大大降低相比，本发明巧妙地利用搜索引擎的数据模型和原理，建立适用于大数据收集资源利用的方法，通过将所有资源的PatrolRank值通过后台根据用户权限特征计算获得以达到有效减少资源收集时的计算量和极大降低响应时间的目的。

本发明与用户的数据收集过程不相关，跟资源之间的关联结构相关，通过赋予每一个资源p一个特定的Rank值，记为PatrolRank(p)，计算公式为：

$\mathrm{PatrolRank}\left(p\right)=(1-C)+C\underset{P\&Element;A}{\mathrm{\&Sigma;}}\frac{\mathrm{PatrolRank}\left(p\right)}{\left|P\right|}$

例如：现在求资源W的PatrolRank(p)，已知有三个资源A、B、C链接到W，这三个资源的PatrolRank(p)值分别为100、50、30，它们的出度（即从此资源链出的资源数）分别为4、5、2，而W链出的资源数有4个，设C=0.5，那么资源W的 $\mathrm{PatrolRank}\left(p\right)=(1-0.5)+0.5\frac{\frac{100}{4}+\frac{50}{5}+\frac{30}{2}}{4}=6.75$ ，由于链接到资源W的三个资源A、B、C的PatrolRank(p)值都已经假设已知，是已经得到的固定常数，但实际情况中，资源A、B、C的PatrolRank(p)值是未知的，因而首先要分别计算出A、B、C的PatrolRank(p)，而要得到A、B、C的PatrolRank(p)值，必须先得到所有链入到资源A的资源的PatrolRank(p)值，还有所有链入到资源B的资源的PatrolRank(p)值，以及所有链入到资源C的资源的PatrolRank(p)值。链接A、B、C的资源也有很多，万维网彼此互联，且通常链入一个资源的资源远多于三个，这样想得到一个资源的PatrolRank(p)值而产生的计算似乎没有止境，为了PatrolRank算法收敛，通常采用的方法是幂法（Power Method）。

计算PatrolRank时可以将PatrolRank的计算公式

$\mathrm{PatrolRank}\left(A\right)=(1-C)+C\underset{P\&Element;A}{\mathrm{\&Sigma;}}\frac{\mathrm{PatrolRank}\left(p\right)}{\left|P\right|}$ 转化为求解limAⁿx的值，则有：

A=CP+（1-C）*ee^T/m，其中，e^T为n维的全1行，m为全部网页个数。

在进行资源收集时，需对资源链接关系进行简化，建立一个资源间的链接关系的模型，用矩阵B表示这个链接关系，如果页面i向页面j有链接情况，则Bij=1，否则Bij=0。如果资源文件总数为N，那么这个资源链接矩阵就是一个一行N列的矩阵。

1）设有三个资源A、B、C，A链接B、C，B链接C，C链接A、B，那么 $P=\left[\begin{array}{ccc}0& 1& 1\\ 0& 0& 1\\ 1& 1& 0\end{array}\right].$

2）将这个一行N列的矩阵B进行倒置操作，并把各个列矢量除以它们各自的链接资源个数，就得到了PatrolRank矩阵。转换后的矩阵也常常称为推移概率行列，一般记为 $P^{\&prime;}=\left[\begin{array}{ccc}0& 1/2& 1/2\\ 0& 0& 1\\ 1/2& 1/2& 0\end{array}\right].$

3)A矩阵计算过程，易知 ${\mathrm{ee}}^T/m\left[\begin{array}{ccc}1/3& 1/3& 1/3\\ 1/3& 1/3& 1/3\\ 1/3& 1/3& 1/3\end{array}\right],$ 设C＝0.5，得到 $A=\left[\begin{array}{ccc}1/6& 5/12& 5/12\\ 1/6& 1/6& 2/3\\ 5/12& 5/12& 1/6\end{array}\right].$

4)循环迭代计算PatrolRank。令每个巡检资源的初始PatrolRank的值均为1，x^T＝(1，1，1)。

Ax＝b

比较x与b的值，如果差别较大，则将b赋给x，继续计算。

……

反复迭代，直到最后两次的结果近似或相同，则迭代结束。

考虑到资源收集的安全性，本发明提供了一种加密方法，主要模块包含巡检循环和巡检密钥生成两部分，巡检循环部分由巡检模块和状态控制模块构成，巡检密钥部分为巡检密钥生成器。

主要涉及到四部分：τ非线性变换，L线性变换，巡检函数生成，巡检密钥生成。128bits明文送至，得到的多路巡检数据经过L线性变换和32轮循环状态控制再循环送入τ非线性变换模块，在等待一次密钥生成后开始加密，经过32个周期的循环后得到最后的间接密文，再经过反序变换得到加密后的128bits密文。巡检密钥生成模块与巡检轮密钥结构相同，区别在于巡检函数输入数据为128bits明文，而巡检密钥生成模块的输入为128bits加密密钥与128bits系统参数异或的值。

τ非线性变换由4个并行的巡检构成，巡检为固定的8bit输入8bit输出的置换。置换公式如下：

01230123(A)=(Sbox(a),Sbox(a),Sbox(a),Sbox(a))A=(a,a,a,a)τ，由此可知，输入32bits数据，查找巡检置换出4路8bits数据构成32bits数据输出。巡检可以采用查找表或使用片上ROM/RAM实现，采用查找表实现，通过并行查找4路巡检数据来完成τ非线性变换。

L线性变换为对输入数据进行的一系列循环移位操作后再进行异或操作，L线性变换计算公式如下：

(6)L(A)=A(A<<<2)(A<<<10)(A<<<18)(A<<<24)

其中，符号<<<表示32bit数据进行循环左移，L线性变换模块中在输入和使能触发下用位拼接操作实现循环移位，然后将中间结果进行组合逻辑异或后输出。

巡检函数的功能为对状态控制模块提供的间接密文进行一次τ非线性变换和一次L线性变换，在状态控制模块提供的状态控制下再生成间接密文，并送至状态控制模块进行循环运算，其中合成置换T是一个可逆变换，由非线性变换τ和线性变换L复合而成，即((.))TLτ=(7)合成置换T在Quartus II8.0下仿真波形。T合成置换仿真波形，合成置换T是非线性变换τ和线性变换L的复合，即输入数据在进行τ变换后的结果再进行L变换，设置的输入数据经过T置换后的结果一致，同时，将Windows TC环境下C程序结果与之对比：T合成置换Windows TC结果说明T合成置换运行正确。

巡检函数模块在Quartus II8.0中仿真波形巡检模块接收状态控制模块产生的间接密文，在特定状态下产生下一轮的间接密文供状态控制模块调用，两个模块同步运行。由于两模块的相关性，巡检模块的正确性将在下文总体模块中进行验证。

巡检密钥生成模块与巡检结构相同，区别在于巡检输入数据为128bits明文，而巡检密钥生成模块的输入为128bits加密密钥与128bits系统参数异或的值。巡检密钥模块由四个子模块组成：K0123生成器，CK系数生成器，循环状态控制，巡检密钥生成器。加密密钥经过K0123生成器生成初始值，CK系数生成器为巡检密钥生成器提供CK系数，循环状态控制模块为巡检密钥生成器提供间接密文，巡检密钥生成器与循环状态模块共同运行，最终输出32组巡检密钥rki提供0123(K,K,K,K)给巡检模块。

K0123生成器提供初始值，生成方法为加密密钥与系统参数逻辑异或。其中，系统参数采用16进制表示。

K0123生成器仿真波形加密密钥在使能nread有效的条件下与系统参数逻辑异或得到。K0123生成器由组合逻辑实现，功能较简单，因此其功能正确性可以直接在总体模块中检验。

CK系数生成器为巡检密钥生成器提供CK系数。

CK系数生成器可以采用计算公式在巡检中实现，也可以采用查找表实现。比较两种方法，考虑到硬件实现的方便和模块运行的实时性，采用查找表实现。CK系数生成器仿真波形。

按照上述实施例，便可很好地实现本发明。

Claims (5)

1.分布式自动巡检系统的资源收集方法，其中，分布式自动巡检系统包括：数据集中处理中心，将一个以上数据收集中心收集到的数据进行资源配置，并将处理后的资源存储于云存储中心；数据收集中心，根据各网页中资源的关联性进行资源收集，并将收集后的数据传递至数据集中处理中心，数据收集中心为一个以上；巡检控制中心，根据数据集中处理中心的控制指令进行资源巡检，并在巡检到控制指令所派发的任务数据时将其同步至数据集中处理中心，其特征在于，包括以下步骤：

(1)将各网页中的资源设定为P，采用幂法根据公式赋予每一个资源P一个特定的PatrolRank(p)值，其中，0<C<1，|P|为资源P链接出的资源数；

(2)将资源总数用N表示，将两两资源间有链接的值设置为1，将两两资源间无链接的值设置为0，用一个一行N列的矩阵B表示各资源间的链接关系；

(3)对矩阵B进行倒置操作，将各个列矢量除以它们各自的链接资源个数，得出PatrolRank矩阵；

(4)令每个巡检资源的初始PatrolRank值均为1，循环迭代计算PatrolRank矩阵，直至两次计算结果相同。

2.根据权利要求1所述的分布式自动巡检系统的资源收集方法，其特征在于，所述步骤(1)中，各资源的PatrolRank值计算方法如下：

将转化为求解limAⁿx的值，则，A＝CP+(1-C)*ee^T/m，其中，e^T为n维的全1行，m为全部网页个数。

3.根据权利要求2所述的分布式自动巡检系统的资源收集方法，其特征在于，还包括对待收集资源的加密，具体步骤如下：

(a)将网页中的资源数据进行L线性变换和循环状态控制后循环进行τ非线性变换；

(b)采用密钥生成器根据变换后的数据生成密钥；

(c)使用生成的密钥对待收集资源进行加密。

4.根据权利要求3所述的分布式自动巡检系统的资源收集方法，其特征在于，所述步骤(a)中采用状态控制模块进行循环状态控制；采用巡检模块进行L线性变换和T非线性变换。

5.根据权利要求4所述的分布式自动巡检系统的资源收集方法，其特征在于，所述L线性变换通过对输入数据进行循环移位操作后进行异或运算实现。