CN103500179A - 一种数据源变更预警方法 - Google Patents

Abstract

本发明的目的在于解决现有技术存在的问题，提供一种数据源预警及时又不会过多占用流量或影响系统性能的数据源变更预警方法。本发明一种数据源变更预警方法通过多种周期模式对数据源进行变更预警。操作人员可根据现场要求选择不同的周期模式，使其不会过多影响系统性能或过多的占用宽带流量，同时又能达到及时预警的目的。

Description

一种数据源变更预警方法

技术领域

本发明涉及通信技术领域，特别涉及一种数据源变更预警方法。

背景技术

数据仓库是数据中心的重要组成部分，通过对业务数据的抽取、清洗、转换、加载、存储，构建统一的数据集市和数据仓库，实现对数据的深度挖掘和报表展现。数据源是指业务源系统（简称源系统）中向数据仓库提供业务数据的技术对象。数据仓库系统通过数据源来抽取源系统中的业务数据。当数据仓库系统面对众多业务信息系统，面对海量数据的接入时，往往是用户反映数据问题或数据抽取发生错误后，数据仓库系统才知道业务源系统已发生了变化，这时已经影响到一些应用系统的数据展示，能否及时发现数据源变更，并能够有效处理变更，直接关系到数据抽取的准确性、完整性和及时性，这样就迫切需要一种完整高效的数据源变更预警方法，为数据仓库系统数据的准确性、完整性和及时性提供支持，防止因数据源变更对数据仓库数据造成的各种不良影响。

现有技术中的一种数据源变更预警方法是:操作人员在指定的时间点向源系统发出预警命令，获取源系统数据，将源系统数据与查询结果数据与自身数据一一比对，对变更的数据发出预警信号；其不足在于：每次预警需要人工操作，工作量大；而且操作人员不在身边的时候，无法操作；这种方式一般数据预警比较延后，往往源系统数据源变动后较长一段时间，系统才预警。

现有技术中的另一种数据源变更预警方法是:实时获取源系统数据，将源系统数据与查询结果数据与自身数据一一比对，对变更的数据发出预警信号；其不足在于：数据流量过大，占用带宽太多，影响系统其它数据的正常传输，同时还会降低系统性能。

发明内容

本发明目的解决现有技术存在的问题，提供一种数据源预警及时又不会过多占用流量或影响系统性能的数据源变更预警方法。

为了实现所述目的，本发明一种数据源变更预警方法，包括如下步骤：

步骤1、设置预警周期模式，在每个周期的开始获取数据源对比时间；

步骤2、判断是否是第一次数据源变更预警，如果是则对比时间设为本次预警开始时间减去24小时，否则对比时间设为上一次预警的开始时间；

步骤3、获取源系统数据源变更日志，读取数据源的变更时间；

步骤4、比较对比时间与数据源变更时间，如果变更时间在前，则进入步骤5，否则，进入步骤6；

步骤5、判断是否是最后一个数据源，如果是，数据源变更预警完成，否则，获取下一个数据源的变更时间，并进入步骤4；

步骤6、对上一步骤中的数据源预警，并进入步骤5。

为了实现所述目的，本发明另一种数据源变更预警方法，包括如下步骤：

步骤1、设置预警周期模式，在每个周期的开始获取数据源对比时间；

步骤2、判断是否是第一次数据源变更预警，如果是则对比时间设为本次预警开始时间减去24小时，否则对比时间设为上一次预警的开始时间；

步骤3、获取源系统数据源变更日志，对日志内容按时间顺序排列，获取小于对比时间中最接近对比时间的数据源变更时间，对所述数据源变更时间之后的所有数据源预警。

优选的，所述数据源预警方式为通过数据表格将源系统数据源的数据名称、变更方式、变更内容、变更时间及数据仓库系统中对应的数据源变更时间记录在同一行表格中，并显示。

优选的，监视所有正在预警的数据源所对应的数据仓库中的数据源的变更时间，当数据仓库中的数据变更时间大于源系统的数据源变更时间时，解除数据源预警，并将信息反馈给源系统。

当数据仓库的数据源执行修改操作时，可能会出现系统等原因引起的数据修改未成功的情况，通过数据仓库中的数据变更时间对比源系统的数据源变更时间来判断数据源中的数据源是否更改成功，这样在出现上述情况时继续预警，提醒用户修改未成功；而同过数据反馈，可以通知源系统操作人员数据仓库中的数据已响应更改，源系统操作人员如果迟迟未收到反馈，可与数据仓库管理人员联系，手动更新数据并查找原因，提高数据仓库系统数据的准确性。

优选的，所述步骤1中的周期模式包括半固定周期模式，所述半固定周期模式为：

预警周期自动设定为1天，计算数据源变更预警平均反应时间

数据源变更预警平均反应时间=∑（数据源预警时间–数据源最后更变时间）/数据源预警个数；

计算每个时间点的数据源变更预警平均反应时间，并对其排序，选择最小的时间点X为预警周期的开始时间。

通过计算得出，数据源变更预警平均反应时间最小的周期开始时间，在同样的周期下，相比其他周期开始时间，减少了数据源变更预警平均反应时间，提高了数据仓库系统数据预警的及时性。

优选的，所述步骤1中的周期模式包括周期自适应模式，所述周期自适应模式为：

首先，操作人员自行设定的数据源变更预警平均反应时间的要求时间；工作时，计算数据源变更预警平均反应时间，数据源变更预警平均反应时间=∑（数据源预警时间–数据源最后更变时间）/数据源预警个数，读取操作人员自行设定的数据源变更预警平均反应时间的要求时间，如果反应时间大于等于要求时间，则预警周期缩短5%～50%，如果反应时间小于要求时间的50%，则预警周期提高5%～50%。

根据数据源预警源的及时性要求，可自动变更预警周期，同还不会因为过多的缩小预警周期而影响系统性能和过多占用流量。

优选的，所述n=5。

优选的，所述步骤1中的周期模式包括固定周期模式，所述固定周期模式为：在每个周期的开始通过每次开机的时间点获取的源系统数据源对比时间。

优选的，所述步骤1中的周期模式包括手动模式，选择该模式时的时间点为周期的开始，且只执行一个周期的数据源预警。在实际工作时，如源系统操作人员发现源系统中的数据源出现重大改变或问题需要及时更改时，可直接通知数据仓库管理员直接手动预警，并更新数据。

优选的，所述步骤3中的源系统数据源变更日志在源系统数据源变更时自动生成，源系统数据源变更日志内容包括数据源名称、数据源更改方式、数据源变更内容、数据源变更时间。

通过实施本发明可以取得以下有益技术效果：操作人员可根据现场要求选择不同的周期模式，使其不会过多影响系统性能或过多的占用宽带流量，同时又能达到及时预警的目的；已经预警过的数据源未经再次修改时，也不会进行重复检查，减少了重复检查的时间，提高了工作效率，减少了对系统性能的影响。

具体实施方式

为了便于本领域技术人员的理解，下面结合具体实施例对本发明作进一步的说明：

实施例1：

一种数据源变更预警方法，包括如下步骤：

步骤1、设置预警周期模式，在每个周期的开始时间，获取数据源对比时间；

步骤2、判断是否是第一次数据源变更预警，如果是则对比时间设为本次预警开始时间减去24小时，否则对比时间设为上一次预警的开始时间；

步骤3、获取源系统数据源变更日志，读取数据源的变更时间；

步骤4、比较对比时间与数据源变更时间，如果变更时间在前，则进入步骤5，否则，进入步骤6；

步骤5、判断是否是最后一个数据源，如果是，数据源变更预警完成，否则，获取下一个数据源的变更时间，并进入步骤4；

步骤6、对上一步骤中的数据源预警，并进入步骤5。

当第一次执行数据源变更预警时，由于没有上一次预警的开始时间，故本次预警开始时间减去24小时设置为对比时间，这里的24小时可根据实际情况选择其他时间；然后获取系统数据源变更日志，读取数据源的变更时间，通过对对比时间与数据源变更时间的比较，判断出该数据是否应该预警，如果应该预警则发送预警信号进行数据源预警，同时进入下一个数据源的判断，如果不用预警则直接进入下一个数据源的判断。当不是第一次执行数据源变更预警时，将上一次预警的开始时间设为对比时间，通过对比时间与数据源变更时间比较，如果对比时间在数据源变更时间之前，则说明这个数据源之前已经预警过或者已判断无需预警，直接进入下一个数据源的判断，否则，说明该数据源在上个周期与这个周期之间出现了新的变更，对该数据源数据预警，并进入下一个数据源的判断。

通过监视所有正在预警的数据源所对应的数据仓库中的数据的变更时间，当数据仓库中的数据变更时间大于源系统的数据源变更时间时，解除数据源预警，并将信息反馈给源系统。当数据仓库系统中的数据源修改未成功时，不会解除预警，从而提醒数据仓库系统操作人员，同时数据仓库系统中的数据源成功时，通过信息反馈提醒源系统的操作人员。

所述步骤3中的源系统数据源变更日志在源系统数据源变更时自动生成，源系统数据源变更日志内容包括数据源名称、数据源更改方式、数据源变更内容、数据源变更时间。

所述周期模式包括:半固定周期模式、周期自适应模式、固定周期模式、手动模式。

半固定周期模式为：预警周期自动设定为1天，计算数据源变更预警平均反应时间，数据源变更预警平均反应时间=∑（数据源预警时间–数据源最后更变时间）/数据源预警个数；计算每个时间点的数据源变更预警平均反应时间，选择数据源变更预警平均反应时间最小的时间点X为预警周期的开始时间。数据源变更预警平均反应时间=∑（数据源预警时间–数据源最后更变时间）/数据源预警个数，即在周期内的所有预警数据的数据源预警时间之和减去数据源最后更变时间，计算出来的结果再除以数据源预警个数；为了提高效果，时间点X为数个周期内时间点X的平均值；优点在于：一般数据源预警只要求1天一次即可，比较常用且对系统性能和数据流通几乎没有影响，同时往往数据更新集中在某个时间段，通过计算每个时间点的数据源变更预警平均反应时间，并对其排序从而选择数据源变更预警平均反应时间最小的开始时间点，提高数据源变更预警平均反应速度。

周期自适应模式为：首先，操作人员自行设定的数据源变更预警平均反应时间的要求时间；工作时，计算数据源变更预警平均反应时间，数据源变更预警平均反应时间=∑（数据源预警时间–数据源最后更变时间）/数据源预警个数，读取操作人员自行设定的数据源变更预警平均反应时间的要求时间，如果反应时间大于等于要求时间，则预警周期缩短5%～50%，如果反应时间小于要求时间的50%，则预警周期提高5%～50%。可根据操作人员对数据源变更预警平均反应时间的要求，通过自动调整预警周期，达到要求，同时使实际的数据源变更预警平均反应时间在要求时间的50%～100%，而尽量增大预警周期，使其在满足数据源变更预警平均反应时间的前提下，降低对宽带流量的占用和减低对系统的影响。预警周期缩短5%时，周期调整精确，效果好，同时又不会占用要多时间和资源计算周期。

所述固定周期模式为：在每个周期的开始通过每次开机的时间点获取的源系统数据源对比时间。可以保证开机时，数据源是最新预警。

所述手动模式为：选择该模式时的时间点为周期的开始，且只执行一个周期的数据源预警。在实际工作时，如源系统操作人员发现源系统中的数据源出现重大改变或问题需要及时更改时，可直接通知数据仓库管理员直接手动预警，并更新数据。

工作时，当对数据更新预警没有特殊需求时，操作人员可选择半固定周期模式或固定周期模式；当对数据源变更预警平均反应时间有要求时，操作人员可选择周期自适应模式；当数据源需要某个时间点变更预警时，可以通过选择手动模式，立即对数据源进行检测预警。通过几种模式的互相配合，使整个预警过程即不会出现过多的延迟预警，又不会过多的占用带宽和降低系统性能。

实施例2：

一种数据源变更预警方法，其特征在于：包括如下步骤：

步骤1、设置预警周期模式，在每个周期的开始时间，获取数据源对比时间；

步骤2、判断是否是第一次数据源变更预警，如果是则对比时间设为本次预警开始时间减去24小时，否则对比时间设为上一次预警的开始时间；

步骤3、获取源系统数据源变更日志，对日志内容按时间顺序排列，获取小于对比时间中最接近对比时间的数据源变更时间，对所述数据源变更时间之后的所有数据源预警。

当第一次执行数据源变更预警时，由于没有上一次预警的开始时间，故本次预警开始时间减去24小时设置为对比时间，这里的24小时可根据实际情况选择其他时间；然后获取系统数据源变更日志，读取数据源的变更时间，可通过对对比时间与数据源变更时间的比较，判断出该数据是否应该预警；当不是第一次执行数据源变更预警时，将上一次预警的开始时间设为对比时间，通过对比时间与数据源变更时间比较，如果对比时间在数据源变更时间之前，无需预警，否则，说明该数据源在上个周期与这个周期之间出现了新的变更，对这个数据需要预警。通过对源系统数据源变更日志进行排序，获取小于对比时间中最接近对比时间的数据源变更时间，即可将所有大于对比时间的数据源全部提取出来，并预警。这样无需对每个数据源的变更时间进行比对，就可对所有需要预警的数据源预警，提高了预警效率。

通过监视所有正在预警的数据源所对应的数据仓库中的数据的变更时间，当数据仓库中的数据变更时间大于源系统的数据源变更时间时，解除数据源预警，并将信息反馈给源系统。当数据仓库系统中的数据源修改未成功时，不会解除预警，从而提醒数据仓库系统操作人员，同时数据仓库系统中的数据源成功时，通过信息反馈提醒源系统的操作人员。

所述步骤3中的源系统数据源变更日志在源系统数据源变更时自动生成，源系统数据源变更日志内容包括数据源名称、数据源更改方式、数据源变更内容、数据源变更时间。

所述周期模式包括:半固定周期模式、周期自适应模式、固定周期模式、手动模式。

半固定周期模式为：预警周期自动设定为1天，计算数据源变更预警平均反应时间，数据源变更预警平均反应时间=∑（数据源预警时间–数据源最后更变时间）/数据源预警个数；计算每个时间点的数据源变更预警平均反应时间，选择数据源变更预警平均反应时间最小的时间点X为预警周期的开始时间。数据源变更预警平均反应时间=∑（数据源预警时间–数据源最后更变时间）/数据源预警个数，即在周期内的所有预警数据的数据源预警时间之和减去数据源最后更变时间，计算出来的结果再除以数据源预警个数；为了提高效果，时间点X为数个周期内时间点X的平均值；优点在于：一般数据源预警只要求1天一次即可，比较常用且对系统性能和数据流通几乎没有影响，同时往往数据更新集中在某个时间段，通过计算每个时间点的数据源变更预警平均反应时间，并对其排序从而选择数据源变更预警平均反应时间最小的开始时间点，提高数据源变更预警平均反应速度。

周期自适应模式为：首先，操作人员自行设定的数据源变更预警平均反应时间的要求时间；工作时，计算数据源变更预警平均反应时间，数据源变更预警平均反应时间=∑（数据源预警时间–数据源最后更变时间）/数据源预警个数，读取操作人员自行设定的数据源变更预警平均反应时间的要求时间，如果反应时间大于等于要求时间，则预警周期缩短5%～50%，如果反应时间小于要求时间的50%，则预警周期提高5%～50%。可根据操作人员对数据源变更预警平均反应时间的要求，通过自动调整预警周期，达到要求，同时使实际的数据源变更预警平均反应时间在要求时间的50%～100%，而尽量增大预警周期，使其在满足数据源变更预警平均反应时间的前提下，降低对宽带流量的占用和减低对系统的影响。预警周期缩短5%时，周期调整精确，效果好，同时又不会占用要多时间和资源计算周期。

所述固定周期模式为：在每个周期的开始通过每次开机的时间点获取的源系统数据源对比时间。可以保证开机时，数据源是最新预警。

所述手动模式为：选择该模式时的时间点为周期的开始，且只执行一个周期的数据源预警。在实际工作时，如源系统操作人员发现源系统中的数据源出现重大改变或问题需要及时更改时，可直接通知数据仓库管理员直接手动预警，并更新数据。

工作时，当对数据更新预警没有特殊需求时，操作人员可选择半固定周期模式或固定周期模式；当对数据源变更预警平均反应时间有要求时，操作人员可选择周期自适应模式；当数据源需要某个时间点变更预警时，可以通过选择手动模式，立即对数据源进行检测预警。通过几种模式的互相配合，使整个预警过程即不会出现过多的延迟预警，又不会过多的占用带宽和降低系统性能。

以上所述仅为本发明的具体实施例，但本发明的技术特征并不局限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围之中。

Claims (10)

1.一种数据源变更预警方法，其特征在于：包括如下步骤：

步骤1、设置预警周期模式，在每个周期的开始获取数据源对比时间；

步骤2、判断是否是第一次数据源变更预警，如果是则对比时间设为本次预警开始时间减去24小时，否则对比时间设为上一次预警的开始时间；

步骤3、获取源系统数据源变更日志，读取数据源的变更时间；

步骤4、比较对比时间与数据源变更时间，如果变更时间在前，则进入步骤5，否则，进入步骤6；

步骤5、判断是否是最后一个数据源，如果是，数据源变更预警完成，否则，获取下一个数据源的变更时间，并进入步骤4；

步骤6、对上一步骤中的数据源预警，并进入步骤5。

2.一种数据源变更预警方法，其特征在于：包括如下步骤：

步骤1、设置预警周期模式，在每个周期的开始获取数据源对比时间；

步骤2、判断是否是第一次数据源变更预警，如果是则对比时间设为本次预警开始时间减去24小时，否则对比时间设为上一次预警的开始时间；

步骤3、获取源系统数据源变更日志，对日志内容按时间顺序排列，获取小于对比时间中最接近对比时间的数据源变更时间，对所述数据源变更时间之后的所有数据源预警。

3.如权利要求1或2所述的一种数据源变更预警方法，其特征在于：所述数据源预警方式为通过数据表格将源系统数据源的数据名称、变更方式、变更内容、变更时间及数据仓库系统中对应的数据源变更时间记录在同一行表格中，并显示。

4.如权利要求1或2所述的数据源变更预警方法，其特征在于：监视所有正在预警的数据源所对应的数据仓库中的数据的变更时间，当数据仓库中的数据变更时间大于源系统的数据源变更时间时，解除数据源预警，并将信息反馈给源系统。

5.如权利要求1或2所述的数据源变更预警方法，其特征在于：所述步骤1中的周期模式包括半固定周期模式，所述半固定周期模式为：

预警周期自动设定为1天，计算数据源变更预警平均反应时间

数据源变更预警平均反应时间=∑（数据源预警时间–数据源最后更变时间）/数据源预警个数；

计算每个时间点的数据源变更预警平均反应时间，选择数据源变更预警平均反应时间最小的时间点X为预警周期的开始时间。

6.如权利要求1或2所述的数据源变更预警方法，其特征在于：所述步骤1中的周期模式包括周期自适应模式，所述周期自适应模式为：

首先，操作人员自行设定的数据源变更预警平均反应时间的要求时间；工作时，计算数据源变更预警平均反应时间，数据源变更预警平均反应时间=∑（数据源预警时间–数据源最后更变时间）/数据源预警个数，读取操作人员自行设定的数据源变更预警平均反应时间的要求时间，如果反应时间大于等于要求时间，则预警周期缩短5%～50%，如果反应时间小于要求时间的50%，则预警周期提高5%～50%。

7.如权利要求6所述的数据源变更预警方法，其特征在于：所述n=5。

8.如权利要求1或2所述的数据源变更预警方法，其特征在于：所述步骤1中的周期模式包括固定周期模式，所述固定周期模式为：在每个周期的开始通过每次开机的时间点获取的源系统数据源对比时间。

9.如权利要求1或2所述的数据源变更预警方法，其特征在于：所述步骤1中的周期模式包括手动模式，选择该模式时的时间点为周期的开始，且只执行一个周期的数据源预警。

10.如权利要求1或2所述的数据源变更预警方法，其特征在于：所述步骤3中的源系统数据源变更日志在源系统数据源变更时自动生成，源系统数据源变更日志内容包括数据源名称、数据源更改方式、数据源变更内容、数据源变更时间。