CN106921505B - 一种数据处理系统和方法 - Google Patents

一种数据处理系统和方法 Download PDF

Info

Publication number
CN106921505B
CN106921505B CN201510991795.1A CN201510991795A CN106921505B CN 106921505 B CN106921505 B CN 106921505B CN 201510991795 A CN201510991795 A CN 201510991795A CN 106921505 B CN106921505 B CN 106921505B
Authority
CN
China
Prior art keywords
data
label
request
abnormal
providing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510991795.1A
Other languages
English (en)
Other versions
CN106921505A (zh
Inventor
周铭
於少菲
张军华
吴楠
舒国藩
吴进夫
辛海英
刘谟婧
朱冬梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Jilin Co Ltd
Original Assignee
China Mobile Group Jilin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Jilin Co Ltd filed Critical China Mobile Group Jilin Co Ltd
Priority to CN201510991795.1A priority Critical patent/CN106921505B/zh
Publication of CN106921505A publication Critical patent/CN106921505A/zh
Application granted granted Critical
Publication of CN106921505B publication Critical patent/CN106921505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/044—Network management architectures or arrangements comprising hierarchical management structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理系统和方法，用以减少数据处理系统中定位异常数据所耗费的时间，提高异常数据定位效率。数据处理系统包括数据请求方和数据提供方，其中：所述数据请求方，用于向所述数据提供方发送数据获取请求，所述数据获取请求中携带有所请求数据的数据标签，所述数据标签中至少包括所述数据请求方的标识作为所述数据的传输路径标识；所述数据提供方，用于在接收到所述数据获取请求后，在对所述数据进行处理得到的响应数据过程中，在所述数据标签中的传输路径标识中添加自身的标识。

Description

一种数据处理系统和方法
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据处理系统和方法。
背景技术
网络管理系统是一个软硬件结合以软件为主的分布式网络应用系统，其目的是管理网络，使网络高效正常运行。
网络管理系统的演进方向是从传统的烟囱式系统结构向送耦合的分层结构进行演进，如图1所示，其为分层式的网络管理系统结构示意图，包括：应用层、数据共享平层和数据采集层。
网络管理系统中的数据来源于数据采集层，经数据共享层系统一建模、统一处理、统一存储，最终由数据共享层向业务系统提供统一的数据共享接口规范，业务系统在数据应用层呈现数据给所需用户。在这个过程中，数据的传送需跨越三个层次，即数据采集层、数据共享层、应用层，相邻层次之间有相应的接口规范，以实现不同层次数据之间的交互。以下对现有跨层数据交互过程以及数据共享层内部数据处理过程进行介绍。
目前跨层数据交互流程有多种方式，例如消息交互方式、发布订阅方式、数据库方式等，本提案选取最常用的消息交互方来重点说明。消息交互方式分为两种，一种是针对响应速度较快，数据量较小的数据共享服务的在线请求-同步响应方式，另一种是针对准备响应数据较慢、数据量巨大或响应性能较低的数据共享服务的在线请求-异步响应方式。
(1)在线请求－同步响应方式流程如图2所示，可以包括以下步骤：
步骤1、数据请求方向数据提供方发送数据获取请求，并进入阻塞状态，等待数据提供方的响应数据返回。
步骤2、数据提供方在接收到数据获取请求后，进行一系列的业务处理获取响应数据，并将响应数据回复给数据请求方。
步骤3、数据请求方在接收到响应数据后，中止阻塞状态继续运行。
(2)在线请求－异步响应方式，具体有两种实现方式：
在线请求－异步响应方式一的具体流程如图3a所示，包括以下步骤：
步骤1、数据请求方调用数据提供方的“准备数据方法”，发送数据获取请求。
步骤2、数据提供方在接收到数据获取请求后，返回请求成功标志、数据准备的预估处理时间、建议定期查询数据准备情况的时间间隔和数据的获取方式等消息。
步骤3、数据请求方在获得上述消息后可继续运行，不需要长时间处于阻塞状态。
步骤4、数据提供方在返回上述消息后进行一系列的业务处理以准备数据。
步骤5、数据请求方在数据准备的预估处理时间到达后，按照建议的定期查询数据准备情况的时间间隔向数据提供方的查询数据准备情况方法发送查询数据准备情况的要求。
其中，如果数据未准备完毕，数据提供方返回数据未准备完毕的消息，数据请求方则在建议的时间间隔后继续查询；如果数据准备完毕，数据提供方返回包含何时何地如何获取数据的消息。数据请求方按照给定的时间到给定的地点在给定的有效期内自行决定何时使用给定的方式取得数据。
(3)在线请求－异步响应方式二的流程如图3b所示，包括以下步骤：
步骤1、数据请求方调用数据提供方的“准备数据方法”，发送数据获取请求。
步骤2、数据提供方在接收到数据获取请求后，返回请求成功标志。数据请求方在获得上述消息后可继续运行，不需要长时间处于阻塞状态。
步骤3、数据提供方在返回上述消息后进行一系列的业务处理以准备数据。
步骤4、数据提供方在数据准备好后，通知数据请求方。
步骤5、数据请求方收到数据准备好的通知后，向数据提供方发起数据处理方，并进一步获取数据。
数据共享层包括数据装载子层、数据处理子层和数据共享子层，在其内部的数据处理流程如图4所示，可以包括以下步骤：
步骤1、数据装载子层对数据采集层上传的数据进行数据分发、加载、抽取、清洗、转换等操作；
步骤2、数据处理子层对数据装载子层传递的数据进行数据计算，明细存储，再将数据上传到数据共享子层；
步骤3、数据共享子层将数据以消息交互、发布订阅等不同方式分发给应用层。
现有跨层数据共享技术能够完成不同层之间的数据交互，一旦出现数据异常，由于数据处理过程中存在数据跨层传输，只能凭借维护人员的工作经验去查找数据异常原因，特别是存在多个数据采集层和数据共享层时，维护人员无法确定应用层的数据来自哪个数据共享层，因此，只能从发现异常数据的层出发，逐一排除，这无疑增加了定位异常数据所耗费的时间，降低了异常数据定位的效率。
发明内容
本发明实施例提供一种数据处理系统和方法，用以减少数据处理系统中定位异常数据所耗费的时间，提高异常数据定位效率。
本发明实施例提供一种数据处理系统，包括数据请求方和数据提供方，其中：
所述数据请求方，用于向所述数据提供方发送数据获取请求，所述数据获取请求中携带有所请求数据的数据标签，所述数据标签中至少包括所述数据请求方的标识作为所述数据的传输路径标识；
所述数据提供方，用于在接收到所述数据获取请求后，在对所述数据进行处理得到的响应数据过程中，在所述数据标签中的传输路径标识中添加自身的标识。
所述数据处理系统采用自下而上的数据处理方式；以及
所述数据提供方，还用于如果自身位于所述数据处理系统最底层时，则在所述数据标签中添加所述数据的数据标识。
所述数据请求方，还用于如果自身位于所述数据处理系统最顶层时，则在接收到所述数据提供方返回的响应数据后，提取所述响应数据中包含的数据标签，并根据所述数据标签中包含的每一传输路径标识，向所述传输路径标识对应的数据处理方发送所述数据标签。
所述数据提供方包括多个数据处理子单元，以及
每一数据处理子单元，用于在对所述数据进行处理时，读取所述数据标签，并在所述数据标签中按照自身处理所述数据的处理步骤，当每一处理步骤结束时，在所述数据标签中依次添加每一处理步骤对应的数据处理子路径标识。
所述数据请求方，还用于在自身位于所述数据处理系统的最顶层时，如果检测到异常数据时，则根据异常数据的数据标签中的传输路径标识，通知向自身提供数据的数据提供方；
所述数据提供方，还用于在接收到所述数据请求方发送的异常数据通知时，如果确定异常数据非自身进行数据处理过程中产生的，则根据异常数据的数据标签中的传输路径标识通知向自身提供数据的数据提供方，直至异常数据通知到达位于所述数据处理系统最底层的数据提供方；以及如果确定异常数据为自身进行数据处理过程中产生的，则进行异常数据处理。
所述数据提供方，还用于在检测到异常数据时，根据异常数据的数据标签中的传输路径标识，通知相应的数据请求方。
所述数据提供方，还用于在异常数据处理完毕时，根据异常数据的数据标签中的传输路径标识，通知相应的数据请求方。
本发明实施例提供的第一种数据处理方法，应用于分层的数据处理系统中，包括：
数据提供方接收数据获取请求，所述数据获取请求中携带有所请求数据的数据标签，所述数据标签中至少包括所述数据请求方的标识作为所述数据的传输路径标识；
所述数据提供方在对所述数据进行处理得到的响应数据过程中，在所述数据标签中的传输路径标识中添加自身的标识。
所述数据处理系统采用自下而上的数据处理方式；以及
如果所述提供方位于所述数据处理系统的最底层时，所述方法，还包括：
在所述数据标签中添加所述数据的数据标识。
所述数据提供方包括多个数据处理子单元；
所述方法，还包括：
每一处理子单元在对所述数据进行处理时，读取所述数据标签，并在所述数据标签中按照自身处理所述数据的处理步骤，当每一处理步骤结束时，在所述数据标签中依次添加每一处理步骤对应的数据处理子路径标识。
本发明实施例提供的第一种数据处理方法，还包括：
所述数据提供方接收位于所述数据处理系统最顶层的数据请求方发送的异常数据通知；
所述数据提供方判断异常数据是否为自身进行数据处理过程中产生的；
如果是，则进行异常数据处理；
如果否，则根据异常数据的数据标签中的传输路径标识通知向自身提供数据的数据提供方，直至异常数据通知到达位于所述数据处理系统最底层的数据提供方。
本发明实施例提供的第一种数据处理方法，还包括：
所述数据提供方在检测到异常数据时，根据异常数据的数据标签中的传输路径标识，通知相应的数据请求方。
本发明实施例提供的第一种数据处理方法，还包括：
所述数据提供方在异常数据处理完毕时，根据异常数据的数据标签中的传输路径标识，通知相应的数据请求方。
本发明实施例提供的第二种数据处理方法，包括：
数据请求方向数据提供方发送数据获取请求，所述数据获取请求中携带有所请求数据的数据标签，所述数据标签中至少包括所述数据请求方的标识作为所述数据的传输路径标识；
所述数据请求方接收所述数据提供方根据所述数据获取请求返回的响应数据，其中，所述响应数据为所述数据提供方在所述数据标签中的传输路径标识中添加了所述数据提供方的标识后得到的。
所述数据处理系统采用自下而上的数据处理方式；以及
如果所述数据请求方位于所述数据处理系统的最顶层时，则所述方法，还包括：
所述数据请求方在接收到所述数据提供方返回的响应数据后，提取所述响应数据中包含的数据标签，并根据所述数据标签中包含的每一传输路径标识，向所述传输路径标识对应的数据处理方发送所述数据标签。
本发明实施例提供的第二种数据处理方法，还包括：
所述数据请求方在检测到异常数据时，根据异常数据的数据标签中的传输路径标识，通知向自身提供数据的数据提供方。
本发明实施例提供的数据处理系统和方法，由于数据提供方根据数据获取请求向数据请求方提供的响应数据中包含了所请求数据的传输路径标识，这样，在检测到异常数据时可以根据数据的传输路径标识进行溯源，直接定位相关的数据处理方，从而减少了定位异常数据所耗费的时间，提高了异常数据定位的效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为现有技术中，分层式的网络管理系统结构示意图；
图2为现有技术中，在线请求－同步响应方式的数据处理流程示意图；
图3a为现有技术中，第一种在线请求－异步响应方式的数据处理流程示意图；
图3b为现有技术中，第一种在线请求－异步响应方式的数据处理流程示意图；
图4为现有技术中，数据共享层内部数据处理流程示意图；
图5为本发明实施例中，数据处理系统的结构示意图；
图6为本发明实施例中，在线请求－同步响应方式数据采集层到数据共享层数据传输过程示意图；
图7为本发明实施例中，数据共享层内部进行数据处理的流程示意图；
图8为本发明实施例中，数据共享层向应用层传递数据的流程示意图；
图9为本发明实施例中，应用层检测到异常数据时实施数据溯源流程示意图；
图10为本发明实施例中，数据共享层内部发现异常数据告警的流程示意图；
图11为本发明实施例中，数据采集层检测到异常数据时的处理流程示意图；
图12为本发明实施例中，数据提供方实施的数据处理方法的实施流程示意图；
图13为本发明实施例中，数据提供方为数据采集层，数据请求方为数据共享层时的数据处理方法实施流程示意图；
图14为本发明实施例中，数据提供方为数据共享层，数据请求方为应用层时的数据处理流程示意图；
图15为本发明实施例中，数据请求方实施的数据处理方法的实施流程示意图。
具体实施方式
为了减少定位异常数据所需的时间，提高异常数据定位效率，本发明实施例提供了一种数据处理系统和方法。
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
为了实现数据传输过程中全生命周期溯源的功能，本发明实施例中将跨层数据传输(以图1为例，可以是数据采集层与数据共享层之间，也可以是数据共享层与应用层之间的数据传输)的文件进行改进，为请求的数据和提供的数据分别加入一数据标签，通过读取该数据标签，上层单元可知道数据来自哪个下层单元，下层单元也可知道数据发送给哪个上层单元。跨层数据传输支持多种方式，可以是xml、ftp、JDBC等，本文以xml文件形式举例说明。
如图5所述，为本发明实施例提供的数据处理系统的结构示意图，包括数据请求方51和数据提供方52，其中：
数据请求方51，可以用于向数据提供方52发送数据获取请求，所述数据获取请求中携带有所请求数据的数据标签，所述数据标签中至少包括所述数据请求方51的标识作为所述数据的传输路径标识。
数据提供方52，用于在接收到所述数据获取请求后，在对所述数据进行处理得到的响应数据过程中，在所述数据标签中的传输路径标识中添加自身的标识。
需要说明的是，本发明实施例中涉及的数据请求方和数据提供方为相对于数据传输过程中的作用而命名的，例如，对于两个数据处理单元(可以单不限于为图1中的数据采集层、数据共享层和应用层)S1和S2来说，如果S1向S2请求数据，则S1为数据请求方，S2为数据提供方，反之，如果S2向S1请求数据，则S2为数据请求方，而S1为数据提供方，对于同一数据单元来说，其既可能是数据请求方，也可能是数据提供方。本发明实施例中涉及的数据处理系统可以为分层结构，较佳的，其可以采用自下而上的数据处理方式，例如，图1所示的系统结构，位于中间层的数据共享层即可以是数据请求方也可以是数据提供方。
其中，数据提供方52还可以用于如果自身位于数据处理系统的最底层时，则在数据标签中添加数据的数据标识。数据请求方51，还用于如果自身位于所述数据处理系统最顶层时，则在接收到所述数据提供方52返回的响应数据后，提取所述响应数据中包含的数据标签，并根据所述数据标签中包含的每一传输路径标识，向所述传输路径标识对应的数据处理方发送所述数据标签。
具体实施时，如果数据提供方包括多个数据处理子单元，每一数据处理子单元，用于在对所述数据进行处理时，读取所述数据标签，并在所述数据标签中按照自身处理所述数据的处理步骤，当每一处理步骤结束时，在所述数据标签中依次添加每一处理步骤对应的数据处理子路径标识。
为例更好的理解本发明实施例，以下以图1所示的系统结构为例，对本发明实施例的具体实施过程进行说明。
第一种实施方式、数据采集层到数据共享层数据传输过程
如图6所示，其为在线请求－同步响应方式数据采集层到数据共享层数据传输过程示意图，其中数据请求方为数据共享层，数据提供方为采集层系统，可以包括以下步骤：
S61、数据共享层向数据采集层发送数据获取请求。
其中，数据共享层在发送的xml文件中加入数据标签，格式为<flag>SJGX</flag>，其中：<flag>为预先定义的实现溯源功能的标记，SJGX为数据共享层的标识，并进入阻塞状态，等待数据提供方的响应数据返回。
S62、数据采集层在接收到数据获取请求后，进行一系列的业务处理得到响应数据，将响应数据回复给数据共享层。
具体实施时，数据采集层需要在响应数据中加入数据标签，其格式可以为<flag>name-SJGX-XXXX</flag>，其中，name为数据采集层的标识，XXXX为数据共享层所请求数据的数据标识。
S63、数据共享层系统在接收到响应数据后，中止阻塞状态继续运行。
第二种实施方式、数据共享层系统内部数据传输过程
本发明实施例中，数据共享层可以在进行数据装载、处理、分发、计算的过程中都保留数据采集层提供数据中所带的数据标签，并在数据处理过程中每一步自动写入数据处理子路径标签，从而实现数据共享层内部数据溯源的功能。
如图7所示，其为数据共享层内部进行数据处理的流程示意图，可以包括以下步骤：
S71、数据装载子层对数据采集层提供的数据进行处理。
具体的，数据装载子层对数据采集层提供的数据进行数据分发、装载等操作。在数据分发、装载过程中，读取数据标签<flag>name-SJGX-XXXX<flag>，并在下一数据处理过程中自动产生新的数据标签<flag>name-SJGX-XXXX-x1y1z1……xnynzn</flag>，其中xiyizi(i＝1,2,…，n)的含义是：数据经过每一次处理，就在数据标签中以从左至右的顺序加上xiyizi，作为该数据在此数据处理子单元的唯一标记，直到第n次处理结束。
S72、数据处理子层对数据装载子层传递的数据进行处理。
具体的，数据处理子层对数据装载子层传递的数据计算，明细存储。在每次数据计算时读取数据标签<flag>name-SJGX-XXXX-x1y1z1……xnynzn</flag>，并在每一步计算完成后，在原数据标签最后一组xiyizi标识后面加入新的xiyizi标识，作为该数据在此处理子单元的唯一标记，直至第n次计算结束，再将数据上传到数据共享子层。
S73、数据共享子层进行数据处理。
具体的，数据共享子层将带有<flag>name-SJGX-XXXX-x1y1z1……xnynzn</flag>标签的数据以消息交互、发布订阅等不同方式分发给应用层。
第三种实施方式、数据共享层到应用层数据传输过程。
如图8所示，其为数据共享层向应用层传递数据的流程，其中，数据共享层为数据提供方，应用层为数据请求方，可以包括以下步骤：
S81、应用层向数据共享层发送数据获取请求。
其中，应用层在发送的xml文件中加入数据，格式为<flag>YYXT</flag>，其中：<flag>为预先定义的实现数据溯源功能的标记，YYXT为应用系统的标识(可以根据不同的应用层定义其唯一标识)，并进入阻塞状态，等待数据提供方的响应数据返回。
S82、数据共享层进行数据处理。
数据共享层在接收到数据获取请求后，进行一系列的业务处理获取响应数据，并将响应数据回复给应用层，其在响应数据中需要加入数据标签，格式为<flag>name-SJGX-YYXT-XXXX-x1y1z1……xnynzn</flag>，其中flag为预先定义的实现数据溯源功能的标记，name为采集层的标识，SJGX为数据共享层的标识，YYXT为应用层的标识，XXXX为该数据的数据标识。
S83、数据共享层向应用层返回响应数据。
S84、应用层在接收到响应数据后，中止阻塞状态继续运行，并将最终的数据标签发送给数据共享层和采集层。
至此，完成了数据从采集层到应用层数据传递全生命周期的数据传输过程。
基于在数据传输过程中为传输的数据添加了数据标签，本发明实施例还提供了一种利用该数据标签完成异常数据溯源的方法。数据溯源功能可支持应用层问题数据溯源、数据共享层内部问题数据告警、采集层内部问题数据告警等。
基于此，数据请求方51，还用于在自身位于所述数据处理系统的最顶层时，如果检测到异常数据时，则根据异常数据的数据标签中的传输路径标识，通知向自身提供数据的数据提供方52；
数据提供方52，还可以用于在接收到所述数据请求方51发送的异常数据通知时，如果确定异常数据非自身进行数据处理过程中产生的，则根据异常数据的数据标签中的传输路径标识通知向自身提供数据的数据提供方，直至异常数据通知到达位于所述数据处理系统最底层的数据提供方；以及如果确定异常数据为自身进行数据处理过程中产生的，则进行异常数据处理。
具体实施时，数据提供方52，还可以用于在检测到异常数据时，根据异常数据的数据标签中的传输路径标识，通知相应的数据请求方。以及在在异常数据处理完毕时，根据异常数据的数据标签中的传输路径标识，通知相应的数据请求方。
以下结合图1所示的系统结构，对本发明实施例提供的数据溯源方法进行详细说明。当本发明实施例提供的数据溯源方法应用到图1所示的系统中时，应用层异常数据溯源可实现当应用层检测到异常数据时，自上而下排查异常数据的初始发生位置，从而准确快速的响应问题。数据共享层内部问题数据告警可实现当数据共享层系统内部发生数据异常时，主动向上层应用层及下层数据采集层发送告警信号功能，从而使对应系统及时掌握异常数据问题并采取其他补救手段。数据采集层内部问题数据告警可实现当数据采集层内部数据发生问题时，主动向数据共享层及应用层发送告警信号功能，从而使对应系统及时掌握异常数据问题情况并采取其他补救手段，提高数据运维能力。以下详细描述上述三个功能的具体实施流程。
一、应用层异常数据溯源
如图9所示，其为应用层检测到异常数据时的数据溯源流程，可以包括以下步骤：
S91、应用层检测到异常数据，根据异常数据的数据标签中的传输路径标识，通知向自身提供数据的数据提供方。
具体实施时，应用层在发现某一数据指标异常时，首先读取异常数据的数据标签<flag>name-SJGX-YYXT-XXXX-x1y1z1……xnynzn</flag>中SJGX字段，判断该数据来源于哪个数据共享层系统，并将异常数据发送给相应的数据共享层。
S92、数据共享层进行异常数据检查。
具体的，数据共享层根据该标签<flag>name-SJGX-YYXT-XXXX-x1y1z1……xnynzn</flag>中x1y1z1……xnynzn字段来从上至下分析系统内每一步数据计算及分发步骤，判断该数据产生的问题是数据共享层内部产生还是由于采集层导致。
S93、如果是数据共享层内部问题，直接进行异常数据处理。
S93’如果不是数据共享层内部问题，则根据数据标签中的传输路径标识通知相应的数据采集层。
具体的，如果共享层确定异常数据费自身进行数据处理过程中产生的，则读取<flag>name-SJGX-YYXT-XXXX-x1y1z1……xnynzn</flag>中name字段，以确定该数据来源于哪个采集层系统，再将异常数据发送给对应采集层系统进行排查。
S94、数据采集层进行异常数据检查。
具体的，数据采集层根据标签<flag>name-SJGX-YYXT-XXXX-x1y1z1……xnynzn</flag>中XXXX字段来判断异常数据为哪个数据源，从而分析原因，直至问题解决，并向相应系统发送问题解决信息。
二、数据共享层内部异常数据告警
如图10所示，其为数据共享层内部异常数据告警的流程示意图，可以包括以下步骤：
S101、数据共享层内部检测到异常数据。
具体实施时，数据共享层内部检测到异常数据，通过读取数据标签<flag>name-SJGX-YYXT-XXXX-x1y1z1……xnynzn</flag>中name和YYXT字段，判断该异常数据可能影响哪个数据采集层和哪个应用层。
S102、数据共享层进行异常数据处理。
具体实施时，数据共享层在进行异常数据处理过程中，向对应采集层、应用层发送异常数据告警，由对应系统维护人员采取相应措施进行补救。
较佳的，告警内容格式可以为：
<flag>name-SJGX-YYXT-XXXX-x1y1z1……xnynzn</flag>；
<code>SJGX–xiyizi-‘0/1’</code>；
<message>SJGX–‘error-message’</message>
其中，code为报错信息标签，在这里表示数据采集层上传数据是否有误，SJGX为数据共享层的标识，为数据处理步骤标记，‘0/1’的含义为：code＝0表示数据正常，code＝1表示数据异常；message为数据异常信息标签，‘error message’为数据错误描述信息。
S103、异常数据处理完毕后，数据共享层向各对应系统发送告警解除报告。
具体实施时，异常数据处理完毕后，数据共享层根据数据标签中的传输路径标识通知相应的数据采集层和应用层。
三、数据采集层异常数据告警
如图11所示，其为数据采集层检测到异常数据时的处理流程示意图，可以包括以下步骤：
S111、数据采集层检测到异常数据。
具体实施时，如果数据才基层发现其提供的某一数据异常时，可在处理异常数据的同时，根据数据标签<flag>name-SJGX-YYXT-XXXX-x1y1z1……xnynzn</flag>中SJGX字段和YYXT字段判断该数据发送给了哪个数据共享层及哪个应用层。
S112、数据采集层通知相应的数据请求方。
具体实施时，数据采集层在处理异常数据的同时，向相应的数据共享层和应用层发出告警信息，由对应系统维护人员采取相应措施进行补救。
较佳的，告警信息格式可以为：
<flag>name-SJGX-YYXT-XXXX-x1y1z1……xnynzn</flag>；
<code>SJGX–xiyizi-‘0/1’</code>；
<message>SJGX–‘error-message’</message>
其中，code为报错信息标签，在这里表示数据采集层上传数据是否有误，SJGX为数据共享层的标识，为数据处理步骤标记，‘0/1’的含义为：code＝0表示数据正常，code＝1表示数据异常；message为数据异常信息标签，‘error message’为数据错误描述信息。
S113、数据采集层在异常数据处理完毕后通知相应的数据请求方。
具体的，数据采集层在异常数据处理完毕后，根据数据标签中的传输路径标识，向相应的数据共享层和应用层发送告警解除信息。
综上，通过为在跨层系统间传递的数据添加数据标签及系统内部数据处理添加标签，实现了跨层数据传递溯源及系统内部数据溯源，进而建立各层系统间异常数据响应流程，从而实现了异常数据从采集层到应用层全生命周期的溯源，减少了异常数据定位所需的时间，提高了异常数据定位效率。
基于同一发明构思，本发明实施例中还提供了一种分别由数据请求方和数据提供方实施的数据处理方法，由于上述方法解决问题的原理与数据处理系统相似，因此上述方法的实施可以参见系统的实施，重复之处不再赘述。
如图12所示，为本发明实施例提供的、数据提供方实施的数据处理方法的实施流程示意图，可以包括以下步骤：
S121、数据提供方接收数据获取请求。
其中，在接收到的数据获取请求中携带有所请求数据的数据标签，所述数据标签中至少包括所述数据请求方的标识作为所述数据的传输路径标识。
S122、数据提供方在对所述数据进行处理得到的响应数据过程中，在所述数据标签中的传输路径标识中添加自身的标识。
较佳的，数据处理系统采用自下而上的数据处理方式；以及
如果所述提供方位于所述数据处理系统的最底层时，所述数据处理方法，还可以包括：在所述数据标签中添加所述数据的数据标识。
具体实施时，数据提供方包括多个数据处理子单元；
所述数据处理方法，还包括：
每一处理子单元在对所述数据进行处理时，读取所述数据标签，并在所述数据标签中按照自身处理所述数据的处理步骤，当每一处理步骤结束时，在所述数据标签中依次添加每一处理步骤对应的数据处理子路径标识。
具体实施时，数据提供方实施的数据处理方法，还可以包括以下步骤：
所述数据提供方接收位于所述数据处理系统最顶层的数据请求方发送的异常数据通知；
所述数据提供方判断异常数据是否为自身进行数据处理过程中产生的；
如果是，则进行异常数据处理；
如果否，则根据异常数据的数据标签中的传输路径标识通知向自身提供数据的数据提供方，直至异常数据通知到达位于所述数据处理系统最底层的数据提供方。
较佳的，数据提供方在检测到异常数据时，根据异常数据的数据标签中的传输路径标识，通知相应的数据请求方；以及在异常数据处理完毕时，根据异常数据的数据标签中的传输路径标识，通知相应的数据请求方。
为了更好的理解本发明实施例，以下结合图1所示的系统结构对数据提供方提供的数据处理方法的具体实施过程进行说明：
第一种实施方式、数据提供方为数据采集层，数据请求方为数据共享层。
如图13所示，为数据提供方为数据采集层，数据请求方为数据共享层时的数据处理方法实施流程示意图，可以包括以下步骤：
S131、数据采集层接收数据共享层发送的数据获取请求。
其中，数据共享层在发送的xml文件中加入数据标签，格式为<flag>SJGX</flag>，其中：<flag>为预先定义的实现溯源功能的标记，SJGX为数据共享层的标识，并进入阻塞状态，等待数据提供方的响应数据返回。
S132、数据采集层进行数据处理得到响应数据。
其中，由于数据采集层位于数据处理系统的最底层，因此，数据采集层在对数据共享层请求的数据进行处理得到响应数据的过程中，还需要在响应数据中加入数据标签，其格式可以为<flag>name-SJGX-XXXX</flag>，其中，name为数据采集层的标识，XXXX为数据共享层所请求数据的数据标识。
S133、数据采集层向数据共享层返回响应数据。
具体实施时，数据共享层系统在接收到响应数据后，中止阻塞状态继续运行。
二、数据提供方为数据共享层，数据请求方为应用层。
如图14所示，其为数据提供方为数据共享层，数据请求方为应用层时的数据处理流程示意图，可以包括以下步骤：
S141、数据共享层接收应用层发送的数据获取请求。
其中，应用层在发送的xml文件中加入数据，格式为<flag>YYXT</flag>，其中：<flag>为预先定义的实现数据溯源功能的标记，YYXT为应用系统的标识(可以根据不同的应用层定义其唯一标识)，并进入阻塞状态，等待数据提供方的响应数据返回。
S142、数据共享层进行数据处理得到响应数据。
具体实施时，数据共享层在接收到数据获取请求后，进行一系列的业务处理获取响应数据，并将响应数据回复给应用层，其在响应数据中需要加入数据标签，格式为<flag>name-SJGX-YYXT-XXXX-x1y1z1……xnynzn</flag>，其中flag为预先定义的实现数据溯源功能的标记，name为采集层的标识，SJGX为数据共享层的标识，YYXT为应用层的标识，XXXX为该数据的数据标识。
较佳的，数据共享层可以在进行数据装载、处理、分发、计算的过程中都保留数据采集层提供数据中所带的数据标签，并在数据处理过程中每一步自动写入数据处理子路径标签，从而实现数据共享层内部数据溯源的功能。具体的，数据装载子层对数据采集层提供的数据进行数据分发、装载等操作。在数据分发、装载过程中，读取数据标签<flag>name-SJGX-XXXX<flag>，并在下一数据处理过程中自动产生新的数据标签<flag>name-SJGX-XXXX-x1y1z1……xnynzn</flag>，其中xiyizi(i＝1,2,…，n)的含义是：数据经过每一次处理，就在数据标签中以从左至右的顺序加上xiyizi，作为该数据在此数据处理子单元的唯一标记，直到第n次处理结束。数据处理子层对数据装载子层传递的数据数据计算，明细存储。在每次数据计算时读取数据标签<flag>name-SJGX-XXXX-x1y1z1……xnynzn</flag>，并在每一步计算完成后，在原数据标签最后一组xiyizi标识后面加入新的xiyizi标识，作为该数据在此处理子单元的唯一标记，直至第n次计算结束，再将数据上传到数据共享子层，由数据共享子层向应用层提供带有<flag>name-SJGX-XXXX-x1y1z1……xnynzn</flag>标签的数据。
S143、数据共享层向应用层返回响应数据。
其中，数据共享子层可以以消息交互、发布订阅等不同方式分发给应用层，本发明实施例对此不做限定。
应用层在接收到响应数据后，还需要将完整的数据标签发送给数据共享层和数据采集层。
至此，完成了数据在数据处理系统不同层之间的传输过程。基于数据传输过程中添加的数据标签，对异常数据溯源的过程可以参照上述数据处理系统中对异常数据进行溯源的过程，这里不再赘述。
如图15所示，其为本发明实施例提供的数据请求方实施的数据处理方法的实施流程示意图，可以包括以下步骤：
S151、数据请求方向数据提供方发送数据获取请求。
其中，所述数据获取请求中携带有所请求数据的数据标签，所述数据标签中至少包括所述数据请求方的标识作为所述数据的传输路径标识
S152、所述数据请求方接收所述数据提供方根据所述数据获取请求返回的响应数据。
其中，所述响应数据为所述数据提供方在所述数据标签中的传输路径标识中添加了所述数据提供方的标识后得到的。
较佳的，所述数据处理系统采用自下而上的数据处理方式；以及
如果所述数据请求方位于所述数据处理系统的最顶层时，则所述方法，还包括：
所述数据请求方在接收到所述数据提供方返回的响应数据后，提取所述响应数据中包含的数据标签，并根据所述数据标签中包含的每一传输路径标识，向所述传输路径标识对应的数据处理方发送所述数据标签。
具体实施时，所述数据请求方在检测到异常数据时，可以根据异常数据的数据标签中的传输路径标识，通知向自身提供数据的数据提供方。
本发明实施例提供的数据处理方法，当数据跨层传递时，可根据数据处理过程中添加的数据标签获取数据流转拓扑，掌握数据来源和去向，掌握数据在数据共享层系统内部数据处理过程溯源，一旦发现异常数据，可从应用层溯源至数据采集层，实现问题快速定位，提高异常数据定位效率。
本发明实施例还给出了在数据中加入的数据标签，实现异常数据溯源、异常数据跨层预警等功能的具体流程，各层系统了解数据向外发送的拓扑结构，当任何一层系统数据异常时，可以知晓将会受影响的其他层系统，并及时主动告知各相关系统。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种数据处理系统，其特征在于，包括数据请求方和数据提供方，其中：
所述数据请求方，用于向所述数据提供方发送数据获取请求，所述数据获取请求中携带有所请求数据的数据标签，所述数据标签中至少包括所述数据请求方的标识作为所述数据的传输路径标识；以及在自身位于所述数据处理系统的最顶层时，如果检测到异常数据时，则根据异常数据的数据标签中的传输路径标识，通知向自身提供数据的数据提供方；
所述数据提供方，用于在接收到所述数据获取请求后，在对所述数据进行处理得到的响应数据过程中，在所述数据标签中的传输路径标识中添加自身的标识；以及在接收到所述数据请求方发送的异常数据通知时，如果确定异常数据非自身进行数据处理过程中产生的，则根据异常数据的数据标签中的传输路径标识通知向自身提供数据的数据提供方，直至异常数据通知到达位于所述数据处理系统最底层的数据提供方；以及如果确定异常数据为自身进行数据处理过程中产生的，则进行异常数据处理。
2.如权利要求1所述的系统，其特征在于，所述数据处理系统采用自下而上的数据处理方式；以及
所述数据提供方，还用于如果自身位于所述数据处理系统最底层时，则在所述数据标签中添加所述数据的数据标识。
3.如权利要求2所述的系统，其特征在于，
所述数据请求方，还用于如果自身位于所述数据处理系统最顶层时，则在接收到所述数据提供方返回的响应数据后，提取所述响应数据中包含的数据标签，并根据所述数据标签中包含的每一传输路径标识，向所述传输路径标识对应的数据处理方发送所述数据标签。
4.如权利要求1所述的系统，其特征在于，所述数据提供方包括多个数据处理子单元，以及
每一数据处理子单元，用于在对所述数据进行处理时，读取所述数据标签，并在所述数据标签中按照自身处理所述数据的处理步骤，当每一处理步骤结束时，在所述数据标签中依次添加每一处理步骤对应的数据处理子路径标识。
5.如权利要求1所述的系统，其特征在于，
所述数据提供方，还用于在检测到异常数据时，根据异常数据的数据标签中的传输路径标识，通知相应的数据请求方。
6.如权利要求5所述的系统，其特征在于，还包括：
所述数据提供方，还用于在异常数据处理完毕时，根据异常数据的数据标签中的传输路径标识，通知相应的数据请求方。
7.一种数据处理方法，应用于分层的数据处理系统中，其特征在于，包括：
数据提供方接收数据获取请求，所述数据获取请求中携带有所请求数据的数据标签，所述数据标签中至少包括所述数据请求方的标识作为所述数据的传输路径标识；
所述数据提供方在对所述数据进行处理得到的响应数据过程中，在所述数据标签中的传输路径标识中添加自身的标识；
所述数据提供方接收位于所述数据处理系统最顶层的数据请求方发送的异常数据通知，其中，异常数据通知为所述数据请求方在检测到异常数据时，根据异常数据的数据标签中的传输路径标识通知所述数据提供方的；
所述数据提供方判断异常数据是否为自身进行数据处理过程中产生的；
如果是，则进行异常数据处理；
如果否，则根据异常数据的数据标签中的传输路径标识通知向自身提供数据的数据提供方，直至异常数据通知到达位于所述数据处理系统最底层的数据提供方。
8.如权利要求7所述的方法，其特征在于，所述数据处理系统采用自下而上的数据处理方式；以及
如果所述提供方位于所述数据处理系统的最底层时，所述方法，还包括：
在所述数据标签中添加所述数据的数据标识。
9.如权利要求7所述的方法，其特征在于，所述数据提供方包括多个数据处理子单元；
所述方法，还包括：
每一处理子单元在对所述数据进行处理时，读取所述数据标签，并在所述数据标签中按照自身处理所述数据的处理步骤，当每一处理步骤结束时，在所述数据标签中依次添加每一处理步骤对应的数据处理子路径标识。
10.如权利要求7所述的方法，其特征在于，还包括：
所述数据提供方在检测到异常数据时，根据异常数据的数据标签中的传输路径标识，通知相应的数据请求方。
11.如权利要求10所述的方法，其特征在于，还包括：
所述数据提供方在异常数据处理完毕时，根据异常数据的数据标签中的传输路径标识，通知相应的数据请求方。
12.一种数据处理方法，应用于分层的数据处理系统中，其特征在于，包括：
数据请求方向数据提供方发送数据获取请求，所述数据获取请求中携带有所请求数据的数据标签，所述数据标签中至少包括所述数据请求方的标识作为所述数据的传输路径标识；
所述数据请求方接收所述数据提供方根据所述数据获取请求返回的响应数据，其中，所述响应数据为所述数据提供方在所述数据标签中的传输路径标识中添加了所述数据提供方的标识后得到的；
所述数据请求方在检测到异常数据时，根据异常数据的数据标签中的传输路径标识，通知向自身提供数据的数据提供方，所述数据提供方在接收到所述数据请求方发送的异常数据通知时，如果确定异常数据非自身进行数据处理过程中产生的，则根据异常数据的数据标签中的传输路径标识通知向自身提供数据的数据提供方，直至异常数据通知到达位于所述数据处理系统最底层的数据提供方；以及如果确定异常数据为自身进行数据处理过程中产生的，则进行异常数据处理。
13.如权利要求12所述的方法，其特征在于，所述数据处理系统采用自下而上的数据处理方式；以及
如果所述数据请求方位于所述数据处理系统的最顶层时，则所述方法，还包括：
所述数据请求方在接收到所述数据提供方返回的响应数据后，提取所述响应数据中包含的数据标签，并根据所述数据标签中包含的每一传输路径标识，向所述传输路径标识对应的数据处理方发送所述数据标签。
CN201510991795.1A 2015-12-25 2015-12-25 一种数据处理系统和方法 Active CN106921505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510991795.1A CN106921505B (zh) 2015-12-25 2015-12-25 一种数据处理系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510991795.1A CN106921505B (zh) 2015-12-25 2015-12-25 一种数据处理系统和方法

Publications (2)

Publication Number Publication Date
CN106921505A CN106921505A (zh) 2017-07-04
CN106921505B true CN106921505B (zh) 2019-10-18

Family

ID=59460132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510991795.1A Active CN106921505B (zh) 2015-12-25 2015-12-25 一种数据处理系统和方法

Country Status (1)

Country Link
CN (1) CN106921505B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110086510A (zh) * 2018-01-26 2019-08-02 中兴通讯股份有限公司 一种天线系统及数据处理方法
CN109686415B (zh) * 2018-12-21 2021-07-16 苏州爱医斯坦智能科技有限公司 一种数据传输方法、管理平台、电子设备及存储介质
CN111131266A (zh) * 2019-12-26 2020-05-08 广州信天翁信息科技有限公司 一种数据标签、追责方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453389A (zh) * 2008-11-19 2009-06-10 中国网络通信集团公司 流量监测方法及系统
CN103166829A (zh) * 2011-12-12 2013-06-19 中国移动通信集团北京有限公司 网信页面提供方法及系统、网信平台及业务系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668857B2 (en) * 2005-11-07 2010-02-23 International Business Machines Corporation Meta-data tags used to describe data behaviors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453389A (zh) * 2008-11-19 2009-06-10 中国网络通信集团公司 流量监测方法及系统
CN103166829A (zh) * 2011-12-12 2013-06-19 中国移动通信集团北京有限公司 网信页面提供方法及系统、网信平台及业务系统

Also Published As

Publication number Publication date
CN106921505A (zh) 2017-07-04

Similar Documents

Publication Publication Date Title
Song et al. Tracking the location of materials on construction job sites
Razavi et al. Multisensor data fusion for on-site materials tracking in construction
CN108683562A (zh) 异常检测定位方法、装置、计算机设备及存储介质
CN106874187B (zh) 代码覆盖率收集方法和装置
CN106921505B (zh) 一种数据处理系统和方法
JP2006208387A (ja) 情報技術（ｉｔ）機器測位システム
Wu et al. Supply chain of things: A connected solution to enhance supply chain productivity
CN111813788A (zh) 信息的查询方法和装置、信息的同步方法和装置
Feitosa et al. Investigating the effect of design patterns on energy consumption
CN112700131B (zh) 基于人工智能的ab测试方法、装置、计算机设备及介质
CN103324656B (zh) 数据库管理方法及其数据库管理服务器
CN102306264A (zh) 基于rfid技术的室内定位系统
Theiler et al. BIM-based design of structural health monitoring systems
CN101339629A (zh) 一种软件开发过程管理系统
CN104517178A (zh) 用于动态工作流优先级确定和任务分配的方法和系统
CN109684211A (zh) 一种基于店铺维度的订单调度系统压力测试方法及装置
US20160085655A1 (en) Monitoring system, monitoring device, and monitoring method
CN114237466A (zh) 一种巡检点配置方法及装置
KR20160087168A (ko) 클라우드 지식공유 기반 로봇 제어 시스템 및 제어방법
CN111932200A (zh) 远程招投标评审系统
CN115473575A (zh) 基于哑资源的光缆管道监控方法、装置、设备及存储介质
KR20150138958A (ko) Ｎｆｃ 기반 플랜트 관리 시스템
Motamedi et al. RFID-assisted lifecycle management of building components using BIM data
CN117172641A (zh) 基于区块链与数字孪生的生产物流管理平台及实现方法
Joseph et al. Analyzing RFID tags in a distributed environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant