CN112749171A - 一种跨系统的非侵入式数据采集技术 - Google Patents

Abstract

本发明提供了一种跨系统的非侵入式数据采集技术，包括步骤：录制人工访问业务系统的操作步骤并将操作步骤编程写入机器人，使用机器人完成对不同数据类型的查询与采集将数据更新至大数据平台的数据仓库，令机器人通过模拟人工操作以Web方式登录业务系统根据实际业务需求在数据仓库内查找目标数据，将目标数据存入后端数据库、整理并输出为人工可查看的形式结果。本发明能够在避免对原始数据系统进行大量改造、避免采用爬虫等对系统造成高负荷的技术前提下，支持对不同系统的非人工数据采集。

Description

一种跨系统的非侵入式数据采集技术

技术领域

本发明涉及计算机软件及应用领域，更具体涉及一种跨系统的非侵入式数据采集技术。

背景技术

传统IT建设方式下，电力企业的各种信息系统大多是独立采购或者独立建设的，采用的IT技术也不一致，这导致无法做到信息的互联互通，致使电力企业内部采购形成多个数据孤岛。

当前移动互联网、AI、大数据技术的发展带来很多新的业务模式。新模式需要通过新的平台进行支撑，产生的数据与传统模式下的数据也无法互通、互用，这进一步加剧了数据孤岛问题。分散在各个数据孤岛的数据无法很好地支撑电力企业的经营决策，也无法很好地应对快速变化的前端业务。

按目前的大数据平台建立模式，有效而全面的数据采集技术决定了大数据平台的成败，目前的数据采集存在如下缺点：

1. 需要通过平台对接电力企业已有的各种系统，但系统运行时间较久，需要原厂进行接口开发和对接，难度较高、所需费用较大、时间较久。

2. 业务数据跨部门，数据格式和内容不一，若手工输入则需业务人员花费大量时间去进行基于各个业务系统的人工下载以及各种数据的人工处理，甚至也会出现同种数据被各个业务部门多个人重复更新或覆盖的情况，很难实现有效的跨部门协作。

3. 对于时效要求较高的数据采集，业务人员的工作压力很大，长期工作的效率会变低，需采集的数据量越大越需花费的人工时间越多，对于企业而言，也造成了巨大的资源浪费。

4． 采用“爬虫”等技术进行数据采集，爬虫通常是使用python语言写脚本直接操作HTML，抓取网页数据的速度非常快。但其在应用时，往往采用接口或暴力破解的方式解析网页内容以获取资料，会对后台造成巨大负担并带来较大的隐私泄露、数据安全等风险，因此往往会被企业采用反爬虫机制禁止使用。

发明内容

本发明目的是提供了一种跨系统的非侵入式数据采集技术，能够在避免对原始数据系统进行大量改造、避免采用爬虫等对系统造成高负荷的技术前提下，支持对不同系统的非人工数据采集方法。

本发明为实现上述目的，通过以下技术方案实现：

一种跨系统的非侵入式数据采集技术，包括步骤：

1）录制人工访问业务系统的操作步骤并将操作步骤编程写入机器人；

2）使用所述机器人模拟人工操作流程，登入业务系统，完成对不同数据类型的查询与采集，将查询与采集的数据更新至大数据平台的数据仓库；

3）令机器人通过模拟人工操作以Web方式登录业务系统，根据实际业务需求在数据仓库内查找目标数据；

4）将目标数据存入后端数据库，整理并输出为人工可查看的形式结果。

进一步的，步骤1还包括：

将操作步骤写入机器人后，再结合具体场景添加代码逻辑编写。

优选的，步骤1使用UFT工具以对象的方式进行录制，UFT工具通过自身的对象模型库与录屏记录下的页面GUI元素进行比对，成功映射到UFT对象模型中的某个对象后，自动转换生成与该人工点击操作对应的VB代码，代码每行都是录制的一个操作，包含了操作的对象和动作。

优选的，步骤2还包括：

根据不同的需求场景选择使用一个或多个写入程序相同或不同的机器人。

优选的，步骤3还包括：

提前确认具体场景所需数据类别，通过限定读取内容的方式让机器人识别页面中的目标数据，在机器人执行脚本后增加SQL语句，将机器人从业务系统中抓取的有效数据通过web table表格的形式存入数据仓库。

本发明的优点在于：创造性的利用自动化测试工具UFT的录屏功能创建了可以重复执行的模拟人工操作的脚本，结合编程语言进行灵活编排，以模拟人工操作的方式完成数据采集。

本技术完全通过设计流程来模拟人的动作执行任务，模拟人类动作进行数据采集，避免对原数据系统的大量改造，避免人工方式实施数据采集带来的效率低下，提升数据采集的时效和准确性，避免了“爬虫”等会对系统造成高负荷的数据采集方式，还可以支持不同系统上面的数据采集。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明实施例1的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

一种跨系统的非侵入式数据采集技术，以机器人作为数字员工，预先将人工操作的步骤以对象的方式通过录屏录制下来，并根据实际的业务需求，结合少量的代码逻辑编写，完成预先程序的设定，这样将已完成的多个机器人，定时周期执行，模拟人工操作将现有不同的业务系统的数据写入大数据平台，统一分析处理。

上述技术的具体实施步骤为：

S1 录制人工访问业务系统的操作步骤并将操作步骤编程写入机器人。

人工操作就是一步步点击图形用户界面<GUI>的按钮<button>，使用业务系统完成既定工作；从系统开发角度讲，GUI通常都是基于某一GUI开发库，这些库通常是按照面向对象的方式进行建模的，它将每一个GUI元素映射成该库中某一个类的对象；开发人员使用自动化测试工具<UFT>，录制人工点击应用系统操作，无论GUI界面是何种元素，基于何种GUI库，都被UFT映射成自身对象模型中的对象，自动转化成对应的VB代码脚本；目前测试工具可识别600+UI对象，侦测尺寸，颜色，位置的变化。

使用测试工具将人工操作以对象的方式通过录屏方式录制下来，仅仅是捕获到了各类业务系统图形用户界面的对象按钮，但由机器人代替人工完成一项业务操作，要考虑到实际执行过程中干扰因素很多，这就需要增加逻辑判断的代码；因此在上述VB代码脚本中，需要再结合少量的代码逻辑编写。

举例1：由于网络带宽限制、用户访问量级的不同，各个业务系统的操作延时也不一样。机器人逐行执行代码时，就要增加时间等待判断<wait>；

举例2：由于查询日期的变化，同一条件查询到的数据数量也不同，直观反映到系统上，显示查询结果的页数会有变化。这就需要增加逻辑代码判断，管理机器人的翻页查询动作；举例3：根据某一条件，能够查询到的web table数据结果繁多，开发人员需要根据用户预先提供的行列名或关键字，编写逻辑判断代码，让机器人抓取页面中的有效数据，进行下一步动作执行。

S2 使用所述机器人模拟人工操作流程，登入业务系统，完成对不同数据类型的查询与采集，将查询与采集的数据更新至大数据平台的数据仓库。

不同的需求场景使用不同的机器人完成流程，根据应用系统、使用场景的不同，使用机器人模拟人工登入用户业务系统，搜寻的有效数据范围也不一样，例如对于电力同一应用系统来讲，简单场景（简单场景指业务系统含有数据分析功能，机器人单纯需要将数据查询后，提取整理并输出，一般简单场景单个机器人可以独立完成）的情况下机器人将采集到的数据立即分析处理并输出；如果是复杂场景（复杂场景指业务系统需要多个机器人共同完成，机器人各自登录不同的业务系统采集所需数据，写入数据仓库，并且需要额外添加分析数据的脚本，之后通过机器人调用，完成该场景的结果输出），需要跨应用采集数据，则采用多个机器人协同工作，多个机器人根据采集数据内容的不同依次执行，待前面的机器人从各业务系统中将有效的业务数据写入数据仓库后，由最后一个机器人执行分析数据脚本，输出结果。

另外，由于有的电力应用系统总体结构复杂，存在不同场景需求，尽管实际登录的是同一应用系统，这种情况也要区分不同的机器人去录屏采集。

S3 令机器人通过模拟人工操作以Web方式登录业务系统，根据实际业务需求在数据仓库内查找目标数据。

将访问的页面数据内容通过web table表格的形式存入平台数据库，页面数据的内容仅获取目标数据，在前期需求调研的过程中，向电力员工确认该场景需要在页面抓取的数据是哪些，在机器人代码脚本中通过限定行列名或是关键字的方式，让机器人识别页面中的目标数据，在机器人执行脚本后，增加SQL语句，将机器人从业务系统中抓取的有效数据写入数据仓库。

S4 将目标数据存入后端数据库，整理并输出为人工可查看的形式结果。

通过机器人的方式将系统较为分散、数据较为隔离的业务系统数据抓出并存储至数据库，以VB或Python语言整理数据并输出为excel表格或其他形式结果供客户直接调用。

实施例2

机器人录制好的工作可以定时周期性执行，实际执行时还可以根据业务系统的情况进行对应调整：如果是完全不同的功能查询模块，则需要重新录制整体流程；如果是同一菜单下的不同选项，可以采用设置参数的方式，在使用人员机器人前，填写入参信息，完成不同数据类型的查询。

机器人接受平台指令，可以多台机器人并发执行；对于单台机器人来讲，当有多个任务流程下发至一台机器人时，机器人会根据指令下发时间，单线程排队依次执行。

如果原生系统不含某项业务的分析功能，则需要机器人代替人工，依据专业内的标准公式算法，对采集到数据进行计算和阈值分析，总结归纳出业务人员需要的最终判定结果，例如：

1. 某机器人可以通过业务系统采集24小时当中的每个整点电压数据，统计电压数高于标准电压（220V）107%和低于90%的，判定为异常电压，累加计算一天内的异常情况次数；

2. 机器人登录某业务系统采集数据，依据专业计算公式，可以计算出该条线路属于高损/负损/正常线路，将计算结果反馈一线人员，针对线路的不同故障情况进行维修护理。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种跨系统的非侵入式数据采集技术，其特征在于，包括步骤：

1）录制人工访问业务系统的操作步骤并将操作步骤编程写入机器人；

2）使用所述机器人模拟人工操作流程，登入业务系统，完成对不同数据类型的查询与采集，将查询与采集的数据更新至大数据平台的数据仓库；

3）令机器人通过模拟人工操作以Web方式登录业务系统，根据实际业务需求在数据仓库内查找目标数据；

4）将目标数据存入后端数据库，整理并输出为人工可查看的形式结果。

2.根据权利要求书1所述的数据采集技术，其特征在于，所述步骤1还包括：

将操作步骤写入机器人后，再结合具体场景添加代码逻辑编写。

3.根据权利要求1所述的数据采集技术，其特征在于，所述步骤1使用UFT工具以对象的方式进行录制，UFT工具通过自身的对象模型库与录屏记录下的页面GUI元素进行比对，成功映射到UFT对象模型中的某个对象后，自动转换生成与该人工点击操作对应的VB代码，代码每行都是录制的一个操作，包含了操作的对象和动作。

4.根据权利要求1所述的数据采集技术，其特征在于，所述步骤2还包括：

根据不同的需求场景选择使用一个或多个写入程序相同或不同的机器人。

5.根据权利要求1所述的数据采集技术，其特征在于，所述步骤3还包括：

提前确认具体场景所需数据类别，通过限定读取内容的方式让机器人识别页面中的目标数据，在机器人执行脚本后增加SQL语句，将机器人从业务系统中抓取的有效数据通过web table表格的形式存入数据仓库。

Images