CN114064650A - 一种数据解析采集方法 - Google Patents
一种数据解析采集方法 Download PDFInfo
- Publication number
- CN114064650A CN114064650A CN202111364055.7A CN202111364055A CN114064650A CN 114064650 A CN114064650 A CN 114064650A CN 202111364055 A CN202111364055 A CN 202111364055A CN 114064650 A CN114064650 A CN 114064650A
- Authority
- CN
- China
- Prior art keywords
- data
- data acquisition
- acquisition
- tool
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013480 data collection Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000007405 data analysis Methods 0.000 title claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000010276 construction Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000006854 communication Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种数据解析采集方法，包括将各个数据采集请求依次发送至数据采集设备；所述数据采集请求对应的解析协议按照所述数据采集请求的发送顺序预设有协议索引；接收所述数据采集设备根据所述数据采集请求返回的采集数据，并对各个所述采集数据按照返回顺序设置数据索引。有益效果：本申请为业务系统提供独立的数据采集工具，当业务系统需要采集数据时，通过独立的数据采集工具就可实现数据的采集，避免了系统为了采集数据而必须对自身进行改造、集成数据采集工具，解决了项目的搭建部署复杂、成本高的问题。
Description
技术领域
本发明涉及数据采集技术领域，尤其涉及一种数据解析采集方法。
背景技术
信息是现代企业的重要资源，是企业运用科学管理、决策分析的基础。目前，大多数企业花费大量的资金和时间来构建联机事务处理的业务系统，用来记录事务处理的各种相关数据。在这个背景下，数据仓库应用而生。数据仓库是把产生的数据整合到一起发掘其中的商业价值和提供决策支持用的。数据仓库的产生是需要从大量的源数据中选择有用的数据，再经过一系列处理，最终存储入数据仓库。
目前采集源数据以及处理数据的方法，通常都是业务数据需求方根据自己的业务需求编译或者订制与自己所需求的业务数据高度相关的处理工具，并整合到自己的业务系统中。
发明内容
本发明的目的是提供一种数据解析采集方法，本申请为业务系统提供独立的数据采集工具，当业务系统需要采集数据时，通过独立的数据采集工具就可实现数据的采集，避免了系统为了采集数据而必须对自身进行改造、集成数据采集工具，解决了项目的搭建部署复杂、成本高的问题。
本发明的技术方案是这样实现的：
一种数据解析采集方法，包括将各个数据采集请求依次发送至数据采集设备；
所述数据采集请求对应的解析协议按照所述数据采集请求的发送顺序预设有协议索引；
接收所述数据采集设备根据所述数据采集请求返回的采集数据，并对各个所述采集数据按照返回顺序设置数据索引；
当接收到解析指令时，通过目标采集数据的数据索引确定目标协议索引，根据所述目标协议索引获取目标解析协议对所述目标采集数据进行解析，获得目标解析数据；
数据采集请求通过服务界面接收用户输入的数据采集设置信息，并将所述数据采集设置信息发送给所述数据采集工具；通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据；在接收到所述数据采集工具发送的数据采集完成的信息之后，从所述数据采集工具的数据库中调取采集到的数据。
进一步的，所述数据采集请求与对应的解析协议按照数据采集请求的发送顺序保存于协议列表中。
进一步的，接收所述数据采集设备根据所述数据采集请求返回的采集数据，并对各个所述采集数据按照返回顺序设置数据索引之后，还包括：将数据采集请求对应的采集数据按照所述返回顺序保存至数据列表。
进一步的，在将所述数据采集设置信息发送给所述数据采集工具之后，所述方法还包括：获取所述数据采集工具采集数据的状态信息，并将所述状态信息通过所述服务界面实时显示，以便于用户通过所述服务界面监控和查看数据采集的状态。
本发明的有益效果是：本发明通过显示预先创建的数据采集工具的服务界面，通过所述服务界面接收用户输入的数据采集设置信息，并将所述数据采集设置信息发送给所述数据采集工具，通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据，在接收到所述数据采集工具发送的数据采集完成的信息之后，从所述数据采集工具的数据库中调取采集到的数据，本申请为业务系统提供独立的数据采集工具，当业务系统需要采集数据时，通过独立的数据采集工具就可实现数据的采集，避免了系统为了采集数据而必须对自身进行改造、集成数据采集工具，解决了项目的搭建部署复杂、成本高的问题。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
根据本发明的实施例，提供一种数据解析采集方法。
根据本发明实施例的数据解析采集方法，包括将各个数据采集请求依次发送至数据采集设备；
所述数据采集请求对应的解析协议按照所述数据采集请求的发送顺序预设有协议索引；
接收所述数据采集设备根据所述数据采集请求返回的采集数据，并对各个所述采集数据按照返回顺序设置数据索引；
当接收到解析指令时，通过目标采集数据的数据索引确定目标协议索引，根据所述目标协议索引获取目标解析协议对所述目标采集数据进行解析，获得目标解析数据；
数据采集请求通过服务界面接收用户输入的数据采集设置信息，并将所述数据采集设置信息发送给所述数据采集工具；通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据；在接收到所述数据采集工具发送的数据采集完成的信息之后，从所述数据采集工具的数据库中调取采集到的数据。
具体的，以上是基于接收到的数据采集请求为各个数据采集设备，在实际的数据通信过程中，数据采集请求的类型和数量并不唯一，还可能为针对不同数据采集设备、不同请求数据长度的数据采集请求，也可能为针对不同数据采集设备、相同请求数据长度的数据采集请求，对于此类数据采集请求，由于其类型的不同，均可根据其相应的请求信息以及采集数据的数据信息进行相应的对照，而无需索引的设置。因此，对于该类数据采集请求，可直接将其发送至对应的数据采集设备，并获取数据采集设备获取的采集数据；进一步，当接收到解析指令时，可直接根据相关信息确定对应的解析协议，并完成数据解析。
进一步的，所述数据采集请求与对应的解析协议按照数据采集请求的发送顺序保存于协议列表中。
进一步的，接收所述数据采集设备根据所述数据采集请求返回的采集数据，并对各个所述采集数据按照返回顺序设置数据索引之后，还包括：将数据采集请求对应的采集数据按照所述返回顺序保存至数据列表。
进一步的，在将所述数据采集设置信息发送给所述数据采集工具之后，所述方法还包括：获取所述数据采集工具采集数据的状态信息，并将所述状态信息通过所述服务界面实时显示，以便于用户通过所述服务界面监控和查看数据采集的状态。
具体地，在所述数据采集工具的服务界面上预设“自动触发”和“触发”按钮；在将所述数据采集设置信息发送给所述数据采集工具之后，在通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据之前，系统在预定时间内检测“自动触发”按钮是否被按下；当系统检测到“自动触发”按钮被按下，即获取到自动触发指令，则系统立即向所述数据采集工具发送启动数据转换任务的指令，所述数据采集工具收到所述业务系统发送的启动数据转换任务的指令后，启动数据转换任务；当系统没有检测到“自动触发”按钮被按下，即获取到手动触发指令，则业务系统监测用户是否手动点击“触发”按钮，一旦监测到用户点击“触发”按钮，系统就会向所述数据采集工具发送启动数据转换任务的指令，所述数据采集工具收到所述业务系统发送的启动数据转换任务的指令后，启动数据转换任务。
通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据还包括：通过所述数据采集工具中的数据转换文件根据所述数据采集设置信息采集数据，通过所述数据采集工具中的数据转换文件对所述采集到的数据进行转义加工处理，并将处理后的数据插入到所述数据采集工具的数据库中，所述从所述数据采集工具的数据库中调取采集到的数据具体为从所述数据采集工具的数据库中调取处理后的数据。
在实际应用中，当数据采集端的字典与所述数据采集工具的数据库字典的定义方式不同，采集数据后，需要对采集到的数据进行转义加工，将采集到的数据转义加工成可供所述数据采集工具的数据库字典识别的数据，这样才能将采集到的数据存储在所述数据采集工具的数据库中。在本发明实施例中，在通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据时，所述方法还包括：监测所述数据采集过程中的错误信息，并将所述错误信息生成采集日志，便于用户查看、分析数据采集过程中出现的错误信息。
而在实际的数据通信过程中，数据采集请求的类型和数量并不唯一，还可能为针对不同数据采集设备、不同请求数据长度的数据采集请求，也可能为针对不同数据采集设备、相同请求数据长度的数据采集请求，对于此类数据采集请求，由于其类型的不同，均可根据其相应的请求信息以及采集数据的数据信息进行相应的对照，而无需索引的设置。因此，对于该类数据采集请求，可直接将其发送至对应的数据采集设备，并获取数据采集设备获取的采集数据；进一步，当接收到解析指令时，可直接根据相关信息确定对应的解析协议，并完成数据解析。
所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (4)
1.一种数据解析采集方法，其特征在于，包括
将各个数据采集请求依次发送至数据采集设备；
所述数据采集请求对应的解析协议按照所述数据采集请求的发送顺序预设有协议索引；
接收所述数据采集设备根据所述数据采集请求返回的采集数据，并对各个所述采集数据按照返回顺序设置数据索引；
当接收到解析指令时，通过目标采集数据的数据索引确定目标协议索引，根据所述目标协议索引获取目标解析协议对所述目标采集数据进行解析，获得目标解析数据；
数据采集请求通过服务界面接收用户输入的数据采集设置信息，并将所述数据采集设置信息发送给所述数据采集工具；通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据；在接收到所述数据采集工具发送的数据采集完成的信息之后，从所述数据采集工具的数据库中调取采集到的数据。
2.根据权利要求1所述的一种数据解析采集方法，其特征在于，所述数据采集请求与对应的解析协议按照数据采集请求的发送顺序保存于协议列表中。
3.根据权利要求1所述的一种数据解析采集方法，其特征在于，接收所述数据采集设备根据所述数据采集请求返回的采集数据，并对各个所述采集数据按照返回顺序设置数据索引之后，还包括：将数据采集请求对应的采集数据按照所述返回顺序保存至数据列表。
4.如权利要求1所述的数据采集方法，其特征在于，在将所述数据采集设置信息发送给所述数据采集工具之后，所述方法还包括：获取所述数据采集工具采集数据的状态信息，并将所述状态信息通过所述服务界面实时显示，以便于用户通过所述服务界面监控和查看数据采集的状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111364055.7A CN114064650A (zh) | 2021-11-17 | 2021-11-17 | 一种数据解析采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111364055.7A CN114064650A (zh) | 2021-11-17 | 2021-11-17 | 一种数据解析采集方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114064650A true CN114064650A (zh) | 2022-02-18 |
Family
ID=80277867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111364055.7A Pending CN114064650A (zh) | 2021-11-17 | 2021-11-17 | 一种数据解析采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114064650A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109450922A (zh) * | 2018-11-29 | 2019-03-08 | 厦门科灿信息技术有限公司 | 一种通信数据解析方法、装置及相关设备 |
| CN110019501A (zh) * | 2017-08-24 | 2019-07-16 | 深圳市金证科技股份有限公司 | 一种数据采集方法、装置及终端设备 |
| CN110022354A (zh) * | 2019-03-03 | 2019-07-16 | 云南电网有限责任公司信息中心 | 基于http协议的移动应用集成方法、装置、计算机设备及存储介质 |
| CN110222253A (zh) * | 2019-06-12 | 2019-09-10 | 北京睦合达信息技术股份有限公司 | 一种数据采集方法、设备及计算机可读存储介质 |
-
2021
- 2021-11-17 CN CN202111364055.7A patent/CN114064650A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110019501A (zh) * | 2017-08-24 | 2019-07-16 | 深圳市金证科技股份有限公司 | 一种数据采集方法、装置及终端设备 |
| CN109450922A (zh) * | 2018-11-29 | 2019-03-08 | 厦门科灿信息技术有限公司 | 一种通信数据解析方法、装置及相关设备 |
| CN110022354A (zh) * | 2019-03-03 | 2019-07-16 | 云南电网有限责任公司信息中心 | 基于http协议的移动应用集成方法、装置、计算机设备及存储介质 |
| CN110222253A (zh) * | 2019-06-12 | 2019-09-10 | 北京睦合达信息技术股份有限公司 | 一种数据采集方法、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU770611B2 (en) | Transaction recognition and prediction using regular expressions | |
| CN109062780B (zh) | 自动化测试用例的开发方法及终端设备 | |
| US20020110091A1 (en) | Response time measurement apparatus and method | |
| CN109885496B (zh) | 测试日志管理方法及系统 | |
| CN105760286A (zh) | 应用数据库动态性能检测方法及检测装置 | |
| US10467590B2 (en) | Business process optimization and problem resolution | |
| CN110807085A (zh) | 故障信息的查询方法及装置、存储介质、电子装置 | |
| CN107634878B (zh) | 一种性能测试管理平台 | |
| CN113360376A (zh) | 埋点测试方法和装置 | |
| CN113608969A (zh) | 业务系统运行监控系统及方法 | |
| CN112948262A (zh) | 一种系统测试方法、装置、计算机设备和存储介质 | |
| CN114064650A (zh) | 一种数据解析采集方法 | |
| CN114048214A (zh) | 一种数据解析采集方法、装置及终端设备 | |
| CN111124891A (zh) | 接入状态的检测方法和装置、存储介质及电子装置 | |
| CN114610689B (zh) | 一种分布式环境中请求日志的记录和分析方法 | |
| CN114531340A (zh) | 日志获取方法、装置、电子设备、芯片及存储介质 | |
| CN110134583B (zh) | 软件测试及数据处理方法及装置 | |
| CN114465919A (zh) | 一种网络服务测试方法、系统、电子设备及存储介质 | |
| CN114490246A (zh) | 一种监控方法、装置、电子设备以及存储介质 | |
| CN112231185A (zh) | 基于应用系统告警信息的知识获取方法及装置 | |
| CN115860548B (zh) | 基于大数据的SaaS一站式平台管理方法、系统及介质 | |
| CN110532253A (zh) | 一种业务分析方法、系统及集群 | |
| CN116911644A (zh) | 时长指标的确定方法、装置、电子设备及存储介质 | |
| KR102667872B1 (ko) | 데이터 전처리 장치 및 방법 | |
| CN114741412B (zh) | 用户行为自助分析系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |