CN111208993B - 一种流程化数据分析处理系统 - Google Patents
一种流程化数据分析处理系统 Download PDFInfo
- Publication number
- CN111208993B CN111208993B CN201911324470.2A CN201911324470A CN111208993B CN 111208993 B CN111208993 B CN 111208993B CN 201911324470 A CN201911324470 A CN 201911324470A CN 111208993 B CN111208993 B CN 111208993B
- Authority
- CN
- China
- Prior art keywords
- algorithm
- flow
- library
- data
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 90
- 238000007405 data analysis Methods 0.000 title claims abstract description 14
- 239000002245 particle Substances 0.000 claims abstract description 47
- 238000013461 design Methods 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 abstract description 8
- 238000012795 verification Methods 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种流程化数据分析处理系统，包括：算法库、流程库、处理结果库、算法编辑器、数据处理流程设计单元和数据处理服务单元；算法库中存储算法颗粒和算法模块；算法编辑器，用于编辑算法颗粒，存储到算法库中；从算法库提取算法颗粒或算法模块搭建所需功能的算法模块，并存储到算法库中；数据处理流程设计单元，用于调用算法库中的算法颗粒或算法模块，形成数据处理流程，保存为流程模板，存储到流程库；数据处理服务单元，用于从流程库提取流程模板，将数据装配至流程模板，流程模板自动运行，得到处理结果，保存至处理结果库。使用本发明能够提高试验数据分析处理的灵活性，提高工作效率、缩短试验分析验证的时间周期。
Description
技术领域
本发明涉及测量仪器的数据管理及处理技术领域，尤其涉及一种流程化数据分析处理系统。
背景技术
在测试测量领域，需要做大量的试验，以验证系统或部件的功能。目前，领域内大量的型号试验都采用手工导入、计算、处理、比对的方法进行试验数据分析处理。人工处理存在效率低下、可靠性低、算法不可变、流程不可变和流程非自动化等缺点，这给试验数据的及时处理分析带来巨大挑战。
发明内容
有鉴于此，本发明提供了一种流程化数据分析处理系统，能够提高试验数据分析处理的灵活性，提高工作效率、缩短试验分析验证的时间周期。
为了解决上述技术问题，本发明是这样实现的：
一种流程化数据分析处理系统，包括：算法库、流程库、处理结果库、算法编辑器、数据处理流程设计单元和数据处理服务单元；
算法库中存储算法颗粒和算法模块，接受算法编辑器和数据处理服务单元的调用；所述算法颗粒是指试验所需的基本处理算法；
算法编辑器，用于编辑算法颗粒，存储到算法库中；从算法库提取算法颗粒或算法模块搭建所需功能的算法模块，并存储到算法库中；
数据处理流程设计单元，用于调用算法库中的算法颗粒或算法模块，形成数据处理流程，保存为流程模板，存储到流程库；
数据处理服务单元，用于从流程库提取流程模板，将数据装配至流程模板，流程模板自动运行，得到处理结果，保存至处理结果库。
优选地，所述数据处理流程设计单元为可视化设计单元，根据来自外部的鼠标控制信号，从算法库中拖拽所需的算法颗粒和/或算法模块到设计面板上，并依据鼠标控制信号将算法颗粒和算法模块进行鼠标连线，以确定数据在各个算法颗粒和模块的流动顺序。
优选地，数据处理服务单元在执行流程模板过程中，对各个算法颗粒和算法模块的执行进行监控、对输入数据的合法性进行判定；并提供用户交互控件，在算法执行过程中，接受外部使用者通过用户交互控件在任意时刻暂停、停止、退出整个算法执行流程。
优选地，数据处理服务单元对输入数据的合法性进行判定的方式为：通过文件扩展名、已知文件头信息和/或全文数据辨识是否为合法数据源。
优选地，所述系统进一步包括第一接口，用于通过网络方式将本地数据同步至外部服务器，从服务器更新数据至本地。
优选地，所述系统进一步包括第二接口，用于与其他流程化数据分析处理系统级联，协同进行数据处理。
优选地，数据处理流程设计单元在设计流程时，仅调用算法颗粒和算法模块的索引；数据处理服务单元在执行算法时再从算法库调度用算法颗粒和算法模块的程序。
有益效果：
(1)本发明通过流程化数据处理来满足算法可变、流程可变、流程自动化等需求，快速开展试验数据分析处理相关工作，将数据分析工程师从繁冗的工作中解脱出来，提高试验数据分析处理的灵活性，提高工作效率、缩短试验分析验证的时间周期，对型号研制具有重大意义，能够显著提升试验设计水平。
(2)本发明数据处理流程设计单元设计为可视化设计单元，通过鼠标的操作实现算法的组合设计和数据流动顺序的设定，操作起来更加方便，快捷，进一步缩短试验分析验证的时间周期。
(3)本发明在数据处理服务单元设置了过程监控、数据合法性判断操作，提高了数据处理的可靠性。
附图说明
图1为本发明流程化数据分析处理系统的组成框图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种流程化数据分析处理系统，如图1所示，包括：算法库、流程库、处理结果库、算法编辑器、数据处理流程设计单元和数据处理服务单元
算法库中存储算法颗粒和算法模块，接受算法编辑器和数据处理服务单元的调用。其中，算法颗粒是指试验所需的基本处理算法，用户可通过算法编辑器自行编辑算法颗粒，也可提出需求，由专业的工程师进行算法颗粒设计，然后再通过算法编辑器保存到算法库。算法模块是指由一组基本算法颗粒组成、具备特定的处理功能，能够被后续设计直接使用的通用算法组合；也可以通过现有的算法模块，搭建更加复杂的算法模块，即支持算法模块的嵌套封装。算法模块的搭建和嵌套封装由算法编辑器来实现。
算法编辑器，用于编辑算法颗粒，存储到算法库中。还负责从算法库提取算法颗粒或算法模块搭建所需功能的算法模块，并存储到算法库中。设计算法模块可以实现两个目的：1、在大型复杂的算法流程中，如果全部采用基本的算法颗粒搭建，不容易阅读和理解，而采用了算法模块则可以简单清晰的表达设计意图；2、采用算法模块搭建成常用的算法，为后续的算法流程设计复用，大大提高了试验数据分析的设计效率。
数据处理流程设计单元，用于调用算法库中的算法颗粒或算法模块，形成数据处理流程，保存为流程模板，存储到流程库。
该数据处理流程设计单元设计为可视化设计单元，根据来自外部的鼠标控制信号，从算法库中拖拽所需的算法颗粒和/或算法模块到设计面板上，并依据鼠标控制信号将算法颗粒和算法模块进行鼠标连线，以确定数据在各个算法颗粒和模块的流动顺序。可见，该模块的编辑采用所见即所得的方式，以鼠标拖曳方式，选择需要的算法颗粒、或算法模块，采用鼠标连线的方式设计数据在各个算法颗粒和模块的流动顺序，对于存在回路的算法流程(即存在反馈的算法)，软件应该支持对初始数据的设定。
优选地，数据处理流程设计单元在设计流程时，仅调用算法颗粒和算法模块的索引；数据处理服务单元在执行算法时再从算法库调度用算法颗粒和算法模块的程序，这样可以减小流程模板的体量。
数据处理服务单元，用于从流程库提取流程模板，将数据装配至流程模板，流程模板自动运行。流程模块运行后，将按照流程定义的处理路径，分别将数据传入各个算法颗粒、或算法模块，执行相应的算法，并将处理后的数据传递至下一个算法颗粒/算法模块，传递到最后一个环节后，得到处理结果，保存至处理结果库。
在数据处理服务单元的算法执行过程中，对各个算法的执行过程进行监控(可以设定一些监控条件)、对输入数据的合法性进行必要判定，保证算法执行过程的健壮性。且提供用户交互控件，例如按键，在算法执行过程中，允许用户通过按键的点击，在任意时刻暂停、停止、甚至退出整个算法执行流程。
其中，数据处理服务单元对输入数据的合法性进行判定的方式为：通过文件扩展名、已知文件头信息和/或全文数据，辨识是否为合法数据源。辨识结果可以展现为识别的数据类型代码(可获知是否为非法数据格式)。
在一优选实施例中，还可以在图1的系统中增加网络接口，便于将来构建网络版，能够将本地数据同步至服务器，同时能够从服务器更新数据至本地。
在另一优选实施例中，还可以在图1系统中增加级联接口，用于实现多个流程化数据分析处理系统级联，协同进行数据处理。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种流程化数据分析处理系统，其特征在于，包括：算法库、流程库、处理结果库、算法编辑器、数据处理流程设计单元和数据处理服务单元；
算法库中存储算法颗粒和算法模块，接受算法编辑器和数据处理服务单元的调用；所述算法颗粒是指试验所需的基本处理算法；
算法编辑器，用于编辑算法颗粒，存储到算法库中；从算法库提取算法颗粒或算法模块搭建所需功能的算法模块，并存储到算法库中；
数据处理流程设计单元，用于调用算法库中的算法颗粒或算法模块，形成数据处理流程，保存为流程模板，存储到流程库；
数据处理服务单元，用于从流程库提取流程模板，将数据装配至流程模板，流程模板自动运行，得到处理结果，保存至处理结果库。
2.如权利要求1所述的系统，其特征在于，所述数据处理流程设计单元为可视化设计单元，根据来自外部的鼠标控制信号，从算法库中拖拽所需的算法颗粒和/或算法模块到设计面板上，并依据鼠标控制信号将算法颗粒和算法模块进行鼠标连线，以确定数据在各个算法颗粒和算法模块的流动顺序。
3.如权利要求1所述的系统，其特征在于，数据处理服务单元在执行流程模板过程中，对各个算法颗粒和算法模块的执行进行监控、对输入数据的合法性进行判定；并提供用户交互控件，在算法执行过程中，接受外部使用者通过用户交互控件在任意时刻暂停、停止、退出整个算法执行流程。
4.如权利要求3所述的系统，其特征在于，数据处理服务单元对输入数据的合法性进行判定的方式为：通过文件扩展名、已知文件头信息和/或全文数据辨识是否为合法数据源。
5.如权利要求1所述的系统，其特征在于，所述系统进一步包括第一接口，用于通过网络方式将本地数据同步至外部服务器，从服务器更新数据至本地。
6.如权利要求1或5所述的系统，其特征在于，所述系统进一步包括第二接口，用于与其他流程化数据分析处理系统级联，协同进行数据处理。
7.如权利要求1所述的系统，其特征在于，数据处理流程设计单元在设计流程时，仅调用算法颗粒和算法模块的索引；数据处理服务单元在执行算法时再从算法库调度用算法颗粒和算法模块的程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911324470.2A CN111208993B (zh) | 2019-12-20 | 2019-12-20 | 一种流程化数据分析处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911324470.2A CN111208993B (zh) | 2019-12-20 | 2019-12-20 | 一种流程化数据分析处理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111208993A CN111208993A (zh) | 2020-05-29 |
| CN111208993B true CN111208993B (zh) | 2024-04-02 |
Family
ID=70787060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911324470.2A Active CN111208993B (zh) | 2019-12-20 | 2019-12-20 | 一种流程化数据分析处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111208993B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354023A (zh) * | 2015-10-20 | 2016-02-24 | 四川华控图形科技有限公司 | 可视化逻辑编辑运行引擎 |
| CN106202192A (zh) * | 2016-06-28 | 2016-12-07 | 浪潮软件集团有限公司 | 一种基于工作流的大数据分析方法 |
| WO2017190401A1 (zh) * | 2016-05-05 | 2017-11-09 | 深圳前海大数点科技有限公司 | 一种物联网服务系统 |
| CN109597395A (zh) * | 2018-11-23 | 2019-04-09 | 北京航天试验技术研究所 | 一种发动机试验数据管理系统及运行方法 |
-
2019
- 2019-12-20 CN CN201911324470.2A patent/CN111208993B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354023A (zh) * | 2015-10-20 | 2016-02-24 | 四川华控图形科技有限公司 | 可视化逻辑编辑运行引擎 |
| WO2017190401A1 (zh) * | 2016-05-05 | 2017-11-09 | 深圳前海大数点科技有限公司 | 一种物联网服务系统 |
| CN106202192A (zh) * | 2016-06-28 | 2016-12-07 | 浪潮软件集团有限公司 | 一种基于工作流的大数据分析方法 |
| CN109597395A (zh) * | 2018-11-23 | 2019-04-09 | 北京航天试验技术研究所 | 一种发动机试验数据管理系统及运行方法 |
Non-Patent Citations (1)
| Title |
|---|
| 赵晴峰 ; .基于Web Service技术用于医院信息分析算法库的设计与实现.计算机系统应用.2016,(03),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111208993A (zh) | 2020-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8589886B2 (en) | System and method for automatic hardware and software sequencing of computer-aided design (CAD) functionality testing | |
| US7895565B1 (en) | Integrated system and method for validating the functionality and performance of software applications | |
| US10310968B2 (en) | Developing software project plans based on developer sensitivity ratings detected from monitoring developer error patterns | |
| CN104679488B (zh) | 一种流程定制开发平台及流程定制开发方法 | |
| CN103164328B (zh) | 一种业务功能的回归测试方法、装置及系统 | |
| US20110016452A1 (en) | Method and system for identifying regression test cases for a software | |
| CN104778124A (zh) | 一种软件应用自动化测试方法 | |
| CN110471652B (zh) | 任务编排方法、编排器、设备及可读存储介质 | |
| CN103092761A (zh) | 基于差异信息文件识别和检查修改代码块的方法及装置 | |
| US20060020931A1 (en) | Method and apparatus for managing complex processes | |
| CN111666217B (zh) | 用于测试代码的方法和装置 | |
| CN103678124A (zh) | 基于持续集成环境的视频监控平台自动测试方法及装置 | |
| US20050144596A1 (en) | Method and apparatus for parallel action processing | |
| CN112464620A (zh) | 一种财务规则引擎的实现方法及实现系统 | |
| CN114880176A (zh) | 一种航空数据转换单元测试系统、方法及装置 | |
| CN111414619A (zh) | 一种数据安全检测方法、装置、设备及可读存储介质 | |
| CN111208993B (zh) | 一种流程化数据分析处理系统 | |
| JP2006059108A (ja) | 情報システム開発試験支援システム | |
| CN115480940A (zh) | 一种财务比率指标页面化调用方法、装置及介质 | |
| CN114706738A (zh) | 客户端自动埋点的方法及装置 | |
| CN112699011A (zh) | 统计增量代码覆盖率的方法、装置及电子设备、存储介质 | |
| CN113434404B (zh) | 校验灾备系统可靠性的自动化业务验证方法及装置 | |
| CN116578476B (zh) | 业务过程精细刻画的任务执行的保障仿真实现方法及装置 | |
| KR102676519B1 (ko) | 오류 통제 기능을 수행하는 지능형 업무 자동화 서비스 제공 장치 및 방법 | |
| JPH10207727A (ja) | テストプログラム自動生成システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |