CN112905625A - 基于推荐机制的数据处理规则的快速配置方法 - Google Patents

基于推荐机制的数据处理规则的快速配置方法 Download PDF

Info

Publication number
CN112905625A
CN112905625A CN202110254761.XA CN202110254761A CN112905625A CN 112905625 A CN112905625 A CN 112905625A CN 202110254761 A CN202110254761 A CN 202110254761A CN 112905625 A CN112905625 A CN 112905625A
Authority
CN
China
Prior art keywords
data
recommendation
rule
data processing
rules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110254761.XA
Other languages
English (en)
Inventor
荣强
姜卫东
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zhaowu Network Technology Co ltd
Original Assignee
Shandong Zhaowu Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Zhaowu Network Technology Co ltd filed Critical Shandong Zhaowu Network Technology Co ltd
Priority to CN202110254761.XA priority Critical patent/CN112905625A/zh
Publication of CN112905625A publication Critical patent/CN112905625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理技术领域，具体涉及一种基于推荐机制的数据处理规则的快速配置方法。该基于推荐机制的数据处理规则的快速配置方法包括以下步骤：步骤1：规则管理模块生成推荐规则，推荐规则存储在推荐规则库中；步骤2：数据处理模块接收待处理数据信息，探查后将待处理数据与标准数据元映射；步骤3：映射后的待处理数据与标准数据元匹配相应推荐规则；步骤4：将匹配后的推荐规则反馈至系统页面，提供一种能够快速添加配置处理规则的方法。

Description

基于推荐机制的数据处理规则的快速配置方法
技术领域
本发明涉及数据处理技术领域，具体涉及一种基于推荐机制的数据处理规则的快速配置方法。
背景技术
目前，随着海量数据的接入要求越来越高，数据种类越来越多，对数据提供快速的接入能力成为了现实问题，在面临几百上千份数据的快速接入要求情况下，对数据实行快速的接入配置成为评价系统接入能力的一个重要方面。
当前的数据处理通常分为数据处理规则配置和数据处理规则执行两大步。数据处理规则定义在分析数据的基础上将数据处理的规则进行配置定义，数据处理规则执行则由数据处理引擎根据配置的规则按顺序执行并输出相应的处理结果。
当前的数据处理规则配置通常通过编辑sql语句的形式为etl系统进行规则设置，在提供图形化编辑功能的系统中通常也是通过人工一步步配置处理规则的方式。在这种方式下配置效率较低，且经常会发生漏配规则的情况。
发明内容
本发明要解决的技术问题是：克服现有技术的不足，提供一种能够快速匹配添加配置处理规则的基于推荐机制的数据处理规则的快速配置方法。
本发明为解决其技术问题所采用的技术方案为：基于推荐机制的数据处理规则的快速配置方法，包括数据元管理、推荐规则管理模块、规则推荐模块、数据处理模块，所述数据元管理模块用于管理数据元信息，所述推荐规则管理模块用于存储和管理推荐规则，所述数据处理模块用于根据数据处理规则处理待处理数据，所述规则推荐模块用于根据待处理数据推荐具体的数据处理规则，经确认后提供给数据处理模块使用；
包括以下步骤：
步骤1：规则管理模块进行数据处理规则配置生成推荐规则，推荐规则存储在推荐规则库中；
步骤2：数据处理模块接收待处理数据信息，探查后将待处理数据与标准数据元映射；
步骤3：映射后的待处理数据与标准数据元匹配相应推荐规则；
步骤4：将匹配后的推荐规则反馈至系统页面，从而配置人员可以将推荐规则作为配置规则快速勾选添加到数据处理定义的处理规则中。
步骤1中数据处理规则配置将标准数据元和功能定义结合设置，针对功能定义中的每一项输入、输出数据和标准数据元进行绑定，形成一个个的推荐规则。推荐规则可定义多组数据。
步骤2中标准数据元包括数据格式的定义，根据待处理数据的数据项名称、数据内容值进行探测，基于值域等规则匹配，找到与其对应的标准数据元，并将待处理数据的数据项和标准数据元形成映射关系。一个数据项可以形成多个可能的标准数据元。
步骤3中规则管理模块找出与映射后的数据项与标准数据元相关的推荐规则进行匹配。
规则管理模块维护推荐规则的参数及与标准数据元的对应关系，将数据的数据项与标准数据元与推荐规则相对比，选择相关的推荐规则进行匹配，将推荐规则中的功能定义与数据的数据项结合作为匹配后的推荐规则内容。
步骤4中将匹配的推荐规则列入到推荐列表中，反馈到图形化的流程配置页面上。配置人员可以将推荐规则添加到配置画布上，同时对于手动配置的规则，可以将其加入到推荐规则库中，后续再遇到类似的数据系统可以自动推荐出规则。
与现有技术相比，本发明具有以下有益效果：
本发明提供一种基于推荐机制的数据处理规则的快速配置方法，在数据处理规则的配置过程中，将适配的数据处理规则推荐出来，配置人员仅需简单的确认勾选即可快速添加规则，提高配置效率，降低漏配规则的可能性。
附图说明
图1是本发明流程图。
图2是本发明推荐规则流程图。
图3是本发明推荐规则匹配逻辑图。
具体实施方式
下面结合附图对本发明实施例做进一步描述：
实施例
如图1至图3所示，包括规则管理模块通信连接数据处理模块，数据处理模块用于接收、处理待处理数据，规则管理模块用于存储管理推荐规则，提供与处理后的待处理数据匹配的推荐规则，规则管理模块包括推荐规则库；
包括以下步骤：
步骤1：规则管理模块进行数据处理规则配置生成推荐规则，推荐规则存储在推荐规则库中；
步骤2：数据处理模块接收待处理数据信息，探查后将待处理数据与标准数据元映射；
步骤3：映射后的待处理数据与标准数据元匹配相应推荐规则；
步骤4：将匹配后的推荐规则反馈至系统页面，从而配置人员可以将推荐规则作为配置规则快速勾选添加到数据处理定义的处理规则中。
步骤1中数据处理规则配置将标准数据元和功能定义结合设置，针对功能定义中的每一项输入、输出数据和标准数据元进行绑定，形成一个个的推荐规则。推荐规则可定义多组数据。
步骤2中标准数据元包括数据格式的定义，根据待处理数据的数据项名称、数据内容值进行探测，基于值域等规则匹配，找到与其对应的标准数据元，并将待处理数据的数据项和标准数据元形成映射关系。一个数据项可以形成多个可能的标准数据元。
步骤3中规则管理模块找出与映射后的数据项与标准数据元相关的推荐规则进行匹配。
规则管理模块维护推荐规则的参数及与标准数据元的对应关系，将数据的数据项与标准数据元与推荐规则相对比，选择相关的推荐规则进行匹配，将推荐规则中的功能定义与数据的数据项结合作为匹配后的推荐规则内容。
步骤4中将匹配的推荐规则列入到推荐列表中，反馈到图形化的流程配置页面上。配置人员可以将推荐规则添加到配置画布上，同时对于手动配置的规则，可以将其加入到推荐规则库中，后续再遇到类似的数据系统可以自动推荐出规则。

Claims (6)

1.一种基于推荐机制的数据处理规则的快速配置方法，其特征在于，包括数据元管理、推荐规则管理模块、规则推荐模块、数据处理模块，所述数据元管理模块用于管理数据元信息，所述推荐规则管理模块用于存储和管理推荐规则，所述数据处理模块用于根据数据处理规则处理待处理数据，所述规则推荐模块用于根据待处理数据推荐具体的数据处理规则，经确认后提供给数据处理模块使用；
包括以下步骤：
步骤1：进行数据处理规则配置生成推荐规则，推荐规则存储在推荐规则库中；
步骤2：接收待处理数据信息，探查后将待处理数据与标准数据元映射；
步骤3：映射后的待处理数据与标准数据元匹配相应推荐规则；
步骤4：将匹配后的推荐规则反馈至系统页面。
2.根据权利要求1所述的基于推荐机制的数据处理规则的快速配置方法，其特征在于，步骤1中数据处理规则配置将标准数据元和功能定义结合设置，针对功能定义中的每一项输入、输出数据和标准数据元进行绑定，形成一个个的推荐规则。
3.根据权利要求2所述的基于推荐机制的数据处理规则的快速配置方法，其特征在于，步骤2中标准数据元包括数据格式的定义，根据待处理数据的数据项名称、数据内容值进行探测匹配，找到与其对应的标准数据元，并将待处理数据的数据项和标准数据元形成映射关系。
4.根据权利要求3所述的基于推荐机制的数据处理规则的快速配置方法，其特征在于，步骤3中规则管理模块找出与映射后的数据项与标准数据元相关的推荐规则进行匹配。
5.根据权利要求3所述的基于推荐机制的数据处理规则的快速配置方法，其特征在于，规则管理模块维护推荐规则的参数及与标准数据元的对应关系，将数据的数据项与标准数据元与推荐规则相对比，选择相关的推荐规则进行匹配，将推荐规则中的功能定义与数据的数据项结合作为匹配后的推荐规则内容。
6.根据权利要求5所述的基于推荐机制的数据处理规则的快速配置方法，其特征在于，步骤4中将匹配的推荐规则列入到推荐列表中，反馈到图形化的流程配置页面上。
CN202110254761.XA 2021-03-09 2021-03-09 基于推荐机制的数据处理规则的快速配置方法 Pending CN112905625A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110254761.XA CN112905625A (zh) 2021-03-09 2021-03-09 基于推荐机制的数据处理规则的快速配置方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110254761.XA CN112905625A (zh) 2021-03-09 2021-03-09 基于推荐机制的数据处理规则的快速配置方法

Publications (1)

Publication Number Publication Date
CN112905625A true CN112905625A (zh) 2021-06-04

Family

ID=76108119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110254761.XA Pending CN112905625A (zh) 2021-03-09 2021-03-09 基于推荐机制的数据处理规则的快速配置方法

Country Status (1)

Country Link
CN (1) CN112905625A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110737689A (zh) * 2019-10-10 2020-01-31 广东省科技基础条件平台中心 数据标准符合性检测方法、装置、系统及存储介质
CN110851428A (zh) * 2019-11-19 2020-02-28 厦门市美亚柏科信息股份有限公司 基于规则算子动态编排的数据库分析方法、装置及介质
CN111639066A (zh) * 2020-05-14 2020-09-08 杭州数梦工场科技有限公司 一种数据清洗的方法和装置
CN112069219A (zh) * 2020-07-22 2020-12-11 北京思特奇信息技术股份有限公司 一种批量匹配数据配置化实现业务推荐的方法及系统
CN112181949A (zh) * 2020-10-10 2021-01-05 浪潮云信息技术股份公司 一种在线数据建模的方法及装置
CN112395325A (zh) * 2020-11-27 2021-02-23 广州光点信息科技有限公司 一种数据治理方法、系统、终端设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110737689A (zh) * 2019-10-10 2020-01-31 广东省科技基础条件平台中心 数据标准符合性检测方法、装置、系统及存储介质
CN110851428A (zh) * 2019-11-19 2020-02-28 厦门市美亚柏科信息股份有限公司 基于规则算子动态编排的数据库分析方法、装置及介质
CN111639066A (zh) * 2020-05-14 2020-09-08 杭州数梦工场科技有限公司 一种数据清洗的方法和装置
CN112069219A (zh) * 2020-07-22 2020-12-11 北京思特奇信息技术股份有限公司 一种批量匹配数据配置化实现业务推荐的方法及系统
CN112181949A (zh) * 2020-10-10 2021-01-05 浪潮云信息技术股份公司 一种在线数据建模的方法及装置
CN112395325A (zh) * 2020-11-27 2021-02-23 广州光点信息科技有限公司 一种数据治理方法、系统、终端设备及存储介质

Similar Documents

Publication Publication Date Title
US11132501B2 (en) Smart column selection for table operations in data preparation
CN104750469B (zh) 源代码统计分析方法和系统
CN102279749B (zh) 一种代码归并方法和设备
CN109039870A (zh) 邮件发送方法、系统、计算机设备和存储介质
CN109299157B (zh) 一种分布式大单表的数据导出方法及装置
CN111460019A (zh) 一种异构数据源的数据转换方法及中间件
CN110503408B (zh) 一种基于自定义配置的业务流程管理系统
WO2009032770A2 (en) Systems and methods for providing a confidence-based ranking algorithm
CN111061733B (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
US20120303642A1 (en) Automated file-conversion system and process for a media-generation system
US11475064B2 (en) System and method in a database system for creating a field service work order
CN108121579B (zh) 修改规则文件的方法及装置
CN116452123A (zh) 清单项目特征值的生成方法、装置和计算机设备
CN112256555A (zh) 自动化测试用例管理系统及测试用例执行状态转换方法
CN112905625A (zh) 基于推荐机制的数据处理规则的快速配置方法
CN112241369B (zh) 基于python的接口自动化测试方法
CN112035471A (zh) 一种事务处理方法及计算机设备
CN115827452B (zh) 一种数据加工类型测试系统、方法、存储介质及设备
CN117240819B (zh) 邮件配置方法、装置、设备及计算机可读存储介质
CN111858324B (zh) 一种测试案例的自动生成方法及装置
US10936571B1 (en) Undo based logical rewind in a multi-tenant system
US20150379096A1 (en) System and method for automatically connecting multiple, distinct tables of a data repository
US10346353B2 (en) Integration device and integration method thereof
CN111241202A (zh) 一种数据全过程核对系统
CN117951336A (zh) 企业级数据标准处理方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210604

RJ01 Rejection of invention patent application after publication