CN113821554A - 一种实现异构数据库数据采集的方法 - Google Patents
一种实现异构数据库数据采集的方法 Download PDFInfo
- Publication number
- CN113821554A CN113821554A CN202110941795.6A CN202110941795A CN113821554A CN 113821554 A CN113821554 A CN 113821554A CN 202110941795 A CN202110941795 A CN 202110941795A CN 113821554 A CN113821554 A CN 113821554A
- Authority
- CN
- China
- Prior art keywords
- database
- data
- trigger
- determining
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种实现异构数据库数据采集的方法，包括：根据各个分公司数据库的基本信息，为所述各个分公司数据库配置数据库配置信息和触发规则；根据各个分公司的数据库配置信息，选择数据库驱动，并基于所述数据库驱动确定数据采集接口；根据所述触发规则，登录分公司数据库，并利用所述数据采集接口进行数据采集；对采集到的数据进行处理并汇总至总公司数据库；本发明通过直接将各分公司数据库的数据直接采集汇总到总公司数据库，避免造成数据格式不一致，导致给后期数据汇总带来了极大的不便，通过为所述各个分公司数据库配置数据库信息和触发规则、数据库驱动，实现了一次开发，适配各个分公司。
Description
技术领域
本发明涉及数据采集技术领域，特别涉及一种实现异构数据库数据采集的方法。
背景技术
数据已成为各种规模企业的主要优先事项。随着收集和分析数据的技术激增，企业将数据置于上下文中并从中获取新见解的能力也在不断增强。为了更精准的预测消费者的行为路径，企业每天都需要做信息收集工作，并将这些数据进行存储和分析。如果没有数据支撑，企业的营销就有可能是盲目营销，品牌希望产品及服务能够覆盖目标受众或角色的目的极有可能落空。但许多公司在项目初期没有此类的需求，或考虑不全，导致总公司和分公司分别使用了不同的系统，导致数据库和表都不相同，给后期数据汇总带来了极大的不便。
并且一般数据采集系统为各分公司分别开发，再使数据传入总公司，开发工作繁琐，后期还需人力维护，耗时费力。
发明内容
本发明提供一种实现异构数据库数据采集的方法，通过直接将各分公司数据库的数据直接采集汇总到总公司数据库，避免造成数据格式不一致，导致给后期数据汇总带来了极大的不便，通过为所述各个分公司数据库配置数据库信息和触发规则、数据库驱动，实现了一次开发，适配各个分公司。
本发明提供一种实现异构数据库数据采集的方法，包括：
步骤1：根据各个分公司数据库的基本信息，为所述各个分公司数据库配置数据库配置信息和触发规则；
步骤2：根据各个分公司的数据库配置信息，选择数据库驱动，并基于所述数据库驱动确定数据采集接口；
步骤3：根据所述触发规则，登录分公司数据库，并利用所述数据采集接口进行数据采集；
步骤4：对采集到的数据进行处理并汇总至总公司数据库。
在一种可能实现的方式中，
步骤1之前，还包括：获取各个分公司数据库的基本信息，其过程如下：
获取各个分公司数据库的键值，并确定所述键值的数据类型；
确定所述数据类型对应的预设解析规则，利用所述预设解析规则对所述键值进行解析，获取所述键值对应的特征数据；
基于所述特征数据确定各个分公司数据库服务的端口范围，并根据端口范围-数据库类型之间的映射关系，确定所述各个分公司数据库的数据库类型；
确定所述数据库类型的特征扩展规则，并利用所述特征扩展规则，对各个分公司数据库进行扫描，获取各个分公司数据库的基本信息。
在一种可能实现的方式中，
步骤1中，根据各个分公司数据库的基本信息，为所述各个分公司数据库配置数据库配置信息和触发规则包括：
基于所述各个分公司数据库的基本信息，确定配置服务器和配置信息属性；
基于所述配置服务器，确定配置传输起点和配置传输终点；
基于所述配置信息属性，获取动态配置过程，并确定配置传输过程点；
基于所述定配置传输起点、配置传输过程点、配置传输终点，建立配置路径；
根据所述配置信息属性，从所述配置服务器中获取数据库信息，并利用所述配置路径完成对所述数据库信息的传输，并将所述数据库配置信息配置到对应的分公司数据库上；
基于所述数据库配置信息，确定触发信息，并根据所述触发信息生成触发策略；
确定所述触发策略中每个触发对象对应的触发资源，并建立对象-资源映射关系；
根据所述对象-资源映射关系，构建触发规则。
在一种可能实现的方式中，
步骤2中，根据各个分公司的数据库配置信息，选择数据库驱动包括：
步骤201：获取每个数据库驱动对应的标识信息，并将所述标识信息与所述数据库配置信息进行匹配；
步骤202：若匹配成功，则确定分公司数据库对应的数据库驱动；
步骤203：否则，基于所述数据库配置信息定制驱动程序，并基于所述驱动程序建立数据库驱动。
在一种可能实现的方式中，
获取每个数据库驱动对应的标识信息，并将所述标识信息与所述数据库配置信息进行匹配包括：
基于所述数据库配置信息，确定分公司数据库的配置布局，并对所述配置布局按照配置属性进行层级划分，得到多个层级布局；
获取所述多个层级布局的节点，并判断每个层级布局与剩余层级布局中每个节点是否匹配；
若是，不对所述层级布局进行任何操作；
否则，若当前层级布局的节点数量小于任意一个剩余层级布局的节点数量时，确定剩余层级布局中多出的节点，并根据多出的节点的位置以及当前层级布局的属性对所述当前层级布局进行节点补充；
获取每个层级布局中的节点信息，根据所述节点信息确定所述节点之间的第一约束关系；
根据节点信息确定平行的层级布局中对应节点之间的第二约束关系；
根据所述第一约束关系和第二约束关系，为所述多个层级布局中的节点设置二维标识集合；
其中，所述二维标识包括第一标识集合和第二标识集合，第一标识集合反应一个层级布局中节点之间的关系，第二标识集合反应多个层级布局中对应节点之间的关系；
对所述每个数据库驱动对应的标识信息进行解析，获取数据库驱动中每个子驱动对应的子标识信息；
将所述第二标识集合中的每个标识与所述每个数据库驱动对应的标识信息进行匹配，并获取第一匹配度，且判断所述第一匹配度是否小于第一预设匹配度；
若是，判断所有数据库驱动不符合分公司数据库要求；
否则，对满足要求的数据库驱动进行进一步匹配检测；
将所述第一标识集合中的每个标识与满足要求的数据库驱动中的子标识信息进行匹配，获取第二匹配度，并判断所述第二匹配度是否小于第二预设匹配度；
若是，判断满足要求的数据库驱动不符合分公司数据库驱动要求；
否则，确定分公司数据库确定对应的数据库驱动。
在一种可能实现的方式中，
步骤3中，基于所述数据库驱动确定数据采集接口包括：
提取所述数据库驱动与数据采集相关的驱动程序，并基于所述驱动程序确定数据采集接口的数量和类型；
基于所述数据采集接口的类型为所述数据采集接口设置接口格式参数；
基于所述数据采集接口的数量和类型，对所述数据采集接口进行排序，得到接口排列顺序；
根据所述接口排列顺序为设置接口参数的数据采集接口建立接口集合；
基于运行测试工具对所述接口集合中每个数据采集接口测试，判断每个数据采集接口是否能够正常运行；
若是，保存所述接口集合；
否则，基于测试结果确定所述数据采集接口的出错点，并根据预设修正方案对所述出错点进行修正，得到最终的接口集合。
在一种可能实现的方式中，
步骤3中，根据所述触发规则，登录分公司数据库包括：
基于所述分公司数据库的开发环境，匹配规则解析器的IP地址，并基于所述IP地址对所述触发规则进行解析，生成触发描述语言；
对所述触发描述语言进行语义解析，生成对应的一个或多个语义结果；
当语义结果为多个时，根据所述触发描述语言的对象信息确定每个语义结果对应的触发子事件，并确定所述触发子事件的优先级信息，选择优先级最高的语义结果作为最终语义结果；
基于所述最终语义结果对所述触发描述语言进行划分，并生成多个触发子事件；
基于预设触发链表，获取所述多个触发子事件对应的第一触发器；
获取登录所述分公司数据库提供的第二触发器，并从所述第二触发器中选择与所述第一触发器相匹配的第三触发器；
获取所述第三触发器的历史触发记录，并根据所述历史触发记录，并根据所述历史触发记录确定所述第三触发器的激活相关度、可控度；
判断所述第三触发器的激活相关度、可控度是否满足预设要求；
若是，将所述第三触发器作为目标触发器；
否则，基于所述预设要求对所述第三触发器进行修正，并将修正后的第三触发器作为目标触发器；
解析所述目标触发器，得到所述目标触发器对应的抽象语法树，并按照预设执行顺序对所述抽象语法树进行遍历，得到触发语句集合；
基于所述触发语句集合设置触发路径，根据所述触发路径实现对所述分公司数据库的登录。
在一种可能实现的方式中，
步骤3中，利用所述数据采集接口进行数据采集包括：
获取数据采集指令，并对所述数据采集指令进行分析，确定数据采集类型；
根据所述数据采集类型选择对应的数据采集接口从分公司数据库中进行数据的采集。
在一种可能实现的方式中，
步骤4中，对采集到的数据进行处理并汇总至总公司数据库包括：
步骤401：接收来自各个分公司数据库采集到的数据，并对所述数据进行降噪处理，对所述数据进行标准化处理，得到标准采集数据；
步骤402：对所述标准采集数据按照数据类型进行分类，得到多组待存储数据；
步骤403：将所述待存储数据按照组别分别存储值所述总公司数据库中不同的存储单元。
在一种可能实现的方式中，
步骤402中，对所述标准采集数据按照数据类型进行分类，得到多组待存储数据包括：
将所述标准数据按照数据类型进行初步划分，得到多组数据集；
将每一组数据集输入数据测试模型中，并根据测试结果得到每一组数据集划分的准确度；
所述数据测试模型对当前数据集进行采样，得到采样数据，并对所述采样数据进行测试，得到所述采样数据的有偏测量方差和无偏测量方差；
根据所述有偏测量方差和无偏测量方差，计算得到所述当前数据集划分的准确度；
判断所述准确度是否满足预设要求；
若是，按照所述多组数据集得到多组存储数据；
否则，对不满足要求的数据集进行再次划分，直到满足准确度要求。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种实现异构数据库数据采集的方法的流程图；
图2为本发明实施例中确定数据库驱动的流程图；
图3为本发明实施例中数据处理汇总的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
本发明实施例提供一种实现异构数据库数据采集的方法，如图1所示，包括：
步骤1：根据各个分公司数据库的基本信息，为所述各个分公司数据库配置数据库信息和触发规则；
步骤2：根据各个分公司的数据库配置信息，选择数据库驱动，并基于所述数据库驱动确定数据采集接口；
步骤3：根据所述触发规则，登录分公司数据库，并利用所述数据采集接口进行数据采集；
步骤4：对采集到的数据进行处理并汇总至总公司数据库。
在该实施例中，所述数据库驱动实质为驱动程序，用来实现数据库的启动及各种操作。
在该实施例中，所述触发规则用来唤醒所述分公司数据库，为后续数据采集提供基础。
上述设计方案的有益效果是：通过直接将各分公司数据库的数据直接采集汇总到总公司数据库，避免了因总公司和分公司分别使用不同的系统对数据进行处理分析，造成数据格式不一致，导致给后期数据汇总带来了极大的不便，通过为所述各个分公司数据库配置数据库信息和触发规则、数据库驱动，实现了一次开发，适配各个分公司，避免了分公司数据采集系统的开发，减少开发工作，通过确定触发规则，实现了总公司对分公司数据库数据库的启动控制，通过确定数据采集接口，实现了对分公司数据库中数据的采集，通过对采集到的数据进行处理并汇总至总公司数据库，实现了对采集到的数据进行统一化，确保总公司数据库得到一致的数据，方便了后期数据的分析。
实施例2
基于实施例1的基础上，本发明实施例提供一种实现异构数据库数据采集的方法，步骤1之前，还包括：获取各个分公司数据库的基本信息，其过程如下：
获取各个分公司数据库的键值，并确定所述键值的数据类型；
确定所述数据类型对应的预设解析规则，利用所述预设解析规则对所述键值进行解析，获取所述键值对应的特征数据；
基于所述特征数据确定各个分公司数据库服务的端口范围，并根据端口范围-数据库类型之间的映射关系，确定所述各个分公司数据库的数据库类型；
确定所述数据库类型的特征扩展规则，并利用所述特征扩展规则，对各个分公司数据库进行扫描，获取各个分公司数据库的基本信息。
在该实施例中，所述各个分公司数据库的键值包含当前数据库执行时使用的实际配置信息和数据。
在该实施例中，所述键值的数据类型包括字符串值类型、二进制值类型和DWOPD值类型，不同的数据类型对应不同的解析规则。
在该实施例中，所述键值对应的特征数据包括分公司数据库标识，不同的标识对应不同的服务端口范围。
在该实施例中，所述分公司的数据库类型包括层次式数据库、网络式数据库和关系型数据库，其中层次式数据库的端口服务范围为0-1023，网络式数据库的端口服务范围为1024-16348，关系型数据库的端口服务范围为16349-65535。
在该实施例中，所述特征扩展规则用来基于所述分公司数据库类型设置分公司数据库扫描方法。
在该实施例中，所述分公司数据库的基本信息包括IP地址信息、读取方式信息和索引信息、数据存储树结构信息。
上述设计方案的有益效果是：通过根据分公司数据库的键值来获取数据库类型，再根据类型的不同选择不同的扫描方法对分公司数据库进行扫描，来获得数据库的基本信息，为配置数据库的信息和触发规则提供了依据。
实施例3
基于实施例1的基础上，本发明实施例提供一种实现异构数据库数据采集的方法，步骤1中，根据各个分公司数据库的基本信息，为所述各个分公司数据库配置数据库信息和触发规则包括：
基于所述各个分公司数据库的基本信息，确定配置服务器和配置信息属性；
基于所述配置服务器，确定配置传输起点和配置传输终点；
基于所述配置信息属性，获取动态配置过程，并确定配置传输过程点；
基于所述定配置传输起点、配置传输过程点、配置传输终点，建立配置路径；
根据所述配置信息属性，从所述配置服务器中获取数据库信息，并利用所述配置路径完成对所述数据库信息的传输，并将所述数据库信息配置到对应的分公司数据库上；
基于所述数据库信息，确定触发信息，并根据所述触发信息生成触发策略；
确定所述触发策略中每个触发对象对应的触发资源，并建立对象-资源映射关系；
根据所述对象-资源映射关系，构建触发规则。
在该实施例中，所述配置服务器是指对分公司配置数据库信息所用到的服务器。
在该实施例中，所述配置信息属性包括了配置路线属性、配置搜索属性等，用来指示配置的传输与获取。
在该实施例中，所述触发信息包括开启分公司数据库所需要的多个触发点(触发对象)和与所述触发对象相关的触发资源。
上述设计方案的有益效果是：通过根据获取的动态配置过程，确定配置路线，以及获取准确的配置信息，便于高效准确的完成配置，通过为所述各个分公司数据库配置数据库信息和触发规则，为开发提供基础，实现了一次开发，适配各个分公司。
实施例4
基于实施例1的基础上，本发明实施例提供一种实现异构数据库数据采集的方法，如图2所示，步骤2中，根据各个分公司的数据库配置信息，选择数据库驱动包括：
步骤201：获取每个数据库驱动对应的标识信息，并将所述标识信息与所述数据库配置信息进行匹配；
步骤202：若匹配成功，则确定分公司数据库对应的数据库驱动；
步骤203：否则，基于所述数据库配置信息定制驱动程序，并基于所述驱动程序建立数据库驱动。
在该实施例中，所述标识信息用来识别所述数据库驱动，一种数据库驱动对应一种标识信息。
上述设计方案的有益效果是：通过为各个分公司的数据库选择选择数据库驱动，保证分公司数据库的正常运行，实现一次开发，适配各个分公司。
实施例5
基于实施例4的基础上，本发明实施例提供一种实现异构数据库数据采集的方法，获取每个数据库驱动对应的标识信息，并将所述标识信息与所述数据库配置信息进行匹配包括：
基于所述数据库配置信息，确定分公司数据库的配置布局，并对所述配置布局按照配置属性进行层级划分，得到多个层级布局；
获取所述多个层级布局的节点，并判断每个层级布局与剩余层级布局中每个节点是否匹配；
若是，不对所述层级布局进行任何操作；
否则，若当前层级布局的节点数量小于任意一个剩余层级布局的节点数量时，确定剩余层级布局中多出的节点，并根据多出的节点的位置以及当前层级布局的属性对所述当前层级布局进行节点补充；
获取每个层级布局中的节点信息，根据所述节点信息确定所述节点之间的第一约束关系；
根据节点信息确定平行的层级布局中对应节点之间的第二约束关系；
根据所述第一约束关系和第二约束关系，为所述多个层级布局中的节点设置二维标识集合；
其中，所述二维标识包括第一标识集合和第二标识集合，第一标识集合反应一个层级布局中节点之间的关系，第二标识集合反应多个层级布局中对应节点之间的关系；
对所述每个数据库驱动对应的标识信息进行解析，获取数据库驱动中每个子驱动对应的子标识信息；
将所述第二标识集合中的每个标识与所述每个数据库驱动对应的标识信息进行匹配，并获取第一匹配度，且判断所述第一匹配度是否小于第一预设匹配度；
若是，判断所有数据库驱动不符合分公司数据库要求；
否则，对满足要求的数据库驱动进行进一步匹配检测；
将所述第一标识集合中的每个标识与满足要求的数据库驱动中的子标识信息进行匹配，获取第二匹配度，并判断所述第二匹配度是否小于第二预设匹配度；
若是，判断满足要求的数据库驱动不符合分公司数据库驱动要求；
否则，确定分公司数据库确定对应的数据库驱动。
在该实施例中，所述配置布局包括所述对数据库的结构、子数据库数量、数据输入输出方式等全面的配置情况布局。
在该实施例中，所述所述配置属性包括资源属性、驱动属性、数据类型属性、ip地址属性，每个属性对应一种层级布局，层级布局的节点根据分公司数据库的分析得到。
在该实施例中，所述对层级结构的节点进行补充可以便于对每个层级结构之间的比较，使确定得到的第二约束关系更准确。
在该实施例中，所述第一约束关系用来表示层级布局内部的配置关系，所述第二约束关系用来表示层级布局之间的配置关系。
在该实施例中，所述数据库驱动在该实施例中，所述数据库驱动实质为驱动程序，用来实现数据库的启动及各种操作。
在该实施例中，所述第一匹配度用来表示数据库驱动在整体上与分公司数据库的匹配情况。
在该实施例中，所述第二匹配度用来表示数据库驱动在每个配置属性上与分公司数据库的匹配情况。
上述设计方案的有益效果是：通过所述标识信息与所述数据库配置信息进行匹配，为每个分公司数据库配置数据库驱动，实现了一次开发，适配各个分公司，减少开发次数，为数据采集提供基础。
实施例6
基于实施例1的基础上，本发明实施例提供一种实现异构数据库数据采集的方法，步骤3中，基于所述数据库驱动确定数据采集接口包括：
提取所述数据库驱动与数据采集相关的驱动程序，并基于所述驱动程序确定数据采集接口的数量和类型；
基于所述数据采集接口的类型为所述数据采集接口设置接口格式参数；
基于所述数据采集接口的数量和类型，对所述数据采集接口进行排序，得到接口排列顺序；
根据所述接口排列顺序为设置接口参数的数据采集接口建立接口集合；
基于运行测试工具对所述接口集合中每个数据采集接口测试，判断每个数据采集接口是否能够正常运行；
若是，保存所述接口集合；
否则，基于测试结果确定所述数据采集接口的出错点，并根据预设修正方案对所述出错点进行修正，得到最终的接口集合。
上述设计方案的有益效果是：在根据数据库驱动确定数据采集接口的过程中对数据采集接口的运行能力进行测试并修正，保证了确定的数据采集接口的正常运行，在数据采集时可根据接口集合来选择数据采集接口，提高数据接口选择的效率，为数据采集提供基础。
实施例7
基于实施例1的基础上，本发明实施例提供一种实现异构数据库数据采集的方法，步骤3中，根据所述触发规则，登录分公司数据库包括：
基于所述分公司数据库的开发环境，匹配规则解析器的IP地址，并基于所述IP地址对所述触发规则进行解析，生成触发描述语言；
对所述触发描述语言进行语义解析，生成对应的一个或多个语义结果；
当语义结果为多个时，根据所述触发描述语言的对象信息确定每个语义结果对应的触发子事件，并确定所述触发子事件的优先级信息，选择优先级最高的语义结果作为最终语义结果；
基于所述最终语义结果对所述触发描述语言进行划分，并生成多个触发子事件；
基于预设触发链表，获取所述多个触发子事件对应的第一触发器；
获取登录所述分公司数据库提供的第二触发器，并从所述第二触发器中选择与所述第一触发器相匹配的第三触发器；
获取所述第三触发器的历史触发记录，并根据所述历史触发记录，并根据所述历史触发记录确定所述第三触发器的激活相关度、可控度；
判断所述第三触发器的激活相关度、可控度是否满足预设要求；
若是，将所述第三触发器作为目标触发器；
否则，基于所述预设要求对所述第三触发器进行修正，并将修正后的第三触发器作为目标触发器；
解析所述目标触发器，得到所述目标触发器对应的抽象语法树，并按照预设执行顺序对所述抽象语法树进行遍历，得到触发语句集合；
基于所述触发语句集合设置触发链路，根据所述触发链路实现对所述分公司数据库的登录。
在该实施例中，基于所述分公司数据库的开发环境，匹配规则解析器的IP地址，可以使匹配到的规则解析器更适合分公司数据库的开发环境，保证解析的完整性和速度。
在该实施例中，所述触发描述语言例如可以是程序语言。
在该实施例中，所述触发子事件为登录所述分公司数据库所需要触发的多个事件，所有子触发事件触发完成即可登录所述分公司数据库，根据所述子触发事件的优先级信息选择优先级最高的语义结果作为最终语义结果保证了对触发规则解析的准确度。
在该实施例中，所述预设触发链表用来表示触发事件与触发器之间的对应关系。
在该实施例中，基于所述预设要求对所述第三触发器进行修正具体为调整触发器的时钟精度进行调整。
在该实施例中，所述触发路径为登录所述述分公司数据库提供支持。
上述设计方案的有益效果是：通过根据所述触发规则，完成对所述分公司的登录，减少开发次数，并根据所述述触发规则，选择合适的触发器，并根据所述触发器选择触发路径，保证了对所述分公司数据登录的稳定性和速度，为数据采集提供基础。
实施例8
基于实施例1的基础上，本发明实施例提供一种实现异构数据库数据采集的方法，步骤3中，利用所述数据采集接口进行数据采集包括：
获取数据采集指令，并对所述数据采集指令进行分析，确定数据采集类型；
根据所述数据采集类型选择对应的数据采集接口从分公司数据库中进行数据的采集。
上述设计方案的有益效果是：通过根据数据采集指令选择对应的数据接口，保证数据采集的准确度。
实施例9
基于实施例1的基础上，本发明实施例提供一种实现异构数据库数据采集的方法，如图3所示，步骤4中，对采集到的数据进行处理并汇总至总公司数据库包括：
步骤401：接收来自各个分公司数据库采集到的数据，并对所述数据进行降噪处理，对所述数据进行标准化处理，得到标准采集数据；
步骤402：对所述标准采集数据按照数据类型进行分类，得到多组待存储数据；
步骤403：将所述待存储数据按照组别分别存储值所述总公司数据库中不同的存储单元。
上述设计方案的有益效果是：通过按照采集数据的数据类型将采集数据存储到总公司数据库中不同的存储单元，方便了后期对数据的分析。
实施例10
基于实施例9的基础上，本发明实施例提供一种实现异构数据库数据采集的方法，步骤402中，对所述标准采集数据按照数据类型进行分类，得到多组待存储数据包括：
将所述标准数据按照数据类型进行初步划分，得到多组数据集；
将每一组数据集输入数据测试模型中，并根据测试结果得到每一组数据集划分的准确度；
所述数据测试模型对当前数据集进行采样，得到采样数据，并对所述采样数据进行测试，得到所述采样数据的有偏测量方差和无偏测量方差；
其计算过程如下：
其中，
表示所述有偏测量偏差，n表示采样次数，Gi表示第i个采样数据的有偏测量值，ki表示第i个采样数据的有偏参考值，
表示所述无偏测量偏差，Ri表示第i个采样数据的无偏测量值，si表示第i个采样数据的无偏参考值；
根据所述有偏测量方差和无偏测量方差，计算得到所述当前数据集划分的准确度；
其计算过程如下：
其中，P表示当前数据集划分的准确度，Za表示有偏测量区间指标值，Zb表示无偏测量区间指标值；
判断所述准确度是否满足预设要求；
若是，按照所述多组数据集得到多组存储数据；
否则，对不满足要求的数据集进行再次划分，直到满足准确度要求。
在该实施例中，所述有偏测量方差用来表示所述数据测试模型的优良性，优良性越好，所述有偏测量方差越小。
在该实施例中，所述无偏测量方差用来表示所述数据测试模型的系统误差，系统误差越小，所述无偏方差越小。
在该实施例中，所述无偏测量值和有偏测量值用来表示采样数据在所属采样类型下的可靠性，可靠性越大，取值越大。
在该实施例中，所述有偏参考值和无偏参考值用来表示偏测量和无偏测量的基准值，不同的采样数据对应不同的取值，与所述采样数据的采样时间等相关。
在该实施例中，有偏测量区间指标值和无偏测量区间指标值用来评价所述数据测试模型的在有偏测量和无偏测量的精确度，精确度越高，其值越大。
在该实施例中，对于
来说，例如Gi的取值范围为(0，1)，取Gi＝0.8，ki的取值范围为(0.8，1.2)，取ki＝1，则对应的
大致为0.55，对于
来说，例如Ri的取值范围为(0，1)，取Ri＝0.9，si的取值范围为(0.5，1)，取si＝0.5，则对应的
大致为0.46；对于
来说，例如Za＝1.2，Zb＝0.9，则对应的P大致为1.55，假设预设要求的准确度为2，则表示所述准确度不符合要求，应该对数据进行再次划分。
上述设计方案的有益效果是：通过根据数据测试模型对数据划分的准确度进行计算，在计算过程中，将有偏测量和无偏测量结合，保证了获取准确度的精确性，为数据的分类存储提供了基础，方便了之后对数据的分析。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种实现异构数据库数据采集的方法，其特征在于，包括：
步骤1：根据各个分公司数据库的基本信息，为所述各个分公司数据库配置数据库配置信息和触发规则；
步骤2：根据各个分公司的数据库配置信息，选择数据库驱动，并基于所述数据库驱动确定数据采集接口；
步骤3：根据所述触发规则，登录分公司数据库，并利用所述数据采集接口进行数据采集；
步骤4：对采集到的数据进行处理并汇总至总公司数据库。
2.根据权利要求1所述的一种实现异构数据库数据采集的方法，其特征在于，步骤1之前，还包括：获取各个分公司数据库的基本信息，其过程如下：
获取各个分公司数据库的键值，并确定所述键值的数据类型；
确定所述数据类型对应的预设解析规则，利用所述预设解析规则对所述键值进行解析，获取所述键值对应的特征数据；
基于所述特征数据确定各个分公司数据库服务的端口范围，并根据端口范围-数据库类型之间的映射关系，确定所述各个分公司数据库的数据库类型；
确定所述数据库类型的特征扩展规则，并利用所述特征扩展规则，对各个分公司数据库进行扫描，获取各个分公司数据库的基本信息。
3.根据权利要求1所述的一种实现异构数据库数据采集的方法，其特征在于，步骤2中，根据各个分公司的数据库配置信息，选择数据库驱动包括：
步骤201：获取每个数据库驱动对应的标识信息，并将所述标识信息与所述数据库配置信息进行匹配；
步骤202：若匹配成功，则确定分公司数据库对应的数据库驱动；
步骤203：否则，基于所述数据库配置信息定制驱动程序，并基于所述驱动程序建立数据库驱动。
4.根据权利要求1所述的一种实现异构数据库数据采集的方法，其特征在于，步骤3中，利用所述数据采集接口进行数据采集包括：
获取数据采集指令，并对所述数据采集指令进行分析，确定数据采集类型；
根据所述数据采集类型选择对应的数据采集接口从分公司数据库中进行数据的采集。
5.根据权利要求1所述的一种实现异构数据库数据采集的方法，其特征在于，步骤4中，对采集到的数据进行处理并汇总至总公司数据库包括：
步骤401：接收来自各个分公司数据库采集到的数据，并对所述数据进行降噪处理，对所述数据进行标准化处理，得到标准采集数据；
步骤402：对所述标准采集数据按照数据类型进行分类，得到多组待存储数据；
步骤403：将所述待存储数据按照组别分别存储值所述总公司数据库中不同的存储单元。
6.根据权利要求1所述的一种实现异构数据库数据采集的方法，其特征在于，步骤3中，基于所述数据库驱动确定数据采集接口包括：
提取所述数据库驱动与数据采集相关的驱动程序，并基于所述驱动程序确定数据采集接口的数量和类型；
基于所述数据采集接口的类型为所述数据采集接口设置接口格式参数；
基于所述数据采集接口的数量和类型，对所述数据采集接口进行排序，得到接口排列顺序；
根据所述接口排列顺序为设置接口参数的数据采集接口建立接口集合；
基于运行测试工具对所述接口集合中每个数据采集接口测试，判断每个数据采集接口是否能够正常运行；
若是，保存所述接口集合；
否则，基于测试结果确定所述数据采集接口的出错点，并根据预设修正方案对所述出错点进行修正，得到最终的接口集合。
7.根据权利要求1所述的一种实现异构数据库数据采集的方法，其特征在于，步骤3中，根据所述触发规则，登录分公司数据库包括：
基于所述分公司数据库的开发环境，匹配规则解析器的IP地址，并基于所述IP地址对所述触发规则进行解析，生成触发描述语言；
对所述触发描述语言进行语义解析，生成对应的一个或多个语义结果；
当语义结果为多个时，根据所述触发描述语言的对象信息确定每个语义结果对应的触发子事件，并确定所述触发子事件的优先级信息，选择优先级最高的语义结果作为最终语义结果；
基于所述最终语义结果对所述触发描述语言进行划分，并生成多个触发子事件；
基于预设触发链表，获取所述多个触发子事件对应的第一触发器；
获取登录所述分公司数据库提供的第二触发器，并从所述第二触发器中选择与所述第一触发器相匹配的第三触发器；
获取所述第三触发器的历史触发记录，并根据所述历史触发记录，并根据所述历史触发记录确定所述第三触发器的激活相关度、可控度；
判断所述第三触发器的激活相关度、可控度是否满足预设要求；
若是，将所述第三触发器作为目标触发器；
否则，基于所述预设要求对所述第三触发器进行修正，并将修正后的第三触发器作为目标触发器；
解析所述目标触发器，得到所述目标触发器对应的抽象语法树，并按照预设执行顺序对所述抽象语法树进行遍历，得到触发语句集合；
基于所述触发语句集合设置触发路径，根据所述触发路径实现对所述分公司数据库的登录。
8.根据权利要求1所述的一种实现异构数据库数据采集的方法，其特征在于，步骤1中，根据各个分公司数据库的基本信息，为所述各个分公司数据库配置数据库配置信息和触发规则包括：
基于所述各个分公司数据库的基本信息，确定配置服务器和配置信息属性；
基于所述配置服务器，确定配置传输起点和配置传输终点；
基于所述配置信息属性，获取动态配置过程，并确定配置传输过程点；
基于所述定配置传输起点、配置传输过程点、配置传输终点，建立配置路径；
根据所述配置信息属性，从所述配置服务器中获取数据库信息，并利用所述配置路径完成对所述数据库信息的传输，并将所述数据库配置信息配置到对应的分公司数据库上；
基于所述数据库配置信息，确定触发信息，并根据所述触发信息生成触发策略；
确定所述触发策略中每个触发对象对应的触发资源，并建立对象-资源映射关系；
根据所述对象-资源映射关系，构建触发规则。
9.根据权利要求4所述的一种实现异构数据库数据采集的方法，其特征在于，获取每个数据库驱动对应的标识信息，并将所述标识信息与所述数据库配置信息进行匹配包括：
基于所述数据库配置信息，确定分公司数据库的配置布局，并对所述配置布局按照配置属性进行层级划分，得到多个层级布局；
获取所述多个层级布局的节点，并判断每个层级布局与剩余层级布局中每个节点是否匹配；
若是，不对所述层级布局进行任何操作；
否则，若当前层级布局的节点数量小于任意一个剩余层级布局的节点数量时，确定剩余层级布局中多出的节点，并根据多出的节点的位置以及当前层级布局的属性对所述当前层级布局进行节点补充；
获取每个层级布局中的节点信息，根据所述节点信息确定所述节点之间的第一约束关系；
根据节点信息确定平行的层级布局中对应节点之间的第二约束关系；
根据所述第一约束关系和第二约束关系，为所述多个层级布局中的节点设置二维标识集合；
其中，所述二维标识包括第一标识集合和第二标识集合，第一标识集合反应一个层级布局中节点之间的关系，第二标识集合反应多个层级布局中对应节点之间的关系；
对所述每个数据库驱动对应的标识信息进行解析，获取数据库驱动中每个子驱动对应的子标识信息；
将所述第二标识集合中的每个标识与所述每个数据库驱动对应的标识信息进行匹配，并获取第一匹配度，且判断所述第一匹配度是否小于第一预设匹配度；
若是，判断所有数据库驱动不符合分公司数据库要求；
否则，对满足要求的数据库驱动进行进一步匹配检测；
将所述第一标识集合中的每个标识与满足要求的数据库驱动中的子标识信息进行匹配，获取第二匹配度，并判断所述第二匹配度是否小于第二预设匹配度；
若是，判断满足要求的数据库驱动不符合分公司数据库驱动要求；
否则，确定分公司数据库确定对应的数据库驱动。
10.根据权利要求9所述的一种实现异构数据库数据采集的方法，其特征在于，步骤402中，对所述标准采集数据按照数据类型进行分类，得到多组待存储数据包括：
将所述标准数据按照数据类型进行初步划分，得到多组数据集；
将每一组数据集输入数据测试模型中，并根据测试结果得到每一组数据集划分的准确度；
所述数据测试模型对当前数据集进行采样，得到采样数据，并对所述采样数据进行测试，得到所述采样数据的有偏测量方差和无偏测量方差；
根据所述有偏测量方差和无偏测量方差，计算得到所述当前数据集划分的准确度；
判断所述准确度是否满足预设要求；
若是，按照所述多组数据集得到多组存储数据；
否则，对不满足要求的数据集进行再次划分，直到满足准确度要求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110941795.6A CN113821554B (zh) | 2021-08-17 | 2021-08-17 | 一种实现异构数据库数据采集的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110941795.6A CN113821554B (zh) | 2021-08-17 | 2021-08-17 | 一种实现异构数据库数据采集的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113821554A true CN113821554A (zh) | 2021-12-21 |
| CN113821554B CN113821554B (zh) | 2023-10-13 |
Family
ID=78913183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110941795.6A Active CN113821554B (zh) | 2021-08-17 | 2021-08-17 | 一种实现异构数据库数据采集的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113821554B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115116224A (zh) * | 2022-06-24 | 2022-09-27 | 山东旗帜信息有限公司 | 一种边缘端数据采集传输系统及方法 |
| CN115118487A (zh) * | 2022-06-24 | 2022-09-27 | 山东旗帜信息有限公司 | 一种ssh数据采集方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5721904A (en) * | 1993-12-20 | 1998-02-24 | Hitachi, Ltd. | Database access system and method of controlling access management to a database access system for a plurality of heterogeneous database servers using SQL |
| CN101082996A (zh) * | 2007-07-09 | 2007-12-05 | 北京邮电大学 | 基于移动终端的考勤管理系统及其实现方法 |
| CN104346377A (zh) * | 2013-07-31 | 2015-02-11 | 克拉玛依红有软件有限责任公司 | 一种基于唯一标识的数据集成和交换方法 |
| US20160342655A1 (en) * | 2015-05-20 | 2016-11-24 | Commvault Systems, Inc. | Efficient database search and reporting, such as for enterprise customers having large and/or numerous files |
| CN110266677A (zh) * | 2019-06-13 | 2019-09-20 | 广州中国科学院沈阳自动化研究所分所 | 一种面向工业制造的边缘计算智能网关及实现方法 |
| CN112667697A (zh) * | 2020-12-30 | 2021-04-16 | 北京来也网络科技有限公司 | 结合rpa和ai的房产信息的获取方法及装置 |
| CN113254519A (zh) * | 2021-05-28 | 2021-08-13 | 北京奇岱松科技有限公司 | 多源异构数据库的访问方法、装置、设备和存储介质 |
-
2021
- 2021-08-17 CN CN202110941795.6A patent/CN113821554B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5721904A (en) * | 1993-12-20 | 1998-02-24 | Hitachi, Ltd. | Database access system and method of controlling access management to a database access system for a plurality of heterogeneous database servers using SQL |
| CN101082996A (zh) * | 2007-07-09 | 2007-12-05 | 北京邮电大学 | 基于移动终端的考勤管理系统及其实现方法 |
| CN104346377A (zh) * | 2013-07-31 | 2015-02-11 | 克拉玛依红有软件有限责任公司 | 一种基于唯一标识的数据集成和交换方法 |
| US20160342655A1 (en) * | 2015-05-20 | 2016-11-24 | Commvault Systems, Inc. | Efficient database search and reporting, such as for enterprise customers having large and/or numerous files |
| CN110266677A (zh) * | 2019-06-13 | 2019-09-20 | 广州中国科学院沈阳自动化研究所分所 | 一种面向工业制造的边缘计算智能网关及实现方法 |
| CN112667697A (zh) * | 2020-12-30 | 2021-04-16 | 北京来也网络科技有限公司 | 结合rpa和ai的房产信息的获取方法及装置 |
| CN113254519A (zh) * | 2021-05-28 | 2021-08-13 | 北京奇岱松科技有限公司 | 多源异构数据库的访问方法、装置、设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 孙健: "分布式信息共享平台技术及其实现", 《中国优秀博硕士学位论文全文数据库 (硕士)》, pages 139 - 146 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115116224A (zh) * | 2022-06-24 | 2022-09-27 | 山东旗帜信息有限公司 | 一种边缘端数据采集传输系统及方法 |
| CN115118487A (zh) * | 2022-06-24 | 2022-09-27 | 山东旗帜信息有限公司 | 一种ssh数据采集方法及系统 |
| CN115116224B (zh) * | 2022-06-24 | 2023-08-18 | 山东旗帜信息有限公司 | 一种边缘端数据采集传输系统及方法 |
| CN115118487B (zh) * | 2022-06-24 | 2023-08-25 | 山东旗帜信息有限公司 | 一种ssh数据采集方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113821554B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106445795B (zh) | 一种数据库sql效率检测方法及装置 | |
| JP5306360B2 (ja) | データ記録を一致させるシステムの分析のための方法およびシステム | |
| US7313514B2 (en) | Validating content of localization data files | |
| US20110154117A1 (en) | Methods and apparatus to perform log file analyses | |
| CN110765639B (zh) | 一种电气仿真建模方法、装置及可读存储介质 | |
| CN113821554B (zh) | 一种实现异构数据库数据采集的方法 | |
| CN112817865A (zh) | 一种基于组件化分布式系统的覆盖精准测试方法及其系统 | |
| CN111782265A (zh) | 基于字段级血缘关系的软件资源系统及其建立方法 | |
| CN108710571B (zh) | 一种生成自动化测试代码的方法和装置 | |
| CN112069069A (zh) | 缺陷自动定位分析方法、设备及可读存储介质 | |
| CN116661756B (zh) | 一种基于低代码dsl的对象解析方法及装置 | |
| WO2024067358A1 (zh) | 仓库管理系统的效率分析方法、系统及计算机设备 | |
| CN113157978B (zh) | 数据的标签建立方法和装置 | |
| CN113779261A (zh) | 知识图谱的质量评价方法、装置、计算机设备及存储介质 | |
| CN111177016B (zh) | 软件测试缺陷的管理方法 | |
| CN116303641B (zh) | 一种支持多数据源可视化配置的实验室报告管理方法 | |
| CN116955154A (zh) | 一种应用程序接口的测试方法及装置 | |
| CN110956030A (zh) | 变电站远动机组态配置信息比对方法及系统 | |
| CN113742213A (zh) | 一种用于数据分析的方法、系统和介质 | |
| CN114328572A (zh) | 基于sql解析器的数据查询方法、装置、系统及介质 | |
| CN110717032A (zh) | 多系统的方法调用链路图的生成及显示方法 | |
| CN112346966A (zh) | 一种专用控制器测试数据自动分析方法 | |
| CN117648339B (zh) | 一种数据探查方法、装置、服务器及存储介质 | |
| CN112925856B (zh) | 实体关系分析方法、装置、分析设备及计算机存储介质 | |
| CN116136825B (zh) | 数据检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |