CN116662687A - 可视化etl数据处理方法、装置、电子设备及介质 - Google Patents
可视化etl数据处理方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN116662687A CN116662687A CN202210146167.3A CN202210146167A CN116662687A CN 116662687 A CN116662687 A CN 116662687A CN 202210146167 A CN202210146167 A CN 202210146167A CN 116662687 A CN116662687 A CN 116662687A
- Authority
- CN
- China
- Prior art keywords
- data
- wasm
- browser
- etl
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 74
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000004458 analytical method Methods 0.000 claims description 52
- 238000006243 chemical reaction Methods 0.000 claims description 43
- 238000004140 cleaning Methods 0.000 claims description 35
- 230000002159 abnormal effect Effects 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 238000004806 packaging method and process Methods 0.000 claims description 9
- 230000008439 repair process Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000007726 management method Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 7
- 230000002085 persistent effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请涉及互联网和大数据领域，提供一种可视化ETL数据处理方法、装置、电子设备及介质，该方法包括：通过ETL规则和待处理数据源进行配置管理，得到浏览器数据；根据WASM容器中的待使用算法规则库对浏览器数据进行ETL数据处理，得到目标展示数据；根据数据量通过浏览器内存或/和WASM内存对目标展示数据进行缓存，并通过WASM容器将浏览器内存或/和WASM内存中缓存的目标展示数据进行可视化展示。本申请实施例提供的可视化ETL数据处理方法通过WASM内存与浏览器内存的两缓存协同，将主流ETL模式中的各原子服务与WASM进行融合，弱化了对服务器端的依赖，实现了完全在浏览器端的全内存化的可视化应用服务。
Description
技术领域
本申请涉及互联网和大数据领域，尤其涉及一种可视化ETL数据处理方法、装置、电子设备及介质。
背景技术
现有ETL的数据处理方法完全基于服务器端的数据处理三步骤，数据抽取E、数据的清洗转换T和数据的加载L。目前主要的ETL数据处理方法有：ETL工具方法、SQL方法，以及ETL工具和SQL结合方法。ETL服务与前端javascript的交互，也仅常以web端的在线输入信息，再把信息通信传输到后台，在后台进行ETL的数据处理，再将结果通信传输到前端进行可视化呈现。
而以目前主要的ETL数据处理方法为基础的数据处理的ETL服务，却往往强依赖于服务器资源，并需要进行前后端的运行部署来支撑用户的可视化ETL操作。
发明内容
本申请提供一种可视化ETL数据处理方法、装置、电子设备及介质，旨在弱化对服务器端的依赖，实现完全在浏览器端的全内存化的可视化应用服务。
第一方面，本申请提供一种可视化ETL数据处理方法，包括：
确定ETL可视化操作界面的待处理数据源和ETL规则，并通过所述ETL规则和所述待处理数据源进行配置管理，得到浏览器数据；
确定所述浏览器数据在WASM容器中的待使用算法规则库；
根据所述待使用算法规则库对所述浏览器数据进行ETL数据处理，得到目标展示数据，并确定所述目标展示数据的数据量；
根据所述数据量通过浏览器内存或/和WASM内存对所述目标展示数据进行缓存，并通过所述WASM容器将所述浏览器内存或/和所述WASM内存中缓存的目标展示数据进行可视化展示。
在一个实施例中，所述通过所述ETL规则和所述待处理数据源进行配置管理，得到浏览器数据，包括：
基于所述ETL规则的websql和所述WASM容器的配置解析器对所述待处理数据源进行管理、配置和解析，得到解析数据，并将所述解析数据存储至JS变量中；
调用所述WASM容器中的预设方法实例化WASM模块，并将所述JS变量作为参数数据传入至实例化后的WASM模块；
结合所述配置解析器和所述WASM容器的源协议转换器对所述实例化后的WASM模块中的JS变量进行解析、数据转换和内存加载，得到所述浏览器数据。
所述基于所述ETL规则的websql和所述WASM容器的配置解析器对所述待处理数据源进行管理、配置和解析，得到解析数据，包括：
通过所述websql对所述待处理数据源进行sql化管理和sql化配置，得到待处理配置数据；
结合所述websql的语义解析能力和所述配置解析器对所述待处理配置数据进行第一次配置解析，得到待处理解析数据；
结合所述websql的语义解析数据和所述配置解析器对所述待处理解析数据进行第二次配置解析，得到所述解析数据。
所述根据所述数据量通过浏览器内存或/和WASM内存对所述目标展示数据进行缓存，包括：
若所述数据量大于预设数据量，则通过所述浏览器内存和所述WASM内存对所述目标展示数据进行双协同缓存；
若数据量小于或者等于所述预设数据量，则通过所述浏览器内存或所述WASM内存对所述目标展示数据进行单协同缓存。
所述根据所述待使用算法规则库对所述浏览器数据进行ETL数据处理，得到目标展示数据，包括：
将所述待使用算法规则库和所述浏览器数据加载至所述WASM容器所运行的沙箱化执行环境进行转换抽取，得到第一待展示数据；
通过高维时间序列中的错列检测修复算法对所述第一待展示数据进行清洗和修复，得到第二待展示数据；
对所述第二待展示数据进行分组，生成各个分组的数据对象，并通过WASM容器中的内置函数库对各个所述分组的数据对象进行数据转换，得到各个所述分组的转换结果；
通过主进程将各个所述分组的转换结果进行结果聚合，得到所述目标展示数据。
所述将所述待使用算法规则库和所述浏览器数据加载至所述WASM容器所运行的沙箱化执行环境进行转换抽取，得到第一待展示数据，包括：
通过Reader数据接入模块将所述待使用算法规则库和所述浏览器数据加载至所述WASM容器所运行的沙箱化执行环境；
通过所述沙箱化执行环境结合所述浏览器数据的数据类型对所述浏览器数据进行封装，得到所述浏览器数据的封装数据；
通过Writer数据读取模块从所述WASM容器中将所述封装数据进行抽取，得到所述第一待展示数据。
所述通过高维时间序列中的错列检测修复算法对所述第一待展示数据进行清洗和修复，得到第二待展示数据，包括：
对所述第一待展示数据的各个第一数据序列进行建模，并通过正常模式特征分析，得到各个所述第一数据序列的匹配度值；
将待处理数据源的中间数据按照时间维度切分为预设数量的第二数据序列，并根据各个所述第二数据序列构建数据清洗矩阵；
根据所述数据清洗矩阵结合各个所述第一数据序列匹配度值进行序列异常模式检测，确定所述第一待展示数据中的异常数据；
根据异常过滤规则校验结合所述异常数据对所述第一待展示数据进行错列匹配，得到所述第二待展示数据。
第二方面，本申请还提供一种可视化ETL数据处理装置包括：
确定配置模块，用于确定ETL可视化操作界面的待处理数据源和ETL规则，并通过所述ETL规则和所述待处理数据源进行配置管理，得到浏览器数据；
确定模块，用于确定所述浏览器数据在WASM容器中的待使用算法规则库；
处理确定模块，用于根据所述待使用算法规则库对所述浏览器数据进行ETL数据处理，得到目标展示数据，并确定所述目标展示数据的数据量；
缓存展示模块，用于根据所述数据量通过浏览器内存或/和WASM内存对所述目标展示数据进行缓存，并通过所述WASM容器将所述浏览器内存或/和所述WASM内存中缓存的目标展示数据进行可视化展示。
第三方面，本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述可视化ETL数据处理方法。
第四方面，本申请还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括计算机程序，所述计算机程序被所述处理器执行时实现第一方面所述可视化ETL数据处理方法。
第五方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被所述处理器执行时实现第一方面所述可视化ETL数据处理方法。
本申请提供的可视化ETL数据处理方法、装置、电子设备及介质，在可视化ETL数据处理的过程中，利用WASM在web端的独立高效加载特性，通过WASM内存与浏览器内存的两缓存协同，将主流ETL模式中的各原子服务与WASM进行融合，弱化了对服务器端的依赖，实现了完全在浏览器端的全内存化的可视化应用服务。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的可视化ETL数据处理方法的流程示意图；
图2是本申请提供的可视化ETL数据处理装置的结构示意图；
图3是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合图1至图3描述本申请提供的可视化ETL数据处理方法、装置、电子设备及介质。图1是本申请提供的可视化ETL数据处理方法的流程示意图；图2是本申请提供的可视化ETL数据处理装置的结构示意图；图3是本申请提供的电子设备的结构示意图
本申请实施例提供了可视化ETL数据处理方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些数据下，可以以不同于此处的顺序完成所示出或描述的步骤。
本申请实施例以电子设备作为执行主体进行举例，本申请实施例以浏览器作为电子设备的表现形式之一，并不对电子设备限制。
参照图1，图1是本申请提供的可视化ETL数据处理方法的流程示意图。本申请实施例提供的可视化ETL数据处理方法包括：
步骤S10，确定ETL可视化操作界面的待处理数据源和ETL规则，并通过所述ETL规则和所述待处理数据源进行配置管理，得到浏览器数据。
需要说明的是，ETL可视化操作界面即为ETL在线可视化操作管理界面，是作为面向用户视角的网页功能服务。用户可在ETL在线可视化操作管理界面进行ETL数据处理流程的操作、配置和管理，包括但不限制于配置数据源、数据关系SQL和清洗规则全过程的可视化操作管理，可视化操作管理包括但不限制于增加操作、删除操作、修改操作和查询操作。其中，ETL(Extract-Transform-Load)是用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
用户在ETL在线可视化操作管理界面选定待处理数据源和ETL规则之前，浏览器需要加载并缓存清洗算法与规则库，也可以理解为，用户在启动浏览器的同时，浏览器需要加载并缓存清洗算法与规则库，也即为ETL在线可视化操作管理界面前的初始化环境准备，因为要基于原生的WASM服务，对其配套定制的规则库与算法的变量初始化缓存，缓存又包括几种类型缓存的联接管理，为后续的双缓存机制协同铺垫。本申请实施例涉及的清洗算法与规则库包括但不限制于异构多协议的数据转换规则、异常数据检测/过滤规则和错列匹配检测算法(协方差矩阵计算)。
进一步地，基于清洗算法与规则库构建WebAssembly(WASM)格式的WASM文件，此外在页面中通过JS原生API(fetch)方法流式传输WASM文件。
进一步地，浏览器加载localForage JS库，调用localForage的setItem方法对WASM文件进行客户端持久化存储；localForageJS可根据客户端浏览器版本及api支持情况使用所提供的统一的api，自动选择或判断使用webSql/localStorage进行客户端缓存持久化；保证浏览器在需要对WASM模块多实例时或在浏览器刷新时，可以直接从本地数据库缓存中读取相应WASM模块，迅速恢复页面状态。
进一步地，构建WASM的缓存池和缓存池管理器，缓存池管理器实现对中间数据和结果数据的缓存和持久化存储管理。
进一步地，浏览器加载并缓存清洗算法与规则库后，确定ETL可视化操作界面的待处理数据源和ETL规则，其中，待处理数据源支持多种协议，包括但不限制于不同格式、不同结构和不同类型的数据集，如文件、数据库表和网络流数据。接着，浏览器通过可视化配置将ETL规则和待处理数据源在线进行配置管理，得到浏览器数据，其中，在线配置管理包括可视化配置、配置加载和数据加载，具体如步骤S101至步骤S103所述。
步骤S20，确定所述浏览器数据在WASM容器中的待使用算法规则库；
步骤S30，根据所述待使用算法规则库对所述浏览器数据进行ETL数据处理，得到目标展示数据，确定所述目标展示数据的数据量。
进一步地，浏览器确定浏览器数据在WASM容器中的待使用算法规则库，待使用算法规则库包括不限制于异构多协议的数据转换规则、异常数据检测/过滤规则和错列匹配检测算法(协方差矩阵计算)。
需要说明的是，ETL数据处理的核心流程涉及数据抽取转换和转换清洗服务，因此，浏览器通过异构多协议的数据转换规则、异常数据检测/过滤规则、错列匹配检测算法和资源环境对浏览器数据进行先抽取转换、再筛选检测、修复与清除、转换汇总，得到目标展示数据，具体如步骤S301至步骤S304所述。进一步地，浏览器在得到目标展示数据后，需要确定目标展示数据的数据量。
步骤S40，根据所述数据量通过浏览器内存或/和WASM内存对所述目标展示数据进行缓存，并通过所述WASM容器将所述浏览器内存或/和所述WASM内存中缓存的目标展示数据进行可视化展示。
浏览器将数据量和预设数据量进行数据量大小比较，得到比较结果，其中，比较结果可为数据量大于预设数据量，比较结果也可为数据量小于或者等于预设数据量。若确定比较结果为数据量大于预设数据量，浏览器则通过浏览器内存和WASM内存对目标展示数据进行双协同缓存，其中，预设数据量根据浏览器的性能设定的。若确定比较结果为数据量小于或者等于预设数据量，浏览器则通过浏览器内存对目标展示数据进行单协同缓存，或者浏览器通过WASM内存对目标展示数据进行单协同缓存。
在经过上述步骤S10至步骤S30的ETL数据处理后，通过WASM容器将浏览器内存或/和WASM内存中缓存的目标展示数据进行展示。需要说明的是，本申请实施例支持多种数据格式与类型，是因为WASM容器支持且与网页间通信的二进制流，因此可以进行多种文档类型的展现，并支持文档下载使用。进一步地，浏览器按照数据对象的需要汇总上述ETL数据处理后得到的目标展示数据，最后数据的展示形式可以包括但不限制于图表数据展示形式、关系数据集展示形式、流文件展示形式和可读文档展示形式。
进一步地，在展示完目标展示数据后，浏览器将销毁本ETL数据流程的任务集，并重置WASM内存空间，但将默认缓存配置并过程完善的数据处理规则，以满足支持后续数据结果最终呈现给用户后的规则检查。
进一步地，在WASM虚拟环境中将数据处理完毕后，将二进制数据流返回给浏览器，JS通过前端javascript流函数ArrayBuffer对二进制数据进行接收，并对数据进行解析转换。Web页面在获取到WASM的数据对象结果后，根据数据结果的不同进行不同试试的呈现，包括界面渲染展示、文件导出下载等。在复杂数据的展示时，可通过webGL对返回的数据进行界面渲染，可渲染数量众多的元素或像素，能保持优异的性能；常规数据集或列表信息可在html里渲染dom来展示数据，更灵活选择呈现方式，更节省资源。
本实施例提供了可视化ETL数据处理方法，在可视化ETL数据处理的过程中，利用WASM在web端的独立高效加载特性，通过WASM内存与浏览器内存的两缓存协同，将主流ETL模式中的各原子服务与WASM进行融合，弱化了对服务器端的依赖，实现了完全在浏览器端的全内存化的可视化应用服务。进一步理解为，通过WASM进行融合创新定制ETL的新型服务模式，结合WASM特性将ETL全环节进行了深度的定制设计，初始化时WASM容器加载ETL所需库和环境资源，ETL过程中的数据与规则存放通过WASM内存与浏览器内存进行双缓协同，结果数据或文件转换都利用独立加载的WASM处理，再与web中的JS进行页面的可视化交互。也可以理解为，用户可随时随地打开网页浏览器即可进行在线ETL的数据处理来满足个人数据自助分析等数据需求，且不依赖于服务器能力条件，完全在用户本地资源上运行处理。
进一步地，步骤S101至步骤S103的描述如下：
步骤S101，基于所述ETL规则的websql和所述WASM容器的配置解析器对所述待处理数据源进行管理、配置和解析，得到解析数据，并将所述解析数据存储至JS变量中；
步骤S102，调用所述WASM容器中的预设方法实例化WASM模块，并将所述JS变量作为参数数据传入至实例化后的WASM模块；
步骤S103，结合所述配置解析器和所述WASM容器的源协议转换器对所述实例化后的WASM模块中的JS变量进行解析、数据转换和内存加载，得到所述浏览器数据。
具体地，浏览器根据ETL规则中的websql对待处理数据源进行sql化管理和sql化配置，同时，浏览器利用websql的sql语义解析能力，结合WASM容器内置的配置解析器进行第一次配置解析，再接着配置解析器获取websql的语法解析树进行第二次配置解析，得到解析数据，具体如步骤S3011至步骤S3013所述。同时，浏览器将解析数据存储至JS变量中。
进一步地，浏览器调用WASM容器的预设方法实例化WASM模块，本申请实施例中的预设方法可为instantiate方法，因此可以理解为，浏览器调用WASM容器中的instantiate方法从底层源编译和实例化WASM模块，并在实例化WASM模块时，创建内存空间。
进一步地，浏览器将解析数据的JS变量当作参数数据传入实例化后的WASM模块，之后通过配置解析器进行解析，配合WASM容器中的源协议转换器完成对解析数据的JS变量数据转换和内存加载，得到浏览器数据。需要说明的是，不同协议的数据都通过源协议转换器加载到WASM内存中，同时将解析数据的JS变量通过localForageJS进行持久化存储。源协议转换器基于异构数据源多协议数据转换实现了文件到内存、流到内存、表数据到内存的统一转换。
需要说明的是，本申请实施例为了保障常规类主流数据类型的输入，数据类型仅用于数据集的配置提交，支持格式化及非格式化数据，如sql格式、excel格式、JSon格式、hdfs格式和xml格式。
本申请实施例通过ETL全过程处理的可视化管理方式，非前后台相结合的ETL操作的在线化，而是ETL整体服务处理全过程迁移到了web中进行可视化操作管理，可以管理其过程状态，并随时在线人工介入操作，ETL过程中的缓存或临时存储的数据都可随时查看。
进一步地，步骤S1031至步骤S1033的描述如下：
步骤S1031，通过所述websql对所述待处理数据源进行sql化管理和sql化配置，得到待处理配置数据；
步骤S1032，结合所述websql的语义解析能力和所述配置解析器对所述待处理配置数据进行第一次配置解析，得到待处理解析数据；
步骤S1033，结合所述websql的语义解析数据和所述配置解析器对所述待处理解析数据进行第二次配置解析，得到所述解析数据。
具体地，浏览器根据ETL规则中的websql对待处理数据源进行sql化管理和sql化配置，得到待处理配置数据，接着，浏览器利用websql的sql语义解析能力结合WASM容器内置的配置解析器对待处理配置数据进行第一次配置解析，得到待处理解析数据。最后，浏览器通过配置解析器获取websql的语法解析树对待处理解析数据进行第二次配置解析，得到解析数据。
本申请实施例通过在线ETL数据处理，线上随时可访问操作，且完全本地化运行执行，不依赖于服务器的通信效率和资源压力，且在页面刷新的情况下不影响数据过程在缓存中的使用。
进一步地，步骤S301至步骤S304的描述如下：
步骤S301，将所述待使用算法规则库和所述浏览器数据加载至所述WASM容器所运行的沙箱化执行环境进行转换抽取，得到第一待展示数据；
步骤S302，通过高维时间序列中的错列检测修复算法对所述第一待展示数据进行清洗和修复，得到第二待展示数据；
步骤S303，对所述第二待展示数据进行分组，生成各个分组的数据对象，并通过WASM容器中的内置函数库对各个所述分组的数据对象进行数据转换，得到各个所述分组的转换结果；
步骤S304，通过主进程将各个所述分组的转换结果进行结果聚合，得到所述目标展示数据。
具体地，浏览器通过JS调用实例化后的WASM模块对象中暴露出的对应方法，将待使用算法规则库和浏览器数据加载到WASM容器所运行在的沙箱化执行环境中。浏览器将待使用算法规则库和浏览器数据加载到WASM容器后，根据浏览器数据的数据类型进行数据封装，封装为不同的数据对象的第一待展示数据，具体如步骤S3011至步骤S3013所述。
进一步地，由于数据源种类繁多，为了解决异构数据源同步及多协议数据源转换问题，本申请实施例将基于datax框架解决网状结构数据链路的复杂性，转换为星型数据链路，简化数据链路同时使得不同数据源无缝衔接。进一步地，本申请实施例张的WASM容器作为中间传输载体负责连接各数据源，即通过Reader数据接入模块将待使用算法规则库和浏览器数据数据发送到WASM容器，Writer模块读取模块负责从WASM容器去数据，写入目的端，即统一输出源-WASM内存。Reader数据接入模块和Writer模块读取模块负责异构数据和协议的转换，协议转换器用来对接Reader数据接入模块和Writer模块读取模块。协议转换器作为核心，采用双缓冲队列、滑动窗口流控等机制处理高速数据交换中的问题。
进一步地，浏览器根据协议转换器转换后得到的第一待展示数据以及待使用算法规则库进行数据清洗与转换，本申请实施例中的待使用算法规则库可包括高维时间序列中错列检测修复算法，因此可以理解为，浏览器通过高维时间序列中错列检测修复算法对第一待展示数据进行数据清洗与转换，得到第二待展示数据，数据清洗与转换包括序列异常模式检测、错列匹配检测算法和错列匹配过滤，具体如步骤S3021至步骤S3024所述。需要说明的是，数据清洗与转换的目的是将异常数据进行清除，因此数据清洗与转换理解为，浏览器对第一待展示数据中的异常数据(异常数据项和异常数据列)进行清除。
进一步地，浏览器按照第二待展示数据的key值对第二待展示数据进行分组，生成各个分组不同的数据对象。接着，浏览器通过WASM容器内置函数库对各个分组的数据对象进行数据转换，得到各个分组的转换结果，并且将转换结果存入WASM缓存池的缓存节点中，所有的分组转换任务完成后通知主JS进程。最后，浏览器通过主JS进程对各个分组的转换结果进行结果聚合，得到所述目标展示数据。
本申请实施例通过错列匹配检测算法在WASM处理ETL的新场景应用，将算法进行了WASM前端化定制改造，并对异常列项进行过滤来实现ETL清洗算法的轻量化，完成在WASM上的融合清洗。
进一步地，步骤S3011至步骤S3013的描述如下：
步骤S3011，通过Reader数据接入模块将所述待使用算法规则库和所述浏览器数据加载至WASM容器所运行的沙箱化执行环境；
步骤S3012，通过所述沙箱化执行环境结合所述浏览器数据的数据类型对所述浏览器数据进行封装，得到浏览器数据的封装数据；
步骤S3013，通过Writer数据读取模块从所述WASM容器中将所述封装数据进行抽取，得到所述第一待展示数据。
具体地，浏览器通过Reader数据接入模块将待使用算法规则库和浏览器数据加载至WASM容器所运行的沙箱化执行环境中。接着，浏览器通过沙箱化执行环境结合浏览器数据的数据类型对浏览器数据进行封装，得到浏览器数据的封装数据。最后，浏览器通过Writer数据读取模块从WASM容器抽取出封装数据，得到第一待展示数据。
进一步地，步骤S3021至步骤S3024的描述如下：
步骤S3021，对所述第一待展示数据的各个第一数据序列进行建模，并通过正常模式特征分析，得到各个第一数据序列的匹配度值；
步骤S3022，将待处理数据源的中间数据按照时间维度切分为预设数量的第二数据序列，根据各个第二数据序列构建数据清洗矩阵；
步骤S3023，根据数据清洗矩阵结合各个所述第一数据序列匹配度值进行序列异常模式检测，确定第一待展示数据中的异常数据；
步骤S3024，根据异常过滤规则校验结合所述异常数据对所述第一待展示数据进行错列匹配，得到所述第二待展示数据。
具体地，浏览器首先对第一待展示数据中的各个第一数据序列进行建模，并通过正常模式特征分析，在检测时将第一待展示数据对本列模型匹配的预测值作为第一数据序列的匹配度，同时记录错列集合并进行浏览器数据持久化。进一步地，浏览器从待处理数据源中抽取出的中间数据，按照时间维度对中间数据切分为预设数量K条不同的第二数据序列，k条不同的第二数据序列可以表示为Sk m，m代表数据组，按照用户定义业务线划分。进一步地，浏览器将k条不同的第二数据序列分组在S的第l段序列中，因此第l段内第k个序列表示为需要说明的是，本申请实施例通过协方差矩阵来计算数据序列的相关性，表示为STl，用于计算S组上第l段内k条序列的相关性，其中S组上第l段内第k条序列的相关性为：
其中，元素R表示第i个序列和第j个序列/>的想关性参数值，值域为[-1,1]，矩阵内R的取值由如下公式计算得出。
其中，S平均表示在全部序列数据点的平均值，由如上公式可以得到k条数据序列的相关清洗结果数据矩阵ST。
进一步地，浏览器根据数据清洗矩阵结合各个第一数据序列匹配度值进行序列异常模式检测，确定第一待展示数据中的异常数据，基于数据清洗矩阵进行清洗数据结，进行模式检测计算数据序列匹配度提高了数据清洗快速异常检测方法的效率。
浏览器确定第一待展示数据中的异常数据后，通过异常过滤规则校验并对第一待展示数据中的异常数据(异常项和异常列)的匹配程序的批处理检查，会得到所有的异常待清洗项，针对该数据的序列集合过滤掉所有清洗异常项后，即可得出所需的正常列，从而完成整个数据序列的完整清洗，得到第二待展示数据。
本申请实施例通过错列匹配检测算法在WASM处理ETL的新场景应用。将算法进行了WASM前端化定制改造，通过使用协方差矩阵来计算数据序列的相关性分析，对全部序列数据点的平均值对标匹配，并对异常列项进行过滤来实现ETL清洗算法的轻量化，完成在WASM上的融合清洗。
进一步地，步骤S401至步骤S402的描述如下：
步骤S401，若所述数据量大于预设数据量，则通过所述浏览器内存和所述WASM内存对所述目标展示数据进行双协同缓存；
步骤S402，若数据量小于或者等于所述预设数据量，则通过所述浏览器内存或所述WASM内存对目标展示数据进行单协同缓存。
具体地，若确定数据量大于预设数据量，浏览器则通过浏览器内存和所述WASM内存对目标展示数据进行双协同缓存。若确定数据量小于或者等于预设数据量，浏览器则通过浏览器内存对目标展示数据进行单协同缓存，或者浏览器通过WASM内存对目标展示数据进行单协同缓存。
本申请实施例利用WASM在web端的独立高效加载特性，通过WASM内存与浏览器内存的两缓存协同，将主流ETL模式中的各原子服务与WASM进行融合，弱化了对服务器端的依赖，实现了完全在浏览器端的全内存化的可视化应用服务。
本申请实施例由于上述步骤S10至步骤S30的应用服务分别在页面和页面中WASM内，在可视化操作相互调用使用时需要通过设计一种机制模式来进行支持，并且为了能够满足在WASM中的ETL处理更大一点的数据量时，也需要尽可能的利用不同缓存的特性进行规划设计，所以实行了WASM内存和浏览器持久化缓存之间相互配合相互协同的双缓存协同机制。进一步地，由于客户端是通过浏览器引擎的垃圾回收机制自动管理内存，导致各浏览器都限制了JS能够使用的内存大小，只是不同的浏览器限制内存大小略有不同，从而无疑限制了浏览器的对大数据的处理能力，因此考虑通过浏览器内存和WASM内存进行双缓存协同的处理模式。依托于WASM自身所提供的高运算性、可分配的大容量内存机制及可手动创建、销毁内存的内存管理机制，配合使用localForageJS进行客户端持久化存储，从而突破浏览器因自身特性所带来的内存使用局限性。
进一步地，通过对ETL数据集的抽取后，需要进行客户端的临时存储，本申请实施例将基于WASM的虚拟内存(VAS)管理，其可以屏蔽底层：虚拟地址程序编写更加方便；权限控制：解决内存非法访问的问题；高效：虚拟内存寻址空间可以比物理内存大。可以灵活分配(高速缓存，LRU)。除了内存分段管理之外，还可将ETL数据清洗的环节小应用进行分段管理，主要是描述的程序对数据的组织。并且对虚拟内存进行对齐管理，如果一个内存的访问有效地址(Effective address)是储存器访问的对齐属性的倍数，那么这次储存器访问就被称为是对齐的，否则是不对齐。对齐与不对齐的访问具有相同的行为，但是对齐会提高CPU的处理速度。
在上述步骤S30的数据处理转换过程中，会依据原始数据、中间数据、结果数据的数据量大小及使用频率等条件，实现数据从浏览器持久化缓存，到读取到WASM中内存使用，处理转化后再到浏览器持久化缓存的配合协同使用，已达到最大利用客户端能力，突破浏览器自身特性的限制，完成对大量级数据的处理转换。
进一步地，下面对本申请提供的可视化ETL数据处理装置进行描述，下文描述的可视化ETL数据处理装置与上文描述的可视化ETL数据处理方法可相互对应参照。
如图2所示，图2是本申请提供的可视化ETL数据处理装置的结构示意图，可视化ETL数据处理装置包括：
确定配置模块201，用于确定ETL可视化操作界面的待处理数据源和ETL规则，并通过所述ETL规则和所述待处理数据源进行配置管理，得到浏览器数据；
确定模块202，用于确定所述浏览器数据在WASM容器中的待使用算法规则库；
处理确定模块203，用于根据所述待使用算法规则库对所述浏览器数据进行ETL数据处理，得到目标展示数据，并确定所述目标展示数据的数据量；
缓存展示模块204，用于根据所述数据量通过浏览器内存或/和WASM内存对所述目标展示数据进行缓存，并通过所述WASM容器将所述浏览器内存或/和所述WASM内存中缓存的目标展示数据进行可视化展示。
进一步地，确定配置模块201还用于：
基于所述ETL规则的websql和所述WASM容器的配置解析器对所述待处理数据源进行管理、配置和解析，得到解析数据，并将所述解析数据存储至JS变量中；
调用所述WASM容器中的预设方法实例化WASM模块，并将所述JS变量作为参数数据传入至实例化后的WASM模块；
结合所述配置解析器和所述WASM容器的源协议转换器对所述实例化后的WASM模块中的JS变量进行解析、数据转换和内存加载，得到所述浏览器数据。
进一步地，确定配置模块201还用于：
通过所述websql对所述待处理数据源进行sql化管理和sql化配置，得到待处理配置数据；
结合所述websql的语义解析能力和所述配置解析器对所述待处理配置数据进行第一次配置解析，得到待处理解析数据；
结合所述websql的语义解析数据和所述配置解析器对所述待处理解析数据进行第二次配置解析，得到所述解析数据。
进一步地，缓存展示模块204还用于：
若所述数据量大于预设数据量，则通过所述浏览器内存和所述WASM内存对所述目标展示数据进行双协同缓存；
若数据量小于或者等于所述预设数据量，则通过所述浏览器内存或所述WASM内存对所述目标展示数据进行单协同缓存。
进一步地，处理确定模块203还用于：
将所述待使用算法规则库和所述浏览器数据加载至所述WASM容器所运行的沙箱化执行环境进行转换抽取，得到第一待展示数据；
通过高维时间序列中的错列检测修复算法对所述第一待展示数据进行清洗和修复，得到第二待展示数据；
对所述第二待展示数据进行分组，生成各个分组的数据对象，并通过WASM容器中的内置函数库对各个所述分组的数据对象进行数据转换，得到各个所述分组的转换结果；
通过主进程将各个所述分组的转换结果进行结果聚合，得到所述目标展示数据。
进一步地，处理确定模块203还用于：
通过Reader数据接入模块将所述待使用算法规则库和所述浏览器数据加载至所述WASM容器所运行的沙箱化执行环境；
通过所述沙箱化执行环境结合所述浏览器数据的数据类型对所述浏览器数据进行封装，得到所述浏览器数据的封装数据；
通过Writer数据读取模块从所述WASM容器中将所述封装数据进行抽取，得到所述第一待展示数据。
进一步地，处理确定模块203还用于：
对所述第一待展示数据的各个第一数据序列进行建模，并通过正常模式特征分析，得到各个所述第一数据序列的匹配度值；
将待处理数据源的中间数据按照时间维度切分为预设数量的第二数据序列，并根据各个所述第二数据序列构建数据清洗矩阵；
根据所述数据清洗矩阵结合各个所述第一数据序列匹配度值进行序列异常模式检测，确定所述第一待展示数据中的异常数据；
根据异常过滤规则校验结合所述异常数据对所述第一待展示数据进行错列匹配，得到所述第二待展示数据。
本申请提供的可视化ETL数据处理装置的具体实施例与上述可视化ETL数据处理方法各实施例基本相同，在此不作赘述。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行可视化ETL数据处理方法，该方法包括：
确定ETL可视化操作界面的待处理数据源和ETL规则，并通过所述ETL规则和所述待处理数据源进行配置管理，得到浏览器数据；
确定所述浏览器数据在WASM容器中的待使用算法规则库；
根据所述待使用算法规则库对所述浏览器数据进行ETL数据处理，得到目标展示数据，并确定所述目标展示数据的数据量；
根据所述数据量通过浏览器内存或/和WASM内存对所述目标展示数据进行缓存，并通过所述WASM容器将所述浏览器内存或/和所述WASM内存中缓存的目标展示数据进行可视化展示。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的可视化ETL数据处理方法，该方法包括：
确定ETL可视化操作界面的待处理数据源和ETL规则，并通过所述ETL规则和所述待处理数据源进行配置管理，得到浏览器数据；
确定所述浏览器数据在WASM容器中的待使用算法规则库；
根据所述待使用算法规则库对所述浏览器数据进行ETL数据处理，得到目标展示数据，并确定所述目标展示数据的数据量；
根据所述数据量通过浏览器内存或/和WASM内存对所述目标展示数据进行缓存，并通过所述WASM容器将所述浏览器内存或/和所述WASM内存中缓存的目标展示数据进行可视化展示。
又一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的可视化ETL数据处理方法，该方法包括：
确定ETL可视化操作界面的待处理数据源和ETL规则，并通过所述ETL规则和所述待处理数据源进行配置管理，得到浏览器数据；
确定所述浏览器数据在WASM容器中的待使用算法规则库；
根据所述待使用算法规则库对所述浏览器数据进行ETL数据处理，得到目标展示数据，并确定所述目标展示数据的数据量；
根据所述数据量通过浏览器内存或/和WASM内存对所述目标展示数据进行缓存，并通过所述WASM容器将所述浏览器内存或/和所述WASM内存中缓存的目标展示数据进行可视化展示。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种可视化ETL数据处理方法，其特征在于，包括：
确定ETL可视化操作界面的待处理数据源和ETL规则，并通过所述ETL规则和所述待处理数据源进行配置管理，得到浏览器数据；
确定所述浏览器数据在WASM容器中的待使用算法规则库；
根据所述待使用算法规则库对所述浏览器数据进行ETL数据处理，得到目标展示数据，并确定所述目标展示数据的数据量；
根据所述数据量通过浏览器内存或/和WASM内存对所述目标展示数据进行缓存，并通过所述WASM容器将所述浏览器内存或/和所述WASM内存中缓存的目标展示数据进行可视化展示。
2.根据权利要求1所述的可视化ETL数据处理方法，其特征在于，所述通过所述ETL规则和所述待处理数据源进行配置管理，得到浏览器数据，包括：
基于所述ETL规则的websql和所述WASM容器的配置解析器对所述待处理数据源进行管理、配置和解析，得到解析数据，并将所述解析数据存储至JS变量中；
调用所述WASM容器中的预设方法实例化WASM模块，并将所述JS变量作为参数数据传入至实例化后的WASM模块；
结合所述配置解析器和所述WASM容器的源协议转换器对所述实例化后的WASM模块中的JS变量进行解析、数据转换和内存加载，得到所述浏览器数据。
3.根据权利要求2所述的可视化ETL数据处理方法，其特征在于，所述基于所述ETL规则的websql和所述WASM容器的配置解析器对所述待处理数据源进行管理、配置和解析，得到解析数据，包括：
通过所述websql对所述待处理数据源进行sql化管理和sql化配置，得到待处理配置数据；
结合所述websql的语义解析能力和所述配置解析器对所述待处理配置数据进行第一次配置解析，得到待处理解析数据；
结合所述websql的语义解析数据和所述配置解析器对所述待处理解析数据进行第二次配置解析，得到所述解析数据。
4.根据权利要求1所述的可视化ETL数据处理方法，其特征在于，所述根据所述数据量通过浏览器内存或/和WASM内存对所述目标展示数据进行缓存，包括：
若所述数据量大于预设数据量，则通过所述浏览器内存和所述WASM内存对所述目标展示数据进行双协同缓存；
若数据量小于或者等于所述预设数据量，则通过所述浏览器内存或所述WASM内存对所述目标展示数据进行单协同缓存。
5.根据权利要求1所述的可视化ETL数据处理方法，其特征在于，所述根据所述待使用算法规则库对所述浏览器数据进行ETL数据处理，得到目标展示数据，包括：
将所述待使用算法规则库和所述浏览器数据加载至所述WASM容器所运行的沙箱化执行环境进行转换抽取，得到第一待展示数据；
通过高维时间序列中的错列检测修复算法对所述第一待展示数据进行清洗和修复，得到第二待展示数据；
对所述第二待展示数据进行分组，生成各个分组的数据对象，并通过WASM容器中的内置函数库对各个所述分组的数据对象进行数据转换，得到各个所述分组的转换结果；
通过主进程将各个所述分组的转换结果进行结果聚合，得到所述目标展示数据。
6.根据权利要求5所述的可视化ETL数据处理方法，其特征在于，所述将所述待使用算法规则库和所述浏览器数据加载至所述WASM容器所运行的沙箱化执行环境进行转换抽取，得到第一待展示数据，包括：
通过Reader数据接入模块将所述待使用算法规则库和所述浏览器数据加载至所述WASM容器所运行的沙箱化执行环境；
通过所述沙箱化执行环境结合所述浏览器数据的数据类型对所述浏览器数据进行封装，得到所述浏览器数据的封装数据；
通过Writer数据读取模块从所述WASM容器中将所述封装数据进行抽取，得到所述第一待展示数据。
7.根据权利要求5所述的可视化ETL数据处理方法，其特征在于，所述通过高维时间序列中的错列检测修复算法对所述第一待展示数据进行清洗和修复，得到第二待展示数据，包括：
对所述第一待展示数据的各个第一数据序列进行建模，并通过正常模式特征分析，得到各个所述第一数据序列的匹配度值；
将待处理数据源的中间数据按照时间维度切分为预设数量的第二数据序列，并根据各个所述第二数据序列构建数据清洗矩阵；
根据所述数据清洗矩阵结合各个所述第一数据序列匹配度值进行序列异常模式检测，确定所述第一待展示数据中的异常数据；
根据异常过滤规则校验结合所述异常数据对所述第一待展示数据进行错列匹配，得到所述第二待展示数据。
8.一种可视化ETL数据处理装置，其特征在于包括：
确定配置模块，用于确定ETL可视化操作界面的待处理数据源和ETL规则，并通过所述ETL规则和所述待处理数据源进行配置管理，得到浏览器数据；
确定模块，用于确定所述浏览器数据在WASM容器中的待使用算法规则库；
处理确定模块，用于根据所述待使用算法规则库对所述浏览器数据进行ETL数据处理，得到目标展示数据，并确定所述目标展示数据的数据量；
缓存展示模块，用于根据所述数据量通过浏览器内存或/和WASM内存对所述目标展示数据进行缓存，并通过所述WASM容器将所述浏览器内存或/和所述WASM内存中缓存的目标展示数据进行可视化展示。
9.一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的可视化ETL数据处理方法。
10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的可视化ETL数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210146167.3A CN116662687A (zh) | 2022-02-17 | 2022-02-17 | 可视化etl数据处理方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210146167.3A CN116662687A (zh) | 2022-02-17 | 2022-02-17 | 可视化etl数据处理方法、装置、电子设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116662687A true CN116662687A (zh) | 2023-08-29 |
Family
ID=87722916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210146167.3A Pending CN116662687A (zh) | 2022-02-17 | 2022-02-17 | 可视化etl数据处理方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116662687A (zh) |
-
2022
- 2022-02-17 CN CN202210146167.3A patent/CN116662687A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11741396B1 (en) | Efficient command execution using aggregated compute units | |
| US11226977B1 (en) | Application of event subtypes defined by user-specified examples | |
| US11651012B1 (en) | Coding commands using syntax templates | |
| US20230177062A1 (en) | Generating files for visualizing query results | |
| US11755390B1 (en) | Using keep-alive markers to extend redelivery deadlines | |
| US10810771B2 (en) | Systems and methods for rendering a visualization using event data | |
| US11249710B2 (en) | Technology add-on control console | |
| US8612486B2 (en) | Configuration management visualization | |
| US11816140B1 (en) | Non-text machine data processing | |
| US20150269006A1 (en) | Bottleneck detection for performance management | |
| CN111143286B (zh) | 一种云平台日志管理方法及系统 | |
| CN104268229B (zh) | 一种基于多进程浏览器的资源获得方法及装置 | |
| US9501377B2 (en) | Generating and implementing data integration job execution design recommendations | |
| CN108196964A (zh) | 一种将数据流模块化的方法和装置 | |
| US11481361B1 (en) | Cascading payload replication to target compute nodes | |
| US11625254B1 (en) | Interface for customizing dashboards based on parallel edges | |
| US20100174991A1 (en) | Maintaining data coherency within related multi-perspective user interfaces via session-less queries | |
| US20230015186A1 (en) | Partially typed semantic based query execution optimization | |
| CN115358404A (zh) | 基于机器学习模型推理的数据处理方法、装置及设备 | |
| JP2022002099A (ja) | データをラベリングするための方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
| CN107341027A (zh) | 用户界面的生成方法和生成装置 | |
| US11934869B1 (en) | Enhancing efficiency of data collection using a discover process | |
| CN116662687A (zh) | 可视化etl数据处理方法、装置、电子设备及介质 | |
| CN114968235A (zh) | 一种页面表单生成方法、装置、计算机设备及存储介质 | |
| US11620171B2 (en) | Systems and methods for generating schema notifications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |