CN116383205A - 一种配置化读取采集数据的方法及装置 - Google Patents

一种配置化读取采集数据的方法及装置 Download PDF

Info

Publication number
CN116383205A
CN116383205A CN202310335893.4A CN202310335893A CN116383205A CN 116383205 A CN116383205 A CN 116383205A CN 202310335893 A CN202310335893 A CN 202310335893A CN 116383205 A CN116383205 A CN 116383205A
Authority
CN
China
Prior art keywords
data
reading
parameters
importing
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310335893.4A
Other languages
English (en)
Inventor
梁英林
孔令超
林国友
吕火生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gongqing City Zhongtaolian Supply Chain Service Co ltd
Lin Zhoujia Home Network Technology Co ltd
Linzhou Lilijia Supply Chain Service Co ltd
Foshan Zhongtaolian Supply Chain Service Co Ltd
Tibet Zhongtaolian Supply Chain Service Co Ltd
Original Assignee
Gongqing City Zhongtaolian Supply Chain Service Co ltd
Lin Zhoujia Home Network Technology Co ltd
Linzhou Lilijia Supply Chain Service Co ltd
Foshan Zhongtaolian Supply Chain Service Co Ltd
Tibet Zhongtaolian Supply Chain Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gongqing City Zhongtaolian Supply Chain Service Co ltd, Lin Zhoujia Home Network Technology Co ltd, Linzhou Lilijia Supply Chain Service Co ltd, Foshan Zhongtaolian Supply Chain Service Co Ltd, Tibet Zhongtaolian Supply Chain Service Co Ltd filed Critical Gongqing City Zhongtaolian Supply Chain Service Co ltd
Priority to CN202310335893.4A priority Critical patent/CN116383205A/zh
Publication of CN116383205A publication Critical patent/CN116383205A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Programmable Controllers (AREA)

Abstract

本发明公开了一种配置化读取采集数据的方法及装置，涉及数据读取技术领域。配置化读取采集数据的方法包括：获取数据存储参数、数据导入参数和配置文件，利用数据存储参数读取到指定存储路径的采集数据，将读取到的采集数据映射成临时表，以便于后续对采集数据进行读取和处理。根据配置文件，在临时表中读取和处理指定字段，得到目标数据；最后根据数据导入参数，将目标数据导入相应的Doris表中。如此，可实现同类程序归一化处理，只需输入数据存储参数、数据导入参数和配置文件即可在计算存储引擎中读取出需要的Doris表，无需根据不同的读取需求编写不同的Spark程序，大大减少工作量和减少后面维护成本。

Description

一种配置化读取采集数据的方法及装置
技术领域
本发明涉及数据读取技术领域，特别是一种配置化读取采集数据的方法及装置。
背景技术
陶瓷产业工厂在数字化转型过程中，采集设备数据时是将整条数据采集上来，数据字段非常多。采集到的数据是以Json的形式存放于Hadoop上，目前针对读取Hadoop的Json文件抽取解析的方法如图1所示，每次有需求读取时都需要编写一个Spark程序并且进行打包，这样会大大增加了开发工作量。
发明内容
针对上述缺陷，本发明的目的在于提出一种配置化读取采集数据的方法及装置。
为达此目的，本发明采用以下技术方案：
本发明第一方面公开了一种配置化读取采集数据的方法，所述方法包括如下步骤：
输入数据存储参数、数据导入参数和配置文件，所述配置文件存储有需要读取和处理的指定字段；
根据所述数据存储参数读取到指定存储路径的采集数据；
将读取到的采集数据映射成临时表；
根据配置文件在所述临时表中读取和处理指定字段，得到目标数据；
根据数据导入参数，将目标数据导入到相应的Doris表中。
进一步，采集数据以Json文件加时间的形式存储在Hadoop的HDFS上，所述数据存储参数包括存储路径参数和时间参数。
进一步，所述临时表以所述存储路径参数命名。
进一步，所述数据导入参数包括库名参数和表名参数。
进一步，所述步骤S4中，处理指定字段包括对相同字段进行合并处理。
进一步，通过Spark程序执行上述步骤。
本发明第二方面公开了一种配置化读取采集数据的装置，应用在本发明第一方面公开的方法，包括输入模块、读取模块、映射模块、目标数据获取模块和导入模块；
所述输入模块用于输入数据存储参数、数据导入参数和配置文件，所述配置文件存储有需要读取和处理的指定字段；
所述读取模块用于根据所述数据存储参数读取到指定存储路径的采集数据；
所述映射模块用于将读取到的采集数据映射成临时表；
所述目标数据获取模块用于根据配置文件在所述临时表中读取和处理指定字段，得到目标数据；
所述导入模块用于根据数据导入参数，将目标数据导入到相应的Doris表中。
本发明第三方面公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明第一方面公开的方法。
本发明第四方面公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本发明第一方面公开的方法。
本发明提供的技术方案可以包括以下有益效果：
在本发明的实施例中，先获取数据存储参数、数据导入参数和配置文件，利用数据存储参数读取到指定存储路径的采集数据，将读取到的采集数据映射成临时表，以便于后续对采集数据进行读取和处理。根据配置文件，在临时表中读取和处理指定字段，得到目标数据；最后根据数据导入参数，将目标数据导入相应的Doris表中。如此，可实现同类程序归一化处理，只需输入数据存储参数、数据导入参数和配置文件即可在计算存储引擎中读取出需要的Doris表，无需根据不同的读取需求编写不同的Spark程序，大大减少工作量和减少后面维护成本。
附图说明
图1是现有技术读取采集数据的示意图；
图2是本申请实施例的配置化读取采集数据的方法的示意图；
图3是本申请实施例的配置化读取采集数据的方法的流程示意图；
图4是本申请实施例的配置化读取采集数据的装置的结构示意图；
图5是本申请实施例的电子设备的基本结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
下面以具体地实施例对本申请实施例的技术方案以及本申请实施例的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请一个实施例提供了一种配置化读取采集数据的方法，该方法由计算机设备执行，该计算机设备可以是终端或者服务器。终端可以是台式设备或者移动终端。服务器可以是独立的物理服务器、物理服务器集群或者虚拟服务器。
如图2所示，该方法包括如下步骤：
S1：输入数据存储参数、数据导入参数和配置文件，所述配置文件存储有需要读取和处理的指定字段；
S2：根据所述数据存储参数读取到指定存储路径的采集数据；
S3：将读取到的采集数据映射成临时表；
S4：根据配置文件在所述临时表中读取和处理指定字段，得到目标数据；
S5：根据数据导入参数，将目标数据导入到相应的Doris表中。
在本发明的实施例中，先获取数据存储参数、数据导入参数和配置文件，利用数据存储参数读取到指定存储路径的采集数据，将读取到的采集数据映射成临时表，以便于后续对采集数据进行读取和处理。根据配置文件，在临时表中读取和处理指定字段，得到目标数据；最后根据数据导入参数，将目标数据导入相应的Doris表中。
具体地，在实际的应用中，技术人员可以通过编写出归一化读取的Spark程序完成上述步骤S1-S5。编写出归一化读取的Spark程序后，在归一化读取的Spark程序中输入数据存储参数、数据导入参数和配置文件，归一化读取的Spark程序根据数据存储参数读取到指定存储路径的采集数据，归一化读取的Spark程序将读取到的采集数据映射成临时表；归一化读取的Spark程序根据配置文件，在临时表中读取和处理指定字段，得到目标数据；最后，归一化读取的Spark程序根据数据导入参数，将目标数据导入相应的Doris表中。如此，便能得到技术人员需要的Doris表。
本发明提供的一种配置化读取采集数据的方法，实现同类程序归一化处理，只需输入数据存储参数、数据导入参数和配置文件即可在计算存储引擎中读取出需要的Doris表，无需根据不同的读取需求编写不同的Spark程序，大大减少工作量和减少后面维护成本。
进一步具体地，采集数据以Json文件加时间的形式存储在Hadoop的HDFS(HadoopDistributedFileSystem，分布式文件系统)上，所述数据存储参数包括存储路径参数和时间参数。
其中，采集数据在Hadoop的HDFS的存储路径进行过统一处理，使存储路径由存储路径参数和时间参数组成，例如生产线3号线和4号线的某段时间的设备数据会存储在HDFS的/ods/zhzc_nfn_equipment_3_4/yyyymmddhh/中，其中，ods表示的数据的原始层，zhzc表示是智慧制造的，nfn表示的是客户名称缩写，equipment表示的是设备数据，3_4表示的是3和4号线，yyyy表示年份，mm表示月份，dd表示日期，hh表示小时。因此，在本实施例中，存储路径参数是上述的/ods/zhzc_nfn_equipment_3_4/；时间参数是上述的yyyymmddhh/。如此，归一化读取的Spark程序通过输入的数据存储参数和时间参数就可以读到指定存储路径的采集数据。
作为一种可选的实施例，所述临时表以所述存储路径参数命名。因为每个存储路径代表不同工厂生产线路设备，为此，本实施例通过将存储路径参数命名临时表，以便于在读出和处理需要字段时清晰地知道具体取的是哪个路径的采集数据。
作为一种可选的实施例，所述数据导入参数包括库名参数和表名参数。具体地，根据库名参数和表名参数确定相应的待导入的Doris表，然后将目标数据导入到相应的待导入的Doris表中，得到技术人员实际需要的Doris表。
作为一种可选的实施例，所述步骤S4中，处理指定字段包括对相同字段进行合并处理。例如，在具体应用中，以处理生产线多台球磨设备的采集数据为例，在完整的陶瓷生产线中包括有多台球磨设备，在数据采集时，会对各个球磨设备的数据进行采集，得到对应的球磨设备1、球磨设备2、球磨设备3……等采集数据。因此，当需要处理球磨设备的数据时，则可以根据指定字段“球磨设备”将球磨设备1、球磨设备2、球磨设备3……等采集数据进行合并处理。
图4为本申请又一实施例提供的一种配置化读取采集数据的装置100的结构示意图，如图4所示，该装置可以包括输入模块110、读取模块120、映射模块130、目标数据获取模块140和导入模块150,其中：
所述输入模块110用于输入数据存储参数、数据导入参数和配置文件，所述配置文件存储有需要读取和处理的指定字段；
所述读取模块120用于根据所述数据存储参数读取到指定存储路径的采集数据；
所述映射模块130用于将读取到的采集数据映射成临时表；
所述目标数据获取模块140用于根据配置文件在所述临时表中读取和处理指定字段，得到目标数据；
所述导入模块150用于根据数据导入参数，将目标数据导入到相应的Doris表中。
在装置的具体应用中，通过输入模块110输入数据存储参数、数据导入参数和配置文件，读取模块120根据数据存储参数读取到指定存储路径的采集数据，映射模块130将读取到的采集数据映射成临时表；目标数据获取模块140根据配置文件，在临时表中读取和处理指定字段，得到目标数据；最后，导入模块150根据数据导入参数，将目标数据导入相应的Doris表中。如此，便能得到技术人员需要的Doris表。
本发明提供的一种配置化读取采集数据的装置，实现同类程序归一化处理，只需输入数据存储参数、数据导入参数和配置文件即可在计算存储引擎中读取出需要的Doris表，无需根据不同的读取需求编写不同的Spark程序，大大减少工作量和减少后面维护成本。
需要说明的是，本实施例为与上述的方法项实施例相对应的装置项实施例，本实施例可与上述方法项实施例互相配合实施。上述方法项实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在上述方法项实施例中。
本申请另一实施例提供了一种电子设备，如图5所示，图5所示的电子设备200包括：处理器210和存储器230。其中，处理器210和存储器230相连，如通过总线220相连。进一步地，电子设备还可以包括收发器240。需要说明的是，实际应用中收发器240不限于一个，该电子设备200的结构并不构成对本申请实施例的限定。
其中，处理器210应用于本申请实施例中，用于实现图4所示的输入模块、读取模块、映射模块、目标数据获取模块和导入模块的功能。处理器210可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器210也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线220可包括一通路，在上述组件之间传送信息。总线220可以是PCI总线或EISA总线等。总线220可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器230可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器230用于存储执行本申请方案的应用程序代码，并由处理器210来控制执行。处理器210用于执行存储器230中存储的应用程序代码，以实现图4所示实施例提供的配置化读取采集数据的装置的动作。
本申请实施例提供的电子设备200，包括存储器230、处理器210及存储在存储器230上并可在处理器210上运行的计算机程序，处理器执行程序时，可实现：输入数据存储参数、数据导入参数和配置文件，所述配置文件存储有需要读取和处理的指定字段；
根据所述数据存储参数读取到指定存储路径的采集数据；
将读取到的采集数据映射成临时表；
根据配置文件在所述临时表中读取和处理指定字段，得到目标数据；
根据数据导入参数，将目标数据导入到相应的Doris表中。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述实施例所示的方法：
输入数据存储参数、数据导入参数和配置文件，所述配置文件存储有需要读取和处理的指定字段；
根据所述数据存储参数读取到指定存储路径的采集数据；
将读取到的采集数据映射成临时表；
根据配置文件在所述临时表中读取和处理指定字段，得到目标数据；
根据数据导入参数，将目标数据导入到相应的Doris表中。
本申请实施例提供的计算机可读存储介质适用于上述方法的任一实施例。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (9)

1.一种配置化读取采集数据的方法，其特征在于，所述方法包括如下步骤：
输入数据存储参数、数据导入参数和配置文件，所述配置文件存储有需要读取和处理的指定字段；
根据所述数据存储参数读取到指定存储路径的采集数据；
将读取到的采集数据映射成临时表；
根据配置文件在所述临时表中读取和处理指定字段，得到目标数据；
根据数据导入参数，将目标数据导入到相应的Doris表中。
2.根据权利要求1所述的一种配置化读取采集数据的方法，其特征在于，采集数据以Json文件加时间的形式存储在Hadoop的HDFS上，所述数据存储参数包括存储路径参数和时间参数。
3.根据权利要求2所述的一种配置化读取采集数据的方法，其特征在于：所述临时表以所述存储路径参数命名。
4.根据权利要求1所述的一种配置化读取采集数据的方法，其特征在于：所述数据导入参数包括库名参数和表名参数。
5.根据权利要求1所述的一种配置化读取采集数据的方法，其特征在于：所述步骤S4中，处理指定字段包括对相同字段进行合并处理。
6.根据权利要求1所述的一种配置化读取采集数据的方法，其特征在于：通过Spark程序执行上述步骤。
7.一种配置化读取采集数据的装置，其特征在于：应用于上述如权利要求1-6任一项所述的一种配置化读取采集数据的方法，所述装置包括输入模块、读取模块、映射模块、目标数据获取模块和导入模块；
所述输入模块用于输入数据存储参数、数据导入参数和配置文件，所述配置文件存储有需要读取和处理的指定字段；
所述读取模块用于根据所述数据存储参数读取到指定存储路径的采集数据；
所述映射模块用于将读取到的采集数据映射成临时表；
所述目标数据获取模块用于根据配置文件在所述临时表中读取和处理指定字段，得到目标数据；
所述导入模块用于根据数据导入参数，将目标数据导入到相应的Doris表中。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-6任一项所述的方法。
CN202310335893.4A 2023-03-31 2023-03-31 一种配置化读取采集数据的方法及装置 Pending CN116383205A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310335893.4A CN116383205A (zh) 2023-03-31 2023-03-31 一种配置化读取采集数据的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310335893.4A CN116383205A (zh) 2023-03-31 2023-03-31 一种配置化读取采集数据的方法及装置

Publications (1)

Publication Number Publication Date
CN116383205A true CN116383205A (zh) 2023-07-04

Family

ID=86966973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310335893.4A Pending CN116383205A (zh) 2023-03-31 2023-03-31 一种配置化读取采集数据的方法及装置

Country Status (1)

Country Link
CN (1) CN116383205A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020015067A1 (zh) * 2018-07-19 2020-01-23 平安科技（深圳）有限公司 数据采集方法、装置、设备及存储介质
CN110851513A (zh) * 2019-10-16 2020-02-28 中盈优创资讯科技有限公司 基于Spark计算引擎的多源异构数据读取方法及装置
CN111125090A (zh) * 2019-11-12 2020-05-08 中盈优创资讯科技有限公司 数据存取方法及装置
CN111176756A (zh) * 2019-12-31 2020-05-19 智车优行科技（北京）有限公司 数据采集方法、装置、计算机可读存储介质及电子设备
CN113761043A (zh) * 2021-08-17 2021-12-07 紫金诚征信有限公司 数据提取方法、装置、计算机设备和存储介质
CN114528041A (zh) * 2022-01-29 2022-05-24 杭州火树科技有限公司 一种可配置的自动化解析方法和装置
CN115291872A (zh) * 2022-08-19 2022-11-04 思必驰科技股份有限公司 数据处理方法及电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020015067A1 (zh) * 2018-07-19 2020-01-23 平安科技（深圳）有限公司 数据采集方法、装置、设备及存储介质
CN110851513A (zh) * 2019-10-16 2020-02-28 中盈优创资讯科技有限公司 基于Spark计算引擎的多源异构数据读取方法及装置
CN111125090A (zh) * 2019-11-12 2020-05-08 中盈优创资讯科技有限公司 数据存取方法及装置
CN111176756A (zh) * 2019-12-31 2020-05-19 智车优行科技（北京）有限公司 数据采集方法、装置、计算机可读存储介质及电子设备
CN113761043A (zh) * 2021-08-17 2021-12-07 紫金诚征信有限公司 数据提取方法、装置、计算机设备和存储介质
CN114528041A (zh) * 2022-01-29 2022-05-24 杭州火树科技有限公司 一种可配置的自动化解析方法和装置
CN115291872A (zh) * 2022-08-19 2022-11-04 思必驰科技股份有限公司 数据处理方法及电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN110955661B (zh) 数据融合方法、装置、可读存储介质及电子设备
US9384202B1 (en) Gateway module to access different types of databases
CN104216961A (zh) 一种数据处理方法和装置
DE102018214011A1 (de) Techniken für dynamische Zugriffe auf Datenbanken in mehreren Speicherformaten
CN112799999A (zh) 一种在线阅读推荐方法、系统、装置及计算机可读存储介质
V. Medeiros et al. A novel approach for brushless DC motors characterization in drones based on chaos
Singh et al. Crop diversification in South Asia: A panel regression approach
CN116383205A (zh) 一种配置化读取采集数据的方法及装置
CN105512271A (zh) 实时分析系统中uv的统计方法、装置和服务器
CN111125087B (zh) 数据的存储方法及装置
CN109582476B (zh) 数据处理方法、装置及系统
CN108255819A (zh) 一种基于分析工具spark的增值税数据整合方法及系统
CN111008189A (zh) 一种动态数据模型构建方法
Stanojević et al. Calculating the Moore–Penrose generalized inverse on massively parallel systems
CN108243037B (zh) 网站流量异常确定方法及装置
CN105162842A (zh) 一种应用墙中应用的显示方法及装置
WO2018076348A1 (en) Building and updating a connected segment graph
CN114356912A (zh) 一种向数据库写入数据的方法及计算机设备
CN108121719B (zh) 一种实现数据抽取转换加载etl的方法及装置
CN112581141A (zh) 基于区块链的交易处理方法、装置及系统
Kim et al. Fault localization method by partitioning memory using memory map and the stack for automotive ECU software testing
CN112231377A (zh) 数据映射方法、系统、装置、服务器和存储介质
CN110866005A (zh) 一种物联网数据采集管理方法及系统、存储介质及终端
CN110928960B (zh) 一种数据存储系统、方法、设备和存储介质
CN110874368A (zh) 一种基于Realm数据库的数据分页系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination