CN111008189A - 一种动态数据模型构建方法 - Google Patents

一种动态数据模型构建方法 Download PDF

Info

Publication number
CN111008189A
CN111008189A CN201911170630.2A CN201911170630A CN111008189A CN 111008189 A CN111008189 A CN 111008189A CN 201911170630 A CN201911170630 A CN 201911170630A CN 111008189 A CN111008189 A CN 111008189A
Authority
CN
China
Prior art keywords
data
model
key value
dynamic
fields
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911170630.2A
Other languages
English (en)
Other versions
CN111008189B (zh
Inventor
谭胜
黄书东
杨微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang E Port Co Ltd
Original Assignee
Zhejiang E Port Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang E Port Co Ltd filed Critical Zhejiang E Port Co Ltd
Priority to CN201911170630.2A priority Critical patent/CN111008189B/zh
Publication of CN111008189A publication Critical patent/CN111008189A/zh
Application granted granted Critical
Publication of CN111008189B publication Critical patent/CN111008189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G06F16/212—Schema design and management with details for data modelling support
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种动态数据构建方法，包括以下步骤：根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中，获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题，将所述原始数据进行映射关联并构建模型对象，根据动态配置的连接器类型输出动态数据模型。该方法解决了现有技术中存在的模型可变性支持较差的问题。

Description

一种动态数据模型构建方法
技术领域
本发明涉及数据处理领域，尤其涉及一种动态数据模型构建方法。
背景技术
在数据计算、分析、搜索领域，经常会涉及采集不同数据源的增量数据并从中抽取关键字段,加工构建成模型对象的问题，因此需要考虑将来自不同数据源的增量数据，比如：原始库中的变化数据、网爬数据、接口数据、文本数据等，构建成一个统一的、规范的、可复用模型对象。
现有技术存在以下问题：缺乏统一的规范标准，在实际产品研发过程中经常会遇到这样的现象，研发人员对数据做分析，直接使用原始数据进行分析处理，当遇到原始数据字段发生变动的情况，所有使用此数据的分析逻辑必须要联动紧随变更，造成这种现象的主要原因是分析处理的数据没有统一的规范标准，没有预先根据业务创建可复用的模型对象，数据质量参差不齐，采集来自不同数据源的增量数据质量参差不齐，特别是互联网爬取的数据，数据规模非常大，脏数据特别严重，比如值缺失、值异常、含有特殊符号等,需要考虑一个预处理过程；复杂数据处理性能低，复杂结构或超大字段的数据在开发和分析中会严重影响网络与计算性能，比如计算分析的数据是来自多张原始表关联的结果，如果在计算分析处理过程中去关联，将大大降低程序处理性能,就需要考虑一个预先构建数据的过程；模型可变性支持差，即使预先将采集来自不同数据源的增量数据构建成了标准的模型对象，当遇到原始数据字段发生变动的情况，虽然处理程序不用更改可以被复用，但模型对象构建程序需要进行变更，就需要考虑一种快速响应原始数据结构变更的方法。
发明内容
本发明提供的一种动态数据模型构建方法，旨在解决现有技术中模型可变性支持差的问题。
为实现上述目的，本发明采用以下技术方案：
本发明的一种动态数据模型构建方法，包括以下步骤：
根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中；
获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题；
将所述原始数据进行映射关联并构建模型对象；
根据动态配置的连接器类型输出动态数据模型。
本发明提供的一种动态数据模型构建方法，通过对变化数据进行一种增量采集，并将采集的原始数据进行实时数据建模处理，最终将模型数据输出到外部存储中，如分布式缓存、分布式队列、存储系统，供实时计算、多维分析、搜索索引构建等使用。
作为优选，所述将所述原始数据进行映射关联并构建模型对象包括：
映射处理动态配置需要映射的字段并将原始数据字段转换成标准的元数据字段，将所述元数据字段转换成键值结构；
根据动态配置验证模型是否需要关联第三方数据源：若是，则此模型对象为复合模型对象；若否，则此模型对象为单一模型对象；
动态关联来自多个数据源中复合对象模型的字段并将关联字段的值添加到所述键值结构中；
根据动态配置输出所述模型对象的字段名并抽取键值结构中相应的键值对，将所述键值对封装成一个新的键值结构；
将唯一标识、删除标志、操作类型、业务编码的键值对加入所述新的键值结构中；
将所述新的键值结构创建成一个标准的模型对象。
一种动态数据模型构建装置，包括：
采集并应用模块，用于根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中；
获取和订阅模块，用于获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题；
映射关联和构建模块，用于将所述原始数据进行映射关联并构建模型对象；
输出模型模块，用于根据动态配置的连接器类型输出动态数据模型。
作为优选，所述映射关联和构建模块包括：
映射处理单元，用于映射处理动态配置需要映射的字段并将原始数据字段转换成标准的元数据字段，将所述元数据字段转换成键值结构；
验证单元，用于根据动态配置验证模型是否需要关联第三方数据源：若是，则此模型对象为复合模型对象；若否，则此模型对象为单一模型对象；
动态关联和添加单元，用于动态关联来自多个数据源中复合对象模型的字段并将关联字段的值添加到所述键值结构中；
抽取和封装单元，用于根据动态配置输出所述模型对象的字段名并抽取键值结构中相应的键值对，将所述键值对封装成一个新的键值结构；
加入单元，用于将唯一标识、删除标志、操作类型、业务编码的键值对加入所述新的键值结构中；
创建单元，用于将所述新的键值结构创建成一个标准的模型对象。
一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如上述中任一项所述的一种动态数据模型构建方法。
一种存储有计算机程序的计算机可读存储介质，所述计算机程序使计算机执行时实现如上述中任一项所述的一种动态数据模型构建方法。
本发明具有如下有益效果：
本发明提供的一种动态数据模型构建方法，通过对实时变化数据的增量采集，并对采集的数据进行原始加工与整合，建立统一的、可复用的数据模型对象，解决了现有技术中模型可变性支持较差的问题。
附图说明
图1是本发明实施例实现一种动态数据模型构建方法流程图。
具体实施方式
下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在介绍本发明技术方案之前，示例性的介绍一种本发明技术方案可能适用的场景。
示例性的：在数据计算、分析、搜索领域，经常会涉及采集不同数据源的增量数据并从中抽取关键字段,加工构建成模型对象的问题，因此需要考虑将来自不同数据源的增量数据，比如：原始库中的变化数据、网爬数据、接口数据、文本数据等，构建成一个统一的、规范的、可复用模型对象。
现有技术存在模型可变性支持较差的问题，即使预先将采集来自不同数据源的增量数据构建成了标准的模型对象，当遇到原始数据字段发生变动的情况，虽然处理程序不用更改可以被复用，但模型对象构建程序需要进行变更，就需要考虑一种快速响应原始数据结构变更的方法。
实施例1
如图1所示，一种动态数据模型构建方法，包括以下步骤：
S100、根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中；
S110、获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题；
S120、将所述原始数据进行映射关联并构建模型对象；
S130、根据动态配置的连接器类型输出动态数据模型。
根据实施例1可知，本发明通过对实时变化数据的增量采集，并对采集的数据进行原始加工与整合，建立统一的、可复用的数据模型对象，主要应用于分析、统计、搜索、宽表等技术领域，解决了现有技术中模型可变性支持差的问题。
实施例2
一种动态数据模型构建方法，包括：
根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中；
获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题；
映射处理动态配置需要映射的字段并将原始数据字段转换成标准的元数据字段，将所述元数据字段转换成键值结构；
根据动态配置验证模型是否需要关联第三方数据源：若是，则此模型对象为复合模型对象；若否，则此模型对象为单一模型对象；
动态关联来自多个数据源中复合对象模型的字段并将关联字段的值添加到所述键值结构中；
根据动态配置输出所述模型对象的字段名并抽取键值结构中相应的键值对，将所述键值对封装成一个新的键值结构；
将唯一标识、删除标志、操作类型、业务编码的键值对加入所述新的键值结构中；
将所述新的键值结构创建成一个标准的模型对象；
根据动态配置的连接器类型输出动态数据模型。
本发明通过对原始库中的变化数据、网爬数据、接口数据、文本数据等进行预处理，预先构建数据，从而实现快速响应原始数据结构变更，解决了现有技术中存在的模型可变性支持较差的问题。
实施例3
一种动态数据模型构建装置，包括：
采集并应用模块，用于根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中；
获取和订阅模块，用于获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题；
映射关联和构建模块，用于将所述原始数据进行映射关联并构建模型对象；
输出模型模块，用于根据动态配置的连接器类型输出动态数据模型。
上述装置的一种实施方式可为：采集并应用模块根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中，获取和订阅模块获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题，映射关联和构建模块将所述原始数据进行映射关联并构建模型对象，输出模型模块根据动态配置的连接器类型输出动态数据模型。
实施例4
一种动态数据模型构建装置，包括：
采集并应用模块，用于根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中；
获取和订阅模块，用于获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题；
映射处理单元，用于映射处理动态配置需要映射的字段并将原始数据字段转换成标准的元数据字段，将所述元数据字段转换成键值结构；
验证单元，用于根据动态配置验证模型是否需要关联第三方数据源：若是，则此模型对象为复合模型对象；若否，则此模型对象为单一模型对象；
动态关联和添加单元，用于动态关联来自多个数据源中复合对象模型的字段并将关联字段的值添加到所述键值结构中；
抽取和封装单元，用于根据动态配置输出所述模型对象的字段名并抽取键值结构中相应的键值对，将所述键值对封装成一个新的键值结构；
加入单元，用于将唯一标识、删除标志、操作类型、业务编码的键值对加入所述新的键值结构中；
创建单元，用于将所述新的键值结构创建成一个标准的模型对象；
输出模型模块，用于根据动态配置的连接器类型输出动态数据模型。
上述装置的一种实施方式可为：采集并应用模块根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中，获取和订阅模块获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题，映射处理单元映射处理动态配置需要映射的字段并将原始数据字段转换成标准的元数据字段，将所述元数据字段转换成键值结构，验证单元根据动态配置验证模型是否需要关联第三方数据源：若是，则此模型对象为复合模型对象；若否，则此模型对象为单一模型对象，动态关联和添加单元动态关联来自多个数据源中复合对象模型的字段并将关联字段的值添加到所述键值结构中，抽取和封装单元根据动态配置输出所述模型对象的字段名并抽取键值结构中相应的键值对，将所述键值对封装成一个新的键值结构，加入单元将唯一标识、删除标志、操作类型、业务编码的键值对加入所述新的键值结构中，创建单元将所述新的键值结构创建成一个标准的模型对象，输出模型模块根据动态配置的连接器类型输出动态数据模型。
实施例5
一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述的一种动态数据模型构建方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
一种存储有计算机程序的计算机可读存储介质，所述计算机程序使计算机执行时实现如上述的一种动态数据模型构建方法。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机设备中的执行过程。
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可包括，但不仅限于，存储器、处理器。本领域技术人员可以理解，本实施例仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgRAM503mableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(SmartMediaCard,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
示例性的，一种动态数据模型构建方法，包括以下步骤：
步骤200、数据采集，获取增量变化数据，将网爬数据、接口数据、文本数据、原始库中的变化数据等按照标准规范增量采集，并将采集数据应用到分布式消息系统中；
步骤210、获取数据，根据动态配置请求器中的连接器与分布式消息队列建立连接，并从分布式消息队列中订阅需要处理的数据主题，包括业务队列与重试队列，获取采集的原始数据；
步骤220、获取处理器，通过采集原始数据的业务编码验证是否有动态配置对应的处理器，若否，则不处理；若是，则建立逻辑构建单元；
步骤230、动态字段映射，对动态配置中需要映射的字段进行映射处理，即将原始数据字段转化为标准的元数据字段，比如原始字段CREATE_DATE或CREATE_TIME动态映射成createTime，最终转化成键值结构；
步骤240、动态字段关联，根据动态配置验证模型是否需要关联第三方数据源，若是，则此模型对象为复合模型对象，进入步骤250；若否，则此模型对象为单一模型对象进入步骤280；
步骤250、构建复合模型对象，关联第三方数据源，使用动态配置中的连接器建立连接，使用相互关联字段进行关联查找，若关联查找有数据，则将指定字段与值添加到键值结构中，否则返回失败；
步骤260、对复合模型对象构建是否成功进行校验，若否，则进入步骤270；若是，则进入步骤280；
步骤270、重试处理规则校验，验证是否需要再次重新构建复合模型对象，若是，则重复执行步骤250至270；若否，则进入步骤280；
步骤280、重试最终失败处理，将原始数据写入到临时层的存储系统中,写入冲突采用“唯一标识”校验；
步骤290、根据动态配置，构建多模型输出列表；
步骤300、组装业务字段，根据动态配置输出模型对象的字段名，从键值结构中抽取相应的键值对封装成一个新的键值结构；
步骤310、组装扩展字段，向新的键值结构中加入唯一标识、数据删除标志、数据的操作类型，包括新增、删除、更新、业务编码等的键值对；
步骤320、创建模型对象，将新的键值结构构建成一个标准的模型对象，所述模型对象属性包括业务编码、业务维度、度量指标、时间轴、操作类型、对象唯一标识、删除标识等；
步骤330、模型输出，根据动态配置的连接器类型，将构建的模型对象实时输出到目标源中，如缓存、队列或存储系统,供分析、统计、搜索、宽表等领域使用；
若步骤290中动态配置需要输出多个模型对象，则重复执行步骤300至步骤330，直到动态配置的模型一一输出完成；
步骤340、从临时层的存储系统中获取数据，根据动态配置的规则校验是否需要重试处理，若是，则根据动态配置的连接器建立连接，并将数据写入到动态配置指定的目标缓冲层重试队列中，等待处理；若否，则逻辑删除重试记录。
由上述步骤可知，本发明通过对实时变化数据的增量采集，并对采集的数据进行原始加工与整合，建立统一的、可复用的数据模型对象，通过实时数据建模处理，最终将模型数据输出到外部存储中，如分布式缓存、分布式队列、存储系统，供实时计算、多维分析、搜索索引构建等使用。
以上所述仅为本发明的具体实施例，但本发明的技术特征并不局限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围之中。

Claims (6)

1.一种动态数据模型构建方法，其特征在于，包括以下步骤：
根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中；
获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题；
将所述原始数据进行映射关联并构建模型对象；
根据动态配置的连接器类型输出动态数据模型。
2.根据权利要求1所述的一种动态数据模型构建方法，其特征在于，所述将所述原始数据进行映射关联并构建模型对象包括：
映射处理动态配置需要映射的字段并将原始数据字段转换成标准的元数据字段，将所述元数据字段转换成键值结构；
根据动态配置验证模型是否需要关联第三方数据源：若是，则此模型对象为复合模型对象；若否，则此模型对象为单一模型对象；
动态关联来自多个数据源中复合对象模型的字段并将关联字段的值添加到所述键值结构中；
根据动态配置输出所述模型对象的字段名并抽取键值结构中相应的键值对，将所述键值对封装成一个新的键值结构；
将唯一标识、删除标志、操作类型、业务编码的键值对加入所述新的键值结构中；
将所述新的键值结构创建成一个标准的模型对象。
3.一种动态数据模型构建装置，其特征在于，包括：
采集并应用模块，用于根据标准规范采集网爬数据、接口数据、文本数据、原始库中的变化数据增量并将所述采集的数据应用到分布式消息系统中；
获取和订阅模块，用于获取原始数据并根据动态配置请求器中的连接器与分布式消息队列建立连接，同时订阅分布式消息队列中需要处理的数据主题；
映射关联和构建模块，用于将所述原始数据进行映射关联并构建模型对象；
输出模型模块，用于根据动态配置的连接器类型输出动态数据模型。
4.根据权利要求3所述的一种动态数据模型构建装置，其特征在于，所述映射关联和构建模块包括：
映射处理单元，用于映射处理动态配置需要映射的字段并将原始数据字段转换成标准的元数据字段，将所述元数据字段转换成键值结构；
验证单元，用于根据动态配置验证模型是否需要关联第三方数据源：若是，则此模型对象为复合模型对象；若否，则此模型对象为单一模型对象；
动态关联和添加单元，用于动态关联来自多个数据源中复合对象模型的字段并将关联字段的值添加到所述键值结构中；
抽取和封装单元，用于根据动态配置输出所述模型对象的字段名并抽取键值结构中相应的键值对，将所述键值对封装成一个新的键值结构；
加入单元，用于将唯一标识、删除标志、操作类型、业务编码的键值对加入所述新的键值结构中；
创建单元，用于将所述新的键值结构创建成一个标准的模型对象。
5.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1～2中任一项所述的一种动态数据模型构建方法。
6.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序使计算机执行时实现如权利要求1～2中任一项所述的一种动态数据模型构建方法。
CN201911170630.2A 2019-11-26 2019-11-26 一种动态数据模型构建方法 Active CN111008189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911170630.2A CN111008189B (zh) 2019-11-26 2019-11-26 一种动态数据模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911170630.2A CN111008189B (zh) 2019-11-26 2019-11-26 一种动态数据模型构建方法

Publications (2)

Publication Number Publication Date
CN111008189A true CN111008189A (zh) 2020-04-14
CN111008189B CN111008189B (zh) 2023-08-25

Family

ID=70113338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911170630.2A Active CN111008189B (zh) 2019-11-26 2019-11-26 一种动态数据模型构建方法

Country Status (1)

Country Link
CN (1) CN111008189B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579603A (zh) * 2020-12-24 2021-03-30 北京志翔能源技术有限公司 基于cdc的数据模型动态信息感知监测方法及装置
CN112860710A (zh) * 2021-03-18 2021-05-28 杭州云灵科技有限公司 数据处理方法、装置及系统、数据查询方法及系统
CN114610728A (zh) * 2021-12-24 2022-06-10 亚信科技（中国）有限公司 一种实时处理数据的方法、装置、设备、介质及产品

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060218116A1 (en) * 2005-03-28 2006-09-28 O'hearn James E Pass-through interface queries to populate a class-based model
CN101046810A (zh) * 2006-05-26 2007-10-03 华为技术有限公司 自动建立关系模型的系统及其方法
US20120109935A1 (en) * 2010-11-02 2012-05-03 Microsoft Corporation Object model to key-value data model mapping
US20130238351A1 (en) * 2012-03-12 2013-09-12 Icon Clinical Research Limited Clinical data management system
CN103970900A (zh) * 2014-05-27 2014-08-06 重庆大学 基于工业现场的多维交叉数据柔性管理方法及系统
CN104361221A (zh) * 2014-10-31 2015-02-18 沈阳锐易特软件技术有限公司 基于异构系统数据映射模板的医疗数据采集系统及方法
US20160085779A1 (en) * 2014-09-19 2016-03-24 Benefitfocus.Com, Inc. Systems and methods for dynamically intercepting and adjusting persistence behaviors via runtime configuration
CN106919615A (zh) * 2015-12-28 2017-07-04 航天信息股份有限公司 数据存取方法及系统
CN107729366A (zh) * 2017-09-08 2018-02-23 广东省建设信息中心 一种普适多源异构大规模数据同步系统
CN108446293A (zh) * 2018-01-22 2018-08-24 中电海康集团有限公司 一种基于城市多源异构数据构建城市画像的方法
CN108984541A (zh) * 2017-05-31 2018-12-11 陈瑞 一种基于对象数据模型的对象关系映射方法及装置
CN109086442A (zh) * 2018-08-16 2018-12-25 口口相传(北京)网络技术有限公司 业务数据的展示方法及装置
WO2019072147A1 (zh) * 2017-10-10 2019-04-18 中兴通讯股份有限公司 一种sdn的业务配置的方法及装置
CN110347662A (zh) * 2019-07-12 2019-10-18 之江实验室 一种基于通用数据模型的多中心医疗数据结构标准化系统
US20190347584A1 (en) * 2018-05-08 2019-11-14 The Boeing Company Automated context driven build plan lifecycle

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060218116A1 (en) * 2005-03-28 2006-09-28 O'hearn James E Pass-through interface queries to populate a class-based model
CN101046810A (zh) * 2006-05-26 2007-10-03 华为技术有限公司 自动建立关系模型的系统及其方法
WO2007137468A1 (fr) * 2006-05-26 2007-12-06 Huawei Technologies Co., Ltd. Procédé et système de création automatique de modèle relationnel
US20120109935A1 (en) * 2010-11-02 2012-05-03 Microsoft Corporation Object model to key-value data model mapping
US20130238351A1 (en) * 2012-03-12 2013-09-12 Icon Clinical Research Limited Clinical data management system
CN103970900A (zh) * 2014-05-27 2014-08-06 重庆大学 基于工业现场的多维交叉数据柔性管理方法及系统
US20160085779A1 (en) * 2014-09-19 2016-03-24 Benefitfocus.Com, Inc. Systems and methods for dynamically intercepting and adjusting persistence behaviors via runtime configuration
CN104361221A (zh) * 2014-10-31 2015-02-18 沈阳锐易特软件技术有限公司 基于异构系统数据映射模板的医疗数据采集系统及方法
CN106919615A (zh) * 2015-12-28 2017-07-04 航天信息股份有限公司 数据存取方法及系统
CN108984541A (zh) * 2017-05-31 2018-12-11 陈瑞 一种基于对象数据模型的对象关系映射方法及装置
CN107729366A (zh) * 2017-09-08 2018-02-23 广东省建设信息中心 一种普适多源异构大规模数据同步系统
WO2019072147A1 (zh) * 2017-10-10 2019-04-18 中兴通讯股份有限公司 一种sdn的业务配置的方法及装置
CN108446293A (zh) * 2018-01-22 2018-08-24 中电海康集团有限公司 一种基于城市多源异构数据构建城市画像的方法
US20190347584A1 (en) * 2018-05-08 2019-11-14 The Boeing Company Automated context driven build plan lifecycle
CN109086442A (zh) * 2018-08-16 2018-12-25 口口相传(北京)网络技术有限公司 业务数据的展示方法及装置
CN110347662A (zh) * 2019-07-12 2019-10-18 之江实验室 一种基于通用数据模型的多中心医疗数据结构标准化系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579603A (zh) * 2020-12-24 2021-03-30 北京志翔能源技术有限公司 基于cdc的数据模型动态信息感知监测方法及装置
CN112579603B (zh) * 2020-12-24 2023-11-17 北京志翔信息技术有限公司 基于cdc的数据模型动态信息感知监测方法及装置
CN112860710A (zh) * 2021-03-18 2021-05-28 杭州云灵科技有限公司 数据处理方法、装置及系统、数据查询方法及系统
CN114610728A (zh) * 2021-12-24 2022-06-10 亚信科技（中国）有限公司 一种实时处理数据的方法、装置、设备、介质及产品

Also Published As

Publication number Publication date
CN111008189B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN109241141B (zh) 深度学习的训练数据处理方法和装置
CN111008189B (zh) 一种动态数据模型构建方法
CN110019116B (zh) 数据追溯方法、装置、数据处理设备及计算机存储介质
CN110888720A (zh) 任务处理方法、装置、计算机设备及存储介质
CN110019267A (zh) 一种元数据更新方法、装置、系统、电子设备及存储介质
CN111324610A (zh) 一种数据同步的方法及装置
CN111339073A (zh) 实时数据处理方法、装置、电子设备及可读存储介质
JP2010524060A (ja) 分散コンピューティングにおけるデータマージング
CN109933317B (zh) 埋点方法、装置、服务器及可读存储介质
CN116383238B (zh) 基于图结构的数据虚拟化系统、方法、装置、设备及介质
CN117033249A (zh) 一种测试用例生成方法、装置、计算机设备及存储介质
CN111258564B (zh) 一种基于qt自动生成代码的方法及装置
CN113962597A (zh) 一种数据分析方法、装置、电子设备及存储介质
CN111221698A (zh) 任务数据采集方法与装置
CN105930354B (zh) 存储模型转换方法和装置
US20160042097A1 (en) System and method for concurrent multi-user analysis of design models
CN110704635B (zh) 一种知识图谱中三元组数据的转换方法及装置
CN114500272B (zh) 一种配置信息采集处理方法及装置
CN116028446A (zh) 时序数据文件化管理方法、装置、设备及其存储介质
CN113220530B (zh) 数据质量监控方法及平台
CN114968725A (zh) 任务依赖关系校正方法、装置、计算机设备及存储介质
CN114356945A (zh) 数据处理方法、装置、计算机设备和存储介质
CN114925125A (zh) 数据处理方法、装置和系统、电子设备及存储介质
CN114328486A (zh) 基于模型的数据质量核查方法及装置
CN103761247B (zh) 一种出错文件的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant