CN110059967B - 一种应用于城市辅助决策分析的数据处理方法及装置 - Google Patents

一种应用于城市辅助决策分析的数据处理方法及装置 Download PDF

Info

Publication number
CN110059967B
CN110059967B CN201910330428.5A CN201910330428A CN110059967B CN 110059967 B CN110059967 B CN 110059967B CN 201910330428 A CN201910330428 A CN 201910330428A CN 110059967 B CN110059967 B CN 110059967B
Authority
CN
China
Prior art keywords
data
feature
data source
label
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910330428.5A
Other languages
English (en)
Other versions
CN110059967A (zh
Inventor
黎涛
周旺
徐鹏飞
魏志敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dataojo Technology Co ltd
Original Assignee
Beijing Dataojo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dataojo Technology Co ltd filed Critical Beijing Dataojo Technology Co ltd
Priority to CN201910330428.5A priority Critical patent/CN110059967B/zh
Publication of CN110059967A publication Critical patent/CN110059967A/zh
Application granted granted Critical
Publication of CN110059967B publication Critical patent/CN110059967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G06Q10/06375—Prediction of business process outcome or impact based on a proposed change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种应用于城市辅助决策分析的数据处理方法及装置，通过特征标签生成器建立数据源特征标签模型，建立数据特征全局映射表；提取数据源特征标签输入到数据特征编码生成器，依据数据源特征标签的编码映射规则为数据源生成全局唯一的数据源特征编码；根据数据分析模型及数据应用场景生成数据需求特征标签并输入到数据特征编码生成器生成全局唯一的数据需求特征编码；构建数据接入触发器，当有数据源接入时获取数据源特征编码并检索与数据源匹配的数据需求特征编码，计算数据源与数据需求的匹配度；当监测到满足匹配度的特征数据源时，根据数据源对接规则触发展示更新或升级流程。降低技术和业务门槛、减少人工投入、缩短工作周期。

Description

一种应用于城市辅助决策分析的数据处理方法及装置
技术领域
本发明实施例涉及数据可视化分析处理技术领域，具体涉及一种应用于城市辅助决策分析的数据处理方法及装置。
背景技术
城市辅助决策分析应用需要融合众多政府部门和社会结构的数据进行挖掘、分析和可视化呈现，所需数据类型众多、来源不同、格式不同、数据量巨大，即便经过清洗、梳理、分类后仍然错综复杂。
目前，辅助决策分析应用的构建主要是由业务领域专家、数据分析师、数据工程师、软件工程师构成的联合团队，采用数据库工具、OLAP工具、BI工具、编程语言等技术来完成。这种基于大数据构建辅助决策分析应用的模式存在着较多的局限性：
第一、门槛高，难度大。辅助决策分析模型的构建需要在对业务有深刻理解的情况下，通过复杂的数据分析以及程序开发才能完成，这就需要相关人员或团队既深刻理解业务，又掌握数据分析开发相关技能。数据分析相关技术本身就具有较高的门槛，而要与业务相结合则会面临更大的挑战。为此，亟需通过技术方法降低数据处理和分析的技术门槛，帮助理解业务的人员可以相对比较容易地调用数据进行分析才能缓解此类问题。
第二、缺乏敏捷性，难以适应需求变化。由于数据的多源性和复杂性，而现有工作模式往往将应用场景、分析模型和数据进行了非常紧密的绑定，这造成了一旦需求发生变化或者数据源增加或者变化就需要从源头开始进行数据梳理和模型重构，这使得整个应用过程缺乏弹性，难以适应数据和数据变化。
第三、周期长，成本高。由于数据来源多、差异化大、模型构建业务门槛、技术门槛高，模型构建需要具备专业不断测试、验证、优化和迭代改进，因此整个过程周期长，成本高。
发明内容
为此，本发明实施例提供一种应用于城市辅助决策分析的数据处理方法及装置，解决了数据源接入后需要投入多种专业人才花费大量时间进行处理的问题，在降低成本的同事大幅度提升了辅助决策分析应用的敏捷性，实现在智慧城市辅助决策分析过程中可以快速接入不同来源、不同类型、不同形式的数据，并将数据与处理路径、分析模型、应用和展示场景进行高效率的匹配，大幅提升智慧城市大数据分析和应用开发的敏捷性和实用性。
为了实现上述目的，本发明实施例提供如下技术方案：一种应用于城市辅助决策分析的数据处理方法，包括以下步骤：
通过特征标签生成器建立数据源特征标签模型，对所述数据源特征标签建立数据特征全局映射表；
提取数据源特征标签输入到数据特征编码生成器，依据数据源特征标签的编码映射规则为数据源生成全局唯一的数据源特征编码；
根据数据分析模型及数据应用场景生成数据需求特征标签，将所述数据需求特征标签输入到所述数据特征编码生成器，为所述数据分析模型和数据应用场景生成全局唯一的数据需求特征编码；
构建数据接入触发器，当有数据源接入时获取数据源特征编码并检索与数据源匹配的数据需求特征编码，计算数据源与数据需求的匹配度；
预先设定数据分析模型和数据应用场景的数据源对接规则，当监测到满足匹配度的特征数据源时，根据所述数据源对接规则触发数据融合计算、模型分析和拼接，展示更新或升级流程。
作为应用于城市辅助决策分析的数据处理方法的优选方案，根据数据来源、数据类型、获取渠道、更新特性、时间属性、实时性、业务属性和数据组织结构进行特征计算，采用词向量生成数据源特征标签。
作为应用于城市辅助决策分析的数据处理方法的优选方案，所述数据特征编码生成器查找所述数据特征全局映射表确定数据源特征编码，当所述数据源特征标签不在数据特征全局映射表时，采用局部敏感哈希算法生成新的数据源特征标签；特征编码生成器根据输入的数据源特征标签生成数据源特征编码，并将数据源特征编码存储到数据源特征编码索引库中。
作为应用于城市辅助决策分析的数据处理方法的优选方案，所述数据需求特征标签包括数据主题标签、数据类型限定标签、数据来源限定标签、数据获取渠道限定标签、数据组织规则标签、数据时间特征描述标签、数据时效性描述标签和数据业务特征属性标签。
作为应用于城市辅助决策分析的数据处理方法的优选方案，将所述数据需求特征标签输入到数据特征编码生成器中，数据特征编码生成器查找数据特征全局映射表将数据需求特征标签映射为数据特征编码，采用局部敏感哈希算法对数据特征编码进行融合计算，生成数据需求特征编码并存储到数据需求特征编码索引库中。
作为应用于城市辅助决策分析的数据处理方法的优选方案，将匹配的特征数据源输入到模型应用升级引擎，所述模型应用升级引擎根据预先设定的升级规则对数据分析模型及数据应用场景进行数据升级处理，所述数据升级处理包括重新计算数据分析模型或重构数据应用场景。
本发明实施例还提供一种应用于城市辅助决策分析的数据处理装置，包括：
第一构建模块，用于通过特征标签生成器建立数据源特征标签模型；
第二构建模块，用于对所述数据源特征标签建立数据特征全局映射表；
第一输入模块，用于提取数据源特征标签输入到数据特征编码生成器；
第一生成模块，用于依据数据源特征标签的编码映射规则为数据源生成全局唯一的数据源特征编码；
第二生成模块，用于根据数据分析模型及数据应用场景生成数据需求特征标签；
第二输入模块，用于将所述数据需求特征标签输入到所述数据特征编码生成器；
第三生成模块，用于为所述数据分析模型和数据应用场景生成全局唯一的数据需求特征编码；
匹配模块，用于构建数据接入触发器，当有数据源接入时获取数据源特征编码并检索与数据源匹配的数据需求特征编码，计算数据源与数据需求的匹配度；
规则预设模块，用于预先设定数据分析模型和数据应用场景的数据源对接规则；
展示模块，用于当监测到满足匹配度的特征数据源时，根据所述数据源对接规则触发数据融合计算、模型分析和拼接，展示更新或升级流程。
作为应用于城市辅助决策分析的数据处理装置的优选方案，所述第一构建模块根据数据来源、数据类型、获取渠道、更新特性、时间属性、实时性、业务属性和数据组织结构进行特征计算，采用词向量生成数据源特征标签。
作为应用于城市辅助决策分析的数据处理装置的优选方案，所述数据特征编码生成器查找所述数据特征全局映射表确定数据源特征编码，当所述数据源特征标签不在数据特征全局映射表时，采用局部敏感哈希算法生成新的数据源特征标签；特征编码生成器根据输入的数据源特征标签生成数据源特征编码，并将数据源特征编码存储到数据源特征编码索引库中；
将所述数据需求特征标签输入到数据特征编码生成器中，数据特征编码生成器查找数据特征全局映射表将数据需求特征标签映射为数据特征编码，采用局部敏感哈希算法对数据特征编码进行融合计算，生成数据需求特征编码并存储到数据需求特征编码索引库中；
所述展示模块将匹配的特征数据源输入到模型应用升级引擎，所述模型应用升级引擎根据预先设定的升级规则对数据分析模型及数据应用场景进行数据升级处理，所述数据升级处理包括重新计算数据分析模型或重构数据应用场景。
作为应用于城市辅助决策分析的数据处理装置的优选方案，所述数据需求特征标签包括数据主题标签、数据类型限定标签、数据来源限定标签、数据获取渠道限定标签、数据组织规则标签、数据时间特征描述标签、数据时效性描述标签和数据业务特征属性标签。
本发明实施例具有如下优点：在对多源数据进行特征建模的基础上构建多维数据标签和面向特征的数据处理流水线，从而在智慧城市辅助决策分析过程中可以快速接入不多来源、不同类型、不同形式的数据，并将数据与处理路径、分析模型、应用和展示场景进行高效率的智能化匹配，以此降低智慧城市辅助决策分析应用中数据的处理分析技术和业务门槛、减少人工投入、缩短工作周期，最终大幅提升智慧城市大数据分析和应用开发的敏捷性和实用性。解决了数据源接入后需要投入多种专业人才花费大量时间进行处理的问题，在降低成本的同事大幅度提升了辅助决策分析应用的敏捷性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例中提供的一种应用于城市辅助决策分析的数据处理方法流程示意图；
图2为本发明实施例中提供的一种应用于城市辅助决策分析的数据处理方法技术架构示意图；
图3为本发明实施例中提供的一种应用于城市辅助决策分析的数据处理装置示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1和图2，提供一种应用于城市辅助决策分析的数据处理方法，包括以下步骤：
S1：通过特征标签生成器建立数据源特征标签模型，对所述数据源特征标签建立数据特征全局映射表；
S2：提取数据源特征标签输入到数据特征编码生成器，依据数据源特征标签的编码映射规则为数据源生成全局唯一的数据源特征编码；
S3：根据数据分析模型及数据应用场景生成数据需求特征标签，将所述数据需求特征标签输入到所述数据特征编码生成器，为所述数据分析模型和数据应用场景生成全局唯一的数据需求特征编码；
S4：构建数据接入触发器，当有数据源接入时获取数据源特征编码并检索与数据源匹配的数据需求特征编码，计算数据源与数据需求的匹配度；
S5：预先设定数据分析模型和数据应用场景的数据源对接规则，当监测到满足匹配度的特征数据源时，根据所述数据源对接规则触发数据融合计算、模型分析和拼接，展示更新或升级流程。
应用于城市辅助决策分析的数据处理方法的一个实施例中，根据数据来源、数据类型、获取渠道、更新特性、时间属性、实时性、业务属性和数据组织结构进行特征计算，采用词向量生成数据源特征标签。所述数据需求特征标签包括数据主题标签、数据类型限定标签、数据来源限定标签、数据获取渠道限定标签、数据组织规则标签、数据时间特征描述标签、数据时效性描述标签和数据业务特征属性标签。
具体的，所述数据特征编码生成器查找所述数据特征全局映射表确定数据源特征编码，当所述数据源特征标签不在数据特征全局映射表时，采用局部敏感哈希算法生成新的数据源特征标签；特征编码生成器根据输入的数据源特征标签生成数据源特征编码，并将数据源特征编码存储到数据源特征编码索引库中。将所述数据需求特征标签输入到数据特征编码生成器中，数据特征编码生成器查找数据特征全局映射表将数据需求特征标签映射为数据特征编码，采用局部敏感哈希算法对数据特征编码进行融合计算，生成数据需求特征编码并存储到数据需求特征编码索引库中。将匹配的特征数据源输入到模型应用升级引擎，所述模型应用升级引擎根据预先设定的升级规则对数据分析模型及数据应用场景进行数据升级处理，所述数据升级处理包括重新计算数据分析模型或重构数据应用场景。
参见图3，提供一种应用于城市辅助决策分析的数据处理装置，包括：
第一构建模块1，用于通过特征标签生成器建立数据源特征标签模型；
第二构建模块2，用于对所述数据源特征标签建立数据特征全局映射表；
第一输入模块3，用于提取数据源特征标签输入到数据特征编码生成器；
第一生成模块4，用于依据数据源特征标签的编码映射规则为数据源生成全局唯一的数据源特征编码；
第二生成模块5，用于根据数据分析模型及数据应用场景生成数据需求特征标签；
第二输入模块6，用于将所述数据需求特征标签输入到所述数据特征编码生成器；
第三生成模块7，用于为所述数据分析模型和数据应用场景生成全局唯一的数据需求特征编码；
匹配模块8，用于构建数据接入触发器，当有数据源接入时获取数据源特征编码并检索与数据源匹配的数据需求特征编码，计算数据源与数据需求的匹配度；
规则预设模块9，用于预先设定数据分析模型和数据应用场景的数据源对接规则；
展示模块10，用于当监测到满足匹配度的特征数据源时，根据所述数据源对接规则触发数据融合计算、模型分析和拼接，展示更新或升级流程。
应用于城市辅助决策分析的数据处理装置的一个实施例中，所述第一构建模块根据数据来源、数据类型、获取渠道、更新特性、时间属性、实时性、业务属性和数据组织结构进行特征计算，采用词向量生成数据源特征标签。
应用于城市辅助决策分析的数据处理装置的一个实施例中，所述数据特征编码生成器查找所述数据特征全局映射表确定数据源特征编码，当所述数据源特征标签不在数据特征全局映射表时，采用局部敏感哈希算法生成新的数据源特征标签；特征编码生成器根据输入的数据源特征标签生成数据源特征编码，并将数据源特征编码存储到数据源特征编码索引库中。将所述数据需求特征标签输入到数据特征编码生成器中，数据特征编码生成器查找数据特征全局映射表将数据需求特征标签映射为数据特征编码，采用局部敏感哈希算法对数据特征编码进行融合计算，生成数据需求特征编码并存储到数据需求特征编码索引库中。所述展示模块将匹配的特征数据源输入到模型应用升级引擎，所述模型应用升级引擎根据预先设定的升级规则对数据分析模型及数据应用场景进行数据升级处理，所述数据升级处理包括重新计算数据分析模型或重构数据应用场景。所述数据需求特征标签包括数据主题标签、数据类型限定标签、数据来源限定标签、数据获取渠道限定标签、数据组织规则标签、数据时间特征描述标签、数据时效性描述标签和数据业务特征属性标签。
具体的，参见图3，通过本发明实施例的技术方案，当辅助决策分析应用接入新的数据源或已接入数据源发生变化，通过特征标签生成器对数据源进行多维扫描，根据数据来源、获取渠道、类型、时效性、更新特性、时间属性、实时性、业务属性、数据组织结构进行特征计算，采用词向量(word vector)技术生成特征标签生成多维数据源特征标签集。
将生成的数据源特征标签输入到特征编码生成器，特征编码生成器查找数据特征数据特征全局映射表来确定特征标签对应编码，如果当前特征标签不在映射表中，则采用局部敏感哈希算法(LSH:Locality-Sensitive Hashing)生成新的数据特征编码，最终特征编码生成器根据输入的数据源特征标签生成数据源特征编码，并将数据源特征编码存储到数据源特征编码索引库中，以便根据数据源特征快速发现符合需求的数据源。
根据数据分析模型及数据应用场景设置好数据需求特征标签集，数据需求特征标签与数据源标签类似，包括数据主题标签、数据类型限定标签、数据来源限定标签、数据获取渠道限定标签、数据组织规则标签、数据时间特征描述标签、数据时效性描述标签、数据业务特征属性标签等。
将数据需求特征标签输入到数据特征编码生成器中，数据特征编码生成器会查找数据特征全局映射表，将数据特征标签映射为数据特征编码，采用局部敏感哈希算法(LSH:Locality-Sensitive Hashing)对数据特征编码进行融合计算，生成数据需求特征编码，并将新的数据需求特征编码存储到数据需求特征编码索引库中，即构建与数据分析模型和数据应用场景相匹配的数据插槽，可以根据数据需求快速发现符合条件的数据分析模型和数据应用场景。
数据特征智能匹配引擎会在数据源特征标签更新或者数据分析模型、数据应用场景的数据需求特征标签更新时采用局部敏感哈希算法(LSH:Locality-SensitiveHashing)进行快速的全域查找匹配，将匹配数据进行汇总生成目标数据集并按照匹配度高低进行排序。将匹配的数据集输入到模型应用升级引擎，引擎根据预先设定的升级规则自动对模型和应用进行数据升级处理，使用新的数据源来进行分析模型重新计算或数据应用场景重构，重构会生成新版本的数据模型或数据应用，使用者可以通过数据源特征与数据需求的匹配程度来自有选取采用哪个版本的模型或应用。本发明实施例在对多源数据进行特征建模的基础上构建多维数据标签和面向特征的数据处理流水线，从而在智慧城市辅助决策分析过程中可以快速接入不多来源、不同类型、不同形式的数据，并将数据与处理路径、分析模型、应用和展示场景进行高效率的智能化匹配，以此降低智慧城市辅助决策分析应用中数据的处理分析技术和业务门槛、减少人工投入、缩短工作周期，最终大幅提升智慧城市大数据分析和应用开发的敏捷性和实用性。解决了数据源接入后需要投入多种专业人才花费大量时间进行处理的问题，在降低成本的同事大幅度提升了辅助决策分析应用的敏捷性。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种应用于城市辅助决策分析的数据处理方法，其特征在于，包括以下步骤：
通过特征标签生成器建立数据源特征标签模型，对所述数据源特征标签建立数据特征全局映射表；
提取数据源特征标签输入到数据特征编码生成器，依据数据源特征标签的编码映射规则为数据源生成全局唯一的数据源特征编码；
根据数据分析模型及数据应用场景生成数据需求特征标签，将所述数据需求特征标签输入到所述数据特征编码生成器，为所述数据分析模型和数据应用场景生成全局唯一的数据需求特征编码；
构建数据接入触发器，当有数据源接入时获取数据源特征编码并检索与数据源匹配的数据需求特征编码，计算数据源与数据需求的匹配度；
预先设定数据分析模型和数据应用场景的数据源对接规则，当监测到满足匹配度的特征数据源时，根据所述数据源对接规则触发数据融合计算、模型分析和拼接，展示更新或升级流程。
2.根据权利要求1所述的一种应用于城市辅助决策分析的数据处理方法，其特征在于，根据数据来源、数据类型、获取渠道、更新特性、时间属性、实时性、业务属性和数据组织结构进行特征计算，采用词向量生成数据源特征标签。
3.根据权利要求1所述的一种应用于城市辅助决策分析的数据处理方法，其特征在于，所述数据特征编码生成器查找所述数据特征全局映射表确定数据源特征编码，当所述数据源特征标签不在数据特征全局映射表时，采用局部敏感哈希算法生成新的数据源特征标签；特征编码生成器根据输入的数据源特征标签生成数据源特征编码，并将数据源特征编码存储到数据源特征编码索引库中。
4.根据权利要求1所述的一种应用于城市辅助决策分析的数据处理方法，其特征在于，所述数据需求特征标签包括数据主题标签、数据类型限定标签、数据来源限定标签、数据获取渠道限定标签、数据组织规则标签、数据时间特征描述标签、数据时效性描述标签和数据业务特征属性标签。
5.根据权利要求1所述的一种应用于城市辅助决策分析的数据处理方法，其特征在于，将所述数据需求特征标签输入到数据特征编码生成器中，数据特征编码生成器查找数据特征全局映射表将数据需求特征标签映射为数据特征编码，采用局部敏感哈希算法对数据特征编码进行融合计算，生成数据需求特征编码并存储到数据需求特征编码索引库中。
6.根据权利要求1所述的一种应用于城市辅助决策分析的数据处理方法，其特征在于，将匹配的特征数据源输入到模型应用升级引擎，所述模型应用升级引擎根据预先设定的升级规则对数据分析模型及数据应用场景进行数据升级处理，所述数据升级处理包括重新计算数据分析模型或重构数据应用场景。
7.一种应用于城市辅助决策分析的数据处理装置，其特征在于，包括：
第一构建模块，用于通过特征标签生成器建立数据源特征标签模型；
第二构建模块，用于对所述数据源特征标签建立数据特征全局映射表；
第一输入模块，用于提取数据源特征标签输入到数据特征编码生成器；
第一生成模块，用于依据数据源特征标签的编码映射规则为数据源生成全局唯一的数据源特征编码；
第二生成模块，用于根据数据分析模型及数据应用场景生成数据需求特征标签；
第二输入模块，用于将所述数据需求特征标签输入到所述数据特征编码生成器；
第三生成模块，用于为所述数据分析模型和数据应用场景生成全局唯一的数据需求特征编码；
匹配模块，用于构建数据接入触发器，当有数据源接入时获取数据源特征编码并检索与数据源匹配的数据需求特征编码，计算数据源与数据需求的匹配度；
规则预设模块，用于预先设定数据分析模型和数据应用场景的数据源对接规则；
展示模块，用于当监测到满足匹配度的特征数据源时，根据所述数据源对接规则触发数据融合计算、模型分析和拼接，展示更新或升级流程。
8.根据权利要求7所述的一种应用于城市辅助决策分析的数据处理装置，其特征在于，所述第一构建模块根据数据来源、数据类型、获取渠道、更新特性、时间属性、实时性、业务属性和数据组织结构进行特征计算，采用词向量生成数据源特征标签。
9.根据权利要求7所述的一种应用于城市辅助决策分析的数据处理装置，其特征在于，所述数据特征编码生成器查找所述数据特征全局映射表确定数据源特征编码，当所述数据源特征标签不在数据特征全局映射表时，采用局部敏感哈希算法生成新的数据源特征标签；特征编码生成器根据输入的数据源特征标签生成数据源特征编码，并将数据源特征编码存储到数据源特征编码索引库中；
将所述数据需求特征标签输入到数据特征编码生成器中，数据特征编码生成器查找数据特征全局映射表将数据需求特征标签映射为数据特征编码，采用局部敏感哈希算法对数据特征编码进行融合计算，生成数据需求特征编码并存储到数据需求特征编码索引库中；
所述展示模块将匹配的特征数据源输入到模型应用升级引擎，所述模型应用升级引擎根据预先设定的升级规则对数据分析模型及数据应用场景进行数据升级处理，所述数据升级处理包括重新计算数据分析模型或重构数据应用场景。
10.根据权利要求7所述的一种应用于城市辅助决策分析的数据处理装置，其特征在于，所述数据需求特征标签包括数据主题标签、数据类型限定标签、数据来源限定标签、数据获取渠道限定标签、数据组织规则标签、数据时间特征描述标签、数据时效性描述标签和数据业务特征属性标签。
CN201910330428.5A 2019-04-23 2019-04-23 一种应用于城市辅助决策分析的数据处理方法及装置 Active CN110059967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910330428.5A CN110059967B (zh) 2019-04-23 2019-04-23 一种应用于城市辅助决策分析的数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910330428.5A CN110059967B (zh) 2019-04-23 2019-04-23 一种应用于城市辅助决策分析的数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN110059967A CN110059967A (zh) 2019-07-26
CN110059967B true CN110059967B (zh) 2021-02-23

Family

ID=67320259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910330428.5A Active CN110059967B (zh) 2019-04-23 2019-04-23 一种应用于城市辅助决策分析的数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN110059967B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117033889B (zh) * 2023-08-02 2024-04-05 瀚能科技有限公司 一种智慧园区生产数据统计方法及相关装置
CN117076467B (zh) * 2023-10-18 2024-02-27 公诚管理咨询有限公司 基于ma体系的智慧城市标识方法、系统、设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166651B (zh) * 2013-05-16 2017-10-13 阿里巴巴集团控股有限公司 基于对同类数据对象整合的数据搜索的方法和装置
CN104463233B (zh) * 2014-12-30 2018-08-17 深圳市捷顺科技实业股份有限公司 车标识别方法及车标识别装置
CN107193831A (zh) * 2016-03-15 2017-09-22 阿里巴巴集团控股有限公司 信息推荐方法及装置
US20180225613A1 (en) * 2017-02-05 2018-08-09 International Business Machines Corporation Data-driven Urban Interventions Based on Crowdsourcing
CN107480858A (zh) * 2017-07-10 2017-12-15 武汉楚鼎信息技术有限公司 一种基于股票大数据分析的智能辅助决策系统及方法
CN108108657B (zh) * 2017-11-16 2020-10-30 浙江工业大学 基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN108510733A (zh) * 2018-01-12 2018-09-07 网帅科技（北京）有限公司 一种跨界数据深度融合解决公路交通拥堵的管控系统
CN109582675A (zh) * 2018-11-29 2019-04-05 北京达佳互联信息技术有限公司 标签匹配方法、装置、服务器及存储介质
CN109636150A (zh) * 2018-11-30 2019-04-16 南京市城市规划编制研究中心 一种智慧城市“多规合一”评价体系的建立方法及其系统

Also Published As

Publication number Publication date
CN110059967A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
US11106626B2 (en) Managing changes to one or more files via linked mapping records
CN108733713B (zh) 数据仓库中的数据查询方法及装置
US10339038B1 (en) Method and system for generating production data pattern driven test data
EP3037983A1 (en) Data processing system, data processing method, and data processing device
CN109542966B (zh) 数据融合方法、装置、电子设备及计算机可读介质
CN109144997A (zh) 数据关联方法、装置及存储介质
CN105956087A (zh) 数据及代码版本管理系统及方法
CN112331348B (zh) 集标注、数据、项目管理和无编程化建模的分析方法和系统
CN110059967B (zh) 一种应用于城市辅助决策分析的数据处理方法及装置
CN110134663B (zh) 组织结构数据处理方法、装置、电子设备
CN111858608A (zh) 一种数据管理方法、装置、服务器和存储介质
CN109376153A (zh) 一种基于NiFi的数据写入图数据库的系统及方法
CN111061733B (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN114253995B (zh) 数据溯源方法、装置、设备及计算机可读存储介质
CN113626571B (zh) 答句生成方法、装置、计算机设备和存储介质
CN110737779A (zh) 知识图谱的构建方法、装置、存储介质和电子设备
CN116680445B (zh) 基于知识图谱的电力光通信系统多源异构数据融合方法及系统
CN110389944B (zh) 一种基于模型的元数据管理系统及方法
CN112163098A (zh) 一种知识图谱的创建方法、装置、存储介质和服务器
CN116450664A (zh) 数据处理方法、装置、设备和存储介质
CN115757735A (zh) 一种面向电网数字化建设成果资源的智能检索方法及系统
CN116167719A (zh) 一种电力设备台账不同系统间映射的实现方法及系统
CN112286879B (zh) 基于元数据的数据资产构建方法及装置
CN114519071A (zh) 规则匹配模型的生成方法、匹配方法、系统、设备和介质
CN110457705B (zh) 一种兴趣点数据处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant