CN112100256A - 一种数据驱动的城市精准深度画像系统及方法 - Google Patents

Abstract

本发明涉及一种数据驱动的城市精准深度画像系统及方法，包括数据加载与预处理模块、多维度数据呈现模块、模型与关系维护模块、数据融合实验室模块和跨系统画像模块；克服海量城市感知数据多粒度结构化描述、多模态城市时空大数据多尺度建模与智能融合、城市跨系统时空状态传播与资源调度；本发明实现城市大数据在不同粒度语义上的知识融合、互补和共享，提升对多源感知城市大数据理解的深度和广度；以多粒度的层次化语义描述框架实现对多领域、跨系统城市感知数据的深度融合与关联关系挖掘，实现多视角、多尺度自动化知识挖掘与数据关联。

Description

一种数据驱动的城市精准深度画像系统及方法

技术领域

本发明涉及计算机软件应用的技术领域，特别是涉及数据驱动的城市精准深度画像系统。

背景技术

城市数据类型多样化，如常见的有文本、图形、图像、声音、动画、视频等，且由于编码、传播模式等的不同，同一媒体也存在多种不同的模态。随着设备和技术的不断推陈出新，以及移动互联网、物联网、云计算等信息技术的发展，人类享受着越来越多的跨媒体感官刺激和体验，每时每刻都有海量的异构媒体数据产生和传播。随着数据规模的不断增长，对异构媒体的检索需求日益强烈。由于查询需求难以精确定义，想要根据媒体内容本身而非标题、作者等纯文本来精确查找用户所需的媒体文件是一件非常困难的事情。

由于异构媒体数据存在多语义和多态性特点，异构媒体数据会受多种因素影响而使得在理解产生差异和不同。因此在信息获取的过程中，需要在语义理解的基础上，将不同角度理解的不同形式的媒体数据通过活化与关联来综合考虑，才能使信息和知识的获取更加丰富和有意义，从而为后续的应用和管理提供支持。然而，在对跨媒体数据进行关联分析时，需要跨越一系列挑战，拟解决的关键技术问题如下：

(1)构建基于多粒度时空映射关系的城市大数据动态多属性混合聚类方法

从时空维度考虑，多源感知城市大数据具有在粗时空粒度上的确定性趋势与细时空粒度上的随机性特点并存的问题，在多尺度时空维度上建模、融合、分析并挖掘与应用相关的数据信息所蕴含的知识与规律模式是本发明需要解决的一个关键技术问题。

(2)基于镜头聚焦的多尺度城市发展演化规律建模

在微/宏观尺度上对城市不同时空规则进行统一地把握与筛选以梳理其内在的隐含关联，深度挖掘城市内在的运行规律并对上层的城市精准深度画像服务提供有力支撑是本发明需要解决的一个关键技术问题。

发明内容

本发明的技术解决问题：克服海量城市感知数据多粒度结构化描述、多模态城市时空大数据多尺度建模与智能融合、城市跨系统时空状态传播与资源调度。

本发明提出一种数据驱动的城市精准深度画像系统，所述系统包括客户端浏览器和中心服务器，利用BS架构，将核心的系统模块部署在中心服务器，在客户端利用浏览器进行各个模块的访问，所述系统模块包括数据加载与预处理模块、多维度数据呈现模块、模型与关系维护模块、数据融合实验室模块、跨系统画像模块。

本发明的数据驱动的城市精准深度画像系统，所述数据加载与预处理模块，用于实现数据加载与预处理的功能，本模块导入外界的各类异构数据，并作为多维度数据呈现模块、模型与关系维护模块数据提供方，通过数据集的相关属性的对照关系建立映射，形成整体性的数据关联；所述数据包括包含动态加载的各类数据，系统已经先期导入了包括交通类、销售类、天气情况、微博、云词热点、POI数据等，形成了初始数据集，此模块功能包括：新建、编辑、删除数据集；对已有数据集里的数据进行查询过滤、加工编辑功能；加工编辑功能可对初始数据进行清洗加工、进行数据运算等功能。

本发明的数据驱动的城市精准深度画像系统，所述多维度数据呈现模块，用于实现以图表呈现已加载的数据集的功能，本模块从数据加载与预处理模块和模型与关系维护模块获取基础数据，并进行数据呈现并进一步为模型与关系维护模块以及数据融合实验室模块提供数据基础，所述功能包括：自定义数据呈现维度、过滤数据呈现的颗粒度、设置度量项、设置度量项计算项、设置图表配置项；所述计算项包括求和、平均、最大值、最小值；所述呈现包括各种多维度的呈现类型，包括折线图、柱状图、饼图、漏斗图或者地图等，数据的各个维度均可进行展现。

本发明的数据驱动的城市精准深度画像系统，所述模型与关系维护模块，此模块主要是固化在数据加载与预处理模块被证明为有价值的数据结构和数据关联关系；本模块从数据加载与预处理模块获取数据，并进一步为数据融合实验室模块提供数据来源，当所述模型与关系维护模块中显示数据类别结构树，此结构树主要的功能是将各类异构数据进行业务领域的划分，大致划分为工业、交通与邮政、公共服务、出行数据模型等类别，选取某一类别时，绘图区域显示对应的模型名称、模型描述，领域名称、领域描述；本模块的主要作用便是进行数据集的业务领域进行划分，以利于更有针对性的对数据融合实验室模块提供结构化数据。

本发明的数据驱动的城市精准深度画像系统，所述数据融合实验室模块，用于在包括模型与关系维护模块、多维度数据呈现模块已经整理后的各种数据集进行采集、传输、综合、过滤、相关及合成，由于异构媒体数据存在多语义和多态性特点，异构媒体数据会受多种因素影响而使得在理解产生差异和不同；因此在信息获取的过程中，需要在语义理解的基础上，将不同角度理解的不同形式的媒体数据通过活化与关联来综合考虑，才能使信息和知识的获取更加丰富和有意义，从而为后续的应用和管理提供支持；首先，由于不同媒体介质的特征不同，以及人主观性的存在，对同一物体的关注点以及描述也会不同；因此，需要通过跨媒体异构数据属性统一描述方法来全面分析数据的各种属性，主动识别隐藏属性，建立一套基于数据特征描述规范的属性操作运算法则，实现语义扩展；其次，由于数据的多态性，同一个事件由于采集角度、采集方法等不同，会形成不同的视频、音频和图片数据，这些不同的数据能够提供针对同一目标的不同的信息；因此，需要分析数据关联分析方法的基本原理，充分和智能地利用好跨媒体数据所提供的多样化信息，通过分析数据的时空信息、语义知识、所有者、访问权限、压缩算法等基础上，结合产生背景、组成结构、内部关系和获取来源等基本属性研究跨媒体数据的动态关联机制；最后，数字媒体语义丰富，在理解时需要充分考虑其上下文信息，比如一年四季树木形态特征发生变化，以及随着时间推移周围设施变化，使得从同一角度拍摄的大楼所处环境发生变化，甚至可能存在被遮挡等情况，因此掌握数据动态演化的过程，根据时空上下文建立关联是必要的；在研究多语义、多模态数字媒体数据属性感知的基础上，还需要研究数据动态成长和演化的基本方法；随着时间的增长，跨媒体数据之间的关联关系会更加丰富，需要不断对关联关系进行相应的分析；对异构跨媒体数据进行活化与关联，需要通过全面分析数据的各种属性，建立动态关联机制，研究数据动态成长和演化的基本方法，并不断对关联关系进行相应的分析；同时，还需要研究跨媒体数据的甄别验证方法，确保数据的有效性并实现高效的数据容错机制。

本发明的数据驱动的城市精准深度画像系统，所述跨系统画像模块，利用数据融合实验室模块的实验结果，用于包括一卡通出发画像、一卡通到达画像、共享单车出发画像、共享单车到达画像、网约车出发画像、网约车到达画像等；根据共享单车、网约车以及一卡通的数据集，提炼出以下统计类数据；数据统计区间为一周内7天时间，每天按24小时进行统计；包含有了6个动态数据图，一卡通数据的区域出发流量图、一卡通数据的区域到达流量图、网约车数据的区域出发流量图、网约车数据的区域到达流量图、共享单车数据的区域出发流量图、共享单车数据的区域到达流量图；主要是针对多数据融合视角下的大城市交通拥堵模式进行分析和结果预构，包括基于交通数据抽取轨迹与速度信息、基于POI数据获取城市功能描述、基于空间区域进行数据融合，并将城市划分为较细粒度的格子，以格子为单位汇聚多源数据，能构建拥堵指数以及定量地反映某区域当前速度的“缓慢”程度；

根据本发明的另一方面，提出一种数据驱动的城市精准深度画像系统的方法，包括以下步骤：

步骤(1)数据加载与预处理

首先对数据进行标准格式的整理，按照表头和属性一一对应进行，并将数据保存为excel文件；选择Excel导入文件后，上传到服务器后，解析excel文件，解析后台逻辑如下：首先为每一张Excel的SHEET自动生成一个Tabel表名(UUID)，将用户填写的数据集名称、描述、数据表名、sheet页名称等信息记录到我们的DATASET数据表中；再将每个SHEET页的表头信息记录到我们的DATASET_FIELD表中，记录这个数据集对应有哪些字段、字段含义是什么、字段类型是什么；最后创建数据集实体表，将Excel里的数据导入到这张表中；供多维度数据呈现模块、模型与关系维护模块调用；

步骤(2)多维度数据呈现

通过列表展示出数据加载与预处理模块获取的所有的数据集，然后通过选择相应数据集，显示选中数据集对应的所有字段；利用鼠标拖拽，将字段拖动到纬度项、度量项、过滤筛选区域，选择要生成的图表类型，包括柱状图、折线图、漏斗图、饼图等、通过设置各类图表的配置项；对已加载的数据集提供各类图表的呈现，功能包括：自定义数据呈现维度，过滤数据呈现的颗粒度，设置度量项，设置度量项计算项如求和、平均、最大值、最小值等，设置各图表配置项，如图表标题、参考线等；

步骤(3)模型与关系维护

在数据加载与预处理模块中导入系统的分散数据，进行关联关系的建立，利用结构树创建新的模型领域，在领域下允许创建新的子领域，包括领域名称、领域描述，有新增模型和领域，也有修改、删除模型和领域；删除时需要同时删除两张表中的对应数据；如删除的是当前选中的，还需要刷新图形；一开始默认一开始只有一个点，系统展示节点时，根据是否为叶子节点使用不同的颜色，非叶子节点使用浅蓝色底纹，叶子节点使用绿色底纹；绘图区域放置一个固定的功能区域侧边栏，选择某个子节点后，显示对应的模型名称、模型描述，领域名称、领域描述；操作功能按钮后，立即进行相应绘图操作并保存至数据库；

步骤(4)数据融合实验室

将数据加载与预处理模块和模型与关系维护模块得到的数据，在数据层面从时间维度、空间维度和多元语义维度入手，构建多粒度的海量城市感知数据结构化描述框架，建立宏观、中观和微观等不同尺度的城市时空模型，实现城市大数据在不同粒度语义上的知识融合、互补和共享，提升对多源感知城市大数据理解的深度和广度；以多粒度的层次化语义描述框架实现对多领域、跨系统城市感知数据的深度融合与关联关系挖掘，实现多视角、多尺度自动化知识挖掘与数据关联；

步骤(5)跨系统画像

此模块利用数据融合实验室模块的实验结果和数据加载与预处理模块导入的交通数据，来进一步展示数据的可视化效果；采用echart的强大功能，并结合行政区域的经纬度信息，将城市数据按区域和时间进行热力图的呈现，并画出一些辅助性的三维立体图进行数据宏观展示；

针对多源异构数据感知城市大数据的多尺度建模要求、及其具有在粗时空粒度上的确定性趋势与细时空粒度上的随机性特点并存的挑战，在数据层面从时间维度、空间维度和多元语义维度入手，构建多粒度的海量城市感知数据结构化描述框架，建立宏观、中观和微观等不同尺度的城市时空模型，实现城市大数据在不同粒度语义上的知识融合、互补和共享，提升对多源感知城市大数据理解的深度和广度；以多粒度的层次化语义描述框架实现对多领域、跨系统城市感知数据的深度融合与关联关系挖掘，实现多视角、多尺度自动化知识挖掘与数据关联。

与现有技术相比本发明的有益效果为：

(1)海量城市感知数据多粒度结构化描述

展开海量城市感知数据多粒度结构化描述，在多知识粒度上对城市感知数据进行深度刻画与全面发掘；具体包括：在时间维度上，构建多粒度时间结构化表示算子，进行与应用结合的可伸缩多粒度柔性时间描述；在空间维度上，构建空间柔性分割方法；在多元语义维度上，构建语义分层体系结构；

(2)多模态城市时空大数据多尺度建模与智能融合

基于海量数据多粒度结构化描述框架，从宏观、中观和微观等不同尺度上建立城市大数据与系统的时空建模，实现城市大数据在不同粒度语义上的知识融合、互补和共享，并开展面向时空上下文的城市个体行为分析等工作，从整体结构、个体行为和空间交互等多个方面对城市开展深入研究；

(3)城市跨系统时空状态传播与资源调度

根据海量城市多源数据的耦合相关性建立跨系统状态传播分析模型，并使用该耦合关系对城市重要状态的传播与扩散进行预测分析；采用多元知识融合来解决城市时空状态(所面临的稀疏性和冷启动等问题；研究城市跨系统的智能融合技术，融合城市中的个体行为等微观数据与规划决策等宏观数据，探究城市跨系统的资源调度机理，并实现跨系统的城市资源优化分配，提供了多源异构数据的精准接入，实时获取海量的时空数据，包括交通数据、城市地理信息位置数据以及社交媒体数据等；通过本系统分析一段连续时间的交通数据，发现关于城市时空关联模式以及城市热点区域发现、出行需求预测、城市交通状况预测、城市人类活动分析以及数据的探索性分析等方面；

(4)通过数据加载与预处理、多维度数据呈现、模型与关系维护、数据融合实验室功能，实现了数据实时性以及多维度多粒度的数据收集和关联关系建立，并将各自分散的异构数据进行数据融合，通过融合实验室来进行数据抽象和提取，并验证数据内部的相互联系和影响；

(5)本发明通过跨系统画像，提升了基于数据驱动的城市精准深度画像系统的现实应用。

附图说明

图1为本发明系统的组成框图；

图2为本发明系统中的数据加载与预处理模块实现过程；

图3为本发明系统中的多维度数据呈现模块实现过程；

图4为本发明系统中的模型与关系维护模块实现过程；

图5为本发明系统中的数据融合实验室模块实现过程；

图6为本发明系统中的跨系统画像模块实现过程；

图7为数据集对应数据表；

图8为数据及字段关系对应表；

图9为相关的表字段属性信息；

图10为实施例中数据模型与关系维护模块功能页面图；

图11为实施例中数据融合实验室模块得到的宏观画像图；

图12为实施例中跨系统画像模块呈现不同的子图画像。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

为了解决背景技术中提出的技术问题，本发明采取了以下的研究方法：

通过不同尺度与时空跨度上城市精准深度画像剖析城市运行与演化机理，分别从数据、系统、服务三个层面开展研究。

在数据层面，针对海量多源城市数据在时空维度上的分布特征和具体的城市应用需求，以多粒度时间结构化表示算子、空间网格化信息熵构建城市大数据多粒度可伸缩柔性分割机制和描述框架；并对描述数据进行降维处理，然后基于海量多源城市数据的语法特征和语义特征进行多尺度的建模。

在系统层面，构建统一的城市多系统数据融合框架，基于多组交叉混合聚类与耦合评估挖掘城市要素的时空结构特点与相关性，构建增量式在线知识扩展，实现海量多源异构数据的语义匹配、融合和挖掘，发现城市跨系统时空状态传播与资源调度机理，并解决城市时空状态稀疏性和冷启动等问题。

在服务层面，以城市性格解析与精准深度画像为载体，对城市发展演化规律建模，实现多层次、多尺度、多时相城市知识关联，在时空跨度上总结并梳理城市发展演化宏观脉络，深度挖掘城市内在运行规律。通过构建跨系统城市数据交互与应用导向的服务画像支撑工具集，从宏观、中观、微观全尺度剖析城市运行与演化机理。

如图1至图12所示，本发明数据驱动的城市精准深度画像系统部署在服务器端，在系统导入各类异构数据，中心服务器部署数据加载与预处理模块、多维度数据呈现模块、模型与关系维护模块、数据融合实验室模块以及跨系统画像模块；

整个实现过程如下：

(1)当客户端发生数据资源提交行为时，对客户端的用户业务行为与用户的数据资源提交行为进行记录，并将数据结果传递至中心服务器；当客户端服务器与中心服务器通讯时，在客户端TCP/IP端口过滤数据流，对用户业务行为与数据资源提交行为进行记录并形成记录结果文件，供数据加载与预处理模块调用；

(2)数据加载与预处理模块，读取外界的各类异构数据，通过导入excel文件、执行sql脚本等方式来输入数据资源，并存放到系统数据库中。并通过本模块，整理出符合要求的数据格式，提供给多维度数据呈现模块以及模型与关系维护模块来使用。同时也提供接口，允许各客户端调用接口来获取相关的数据。

(3)多维度数据呈现模块，根据数据类型，对已加载的数据集提供各类图表的呈现或者是地图信息展现，功能包括：自定义数据呈现维度，过滤数据呈现的颗粒度，设置度量项，设置度量项计算项(求和、平均、最大值、最小值等)，设置各图表配置项(如图表标题、参考线的等)，设置地图的交通线路呈现等。

(4)模型与关系维护模块，提供了数据关系挖掘的功能，使得原本相互独立的数据集可根据实际情况建立相互之间的联系，以便在后续的系统模块中整体的来呈现数据之间的内部关系。本模块采用左右的布局，结合树形操作，当点击模型结构树的叶子节点时，默认绘制该领域的根节点的数据。绘图区域放置一个固定的功能区域侧边栏，选择某个子节点后，显示对应的模型名称、模型描述，领域名称、领域描述。双击某一节点，绘制该节点下的所有子节点，节点与节点直接的联系名称读取的是该子节点，选择某一节点后，功能区域应显示该节点的名称和描述；选择某一个关系时，应显示关系的名称和描述。以上功能按钮操作后，立即进行相应绘图操作并没保存至数据库，只有点击修改保存按钮才保存至数据库。

(5)数据融合实验室模块，接收多维度数据呈现模块以及模型与关系维护模块的数据，并进行数据融合实验，利用可视化的手段来直观的展现数据融合的效果，来反推出融合公式的可行性以及可操作性，本模块可灵活的配置数据集直接的运算以及结果保存，来动态的进行数据的可视化显示。

(6)跨系统画像模块，能够任意组合数据集和数据集之间的运算，实现了下述功能：

①用户随意配置6个数据集，包括一卡通、网约车以及共享单车的出发和到达数据集的组合以及权重，来形成两个画像。设置数据集的操作如下描述：

a)可以选中某一种，权重为1，退化到原始图画像；

b)可以选中某几种，设置相应权重，融合成某一个画像；

c)可以选中是否需要归一；

ⅰ.如果选是，自动计算权重值；

ⅱ.选否，权重值默认为1。

②将这两幅画像以3维立体地图的形式，显示两根柱状图；

③有滚动播放按钮和日期选择。

根据本发明的一个实施例，上述实现过程的具体实施如下：

1.硬件设备选型

上述客户端服务器与中心服务器的硬件选型如下：

客户端服务器最低配置要求：

CPU主频：1GHz

内存：1GB

硬盘容量：1T

以太网卡：百兆

中心服务器最低配置要求：

CPU主频：128GHz

内存：64GB

硬盘容量：128T

以太网卡：千兆

2.数据加载与预处理模块

该模块的实现过程如图2所示：

(1)读取外界的各类异构数据，通过导入excel文件、执行sql脚本等方式来输入数据资源。

(2)如果在系统数据库内存在，则做新增数据操作，否则做更新操作。

(3)数据采集完成，结束。

上述数据采集过程中，相关的数据集对应数据表和数据及字段关系对应表的表结构如图7和图8所示。如需导入一个文件名叫2019.6一卡通数据.xls的excel数据文档，文档中包含7个sheet页，分别叫20190602,20190603…20190608，则将文件名记录到数据集对应数据表，将每个sheet页的内容记录到数据及字段关系对应表。

3.多维度数据呈现模块

该模块的实现过程如图3所示：将系统数据库中需要可视化的数据，根据数据类型，提供各类图表的呈现或者是地图信息展现，功能包括：自定义数据呈现维度，过滤数据呈现的颗粒度，设置度量项，设置度量项计算项(求和、平均、最大值、最小值等)，设置各图表配置项(如图表标题、参考线的等)，设置地图的交通线路呈现等。

图表的类型支持柱状图，饼图，漏斗图等各种风格，并提供图形的实时参数保存，可以使得用户能轻松的找回在多维度数据呈现模块中保存过的历史图形和相应的参数，为其他的模块提供数据上的准备。

上述数据过程，相关的表字段属性信息如图9所示。如将相应的数据进行了数据图标呈现之后，需要保存相关的参数，则将数据集的名称保存到对应的数据集名称字段，将数据处理状态从草稿修改为保存，并往数据集描述字段中写入一些描述性的信息。

4.模型与关系维护模块

该模块的实现过程如图4所示：

点击模型结构树的叶子节点(领域)时，默认绘制该领域的根节点(即读取MODEL_ID对应的parentId＝0的数据，默认一开始肯定只有一个点。

绘图区域放置一个固定的功能区域侧边栏，选择某个子节点后，显示对应的模型名称、模型描述，领域名称、领域描述。

双击某一节点，绘制该节点下的所有子节点，节点与节点直接的联系名称读取的是该子节点，选择某一节点后，功能区域应显示该节点的名称和描述；选择某一个关系时，显示关系的名称和描述。

功能区域放置一些功能按钮，包括：

新建：点击输入节点名称、节点描述，创建一个新节点。

修改：选中了节点或关系后此按钮可用，编辑节点或关系名称和描述。

删除：选择了节点或关系后此按钮可用，删除节点或关系。

设置为起点：选择节点后此按钮可用；

设置为终点：选择节点且当前某一个节点设置为起点后此按钮可用。

修改保存：当对模型有进行过编辑后，此按钮可用。

以上功能按钮操作后，立即进行相应绘图操作并没保存至数据库，只有点击修改保存按钮才保存至数据库。上述操作过程，相关的功能页面如图10所示。

5.数据融合实验室模块

该模块的实现过程如图5所示：

根据前面的功能模块，对数据再次加工融合，并将融合后的数据展示到客户端，使得用户可以直观的感受融合效果。

融合模型：通过运算获得出租车数据的出发流量图和出租车数据的到达流量图，形成交通流量融合模型；然后，基于上述交通流量融合，获得一卡通与网约车的综合流量；最后比较分析流量一致性。除了空间融合，还可进行时间维度上的融合分析，集成同一时段的周末和工作日进行分析比较，以此分析城市功能区域划分。包含工作区、居住区、商业区，分析某一个区域在正常工作日或者周末的情况下，出现异常的交通峰值，进行预警，然后，与城市事件进行对比分析；在时间维度上叠加，可以以5种维度(一周7天按照上午(6～12)、下午(12～19)、前半夜(19～12)、后半夜(12-6)、一整天)的出发流量图和到达流量图，来展现一个城市一周的情况，形成城市宏观画像；同时，这个数据也可以用于城市功能区域划分。上述过程，相关的宏观画像如图11所示。

6.跨系统画像模块

该模块的实现过程如图6所示：

①从服务器数据库中选取交通数据集，并进行数据的提取设置运算公式和参数，并选取数据集；

②运算结果在地图上以热力图形式展现，进行画像展示；

③点击某个区域后，会有这个区域的详细的带有POI信息的地图(用于分析)和该区域的一些文字简介；

④点击某个区域后，还有一个曲线图，如果是两个图对比的话，这个曲线图里面就是两条曲线；如果是峰值预警的话，就会出现正常情况和异常情况的对比曲线；

该模块包含下面6个子图，分布为：

①北京一卡通数据的区域出发流量图；

②北京一卡通数据的区域到达流量图；

③北京网约车数据的区域出发流量图；

④北京网约车数据的区域到达流量图；

⑤北京共享单车数据的区域出发流量图；

⑥北京共享单车数据的区域到达流量图；

上述画像，根据相应的选择，呈现不同的子图，如图12所示。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (7)

1.一种数据驱动的城市精准深度画像系统，其特征在于：包括数据加载与预处理模块、多维度数据呈现模块、模型与关系维护模块、数据融合实验室模块和跨系统画像模块；

所述数据加载与预处理模块，实现数据加载与预处理的功能；所述数据加载是导入外界的各类异构数据，形成多个数据集；所述各类异构数据包括交通类、销售类、天气情况、微博、云词热点和POI数据；以数据集的名称作为表名，数据集的字段作为表的属性，建立一一对应关系并存入数据库中，形成整体性的数据关联，其中交通类数据包括一卡通出发数据、一卡通到达数据、共享单车出发数据、共享单车到达数据、网约车出发数据、网约车到达数据；所述预处理包括新建、编辑和删除数据集；对已有数据集里的数据进行查询过滤和加工编辑；所述加工编辑是指对初始数据进行清洗加工和数据运算；预处理后的各类数据提供给多维度数据呈现模块、模型与关系维护模块；

所述多维度数据呈现模块，实现以图表呈现已加载的数据集，并对数据集中的各类数据进行多维度呈现；基于数据加载与预处理模块、模型与关系维护模块获取的数据，先将数据特征进行多维度提取并形成新的数据特征，再针对提取后形成的数据特征进行数学计算项运算，将运算后的数据进行图形化呈现，最后根据呈现效果判断是否进行数据状态的保存；所述数据多维度提取功能包括：数据的时间维度，空间维度和多元语义维度；所述数学计算项包括求和、平均、最大值和最小值；所述图形化呈现包括：折线图、柱状图、饼图、漏斗图、地图；对数据进行多维度呈现之后，根据呈现效果判断是否进行数据状态的保存；得到数据后并进一步为模型与关系维护模块以及数据融合实验室模块提供数据来源；

所述模型与关系维护模块，用于从数据加载与预处理模块和多维度数据呈现模块中所获取数据，对数据进行业务领域的划分，并将划分后的不同业务领域的数据，根据实际业务建立数据联系，并存储至数据库；所述业务领域的划分功能包括：将数据进行业务领域的划分，划分类别包括：工业、交通与邮政、公共服务、出行数据模型，并对每个类别命名对应的模型名称、模型描述，领域名称、领域描述；所述建立数据联系功能包括：将不同领域的数据根据各自特定的数据特征，包括时间范围、空间范围或者语义逻辑进行数据挖掘，并建立数据关联，形成结构化数据；得到结构化数据后以利于更有针对性的对数据融合实验室模块提供数据；

所述数据融合实验室模块，从模型与关系维护模块和多维度数据呈现模块中所获取数据，并对获取的各种数据过滤清洗，再进一步对过滤清洗后的数据进行特征融合形成新的融合数据，从而为后续的应用和管理提供支持，并将新的融合数据存储至数据库；所述数据过滤清洗功能包括：发现并纠正数据中可识别的错误，检查数据一致性，处理无效值和缺失值；所述数据特征融合功能包括：将数据进行特征融合，特征包括目标的方向、速度、交通流量，然后对特征信息进行综合分析和处理，来理解数据集之间的深层管理；并为跨系统画像模块提供数据；

所述跨系统画像模块，利用数据融合实验室模块的实验结果和数据加载与预处理模块导入的交通数据，作为跨系统画像模块各个子画像的数据来源；先选择相应的交通数据，再根据交通数据，提炼出以下统计类数据，数据统计区间为一周内7天时间，每天按24小时进行统计形成不同的统计数据；再基于统计数据抽取轨迹与速度信息、基于POI数据获取城市功能描述，构建拥堵指数以及定量地反映某区域当前速度情况；所述交通数据包括：一卡通出发数据、一卡通到达数据、共享单车出发数据、共享单车到达数据、网约车出发数据、网约车到达数据；一卡通出发数据、一卡通到达数据、共享单车出发数据、共享单车到达数据、网约车出发数据、网约车到达数据；所述各个子画像包括：一卡通出发画像、一卡通到达画像、共享单车出发画像、共享单车到达画像、网约车出发画像、网约车到达画像；所述统计数据包括：按行政区域统计出发或到达的总体流量、平均流量、平均速度，瞬时速度。

2.如权利要求1所述的数据驱动的城市精准深度画像系统，其特征在于，所述数据加载与预处理模块具体包括，

首先对数据进行标准格式的整理，按照表头和属性一一对应进行，并将数据保存为excel文件；选择Excel导入文件后，上传到服务器后，解析excel文件，解析后台逻辑如下：首先为每一张Excel的SHEET自动生成一个Tabel表名(UUID)，将用户填写的数据集名称、描述、数据表名、sheet页名称信息记录到DATASET数据表中；再将每个SHEET页的表头信息记录到DATASET_FIELD表中，记录这个数据集对应有哪些字段、字段含义是什么、字段类型是什么；最后创建数据集实体表，将Excel里的数据导入到这张表中；供多维度数据呈现、模型与关系维护步骤调用。

3.如权利要求1所述的数据驱动的城市精准深度画像系统，其特征在于，所述多维度数据呈现模块：通过列表展示出数据加载与预处理模块获取的所有的数据集，然后通过选择相应数据集，显示选中数据集对应的所有字段；利用鼠标拖拽，将字段拖动到纬度项、度量项、过滤筛选区域，选择要生成的图表类型，包括柱状图、折线图、漏斗图、饼图和设置各类图表的配置项；对已加载的数据集提供各类图表的呈现，呈现的功能包括：自定义数据呈现维度，过滤数据呈现的颗粒度，设置度量项，设置度量项计算项，包括求和、平均、最大值、最小值；设置各图表配置项，包括图表标题和参考线。

4.如权利要求1所述的数据驱动的城市精准深度画像系统，其特征在于，模型与关系维护模块，在数据加载与预处理模块中导入系统的分散数据，进行关联关系的建立，利用结构树创建新的模型领域，在领域下允许创建新的子领域，包括领域名称、领域描述，有新增模型和领域，也有修改、删除模型和领域；删除时需要同时删除两张表中的对应数据；如果删除的是当前选中的，则需要刷新图形；开始默认，只有一个点，展示节点时，根据是否为叶子节点使用不同的颜色，非叶子节点使用浅蓝色底纹，叶子节点使用绿色底纹；绘图区域放置一个固定的功能区域侧边栏，选择某个子节点后，显示对应的模型名称、模型描述，领域名称、领域描述；操作后，进行相应绘图操作并保存至数据库。

5.如权利要求1所述的数据驱动的城市精准深度画像系统，其特征在于，数据融合实验室模块，将数据加载与预处理步骤、模型与关系维护步骤得到的数据，在数据层面从时间维度、空间维度和多元语义维度入手，构建多粒度的海量城市感知数据结构化描述框架，建立宏观、中观和微观等不同尺度的城市时空模型，实现城市大数据在不同粒度语义上的知识融合、互补和共享，提升对多源感知城市大数据理解的深度和广度；以多粒度的层次化语义描述框架实现对多领域、跨系统城市感知数据的深度融合与关联关系挖掘，实现多视角、多尺度自动化知识挖掘与数据关联。

6.如权利要求1所述的数据驱动的城市精准深度画像系统，其特征在于，所述跨系统画像模块：利用数据融合实验室步骤的实验结果和数据加载与预处理模块导入的交通数据，来进一步展示数据的可视化效果；采用echart的强大功能，并结合行政区域的经纬度信息，将城市数据按区域和时间进行热力图的呈现，并画出一些辅助性的三维立体图进行数据宏观展示。

7.一种数据驱动的城市精准深度画像系统的方法，其特征在于，包括以下步骤：

步骤(1)数据加载与预处理

首先对数据进行标准格式的整理，按照表头和属性一一对应进行，并将数据保存为excel文件；选择Excel导入文件后，上传到服务器后，解析excel文件，解析后台逻辑如下：首先为每一张Excel的SHEET自动生成一个Tabel表名，将用户填写的数据集名称、描述、数据表名、sheet页名称信息记录到DATASET数据表中；再将每个SHEET页的表头信息记录到DATASET_FIELD表中，记录这个数据集对应有哪些字段、字段含义是什么、字段类型是什么；最后创建数据集实体表，将Excel里的数据导入到这张表中；供多维度数据呈现模块、模型与关系维护模块调用；

步骤(2)多维度数据呈现

通过列表展示出数据加载与预处理模块获取的所有的数据集，然后通过选择相应数据集，显示选中数据集对应的所有字段；利用鼠标拖拽，将字段拖动到纬度项、度量项、过滤筛选区域，选择要生成的图表类型，包括柱状图、折线图、漏斗图、饼图，设置各类图表的配置项；对已加载的数据集提供各类图表的呈现，功能包括：自定义数据呈现维度，过滤数据呈现的颗粒度，设置度量项，设置度量项计算项如求和、平均、最大值、最小值，设置各图表配置项，包括图表标题、参考线；

步骤(3)模型与关系维护

在数据加载与预处理模块中导入系统的分散数据，进行关联关系的建立，利用结构树创建新的模型领域，在领域下允许创建新的子领域，包括领域名称、领域描述，有新增模型和领域，也有修改、删除模型和领域；删除时需要同时删除两张表中的对应数据；如删除的是当前选中的，还需要刷新图形；一开始默认一开始只有一个点，系统展示节点时，根据是否为叶子节点使用不同的颜色，非叶子节点使用浅蓝色底纹，叶子节点使用绿色底纹；绘图区域放置一个固定的功能区域侧边栏，选择某个子节点后，显示对应的模型名称、模型描述，领域名称、领域描述；操作功能按钮后，立即进行相应绘图操作并保存至数据库；

步骤(4)数据融合实验室

将数据加载与预处理模块和模型与关系维护模块得到的数据，在数据层面从时间维度、空间维度和多元语义维度入手，构建多粒度的海量城市感知数据结构化描述框架，建立宏观、中观和微观等不同尺度的城市时空模型，实现城市大数据在不同粒度语义上的知识融合、互补和共享，提升对多源感知城市大数据理解的深度和广度；以多粒度的层次化语义描述框架实现对多领域、跨系统城市感知数据的深度融合与关联关系挖掘，实现多视角、多尺度自动化知识挖掘与数据关联；

步骤(5)跨系统画像

利用数据融合实验结果和导入的交通数据，来进一步展示数据的可视化效果；采用echart并结合行政区域的经纬度信息，将城市数据按区域和时间进行热力图的呈现，并画出一些辅助性的三维立体图进行数据宏观展示。

Images