CN116307757B - 一种数据智能交互方法、交互系统、计算机设备及应用 - Google Patents

一种数据智能交互方法、交互系统、计算机设备及应用 Download PDF

Info

Publication number
CN116307757B
CN116307757B CN202310076697.XA CN202310076697A CN116307757B CN 116307757 B CN116307757 B CN 116307757B CN 202310076697 A CN202310076697 A CN 202310076697A CN 116307757 B CN116307757 B CN 116307757B
Authority
CN
China
Prior art keywords
data
intelligent
management
information
urban
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310076697.XA
Other languages
English (en)
Other versions
CN116307757A (zh
Inventor
尹春福
艾川
李波
邓立丰
李英俊
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Rongke Zhiwei Cloud Technology Co ltd
Original Assignee
Liaoning Rongke Zhiwei Cloud Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Rongke Zhiwei Cloud Technology Co ltd filed Critical Liaoning Rongke Zhiwei Cloud Technology Co ltd
Priority to CN202310076697.XA priority Critical patent/CN116307757B/zh
Publication of CN116307757A publication Critical patent/CN116307757A/zh
Application granted granted Critical
Publication of CN116307757B publication Critical patent/CN116307757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0637Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315Needs-based resource requirements planning or analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00Adapting or protecting infrastructure or their operation
    • Y02A30/60Planning or developing urban green infrastructure

Abstract

本发明属于互联网数据识别技术领域,公开了一种数据智能交互方法、交互系统、计算机设备及应用。基于知识图谱的信息通道耦合;构建多层次多粒度的城市信息单元全息画像,获取城市多层级信息单元之间的隐含关联;融合多模态政务数据与社会传感数据;融合多模态时空数据的群体行为演化过程重构;进行需求侧数据共享和知识驱动的智能政务服务;基于用户行为获取空间数据主动服务目标。本发明突破海量数据透明管理、城市管理协同技术、城市管理一体化服务中台、城市管理智能服务等技术,研制可视化、可迭代、可评估政务大数据透明管理和智能服务平台,实现政务大数据跨部门多尺度、多维度的透明管理和高效快捷无感知智能服务供给。

Description

一种数据智能交互方法、交互系统、计算机设备及应用
技术领域
本发明属于互联网数据识别技术领域,尤其涉及一种数据智能交互方法、交互系统、计算机设备及应用。
背景技术
“互联网+”政务大数据智能服务理论与方法是实现政务数据在大数据环境下智能治理和互通互联的基础研究,其主要包括政务大数据透明管理和城市透明智能体两大理论方法。在此基础上本文提出了互联网+政务大数据智能服务平台,如图1所示。本平台利用城市透明智能体对多模态基础政务数据以及社会传感数据在多空间进行智能可信计算,提供城市多场景特定中的预警、调度、维保等日常管理或应急指挥提供智能决策服务,实现政务相关服务和决策的即时、自动、精准和智能化,提升城市治理水平和应急指挥能力。此外,政务大数据的透明管理模型可以有效地支撑智能服务模型的高效推理和数据溯源,从存储、运维、安全等方面保证政务数据的透明管理。
政务大数据的透明智能体从全周期存储、计算、访问、运维、安全、销毁等方面保证政务数据的透明管理,具体包括研究基于场景自适应感知的混合信息分布式存储技术、混搭架构下政务大数据互操作与溯源、针对面向政务大数据的混合计算检索框架、自主感知的增量数据发现更新、负载均衡下的数据透明迁移、基于差分隐私和匿名化的数据安全、基于密钥管理的云存储管理下的数据销毁等政务大数据全生命周期管理方法,并利用RPA容器化管理,实现数据和知识在存储、传输、运维及可视化过程的透明化。
城市透明智能体技术面向城市管理和决策需求对城市进行划分,融合“物理-社会-信息”三元空间数据和智能模型形成跨领域、跨层级的智能计算单元,结合城市计算和城市行政管理层级,从时间、空间、层级进行跨领域、跨层级的数据表示学习,对时间、空间、层级、以及天气、温度、节假日等外部环境进行特征提取,设计塔式聚合结构从网格层到市辖区层实现跨领域、跨层级的特征聚合,基于空间/社会/信息单元编码,多智能体技术、知识图谱、群智计算、数字孪生、可信计算、联邦学习等,实现对城市不同尺度深刻认知,从物理空间、社会空间、数字空间综合把握城市面貌和发展态势,面向省级两级,提供基于微服务架构的政务工具类、政务专项决策类和政务数据类等智能服务,覆盖国土、电力、环保、水务、疫情、社会治理等业务场景,支撑面向城市日常管理和应急响应的智能服务决策。
再者,智慧城市建设中各部门建设了大量孤立、封闭、异构的管理服务系统,在跨部门、跨行业、跨领域的城市协同管理和综合服务上存在一定局限,集中体现在城市政务数据和系统功能分散、交织、碎片化而导致共享协同难问题,并缺乏与社会传感数据深度融合分析,导致对城市要素动态演化认知不足,阻碍了城市的精细化管理和科学的应急指挥决策。在“互联网+”环境下,城市管理服务系统从孤立封闭走向开放透明、城市管理模式从被动粗放走向主动精细、城市服务方式从单一机械走向综合智能。因此,迫切需要建立城市政务大数据管理、业务协同和智能服务的新理论、新技术和新平台,提升城市日常管理和政府应急指挥决策能力。
面向城市日常管理和应急指挥应用需求,突破异构信息透明访问与汇聚、基于城市信息单元的城市全息画像、融合多模态政务数据与社会传感数据、城市群体行为演化过程重构、知识驱动的智能政务服务等5个关键技术(封装在透明管理智能体中),解决大规模跨领域城市政务大数据深度融合、城市要素动态演化和控制、协同智能服务决策等3类城市透明管理与智能服务难题,形成城市透明管理智能体,来支撑政务综合业务微服务集的对外应用服务,构建实时、高效、安全的城市政务大数据透明管理和智能服务平台。
通过上述分析,现有技术存在的问题及缺陷为:
(1)现有的研究和应用工作主要集中在政务领域垂直业务上,忽略了政务大数据与其他城市数据的汇聚协同共享,随着互联网+智慧城市数据的极大丰富和应用场景复杂化,亟需一个面向城市日常管理和应急指挥的政务大数据透明智能体和先进智能服务平台架构,来汇集国内智慧城市,人工智能和大数据应用的主要科研及应用示范力量,通过建立城市政务大数据管理、业务协同和智能服务的新理论、新技术和新平台,提升城市日常管理和政府应急指挥决策能力。
(2)现有技术不能为特定场景中的预测预警、指挥调度等日常管理或应急提供智能决策服务提供即时、自动、精准和智能化数据信息。
(3)现有技术在跨域数据的互操作及透明访问中,对不同的管道数据源不能实现数据实时、准确、安全和可溯源的可控透明访问与在线汇聚和深度融合,在无感知智能服务供给上受限制。
发明内容
为克服相关技术中存在的问题,本发明公开实施例提供了一种数据智能交互方法、交互系统、计算机设备及应用。具体涉及一种基于云原生和大数据架构的数据智能交互方法及系统。
本发明创新点在于:城市信息单元透明智能体是面向城市管理和决策需求对城市划分形成的信息单元,依赖全生命周期政务大数据透明管理模型,融合“物理-社会-信息”三元空间数据和智能模型形成跨领域、跨层级的智能计算单元,以政务事理图谱和业务协同链作为协同智能引擎,以知识图谱、群智计算、深度学习、可信计算为AI算法库支撑,面向省市两级,覆盖政府部门的国土、电力、环保、水务、疫情、社会治理等业务场景,支撑面向城市日常管理和应急响应的智能服务决策。
所述技术方案如下:本发明提供一种基于云原生和大数据架构的数据智能交互方法,包括:
基于云原生和大数据架构的数据智能交互方法,其特征在于,所述基于云原生和大数据架构的数据智能交互方法包括:
S1,基于知识图谱的信息通道耦合,构建多层次多粒度的城市信息单元全息画像,获取城市多层级信息单元之间的隐含关联;
S2,融合多模态政务数据与社会传感数据;
S3,融合多模态时空数据的群体行为演化过程重构;
S4,进行需求侧数据共享和知识驱动的智能政务服务;
S5,基于用户行为获取空间数据主动服务目标。
本发明的另一目的在于提供一种基于云原生和大数据架构的数据智能交互系统,从下到上依次布置有:基础支撑云、数据资源湖、透明智能体、应用微服务集、访问入口。
本发明的另一目的在于提供一种基于云原生和大数据架构的数据智能交互方法在政务数据访问、数据透明管理、国土、环保、水务、电力、交通、社保、医保、城市治理数据进行动态展示和决策预测上的应用。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述基于云原生和大数据架构的数据智能交互方法。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:
第一、针对上述现有技术存在的技术问题以及解决该问题的难度,紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等,详细、深刻地分析本发明技术方案如何解决的技术问题,解决问题之后带来的一些具备创造性的技术效果,具体描述如下:
(1)分析城市政务大数据结合城市信息单元透明智能体的标准、模型,智能政务服务理论和城市协同管理指标体系,实现政务大数据的全生命周期管理,提供多场景自适应数据融合的智能服务模型理论与方法。并应用于特定政务场景(政务多部门的微服务集),所产生的效果是为特定场景中的预测预警、指挥调度等日常管理或应急提供智能决策服务,实现政务相关服务和决策的即时、自动、精准和智能化,提升城市治理水平和应急指挥能力。
(2)针对各业务系统的技术架构差异,研究跨域数据的互操作及透明访问标准与模型管理技术、异构信息通道耦合与互操作技术,对不同的管道数据源进行共享、管理和交互,实现数据实时、准确、安全和可溯源的可控透明访问与在线汇聚和深度融合。
(3)针对城市群体行为演变规律认知欠缺和实时的流动信息掌握不足问题,突破城市物理-数字空间的社会传感、城市政务数据的结构化描述、城市群体行为演化模型、信息聚焦的决策服务等技术,建立跨时空关联挖掘、多尺度多维度融合、语义感知表达支持的城市要素流动演化分析方法体系和城市管理业务模型。
(4)突破海量数据透明管理、城市管理协同技术、城市管理一体化服务中台、城市管理智能服务等技术,研制可视化、可迭代、可评估政务大数据透明管理和智能服务平台,实现政务大数据跨部门多尺度、多维度的透明管理和高效快捷无感知智能服务供给。
(5)城市信息单元-数据智能体的提出:不同于“网格”仅作地理区域的划分,也不同于“块数据”仅是从管理角度出发的数据汇聚;城市信息单元智能体是面向城市管理和决策需求对城市划分形成的信息单元;融合“物理-社会-信息”三元空间数据和智能模型形成跨领域、跨层级的智能计算单元;以政务事理图谱和业务协同链作为协同智能引擎,以知识图谱、群智计算、深度学习、可信计算为算法库支撑;实现了数据和知识存储、传输、运维等全周期过程的透明化。
(6)城市信息单元的数据统一编码:是以统一地址地理底图为基础和关联纽带,将分散在各部门的物理空间、社会空间、信息空间等社会治理要素,按照管理层级封装到省、市、区、街道、社区、网格、建筑物、房屋等社会治理单元,打造“立体化”社会治理大数据,构建出社会治理智能底板为社会治理智能化提供支撑。
(7)城市信息单元的数据智能计算:城市信息单元智能体基于“物理-社会-信息”三元空间数据结合城市计算和城市行政管理层级,从时间、空间、层级进行跨领域、跨层级的数据多模态表示学习对时间、空间、层级、以及天气、温度、节假日等外部环境进行特征提取设计塔式聚合结构从网格层到市辖区层实现跨领域、跨层级的特征聚合支撑面向城市日常管理和应急响应的智能服务决策。
(8)城市信息单元的数据智能引擎:城市透明智能体以政务事理图谱和业务协同链作为协同智能引擎,以城市信息单元为基础,以行业场景知识需求为驱动,以知识图谱、群智计算、深度学习、可信计算为算法库支撑,构建面向不同场景需求的城市透明智能体,实现对城市不同尺度的深刻认知,从物理空间、社会空间、数字空间综合把握城市面貌和发展态势。
(9)全生命周期的政务数据管理方法:利用基于场景自适应感知的混合信息分布式存储技术、面向政务大数据的混合计算框架、自主感知的增量数据发现更新技术、负载均衡下的数据透明迁移技术、基于差分隐私和匿名化的数据安全技术、基于密钥管理的云存储管理下的数据销毁技术等,实现了数据和知识存储、传输、安全、运维等全生命周期透明化。
(10)基于知识图谱的信息通道耦合方法:首先获取多格式的通道数据,并通过通道增强的方法减轻通道混叠效应的影响。对通道数据作元数据提取和关键词抽取,并将其标准化为通道标准数据。其次通过“词目相连”策略和“目目关联”策略实现知识融合和知识加工,构建通道耦合知识图谱实体之间关联关系。最后对通道耦合知识图谱作知识更新,实现通道之间的联动、促进和叠加,最终实现数据的全链接。
(11)基于城市信息单元的多源数据融合:通过多源、多维、异构时空大数据进行主动汇集,进行语义解析,完成地理知识时空构建;建立数据匹配模型和关联模型,实现城市实体与时空多源时空数据的透明融合。
(12)基于知识图谱的决策信息主动推荐:解决了辅助政府决策中多语义协调检索、多用户感知交互和多服务聚合推送等技术难题,实现了跨部门决策信息主动服务。
(13)面向政府决策过程中用户-部门-系统间的复杂数据交互关系,提出了一种数据融合用户属性、实体属性和多元关系的知识图谱构建方法,从知识抽取、信息融合、知识建模和知识存储等方面提炼了知识图谱的构建流程和关键技术,实现多源数据向互联知识转化,在政务服务信息、灾情等信息上得到应用。
(14)全生命周期的政务数据透明管理方法:利用基于场景自适应感知的混合信息分布式存储技术、面向政务大数据的混合计算框架、自主感知的增量数据发现更新技术、负载均衡下的数据透明迁移技术、基于差分隐私和匿名化的数据安全技术、基于密钥管理的云存储管理下的数据销毁技术等,实现了数据和知识存储、传输、安全、运维等全生命周期透明化。
(15)政务数据多语义表达:基于地名实体库和中文分词技术,设计基于语义模板的位置信息与属性信息抽取方法;在此基础上,实现了基于语义相似度评价和地理编码的“名称-要素”匹配方法的非结构化、半结构化文本信息与空间数据的关联与整合。
第二、把技术方案看作一个整体或者从产品的角度,本发明所要保护的技术方案具备的技术效果和优点,具体描述如下:
本发明提供了一种异构信息管道数据透明访问与汇聚技术:城市管理数据来源于政务信息管道、视频信息管道、遥感信息管道、物联网信息管道、互联网信息管道、北斗导航信息管道等,分析异构信息管道耦合技术、异构信息管道之间的促进机制、联动机制和叠加放大机制,加强异构信息管道之间的协同关联性。实现多源、多尺度、多维度异构数据透明访问、在线汇聚和共享。
第三、作为本发明的创造性辅助证据,还体现在以下几个重要方面:
(1)本发明的技术方案转化后的预期收益和商业价值为:
经济效益方面,本发明提供的城市政务大数据透明管理和智能服务平台应用于城市国土规划、公共安全与环保等典型领域,实现跨部门、跨地区、跨领域的数据可控透明管理和智能政务综合服务,提高行政效率。利用搭建城市透明管理交换方法和系统,围绕政府业务的科学决策、智能化多业务协同、政府行业服务决策分析、政务服务协同决策、城市群体健康画像分析等领域,减少因政务协同效率低而造成的人力财力物力的浪费,具有较好的经济效益。根据通用型产品估算预期收益:第一年200万,第二年300万,第三年以后均收益500万左右。
商业价值方面,本发明成果在政务生态领域落地为智能化政务业务数据协同处理系统。例如:以污染源管理为主线,将建设项目审批管理、排污许可证管理、现场执法、限期整改、限期治理、污染源关停、行政处罚、固废管理、核与辐射管理等业务集成而形成的一体化的管理系统,实现污染源全生命周期管理和跨部门的业务流转与协同,包含预警提醒,任务主动推送、预警自动判断,从源头治理污染,具有较好的生态效益。
(2)本发明的技术方案填补了国内外业内技术空白:
科学价值方面,目前智慧城市建设中各部门建设了大量孤立、封闭、异构的管理服务系统,在跨部门、跨行业、跨领域的城市协同管理和综合服务上存在一定局限,集中体现在城市政务数据和系统功能分散、交织、碎片化,并缺乏与社会传感数据深度共享融合,对城市群体行为动态演化认知不足等,本项目突破面向城市管理的智能服务建模、异构信息通道耦合与共享汇聚、物理数字空间社会传感、城市透明管理与综合决策平台与应用示范系统等关键等技术,在透明管理和智能服务理论和方法、政务大数据透明访问与在线汇聚、城市群体行为演化等方面取得明显创新,构建出城市政务大数据透明管理和智能服务平台,推进智慧城市构建进程,具有较高科学价值。
(3)本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题:
始终未能获得成功的技术难题:
a、大规模跨领域城市政务数据融合:针对政务系统技术架构、业务逻辑多异,数据低质、冗余、碎片、不一致等特征,如何通过对政务数据透明互访、在线汇聚、关联融合,监管溯源等实现政务系统数据的互补增强、汇聚融合是面临的首要科学挑战。
b、城市要素动态演化和控制:如何将城市政务大数据与多源、多态、泛在的社会传感数据进行深度融合,并提取“人”、“事”、“物”等城市要素的状态、特征和关联关系,挖掘城市要素时空交互模式,揭示城市群体行为演化规律,实现城市要素流动的预测和控制,支撑城市日常管理、应急指挥和决策。
c、城市管理的透明化:如何突破城市服务从供给侧到需求侧的数据共享和服务机制,以城市信息单元为载体,构建城市政务大数据全生命周期的透明管理模型,以政务大数据为中心,揭示跨领域跨场景的城市数据关联关系,实现对城市生活环境的透彻感知、城市资源的全面调控和城市各部件的协调配合。
(4)本发明的技术方案克服了技术偏见:
传统政务数据交互和汇聚方法多采用单一信息管道(通过API接口实现),不同信息管道间(库表、XML、定位、遥感、视频等管道)无法实现数据耦合,数据无关联,也就是说政务数据与互联网等社会传感数据不融合。
本发明将重点突破异构信息管道耦合、数据跨域语义互操作、多源异构数据在线汇聚和溯源、政务大数据一体化表征、城市群体行为演化、城市管理业务协同、政务智能决策模型等关键技术,实现政务大数据透明管理、智能交互融合的全面创新,支持对多源、多模态、多尺度、异构数据透明访问和高效融合共享以及跨层级、跨部门无缝协作和智能决策支持。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理;
图1是本发明实施例提供的基于云原生和大数据架构的数据智能交互方法流程图;
图2是本发明实施例提供的基于知识图谱的信息通道耦合方法原理图;
图3是本发明实施例提供的融合多模态政务数据与社会传感数据框架示意图;
图4是本发明实施例提供的面向多元主体的城市管理信息聚焦决策智能化信息服务原理图;
图5是本发明实施例提供的用户异常轨迹检测方法流程图;
图6是本发明实施例提供的基于语义模板的位置信息与属性信息抽取方法流程图;
图7是本发明实施例提供的收录提取政务地理信息及相关主题信息资源原理图;
图8是本发明实施例提供的基于云原生和大数据架构的数据智能交互系统框架原理图;
图9是本发明实施例提供的人群流量预测可视化系统架构图;
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似改进,因此本发明不受下面公开的具体实施的限制。
一、解释说明实施例:
如图1所示,本发明实施例提供一种基于云原生和大数据架构的数据智能交互方法,包括:
S1,基于知识图谱的信息通道耦合,构建多层次多粒度的城市信息单元全息画像,获取城市多层级信息单元之间的隐含关联;
S2,融合多模态政务数据与社会传感数据;
S3,融合多模态时空数据的群体行为演化过程重构;
S4,进行需求侧数据共享和知识驱动的智能政务服务;
S5,基于用户行为获取空间数据主动服务目标。
实施例1
本发明实施例提供的基于云原生和大数据架构的数据智能交互方法:
(1)基于知识图谱的信息通道耦合方法:首先获取多格式的通道数据,并通过通道增强的方法减轻通道混叠效应的影响。对通道数据作元数据提取和关键词抽取,并将其标准化为通道标准数据。其次通过“词目相连”策略和“目目关联”策略实现知识融合和知识加工,构建通道耦合知识图谱实体之间关联关系。最后对通道耦合知识图谱作知识更新,实现通道之间的联动、促进和叠加,最终实现数据的全链接。如图2所示。
(2)基于城市信息单元的城市全息画像技术:城市管理积累了大量的多模态基础政务数据以及社会传感数据,分别针对这两类数据进行城市实体信息单元建模和城市社会信息单元建模,通过特征抽取、跨媒体分析推理、标签建模,构建多层次多粒度的城市信息单元全息画像,将有助于全方位、更精准地对城市政务数据进行描述。
考虑城市的层次化特征及不同层次之间的关联性,进一步将城市信息单元画像进行了层次化建模,提出了基于多任务的多层级城市信息单元画像建模方法MMUP,将不同层级的信息单元画像建模作为多个任务,多个任务的损失加权求和作为该方法的损失函数,充分挖掘了城市多层级信息单元之间的隐含关联。
(3)融合多模态政务数据与社会传感数据技术:低现势性政务大数据和高时效社会传感数据的融合将极大提升数据价值。需要基于城市信息单元的城市全息画像,以及时空约束、语义约束和关联规则将城市实体信息单元与位置、网络行为等城市社会信息单元关联融合,从而更多维、更现势、更精准对上层城市服务提供支撑。如图3所示。
通过多源、多维、异构时空大数据进行主动汇集,进行语义解析,完成地理知识时空构建;建立数据匹配模型和关联模型,实现城市实体与时空多源时空数据的透明融合。面向政府决策过程中用户-部门-系统间的复杂交互关系,提出了一种融合用户属性、实体属性和多元关系的知识图谱构建方法,从知识抽取、信息融合、知识建模和知识存储等方面提炼了知识图谱的构建流程和关键技术,实现多源数据向互联知识转化,在政务服务信息、灾情信息上得到应用。如图4面向多元主体的城市管理信息聚焦决策智能化信息服务原理图所示。其中,针对政府决策信息服务中多主体信息服务问题,构建了用户、地理和事件本体,实现多用户感知交互、多语义协调检索、服务聚合推送等技术难题,实现了政府决策信息面向多元主体的主动服务。
(4)融合多模态时空数据的群体行为演化过程重构技术:针对城市群体行为的时空不确定性、突发性及复杂关联性等,研究物理空间和数字空间融合的城市群体行为认知表达、时空异常特征探测、异常事件精准发现及可信预警等内容,建立城市大数据的跨时空关联挖掘、多尺度多维度融合理解模型,提出群体行为演化过程重构方法,实现群体事件的感知与预测。
针对当前异常轨迹检测方法存在的轨迹演化和检测结果类型单一的问题,综合运用用户历史行为模式、群体结构信息和近邻用户行为,提出一种全面、准确的用户异常轨迹检测方法。如图5所示。
(5)需求侧数据共享和知识驱动的智能政务服务技术:以城市信息单元为载体,分析基于需求侧的资源配置和服务机制,通过构建融合多维度的数据特征空间,结合场景驱动的信息单元关系网图,研究基于机器学习、深度网络的预测预警、指挥调度等等政务服务及决策技术。
示例性的,基于地名实体库和中文分词技术,设计基于语义模板的位置信息与属性信息抽取方法;在此基础上,实现了基于语义相似度评价和地理编码的“名称-要素”匹配方法的非结构化、半结构化文本信息与与空间数据的关联与整合。如图6所示。
示例性的,在语义网、Web爬虫、信息抽取、地理实体匹配等技术的支持下,从新闻网站、部门网站、博客/微博客、维基网等海量网络信息资源中动态、持续地收录提取政务地理信息及相关主题信息资源。如图7所示。
(6)基于用户行为分析空间数据主动服务:通过对于用户访问记录的分析与用户偏好模型的建立,完成用户偏好的感知并实现内容的主动推动,从而达到以空间数据的主动服务目标。
实施例2
本发明实施例提供的基于云原生和大数据架构的数据智能交互系统,从技术层面,包括五个层次,遵循云平台、微服务、分布式、中台化等主流技术路线,采用“云原生”经典系统架构思路,架构形成包括“云支撑、数据湖、能力池、应用群、访问入口”五个层次,城市透明管理模式标准规范和安全标准规范保障信息支撑体系。如图8所示。
以此为基础,布局基础支撑云、数据资源湖、透明智能体、应用微服务集等,构建高内聚、松耦合、开放式、敏捷化、可复用、可扩展的信息保障环境,实现平台之间的技术衔接、数据共享、应用一体、渠道融通、业务协同、能力共享、横向集成、纵向贯通及方法和模型对接。
示例性的,本发明实施例提供的基于云原生和大数据架构的数据智能交互方法包括:
(1)搭建数据透明管理和智能服务技术架构
基于智慧城市电子政务技术规范与国家标准,制定总体框架设计方案,确定平台架构、功能模块、内外接口等任务,实现高并发、低延迟、海量吞吐、持续稳定运行和柔性可伸缩等系统特征。支撑对城市日常管理、应急指挥、调度协同、多源异构融合等信息高效集成、管理和服务。
在本发明实施例中,搭建数据透明管理和智能服务技术架构具体包括:
1)逻辑架构
遵循云原生、微服务、分布式、中台化等主流技术路线,采用“云原生”经典系统架构思路,架构形成包括“云支撑、数据湖、能力池、应用群、访问入口”五个层次,“城市透明管理模式标准规范和安全标准规范”来保障信息支撑体系。
以此为基础,布局基础支撑云、数据资源湖、中台能力池、应用系统群、多媒体服务矩阵,构建高内聚、松耦合、开放式、敏捷化、可复用、可扩展的信息保障环境,实现平台之间的技术衔接、数据共享、应用一体、渠道融通、业务协同、能力共享、横向集成、纵向贯通及方法和模型对接。
2)功能架构
基于平台规划建设的各组成部分,按照平台的逻辑架构设计图,遵循数据高可用、资源易集成、能力可复用、应用敏捷化、标准能贯彻、运维有保障、成本可控制的架构原则,开展系统功能架构设计。
平台中各系统集成构建统一门户,由数据透明管理系统、数据透明访问工具、政务领导驾驶舱、智能服务模型(技术中台)、平台运行监控管理系统组成,采用省市两级分别应用模式,实现以“一网通办”、“一网统管”、“一网协同”三大互联网政务平台为核心的新型政务数据中枢和智能服务平台,汇聚、融合现有各级平台的资源与服务,支撑政务大数据治理、政府各部门决策和城市日常管理。最大程度地提升系统间协作效率,实现跨领域、跨层级、跨部门应用系统的高弹性、高容错、高可用、高复用。
3)数据架构
政务数据资源包括政务基础信息数据、业务数据、交换数据和数据仓库。数据架构遵循数据资产化、服务开放化的大数据架构思路,包括业务部门业务数据、第三方数据、原始数据、标准数据、基础库、主题库、专项库等七大模块单元。
数据透明访问提供实时同步、离线批量、异步传输、数据接口等采集方式和数据可视化生成能力。
数据透明管理为数据提供至少包括数据安全、数据质量、元数据管理和数据标准在内的数据治理能力。
数据分发提供面向外部应用的数据服务能力,包括API接口、数据库接口和文件接口。
4)开发技术架构
平台各功能采用分布式云架构,封装核心云支撑服务适配接口,用于实现云产品解耦设计。
在云基础设施层采用云架构,在物理设备基础上,实现计算资源、存储资源、网络资源的动态管理和资源调配。
在云支撑服务层,基于云基础设施,为应用层提供通用的技术支撑服务,包括分布式服务、分布式缓存、分布式数据访问、分布式日志服务、非结构化存储和消息队列等。
在适配层,将应用层依赖的分布式技术与云平台的分布式技术进行适配,实现应用层可以适配不同云平台的分布式技术。
开发语言和工具:采用Java语言;利用SpringBoot+maven框架进行后端开发;前端配合Layui整合Vue前端框架进行整体前端开发;后端开发工具为Eclipse;前端开发工具为Hbiulder。
5)网络架构
物理网络隔离:在两个DMZ之间配置一个网络,让其中的通信只能经由一个安全装置实现。在这个安全装置里面,防火墙及IDS/IPS规则会监控信息包来确认是否接收或拒绝它进入内网。这种技术是最安全但也最可靠的,因为它需要许多物理设备来将网络分隔成多个区块。
防火墙配置:平台部署时除加固优化或采用安全操作系统外,关键在于要把外网接口和内网接口从一套操作系统中分离出来。也就是说至少要由两套主机系统组成,一套控制外网接口,另一套控制内网接口,然后在两套主机系统之间通过不可路由的协议进行数据交换,从而达到了更高的安全级别。
6)应用架构
平台应用融合运用数据挖掘、分布式数据分析、人工智能、云计算、区块链等技术,对现有政务资源数据、社会感知数据进行透明管理,满足应用服务智能化需求,打通融合服务渠道资源,集成数据透明访问和管理系统、领导驾驶舱、智能服务组件等,采用高效可靠的智慧终端,为多方用户提供应用服务的过程。
数据透明访问和管理,对政务资源采集、交换、分析、展示各环节、数据可视化和全感知,满足网络泛在连接,最大限度地发挥政务资源开放共享,并实现更高价值创造。
平台通过融合其他智慧政务应用,实现智慧政务流、智慧数据流贯穿智慧政务服务申请、审批、结果、状态反馈全过程,成为融合智慧政务应用的桥梁,不断优化数据信息价值。
平台依托互联网技术,通过对政务服务数据的感知和控制,整合政府服务资源,提供面向公众、省市各级领导和其他行业经办部门的政务服务事项,优化科学决策、强化数据管理,提升智能化体验,实现政务服务智慧化应用。
7)数据流程
依照功能和数据架构设计,本着数据标准化、模型标准化、集成周期化、汇聚高效化等原则,针对政务数据资源中的政务基础信息数据、业务数据、交换数据和数据仓库四方面,开展数据流程设计。
数据透明访问依托行业部门采集基础政务信息数据,通过异构数据管道连接以及AI数据组织、数据在线汇聚构建基础库与主题库,与透明管理、技术中台达成数据互通。
技术中台通过社会传感技术和信息通道融合技术数据对社会原始数据采集并进行融合,构建平台生产数据库从而对行业专项应用服务提供数据支持,然后与政务大数据云中心进行数据交换,云中心提供数据,利用数据算法进行处理构建决策数据库。
领导驾驶舱利用平台生产数据库,提供行业专项应用服务,主要包括产生决策支持类辅助优化决策以及城市智慧服务类软件。
透明管理通过数据服务接口耦合、优先级排序、溯源管理、知识图谱等处理,构建专题库为信息推送以及智能检索提供数据,通过数据解析生成智能服务组件集,同时为决策数据库提供数据。
在本发明实施例中,海量数据高并发技术架构具体包括:
政务大数据测试平台结合项目具体需求和系统特点,参考国内外各地大数据测试平台主流模式,在此基础上进行创新改进,建设功能完善、适用于政务场景、架构合理、理念先进的政务大数据测试平台,主要内容包括以下三大模块。
1)负载测试模块
根据需求选择负载以及相应参数集合,执行选中负载。
2)资源监控模块
监控/收集资源利用率数据,进行瓶颈资源定位。
3)参数调优模块
根据瓶颈资源,筛选调优参数集合,寻找最优配置。
基于敏感度的参数选定策略。提出基于敏感度的参数选定策略,分析各参数对不同资源的敏感度,为尽快缓解大数据平台的性能瓶颈,选定与瓶颈资源最为相关的参数集合进行针对性调优。
示例性的,加入剪枝策略的参数自动化调优方法。
配置参数调优方法流程首先是收集运行负载程序期间数据以及性能指标,资源监控主要是使用开源工具与大数据平台集成,从而实现对资源的日常监控,通过对各资源的信息增益率计算进而定位出导致大数据平台出现性能瓶颈的瓶颈资源,然后基于敏感度筛选出调优参数集,利用自动化脚本对调优参数进行修改,最终确定最优的参数配置。
对于该调优方法的效果验证时,本发明使用K-Means,并进行了K-means调优效果验证;
K-Means算法属于内存密集型应用程序,由于利用该算法对大量数据进行聚类操作时,通过资源监控模块确定内存为此时大数据平台的潜在瓶颈资源,因此通过敏感度选择与内存相关性强的参数进行针对性调优。在默认参数值配置下的程序执行时间为716s,经此方法调优过后得到的执行时间为504s,比默认配置执行时间缩短了29.61%。该调优方法的有效性以及实用性得到了证明。
TeraSort、TestDFSIO负载调优效果验证中;利用负载TestDFSIO向大数据平台写入30GB文件时,在默认参数配置执行时间为373.29s,经过参数调优后的执行时间为229.77s,缩短了38.45%;同理,利用负载TeraSort执行对大数据平台10GB数据进行排序时,在默认参数配置执行时间为428s,经过参数调优后的执行时间为312s,缩短了27.1%。实验结果表明不同参数配置下的优化效果不同,该自动化参数调优工具能够一定程度地优化负载的执行时间,从而有效缓解因不同资源导致的系统性能瓶颈。
(2)通过API标准接口实现城市管理业务协同技术
基于多渠道综合态势信息快速接入技术,实现城市运行管理部门应用的信息交换和领域应用的信息接入,将多源异构的数据与人口、法人、地理空间等基础信息资源进行整合,以实现跨领域、跨部门、跨层级、跨主体的信息共享和业务协同,并借助数据挖掘、系统仿真、多维协同等技术手段,为城市协同管理提供有效支撑。
基于三维地理信息处理核心技术,它以分布式的三维地理空间数据库为基础,采用模型流技术、海量数据存储技术、网络服务分建共享技术、图形图像处理技术、多元实时数据接入技术、WFS和WMS技术、数据库技术、网络技术和其它相关信息技术,实现各种地理信息资源的统一管理、整合、交换、协同和共享,建立跨地区、跨部门的“一站式”网络协同服务体系,为政府提供网络化三维地理信息服务。采用该技术,将先进的实景360度拼接算法、全景交互系统、数据库资产管理系统、多点触摸技术应用、Android移动系统有机整合,能构成新一代全景呈现三维交互平台。三维实景在浏览中可以由观赏者对图像进行放大、缩小、移动、多角度观看等操作。经过深入的编程,还可实现场景中的热点链接、多场景之间虚拟漫游、雷达方位导航等功能。例如:可将安防系统中的信息点位(监控点、报警点、门禁点等)在三维实景图对应的位置进行标注,用户点击图片或图标,即可直接调取对应监控图像,远程打开门禁通道,并获取点位详细信息等,真正实现“身临其境”、“所见即所得”的操控体验,做到“智能感知、快速响应、精准定位、高效决策、协同应急”。
智慧政务系统在运行过程中,涉及多个职能部门,而实现政府稳定业务稳定运行的关键在于,职能部门之间的协同性,由此,要想构建职能部门之间的协同机制,需要加强了解和掌握多维模型关键技术。
在本发明实施例中,通过API标准接口实现城市管理业务协同技术具体包括:
针对微服务系统之间在多机器多容器多进程下的通信问题,开展了服务与服务之间采用轻量级的通信机制相互沟通技术【通常是基于SpringCloud框架的事件(消息)驱动、REST API调用】,研究出每个微服务都围绕着具体的业务事件请求进行构建,通过复杂事件处理模型,建立互通互联关系,并且提供外部系统的统一服务接口,实现外部多系统相连,内部处理输出的互操作协同模式。
(3)城市透明管理智能体构建
平台框架核心技术和透明智能体的算法描述:
本发明提出的城市透明智能体主要构建面向不同场景的政务专项决策算法进行了高内聚的封装,形成透明智能体,主要包括:1)基于多层级城市信息单元的人群流量预测可视化算法。针对城市应急管理场景,基于城市信息单元智能体,设计了人群流量预测算法,通过多层感知机转换维度得到人群流量预测结果。2)面向企业/个人画像和政务信息的政策精准匹配算法。针对现有的用户和政策匹配不够精准的问题,提出了融合评论信息的双重注意力深度推荐模型DARMH(Dual Attention Recommendation Model with Reviewsand Help),通过局部注意力和交互注意力提升用户和政策的匹配度。3)基于政务事理图谱的智能服务构建算法。构建面向日常管理、应急指挥不同场景的政务事理图谱,刻画知识逻辑架构的事理图谱与刻画静态概念知识内容的城市信息单元知识图谱的联动,将为智慧城市中枢提供更多有利的信息,为成因分析、事件推演、预测等智能服务提供决策支持。4)基于城市信息单元的安防监控识别算法。复杂城市环境中匹配识别特定任务对于城市安防和智慧城市带来了挑战,基于城市信息单元的行人重识别技术,从图像、视频甚至文本描述中提取有鉴别性的特征,解决不同视角、背景杂波、姿势多样性和遮挡等挑战难题,实现基于城市信息单元的安防监控识别算法。5)面向网络舆情的内容监控和情感分析算法。为了社交网络平台更好的管控、分析舆情传播与发酵,设计了基于RoBERTa-wwm-ext和LSTM的情感分析算法,对内容平台的评论极性进行评鉴,对网络舆情进行有效监测和管控。6)面向舆情事件的预测可视化算法。为了更好的管理社交网络中的事件,提高对网络事件的治理水平,及时对尚未发酵的事件进行管控,设计了基于SKEP-BiSRU-AT和图神经网络的话题流行度预测,对社交网络上的舆情进行有效追踪和管控。7)面向多方场景的征信报告解析和智能风控算法。征信报告在金融系统业务中的业务评估至关重要,当前的个人或企业征信报告往往具有格式多样化和模块多样化,各模块对集群的需求环境不同,容易造成环境冲突,设计实现了不同格式的征信报告文件的解析算法,其次采用微服务的架构对模块进行拆分。实现了模块之间的解耦,接着,将所有服务进行容器化,各个服务拥有各自的环境配置,实现服务隔离。8)基于深度学习的天气环境评估算法。针对关中平原城市群的天气环境质量成因复杂,设计了PCA-EDWaveNet-LSTM深度模型对对PM2.5和PM10进行长期跟踪预测。9)城市未来人口预测统计算法。针对各省市各城市的人口管理,提出针对各省的未来人口分布和流动的预测算法,为政府等其他职能部门政策制定进行辅助决策。10)城市复杂场景的意外事件检测算法。基于城市各单元中部署的海量摄像头,将视频中各类不同人员的动作进行识别,有利于对城市环境中的危险动作和意外事件进行检测(例如危险恐怖,或者火灾,陌生人检测等)。11)基于GIS地图的城市共享单车监管算法。从政府、单车企业、用户三个角度,针对城市共享单车的痛点问题,解决共享单车动态总量(准投车辆信息)、车辆停放位置及其他涉及公共利益的问题,实时、完整、准确的接入平台,实现对车辆的投放数量监控、实时定位、热点区域预警、用户评价、投诉受理、潮流分析等功能;同时,实现审批备案、考核评价、指挥调度等辅助功能,通过对共享单车实行规范化、精细化的建管措施,助力文明城市创建提出针对性的应对策略,促进共享单车这一“互联网+交通”的创新模式能更加有效地造福公众。
(4)智能服务平台微服务集构建
以组件化设计方法构建各领域服务接口,通过API接口进行微服务之间的通信,以大数据智能服务架构为平台支撑,以城市管理协同技术和城市管理服务中台为技术核心,将场景领域模块化,使其可以通过组合拆分来构建领域系统的独立运行,实现城市政务大数据跨部门多维度的智能服务,提升城市政务大数据的使用价值,为城市的透明管理和智能服务提供技术支撑。
实施例3
本发明实施例提供一种智能模型和服务系统:
平台为现代城市各级管理者量身定制的智能化、平台化、数据驱动的城市管理和辅助决策工具。可根据职责分工和关注重点为领导提供全方位、个性化的运行监测、行政问效、指挥调度等城市服务,在操作层面做到了“可监测、会预警、善分析,能指挥”,帮助领导实现对城市管理工作的全面及时把控。方便政府领导无论在办公室、会议中、还是路途中都能方便地获得全面、实时、便捷、高效、优质的数据智能服务。
领导驾驶舱通过对内外部资源进行梳理、整合,基于大数据技术,通过组织机制创新,可为领导提供政府各部门的精细化管理和科学决策支持服务。
结合地图、图表、表格、仪表盘等可视化方式按照政务数据治理的基本面(政务数据访问、数据透明管理)和归口领域(国土、环保、水务、电力、交通、社保、医保、城市治理等)对政务的智能感知信息、业务运行指标、监管事项等数据进行动态展示,并对相关指标、事件、业务进行数据的动态展示和决策预测。
1、基于多层级城市信息单元智能体的人群流量预测可视化系统
针对城市应急管理场景,基于城市信息单元智能体,设计了人群流量预测系统,通过多层感知机转换维度得到人群流量预测结果。
随后在某市重点区域人群流量数据集上进行了模型实验和效果对比。利用百度地图API、Apache ECharts、Bootstrap可视化技术,结合Spring Boot框架设计并实现了一个人群流量预测可视化系统架构图如图9所示。
2、面向企业/个人画像和政务信息的政策精准匹配
本发明提出了融合评论信息的双重注意力深度推荐模型DARMH(Dual AttentionRecommendation Model with Reviews and Help)。DARM模型分别对用户评论嵌入和项目评论嵌入进行关键信息识别构建局部注意力,并通过项目评论特征对用户评论特征构建关键评论识别的交互注意力。通过基于深度学习和双重注意力机制提取的评论特征,以及对评分信息进行建模得到的评分特征,最终通过因子分解机进行融合并得到评分预测。
基于城市信息单元智能体对企业/个人进行画像建模,对政务的评论等文本信息进行特征建模,利用提出的推荐模型为政策的精准匹配提供支持。
3、基于政务事理图谱的电力与水务智能服务
构建面向日常管理、应急指挥不同场景的政务事理图谱,刻画知识逻辑架构的事理图谱与刻画静态概念知识内容的城市信息单元知识图谱的联动,将为智慧城市中枢提供更多有利的信息,为成因分析、事件推演、预测等智能服务提供决策支持。在专家指导下,初步制定了电力预测的事理图谱以及水务事理图谱。
4、基于城市信息单元的安防监控识别系统
由于公众安全的迫切需求和城市中监控摄像机数量的不断增加,如何在复杂城市环境中匹配识别特定任务对于城市安防和智慧城市带来了挑战,如图8,本发明建立的基于城市信息单元的安防监控的识别系统,该系统使用基于城市信息单元的行人重识别技术,从图像、视频甚至文本描述中提取有鉴别性的特征,解决不同视角、背景杂波、姿势多样性和遮挡等挑战难题。实现了行人重识别任务与城市信息单元的深度整合,取得可使用的行人重识别模型性能,能够展示不同城市信息单元对应的行人重识别任务的结果.
5、基于网络舆情的内容监控和情感分析平台
本系统首先通过将网络舆情文本内容进行分割,再将分割后的文本信息序列分别输入到RoBERTa-wwm-ext预训练语言模型以获取文本信息的词嵌入特征,融合局部特征和全局特征,同时在input embedding层通过对抗训练,增加模型的泛化能力,然后再利用GRU网络获取每部分文本更高维度的特征,最后使用LSTM网络模型来连接GRU网络的输出进行全局特征的捕获。本平台对平台各种内容信息进行情感分析,结合评论情感,展示各类内容信息内容以及进行情感预测的结果和该内容的评论极性进行评鉴,对网络舆情进行有效监测和管控。
6、面向舆情事件的预测可视化系统
本发明构建了面向舆情事件的预测可视化系统,该系统将流行度定义为在线内容传播的用户数量,同时利用LSTM神经网络获取时间因素特征,利用SKEP-BiSRU-AT获取情感因素特征,利用图神经网络获取级联图特征,将三者特征进行融合,使用MLP进行相关流行度预测。对舆情未来的流行度进行预测,分析舆情事件的情感分布,可视化舆情事件的热点新闻及关键词云,有效地对舆情发酵进行追踪和管控。
7、征信报告解析和智能风控系统
本发明提出了一种征信报告解析方法,通过构建征信报告特征来解析征信报告。首先创建类生成模块,实现对不同的征信报告的反序列化文件,将其解析为统一的对象。实现了不同格式的征信报告文件的解析。其次采用微服务的架构对模块进行拆分。实现了模块之间的解耦,接着,将所有服务进行容器化,各个服务拥有各自的环境配置,实现服务隔离。本系统使用Kubernetes对容器进行编排调度,实现了自动部署和回滚,同时监听所有服务的状态,保证每个服务都能正确的运行,提高了系统的稳定性和集群的资源利用率。
8、基于GIS地图的城市共享单车监管
监测监管的流程包括:
1)GIS地图跟踪定位
基于GIS地图,对全市单车停放点,进行统一分布查看,可按区域、时间对停放点进行统一信息查看,实现全市单车位置展现,同时利用条件查询,对监管区域内的单车进行统一展现,支持按区域统计热力分布,按时间段查询等功能。
2)监管数据动态分析
利用大数据分析功能,对监管区域内的单车投放量进行数据分析,包括投放量、在线运维人员情况、在线调配车辆情况、停放点位、订单量、骑行量、周转率、使用率和入栏率、时段骑行量等指标,对异常事件进行统一分析,对事件数量分析支持饼图、趋势图分析等。
3)异常事件监测预警
对重点区域进行预警监控,根据动态调整每个时段的预警,逐渐掌握每个重点区域的车辆控制标准,提供调度建议,及时有效处理车辆淤积。
9、基于交通动态信息的全系地图耦合的城市运行指数发布系统
城市交通拥堵带来出行时间浪费、运营成本上升、交通事故频发、空气噪声污染加剧等一系列问题,通过实时监测和信息展示,为城市交通治理提供科学支持。
通过安装检测设备,城市运行指数发布系统可实时检测交通状态,对公众发布实时路况及预测,对车辆进行诱导及控制,针对交通事故/自然灾害引起的车辆拥堵进行调节控制以及诱导。
系统主要功能如下:
1)快速路主路车流量监测
在城市快速路主路沿线及上下匝道处埋设检测设备,以检测快速路交通状态,检测数据主要包含流量、平均车速、占有率等参数,通过系统分析来判断快速路主线交通状况,主要分为畅通、轻度拥堵、中度拥堵、重度拥堵4种状态。用于匝道入口信号灯的控制以及交通状态的发布提供数据。城市快速路主路车流量检测采用微波检测设备进行检测。
2)短时交通流预测
系统根据采集到的城市快速路历史交通流参数信息,结合各快速路段特性对检测的城市快速路各路段进行短时交通流预测,主要完成未来十五分钟或半个小时的短时交通流预测,通过预测及匝道信号的调节能最大限度避免城市快速路拥堵情况的发生。短时交通流预测通过多种算法实现,例如最小二乘法和卡尔曼滤波算法,通过对各算法参数的反复调整、测试,以及与实际交通流信息的比对评价,最终得到较高的算法准确率。
3)交通模型分析
对城市快速路各路段进行交通流三参数关系模型的分析,包含速度--流量模型、速度--密度模型、流量--密度模型。通过各模型分析,对各路段最大流量、临界速度、最佳密度、阻塞密度等道路特性进行准确认知,为交通自动控制策略提供有利依据。
10、地质灾害综合分析与预测预警系统
地质灾害是我国影响程度最大的自然灾害之一,每年都会造成严重的经济损失和人员伤亡。为此,研发地质灾害综合分析与预测预警系统,为地质灾害的分析、预警与处置提供支撑。
1)地质灾害统计分析
展示全国地质灾害隐患点分布,利用大数据挖掘方法分析地质灾害发生的易发性、风险性和危害性,通过设置地质灾害类型、地区进行分类分析展示。
2)地质灾害风险预警
综合分析地质灾害因子(隐患点数据、历史地质灾害数据、坡度数据、降雨数据),建立地质灾害风险分析模型,对地质灾害风险进行预警分析,提供查看空间展示与文本展示结果等功能。
3)重大地质灾害事件处置
应急现场信息管理:支持重大应急事件现场信息的上传、编辑与管理。
信息统计分析:支持预警信息、视频信息、位置信息、灾害信息等相关数据的统计分析。
重大应急事件标绘:支持迅速标绘灾害具体位置、发生时间、影响范围、人员伤亡及财产损失等基本信息。
重大灾情信息展示:支持相关灾情信息的实时展示,现场救援情况实时跟踪,灾害现场基础时空地理信息、现场实景采集、实时定位传感信息等多种综合态势信息的多维联动展示。
路径优化:支持根据受灾区域附近交通、医疗、消防、地质、居民地、避难场所等数据通过最短路径分析等手段为救援人员及装备、撤离及疏散人员规划最优路径。
救援力量与被困人员动态标绘:支持动态定位数据库中医疗、消防等救援人员以及待救援及疏散人员的位置信息在灾情三维可视化模型中动态标绘,辅助相关人员进行现场指挥救援。
损失评估:支持根据消防、医疗、卫生、后勤等不同救灾部门上报信息结合历史灾害损失情况对灾害影响后果、人员伤亡、财产损失等进行评估分析为善后补偿、灾后重建等提供依据。
应急指挥:支持通过综合灾害现场态势感知信息、人员装备等救援力量信息、环境信息、地理信息等各方面灾情相关信息,结合灾害模型推演,多维联动展示等功能进行救援人员、物资等调度指挥。
11、国土“一张图”综合决策分析系统
国土“一张图”综合决策分析系统,对自然资源总体情况和土地资源、矿产资源、水资源、森林资源、水环境、大气环境和生态保护区的基本情况和变化趋势进行展示,提供距离量算、面积量算、体积量算、图斑勾画等基本工具。集成基础地理信息库,并支持栅格、矢量、三维等多种类型数据的接入和展示。支持多时相对比分析和自动化的变化检测,通过对比分析定位问题点,满足各级领导和工作人员管理决策和预警分析的需求。
12、领导干部自然资源资产离任审计系统
自然资源审计、督察和执法除了完成资产负债表审计外,还必须审查领导干部在任职期前后或督察、执法期间所辖区域是否存在国土空间资源浪费、闲置,占用耕地、林地、湿地等,违法扩建等对国土空间优化不利的行为,是否存在浪费自然资源、破坏生态用地等对资源节约集约利用、生态环境保护不利等行为。建立领导干部自然资源资产离任审计数据分析平台,有助于落实领导干部生态文明考核,有助于建立健全生态文明体制改革机制,是新时期履行好自然资源“两统一”职责的重要支撑。系统主要包括以下功能:
1)耕地质量评价
建立高精度的高程带、坡度带、地貌类型等地形地貌单元数据,将耕地分布数据、基本农田分布数据与地形地貌单元数据、地理国情地表覆盖数据进行关联、分析、比对等,评估耕地总体现状和变化情况以及在分布在不同坡度、高程、地貌类型上耕地数量的变化情况,查找分布质量下降疑点线索,形成数据集、报告、图件等成果,为审计、督察、执法提供参考证据。
2)违法占用耕地建房情况分析
充分利用全国地理国情监测、全国土地利用动态监测与更新、全国第三次国土调查等重大工程积累的数据成果构建房屋样本库,利用遥感影像和深度学习算法,自动化提取违法占用耕地建房的地点和范围,并支持人工判别和修正。
3)永久基本农田内非农问题诊断
充分利用地理国情监测数据以及第三次全国国土调查数据成果,结合国家有关永久基本农田保护红线的相关法律法规及政策要求,针对国家关注的违法违规建设占用问题,不符合要求的在永久基本农田内开展非农业生产活动等问题,构建永久基本农田范围内非农化问题判别模型,探索形成一套有关永久基本农田内非农问题诊断分析的自然资源审计技术体系,为长期持续开展动态监测分析提供技术和信息支撑
13、城市数字孪生系统
1)基础一张图底板展示
在时空GIS平台数据管理、整合、治理、服务架构下,突破三维实景模型智能存储和在线服务、多维空间信息治理和融合表达、时空三维信息动态加载和变化展示、实体全周期管理和空间分析等关键技术,搭建地上地下一体化、室内室外一体化,桌面端、手机端、平板端、VR端多端兼容,无插件、免安装、轻量级、在线化的三维实景综合服务一张图底板。通过自然资源与地理空间大数据技术进行统一权威的二三维时空底图数据整合,将多个部门的数据整合形成二三维时空一张图底板。
2)多类型数据接入可视化
城市数据接入方面实现了5G基站数据、地下管线数据、法人企业数据、规划项目数据、视频点位等数据接入.
3)虚拟三维VR系统可视化
三维数字城市VR虚拟仿真可视化是一个基于地理信息系统和虚拟现实技术基础上的可视化功能,它可以利用在计算机中所建立的模型、场景和数据来实时地再现现实世界中的任何物体,使得人们能在计算机虚拟世界里就能直观地体会到现实世界中的各种感觉。具备大范围的海量城市数据一体化管理、无缝三维实时漫游,包容好拓展常规GIS独具特色的空间多媒体信息查询、表示、分析和决策功能的虚拟城市管理信息系统。
4)城市规划仿真可视化
城市规划一直是对全新的可视化技术需求最为迫切的领域之一。结合VR头显设备,通过虚拟仿真技术,可将城市的过去、现在以及未来的情况仿真展示。从城市总体规划、大型工程建设、城市交通系统以及公共资源服务等方面,虚拟仿真技术都提供了一种视觉佳、可交互的全新城市管理概念。
利用强大的数据库支持,数字城市VR虚拟仿真系统可以和方便的实现信息的查询、检索。可以快速显示并且按照比例缩放建模区域的数字图形、建筑物实际影像,并可根据单位名称、公安门牌在场景中进行快速定位,也能通过与房产管理局产权属与交易办公自动化系统链接,根据图纸内容快速定位于相对应的房产权属属性记录,房产平面图或分层分户图,或者根据产权登记记录快速定位到三维场景中的建筑。
5)地下管网可视化管理与仿真
模拟仿真系统中的地下管线三维可视化系统可以实现对燃气、热力、给水、中水、雨水、污水、电力、路灯、信息、通汛、输油气等多种地下管线的三维可视化管理,并能够快速导入管线数据,提供管线的数据存储和可视化分析能力。
14、政务服务大数据分析系统
研发政务服务大数据分析系统,通过多源异构实时政务服务数据汇聚、整合,对用户数据与业务数据深度学习和智能挖掘,准确掌握用户访问行为体征和规律,深入了解用户的服务需求,全面根据用户需求和习惯体验优化配置服务资源,丰富服务内容,优化服务方式,为政府决策提供精准的科学依据。系统具备以下功能:政务服务分析综合库设计与构建、大数据资源支撑工具、大数据整合子系统、数据可视化工具、大数据应用支撑服务、专题构建支撑工具、政务服务综合分析子系统、数据共享可视化子系统、政务服务决策分析专题、政务服务业务分析专题、政务服务评估专题。系统主要针对以下内容进行分析:数据汇聚情况、用户访问情况、数据共享情况、事项办理效能、网上办理情况、好差评情况等。
实施例4
1.基于城市信息单元的多源时空数据透明融合技术
1.1基于多因子融合的多级人口空间化方法
针对资源环境研究领域和不同变化区域模型对各种尺度的空间型人口数据的需求,以及缺乏针对具体应用需求的数据源选择方法和对数据产品适宜性的分析,研究人口数据空间化的格网尺度效应分析方法。下面具体介绍基于土地利用与基于居住建筑重分类的两种人口空间化方法:
(1)基于土地利用多因子融合思想的人口空间化方法
以某省为例,利用研究区地形地貌、重要地理要素数据、土地利用信息和社会经济统计信息;通过建立地理因子库并应用多因子融合技术,在地理信息系统技术支持下,对乡镇统计人口进行空间化建模,生成10km至500m格网,分析人口数据空间化的格网尺度效应。分析结果表明,采用多因子融合技术进行人口数据空间化,其格网人口的适宜尺度是500m,人口估计误差范围在0—6.84之间,人口估计精度达84%。
(2)基于居住建筑重分类模型的人口空间化方法
由高分辨率遥感影像提取的房屋建筑区不能判断房屋的用途,无法区别居住建筑和非居住建筑,因此为了提取具有居住属性的房屋建筑,采用点标识面技术,在可操作的房屋建筑区分类基础上,获取可供查询的房屋属性分类信息。具体思路包括:用地表覆盖要素中工矿企业点图层和单位院落点图层去标识房屋建筑面图层,删除被标识的房屋建筑;用居住小区点图层标识房屋建筑面图层,删除未被标识房屋建筑;合并以上两步处理的结果图层,最终得到居住建筑面图层。
以某省某县为例,以500m格网的局部自相关结果为例,高–高集聚区主要分布在某县政府所在周边区域,县城和市区因其便利的交通、齐备的生活设施和较高的经济发展水平会对周边区域起到辐射作用,对人口起到吸引和聚集的作用。低–低集聚区则主要分布在研究区的东南部和东北角,结合研究区的高程分布图可以发现这些区域恰为高海拔区域,由此可定性判断高程对人口聚集存在影响,定量分析高程对人口分布的影响。
1.2社会经济数据融合
利用探索性空间数据分析方法,从分布中心、分布特征和分布模式角度出发,面向研究对象构建空间几何形体,计算多层次空间分布中心,提取空间分布特征,分析空间分布模式。
1.3多源异构空间数据匹配算法
通过对目标的几何、拓扑和语义进行相似性分析,识别出同一地区不同来源或者是不同尺度或者是不同时相的空间数据集中的同一地物,从而建立两个空间数据集之间同名目标间的联接,以及探测不同数据集之间的差异或变化。多源异构空间数据匹配算法主要包括7部分,多源异构面实体匹配、多源异构面与点实体匹配、多源异构线实体匹配、多源异构线与点实体匹配、多源异构点实体匹配、多源异构点群与面实体匹配,以及匹配后实体的变化以及非空间属性的预测插值,算法针对点、线、面等不同类型的空间数据间的匹配需求,可以同时实现不同几何类型的要素类之间的匹配,同时探测实体间的变化,利用匹配的结果,对属性进行插值和传递。下面对多源异构面实体匹配、基于stroke的道路网与部分匹配算法、属性预测插值做详细介绍。
(1)多源异构面实体匹配
算法的功能实现了多尺度数据集的面实体匹配,实现了1:1、1:N、N:M的匹配关系,并将匹配后的结果进行了变化探测,获取了变化信息。基于综合相似度的匹配方法没有考虑到地图尺度的变化,因此只适用于1:1的匹配关系。顾及地图综合的面实体匹配方法考虑到地图综合给匹配带来的1:N、N:M的关系,将算法分为2个模块:一块是基于重叠度的面实体群匹配方法,用于解决1:N、N:M的匹配关系;一块是基于单个实体的综合相似度匹配,用于解决1:1的匹配关系。
基于面实体的几何特征构建的综合相似度模型是将面实体作为一个整体看待,采用加权平均法来综合面实体的位置、形状、大小等特征相似度,根据获得的总相似度大小确定最终的匹配实体,这种方法适合于1:1的匹配模式。但在实际的情况中,存在比例尺跨度较大,同时存在1:1匹配以及1:N或者N:M的匹配模式的状况,对于1:N以及N:M的情况,基于单个面实体的综合相似度的方法不再适用,这时候要采用基于重叠度的面实体群匹配方法。
坐标变换:两种数据源之间坐标变换有两个目的:一是统一两幅图的投影系统和坐标系统;二是消除两幅图之间可能存在的系统偏差。
建立实体空间格网索引:对数据集C与数据集D建立固定格网索引,分别得到C数据集和D数据集中每个面实体所经过的格网,以及每个格网所包含的面实体的信息。索引的建立有2个好处:一是在聚类分群时,减少了对象的搜索范围;二是在确定匹配候选集时,减少了不必要的搜索时间。
对面实体集合C的每一个面实体计算最小可视化距离范围内的大比例尺面实体集合:对面实体集合D的每一个面实体计算与面实体相交的大比例尺面实体结合;在相交的基础上分别计算满足重叠度要求的面实体集合M。M中的面实体个数等于1的群进行单个面的匹配,标注与单个面匹配成功的小比例尺中的面实体为已匹配。大于1的集合进行基于重叠度的面实体匹配流程。
实体集D中的数据遍历结束后,遍历C中的数据,将C中未被标注为匹配的面实体视为没有匹配对象,匹配关系为1:0。
(2)基于stroke的道路网匹配算法
针对特定的数据,依靠一种或两种匹配技术进算法的设计在大多数情况下会得到良好的效果。但多尺度环境下的道路网匹配问题是复杂的,仅仅依靠特定数据下的处理技术远远不够。本算法融合stroke技术、空间索引技术、正反双向匹配以及全局一致性(空间结构场景匹配)等多种技术进行多尺度道路网匹配算法的设计,大大增强了算法的适应性和适用性.
为了克服因多尺度数据变化而引起的运用stroke技术不匹配问题,本算法在对道路网进行了stroke匹配以后(stroke匹配时已经解决了大部分道路网数据的匹配),对于没有匹配上的道路数据进再进行部分匹配,从而同名空间目标解决漏匹配问题。
3)属性预测插值
属性预测插值即已知若干年份的属性数据,利用相应的预测插值算法,求出未知年份的属性数据,预测插值算法包括一元线性回归、非线性回归、二次曲线延伸法,趋势移动平均法和指数平滑法。
a、一元线性回归:是指成对的两个变量数据分布大体上呈直线趋势时,运用合适的参数估计方法,求出一元线性回归模型,然后根据自变量与因变量之间的关系,预测因变量的趋势。由于很多社会经济现象之间都存在相关关系,因此,一元线性回归预测具有很广泛的应用。进行一元线性回归预测时,必须选用合适的统计方法估计模型参数,并对模型及其参数进行统计检验。
b、非线性回归:通过变量代换的方法将模型线性化,再用一元线性回归的方法进行求解。具体包括:
·
则原模型转化为一元线性回归问题:y=b0+b1t。
·Logrithmic:y=b0+b1lnx
另lnx=t,则原模型转化为一元线性回归问题:y=b0+b1t。
·Growth:
lny=(b0+b1x)lne=b0+b1x
另lny=s,则原模型转化为一元线性回归问题:s=b0+b1x。
·Compound:y=b0·b1 x
lny=lnb0+xlnb1
另lny=s,lnb0=a0,lnb1=a1,则原模型转化为一元线性回归问题:s=a0+a1x。
·
lny=lnb0+b1lnx
另lny=s,lnb0=a0,lnx=t,则原模型转化为一元线性回归问题:s=a0+b1t。
c、二次曲线延伸法:依据预测目标的历史时间数列,拟合成成抛物线,建立二次曲线方程进行预测。二次曲线趋势预测模型为:y^=a+bt+ct2
二次曲线趋势预测法预测模型中的不定参数,a,b,c是用最小二乘法求最佳拟合线求得。利用最小二乘法可以导出计算a,b,c三参数的联立方程为:
d、趋势移动平均预测:移动平均法是一种简单平滑预测技术,它的基本思想是:根据时间序列资料、逐项推移,依次计算包含一定项数的序时平均值,以反映长期趋势的方法。因此,当时间序列的数值由于受周期变动和随机波动的影响,起伏较大,不易显示出事件的发展趋势时,使用移动平均法可以消除这些因素的影响,显示出事件的发展方向与趋势(即趋势线),然后依趋势线分析预测序列的长期趋势。
2、政务数据结构化描述技术
2.1政务数据知识图谱
政务数据是由政府机关和下属事业单位在日常工作和生产过程之中产生的各类数据的总称。这些数据内容丰富,涉及到社会生活的各个方面,包括法律法规、经济建设、社会发展、民生服务、公共安全、教育科技和医药卫生等诸多领域。政务知识图谱构建方法是实现海量政务数据自动化分析检测的关键手段,借助前沿的人工智能技术和最新的深度学习理念,将其与政务数据的具体特征相结合,可以实现高精度、高效率的信息抽取。政务知识图谱既能打破不同部门之间的信息壁垒,实现信息共享,简化服务流程,提高办公效率,促进数字政府建设,又能降低个人和企业获取政务数据的门槛,为开展相关领域的科学研究和商业应用打下坚实基础。
2.1.1政务知识图谱构建方法
知识图谱构建主要有两种方式:一种是自顶向下的方法,多用于有固定的知识体系的情况,先通过现有结构化数据构建知识图谱的基本逻辑结构,然后在通过多源头的数据向下进行丰富;另一种是自底向上的方法,对一定量的数据进行整理抽取,构建为实体信息,然后不断的进行归纳分类,从底层实体信息一步一步向上总结抽象化,最终形成一定的体系。本次将使用自顶向下的方式来构建知识图谱。
2.1.2政务知识图谱逻辑框架
政务知识图谱建立的目的是为了便于政务知识的共享与检索,基于这前提和政务知识的特征,对政务领域知识图谱所涉及到的实体和实体关系进行梳理,构建政务领域知识图谱的逻辑框架(Figure1)该逻辑框架中总共包括4类实体:事务(affair)、部门(department)、个体人(individual)、组织机构(organization)。
2.1.3实体和关系的抽取
实体抽取中,根据知识图谱构建架构,需要抽取四类实体,分别是政府部门、事务、个体和组织机构。政务领域知识数据的一般来说有三个来源:内部数据、外部数据、领域专家以及公开发行的文书。内部数据是政务知识来源的主要渠道,也是作为知识图谱构建的核心内容。部门数据由于基本属性是有政府官方定义属于内部数据,无需使用如爬虫和自然语言处理等技术去获取半结构化和非结构化数据,直接通过官方数据库获取结构化数据即可。个体数据处于对个人隐私的保护也基本存储与政府部门同样属于内部数据,也可以直接获取内部结构化数据。组织机构和事务两项实体在内容上较为复杂,虽然内部数据存储有组织机构和事务相关数据,但不够全面,需要整合三种源头数据得到相对完善的数据信息。其中涉及到python爬虫获取网页的半结构化的数据以及通过机器学习自然语言处理获取文本数据的数据整合。
在关系抽取方面,由于政务系统中实体间的差异化较大,实体与实体间关系类型很多,且关系属性设计的内容也大多不同。在实体抽取的过程中介入简单的关系抽取,如<事务,管理,部门>这种简单关系存放在事务实体文件中,在生成知识图谱的时候一并生成。但实体间的复杂关系取暂时未能想到什么智能机械化的抽取方式并构建,只能在实体csv文件中存储一部分简单通用的关系,在构建实体的同时建立相关的关系。其余的具有复杂属性的关系则暂时通过Neo4j的Cyhper命令行来具体化的建立。
2.1.4详细关系构建
经过系统的生成,知识图谱总实体已经全部构建完毕,但实体之间的关系十分薄弱,只是一些基础的关系。为进一步详细化丰富知识图谱,使用neo4j提供的可以进行增删改查的Cypher语言,在控制台通过Cyhper指令进行详细的丰富。
2.1.5政务信息检索
根据neo4j提供的Cyhper语句,可以通过语句MATCH(n:实体类{属性名:’具体属性’})RETURN n来检索信息。其中为了方便政务信息的保密性和共享性,根据对政务事务信息进行了一个分类,分为条件共享和无条件共享。
2.2文本数据结构化描述技术
(1)一种基于增强胶囊网络的网页文本分类方法及存储介质
随着互联网技术的发展,互联网中涉及社会公共安全事件数据量爆炸式增长。公共安全事件通常分为自然灾害、事故灾难、公共卫生、社会安全。从互联网上采集大量社会公共安全事件数据的相关网页和信息,并从中自动抽取出风险数据,对社会公共安全监测和预警具有重要意义,但海量数据的复杂性和非结构性给公共安全事件信息的处理带来了巨大的挑战。为了克服现有技术存在的整体精准度不高、特征提取过程中丢失大量重要信息等问题,本发明提出一种基于增强胶囊网络的社会公共安全事件网页文本分类方法。与现有的传统胶囊网络分类方法相比,本发明引入了密集卷积网络来提取特征信息,从而使特征更具判断力,提高了模型在数据集上的学习能力。主胶囊层采用动态路由机制对其进一步编码,使获得的特征更具方向性,使得胶囊网络更具有鲁棒性。
(2)一种基于自然语言的人员流动应急管理信息结构化方法
针对现有政府发布的人员流动管理文件进行语言解析识别,得到计算机可理解的政务数据处理结构,具体内容包括:构建地理实体以及信息条目字段,识别处理人员流动管理政务信息,对人员流动管理政务信息时空校验,整合地理实体人员流动信息。本方法有利于将文本型离散化的人员流动管理政务信息重新处理整合,使之标准化、结构化,完善对此类信息的组织与管理;方便用户对各级地方以及区域之间的人员流动管理进行查询,帮助用户进一步了解人员流动管理政务信息,加强对此类信息的利用;得到的结构化的人员流动管理政务信息有利于在后续的计算机软件开发中,实现此类信息的地图可视化展示;为各级政府在应对突发事件制定人员流动管理时,在数据层面提供对比参考服务。
2.3图像数据结构化描述技术
采用基于卷积神经网络的手写汉字识别技术,汉字识别目的是使得计算机等智能设备具有像人一样的认字视图的能力,构建人与机器之间的一种自然沟通交流方式,可以有效减少人工成本,方便后续的大数据分析等相关处理。
3、城市群体行为演化分析技术
(1)基于位置信息的时空轨迹异常识别模型
在异常轨迹检测中,首先针对用户行为轨迹的演化特点,在用户历史行为模式异常检测的基础上,结合异常点其他用户的行为和用户所属群体中其他成员的行为,检测可能存在的演化异常现象。其次,分别从用户和地点角度定义多种异常特征,采用随机森林方法构建多分类异常检测模型,识别用户多种类型的异常现象,解决单一类型异常检测方法判定结果不够准确的问题。时空轨迹异常识别模型的基本结构如总体模型框架所示,主要包括位置数据处理、异常特征检测和异常类型判定3个部分。首先,对位置数据进行预处理,从位置数据中提取时空共现区(Spatiotemporal Co-occurrence Area,STCOA),在此基础上挖掘用户行为模式,发现用户群体结构。其次,按照历史行为模式异常、伴随行为模式异常、STCOA行为模式异常、STCOA流量模式异常和异常用户群体属性5种异常特征,采用随机森林方法构建多分类异常检测模型,将异常类型划分为个体异常、群体异常、时空异常、事件异常和无异常5类。最后,根据当前待检测位置数据、用户行为模式和群体结构信息计算异常特征值,将其输入异常检测模型并判定用户异常类型。
(2)一种基于公交刷卡数据的建筑物通勤人群识别方法
利用现有的交通卡数据、POI和AOI数据,融合换乘判断、通勤人群识别和居住地识别等技术,实现对通勤人口空间分布更小尺度的刻画,以建筑物为基本单元的通勤对人口数量进行估算,掌握各区域的人口分布与人流状态。该方法具体包括基于交通卡数据整理出行记录,职住地识别和通勤人判别、以建筑物为基本单元通勤人口分布的估算。此方法对随机发生的安全事件,掌握各区域的人口分布、疏通人流等应急救援安排、基于公共事务的应急管理等等打下坚实的基础。
(3)人口流动分析
本发明在数据清洗筛选的基础之上,从空间位置入手,识别全国城市人口流动网络特征;再按照时间顺序进一步剖析人口净流量,挖掘人口供给特点;最后分析人口流动受距离因素制约的情况。其中,①使用Gephi软件识别城市节点,用人口联系强度获取全国人口流动路线特征。②用聚类方法刻画全国城市人口净流量波动特征,分析人口流动在时间上的共性与差异、临界值及峰值、整体流入及流出情况。③通过改进重力模型分析省内、省际城市人口流动受到距离变化的出行特征。
实施例5
本发明实施例提供一种智能服务组件集,包括:
1、城市信息单元智能体
城市信息单元中包含的基础政务数据和社会传感数据包括:交通数据、环境数据、统计数据和地理位置数据。
交通数据包括:交通流量、道路和时刻表;
环境数据包括:天气、气温、空气质量和水质;
统计数据包括:人口普查和社会经济指标;
地理位置数据包括:地图制作、路面和建筑。
城市按管理层级包括市、行政区、街道、区域和网格,不同管理层级形成包含关系,根据城市按管理层级将城市划分为在地理上相互独立的多个城市信息单元,每个城市信息单元包含城市管理中积累的基础政务数据以及社会传感数据。
每一层的城市信息单元包含目标变量的时间特征和空间特征,本层单元内部所有下一层单元的联合特征,以及本区域的外部变量天气特征,节假日特征,最终基于多层级城市信息单元构建城市信息的塔式聚合结构。
塔式聚合结构中从下至上依次为:输入层、网格层、区域层和街道层。
输入层xn包含第n个网格的目标变量的时间序列,与其他网格联系强度,以及外部变量的天气和节假日信息;
网格层Gn代表第n个网格,包含第n个网格的目标变量的时间特征,空间特征,以及外部变量的天气特征,节假日特征;
区域层An代表第n个区域,包含第n个区域的目标变量的时间特征,空间特征,区域内部所有网格的联合特征,以及本区域的外部变量天气特征,节假日特征;
街道层Sn代表第n条街道,包含第n条街道的目标变量的时间特征,空间特征,街道内部所有区域的联合特征,以及本街道的外部变量天气特征,节假日特征。
不同于“网格”仅作地理区域的划分,也不同于“块数据”仅是从管理角度出发的数据汇聚,本项目提出城市信息单元智能体,是面向城市管理和决策需求对城市划分形成城市单元,在此基础上融合“物理-社会-信息”三元空间数据和分析模型形成分层级智能计算单元。
进一步的,对城市信息单元智能体的建模过程中,首先利用长短期记忆网络LSTM从社会传感数据时间序列中挖掘时间相关性;城市不同位置之间存在的空间关系构建空间流动图,利用图嵌入算法从空间流动图中挖掘空间相关性,同时将外生变量,如天气、温度、节假日等外部环境特征进行拼接,作为城市信息单元的联合特征,通过塔式聚合结构从下至上聚合多层级城市信息单元包含的数据,对城市信息单元的各层的特征使用时间注意力机制分配权重,最终捕获多种特征来构建城市信息单元智能体。
多层级城市信息单元智能体的模型中包含多个层级城市信息单元的时间特征、空间特征、迁徙指数、天气特征和节假日特征,各个特征均通过向量进行表示。
基于多层级城市信息单元智能体可以构建多任务决策模型,在各层级之间构建加权的多任务损失函数,利用多任务损失函数进行多任务决策模型的训练,建立多层级城市信息单元画像的多任务决策模型,充分挖掘了城市多层级信息单元之间的隐含关联。
针对多层级城市信息单元的不同层级画像模型分别构建不同的任务损失函数,多层级城市信息单元智能体模型的损失函数为各层级画像模型的损失函数的加权和。
2、政务事理图谱决策分析
构建面向日常管理、应急指挥不同场景的政务事理图谱,刻画知识逻辑架构的事理图谱与刻画静态概念知识内容的城市信息单元知识图谱的联动,将为智慧城市中枢提供更多有利的信息,为成因分析、事件推演、预测等智能服务提供决策支持。
事理图谱:是描述事件之间顺承、因果关系的事理演化逻辑有向图。是为智能服务提供背后的业务协同联动逻辑,具体的,一个场景一个事理图谱作为后台支撑,可以形成一套提供本项目10个场景的政务事理图谱库。
事理图谱构建步骤:
首先从场景的语料中按照模板抽取出包含因果关系的句子,然后从因果关系句中抽取出结构化的事件信息,进行事件时序关系识别与因果关系识别,融合手工构建的规则形成事理图谱。
3、顾及用户特征的政务服务推荐
为推荐政务服务相关事项,提高用户办事效率与政府服务水平,提出一种推荐算法,即结合用户特征的政务服务协同过滤推荐方法。该方法先完成用户得分矩阵的构建后,在用户相似度计算方面将用户评分属性信息相结合,利用用户特征,构建如下所示的政务服务用户-特征矩阵。
表1企业法人用户-用户特征矩阵
之后采用改进的余弦相似度方法计算政务服务用户相似度,计算公式为:
其中是L特征标签的平均值,Lable是所有标签特征的集合。
最后与传统协同过滤的预测评分计算相同,把相似度排序后,利用排名靠前的用户计算预测得分,选取TOP-N为用户推荐。
4、基于知识图谱智能服务组件
开展一体化定位通讯、空间信息时空整合、复杂灾害场景融合与可视化、应急自适应快速制图、综合减灾服务等国家/行业标准。围绕地震、洪水、地质灾害、城镇火灾、交通事故、建筑物倒塌等6类灾害,研究灾害态势感知信息接入与可视化服务技术,研究协同决策与智能调度方法,提出减灾模型推演智能服务途径,研发一体化综合减灾智能服务系统,支持现场数据实时接入、存储、查询、可视化展示,灾害态势分析、模拟、预测,应急救援决策、指挥调度、信息发布等功能,全面支撑应急救援现场指挥决策。
知识图谱在一体化综合减灾中可以实现多源异构数据的快速汇聚,有序地组织各相关部门的数据。按照一定规则建立知识图谱,在灾害发生时,将数据基于知识图谱进行汇聚、融合、存储,有效地将数据进行集成,有助于快速获取有用的信息。
1)基于Neo4j的地震灾害应急知识图谱构建
首先,以地震灾害情景应对本体为知识模板,通过语义映射设计出存储地震灾害应急知识图谱数据的图结构。
然后按照本文提出的自顶向下构建地震灾害应急知识图谱模式层的方法,对地震灾害情景表示、应对任务、应急队伍、应对方案四类核心要素概念层次关系、要素属性关系以及概念间语义关系进行定义。所构建的模式层能够对地震灾害情景应对进行完整、清晰的描述,为后续数据层的构建提供理论框架基础。
2)地震灾害应急知识图谱展示及分析
基于“情景—应对”的地震灾害应急知识图谱构建完成后,能实现对地震灾害情景应对中的地震灾害情景表示、应对任务、应急队伍、应对方案四类核心要素及其之间的关系进行展示。
以2019年6月17日某省6.0级地震灾害事件为例,清晰地展现了地震灾害情景表示、应对任务、应急队伍、应对方案实体和实体之间的关联关系,黄色节点表示地震灾害灾情信息,与“四川长宁6.0级地震”节点相连接的有灾害发生时间、发生地点、强度等属性节点,以及灾害事件对应的应对任务节点。
在此基于“情景—应对”的地震灾害应急知识图谱案例中,包含地震灾害情景应对中的地震灾害情景表示、应对任务、应急队伍、应对方案4个核心要素,根据模式层中定义的较为全面的要素属性及语义关系,基于命名实体识别技术实现了数据层中具体实例的知识抽取,对要素之间丰富的关联关系进行了表达。相关部门可以更快速、直观、准确地获得地震灾害应对知识,实现从多源数据到互联知识的转化。
3)基于知识图谱的地震灾害应急知识推送服务
地震灾害应急智能服务系统围绕地震灾害,考虑灾前防范、灾时信息推送及应急救援、灾后调查及重建等过程,以相关地区和应急管理部门领导决策、灾害现场各支应急队伍、灾区群众和被困人员为服务对象,结合自适应快速制图、模型匹配、地图可视化以及大数据流式计算等关键技术为应急决策者、应急救援人员以及受灾群众提供个性化多粒度地震灾害应急智能服务。地震灾害应急智能服务系统依据系统架构构建了应急信息管理、应急事件管理、应急空间分析、灾害模型分析、综合减灾服务5个模块。地震灾害应急知识图谱主要应用于主动推送服务,实现不同类型用户对地震灾害情景应对知识的可视化展示,并自动生成地震灾害智能应急方案。
用户在进入主动推送服务界面后,可对灾害事件进行选择,例如选择“某县发生4.1级地震”,系统打开知识图谱展示界面,系统根据不同用户的可视化需求,围绕地震灾害情景应对中的地震灾害情景表示、应对任务、应急队伍、应对方案4个核心要素及要素之间的关联关系进行表达。
在分析列表中,用户根据其信息需求自动关联应急信息和分析模块,例如人口信息、经济信息、地理国情信息等,用户可通过知识图谱获取地震灾害应对知识并分享至APP,提高了做出应急响应的速度及决策的精准性,实现了基于知识图谱的地震灾害应急知识推送。
实施例6
本发明实施例提供一种数据安全与监控管理系统,包括:
(1)监控管理:
提供对平台的基础设施、操作系统、数据库、中间件等软硬件IT资源、虚拟化资源、视频监控、社会感知物联网资源的全方位一体化监控,同时提供拓扑管理、告警管理、业务服务管理、网络配置文件管理、自动巡检、日志管理、监控数据可视化展示与统计分析等功能。
(2)运行监测
提供基于ITSS国家标准的规范化运维管理流程,建立基于最佳实践的统一服务管理平台。同时实现对各类资产配置信息的集中管理,保证资产信息的完整性和精准性,构建运维管理元数据,并为监控、运维服务流程提供数据支持。
(3)智能分析
深入挖掘运维数据的潜力与价值,通过对全栈数据的自动采集、敏捷处理以及智能分析,基于独立的告警引擎,实现故障策略的统一管理、故障的关联分析、故障根源分析以及故障预测、性能分析、容量趋势分析等智能化运维功能。
4)统一门户
提供用户访问平台的统一入口、实现大屏展示、租户管理、负载均衡等功能。同时提供移动运维APP。此外,平台还预留多种标准接口,支持通过开放的接口体系实现与第三方系统的集成对接。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
上述装置/单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程。
二、应用实施例:
应用例1
1、本发明提出数据透明管理和智能服务技术架构
基于智慧城市电子政务技术规范与国家标准,制定总体框架设计方案,确定平台架构、功能模块、内外接口等任务,实现高并发、低延迟、海量吞吐、持续稳定运行和柔性可伸缩等系统特征。支撑对城市日常管理、应急指挥、调度协同、多源异构融合等信息高效集成、管理和服务。
2、本发明提出知识驱动的透明管理和智能服务理论和方法
对多源多通道异构数据进行多层次多粒度的城市信息单元获取、跨媒体分析推理,构建城市信息单元画像,为跨域多源数据的语义统一和透明管理提供基础;面向城市场景构建信息单元关系图网,形成多部门高效协作的信息单元共享和最短路径理论,对跨领域、跨部门、跨系统的业务协同提供语义层面的支撑;面向数据和城市信息单元的管理需求,提供需求和资源驱动的全生命周期的透明管理方法,实现数据和知识存储、传输、运维及可视化过程的透明化;依据需求侧对数据共享要求对城市信息单元进行语义匹配和规则推理,形成以需求侧为主的数据资源配置和服务机制,改变当前基于供给侧的智能服务不够精准的现状;结合城市信息单元画像,开展机器学习及深度网络下的多维度数据特征提取,构建融合多维度数据的特征空间,实现预警、调度、维保、推荐等智能服务和决策支持模型,为综合服务模型的精准化和智能化提供有力保障。
3、本发明提出混搭架构下政务大数据透明访问与在线汇聚(透明智能体)
从政务各部门业务流程出发构建业务描述的标准化和统一表达,提出自学习的透明化访问管理业务模型的构建方法,提高业务建模质量和异构环境下业务模型的透明化访问管理效率;基于多种表现形式的异构信息管道,结合知识图谱提出异构信息管道的耦合和协同方法,可实现异构信道的相互验证和相互补充,保证异构管道内的信息完整性和一致性;设计跨域数据互操作规范,结合异构系统语义的理解和信息流的柔性组合技术,打破混搭架构下不同系统的约束条件,实现各异构系统之间带有意图信息的高效交互行为;提出各类结构化、非结构化、半结构化等多源异构数据的实时、高效在线汇聚技术,降低数据之间互联互通的复杂性,打通信息壁垒;提出融合数据监管和溯源管理技术,实现数据质量和数据可靠性的评估,探寻数据的来源和跟踪知识的创建过程,提供数据审计跟踪。
4、本发明提出物理-数字空间深度融合的群体行为演化
建立多源、多尺度、多维度、多模态时空大数据的概念化描述与形式化表达模型,构建社会感知数据自适应匹配映射和多特征自动融合的规则体系,解决社会传感数据和政务大数据尺度、语义、时间、关系等多元特征的归一化和数据融合问题,为面向城市管理时空大数据深度分析和跨时空挖掘提供统一的时空表达框架;研究面向物理-数字空间的群聚行为与时空异常模式挖掘方法,解析群聚行为的时空格局特征及其变化规律。基于物理-数字空间深度融合数据及政务结构化数据,构建人物群体时空行为画像,实现人物(群体)时空行为模式识别,为城市智能管理中人物动态跟踪、异常行为发现和推测奠定基础。
具体应用例如下:
1、数据透明访问系统
数据透明访问采用混搭架构下政务大数据互操作与溯源系统,形成数据管道表征、数据管道耦合、数据透明访问、数据跨域互操作、在线汇聚溯源等六个模块数据透明访问系统工具。
数据管道表征用于展示和管理根据业务梳理整合后的不同数据管道的数据资产,可以根据数据所支持的业务标签、资产名称、资产来源单位、资产状态、责任人、管道类型等关键属性查找相关数据资产,并显示相关数据资产全部属性。
数据管道耦合是基于异构信息管道不同数据的接口格式与协议,通过十大业务领域流程中数据之间的关联性进行关联耦合,在业务开展前可以根据空间尺度、时间纬度和业务类型对数据资产的属性进行查询。
数据透明访问旨在打破信息孤岛,实现在实施互操作的系统之间进行数据共享和信息传递,通过不通的通道方式对原有系统的数据进行获取,展示了国土规划、水务、环保、交通、电力、城管、应急、政务服务、社保、综合治理等行业系统的数据资产及其属性。
数据跨域互操作在数据透明访问的基础上,用户可以根据关键字查找属于不同业务系统的数据资产。不同用户具有不同的操作权限,包括查找、调用、修改等。查找结果显示表名称、业务系统名称、部门名称、互操作类型等字段。实现多系统之间高效协同。
在线汇聚溯源模块包括功能操作日志、跨域跨部门互操作日志、页面操作溯源脚本记录、数据异动日志,分类详细记录用户的操作详情、操作时间等,在数据共享的前提下实现对数据的监管与溯源。
2、数据透明管理系统
2.1、全生命周期的城市政务大数据透明管理
本平台从数据全周期存储、计算,运维、安全、销毁等方面保证政务数据的透明管理,具体包括研究基于场景自适应感知的混合信息分布式存储技术、针对面向政务大数据的混合计算检索框架、自主感知的增量数据发现更新、负载均衡下的数据透明迁移、基于差分隐私和匿名化的数据安全、基于密钥管理的云存储管理下的数据销毁等政务大数据全生命周期管理方法,实现数据和知识存储、传输、运维及可视化过程的透明化。
2.1.1场景自适应感知的混合信息存储
在政务场景中,会产生来自各种不同场景的政务数据,例如国土规划,交通,医疗,环保,政府,水务,电力等等。各类数据按照类型分为实时数据和非实时数据,按照类型可以分为报表、文本,视频,图像,语音等。在政务数据采集阶段,如何根据场景需求和数据类型,在集群中根据集群数量,集群位置,集群宽带和集群状态(负载,内存状态、磁盘状态)等信息,选择与场景匹配的集群节点是亟待解决的问题。由于存储采用zookeeper作为集群管理,因此本方案仅需设计调度方案即可,常见的调度方案包括轮询算法,Hash算法,Session,最小连接数,最大空闲等。
本算法基于平滑加权随机算法,利用zookeeper集群管理,包含以下特性1)采用HTTP协议传输实现RPC调用。2)采用Zookeeper作为服务注册和发现中心3)服务注解自动扫描注册,简化启动配置.4)模块耦合度低,易扩展,其流程如下:
服务注册和发现中心采用了zookeeper。ZkServiceRegistry是服务注册类,ZkServiceDiscovery是服务发现类,HttpClient封装请求信息通过HTTP协议携带JSON格式数据发送给服务器负载均衡选择。
综合考虑上述的所有因素,根据发明设计的平滑加权随机算法,输出最优的负载服务器。
2.1.2基于混合式计算框架的大数据计算和检索
对于政务大数据的应用场景,本发明需要面对的数据及应用分为两部分:1)各部门的政务数据和政策数据,各部门的公开数据和个人数据,包括即席查询,数据生成,数据查询和数据仓库管理,各类非实时性的统计查询。2)针对政务数据的实时应用包括实时的特征生成,政务推理特征生成,实时样本生成以及实时查询等。政务大数据计算包括:数据快速收集、数据计算和数据存储。针对不同的计算和业务类型,本发明提供了混合式计算框架的大数据计算和检索。
针对离散计算业务,本发明直接基于政务大数据的混合式存储(HDFS,HBase,Ceph和Swift),使用spark进行离散计算,Spark SQL对离线数据进行增删改查操作,MiLb对离散数据提取特征并利用机器学习进行推理建模,对于时序政务数据和社群数据,在构建决策模型时,利用分布式的图计算系统,实现倒排索引,推荐系统,最短路径,群体检测等等。针对spark集群,本发明将其部署在Yarn资源管理器上,Yarn是Hadoop推出整个分布式(大数据)集群的资源管理器,负责资源的管理和分配,基于Yarn,可以有效地部署计算框架。
针对实时计算业务,通过Flume或者定制化的Kafka生产者将数据导入到Kafka中,通过Flink中的数据进行实时计算,最后将处理后的结果持久化到数据库中进而对外提供实时服务,在实时场景下的主流逻辑框架有Kafka+Flink。该方案对实时和非实时数据都能够完全容纳,Kafka有非常好的数据容灾机制。
对于检索模型,本发明根据不同的场景模型,采用不同的检索模型,对于日志类实时数据检索(应用程序日志,错误日志和系统日志)和分析场合(政策检索,办事指南检索和政务目录检索),本发明使用ELK组合模型(Elasticsearch、Logstash、Kibana)提供全文索引,并使用kibana搜索、分析和可视化存储在Elasticsearch指标中的日志数据,它利用Elasticsearch的REST接口来检索数据,不仅允许用户创建他们自己的数据的定制仪表板视图,还允许他们以特殊的方式查询和过滤数据。ELK与混合存储模型(Swift,HBase,Ceph,HDFS)相结合,有效的按需检索百万级的存储数据并将检索索引存储在Hbase中。针对离线检索(数据仓库)或者非实时检索,直接使用Hive对HDFS进行查询和分析,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行,该非实时检索仅支持不在大规模数据集上实现低延迟快速的查询。
2.1.3自主感知的增量数据发现更新
本发明使用Flume对存储介质的日志(关系型数据库SQL,非关系型数据库)进行监测分析,并将其输入到kafka中,kafaka中建立日之类主题,并使用生产者消费者模型对字更新类的日志进行存储,接着Spark Streaming消费更新日志,并使用SQOOP通过将RDBMS的更新数据实时更新到混合式存储介质。
本发明采用的数据同步增量中间件系统架构,整体分为逻辑层、协调层。本数据同步中间件的逻辑层包含Replicator组件和Consumer组件,Replicator组件负责从日志文件中采集增量的Binlog Event数据,经过解析、过滤后,使用自定义的数据结构封装并保留在存储模块中,Consumer组件负责从Replicator组件中消费增量数据,使用Spark Streaming+SQOOP并还原至目标数据库实例中;协调层负责为逻辑层组件提供分布式协调服务,基于Zookeeper为Replicator组件和Consumer组件提供状态同步、集群管理、服务发现的分布式服务能力。
2.1.4负载均衡下基于镜像的透明迁移
为了减小重复数据的迁移,采用增量迁移的方式迁移容器文件系统。对容器的联合挂载层中的文件会进行细致的区分,对于位于读写层中的文件,选择直接迁移的方式;而对于那些位于只读层中的文件,以File Placeholder替代它们。File Placeholder会记录该文件所在的镜像的ID、文件的名称、文件大小、起始位置等信息。在目的节点创建Pod时,会根据这些File Placeholder找到对应的文件,重建容器的文件层,并最终重建联合挂载层。
对于镜像的迁移技术,本发明结合了任务调度过程中的复杂负载,提出了基于负载均衡下基于卷镜像的透明迁移的实施方案。本方案主要实现了两个功能,一个是冻结应用程序,以文件的形式保存进程的各种状态,比如进程号,使用的文件描述符,内存映射,堆栈信息以及CPU寄存器中的内容等等;第二个是利用第一步保存的检查点文件,重建应用程序的进程树,恢复应用程序的各种内存状态,让引用程序从冻结的时间点继续执行。借助这个功能,本方案还可以被应用于应用程序的迁移,快照,远程调试等其他功能。
2.1.5基于差分隐私匿名化和区块链的数据安全
本发明提出新的匿名化隐私保护方法,引入差分隐私技术防止背景知识攻击的同时设计新的数据匿名化过程,构造具有单调性的泛化层次结构和压缩泛化后的数据达到局部最优泛化,在数据的全周期过程中,引入区块链技术。
2.1.6基于密钥管理的云存储管理下的数据销毁
本发明提供基于密钥管理的云存储管理下的数据销毁方法。数据提供者首先通过AONT算法对明文M进行预处理并加密得到密文数据C。其中密文数据C包括密文序列x1,x2,...xm以及密文分量stub(x0)、密钥K、Kmac、块标示Bid等。数据提供者通过云存储API将密文序列x1,x2,...xm存储到云服务器中。当需要进行数据共享时,数据使用者向数据提供者发送请求,数据提供者获得请求并确认用户授权合法后,从时间服务器TS获取当前时间并计算TTL值,同时利用封装函数将TTL值与数据对应的stub、密钥K、Kmac、块标示Bid等参数封装成CSDSO对象。最后数据提供者利用数据使用者公钥加密CSDSO并发送至数据提供者。数据提供者在获取封装对象CSDSO后,利用私钥解密并解封装,此时会首先从TS处获取时间并判断CSDSO对象是否过期,并根据判断决定是否进行数据擦除操作。一旦解封后,数据提供者就可以根据参数从CSP处获取后数据提供者上传的密文块,并利用AONT算法恢复出明文M。
2.1.7需求驱动的数据应用
在政务场景中,会产生来自各种不同场景的政务数据,例如国土规划,交通,医疗,环保,政府,水务,电力等等。根据上述不同需求,通过互联网+政务大数据平台,面向不同的场景,先指定公共的基础应用服务(例如个人画像采集,政策画像采集)等,在基于基础服务,面向不同需求,定制化不同的应用服务,例如宏观经济分析,电力负荷预测,个性化医疗,环境信息监控,政策匹配分析,银行智能房贷,产业空间职能分配,智能审批,产品匹配推荐模型,风险管控模型等等。
三、实施例相关效果的证据:
建立物理-数字空间社会传感,构建社会信号提取、处理、解析、群体刻画的通用框架;研究多源政务大数据的分类、要素提取、结构化表达和结构化管理方法,构建政务数据的结构化描述模型;研究基于时空约束、语义约束和关联规则的多源时空异构数据动态融合技术,分析多源时空大数据的语义描述规则,挖掘空间-语义模式间的隐式关联规则,实现物理-数字空间社会传感数据与政务结构化数据深度融合;探索基于社会传感信息与地理空间信息的城市群体行为演化规律;研究城市管理业务智能化服务模式,构建基于跨部门多领域业务需求、业务特征以及时空约束的主题决策模型,实现面向多元主体的城市管理信息智能化服务。
本发明汇集国内智慧城市,人工智能和大数据应用的主要科研及应用示范力量,通过建立城市政务大数据管理、业务协同和智能服务的新理论、新技术和新平台,提升城市日常管理和政府应急指挥决策能力。
本发明物联网与智慧城市关键技术具有较高科学价值和社会、经济、生态效益。
科学价值方面,目前智慧城市建设中各部门建设了大量孤立、封闭、异构的管理服务系统,在跨部门、跨行业、跨领域的城市协同管理和综合服务上存在一定局限,集中体现在城市政务数据和系统功能分散、交织、碎片化,并缺乏与社会传感数据深度共享融合,对城市群体行为动态演化认知不足等,本项目突破面向城市管理的智能服务建模、异构信息通道耦合与共享汇聚、物理数字空间社会传感、城市透明管理与综合决策平台与应用示范系统等关键等技术,在透明管理和智能服务理论和方法、政务大数据透明访问与在线汇聚、城市群体行为演化等方面取得明显创新,构建出城市政务大数据透明管理和智能服务平台,推进智慧城市构建进程,具有较高科学价值。
社会效果方面,技术成果将在省市两级数据共享与开放服务应用示范、省市两级智能政务综合服务应用示范,以及地级市建立城市透明管理与综合决策服务应用示范、支撑智慧城市的高效共享。本项目汇集来自文化执法局、教育局、应急管理局、交通管理局、生态环境局、人力资源与社会保障局、水务局、城市管理执法局等政府部门的海量政务数据,构建多层次分布式信息池。围绕城市国土规划、水务、电力等典型领域形成城市透明管理与综合决策应用系统,实现跨部门、跨行业、跨领域的数据可控透明管理和智能政务综合服务,可有效提升政务数据的开放度、政务运行效率和应急响应能力,具有较高社会价值。
经济效果方面,技术成果的城市政务大数据透明管理和智能服务平台应用于城市国土规划、公共安全与环保等典型领域,实现跨部门、跨地区、跨领域的数据可控透明管理和智能政务综合服务,提高行政效率。利用搭建城市透明管理与综合决策平台,围绕国土空间规划的科学决策、智能化环保业务协同、电力服务决策分析、政务服务协同决策、城市群体健康画像分析等领域,减少因政务协同效率低而造成的人力财力物力的浪费,具有较好的经济效益。
生态效果方面,技术成果在环保生态领域落地为智能化环保业务协同系统,以污染源管理为主线,将建设项目审批管理、排污许可证管理、现场执法、限期整改、限期治理、污染源关停、行政处罚、固废管理、核与辐射管理等业务集成而形成的一体化的管理系统,实现污染源全生命周期管理和跨部门的业务流转与协同,包含预警提醒,任务主动推送、预警自动判断,从源头治理污染,具有较好的生态效益。
以上所述,仅为本发明较优的具体的实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于云原生和大数据架构的数据智能交互方法,其特征在于,该方法包括以下步骤:
S1,基于知识图谱的信息通道耦合,构建多层次多粒度的城市信息单元全息画像,获取城市多层级信息单元之间的隐含关联;
S2,融合多模态政务数据与社会传感数据;
S3,融合多模态时空数据的群体行为演化过程重构;
S4,进行需求侧数据共享和知识驱动的智能政务服务;
S5,基于用户行为获取空间数据主动服务目标;
在步骤S3中,所述融合多模态时空数据的群体行为演化过程重构包括:基于物理空间和数字空间融合的城市群体行为认知表达、时空异常特征探测、异常事件精准发现及可信预警,建立城市大数据的跨时空关联挖掘、多尺度多维度融合理解模型,并利用群体行为演化过程重构方法,进行群体事件的感知与预测;
其中,群体行为演化过程重构方法包括:以政务事理图谱和业务协同链作为协同智能引擎,以城市信息单元为基础,以行业场景知识需求为驱动,以知识图谱、群智计算、深度学习、可信计算为算法库支撑,构建面向不同场景需求的城市透明智能体,从物理空间、社会空间、数字空间获取不同尺度的认知;
所述城市透明智能体为面向城市管理和决策需求对城市划分形成的信息单元,依赖全生命周期政务大数据透明管理模型,融合“物理-社会-信息”三元空间数据和智能模型形成跨领域、跨层级的智能计算单元,以政务事理图谱和业务协同链作为协同智能引擎,以知识图谱、群智计算、深度学习、可信计算为AI算法库支撑,面向省市两级,覆盖国土、电力、环保、水务、疫情、社会治理业务场景,支撑面向城市日常管理和应急响应的智能服务决策;
所述构建城市透明智能体包括:
面向不同场景的政务专项决策算法进行高内聚的封装,形成透明智能体,包括:1)基于多层级城市信息单元的人群流量预测可视化算法;针对城市应急管理场景,基于城市信息单元智能体,设计人群流量预测算法,通过多层感知机转换维度得到人群流量预测结果;
2)面向企业/个人画像和政务信息的政策精准匹配算法;
3)基于政务事理图谱的智能服务构建算法;
4)基于城市信息单元的安防监控识别算法;
5)面向网络舆情的内容监控和情感分析算法;
6)面向舆情事件的预测可视化算法;
7)面向多方场景的征信报告解析和智能风控算法;
8)基于深度学习的天气环境评估算法;
9)城市未来人口预测统计算法;针对各城市的人口管理,提出针对未来人口分布和流动的预测算法,为职能部门政策制定进行辅助决策;
10)城市复杂场景的意外事件检测算法;
11)基于GIS地图的城市共享单车监管算法;
基于知识图谱的信息通道耦合包括:
(1)获取多格式的通道数据,并通过通道增强的方法去除通道混叠效应的影响;对通道数据作元数据提取和关键词抽取,并将其标准化为通道标准数据;
(2)通过词目相连策略和目目关联策略进行知识融合和知识加工,构建通道耦合知识图谱实体之间关联关系;
(3)对通道耦合知识图谱作知识更新,进行通道之间的联动、促进和叠加,实现数据的全链接;
所述构建多层次多粒度的城市信息单元全息画像包括:对于多模态基础政务数据以及社会传感数据进行城市实体信息单元建模和城市社会信息单元建模,通过特征抽取、跨媒体分析推理、标签建模;
所述获取城市多层级信息单元之间的隐含关联包括:将城市信息单元画像进行层次化建模,利用基于多任务的多层级城市信息单元画像建模方法MMUP,将不同层级的信息单元画像建模作为多个任务,多个任务的损失加权求和作为基于多任务的多层级城市信息单元画像建模方法MMUP的损失函数,挖掘城市多层级信息单元之间的隐含关联;
所述基于用户行为获取空间数据主动服务目标是通过对于用户访问记录的分析与用户偏好模型的建立,完成用户偏好的感知并实现内容的主动推动,获取以空间数据的主动服务目标。
2.根据权利要求1所述的基于云原生和大数据架构的数据智能交互方法,其特征在于,在步骤S2中,所述融合多模态政务数据与社会传感数据包括:通过多源、多维、异构时空大数据进行主动汇集,进行语义解析,完成地理知识时空构建;建立数据匹配模型和关联模型,实现城市实体与时空多源时空数据的透明融合。
3.根据权利要求1所述的基于云原生和大数据架构的数据智能交互方法,其特征在于,在步骤S4中,所述进行需求侧数据共享和知识驱动的智能政务服务包括:以城市信息单元为载体,分析基于需求侧的资源配置和服务机制,通过构建融合多维度的数据特征空间,结合场景驱动的信息单元关系网图,获取基于机器学习、深度网络的预测预警、指挥调度政务服务及决策数据。
4.一种实施权利要求1-3任意一项所述基于云原生和大数据架构的数据智能交互方法的基于云原生和大数据架构的数据智能交互系统,其特征在于,所述基于云原生和大数据架构的数据智能交互系统从下到上依次布置有:基础支撑云、数据资源湖、透明智能体、应用微服务集、访问入口。
5.一种如权利要求1-3任意一项所述基于云原生和大数据架构的数据智能交互方法在政务数据访问、数据透明管理、国土、环保、水务、电力、交通、社保、医保、城市治理数据进行动态展示和决策预测上的应用。
6.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1-3任意一项所述基于云原生和大数据架构的数据智能交互方法。
CN202310076697.XA 2023-01-18 2023-01-18 一种数据智能交互方法、交互系统、计算机设备及应用 Active CN116307757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310076697.XA CN116307757B (zh) 2023-01-18 2023-01-18 一种数据智能交互方法、交互系统、计算机设备及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310076697.XA CN116307757B (zh) 2023-01-18 2023-01-18 一种数据智能交互方法、交互系统、计算机设备及应用

Publications (2)

Publication Number Publication Date
CN116307757A CN116307757A (zh) 2023-06-23
CN116307757B true CN116307757B (zh) 2024-02-20

Family

ID=86814043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310076697.XA Active CN116307757B (zh) 2023-01-18 2023-01-18 一种数据智能交互方法、交互系统、计算机设备及应用

Country Status (1)

Country Link
CN (1) CN116307757B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116976808A (zh) * 2023-07-21 2023-10-31 中国矿业大学(北京) 一种多源异构煤矿地学数据管理系统、方法、电子设备及存储介质
CN116894585B (zh) * 2023-07-25 2024-02-20 浙江三网科技股份有限公司 一种应用于未来社区综合数据智能分析方法和系统
CN116703553B (zh) * 2023-08-07 2023-12-05 浙江鹏信信息科技股份有限公司 金融反欺诈风险监控方法、系统及可读存储介质
CN116991916A (zh) * 2023-08-09 2023-11-03 广东纬昊科技有限公司 基于多源数据分析的智慧城市区域化管理方法及系统
CN116737863B (zh) * 2023-08-10 2023-11-21 深圳市易图资讯股份有限公司 一种基于政务数据空间化的方法和系统
CN117009038B (zh) * 2023-10-07 2024-02-13 之江实验室 一种基于云原生技术的图计算平台
CN117056495B (zh) * 2023-10-08 2024-01-12 吉奥时空信息技术股份有限公司 一种政务咨询自动问答方法与系统
CN117236520B (zh) * 2023-11-10 2024-01-26 国网四川省电力公司电力应急中心 一种分布式多无人机集群协同调度系统及其方法
CN117349388B (zh) * 2023-12-05 2024-02-20 南京智绘星图信息科技有限公司 数据时效性确定方法、电子设备
CN117648362A (zh) * 2024-01-29 2024-03-05 北京谷器数据科技有限公司 一种第三方数据库的链接方法及系统
CN117728585A (zh) * 2024-02-07 2024-03-19 华能江苏综合能源服务有限公司 一种分布式光伏电站状态预测方法及系统
CN117726195A (zh) * 2024-02-07 2024-03-19 创意信息技术股份有限公司 城市管理事件数量变化预测方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515309A (zh) * 2009-04-07 2009-08-26 华中科技大学 基于多智能体的城市应急疏散仿真系统
CN110245874A (zh) * 2019-03-27 2019-09-17 中国海洋大学 一种基于机器学习和知识推理的决策融合方法
CN110472107A (zh) * 2019-08-22 2019-11-19 腾讯科技(深圳)有限公司 多模态知识图谱构建方法、装置、服务器以及存储介质
CN111079009A (zh) * 2019-12-11 2020-04-28 中国地质大学(武汉) 一种用于政务地图服务的用户兴趣检测方法及系统
CN112131275A (zh) * 2020-09-23 2020-12-25 中国科学技术大学智慧城市研究院(芜湖) 全息城市大数据模型和知识图谱的企业画像构建方法
CN112287275A (zh) * 2020-10-28 2021-01-29 云赛智联股份有限公司 一种城市级数据中台
CN112685385A (zh) * 2020-12-31 2021-04-20 广西中科曙光云计算有限公司 一种用于智慧城市建设的大数据平台
CN112801340A (zh) * 2020-12-16 2021-05-14 北京交通大学 一种基于多层级城市信息单元画像的人群密度预测方法
CN113886596A (zh) * 2021-09-23 2022-01-04 同济大学 基于城市要素和多灾害融合的韧性城市知识图谱构建方法
CN114091251A (zh) * 2021-11-19 2022-02-25 中国人民解放军国防科技大学 面向多智能体群体行为的仿真系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515309A (zh) * 2009-04-07 2009-08-26 华中科技大学 基于多智能体的城市应急疏散仿真系统
CN110245874A (zh) * 2019-03-27 2019-09-17 中国海洋大学 一种基于机器学习和知识推理的决策融合方法
CN110472107A (zh) * 2019-08-22 2019-11-19 腾讯科技(深圳)有限公司 多模态知识图谱构建方法、装置、服务器以及存储介质
CN111079009A (zh) * 2019-12-11 2020-04-28 中国地质大学(武汉) 一种用于政务地图服务的用户兴趣检测方法及系统
CN112131275A (zh) * 2020-09-23 2020-12-25 中国科学技术大学智慧城市研究院(芜湖) 全息城市大数据模型和知识图谱的企业画像构建方法
CN112287275A (zh) * 2020-10-28 2021-01-29 云赛智联股份有限公司 一种城市级数据中台
CN112801340A (zh) * 2020-12-16 2021-05-14 北京交通大学 一种基于多层级城市信息单元画像的人群密度预测方法
CN112685385A (zh) * 2020-12-31 2021-04-20 广西中科曙光云计算有限公司 一种用于智慧城市建设的大数据平台
CN113886596A (zh) * 2021-09-23 2022-01-04 同济大学 基于城市要素和多灾害融合的韧性城市知识图谱构建方法
CN114091251A (zh) * 2021-11-19 2022-02-25 中国人民解放军国防科技大学 面向多智能体群体行为的仿真系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向人群流量预测的城市信息单元画像建模;徐志杰;优秀硕士学位论文全文数据库;全文 *

Also Published As

Publication number Publication date
CN116307757A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN116307757B (zh) 一种数据智能交互方法、交互系统、计算机设备及应用
Bellini et al. An IOE and big multimedia data approach for urban transport system resilience management in smart cities
CN112687097A (zh) 一种高速公路路段级数据中台系统
Elvas et al. Disaster management in smart cities
Song et al. Big data and emergency management: concepts, methodologies, and applications
Pliatsios et al. A systematic review on semantic interoperability in the IoE-enabled smart cities
Fang et al. Modeling and key technologies of a data-driven smart city system
Weil et al. Urban digital twin challenges: A systematic review and perspectives for sustainable smart cities
Llaves et al. An event abstraction layer for the integration of geosensor data
Weil et al. A Systemic Review of Urban Digital Twin Challenges, and Perspectives for Sustainable Smart Cities
Shahrah et al. Emergency response systems: research directions and current challenges
Walshe The Road to Big Data Standardisation
Riberto et al. Leveraging civilian IoT infrastructures to support warfighting activities in urban environments
Ray et al. A Comprehensive Review on Artificial Intelligence (AI) and Robotic Process Automation (RPA) for the Development of Smart Cities
Janev et al. Chapter 9 survey on big data applications
Chaturvedi Integration and management of time-dependent properties with semantic 3D city models
Fonseca et al. Information technology macro trends impacts on cities: Guidelines for urban planners
França et al. Smart cities ecosystem in the modern digital age: an introduction
Astarita et al. Risk Reduction in Transportation Systems: The Role of Digital Twins According to a Bibliometric-Based Literature Review
Tavares et al. A Systematic Review on the Use of Groupware Technologies in Emergency Management
Johannessen et al. A survey on smart cities, big data, analytics, and smart decision-making–Towards an analytical framework for decision-making in smart cities
Tavakoli et al. Blockchain-based digital twin data provenance for predictive asset management in building facilities
Jiao The Role of Big Data in Smart City Planning
Ozdamli et al. Analysing the Challenges and Opportunities of Smart Cities
Nikolov et al. Big data in a smart city ecosystem: Models, challenges and trends

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant