CN114997344B - 一种基于城市大脑的多源数据规划方法及系统 - Google Patents
一种基于城市大脑的多源数据规划方法及系统 Download PDFInfo
- Publication number
- CN114997344B CN114997344B CN202210934695.5A CN202210934695A CN114997344B CN 114997344 B CN114997344 B CN 114997344B CN 202210934695 A CN202210934695 A CN 202210934695A CN 114997344 B CN114997344 B CN 114997344B
- Authority
- CN
- China
- Prior art keywords
- data
- source
- calculation
- outputting
- data source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013439 planning Methods 0.000 title claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims abstract description 75
- 238000010276 construction Methods 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims description 137
- 238000013139 quantization Methods 0.000 claims description 36
- 230000004927 fusion Effects 0.000 claims description 20
- 238000005457 optimization Methods 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 238000005206 flow analysis Methods 0.000 claims description 7
- 238000012821 model calculation Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000010219 correlation analysis Methods 0.000 claims description 2
- 230000036962 time dependent Effects 0.000 claims 3
- 238000012545 processing Methods 0.000 abstract description 15
- 230000003213 activating effect Effects 0.000 abstract description 3
- 238000013075 data extraction Methods 0.000 abstract description 2
- 230000032683 aging Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 238000004140 cleaning Methods 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于城市大脑的多源数据规划方法及系统,涉及数据处理技术领域,其中,所述方法包括:按照数据应用属性获取城市大脑多源数据集的数据源类别信息,通过对各个类别进行数据更新速率检测获得数据流量化级数,通过对数据源类别信息进行数据价值分析获得数据流价值级数,在数据流量化级数和数据流价值级数满足激活算力转换指令条件时,进行算力转换获得转换结果。解决了现有技术中城市大脑记录数据未得到有效提取,数据使用效率低,导致城市大脑系统算力资源浪费的技术问题。达到了提高城市大脑数据提取有效性和提取效率,减少低价值数据对城市大脑系统算力资源占用,数据处理效率和数据有效性满足目标城市规划建设需求的技术效果。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种基于城市大脑的多源数据规划方法及系统。
背景技术
随着云计算、智慧城市大脑以及物联网、互联网技术的发展,城市运行过程中产生的环境、交通、文旅、商业等各个城市系统产生的巨量数据得以实现从数据孤岛走向数据融合,城市运行过程中各个城市运行组成系统产生的巨量数据经过分析挖掘后获得传统数据不能反馈的城市运行信息,为城市规划建设提供参考。
城市大脑数据来源具有多样性,且各个数据源之间关联关系的复杂,城市大脑进行实时数据收集过程中,为确保数据的完整性存在所收集数据信息密度低的缺点,因而在进行城市大脑数据管理分析时,对于城市大脑系统算力资源和存储空间造成不必要的浪费。
现有技术中存在城市大脑记录数据未得到有效提取,数据使用效率低,无效数据大量占据系统存储和运行空间,导致城市大脑系统算力资源浪费的技术问题。
发明内容
本申请提供了一种基于城市大脑的多源数据规划方法及系统,用于针对解决现有技术中存在城市大脑记录数据未得到有效提取,数据使用效率低,无效数据大量占据系统存储和运行空间,导致城市大脑系统算力资源浪费的技术问题。
鉴于上述问题,本申请提供了一种基于城市大脑的多源数据规划方法及系统。
本申请的第一个方面,提供了一种基于城市大脑的多源数据规划方法,所述方法包括:接入智慧城市数据采集终端对目标智慧城市进行数据采集,输出多源数据集;按照数据应用属性作为分类目标,获取所述多源数据集的数据源类别信息;将数据源类别信息输入所述数据流检测模块,根据所述数据流检测模块对各个类别进行数据更新速率检测,输出数据流量化级数;根据所述数据源类别信息进行数据价值分析,输出数据流价值级数;按照所述数据流量化级数和所述数据流价值级数判断是否激活算力转换指令;若激活所述算力转换指令,根据算力转换模块输出算力转换结果,其中,所述算力转换结果为按照算力需求对所述多源数据集进行算力区块规划的结果。
本申请的第二个方面,提供了一种基于城市大脑的多源数据规划系统,所述系统包括:数据采集模块,用于接入智慧城市数据采集终端对目标智慧城市进行数据采集,输出多源数据集;数据分类模块,用于按照数据应用属性作为分类目标,获取所述多源数据集的数据源类别信息;数据流检测模块,用于将所述数据源类别信息输入数据流检测模块,根据所述数据流检测模块对各个类别进行数据更新速率检测,输出数据流量化级数;数据流分析模块,用于根据所述数据源类别信息进行数据价值分析,输出数据流价值级数;数据流判断模块,用于按照所述数据流量化级数和所述数据流价值级数判断是否激活算力转换指令;算力转换模块,用于若激活所述算力转换指令,根据算力转换模块输出算力转换结果,其中,所述算力转换结果为按照算力需求对所述多源数据集进行算力区块规划的结果。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
本申请实施例提供的方法通过接入智慧城市数据采集终端对目标智慧城市进行数据采集,输出多源数据集;按照数据应用属性作为分类目标,获取所述多源数据集的数据源类别信息,为后续进行城市大脑基础数据的整合、清洗改善数据质量提供分类基础。将所述数据源类别信息输入数据流检测模块,根据所述数据流检测模块对各个类别进行数据更新速率检测,输出数据流量化级数,为后续进行数据整合清洗,提高有效数据密度提供数据基础。根据所述数据源类别信息进行数据价值分析,输出数据流价值级数,按照所述数据流量化级数和所述数据流价值级数判断是否激活算力转换指令,避免单一参考数据某一特性进行数据整合,降低数据在城市建设中的参考性。在满足激活算力转换指令要求后,根据算力转换模块 输出算力转换结果。达到了提高城市大脑数据提取有效性和提取效率,减少低价值数据对城市大脑系统算力资源占用,数据处理效率和数据有效性满足目标城市规划建设需求的技术效果。
附图说明
图1为本申请提供的一种基于城市大脑的多源数据规划方法流程示意图;
图2为本申请提供的一种基于城市大脑的多源数据规划方法中获取数据流量化级数的流程示意图;
图3为本申请提供的一种基于城市大脑的多源数据规划方法中获取数据流价值级数的流程示意图;
图4为本申请提供的一种基于城市大脑的多源数据规划系统的结构示意图。
附图标记说明:数据采集模块11,数据分类模块12,数据流检测模块13,数据流分析模块14,数据流判断模块15,算力转换模块16。
具体实施方式
本申请提供了一种基于城市大脑的多源数据规划方法及系统,用于针对解决现有技术中存在城市大脑记录数据未得到有效提取,数据使用效率低,无效数据大量占据系统存储和运行空间,导致城市大脑系统算力资源浪费的技术问题。
针对上述技术问题,本申请提供的技术方案总体思路如下:
按照数据应用属性进行城市大脑多元数据的分类,对于每一分类的数据源信息进行数据流量化级数和数据流价值级数分析,在数据源信息满足数据流量化要求和数据流价值要求时,进行算力转换以提高数据源信息处理效率,避免信息滞后性造成数据的无效采集。实现了城市大脑数据提取有效性和提取效率提高,低价值数据对城市大脑系统算力资源占用问题得以解决,城市大脑数据质量得以改善,城市大脑的数据处理效率和处理后数据有效性满足目标城市规划建设需求。
实施例一
如图1所示,本申请提供了一种基于城市大脑的多源数据规划方法,所述方法应用于基于城市大脑的多源数据规划系统,所述系统与数据流检测模块、算力转换模块通信连接,所述方法包括:
S100:接入智慧城市数据采集终端对目标智慧城市进行数据采集,输出多源数据集;
具体而言,在本实施例中,所述智慧城市数据大脑实施数据处理的总体架构可大致分为数据产生层、数据分析处理层以及数据运营管理三层。所述目标智慧城市运行过程中环境、交通、文旅、商业、城市服务等维持城市运行的各个城市系统处于智慧城市数据大脑的数据产生层,产生巨量的智慧城市原始数据。
所述智慧城市数据采集终端为对数据产生层实时产生的智慧城市原始数据进行采集,并输送至数据分析处理层进行信息整合分析的软件系统终端。
所述数据采集终端在智慧城市数据产生层进行智慧城市运行原始数据的采集,生成所述多源数据集,所述多源数据集由多个城市运行组成系统的运行数据组成,示例性的多个数据源包括但不限于轨道交通系统数据、医院系统运行数据、物流贸易系统运行数据、社交媒体系统运行数据、企业运行数据、工厂运行数据、互联网系统运行数据。
S200:按照数据应用属性作为分类目标,获取所述多源数据集的数据源类别信息;
具体而言,应理解的,在城市运行中,各个领域之间存在相互作用相互影响的关系,例如轨道交通具备货物运输及乘客搭载能力,因而轨道交通系统数据与物流贸易运行数据、旅游业运行数据之间存在数据源交叉,因而可根据组成城市运行的各个系统之间具有关联性的特点,将步骤S100的所述多源数据集中的原始数据进行整合归纳,获得按照数据源作为数据划分依据的数据集合。
在本实施例中,所述数据应用属性为多源数据集中各个系统原始数据的数据领域组成,例如轨道交通系统数据由物流领域数据源、人流领域数据源、资源运输领域数据源等多领域数据源组合而成。按照所述数据应用属性作为分类目标,将基于城市系统进行数据采集生成的所述多源数据集进行城市系统拆分,形成以数据源作为分类基础的多源数据集,所述数据源类别信息包括但不限于交通领域数据源、医疗领域数据源、人口统计领域数据源、土地资源领域数据源。
S300:将所述数据源类别信息输入所述数据流检测模块,根据所述数据流检测模块对各个类别进行数据更新速率检测,输出数据流量化级数;
具体而言,所述数据流检测模块与基于城市大脑的多元数据规划系统通信连接,用于检测所述目标智慧城市各个类别数据源在单位时间内的数据产生情况。所述数据流量化级数为评价所述目标智慧城市的某一数据源类别数据更新速度的快慢程度。
在本实施例中对于所述数据流量化级数的级别标定方式不作任何限制,优选的,可通过获取同一时间段内各个领域数据源类别的数据更新量,计算获得单位时间内各个领域数据源的数据更新速率(MD/s每秒钟更新百万字节数据),并进行各个领域数据源数据产生速率的排序,根据排序速率进行所述数据流量化级数的级别标定,将最慢数据更新速率至最快数据更新速率均匀划分为十个速率区间并标定十个数据流量化级数,在后续所述数据流检测模块检测到各个领域数据源的实际实时数据更新速率后与标定的数据流量化级数速率区间比对进行实时领域数据源数据流量化级数的确定。
将所述数据源类别信息输入所述数据流检测模块,根据所述数据流检测模块对各个类别进行数据更新速率检测,输出与各个数据源类别具有映射关系的所述数据流量化级数评价结果。
进一步的,如图2所示,所述输出数据流量化级数,本申请提供的方法步骤S300还包括:
S310:基于所述数据源类别信息,采集各个类别的数据样本;
S320:通过分析所述各个类别的数据样本,获取所属数据源的数据重复性和数据固定性;
S330:根据所述数据重复性和所述数据固定性,判断是否获取数据缩减指令;
S340:若获取所述数据缩减指令,对所属数据源的数据进行特征数据提取,基于提取后的特征数据,输出所述数据流量化级数。
具体而言,所述数据重复性为在一定时间周期内,某一数据源更新的数据与历史更新数据相一致,数据变化程度较小,如若数据源的数据重复性较高,则证明该数据源数据可进行数据归纳,避免大量重复数据对于智慧城市大脑算力资源的浪费,例如城市医疗领域的日门诊接待人次具有数据重复性,可进行规律总结和数据归纳。
所述数据固定性为常规情况下固定不发生变化的数据,如若数据源具有数据固定性,则证明该数据源数据可进行数据剔除,避免固定不变的数据引入智慧城市算力系统对于运行空间和算力系统的资源占用,例如城市耕种土地面积、城市行政区划。
在本实施例中,基于所述数据源类别信息,采集各个类别数据源在一定周期内的更新数据生成数据样本,可选的,数据样本的生成周期可为一月、一季度或一年。通过对所述各个类别的数据样本进行数据重复性分析和数据固定性分析,获取所述数据源的数据重复性分析结果和数据固定性分析结果,当根据所述数据源样本满足数据重复性或数据固定性要求时,获取所述数据缩减指令,对所述数据源的数据进行所述特征数据提取,提取所述数据源样本数据的重复周期或所述数据源数据的固定数据内容,基于提取后的特征数据对所述数据源样本数据进行数据缩减,基于缩减后的样本数据进行所述数据流量化级数的计算和输出。
本申请通过获取一定时间段内的数据源样本数据,进行样本数据的重复性或固定性分析,在样本数据存在周期性的规律重复或在长时间端内不发生明显变化时,对这类数据源数据进行缩减,基于缩减后的样本数据进行数据流量化级数评价,达到了避免规律性数据源数据的重复输入智慧城市大脑算力系统,实现在保持数据精准度的同时,降低无效数据对于算力资源的浪费的技术效果。
S400:根据所述数据源类别信息进行数据价值分析,输出数据流价值级数;
进一步的,如图3所示,所述输出数据流价值级数,本申请提供的方法步骤S400还包括:
S410:根据所述数据源类别信息中各个数据源的相关性,输出相关性系数集合;
S420:获取所述相关性系数集合中大于预设相关性系数的集合,将大于所述预设相关性系数的集合占所述相关性系数集合的比值作为数据融合指标输出;
S430:根据所述数据源类别信息中信息源获取的可信度作为数据质量指标输出;
S440:按照所述数据融合指标和所述数据质量指标,输出所述数据流价值级数。
具体而言,智慧城市大脑的优势在于实现城市运行过程中各个城市系统产生的巨量数据得以实现从数据孤岛走向数据融合,基于融合后数据进行分析挖掘获得传统数据不能反馈的城市运行信息,为城市规划建设提供参考。
所述数据流价值级数为对数据源之间的相关性以及数据源本身内容的可靠性/真实性的综合评价。根据所述数据源类别信息进行数据价值分析,输出所述数据流价值级数。
所述相关性为判断多数据源之间是否可以进行数据融合形成新领域具有参考价值的数据。所述相关性系数集合为对多个数据源进行排列组合,按照数据源应用属性进行数据源相关性判断的判断结果集合。所述预设相关性系数集合中每一预设相关性系数的数据源组成与所述相关性系数集合内每一相关性系数的数据源组成相一致。所述数据源的相关性以及预设相关性系数集合可基于城建规划专家进行专家评价法获得。
所述数据融合指标为实际进行所述数据流相关性评价所获得的满足预设相关性系数集合的相关性系数在所有相关性系数集合中的数量占比。
在本实施例中,对所述数据源类别信息中各个数据源进行排列组合进行相关性计算获得相关性系数,输出由多个相关性系数组成的相关性系数集合,获取所述相关性系数集合中大于预设相关性系数的集合,根据大于预设相关性系数集合在所述相关性系数集合的占比情况作为数据融合指标输出。
根据所述数据源类别信息中信息源获取的可信度作为数据质量指标输出,优选的,所述信息源获取可信度的评价方法可通过对各个信息源口径进行信息可信度排序,例如来自官方网站或报刊的信息可信度最高,非官方的交流性论坛贴吧的信息可信度最低,根据排序进行可信度赋分。按照所述数据融合指标和所述数据质量指标,输出所述数据流价值级数。
本实施例通过从数据源本身的信息来源以及数据源与其他数据源进行城市系统构建中的相关性进行了数据源本身以及对外连接关系的多角度分析,实现了对于数据源的价值进行评估判断,达到了为后续判断是否需要激活算力转换,避免数据失效,提高数据源在城市建设中的参考价值的技术效果。
进一步的,本申请提供的方法步骤还包括:
S450:获取所述目标智慧城市的建设现状分布信息;
S460:按照所述建设现状分布信息,获取建设目标优化领域;
S470:按照所述建设目标优化领域对所述多源数据集进行数据源标识,根据数据源标识结果,获取价值调整系数;
S480:按照所述价值调整系数对已标识的数据源进行数据流价值级数调整。
具体而言,应理解的,不同城市在发展建设过程中具有不同的建设现状和建设目标,例如提高城市宜居水平、招商引资、污染防治效果等。
在本实施例中,获取所述目标智慧城市的建设现状分布信息,所述建设现状分部信息可通过城市建设官网采集获取,根据所述建设现状分布信息通过语义识别进行关键信息获取,获得所述建设目标优化领域信息,所述建设目标优化领域可为环境领域、医疗领域、商业领域等,按照所述建设目标优化领域进行步骤S200的数据应用属性分类,确定与目标优化领域具有相关性的多个数据源,对所述多源数据集进行所述目标优化领域相关数据源标识,根据数据源标识结果获取价值调整系数,按照所述价值调整系数对已标识的数据源进行数据流价值级数调整。
本实施例通过结合目标城市建设规划状况对基于数据采集整合处理获得的数据流价值级数进行调整,再基于调整后的数据流价值级数进行与数据流量化级数进行是否激活算力转换的判断,达到了进一步提高算力转换判断准确度的技术效果,间接提高了算力转换结果对于城建规划的参考价值。
S500:按照所述数据流量化级数和所述数据流价值级数判断是否激活算力转换指令;
S600:若激活所述算力转换指令,根据所述算力转换模块输出算力转换结果,其中,所述算力转换结果为按照算力需求对所述多源数据集进行算力区块规划的结果。
所述算力转换模块为协助所述数据流量化级数和所述数据流价值级数较高的数据源,即数据价值较高且数据更新速率快的数据源进行数据融合和数据使用规划的系统辅助运行模块。
具体而言,在本实施例中,根据所述数据流量化级数进行数据源实时更新数据量的评价,根据所述数据流价值级数进行数据源重要程度的评价,当数据源中有效数据实时更新速率快且具有高价值时,认为当前数据源需要智慧城市大脑外加算力转换实现数据融合和数据使用规划。
当数据源满足进行所述算力转换的要求时,进行所述算力转换激活,根据所述算力转换模块输出算力转换结果,所述算力转换结果为按照算力需求对所述多源数据集进行算力区块规划的结果。
本申请提供的方法通过接入智慧城市数据采集终端对目标智慧城市进行数据采集,输出多源数据集;按照数据应用属性作为分类目标,获取所述多源数据集的数据源类别信息,为后续进行城市大脑基础数据的整合、清洗改善数据质量提供分类基础。将所述数据源类别信息输入数据流检测模块,根据所述数据流检测模块对各个类别进行数据更新速率检测,输出数据流量化级数,为后续进行数据整合清洗,提高有效数据密度提供数据基础。根据所述数据源类别信息进行数据价值分析,输出数据流价值级数,按照所述数据流量化级数和所述数据流价值级数判断是否激活算力转换指令,避免单一参考数据某一特性进行数据整合,降低数据在城市建设中的参考性。在满足激活算力转换指令要求后,根据算力转换模块 输出算力转换结果。达到了提高城市大脑数据提取有效性和提取效率,减少低价值数据对城市大脑系统算力资源占用,数据处理效率和数据有效性满足目标城市规划建设需求的技术效果。
进一步的,本申请提供的方法步骤还包括:
S710:获取所述多源数据集用于进行模型计算的实时调用模型;
S720:按照所述实时调用模型的属性信息,确定第一输入数据源、第二输入数据源…第N输入数据源;
S730:按照所述第一输入数据源所述第二输入数据源…所述第N输入数据源,分别获取第一级数组、第二级数组…第N级数组,其中,每一级数组均包括量化级数和价值级数;
S740:根据所述第一级数组、所述第二级数组…所述第N级数组,确定用于进行算力转换的数据源。
具体而言,所述多源数据集中每一数据源都有与之具有对应关系的处理模型组成多源数据集实时调用模型库。所述数据源模型的构建及训练可通过历史数据源数据以及与历史数据源具有对应关系的量化级数和价值级数进行模型训练,提高模型输出准确度。
从多源数据集实时调用模型库内获取所述多源数据集用于进行模型计算的多个实时调用模型;按照所述实时调用模型的属性信息,确定第一输入数据源、第二输入数据源…第N输入数据源,将所述第一输入数据源所述第二输入数据源…所述第N输入数据源,输入属性一致的实时调用模型中,输出第一级数组、第二级数组…第N级数组,每一级数组均包括量化级数和价值级数,对所述第一级数组、所述第二级数组…所述第N级数组,分别进行是否激活算力转换指令的判断,对需要进行算力转换的数据源引入算力转换模块,获得算力转换结果。
本实施例通过构建与数据源属性相一致的多个实时调用模型,实现对每一数据源快速进行量化级数和价值级数评价结果获得,达到了提高城市大脑进行数据源处理效率的技术效果。
进一步的,本申请提供的方法步骤S740还包括:
S741:按照第一数据流量化级数和第一数据流价值级数,确定第一算力指标;
S742:按照第二数据流量化级数和第二数据流价值级数,确定第二算力指标;
S743:基于所述第一算力指标和所述第二算力指标进行算力同步分析,获取算力同步性;
S744:若所述算力同步性不处于预设算力同步性中,获取算力差值向量,其中,所述算力差值向量为所述第一算力指标与所述第二算力指标的差值向量;
S745:按照所述算力差值向量的负向源,确定用于进行算力转换的数据源。
进一步的,本申请提供的方法步骤S743还包括:
S743-1:通过对执行算力运行终端的服务电子设备信息进行分析,获取算力可容质量;
S743-2:基于所述算力可容质量,对所述第一算力指标和所述第二算力指标进行时效延迟性分析,输出时效延迟结果,按照所述时效延迟结果进行算力同步分析。
具体而言,在本实施例中,将城市运行系统数据进行应用属性分类,获得多源数据集的目的在于后续通过对多源数据进行融合后,分析挖掘获得传统数据不能反馈的城市运行信息,为城市规划建设提供参考。
所述算力指标为单位时间内城市大脑算力系统常规可以进行数据源更新数据的处理效率。当数据源算力指标低于城市大脑算力指标时,无需激活算力转换模块辅助数据源进行算力转换。
为避免两个数据源的数据量和数据价值的算力指标差异性过大,导致无法进行同步进行书分析导致分析结果无效。
本实施例以两个数据源具有相关性为例进行算力同步处理,按照第一数据源的第一数据流量化级数和第一数据流价值级数,确定第一算力指标;按照第二数据源的第二数据流量化级数和第二数据流价值级数,确定第二算力指标;基于所述第一算力指标和所述第二算力指标进行算力同步分析,获取算力同步性。具体的算力同步性获得方法为,通过对执行算力运行终端的服务电子设备信息进行分析,获取算力可容质量,基于所述算力可容质量,对所述第一算力指标和所述第二算力指标进行时效延迟性分析,判断具有相关性的两个数据源在同步进行算力运行时的延迟是否会导致计算结果的无效,输出时效延迟结果,将输出的所述时效延迟结果与预设算力同步时间区间进行比对,若所述算力同步性不处于预设算力同步性中,获取所述第一算力指标与所述第二算力指标的差值向量,按照所述算力差值向量的负向源,即确定在进行算力运行中相较于相关性数据源存在延迟的一方数据源,即为需要进行算力转换的数据源。
本实施例通过获得待进行数据融合的具有相关性的数据源的算力指标,进行算力同步性分析,确定在数据融合进行城市大脑数据分析处理过程中需要进行算力转换实现同步性分析的一方,达到了了在进行多数据源融合分析时,各个数据源得以同步进行算力运行,所获算力结果具有城建规划参考价值的技术效果。
实施例二
基于与前述实施例中一种基于城市大脑的多源数据规划方法相同的发明构思,如图4所示,本申请提供了一种基于城市大脑的多源数据规划系统,其中,所述系统包括:
数据采集模块11,用于接入智慧城市数据采集终端对目标智慧城市进行数据采集,输出多源数据集;
数据分类模块12,用于按照数据应用属性作为分类目标,获取所述多源数据集的数据源类别信息;
数据流检测模块13,用于将所述数据源类别信息输入数据流检测模块,根据所述数据流检测模块对各个类别进行数据更新速率检测,输出数据流量化级数;
数据流分析模块14,用于根据所述数据源类别信息进行数据价值分析,输出数据流价值级数;
数据流判断模块15,用于按照所述数据流量化级数和所述数据流价值级数判断是否激活算力转换指令;
算力转换模块16,用于若激活所述算力转换指令,根据算力转换模块输出算力转换结果,其中,所述算力转换结果为按照算力需求对所述多源数据集进行算力区块规划的结果。
进一步的,所述数据流检测模块13还包括:
数据样本采集单元,用于基于所述数据源类别信息,采集各个类别的数据样本;
数据样本分析单元,用于通过分析所述各个类别的数据样本,获取所属数据源的数据重复性和数据固定性;
数据缩减判断单元,用于根据所述数据重复性和所述数据固定性,判断是否获取数据缩减指令;
量化级数输出单元,用于若获取所述数据缩减指令,对所属数据源的数据进行特征数据提取,基于提取后的特征数据,输出所述数据流量化级数。
进一步的,所述数据流分析模块14还包括:
相关性分析单元,用于根据所述数据源类别信息中各个数据源的相关性,输出相关性系数集合;
融合指标输出单元,用于获取所述相关性系数集合中大于预设相关性系数的集合,将大于所述预设相关性系数的集合占所述相关性系数集合的比值作为数据融合指标输出;
质量指标输出单元,用于根据所述数据源类别信息中信息源获取的可信度作为数据质量指标输出;
价值级数输出单元,用于按照所述数据融合指标和所述数据质量指标,输出所述数据流价值级数。
进一步的,所述数据流分析模块14还包括:
城市建设获得单元,用于获取所述目标智慧城市的建设现状分布信息;
优化领域获得单元,用于按照所述建设现状分布信息,获取建设目标优化领域;
调整系数获得单元,用于按照所述建设目标优化领域对所述多源数据集进行数据源标识,根据数据源标识结果,获取价值调整系数;
价值级数调整单元,用于按照所述价值调整系数对已标识的数据源进行数据流价值级数调整。
进一步的,所述系统还包括:
调用模型获得单元,用于获取所述多源数据集用于进行模型计算的实时调用模型;
数据源确定单元,用于按照所述实时调用模型的属性信息,确定第一输入数据源、第二输入数据源…第N输入数据源;
数据级数获得单元,用于按照所述第一输入数据源所述第二输入数据源…所述第N输入数据源,分别获取第一级数组、第二级数组…第N级数组,其中,每一级数组均包括量化级数和价值级数;
算力转换确定单元,用于根据所述第一级数组、所述第二级数组…所述第N级数组,确定用于进行算力转换的数据源。
进一步的,所述算力转换确定单元还包括:
算力指标确定单元,用于按照第一数据流量化级数和第一数据流价值级数,确定第一算力指标;
算力指标生成单元,用于按照第二数据流量化级数和第二数据流价值级数,确定第二算力指标;
算力同步性判断单元,用于基于所述第一算力指标和所述第二算力指标进行算力同步分析,获取算力同步性;
差值向量确定单元,用于若所述算力同步性不处于预设算力同步性中,获取算力差值向量,其中,所述算力差值向量为所述第一算力指标与所述第二算力指标的差值向量;
转换数据源确定单元,用于按照所述算力差值向量的负向源,确定用于进行算力转换的数据源。
进一步的,所述算力同步性判断单元还包括:
可容质量获得单元,用于通过对执行算力运行终端的服务电子设备信息进行分析,获取算力可容质量;
时效延迟分析单元,用于基于所述算力可容质量,对所述第一算力指标和所述第二算力指标进行时效延迟性分析,输出时效延迟结果,按照所述时效延迟结果进行算力同步分析。
综上所述的任意一项方法或者步骤可作为计算机指令或程序存储在各种不限类型的计算机存储器中,通过各种不限类型的计算机处理器识别计算机指令或程序,进而实现上述任一项方法或者步骤。
基于本发明的上述具体实施例,本技术领域的技术人员在不脱离本发明原理的前提下,对本发明所作的任何改进和修饰,皆应落入本发明的专利保护范围。
Claims (5)
1.一种基于城市大脑的多源数据规划方法,其特征在于,所述方法应用于基于城市大脑的多源数据规划系统,所述系统与数据流检测模块、算力转换模块通信连接,所述方法包括:
接入智慧城市数据采集终端对目标智慧城市进行数据采集,输出多源数据集;
按照数据应用属性作为分类目标,获取所述多源数据集的数据源类别信息;
将所述数据源类别信息输入所述数据流检测模块,根据所述数据流检测模块对各个类别进行数据更新速率检测,输出数据流量化级数;
根据所述数据源类别信息进行数据价值分析,输出数据流价值级数;
按照所述数据流量化级数和所述数据流价值级数判断是否激活算力转换指令;
若激活所述算力转换指令,根据所述算力转换模块输出算力转换结果,其中,所述算力转换结果为按照算力需求对所述多源数据集进行算力区块规划的结果;
所述输出数据流量化级数,所述方法还包括:
基于所述数据源类别信息,采集各个类别的数据样本;
通过分析所述各个类别的数据样本,获取所属数据源的数据重复性和数据固定性;
根据所述数据重复性和所述数据固定性,判断是否获取数据缩减指令;
若获取所述数据缩减指令,对所属数据源的数据进行特征数据提取,基于提取后的特征数据,输出所述数据流量化级数;
所述输出数据流价值级数,所述方法还包括:
根据所述数据源类别信息中各个数据源的相关性,输出相关性系数集合;
获取所述相关性系数集合中大于预设相关性系数的集合,将大于所述预设相关性系数的集合占所述相关性系数集合的比值作为数据融合指标输出;
根据所述数据源类别信息中信息源获取的可信度作为数据质量指标输出;
按照所述数据融合指标和所述数据质量指标,输出所述数据流价值级数;
获取所述目标智慧城市的建设现状分布信息;
按照所述建设现状分布信息,获取建设目标优化领域;
按照所述建设目标优化领域对所述多源数据集进行数据源标识,根据数据源标识结果,获取价值调整系数;
按照所述价值调整系数对已标识的数据源进行数据流价值级数调整。
2.如权利要求1所述的方法,其特征在于,所述方法包括:
获取所述多源数据集用于进行模型计算的实时调用模型;
按照所述实时调用模型的属性信息,确定第一输入数据源、第二输入数据源…第N输入数据源;
按照所述第一输入数据源所述第二输入数据源…所述第N输入数据源,分别获取第一级数组、第二级数组…第N级数组,其中,每一级数组均包括量化级数和价值级数;
根据所述第一级数组、所述第二级数组…所述第N级数组,确定用于进行算力转换的数据源。
3.如权利要求2所述的方法,其特征在于,所述方法包括:
按照第一数据流量化级数和第一数据流价值级数,确定第一算力指标;
按照第二数据流量化级数和第二数据流价值级数,确定第二算力指标;
基于所述第一算力指标和所述第二算力指标进行算力同步分析,获取算力同步性;
若所述算力同步性不处于预设算力同步性中,获取算力差值向量,其中,所述算力差值向量为所述第一算力指标与所述第二算力指标的差值向量;
按照所述算力差值向量的负向源,确定用于进行算力转换的数据源。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
通过对执行算力运行终端的服务电子设备信息进行分析,获取算力可容质量;
基于所述算力可容质量,对所述第一算力指标和所述第二算力指标进行时效延迟性分析,输出时效延迟结果,按照所述时效延迟结果进行算力同步分析。
5.一种基于城市大脑的多源数据规划系统,其特征在于,所述系统包括:
数据采集模块,用于接入智慧城市数据采集终端对目标智慧城市进行数据采集,输出多源数据集;
数据分类模块,用于按照数据应用属性作为分类目标,获取所述多源数据集的数据源类别信息;
数据流检测模块,用于将所述数据源类别信息输入数据流检测模块,根据所述数据流检测模块对各个类别进行数据更新速率检测,输出数据流量化级数;
数据流分析模块,用于根据所述数据源类别信息进行数据价值分析,输出数据流价值级数;
数据流判断模块,用于按照所述数据流量化级数和所述数据流价值级数判断是否激活算力转换指令;
算力转换模块,用于若激活所述算力转换指令,根据算力转换模块输出算力转换结果,其中,所述算力转换结果为按照算力需求对所述多源数据集进行算力区块规划的结果;
所述数据流检测模块还包括:
数据样本采集单元,用于基于所述数据源类别信息,采集各个类别的数据样本;
数据样本分析单元,用于通过分析所述各个类别的数据样本,获取所属数据源的数据重复性和数据固定性;
数据缩减判断单元,用于根据所述数据重复性和所述数据固定性,判断是否获取数据缩减指令;
量化级数输出单元,用于若获取所述数据缩减指令,对所属数据源的数据进行特征数据提取,基于提取后的特征数据,输出所述数据流量化级数;
所述数据流分析模块还包括:
相关性分析单元,用于根据所述数据源类别信息中各个数据源的相关性,输出相关性系数集合;
融合指标输出单元,用于获取所述相关性系数集合中大于预设相关性系数的集合,将大于所述预设相关性系数的集合占所述相关性系数集合的比值作为数据融合指标输出;
质量指标输出单元,用于根据所述数据源类别信息中信息源获取的可信度作为数据质量指标输出;
价值级数输出单元,用于按照所述数据融合指标和所述数据质量指标,输出所述数据流价值级数;
城市建设获得单元,用于获取所述目标智慧城市的建设现状分布信息;
优化领域获得单元,用于按照所述建设现状分布信息,获取建设目标优化领域;
调整系数获得单元,用于按照所述建设目标优化领域对所述多源数据集进行数据源标识,根据数据源标识结果,获取价值调整系数;
价值级数调整单元,用于按照所述价值调整系数对已标识的数据源进行数据流价值级数调整。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210934695.5A CN114997344B (zh) | 2022-08-04 | 2022-08-04 | 一种基于城市大脑的多源数据规划方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210934695.5A CN114997344B (zh) | 2022-08-04 | 2022-08-04 | 一种基于城市大脑的多源数据规划方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114997344A CN114997344A (zh) | 2022-09-02 |
CN114997344B true CN114997344B (zh) | 2022-10-25 |
Family
ID=83023308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210934695.5A Active CN114997344B (zh) | 2022-08-04 | 2022-08-04 | 一种基于城市大脑的多源数据规划方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114997344B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115633090B (zh) * | 2022-10-21 | 2023-07-18 | 北京中电飞华通信有限公司 | 一种基于eSIM卡和5G网络的多源数据链接方法 |
CN116127522B (zh) * | 2023-04-17 | 2023-06-30 | 北京盛科沃科技发展有限公司 | 一种基于多源数据采集的安全风险分析方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107943818A (zh) * | 2017-10-09 | 2018-04-20 | 中国电子科技集团公司第二十八研究所 | 一种基于多源信息融合的城市数据服务系统及方法 |
CN108446293A (zh) * | 2018-01-22 | 2018-08-24 | 中电海康集团有限公司 | 一种基于城市多源异构数据构建城市画像的方法 |
CN111209269A (zh) * | 2019-12-16 | 2020-05-29 | 云赛智联股份有限公司 | 一种智慧城市大数据管理系统 |
CN112417214A (zh) * | 2020-11-02 | 2021-02-26 | 中关村科学城城市大脑股份有限公司 | 一种用于城市大脑场景的多源异构数据的融合方法及系统 |
CN112527791A (zh) * | 2021-02-09 | 2021-03-19 | 中关村科学城城市大脑股份有限公司 | 一种城市大脑智能大数据系统 |
WO2021103323A1 (zh) * | 2019-11-29 | 2021-06-03 | 青岛理工大学 | 一种历史城市保护发展协同控制方案辅助设计系统 |
CN114090800A (zh) * | 2021-11-30 | 2022-02-25 | 苏州市测绘院有限责任公司 | 一种城市信息模型的多源异构的数据汇聚系统 |
-
2022
- 2022-08-04 CN CN202210934695.5A patent/CN114997344B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107943818A (zh) * | 2017-10-09 | 2018-04-20 | 中国电子科技集团公司第二十八研究所 | 一种基于多源信息融合的城市数据服务系统及方法 |
CN108446293A (zh) * | 2018-01-22 | 2018-08-24 | 中电海康集团有限公司 | 一种基于城市多源异构数据构建城市画像的方法 |
WO2021103323A1 (zh) * | 2019-11-29 | 2021-06-03 | 青岛理工大学 | 一种历史城市保护发展协同控制方案辅助设计系统 |
CN111209269A (zh) * | 2019-12-16 | 2020-05-29 | 云赛智联股份有限公司 | 一种智慧城市大数据管理系统 |
CN112417214A (zh) * | 2020-11-02 | 2021-02-26 | 中关村科学城城市大脑股份有限公司 | 一种用于城市大脑场景的多源异构数据的融合方法及系统 |
CN112527791A (zh) * | 2021-02-09 | 2021-03-19 | 中关村科学城城市大脑股份有限公司 | 一种城市大脑智能大数据系统 |
CN114090800A (zh) * | 2021-11-30 | 2022-02-25 | 苏州市测绘院有限责任公司 | 一种城市信息模型的多源异构的数据汇聚系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114997344A (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114997344B (zh) | 一种基于城市大脑的多源数据规划方法及系统 | |
CN111178456B (zh) | 异常指标检测方法、装置、计算机设备和存储介质 | |
CN108563739B (zh) | 天气数据获取方法及装置、计算机装置及可读存储介质 | |
CN109165294B (zh) | 一种基于贝叶斯分类的短文本分类方法 | |
US20200043474A1 (en) | System and method for neural network orchestration | |
CN107871166B (zh) | 针对机器学习的特征处理方法及特征处理系统 | |
CN112434720A (zh) | 一种基于图注意力网络的中文短文本分类方法 | |
CN107038156A (zh) | 一种基于大数据的舆论热点预测方法 | |
CN113505537A (zh) | 楼宇能耗检测方法、装置、计算机设备和存储介质 | |
CN111274814A (zh) | 一种新型的半监督文本实体信息抽取方法 | |
CN113688558A (zh) | 一种基于大数据库样本的汽车行驶工况构建方法及系统 | |
CN113590807A (zh) | 一种基于大数据挖掘的科技企业信用评价方法 | |
CN109062951A (zh) | 基于意图分析和对话聚类的对话流程抽取方法、设备及存储介质 | |
CN110175696B (zh) | 一种基于多元回归的渔港船舶进出港动态预测方法及系统 | |
CN107330557A (zh) | 一种基于社区划分和熵的舆情热点跟踪及预测方法与装置 | |
CN114372532A (zh) | 标签标注质量的确定方法、装置、设备、介质及产品 | |
KR20220079476A (ko) | 전력소모예측시스템 및 방법 | |
CN112685374B (zh) | 日志分类方法、装置及电子设备 | |
CN106649875B (zh) | 舆情大数据的可视化系统 | |
CN116795978A (zh) | 一种投诉信息处理方法、装置、电子设备及介质 | |
CN114358024A (zh) | 日志分析方法、装置、设备、介质和程序产品 | |
CN114443930A (zh) | 一种新闻舆情智能监测分析方法、系统及计算机存储介质 | |
CN113487103A (zh) | 模型更新方法、装置、设备及存储介质 | |
Alhaisoni et al. | SCF: smart big data classification framework | |
CN117332377B (zh) | 一种基于深度学习的离散时间序列事件挖掘方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |