CN114004429A - 一种用于构建数字城市的数据处理方法和系统 - Google Patents

一种用于构建数字城市的数据处理方法和系统 Download PDF

Info

Publication number
CN114004429A
CN114004429A CN202210000843.6A CN202210000843A CN114004429A CN 114004429 A CN114004429 A CN 114004429A CN 202210000843 A CN202210000843 A CN 202210000843A CN 114004429 A CN114004429 A CN 114004429A
Authority
CN
China
Prior art keywords
data
dimension
dimensional data
digital city
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210000843.6A
Other languages
English (en)
Other versions
CN114004429B (zh
Inventor
薛晨洋
蒋晓军
沈鸣飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Yuancheng Technology Co ltd
Original Assignee
Suzhou Yuancheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Yuancheng Technology Co ltd filed Critical Suzhou Yuancheng Technology Co ltd
Priority to CN202210000843.6A priority Critical patent/CN114004429B/zh
Publication of CN114004429A publication Critical patent/CN114004429A/zh
Application granted granted Critical
Publication of CN114004429B publication Critical patent/CN114004429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提出用于构建数字城市的数据处理方法和系统。方法包括：获取用于构建数字城市的K维数据以生成K维数据的特征向量；利用K维数据的特征向量训练预测模型，预测模型包含N个编解码层，每个编解码层均包含M个编码器和一个解码器，每个编解码层中的M个编码器的输出作为同一编解码层解码器的输入；对于第一编解码层，其包含的M个编码器的输入均为K维数据的特征向量；对于其他编解码层中的每个编码器C，其输入包括K维数据的特征向量、前一编解码层的解码器的输出、所有在先编解码层包含的与当前编解码层中编码器C对应的编码器的输出；采集数字城市的实时K维数据，利用经训练的预测模型预测各个维度的数据在未来固定时段内的数据量。

Description

一种用于构建数字城市的数据处理方法和系统
技术领域
本发明属于数据处理技术领域，尤其涉及一种用于构建数字城市的数据处理方法和系统。
背景技术
随着物联网设备和大数据处理技术的飞速发展，构建数字城市成为新的热点技术。毋庸置疑，构建数字城市所需的数据量是巨大的，通常包括多维度的数据，例如，接入水、电、气、热、煤的使用情况，再如，接入通信网络的使用情况，又如，接入交通线路网的实时流量，等等。对于本就如此巨大的数据量，当出现突发的数据瞬时增长的状况时，如何应对海量数据的缓存/存储问题，以及如何对数据增长做出预判，成为急需解决的技术问题。
发明内容
本发明提出了一种用于构建数字城市的数据处理方案，以解决上述技术问题。
本发明第一方面公开了一种用于构建数字城市的数据处理方法。所述方法包括：
步骤S1、获取用于构建数字城市的K维数据，以生成所述K维数据的特征向量；
步骤S2、利用所述K维数据的特征向量训练预测模型，所述预测模型为seq2seq模型，用于预测所述K维数据在未来固定时段内的数据量；其中：
所述预测模型包含N个编解码层，每个编解码层均包含M个编码器和一个解码器，所述每个编解码层中的所述M个编码器的输出作为同一编解码层所述解码器的输入；对于第一编解码层，其包含的M个编码器的输入均为所述K维数据的特征向量；对于其他编解码层中的每个编码器C，其输入包括所述K维数据的特征向量、前一编解码层的解码器的输出、所有在先编解码层包含的与当前编解码层中编码器C对应的编码器的输出，其中N、M、K为整数，M≥1，N≥1，K≥2；
步骤S3、采集所述数字城市的实时K维数据，利用经训练的所述预测模型，来预测所述数字城市中K维数据的各个维度的数据在所述未来固定时段内的数据量。
根据本发明第一方面的方法，所述步骤S1具体包括：
利用多路传感器采集所述用于构建数字城市的K维数据，所述K维数据包括交通网路数据、用水数据、用电数据、用气数据、通信网络数据中的至少两种；
从所述K维数据的各个维度的数据中分别提取固定时长的数据，以对提取出的固定时长的数据执行电压、波峰/波谷、频率、周期的归一化处理；
将归一化处理的各个维度的数据以固定次序进行拼接，从而获得所述K维数据的特征向量。
根据本发明第一方面的方法，在所述步骤S2中，对于所述N个编解码层中的每一层，其包含的M个编码器中最后一个编码器的输入还包括注意力特征，所述注意力特征由如下公式来表征：
q i =w 1 a i +w 2 b i +w 3 c i +w 4 d i
其中，1≤i≤N，q i 表示输入至第i编解码层包含的M个编码器中最后一个编码器的注意力特征，a i 、b i 、c i 、d i 分别表示所述第i编解码层包含的M个编码器中最后一个编码器的输入数据经整合后的电压、波峰/波谷、频率、周期的特征分量，w 1 、w 2 、w 3 、w 4 表示所述第i编解码层包含的M个编码器中最后一个编码器的输入数据的电压、波峰/波谷、频率、周期的权重。
根据本发明第一方面的方法，所述步骤S3具体包括：
从所述实时K维数据的各个维度的数据中分别提取固定时长的实时数据，以对提取出的固定时长的实时数据执行电压、波峰/波谷、频率、周期的归一化处理；
将归一化处理的各个维度的实时数据以所述固定次序进行拼接，从而获得所述实时K维数据的特征向量；
基于所述实时K维数据的特征向量，利用所述经训练的预测模型，来预测所述数字城市中K维数据的各个维度的数据在所述未来固定时段内的数据量。
根据本发明第一方面的方法，所述数字城市的K维数据以维度划分实现分布式存储，单一维度的数据存储在一个数据集群中，各个数据集群依据所述固定次序采用链式连接方式，每个数据集群包含多个数据块。
根据本发明第一方面的方法，在所述步骤S3中，当第j维数据在所述未来固定时段内的数据量出现瞬时增大的情况时，计算所述未来固定时段内第j维数据的数据量所需的存储空间，当存储所述第j维数据的数据集群的存储空间不足时，获取其他数据集群中的空闲数据块，以链式调用的方式，将所述空闲数据块临时挂载到所述第j维数据的数据集群，以存储所述第j维数据的数据量，1≤j≤K。
根据本发明第一方面的方法，在所述步骤S3中，在将所述空闲数据块临时挂载到所述第j维数据的数据集群以存储所述第j维数据的数据量的同时，所述第j维数据的数据集群向调度中心申请额外存储空间，申请成功后，将存储在所述空闲数据块的数据备份至所述额外存储空间，并将临时挂载的所述空闲数据块返回至原数据集群。
本发明第二方面公开了一种用于构建数字城市的数据处理系统。所述系统包括：
第一处理单元，被配置为，获取用于构建数字城市的K维数据，以生成所述K维数据的特征向量；
第二处理单元，被配置为，利用所述K维数据的特征向量训练预测模型，所述预测模型为seq2seq模型，用于预测所述K维数据在未来固定时段内的数据量；其中：
所述预测模型包含N个编解码层，每个编解码层均包含M个编码器和一个解码器，所述每个编解码层中的所述M个编码器的输出作为同一编解码层所述解码器的输入；对于第一编解码层，其包含的M个编码器的输入均为所述K维数据的特征向量；对于其他编解码层中的每个编码器C，其输入包括所述K维数据的特征向量、前一编解码层的解码器的输出、所有在先编解码层包含的与当前编解码层中编码器C对应的编码器的输出，其中N、M、K为整数，M≥1，N≥1，K≥2；
第三处理单元，被配置为，采集所述数字城市的实时K维数据，利用经训练的所述预测模型，来预测所述数字城市中K维数据的各个维度的数据在所述未来固定时段内的数据量。
根据本发明第二方面的系统，所述第一处理单元具体被配置为：
利用多路传感器采集所述用于构建数字城市的K维数据，所述K维数据包括交通网路数据、用水数据、用电数据、用气数据、通信网络数据中的至少两种；
从所述K维数据的各个维度的数据中分别提取固定时长的数据，以对提取出的固定时长的数据执行电压、波峰/波谷、频率、周期的归一化处理；
将归一化处理的各个维度的数据以固定次序进行拼接，从而获得所述K维数据的特征向量。
根据本发明第二方面的系统，对于所述N个编解码层中的每一层，其包含的M个编码器中最后一个编码器的输入还包括注意力特征，所述注意力特征由如下公式来表征：
q i =w 1 a i +w 2 b i +w 3 c i +w 4 d i
其中，1≤i≤N，q i 表示输入至第i编解码层包含的M个编码器中最后一个编码器的注意力特征，a i 、b i 、c i 、d i 分别表示所述第i编解码层包含的M个编码器中最后一个编码器的输入数据经整合后的电压、波峰/波谷、频率、周期的特征分量，w 1 、w 2 、w 3 、w 4 表示所述第i编解码层包含的M个编码器中最后一个编码器的输入数据的电压、波峰/波谷、频率、周期的权重。
根据本发明第二方面的系统，所述第三处理单元具体被配置为：
从所述实时K维数据的各个维度的数据中分别提取固定时长的实时数据，以对提取出的固定时长的实时数据执行电压、波峰/波谷、频率、周期的归一化处理；
将归一化处理的各个维度的实时数据以所述固定次序进行拼接，从而获得所述实时K维数据的特征向量；
基于所述实时K维数据的特征向量，利用所述经训练的预测模型，来预测所述数字城市中K维数据的各个维度的数据在所述未来固定时段内的数据量。
根据本发明第二方面的系统，所述数字城市的K维数据以维度划分实现分布式存储，单一维度的数据存储在一个数据集群中，各个数据集群依据所述固定次序采用链式连接方式，每个数据集群包含多个数据块。
根据本发明第二方面的系统，所述第三处理单元具体被配置为：当第j维数据在所述未来固定时段内的数据量出现瞬时增大的情况时，计算所述未来固定时段内第j维数据的数据量所需的存储空间，当存储所述第j维数据的数据集群的存储空间不足时，获取其他数据集群中的空闲数据块，以链式调用的方式，将所述空闲数据块临时挂载到所述第j维数据的数据集群，以存储所述第j维数据的数据量，1≤j≤K。
根据本发明第二方面的系统，所述第三处理单元具体被配置为：在将所述空闲数据块临时挂载到所述第j维数据的数据集群以存储所述第j维数据的数据量的同时，所述第j维数据的数据集群向调度中心申请额外存储空间，申请成功后，将存储在所述空闲数据块的数据备份至所述额外存储空间，并将临时挂载的所述空闲数据块返回至原数据集群。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种用于构建数字城市的数据处理方法中的步骤。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种用于构建数字城市的数据处理方法中的步骤。
综上，本发明的技术方案基于优化的seq2seq模型，通过对采集的数字城市的多维数据的训练，来预测可能出现的数据量瞬时增长的情况；同时引入了局部的注意力机制而非全局注意力机制，使得该模型能够适度地关注多维数据的特征显著性；另外，在多维数据的存储方面，采用链式调用和临时挂载的方式，缓解了紧急情况下的存储空间调度分配上的压力。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的一种用于构建数字城市的数据处理方法的流程图；
图2a为根据本发明实施例的预测模型（seq2seq模型）的第一示意图；
图2b为根据本发明实施例的预测模型（seq2seq模型）的第二示意图；
图3a为根据本发明实施例的临时挂载空闲数据块的第一示意图；
图3b为根据本发明实施例的临时挂载空闲数据块的第二示意图；
图4为根据本发明实施例的一种用于构建数字城市的数据处理系统的结构图；
图5为根据本发明实施例的一种电子设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明第一方面公开了一种用于构建数字城市的数据处理方法。图1为根据本发明实施例的一种用于构建数字城市的数据处理方法的流程图，如图1所示，所述方法包括：
步骤S1、获取用于构建数字城市的K维数据，以生成所述K维数据的特征向量；
步骤S2、利用所述K维数据的特征向量训练预测模型，所述预测模型为seq2seq模型，用于预测所述K维数据在未来固定时段内的数据量；其中：
所述预测模型包含N个编解码层，每个编解码层均包含M个编码器和一个解码器，所述每个编解码层中的所述M个编码器的输出作为同一编解码层所述解码器的输入；对于第一编解码层，其包含的M个编码器的输入均为所述K维数据的特征向量；对于其他编解码层中的每个编码器C，其输入包括所述K维数据的特征向量、前一编解码层的解码器的输出、所有在先编解码层包含的与当前编解码层中编码器C对应的编码器的输出，其中N、M、K为整数，M≥1，N≥1，K≥2；
步骤S3、采集所述数字城市的实时K维数据，利用经训练的所述预测模型，来预测所述数字城市中K维数据的各个维度的数据在所述未来固定时段内的数据量。
在步骤S1，获取用于构建数字城市的K维数据，以生成所述K维数据的特征向量。
在一些实施例中，所述步骤S1具体包括：利用多路传感器采集所述用于构建数字城市的K维数据，所述K维数据包括交通网路数据、用水数据、用电数据、用气数据、通信网络数据中的至少两种；从所述K维数据的各个维度的数据中分别提取固定时长的数据，以对提取出的固定时长的数据执行电压、波峰/波谷、频率、周期的归一化处理；将归一化处理的各个维度的数据以固定次序进行拼接，从而获得所述K维数据的特征向量。
具体地，利用分布在城市中各处的终端设备（包含传感器或者数据采集器）采集构建数字城市的海量数据，该海量数据通常包括不同维度的数据，例如水、电、气、热、煤、油的使用情况，通信网络的使用情况，地面交通线路网的实时流量，空中交通网络的实时调度等等。从采集的多维数据（该数据可以为历史数据，也可以为实时采集的新数据）中，提取固定时长的数据（例如，三天或者一周），从提取出的固定时长的数据中进一步确认该数据（信号）中的电压、波峰/波谷、频率、周期的具体情况（可以通过定点采样的方式），并将不同维度的数据的电压、波峰/波谷、频率、周期进行归一化处理。归一化处理后的各个维度的数据按照固定的次序进行拼接，例如，多维数据包括，地面交通数据、用水数据、用电数据、通信网络数据，则拼接后的多维数据的特征向量的展开次序为：地面交通数据特征-用水数据特征-用电数据特征-通信网络数据特征，该固定次序在后续的流程中保持不变。
在步骤S2，利用所述K维数据的特征向量训练预测模型，所述预测模型为seq2seq模型，用于预测所述K维数据在未来固定时段内的数据量。所述预测模型包含N个编解码层，每个编解码层均包含M个编码器和一个解码器，所述每个编解码层中的所述M个编码器的输出作为同一编解码层所述解码器的输入；对于第一编解码层，其包含的M个编码器的输入均为所述K维数据的特征向量；对于其他编解码层中的每个编码器C，其输入包括所述K维数据的特征向量、前一编解码层的解码器的输出、所有在先编解码层包含的与当前编解码层中编码器C对应的编码器的输出，其中N、M、K为整数，M≥1，N≥1，K≥2。
图2a为根据本发明实施例的预测模型（seq2seq模型）的第一示意图；如图2a所示，该预测模型共有三个编解码层，每个编解码层中包含两个编码器和一个解码器，第一编解码层包括编码器e1和e2、解码器d1，第二编解码层包括编码器e3和e4、解码器d2，第三编解码层包括编码器e5和e6、解码器d3。每一层的解码器的输入为该层各个编码器的输出。
对于第一编解码层，其编码器（两个）的输入为K维数据的特征向量（地面交通数据特征-用水数据特征-用电数据特征-通信网络数据特征）。
对于其他编解码层编码器C的输入为K维数据的特征向量（地面交通数据特征-用水数据特征-用电数据特征-通信网络数据特征）、前一编解码层的解码器的输出、所有在先编解码层包含的与当前编解码层中编码器C对应的编码器的输出。以e5为例，其输入包括：K维数据的特征向量（地面交通数据特征-用水数据特征-用电数据特征-通信网络数据特征）、d2的输出、e1和e3的输出；其中e1为第一编解码层中与e5对应的编码器，e3为第二编解码层中与e5对应的编码器。
图2b为根据本发明实施例的预测模型（seq2seq模型）的第二示意图；如图2b所示，该预测模型共有四个编解码层，每个编解码层中包含三个码器和一个解码器，第一编解码层包括编码器e1、e2和e3、解码器d1，第二编解码层包括编码器e4、e5和e6、解码器d2，第三编解码层包括编码器e7、e8和e9、解码器d3，第四编解码层包括编码器e10、e11和e12、解码器d4。每一层的解码器的输入为该层各个编码器的输出。
对于第一编解码层，其编码器（三个）的输入为K维数据的特征向量（地面交通数据特征-用水数据特征-用电数据特征-通信网络数据特征）。
对于其他编解码层编码器C的输入为K维数据的特征向量（地面交通数据特征-用水数据特征-用电数据特征-通信网络数据特征）、前一编解码层的解码器的输出、所有在先编解码层包含的与当前编解码层中编码器C对应的编码器的输出。以e10为例，其输入包括：K维数据的特征向量（地面交通数据特征-用水数据特征-用电数据特征-通信网络数据特征）、d3的输出、e1、e4和e7的输出；其中e1为第一编解码层中与e10对应的编码器，e4为第二编解码层中与e10对应的编码器，e7为第三编解码层中与e10对应的编码器。
本发明第一方面的方法中，所述预测模型采用seq2seq模型，该模型为一种编解码翻译模型，通过不断进行编码解码的迭代计算，来将输入数据翻译为/定向处理为实际需要的数据。本方法提出的对seq2seq模型在编解码结构上的优化，使得在预测可能出现的数据量瞬时增长的情况时，同时考虑原始输入数据、前一编解码层的输出数据以及所有在先编码器的输出情况，这样训练得到的预测模型在预测结果的准确性上具有很大改进。
在一些实施例中，在所述步骤S2中，对于所述N个编解码层中的每一层，其包含的M个编码器中最后一个编码器的输入还包括注意力特征，所述注意力特征由如下公式来表征：
q i =w 1 a i +w 2 b i +w 3 c i +w 4 d i
其中，1≤i≤N，q i 表示输入至第i编解码层包含的M个编码器中最后一个编码器的注意力特征，a i 、b i 、c i 、d i 分别表示所述第i编解码层包含的M个编码器中最后一个编码器的输入数据经整合后的电压、波峰/波谷、频率、周期的特征分量，w 1 、w 2 、w 3 、w 4 表示所述第i编解码层包含的M个编码器中最后一个编码器的输入数据的电压、波峰/波谷、频率、周期的权重。
具体地，注意力机制用于强调所关注的多维数据的显著性，相比于将注意力机制用于全局数据/全局训练，本方法提出的仅仅局部注意力机制能够更好的自适应地调整对多维数据在电压、波峰/波谷、频率、周期等方面的关注度的显著性。这是因为，全局注意力机制会误导在关注度上的分配；例如，对预测模型中的所有编码器和解码器都引入注意力机制（向所有编码器和解码器输入注意力特征）；对于多维数据的特征向量，如果全局都着重关注电压方面的异常，即电压具有极高的权重，往往会导致将一些微小的电压波动误判为数据瞬时异常，而采用局部注意力机制，不仅能够增加对电压波动的关注，同时也避免了可能的误判。
具体地，对于公式中权重（w 1 、w 2 、w 3 、w 4 ），在获取第i编解码层包含的M个编码器中最后一个编码器的输入数据经整合后的电压、波峰/波谷、频率、周期的特征分量后，根据电压特征分量、波峰/波谷特征分量、频率特征分量、周期特征分量的数据量来确定权重（w 1 、w 2 、w 3 、w 4 ）。在另一种实施例中，除了考虑电压特征分量、波峰/波谷特征分量、频率特征分量、周期特征分量的数据量，还可以引入电压特征分量、波峰/波谷特征分量、频率特征分量、周期特征分量的历史数据量，以历史数据量在指导当前权重的分配。
在步骤S3，采集所述数字城市的实时K维数据，利用经训练的所述预测模型，来预测所述数字城市中K维数据的各个维度的数据在所述未来固定时段内的数据量。
在一些实施例中，所述步骤S3具体包括：
从所述实时K维数据的各个维度的数据中分别提取固定时长的实时数据，以对提取出的固定时长的实时数据执行电压、波峰/波谷、频率、周期的归一化处理；
将归一化处理的各个维度的实时数据以所述固定次序进行拼接，从而获得所述实时K维数据的特征向量；
基于所述实时K维数据的特征向量，利用所述经训练的预测模型，来预测所述数字城市中K维数据的各个维度的数据在所述未来固定时段内的数据量。
具体地，在得到训练好的预测模型后，实时采集数字城市的K维数据，采用与前述方法一致的方式，获取实时K维数据的特征向量，来预测K维数据的各个维度的数据在所述未来固定时段内的数据量。
在一些实施例中，所述数字城市的K维数据以维度划分实现分布式存储，单一维度的数据存储在一个数据集群中，各个数据集群依据所述固定次序采用链式连接方式，每个数据集群包含多个数据块。
图3a为根据本发明实施例的临时挂载空闲数据块的示意第一图；如图3a所示，其中包含四个数据集群，每个数据集群中原始包含四个数据块，四个数据集群按照顺序（数据集群1、数据集群2、数据集群3、数据集群4）分别为：地面交通数据的数据集群-用水数据的数据集群-用电数据的数据集群-通信网络数据的数据集群。
注意，各个数据集群中的数据块的数量不一定是相同的，可以根据数据集群存储的数据属性来变化数据块的数量。例如，交通网路数据的数据集群的数据块通常会比较多，而用水数据集群/用电数据集群的数据块相对较少，这是因为交通网络数据的数据量远远大于用水数据集群/用电数据集群的数据量。
图3b为根据本发明实施例的临时挂载空闲数据块的第二示意图；如图3b所示，其中包含四个数据集群，按照顺序（数据集群1、数据集群2、数据集群3、数据集群4）分别为：地面交通数据的数据集群-用水数据的数据集群-用电数据的数据集群-通信网络数据的数据集群。其中数据集群1包含8个数据块、数据集群2包含3个数据块、数据集群3包含4个数据块、数据集群4也包含4个数据块。
注意，各个数据集群中的数据块的数量不一定是相同的，可以根据数据集群存储的数据属性来变化数据块的数量，例如，交通网路数据的数据集群的数据块通常会比较多，而用水数据集群/用电数据集群的数据块相对较少，这是因为交通网络数据的数据量远远大于用水数据集群/用电数据集群的数据量。
在一些实施例中，在所述步骤S3中，当第j维数据在所述未来固定时段内的数据量出现瞬时增大的情况时，计算所述未来固定时段内第j维数据的数据量所需的存储空间，当存储所述第j维数据的数据集群的存储空间不足时，获取其他数据集群中的空闲数据块，以链式调用的方式，将所述空闲数据块临时挂载到所述第j维数据的数据集群，以存储所述第j维数据的数据量，1≤j≤K。
具体地，通过预测模型的预测，地面交通数据在未来固定时段（未来一小时）内的数据量会出现瞬时增加，意味着地面交通数据的数据集群（数据集群1）将面临巨大的数据存储/缓存压力。同时根据预测，用电数据的数据集群（数据集群3）、通信网络数据的数据集群（数据集群4）在未来固定时段（未来一小时）内的数据量相对稳定，集群中存在空闲数据块（灰色数据块）。此时，如图3a和3b所示，可以采用链式调用的方式。将用电数据的数据集群中的两个空闲数据块、通信网络数据的数据集群中的一个空闲数据块临时挂载到地面交通数据的数据集群，挂载可以通过指针、地址映射、重新上链等方式来实现。
在一些实施例中，在所述步骤S3中，在将所述空闲数据块临时挂载到所述第j维数据的数据集群以存储所述第j维数据的数据量的同时，所述第j维数据的数据集群向调度中心申请额外存储空间，申请成功后，将存储在所述空闲数据块的数据备份至所述额外存储空间，并将临时挂载的所述空闲数据块返回至原数据集群。
具体地，在将用电数据的数据集群中的两个空闲数据块、通信网络数据的数据集群中的一个空闲数据块临时挂载到地面交通数据的数据集群的同时，可以向调度中心申请额外存储空间，以将存储在空闲数据块的数据备份至额外存储空间，并将临时挂载的所述空闲数据块返回至原数据集群。
以上临时挂载的方式不仅能缓解了紧急情况下的存储空间调度分配上的压力，更在数据查找/索引方面具有更好的效率，即减少查询时间、降低查询复杂度。例如在临时挂载状态下，查询地面交通数据时，无需查询每个集群，去一一核实其他集群里有没有空闲数据块用于存储地面交通数据；只需要在地面交通数据的数据集群中查询即可，因为被临时调用的空闲数据块已经挂载在地面交通数据的数据集群中。
本发明第二方面公开了一种用于构建数字城市的数据处理系统。图4为根据本发明实施例的一种用于构建数字城市的数据处理系统的结构图；如图4所示，所述系统400包括：
第一处理单元401，被配置为，获取用于构建数字城市的K维数据，以生成所述K维数据的特征向量；
第二处理单元402，被配置为，利用所述K维数据的特征向量训练预测模型，所述预测模型为seq2seq模型，用于预测所述K维数据在未来固定时段内的数据量；其中：
所述预测模型包含N个编解码层，每个编解码层均包含M个编码器和一个解码器，所述每个编解码层中的所述M个编码器的输出作为同一编解码层所述解码器的输入；对于第一编解码层，其包含的M个编码器的输入均为所述K维数据的特征向量；对于其他编解码层中的每个编码器C，其输入包括所述K维数据的特征向量、前一编解码层的解码器的输出、所有在先编解码层包含的与当前编解码层中编码器C对应的编码器的输出，其中N、M、K为整数，M≥1，N≥1，K≥2；
第三处理单元403，被配置为，采集所述数字城市的实时K维数据，利用经训练的所述预测模型，来预测所述数字城市中K维数据的各个维度的数据在所述未来固定时段内的数据量。
根据本发明第二方面的系统，所述第一处理单元401具体被配置为：
利用多路传感器采集所述用于构建数字城市的K维数据，所述K维数据包括交通网路数据、用水数据、用电数据、用气数据、通信网络数据中的至少两种；
从所述K维数据的各个维度的数据中分别提取固定时长的数据，以对提取出的固定时长的数据执行电压、波峰/波谷、频率、周期的归一化处理；
将归一化处理的各个维度的数据以固定次序进行拼接，从而获得所述K维数据的特征向量。
根据本发明第二方面的系统，对于所述N个编解码层中的每一层，其包含的M个编码器中最后一个编码器的输入还包括注意力特征，所述注意力特征由如下公式来表征：
q i =w 1 a i +w 2 b i +w 3 c i +w 4 d i
其中，1≤i≤N，q i 表示输入至第i编解码层包含的M个编码器中最后一个编码器的注意力特征，a i 、b i 、c i 、d i 分别表示所述第i编解码层包含的M个编码器中最后一个编码器的输入数据经整合后的电压、波峰/波谷、频率、周期的特征分量，w 1 、w 2 、w 3 、w 4 表示所述第i编解码层包含的M个编码器中最后一个编码器的输入数据的电压、波峰/波谷、频率、周期的权重。
根据本发明第二方面的系统，所述第三处理单元403具体被配置为：
从所述实时K维数据的各个维度的数据中分别提取固定时长的实时数据，以对提取出的固定时长的实时数据执行电压、波峰/波谷、频率、周期的归一化处理；
将归一化处理的各个维度的实时数据以所述固定次序进行拼接，从而获得所述实时K维数据的特征向量；
基于所述实时K维数据的特征向量，利用所述经训练的预测模型，来预测所述数字城市中K维数据的各个维度的数据在所述未来固定时段内的数据量。
根据本发明第二方面的系统，所述数字城市的K维数据以维度划分实现分布式存储，单一维度的数据存储在一个数据集群中，各个数据集群依据所述固定次序采用链式连接方式，每个数据集群包含多个数据块。
根据本发明第二方面的系统，所述第三处理单元403具体被配置为：当第j维数据在所述未来固定时段内的数据量出现瞬时增大的情况时，计算所述未来固定时段内第j维数据的数据量所需的存储空间，当存储所述第j维数据的数据集群的存储空间不足时，获取其他数据集群中的空闲数据块，以链式调用的方式，将所述空闲数据块临时挂载到所述第j维数据的数据集群，以存储所述第j维数据的数据量，1≤j≤K。
根据本发明第二方面的系统，所述第三处理单元403具体被配置为：在将所述空闲数据块临时挂载到所述第j维数据的数据集群以存储所述第j维数据的数据量的同时，所述第j维数据的数据集群向调度中心申请额外存储空间，申请成功后，将存储在所述空闲数据块的数据备份至所述额外存储空间，并将临时挂载的所述空闲数据块返回至原数据集群。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种用于构建数字城市的数据处理方法中的步骤。
图5为根据本发明实施例的一种电子设备的结构图，如图5所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信（NFC）或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种用于构建数字城市的数据处理方法中的步骤。
综上，本发明的技术方案基于优化的seq2seq模型，通过对采集的数字城市的多维数据的训练，来预测可能出现的数据量瞬时增长的情况；同时引入了局部的注意力机制而非全局注意力机制，使得该模型能够适度地关注多维数据的特征显著性；另外，在多维数据的存储方面，采用链式调用和临时挂载的方式，缓解了紧急情况下的存储空间调度分配上的压力。
请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种用于构建数字城市的数据处理方法，其特征在于，所述方法包括：
步骤S1、获取用于构建数字城市的K维数据，以生成所述K维数据的特征向量；
步骤S2、利用所述K维数据的特征向量训练预测模型，所述预测模型为seq2seq模型，用于预测所述K维数据在未来固定时段内的数据量；其中：
所述预测模型包含N个编解码层，每个编解码层均包含M个编码器和一个解码器，所述每个编解码层中的所述M个编码器的输出作为同一编解码层所述解码器的输入；对于第一编解码层，其包含的M个编码器的输入均为所述K维数据的特征向量；对于其他编解码层中的每个编码器C，其输入包括所述K维数据的特征向量、前一编解码层的解码器的输出、所有在先编解码层包含的与当前编解码层中编码器C对应的编码器的输出，其中N、M、K为整数，M≥1，N≥1，K≥2；
步骤S3、采集所述数字城市的实时K维数据，利用经训练的所述预测模型，来预测所述数字城市中K维数据的各个维度的数据在所述未来固定时段内的数据量。
2.根据权利要求1所述的一种用于构建数字城市的数据处理方法，其特征在于，所述步骤S1具体包括：
利用多路传感器采集所述用于构建数字城市的K维数据，所述K维数据包括交通网路数据、用水数据、用电数据、用气数据、通信网络数据中的至少两种；
从所述K维数据的各个维度的数据中分别提取固定时长的数据，以对提取出的固定时长的数据执行电压、波峰/波谷、频率、周期的归一化处理；
将归一化处理的各个维度的数据以固定次序进行拼接，从而获得所述K维数据的特征向量。
3.根据权利要求2所述的一种用于构建数字城市的数据处理方法，其特征在于，在所述步骤S2中，对于所述N个编解码层中的每一层，其包含的M个编码器中最后一个编码器的输入还包括注意力特征，所述注意力特征由如下公式来表征：
q i =w 1 a i +w 2 b i +w 3 c i +w 4 d i
其中，1≤i≤N，q i 表示输入至第i编解码层包含的M个编码器中最后一个编码器的注意力特征，a i 、b i 、c i 、d i 分别表示所述第i编解码层包含的M个编码器中最后一个编码器的输入数据经整合后的电压、波峰/波谷、频率、周期的特征分量，w 1 、w 2 、w 3 、w 4 表示所述第i编解码层包含的M个编码器中最后一个编码器的输入数据的电压、波峰/波谷、频率、周期的权重。
4.根据权利要求3所述的一种用于构建数字城市的数据处理方法，其特征在于，所述步骤S3具体包括：
从所述实时K维数据的各个维度的数据中分别提取固定时长的实时数据，以对提取出的固定时长的实时数据执行电压、波峰/波谷、频率、周期的归一化处理；
将归一化处理的各个维度的实时数据以所述固定次序进行拼接，从而获得所述实时K维数据的特征向量；
基于所述实时K维数据的特征向量，利用所述经训练的预测模型，来预测所述数字城市中K维数据的各个维度的数据在所述未来固定时段内的数据量。
5.根据权利要求4所述的一种用于构建数字城市的数据处理方法，其特征在于，所述数字城市的K维数据以维度划分实现分布式存储，单一维度的数据存储在一个数据集群中，各个数据集群依据所述固定次序采用链式连接方式，每个数据集群包含多个数据块。
6.根据权利要求5所述的一种用于构建数字城市的数据处理方法，其特征在于，在所述步骤S3中，当第j维数据在所述未来固定时段内的数据量出现瞬时增大的情况时，计算所述未来固定时段内第j维数据的数据量所需的存储空间，当存储所述第j维数据的数据集群的存储空间不足时，获取其他数据集群中的空闲数据块，以链式调用的方式，将所述空闲数据块临时挂载到所述第j维数据的数据集群，以存储所述第j维数据的数据量，1≤j≤K。
7.根据权利要求6所述的一种用于构建数字城市的数据处理方法，其特征在于，在所述步骤S3中，在将所述空闲数据块临时挂载到所述第j维数据的数据集群以存储所述第j维数据的数据量的同时，所述第j维数据的数据集群向调度中心申请额外存储空间，申请成功后，将存储在所述空闲数据块的数据备份至所述额外存储空间，并将临时挂载的所述空闲数据块返回至原数据集群。
8.一种用于构建数字城市的数据处理系统，其特征在于，所述系统包括：
第一处理单元，被配置为，获取用于构建数字城市的K维数据，以生成所述K维数据的特征向量；
第二处理单元，被配置为，利用所述K维数据的特征向量训练预测模型，所述预测模型为seq2seq模型，用于预测所述K维数据在未来固定时段内的数据量；其中：
所述预测模型包含N个编解码层，每个编解码层均包含M个编码器和一个解码器，所述每个编解码层中的所述M个编码器的输出作为同一编解码层所述解码器的输入；对于第一编解码层，其包含的M个编码器的输入为所述K维数据的特征向量；对于其他编解码层中的每个编码器C，其包含的输入包括所述K维数据的特征向量、前一编解码层的解码器的输出、所有在先编解码层包含的与当前编解码层中的编码器C对应的编码器的输出，其中N、M、K为整数，M≥1，N≥1，K≥2；
第三处理单元，被配置为，采集所述数字城市的实时K维数据，利用经训练的所述预测模型，来预测所述数字城市中K维数据的各个维度的数据在所述未来固定时段内的数据量。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1至7中任一项所述的一种用于构建数字城市的数据处理方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至7中任一项所述的一种用于构建数字城市的数据处理方法中的步骤。
CN202210000843.6A 2022-01-04 2022-01-04 一种用于构建数字城市的数据处理方法和系统 Active CN114004429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210000843.6A CN114004429B (zh) 2022-01-04 2022-01-04 一种用于构建数字城市的数据处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210000843.6A CN114004429B (zh) 2022-01-04 2022-01-04 一种用于构建数字城市的数据处理方法和系统

Publications (2)

Publication Number Publication Date
CN114004429A true CN114004429A (zh) 2022-02-01
CN114004429B CN114004429B (zh) 2022-04-08

Family

ID=79932620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210000843.6A Active CN114004429B (zh) 2022-01-04 2022-01-04 一种用于构建数字城市的数据处理方法和系统

Country Status (1)

Country Link
CN (1) CN114004429B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110346517A (zh) * 2019-07-25 2019-10-18 中南大学 一种智慧城市工业大气污染可视化预警方法及其系统
CN110619427A (zh) * 2019-08-26 2019-12-27 北京建筑大学 基于序列到序列学习模型的交通指数预测方法和装置
CN110751724A (zh) * 2019-10-12 2020-02-04 杭州城市大数据运营有限公司 城市三维模型建立方法、装置、计算机设备及存储介质
CN111152796A (zh) * 2020-04-07 2020-05-15 北京三快在线科技有限公司 一种车辆运动状态预测方法及装置
CN111695356A (zh) * 2020-05-28 2020-09-22 平安科技（深圳）有限公司 同义语料生成方法、装置、计算机系统及可读存储介质
CN112734094A (zh) * 2020-12-30 2021-04-30 中南大学 一种智慧城市智轨车辆故障基因预测方法及系统
CN113140108A (zh) * 2021-04-16 2021-07-20 西北工业大学 一种网联智能交通系统中的云端交通态势预测方法
CN113822458A (zh) * 2020-11-18 2021-12-21 京东城市(北京)数字科技有限公司 预测方法、训练方法、装置、电子设备和可读存储介质
CN113887704A (zh) * 2021-09-29 2022-01-04 南方科技大学 交通信息预测方法、装置、设备及存储介质
CN113947902A (zh) * 2021-10-18 2022-01-18 上海海事大学 一种基于Seq2Seq自编码器模型的交通事故实时检测和预警方法
CN113962472A (zh) * 2021-10-31 2022-01-21 东南大学 一种基于GAT-Seq2seq模型的时空双注意力地铁客流短时预测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110346517A (zh) * 2019-07-25 2019-10-18 中南大学 一种智慧城市工业大气污染可视化预警方法及其系统
CN110619427A (zh) * 2019-08-26 2019-12-27 北京建筑大学 基于序列到序列学习模型的交通指数预测方法和装置
CN110751724A (zh) * 2019-10-12 2020-02-04 杭州城市大数据运营有限公司 城市三维模型建立方法、装置、计算机设备及存储介质
CN111152796A (zh) * 2020-04-07 2020-05-15 北京三快在线科技有限公司 一种车辆运动状态预测方法及装置
CN111695356A (zh) * 2020-05-28 2020-09-22 平安科技（深圳）有限公司 同义语料生成方法、装置、计算机系统及可读存储介质
CN113822458A (zh) * 2020-11-18 2021-12-21 京东城市(北京)数字科技有限公司 预测方法、训练方法、装置、电子设备和可读存储介质
CN112734094A (zh) * 2020-12-30 2021-04-30 中南大学 一种智慧城市智轨车辆故障基因预测方法及系统
CN113140108A (zh) * 2021-04-16 2021-07-20 西北工业大学 一种网联智能交通系统中的云端交通态势预测方法
CN113887704A (zh) * 2021-09-29 2022-01-04 南方科技大学 交通信息预测方法、装置、设备及存储介质
CN113947902A (zh) * 2021-10-18 2022-01-18 上海海事大学 一种基于Seq2Seq自编码器模型的交通事故实时检测和预警方法
CN113962472A (zh) * 2021-10-31 2022-01-21 东南大学 一种基于GAT-Seq2seq模型的时空双注意力地铁客流短时预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜圣东 等: "《一种基于序列到序列时空注意力学习的交通流预测模型》", 《计算机研究与发展》 *

Also Published As

Publication number Publication date
CN114004429B (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
CN111126700B (zh) 用能预测方法、装置、设备及存储介质
CN102968390B (zh) 基于预先解码分析的配置信息缓存管理方法及系统
CN102411616B (zh) 一种数据存储方法和系统及数据管理方法
CN114285728B (zh) 一种预测模型训练方法、流量预测方法、装置及存储介质
CN111143243B (zh) 一种基于nvm混合内存的缓存预取方法及系统
CN111586091B (zh) 一种实现算力组配的边缘计算网关系统
CN112766596B (zh) 建筑能耗预测模型的构建方法、能耗预测方法及装置
US11018692B2 (en) Floating point data set compression
CN113918884A (zh) 业务量预测模型构建方法和业务量预测方法
CN101146222B (zh) 视频系统的运动估计内核装置
CN114004429B (zh) 一种用于构建数字城市的数据处理方法和系统
CN117132591B (zh) 一种基于多模态信息的电池数据处理方法和系统
CN110309877B (zh) 一种特征图数据的量化方法、装置、电子设备及存储介质
CN116306030A (zh) 考虑预测误差和波动分布的新能源预测动态场景生成方法
CN115496111A (zh) 电磁波频谱数据处理方法、装置、设备和介质
US20220343146A1 (en) Method and system for temporal graph neural network acceleration
CN115239007A (zh) 一种电网净负荷的预测方法、装置、电子设备和存储介质
CN202995712U (zh) 基于预先解码分析的配置信息缓存管理系统
CN112734021A (zh) 一种基于位稀疏计算的神经网络加速方法
Zheng et al. A lossless astronomical data compression scheme with FPGA acceleration
CN112257843B (zh) 一种基于MobileNetV1网络推理任务的扩展指令集的系统
CN116820539B (zh) 一种基于互联网的系统软件运行维护系统及方法
CN116757443B (zh) 新型配电网电力线损率预测方法、装置、电子设备和介质
CN117689188B (zh) 基于大数据的用户充电策略优化系统及方法
Wang FPGA Implementation of JPEG-LS Remote Sensing Image Coding Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant